特開 2024-69638 予測装置、符号化装置、復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024069638

(43)【公開日】2024-05-21

(54)【発明の名称】予測装置、符号化装置、復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/105 20140101AFI20240514BHJP

   H04N 19/159 20140101ALI20240514BHJP

   H04N 19/176 20140101ALI20240514BHJP

【ＦＩ】

H04N19/105

H04N19/159

H04N19/176

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2024045101

(22)【出願日】2024-03-21

(62)【分割の表示】P 2020020955の分割

【原出願日】2020-02-10

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】市ヶ谷 敦郎

(72)【発明者】

【氏名】根本 慎平

(57)【要約】

【課題】複数の合成方式を三角形分割予測に導入する場合であっても、シグナリングするフラグ量の増加を抑制する。
【解決手段】画像を分割したブロック単位で予測を行う予測装置は、予測対象ブロックを直線により分割して複数の予測領域を出力する分割部と、前記複数の予測領域に対応する複数の領域予測画像を生成する生成部と、前記複数の領域予測画像の合成に用いる合成方式を複数の方式の中から決定する決定部と、前記決定部が決定した前記合成方式を用いて前記複数の領域予測画像を合成し、前記予測対象ブロックに対応する予測ブロックを出力する合成部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像を分割したブロック単位で予測を行う予測装置であって、
予測対象ブロックを直線により分割して複数の予測領域を出力する分割部と、
前記複数の予測領域に対応する複数の領域予測画像を生成する生成部と、
前記複数の領域予測画像の合成に用いる合成方式を複数の方式の中から決定する決定部と、
前記決定部が決定した前記合成方式を用いて前記複数の領域予測画像を合成し、前記予測対象ブロックに対応する予測ブロックを出力する合成部と、を備える
予測装置。

【請求項2】

請求項１に記載の予測装置を備えることを特徴とする符号化装置。

【請求項3】

請求項１に記載の予測装置を備えることを特徴とする復号装置。

【請求項4】

コンピュータを請求項１に記載の予測装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、予測装置、符号化装置、復号装置、及びプログラムに関する。

【背景技術】

【0002】

動画像（映像）の符号化方式においては、符号化装置は、原画像をブロックに分割し、フレーム間の時間的相関を利用したインター予測とフレーム内の空間的相関を利用したイントラ予測とを切り替えながら符号化対象ブロックを予測し、予測されたブロックと符号化対象ブロックとの差を表す予測残差に対して変換処理、量子化処理、及びエントロピー符号化処理を施し、ビットストリームである符号化データを出力する。

【0003】

次世代の符号化方式であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、インター予測のモードの１つとして三角形分割予測（ＴＰＭ：Ｔｒｉａｎｇｌｅ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｍｏｄｅ）が採用されている。ＴＰＭは、符号化対象ブロックを対角線で分割した領域のそれぞれに動きべクトルを割り当て、動き補償予測を行うものである。

【0004】

ＴＰＭでは、領域境界付近の予測画像については、領域ごとの予測画像の位置に応じた重み付け合成（加重平均）より混合する混合処理（ｂｌｅｎｄｉｎｇと呼ばれる）を行うことで、領域ごとの動き予測補償による不連続性を抑制している。スクリーンコンテンツなどのようにフラットな領域及びエッジが多く含まれているシーケンスにおいては、ｂｌｅｎｄｉｎｇによってエッジのぼやけを引き起こす場合がある。このため、非特許文献１においては、ＴＰＭによる予測において、ｂｌｅｎｄｉｎｇを行わずに予測画像を合成するＮｏｎ－ｂｌｅｎｄｉｎｇモードを導入している。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】ＪＶＥＴ－Ｏ１１７２,“Ｎｏｎ－ＣＥ４／８： Ｏｎ ｄｉｓａｂｌｉｎｇ ｂｌｅｎｄｉｎｇ ｐｒｏｃｅｓｓ ｉｎ ＴＰＭ”

【発明の開示】

【発明が解決しようとする課題】

【0006】

非特許文献１のようにＴＰＭにおいて複数のｂｌｅｎｄｉｎｇモード（複数の合成方式）を導入する場合、どのモードを用いるかを示すフラグを符号化側から復号側にシグナリングする必要がある。このため、シグナリングするフラグ量が増加し、符号化効率の低下を招くという問題がある。

【0007】

そこで、本発明は、複数の合成方式を分割予測に導入する場合であっても、シグナリングするフラグ量の増加を抑制できる予測装置、符号化装置、復号装置、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

第１の態様に係る予測装置は、画像を分割したブロック単位で予測を行う予測装置であって、予測対象ブロックを直線により分割して複数の予測領域を出力する分割部と、前記複数の予測領域に対応する複数の領域予測画像を生成する生成部と、前記複数の領域予測画像の合成に用いる合成方式を複数の方式の中から決定する決定部と、前記決定部が決定した前記合成方式を用いて前記複数の領域予測画像を合成し、前記予測対象ブロックに対応する予測ブロックを出力する合成部と、を備えることを要旨とする。

【0009】

第２の態様に係る符号化装置は、第１の態様に係る予測装置を備えることを要旨とする。

【0010】

第３の態様に係る復号装置は、第１の態様に係る予測装置を備えることを要旨とする。

【0011】

第４の態様に係るプログラムは、コンピュータを第１の態様に係る予測装置として機能させることを要旨とする。

【発明の効果】

【0012】

本発明によれば、複数の合成方式を分割予測に導入する場合であっても、シグナリングするフラグ量の増加を抑制できる予測装置、符号化装置、復号装置、及びプログラムを提供できる。

【図面の簡単な説明】

【0013】

【図1】実施形態に係る符号化装置の構成を示す図である。

【図2】実施形態に係る符号化装置の三角形分割予測部の構成を示す図である。

【図3】実施形態に係る分割部の動作を示す図である。

【図4】実施形態に係る算出部及び決定部の動作を示す図である。

【図5】実施形態に係る合成部の動作を示す図である。

【図6】実施形態に係る復号装置の構成を示す図である。

【図7】実施形態に係る復号装置の三角形分割予測部の構成を示す図である。

【図8】実施形態に係る三角形分割予測部の動作フローを示す図である。

【発明を実施するための形態】

【0014】

図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0015】

＜符号化装置の構成＞
まず、本実施形態に係る符号化装置の構成について説明する。図１は、本実施形態に係る符号化装置１の構成を示す図である。符号化装置１は、画像を分割して得たブロック単位で符号化を行う装置である。

【0016】

図１に示すように、符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを有する。

【0017】

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず矩形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化を行う単位（符号化対象ブロック）であり、且つ復号装置が復号を行う単位（復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。

【0018】

ブロック分割部１００は、輝度信号と色差信号とに対してブロック分割を行う。以下において、ブロック分割の形状が輝度信号と色差信号とで同じである場合について主として説明するが、輝度信号と色差信号とで分割を独立に制御可能であってもよい。輝度ブロック及び色差ブロックを特に区別しないときは単に符号化対象ブロックと呼ぶ。

【0019】

減算部１１０は、ブロック分割部１００が出力する符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。減算部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

【0020】

変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

【0021】

変換部１２１は、減算部１１０が出力する予測残差に対して変換処理を行って周波数成分ごとの変換係数を算出し、算出した変換係数を量子化部１２２に出力する。変換処理（変換）とは、画素領域の信号を周波数領域の信号に変換する処理をいい、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）、及びそれらを整数化した変換等をいう。

【0022】

量子化部１２２は、変換部１２１が出力する変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。なお、量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。

【0023】

エントロピー符号化部１３０は、量子化部１２２が出力する変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化ストリーム（ビットストリーム）を生成し、符号化ストリームを符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０は、ブロック分割部１００から各符号化対象ブロックのサイズ・形状等の情報を取得し、予測部１７０から予測に関する情報（例えば、予測モードや動きベクトルの情報）を取得し、これらの情報の符号化も行う。

【0024】

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

【0025】

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２が出力する変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

【0026】

逆変換部１４２は、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１がＤＣＴを行った場合には、逆変換部１４２は逆ＤＣＴを行う。逆変換部１４２は、逆量子化部１４１が出力する変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

【0027】

合成部１５０は、逆変換部１４２が出力する復元予測残差を、予測部１７０が出力する予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復元（復号）し、復元したブロック単位の復号画像（復元ブロック）をメモリ１６０に出力する。

【0028】

メモリ１６０は、合成部１５０が出力する復元ブロックをフレーム単位で復号画像として蓄積する。メモリ１６０は、記憶している復号画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが介在してもよい。

【0029】

予測部１７０は、ブロック単位で予測処理を行うことにより、符号化対象ブロックに対応する予測ブロックを生成し、生成した予測ブロックを減算部１１０及び合成部１５０に出力する。予測処理が行われる符号化対象ブロックを予測対象ブロックと呼ぶ。

【0030】

予測部１７０は、イントラ予測部１７１と、インター予測部１７２と、切替部１７３とを有する。本実施形態において、インター予測部１７２は、ブロック単位で予測処理を行う予測装置に相当する。

【0031】

イントラ予測部１７１は、複数のイントラ予測モードの中から、予測対象ブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いて予測対象ブロックを予測する。イントラ予測部１７１は、メモリ１６０に記憶された復号画像のうち、予測対象ブロックに隣接する復号済み画素値を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１７３に出力する。また、イントラ予測部１７１は、選択したイントラ予測モードに関する情報をエントロピー符号化部１３０に出力する。

【0032】

インター予測部１７２は、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチング等の手法により動きベクトルを算出し、予測対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１７３に出力する。インター予測部１７２は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７２は、インター予測に関する情報（動きベクトル情報等）をエントロピー符号化部１３０に出力する。

【0033】

本実施形態において、インター予測部１７２は、三角形分割予測（ＴＰＭ）を行う三角形分割予測部１７２ａを有する（図２参照）。三角形分割予測部１７２ａは、符号化対象ブロックを対角線で分割した領域のそれぞれに動きべクトルを割り当て、動き補償予測を行うものである。インター予測部１７２は、予測対象ブロックに三角形分割予測を適用する場合、この予測対象ブロックに三角形分割予測を適用することを示す三角形分割予測適用フラグをエントロピー符号化部１３０に出力し、エントロピー符号化部１３０から復号側に三角形分割予測適用フラグを伝送する。三角形分割予測部１７２ａの詳細については後述する。

【0034】

切替部１７３は、インター予測部１７２が出力するインター予測ブロックとイントラ予測部１７１が出力するイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。

【0035】

次に、本実施形態に係る三角形分割予測部１７２ａについて説明する。図２は、本実施形態に係る三角形分割予測部１７２ａの構成を示す図である。

【0036】

図２に示すように、三角形分割予測部１７２ａは、分割部１７２１と、生成部１７２２と、算出部１７２３と、決定部１７２４と、合成部１７２５とを有する。

【0037】

分割部１７２１は、予測対象ブロックを対角線で分割し、２つの三角形領域を生成部１７２２に出力する。三角形領域は、予測対象ブロックを直線により分割した予測領域の一例である。分割方法には、図３（ａ）に示す方法と図３（ｂ）に示す方法との２種類がある。図３（ａ）に示す方法では、分割部１７２１は、符号化対象ブロックの左上の頂天位置及び右下の頂天位置を通る分割線で分割する。図３（ｂ）に示す方法では、分割部１７２１は、符号化対象ブロックの右上の頂天位置及び左下の頂天位置を通る分割線で分割する。分割部１７２１は、分割の方向が図３（ａ）に示す対角線方向及び図３（ｂ）に示す対角線方向のいずれであるかを示す分割方向フラグをエントロピー符号化部１３０に出力し、エントロピー符号化部１３０から復号側に分割方向フラグを伝送する。

【0038】

生成部１７２２は、２つの三角形領域のそれぞれについて動きベクトルを用いて領域予測画像を生成し、２つの領域予測画像を算出部１７２３及び合成部１７２５に出力する。具体的には、生成部１７２２は、予測対象ブロックを分割した各領域に動きべクトルを割り当て、割り当てた動きべクトルを用いて各領域の予測画像を生成する。ここで、生成部１７２２は、動きベクトルの参照元とする複数の候補を優先度順に並べて、上位一定数の動きベクトルの中から三角形領域ごとに１つの動きベクトルを選択する。生成部１７２２は、選択した動きベクトルを示す動きベクトル情報をエントロピー符号化部１３０に出力し、エントロピー符号化部１３０から復号側に動きベクトル情報を伝送する。

【0039】

算出部１７２３は、生成部１７２２が生成した２つの領域予測画像間の類似度を示す類似度情報を算出し、算出した類似度情報を決定部１７２４に出力する。例えば、算出部１７２３は、図４（ａ）に示すように、領域予測画像１における領域予測画像２との境界領域Ｒ１と、領域予測画像２における領域予測画像１との境界領域Ｒ２との類似度を示す類似度情報を算出する。類似度情報は、類似度を示す情報であればどのような情報であってもよいが、例えば、差の絶対値の総和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｕｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を類似度情報として用いることができる。

【0040】

算出部１７２３は、境界領域Ｒ１内の画素値（複数）と、対応する境界領域Ｒ２内の画素値（複数）との間のＳＡＤを類似度情報として算出してもよい。ＳＡＤが小さいほど類似度が高いことを示し、ＳＡＤが大きいほど類似度が低いことを示す。

【0041】

類似度情報を算出することは、２つの領域予測画像に対応する２つの参照画像間の類似度を算出することであってもよい。参照画像間の類似度は、一方の参照画像内の画素値（複数）と、対応する他方の参照画像内の画素値（複数）との間のＳＡＤとして算出されてもよい。

【0042】

決定部１７２４は、算出部１７２３が算出した類似度情報に基づいて、２つの領域予測画像の合成に用いる合成方式を複数の方式の中から決定し、決定した合成方式を示す情報を合成部１７２５に出力する。例えば、複数の方式は、２つの領域予測画像間の境界領域を、画素位置ごとの重み係数を用いた重み付け合成により混合する第１方式（以下、「Ｂｌｅｎｄｉｎｇ方式」と呼ぶ）を含む。決定部１７２４は、算出部１７２３が算出した類似度情報に基づいて、２つの領域予測画像の合成に用いる合成方式としてＢｌｅｎｄｉｎｇ方式を用いるか否かを決定する。Ｂｌｅｎｄｉｎｇ方式によれば、領域ごとの動き予測補償による不連続性を抑制できる。

【0043】

本実施形態において、複数の方式は、境界領域を重み付け合成により混合しない第２方式（以下、「Ｎｏｎ－ｂｌｅｎｄｉｎｇ方式」と呼ぶ）をさらに含む。決定部１７２４は、算出部１７２３が算出した類似度情報に基づいて、２つの領域予測画像の合成に用いる合成方式としてＢｌｅｎｄｉｎｇ方式及びＮｏｎ－ｂｌｅｎｄｉｎｇ方式のいずれを用いるかを決定する。Ｎｏｎ－ｂｌｅｎｄｉｎｇ方式によれば、フラットな領域及びエッジが多く含まれているシーケンスについて、Ｂｌｅｎｄｉｎｇ方式によるエッジのぼやけを回避できる。

【0044】

このようなＢｌｅｎｄｉｎｇ方式及びＮｏｎ－ｂｌｅｎｄｉｎｇ方式の切り替えを可能とする場合、Ｂｌｅｎｄｉｎｇ方式及びＮｏｎ－ｂｌｅｎｄｉｎｇ方式のいずれを適用するかを示すフラグを復号側に伝送する必要があり得る。しかしながら、画像における背景領域(例えば、空などの滑らかな領域)では、Ｂｌｅｎｄｉｎｇ方式であってもＮｏｎ－ｂｌｅｎｄｉｎｇ方式であっても生成される予測画像の特徴は変わることはなく、どちらの方式を選択しても符号化効率に影響は生じない。

【0045】

本実施形態では、決定部１７２４は、算出部１７２３が算出した類似度情報に基づいてＢｌｅｎｄｉｎｇ方式及びＮｏｎ－ｂｌｅｎｄｉｎｇ方式のいずれかを決定する。このような類似度情報は復号側でも算出可能な情報であるため、Ｂｌｅｎｄｉｎｇ方式及びＮｏｎ－ｂｌｅｎｄｉｎｇ方式のいずれを適用するかを示すフラグを復号側に伝送しなくても、符号化側及び復号側で共通の方式を暗黙的に決定できる。これにより、このようなフラグの復号側への伝送（シグナリング）を不要とし、シグナリングするフラグ量の増加を抑制できる。

【0046】

例えば、決定部１７２４は、図４（ｂ）及び（ｃ）に示すように、算出部１７２３が算出した類似度情報に基づいて、類似度情報が示す類似度が閾値よりも低い場合はＢｌｅｎｄｉｎｇ方式を決定し、類似度情報が示す類似度が閾値よりも高い場合はＮｏｎ－ｂｌｅｎｄｉｎｇ方式を決定する。この閾値は、予め定められた固定値であってもよいし、符号化側から復号側に伝送する可変値であってもよい。

【0047】

合成部１７２５は、決定部１７２４が決定した合成方式を用いて、生成部１７２２が出力する２つの領域予測画像を合成し、予測対象ブロックに対応する予測ブロックを出力する。本実施形態では、合成部１７２５は、決定部１７２４がＢｌｅｎｄｉｎｇ方式を決定した場合は２つの領域予測画像をＢｌｅｎｄｉｎｇ方式で合成し、決定部１７２４がＮｏｎ－ｂｌｅｎｄｉｎｇ方式を決定した場合は２つの領域予測画像をＮｏｎ－ｂｌｅｎｄｉｎｇ方式で合成する。

【0048】

図５は、２つの領域予測画像Ｐ_１及びＰ_２を合成する動作を示す図である。図５（ａ）に示すように、合成部１７２５は、２つの領域予測画像Ｐ_１及びＰ_２をＢｌｅｎｄｉｎｇ方式で合成する場合、予測対象ブロックのブロックサイズ及びブロック形状に応じた重み係数マップ（Ｗｅｉｇｈｔ ｍａｐ）を用いて２つの領域予測画像Ｐ_１及びＰ_２を加重平均により合成する。これにより、図４（ａ）に示す境界領域Ｒ１及びＲ２が連続的になるよう調整される。一方、図５（ｂ）に示すように、合成部１７２５は、２つの領域予測画像Ｐ_１及びＰ_２をＮｏｎ－ｂｌｅｎｄｉｎｇ方式で合成する場合、２つの領域予測画像Ｐ_１及びＰ_２を加重平均せずに合成する。

【0049】

＜復号装置の構成＞
次に、本実施形態に係る復号装置の構成について、上述した符号化装置の構成との相違点を主として説明する。図６は、本実施形態に係る復号装置２の構成を示す図である。復号装置２は、符号化ストリームから復号対象ブロックを復号する装置である。

【0050】

図６に示すように、復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。

【0051】

エントロピー復号部２００は、符号化装置１により生成された符号化ストリームを復号し、量子化された変換係数を取得し、取得した変換係数を逆量子化・逆変換部２１０（逆量子化部２１１）に出力する。また、エントロピー復号部２００は、各種のシグナリング情報を取得する。例えば、エントロピー復号部２００は、復号対象ブロックに適用する予測処理に関する情報を取得し、取得した情報を予測部２４０に出力する。

【0052】

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

【0053】

逆量子化部２１１は、符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００が出力する量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復
号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

【0054】

逆変換部２１２は、符号化装置１の変換部１２１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１が出力する変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

【0055】

合成部２２０は、逆変換部２１２が出力する予測残差と、予測部２４０が出力する予測ブロックとを画素単位で合成することにより、復号対象ブロックを復元（復号）し、復元ブロックをメモリ２３０に出力する。

【0056】

メモリ２３０は、合成部２２０が出力する復元ブロックをフレーム単位で復号画像として記憶する。メモリ２３０は、フレーム単位の復号画像を復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが介在してもよい。

【0057】

予測部２４０は、ブロック単位で予測を行う。予測部２４０は、イントラ予測部２４１と、インター予測部２４２と、切替部２４３とを有する。

【0058】

イントラ予測部２４１は、メモリ２３０に記憶された復号画像のうち復号対象ブロックに隣接する参照画素を参照し、エントロピー復号部２００が出力する情報に基づいて、復号対象ブロックをイントラ予測により予測する。そして、イントラ予測部２４１は、イントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２４３に出力する。

【0059】

インター予測部２４２は、メモリ２３０に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部２４２は、エントロピー復号部２００が出力する動きベクトル情報を用いてインター予測を行うことによりインター予測ブロックを生成し、生成したインター予測ブロックを切替部２４３に出力する。

【0060】

本実施形態において、インター予測部２４２は、三角形分割予測（ＴＰＭ）を行う三角形分割予測部２４２ａを有する（図７参照）。インター予測部２４２は、予測対象ブロックに三角形分割予測を適用することを示す三角形分割予測適用フラグをエントロピー復号部２００が取得した場合、予測対象ブロックに三角形分割予測を適用する。三角形分割予測部２４２ａの詳細については後述する。

【0061】

切替部２４３は、イントラ予測部２４１が出力するイントラ予測ブロックとインター予測部２４２が出力するインター予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。

【0062】

次に、本実施形態に係る三角形分割予測部２４２ａについて説明する。図７は、本実施形態に係る三角形分割予測部２４２ａの構成を示す図である。

【0063】

図７に示すように、三角形分割予測部２４２ａは、分割部２４２１と、生成部２４２２と、算出部２４２３と、決定部２４２４と、合成部２４２５とを有する。

【0064】

分割部２４２１は、エントロピー復号部２００が取得した分割方向フラグに基づいて予測対象ブロックを対角線で分割し、２つの三角形領域を生成部２４２２に出力する。

【0065】

生成部２４２２は、エントロピー復号部２００が取得した動きベクトル情報に基づいて２つの三角形領域のそれぞれについて領域予測画像を生成し、２つの領域予測画像を算出部２４２３及び合成部２４２５に出力する。

【0066】

算出部２４２３は、生成部２４２２が生成した２つの領域予測画像間の類似度を示す類似度情報を算出し、算出した類似度情報を決定部２４２４に出力する。類似度情報の算出方法は符号化側と同じ方法であり、符号化側及び復号側で共通の規則（アルゴリズム）を用いて類似度情報を算出する。

【0067】

決定部２４２４は、算出部２４２３が算出した類似度情報に基づいて、２つの領域予測画像の合成に用いる合成方式を複数の方式の中から決定し、決定した合成方式を示す情報を合成部２４２５に出力する。本実施形態において、決定部２４２４は、算出部２４２３が算出した類似度情報に基づいて、２つの領域予測画像の合成に用いる合成方式としてＢｌｅｎｄｉｎｇ方式及びＮｏｎ－ｂｌｅｎｄｉｎｇ方式のいずれを用いるかを決定する。合成方式の決定方法は符号化側と同じ方法であり、符号化側及び復号側で共通の規則を用いて合成方式を決定する。すなわち、決定部２４２４は、Ｂｌｅｎｄｉｎｇ方式及びＮｏｎ－ｂｌｅｎｄｉｎｇ方式のいずれを適用するかを示すフラグを基づくことなく、類似度情報に基づいて合成方式を決定する。

【0068】

合成部２４２５は、決定部２４２４が決定した合成方式を用いて、生成部２４２２が出力する２つの領域予測画像を合成し、予測対象ブロックに対応する予測ブロックを出力する。本実施形態では、合成部２４２５は、決定部２４２４がＢｌｅｎｄｉｎｇ方式を決定した場合は２つの領域予測画像をＢｌｅｎｄｉｎｇ方式で合成し、決定部２４２４がＮｏｎ－ｂｌｅｎｄｉｎｇ方式を決定した場合は２つの領域予測画像をＮｏｎ－ｂｌｅｎｄｉｎｇ方式で合成する。

【0069】

＜三角形分割予測部の動作＞
次に、本実施形態に係る三角形分割予測部１７２ａ及び２４２ａの動作について説明する。三角形分割予測部１７２ａ及び２４２ａは同様な動作を行うため、ここでは三角形分割予測部２４２ａを例に挙げて説明する。図８は、本実施形態に係る三角形分割予測部２４２ａの動作フローを示す図である。

【0070】

図８に示すように、ステップＳ１において、分割部２４２１は、エントロピー復号部２００が取得した分割方向フラグに基づいて予測対象ブロックを対角線で分割し、２つの三角形領域を生成部２４２２に出力する。

【0071】

ステップＳ２において、生成部２４２２は、エントロピー復号部２００が取得した動きベクトル情報に基づいて２つの三角形領域のそれぞれについて領域予測画像を生成し、２つの領域予測画像を算出部２４２３及び合成部２４２５に出力する。

【0072】

ステップＳ３において、算出部２４２３は、生成部２４２２が生成した２つの領域予測画像間の類似度を示す類似度情報を算出し、算出した類似度情報を決定部２４２４に出力する。

【0073】

ステップＳ４において、決定部２４２４は、算出部２４２３が算出した類似度情報に基づいて、２つの領域予測画像の合成に用いる合成方式としてＢｌｅｎｄｉｎｇ方式及びＮｏｎ－ｂｌｅｎｄｉｎｇ方式のいずれを用いるかを決定する。

【0074】

ステップＳ５において、合成部２４２５は、決定部２４２４が決定した合成方式を用いて、生成部２４２２が出力する２つの領域予測画像を合成し、予測対象ブロックに対応する予測ブロックを出力する。

【0075】

このように、本実施形態によれば、Ｂｌｅｎｄｉｎｇ方式及びＮｏｎ－ｂｌｅｎｄｉｎｇ方式のいずれを適用するかを示すフラグを復号側に伝送しなくても、符号化側及び復号側で共通の方式を暗黙的に決定できる。これにより、複数の合成方式を三角形分割予測に導入する場合であっても、合成方式を示すフラグの復号側への伝送（シグナリング）を不要とし、シグナリングするフラグ量の増加を抑制できる。

【0076】

＜その他の実施形態＞
上述した実施形態において、類似度情報に基づいて、２つの領域予測画像の合成に用いる合成方式としてＢｌｅｎｄｉｎｇ方式及びＮｏｎ－ｂｌｅｎｄｉｎｇ方式のいずれを用いるかを決定する一例について説明した。しかしながら、複数のＢｌｅｎｄｉｎｇ方式を導入する場合、類似度情報に基づいて複数のＢｌｅｎｄｉｎｇ方式のいずれを用いるかを決定してもよい。

【0077】

複数のＢｌｅｎｄｉｎｇ方式は、境界領域を混合するパラメータが互いに異なっていてもよい。ここで、パラメータは、境界領域の範囲及び重み係数のセットのうち少なくとも１つであってもよい。例えば、Ｂｌｅｎｄｉｎｇ処理を適用する境界領域の範囲が第１範囲（狭範囲）であり、重み係数の第１セットを用いる第１Ｂｌｅｎｄｉｎｇ方式と、Ｂｌｅｎｄｉｎｇ処理を適用する境界領域の範囲が第２範囲（広範囲）であり、重み係数の第２セットを用いる第２Ｂｌｅｎｄｉｎｇ方式とを導入する。ここで、第２セットを構成する重み係数は、第１セットに比べて多い。

【0078】

このような前提下において、決定部１７２４及び２４２４は、算出部１７２３及び２４２３が算出した類似度情報が示す類似度が閾値よりも低い場合は第２Ｂｌｅｎｄｉｎｇ方式を決定し、この類似度情報が示す類似度が閾値よりも高い場合は第１Ｂｌｅｎｄｉｎｇ方式を決定する。

【0079】

或いは、第１閾値と、この第１閾値よりも大きい第２閾値とを導入してもよい。決定部１７２４及び２４２４は、算出部１７２３及び２４２３が算出した類似度情報が示す類似度が第２閾値よりも高い場合はＮｏｎ－ｂｌｅｎｄｉｎｇ方式を決定し、この類似度情報が示す類似度が第１閾値よりも低い場合は第２Ｂｌｅｎｄｉｎｇ方式を決定し、この類似度情報が示す類似度が第１閾値乃至第２閾値の範囲内にある場合は第１Ｂｌｅｎｄｉｎｇ方式を決定する。

【0080】

上述した実施形態において、予測対象ブロックを対角線により分割して２つの三角形領域を出力する一例について説明したが、直線で分割された分割形状であればよく、分割形状は三角形には限らない。また、予測対象ブロックの分割数を３つ以上とすることもできる。その場合には、３つ以上の予測領域における各領域のペアについての境界付近の類似度をそれぞれ算出し、それらの情報に基づいて当該領域のペアの合成に用いる重み係数を決定することになる。

【0081】

なお、符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0082】

符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

【0083】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0084】

１ ：符号化装置
２ ：復号装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：変換・量子化部
１２１ ：変換部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１４０ ：逆量子化・逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ
１７０ ：予測部
１７１ ：イントラ予測部
１７２ ：インター予測部
１７２ａ ：三角形分割予測部
１７３ ：切替部
２００ ：エントロピー復号部
２１０ ：逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２２０ ：合成部
２３０ ：メモリ
２４０ ：予測部
２４１ ：イントラ予測部
２４２ ：インター予測部
２４２ａ ：三角形分割予測部
２４３ ：切替部
１７２１ ：分割部
１７２２ ：生成部
１７２３ ：算出部
１７２４ ：決定部
１７２５ ：合成部
２４２１ ：分割部
２４２２ ：生成部
２４２３ ：算出部
２４２４ ：決定部
２４２５ ：合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】