特開2020-156087(P2020-156087A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧
特開2020-156087イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
<>
  • 特開2020156087-イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム 図000003
  • 特開2020156087-イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム 図000004
  • 特開2020156087-イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム 図000005
  • 特開2020156087-イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム 図000006
  • 特開2020156087-イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム 図000007
  • 特開2020156087-イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム 図000008
  • 特開2020156087-イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム 図000009
  • 特開2020156087-イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム 図000010
  • 特開2020156087-イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2020-156087(P2020-156087A)
(43)【公開日】2020年9月24日
(54)【発明の名称】イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
(51)【国際特許分類】
   H04N 19/105 20140101AFI20200828BHJP
   H04N 19/11 20140101ALI20200828BHJP
   H04N 19/136 20140101ALI20200828BHJP
   H04N 19/176 20140101ALI20200828BHJP
【FI】
   H04N19/105
   H04N19/11
   H04N19/136
   H04N19/176
【審査請求】未請求
【請求項の数】7
【出願形態】OL
【全頁数】17
(21)【出願番号】特願2020-43399(P2020-43399)
(22)【出願日】2020年3月12日
(31)【優先権主張番号】特願2019-49075(P2019-49075)
(32)【優先日】2019年3月15日
(33)【優先権主張国】JP
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001106
【氏名又は名称】キュリーズ特許業務法人
(72)【発明者】
【氏名】根本 慎平
(72)【発明者】
【氏名】岩村 俊輔
(72)【発明者】
【氏名】井口 和久
(72)【発明者】
【氏名】市ヶ谷 敦郎
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159MA04
5C159TA25
5C159TA33
5C159TB08
5C159TC02
5C159TC42
(57)【要約】
【課題】予測画像合成手法によりイントラ予測の予測精度をさらに高める。
【解決手段】イントラ予測装置は、原画像を分割して得た画像ブロックに対するイントラ予測を行うイントラ予測装置であって、方向性予測である第1イントラ予測モードにより前記画像ブロックを予測して第1予測画像を生成する第1予測画像生成部と、非方向性予測である第2イントラ予測モードにより前記画像ブロックを予測して第2予測画像を生成する第2予測画像生成部と、前記第1予測画像及び前記第2予測画像を画素ごとに重み付け合成する際に用いる重み係数を、当該画素の位置に基づいて決定する重み係数決定部と、前記重み係数決定部により画素ごとに決定された前記重み係数を用いて、前記第1予測画像及び前記第2予測画像を画素ごとに重み付け合成する画像合成部とを備える。
【選択図】図3
【特許請求の範囲】
【請求項1】
原画像を分割して得た画像ブロックに対するイントラ予測を行うイントラ予測装置であって、
方向性予測である第1イントラ予測モードにより前記画像ブロックを予測して第1予測画像を生成する第1予測画像生成部と、
非方向性予測である第2イントラ予測モードにより前記画像ブロックを予測して第2予測画像を生成する第2予測画像生成部と、
前記第1予測画像及び前記第2予測画像を画素ごとに重み付け合成する際に用いる重み係数を、当該画素の位置に基づいて決定する重み係数決定部と、
前記重み係数決定部により画素ごとに決定された前記重み係数を用いて、前記第1予測画像及び前記第2予測画像を画素ごとに重み付け合成する画像合成部と、を備えることを特徴とするイントラ予測装置。
【請求項2】
前記第2イントラ予測モードは、Planar予測又はPlane予測又はDC予測であることを特徴とする請求項1に記載のイントラ予測装置。
【請求項3】
前記重み係数決定部は、
前記第1予測画像及び前記第2予測画像を画素ごとに重み付け合成する際に、当該画素の位置と前記画像ブロックに隣接する復号済み参照画素との距離が離れるにつれて、前記第1予測画像の画素の重み係数に対する前記第2予測画像の画素の重み係数の比を大きくするように前記重み係数を決定することを特徴とする請求項1又は2に記載のイントラ予測装置。
【請求項4】
前記重み係数決定部は、
前記第1予測画像及び前記第2予測画像を画素ごとに重み付け合成する際に用いる前記重み係数を、当該画素の位置と、前記方向性予測における予測方向とに基づいて決定することを特徴とする請求項1乃至3のいずれか1項に記載のイントラ予測装置。
【請求項5】
請求項1乃至4のいずれか1項に記載のイントラ予測装置を備えることを特徴とする画像符号化装置。
【請求項6】
請求項1乃至4のいずれか1項に記載のイントラ予測装置を備えることを特徴とする画像復号装置。
【請求項7】
コンピュータを請求項1乃至4のいずれか1項に記載のイントラ予測装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イントラ予測装置、画像符号化装置、画像復号装置、及びプログラムに関する。
【背景技術】
【0002】
従来から、伝送時や保存時の静止画像や動画像のデータ量を圧縮するため映像符号化方式の研究が行われている。近年、映像符号化技術では8K−SHVに代表されるような超高解像度映像の普及が進んでおり、膨大なデータ量の動画像を伝送するための手法としてAVC/H.264やHEVC/H.265などの符号化方式が知られている。
【0003】
MPEG及びITUが合同で標準化を行っている次世代映像符号化方式であるVVC(The Next−Next Generation Codec)の評価用ソフトウェア(VTM)では、フレーム内の空間的な相関を利用したイントラ予測(フレーム間予測)が利用されている(非特許文献1参照)。符号化対象ブロック(Coding Unit)周辺の復号済み参照画素を利用し、Planar予測、DC予測、及び65通りの方向性予測からなる計67通りの予測モードの中から、エンコーダ側で最適なモードが選択され、選択された情報がデコーダ側へ送られる。
【0004】
イントラ予測の予測精度を高めるための手法として、2つのイントラ予測モードによりそれぞれ予測画像を生成し、2つの予測画像の各画素を足し合わせて新しい予測画像を生成する予測画像合成手法が提案されている(非特許文献2参照)。具体的には、上述の65通りの方向性予測のうちいずれかのモードによって生成した予測画像である方向性予測画像と、Planarモードによって生成した予測画像であるPlanar予測画像とを足し合わせて予測画像を生成する。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】JVET−M1001 “Versatile Video Coding (Draft 4)”
【非特許文献2】JVET−M0458 “Non−CE3: Combined-Hypothesis Intra−Prediction”
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、方向性予測は、参照画素に近い位置の画素の予測精度が高いものの、参照画素から遠ざかるにつれて予測の精度が低くなりうるという欠点を有する。
【0007】
しかしながら、非特許文献2に記載の予測画像合成手法は、方向性予測画像とPlanar予測画像とを単に画素単位で平均化するに過ぎないものであって、方向性予測の欠点について考慮しておらず、イントラ予測の予測精度をさらに高める点において改善の余地があった。
【0008】
そこで、本発明は、予測画像合成手法によりイントラ予測の予測精度をさらに高めるイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
第1の態様に係るイントラ予測装置は、原画像を分割して得た画像ブロックに対するイントラ予測を行うイントラ予測装置であって、方向性予測である第1イントラ予測モードにより前記画像ブロックを予測して第1予測画像を生成する第1予測画像生成部と、非方向性予測である第2イントラ予測モードにより前記画像ブロックを予測して第2予測画像を生成する第2予測画像生成部と、前記第1予測画像及び前記第2予測画像を画素ごとに重み付け合成する際に用いる重み係数を、当該画素の位置に基づいて決定する重み係数決定部と、前記重み係数決定部により画素ごとに決定された前記重み係数を用いて、前記第1予測画像及び前記第2予測画像を画素ごとに重み付け合成する画像合成部とを備えることを要旨とする。
【0010】
第2の態様に係る画像符号化装置は、第1の態様に係るイントラ予測装置を備えることを要旨とする。
【0011】
第3の態様に係る画像復号装置は、第1の態様に係るイントラ予測装置を備えることを要旨とする。
【0012】
第4の態様に係るプログラムは、コンピュータを第1の態様に係るイントラ予測装置として機能させることを要旨とする。
【発明の効果】
【0013】
本発明によれば、予測画像合成手法によりイントラ予測の予測精度をさらに高めるイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供できる。
【図面の簡単な説明】
【0014】
図1】実施形態に係る画像符号化装置の構成を示す図である。
図2】実施形態に係るイントラ予測の予測モードを示す図である。
図3】実施形態に係る画像符号化装置のイントラ予測部の構成を示す図である。
図4】実施形態に係るイントラ予測部の動作例を示す図である。
図5】実施形態に係る重み係数決定部の動作例1を示す図である。
図6】実施形態に係る重み係数決定部の動作例2を示す図である。
図7】実施形態に係る画像復号装置の構成を示す図である。
図8】実施形態に係る画像復号装置のイントラ予測部の構成を示す図である。
図9】実施形態に係るイントラ予測部の動作フロー例を示す図である。
【発明を実施するための形態】
【0015】
図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、MPEGに代表される動画の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【0016】
<画像符号化装置の構成>
まず、本実施形態に係る画像符号化装置について説明する。図1は、本実施形態に係る画像符号化装置1の構成を示す図である。
【0017】
図1に示すように、画像符号化装置1は、ブロック分割部100と、減算部110と、変換・量子化部120と、エントロピー符号化部130と、逆量子化・逆変換部140と、合成部150と、メモリ160と、予測部170とを有する。
【0018】
ブロック分割部100は、動画像を構成するフレーム(或いはピクチャ)単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部1
10に出力する。画像ブロックのサイズは、例えば32×32画素、16×16画素、8×8画素、又は4×4画素等である。画像ブロックの形状は正方形に限らず長方形(矩形)であってもよい。画像ブロックは、画像符号化装置1が符号化を行う単位(符号化対象ブロック)であり、且つ画像復号装置が復号を行う単位(復号対象ブロック)である。かかる画像ブロックはCU(Coding Unit)と呼ばれることがある。
【0019】
減算部110は、ブロック分割部100から入力された符号化対象ブロックと、符号化対象ブロックを予測部170が予測して得た予測画像との差分(誤差)を表す予測残差を算出する。具体的には、減算部110は、ブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部120に出力する。
【0020】
変換・量子化部120は、ブロック単位で直交変換処理及び量子化処理を行う。変換・量子化部120は、変換部121と、量子化部122とを有する。
【0021】
変換部121は、減算部110から入力された予測残差に対して直交変換処理を行って直交変換係数を算出し、算出した直交変換係数を量子化部122に出力する。直交変換とは、例えば、離散コサイン変換(DCT:Discrete Cosine Transform)や離散サイン変換(DST:Discrete Sine Transform)、カルーネンレーブ変換(KLT: Karhunen-Loeve Transform)等をいう。
【0022】
量子化部122は、変換部121から入力された直交変換係数を量子化パラメータ(Qp)及び量子化行列を用いて量子化し、量子化した直交変換係数をエントロピー符号化部130及び逆量子化・逆変換部140に出力する。なお、量子化パラメータ(Qp)は、ブロック内の各直交変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各直交変換係数を量子化する際の量子化値を要素として有する行列である。
【0023】
エントロピー符号化部130は、量子化部122から入力された直交変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ(ビットストリーム)を生成し、符号化データを画像符号化装置1の外部に出力する。エントロピー符号化には、ハフマン符号やCABAC(Context−based Adaptive Binary Arithmetic Coding;コンテキスト適応型2値算術符号)等を用いることができる。なお、エントロピー符号化部130は、予測部170から予測に関するシンタックス等の情報が入力され、入力された情報のエントロピー符号化も行う。
【0024】
逆量子化・逆変換部140は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部140は、逆量子化部141と、逆変換部142とを有する。
【0025】
逆量子化部141は、量子化部122が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部141は、量子化部122から入力された直交変換係数を、量子化パラメータ(Qp)及び量子化行列を用いて逆量子化することにより直交変換係数を復元し、復元した直交変換係数を逆変換部142に出力する。
【0026】
逆変換部142は、変換部121が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部121が離散コサイン変換を行った場合には、逆変換部142は逆離散コサイン変換を行う。逆変換部142は、逆量子化部141から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部150に出力する。
【0027】
合成部150は、逆変換部142から入力された復元予測残差を、予測部170から入力された予測画像と画素単位で合成する。合成部150は、復元予測残差の各画素値と予測画像の各画素値を加算して符号化対象ブロックを再構成(復号)し、復号したブロック単位の復号画像をメモリ160に出力する。かかる復号画像は、再構成画像と呼ばれることがある。
【0028】
メモリ160は、合成部150から入力された復号画像を記憶する。メモリ160は、復号画像をフレーム単位で記憶する。メモリ160は、記憶している復号画像を予測部170に出力する。なお、合成部150とメモリ160との間にループフィルタが設けられてもよい。なお、メモリ160の一部は、予測部170に含まれていてもよい。
【0029】
予測部170は、ブロック単位で予測を行う。予測部170は、インター予測部171と、イントラ予測部172と、切替部173とを有する。
【0030】
インター予測部171は、メモリ160に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測画像を生成し、生成したインター予測画像を切替部173に出力する。
【0031】
インター予測部171は、複数の参照画像を用いるインター予測(典型的には、双予測)や、1つの参照画像を用いるインター予測(片方向予測)の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部171は、インター予測に関する情報(動きベクトル等)をエントロピー符号化部130に出力する。
【0032】
イントラ予測部172は、メモリ160に記憶された復号画像のうち、符号化対象ブロックの周辺にある復号画素値を参照してイントラ予測画像を生成し、生成したイントラ予測画像を切替部173に出力する。また、イントラ予測部172は、選択した予測モードに関するシンタックスをエントロピー符号化部130に出力する。以下において、イントラ予測の対象となる画像ブロックをイントラ予測対象ブロックと呼ぶ。
【0033】
イントラ予測部172は、複数の予測モードの中から、イントラ予測対象ブロックに適用する最適な予測モードを選択し、選択した予測モードを用いてイントラ予測対象ブロックを予測する。
【0034】
図2は、本実施形態に係るイントラ予測の予測モードを示す図である。図2に示すように、0から66までの67通りの予測モードがある。予測モードのモード「0」はPlanar予測であり、予測モードのモード「1」はDC予測であり、予測モードのモード「2」乃至「66」は方向性予測である。方向性予測において、矢印の方向は予測方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。モード「2」乃至「18」は、イントラ予測の対象ブロックの左側のみの参照画素を参照する予測モードである。一方で、モード「50」乃至「66」は、イントラ予測の対象ブロックの上側のみの参照画素を参照する予測モードである。
【0035】
切替部173は、インター予測部171から入力されるインター予測画像とイントラ予測部172から入力されるイントラ予測画像とを切り替えて、いずれかの予測画像を減算部110及び合成部150に出力する。
【0036】
図3は、本実施形態に係るイントラ予測部172の構成を示す図である。イントラ予測部172は、画像符号化装置1に設けられるイントラ予測装置に相当する。
【0037】
図3に示すように、イントラ予測部172は、メモリ160aと、第1予測画像生成部172aと、第2予測画像生成部172bと、重み係数決定部172cと、画像合成部172dとを有する。
【0038】
メモリ160aは、図1に示すメモリ160の一部である。メモリ160aは、イントラ予測の際に参照される復号済み画素である参照画素を記憶する。
【0039】
第1予測画像生成部172aは、方向性予測である第1イントラ予測モードによりイントラ予測対象ブロックを予測して方向性予測画像(第1予測画像)を生成し、生成した方向性予測画像を画像合成部172dに出力する。具体的には、第1予測画像生成部172aは、メモリ160aに記憶された参照画素を参照し、65通りの方向性予測のうちいずれかのモードによって方向性予測画像を生成する。
【0040】
第2予測画像生成部172bは、非方向性予測である第2イントラ予測モードによりイントラ予測対象ブロックを予測して予測画像(第2予測画像)を生成し、生成した予測画像を画像合成部172dに出力する。具体的には、第2予測画像生成部172bは、メモリ160aに記憶された参照画素を参照し、予め定められた非方向性の第2イントラ予測モードによって方向性予測画像を生成する。
【0041】
第2イントラ予測モードは、非方向性の予測モードであればどのような予測モードであってもよいが、本実施形態において第2イントラ予測モードがPlanar予測である一例について説明する。
【0042】
重み係数決定部172cは、イントラ予測対象ブロックの画素位置(座標)ごとに重み係数を決定し、決定した重み係数を画像合成部172dに出力する。重み係数決定部172cが出力する重み係数は、第1予測画像生成部172aが生成する方向性予測画像及び第2予測画像生成部172bが生成するPlanar予測画像を重み付け合成する際に用いられる。具体的には、重み係数決定部172cは、方向性予測画像及びPlanar予測画像を画素ごとに重み付け合成する際に用いる重み係数を、当該画素の位置に基づいて決定する。
【0043】
画像合成部172dは、重み係数決定部172cから入力された重み係数を用いて、第1予測画像生成部172aから入力された方向性予測画像及び第2予測画像生成部172bから入力されたPlanar予測画像を画素ごとに重み付け合成し、重み付け合成後の予測画像をイントラ予測画像として出力する。
【0044】
図4は、本実施形態に係るイントラ予測部172の動作例を示す図である。図4において、イントラ予測対象ブロックが8×8画素の正方形状である一例を例示しているが、イントラ予測対象ブロックは正方形でなくてもよい。また、図4において丸で示す画素は参照画素(復号済み参照画素)を表す。
【0045】
図4(a)に示すように、第2予測画像生成部172bは、Planar予測によりイントラ予測対象ブロックを予測してPlanar予測画像を生成する。具体的には、Planar予測は、図4(a)において4つの矢印の始点にある上下左右の4つの参照画素を用いて内挿予測により予測画素値を生成するものである。
【0046】
図4(b)に示すように、第1予測画像生成部172aは、方向性予測モードによりイ
ントラ予測対象ブロックを予測して方向性予測画像を生成する。方向性予測は、参照画素を予測方向に沿って外挿して予測画素値を生成するものであるため、参照画素に近い位置の画素については予測の精度が高いものの、参照画素から遠ざかるにつれて予測の精度が低くなりうるという欠点を有する。
【0047】
重み係数決定部172cは、方向性予測画像及びPlanar予測画像を画素ごとに重み付け合成する際に用いる重み係数を、当該画素の位置に基づいて決定する。本実施形態において、重み係数決定部172cは、Planar予測画像に適用する重み係数α(第2重み係数)と、方向性予測画像に適用する重み係数β(第1重み係数)とを決定する。
【0048】
図4(c)に示すように、画像合成部172dは、第1予測画像生成部172aが生成した方向性予測画像の画素(x,y)ごとに重み係数β(x,y)を適用するとともに、第2予測画像生成部172bが生成したPlanar予測画像の画素(x,y)ごとに重み係数α(x,y)を適用し、且つ、方向性予測画像及びPlanar予測画像を画素単位で合成し、合成後の予測画像をイントラ予測画像として出力する。ここで、予測対象ブロックの左上の頂点を基準として、xが水平方向の座標位置を示し、yが垂直方向の座標位置を示す。
【0049】
本実施形態において、画像合成部172dは、下記の式(1)により、Planar予測画像の画素predα(x,y)に重み係数α(x,y)を乗算し、方向性予測画像の画素predβ(x,y)に重み係数β(x,y)を乗算し、それらを合成した予測画像をイントラ予測画像の画素pred(x,y)として出力する。
【0050】
pred(x,y)=(α(x,y)×predα(x,y) + β(x,y)×predβ(x,y) + 32) >> 6
・・・(1)
【0051】
図5は、本実施形態に係る重み係数決定部172cの動作例1を示す図である。図5において、イントラ予測対象ブロックが4×4画素の正方形状である一例を例示しているが、イントラ予測対象ブロックは正方形でなくてもよい。また、図5において丸で示す画素は参照画素(復号済み参照画素)を表す。
【0052】
図5に示すように、重み係数決定部172cは、Planar予測画像に適用する重み係数α(x,y)と、方向性予測画像に適用する重み係数β(x,y)とを、画素位置(x,y)に基づいて決定する。具体的には、重み係数決定部172cは、画素位置(x,y)が参照画素に近いほど、α(x,y)に対するβ(x,y)の比を大きくする。言い換えると、重み係数決定部172cは、画素位置(x,y)が参照画素から離れるにつれて、α(x,y)に対するβ(x,y)の比を小さくする。
【0053】
方向性予測は、参照画素から遠ざかるにつれて予測の精度が低くなりうるという欠点を有する。本実施形態によれば、参照画素から遠ざかるにつれてPlanar予測画像の画素の重み係数α(x,y)に対する方向性予測画像の画素の重み係数β(x,y)の比を小さくしているため、方向性予測の欠点をPlanar予測により補うことができる。
【0054】
また、方向性予測は、参照画素に近い位置の画素については予測の精度が高いという利点を有する。本実施形態によれば、参照画素に近づくにつれてPlanar予測画像の画素の重み係数α(x,y)に対する方向性予測画像の画素の重み係数β(x,y)の比を大きくしているため、方向性予測の利点を活かすことができる。
【0055】
例えば、重み係数決定部172cは、下記の式(2)により重み係数α(x,y)及びβ(x,y)を決定する。
【0056】
α(x,y)= 64 - β(x,y)
β(x,y) = 32 - (z << 5) >> shift
z=min(x,y)
shift = (log2(width) + log2(height) + 1) >> 1
・・・(2)
【0057】
但し、widthは予測対象ブロックの幅を示し、heightは予測対象ブロックの高さを示す。
【0058】
式(2)に示すように、画素位置(x,y)に応じてzの値が変化し、zの値の変化に応じて重み係数α(x,y)及び重み係数β(x,y)の値が変化することになる。具体的には、x、yの値が大きくなるほどzの値が大きくなり、それに応じて重み係数β(x,y)の値が小さくなるとともに重み係数α(x,y)の値が大きくなる。
【0059】
図5の例では、x=1である場合及びy=1である場合、すなわち、参照画素に最も近い画素位置において、α:β=32:32であり、Planar予測画像の画素値と方向性予測画像の画素値とが等しい割合で合成される一例を示している。しかしながら、参照画素に最も近い画素位置において各画素の画素値が同比率で合成される必要はなく、参照画素に最も近い画素位置において方向性予測画像の画素値の割合が大きくなるように決定してもよい。
【0060】
図6は、本実施形態に係る重み係数決定部172cの動作例2を示す図である。図6において、イントラ予測対象ブロックが4×4画素の正方形状である一例を例示しているが、イントラ予測対象ブロックは正方形でなくてもよい。また、図6において丸で示す画素は参照画素(復号済み参照画素)を表す。
【0061】
図6に示すように、重み係数決定部172cは、Planar予測画像に適用する重み係数α(x,y)と、方向性予測画像に適用する重み係数β(x,y)とを、画素位置(x,y)だけではなく、方向性予測における予測方向(すなわち、方向性予測の予測モード)も考慮して決定する。
【0062】
具体的には、重み係数決定部172cは、第1予測画像生成部172aが方向性予測画像を生成する際に用いる予測モードを取得し、この予測モードに応じて重み係数α(x,y)及びβ(x,y)の決定方法を異ならせる。
【0063】
図6(a)に示すように、重み係数決定部172cは、イントラ予測対象ブロックの左側の参照画素を参照する予測モード「2」乃至「18」について、左側の参照画素から遠ざかるにつれてPlanar予測画像の画素の重み係数α(x,y)に対する方向性予測画像の画素の重み係数β(x,y)の比を小さくする。
【0064】
例えば、重み係数決定部172cは、予測モードが「2」乃至「18」のいずれかである場合、下記の式(3)により重み係数α(x,y)及びβ(x,y)を決定する。
【0065】
α(x,y) = 64 - β(x,y)
β(x,y) = 32 - (x << 5) >> shift
shift = (log2(width) + log2(height) + 1) >> 1
・・・(3)
【0066】
式(3)に示すように、水平方向の画素位置xの値が大きくなるほど、重み係数β(x
,y)の値が小さくなるとともに、重み係数α(x,y)の値が大きくなる。
【0067】
図6(c)に示すように、重み係数決定部172cは、イントラ予測対象ブロックの上側の参照画素を参照する予測モード「50」乃至「66」について、上側の参照画素から遠ざかるにつれてPlanar予測画像の画素の重み係数α(x,y)に対する方向性予測画像の画素の重み係数β(x,y)の比を小さくする。
【0068】
例えば、重み係数決定部172cは、予測モードが「50」乃至「66」のいずれかである場合、下記の式(4)により重み係数α(x,y)及びβ(x,y)を決定する。
【0069】
α(x,y) = 64 - β(x,y)
β(x,y) = 32 - (y << 5) >> shift
shift = (log2(width) + log2(height) + 1) >> 1
・・・(4)
【0070】
式(4)に示すように、水平方向の画素位置yの値が大きくなるほど、重み係数β(x,y)の値が小さくなるとともに、重み係数α(x,y)の値が大きくなる。
【0071】
図6(b)に示すように、重み係数決定部172cは、イントラ予測対象ブロックの左側の参照画素及び上側の参照画素を参照する予測モード「19」乃至「49」について、上述した式(2)により重み係数α(x,y)及びβ(x,y)を決定する。すなわち、予測モードが「50」乃至「66」のいずれかである場合、重み係数α(x,y)及びβ(x,y)の決定方法は動作例1と同じである。
【0072】
動作例2では、方向性予測の予測方向に応じて3パターンに場合分けし、方向性予測において実際に参照する参照画素から離れるにつれてPlanar予測画像の画素値の割合を大きくする一例について説明した。しかしながら、3パターンよりも多くのパターンに場合分けしてもよい。また、重み係数α(x,y)及びβ(x,y)を決定するための計算式が方向性予測の数だけ定義されてもよい。
【0073】
<画像復号装置の構成>
次に、本実施形態に係る画像復号装置について説明する。図7は、本実施形態に係る画像復号装置2の構成を示す図である。
【0074】
図7に示すように、画像復号装置2は、エントロピー復号部200と、逆量子化・逆変換部210と、合成部220と、メモリ230と、予測部240とを有する。
【0075】
エントロピー復号部200は、画像符号化装置1により生成された符号化データを復号し、量子化された直交変換係数を逆量子化・逆変換部210に出力する。また、エントロピー復号部200は、予測(イントラ予測及びインター予測)に関するシンタックスを取得し、取得したシンタックスを予測部240に出力する。
【0076】
逆量子化・逆変換部210は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部210は、逆量子化部211と、逆変換部212とを有する。
【0077】
逆量子化部211は、画像符号化装置1の量子化部122が行う量子化処理に対応する逆量子化処理を行う。逆量子化部211は、エントロピー復号部200から入力された量子化直交変換係数を、量子化パラメータ(Qp)及び量子化行列を用いて逆量子化することにより、復号対象ブロックの直交変換係数を復元し、復元した直交変換係数を逆変換部212に出力する。
【0078】
逆変換部212は、画像符号化装置1の変換部121が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部212は、逆量子化部211から入力された直交変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差(復元予測残差)を合成部220に出力する。
【0079】
合成部220は、逆変換部212から入力された予測残差と、予測部240から入力された予測画像とを画素単位で合成することにより、元のブロックを再構成(復号)し、ブロック単位の復号画像をメモリ230に出力する。
【0080】
メモリ230は、合成部220から入力された復号画像を記憶する。メモリ230は、復号画像をフレーム単位で記憶する。メモリ230は、フレーム単位の復号画像を画像復号装置2の外部に出力する。なお、合成部220とメモリ230との間にループフィルタが設けられてもよい。また、メモリ230の一部は、予測部240に含まれていてもよい。
【0081】
予測部240は、ブロック単位で予測を行う。予測部240は、インター予測部241と、イントラ予測部242と、切替部243とを有する。
【0082】
インター予測部241は、メモリ230に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部241は、エントロピー復号部200から入力されたシンタックス及び動きベクトル等に従ってインター予測を行うことによりインター予測画像を生成し、生成したインター予測画像を切替部243に出力する。
【0083】
イントラ予測部242は、メモリ230に記憶された復号画像を参照し、エントロピー復号部200から入力されたシンタックスに基づいて、復号対象ブロックをイントラ予測により予測することによりイントラ予測画像を生成し、生成したイントラ予測画像を切替部243に出力する。
【0084】
切替部243は、インター予測部241から入力されるインター予測画像とイントラ予測部242から入力されるイントラ予測画像とを切り替えて、いずれかの予測画像を合成部220に出力する。
【0085】
図8は、本実施形態に係るイントラ予測部242の構成を示す図である。イントラ予測部242は、画像復号装置2に設けられるイントラ予測装置に相当する。イントラ予測部242は、画像符号化装置1に設けられるイントラ予測部172と同様な動作を行う。
【0086】
図8に示すように、イントラ予測部242は、メモリ230aと、第1予測画像生成部242aと、第2予測画像生成部242bと、重み係数決定部242cと、画像合成部242dとを有する。
【0087】
メモリ230aは、図7に示すメモリ230の一部である。メモリ230aは、イントラ予測の際に参照される復号済み画素である参照画素を記憶する。
【0088】
第1予測画像生成部242aは、方向性予測である第1イントラ予測モードによりイントラ予測対象ブロックを予測して方向性予測画像(第1予測画像)を生成し、生成した方向性予測画像を画像合成部242dに出力する。具体的には、第1予測画像生成部242aは、メモリ230aに記憶された参照画素を参照し、エントロピー復号部200から入力されたシンタックスが示す方向性予測モードによって方向性予測画像を生成する。
【0089】
第2予測画像生成部242bは、非方向性予測である第2イントラ予測モードによりイントラ予測対象ブロックを予測して予測画像(第2予測画像)を生成し、生成した予測画像を画像合成部242dに出力する。具体的には、第2予測画像生成部242bは、メモリ230aに記憶された参照画素を参照し、予め定められた非方向性の第2イントラ予測モードによって方向性予測画像を生成する。本実施形態において第2イントラ予測モードはPlanar予測である。
【0090】
重み係数決定部242cは、方向性予測画像及びPlanar予測画像を画素ごとに重み付け合成する際に用いる重み係数を、当該画素の位置に基づいて決定し、決定した重み係数を画像合成部242dに出力する。重み係数決定部242cの動作は、上述した動作例1及び2と同じ動作である。
【0091】
画像合成部242dは、重み係数決定部242cから入力された重み係数を用いて、第1予測画像生成部242aから入力された方向性予測画像及び第2予測画像生成部242bから入力されたPlanar予測画像を重み付け合成し、重み付け合成後の予測画像をイントラ予測画像として出力する。画像合成部242dは、上述した式(1)により重み付け合成の処理を行う。
【0092】
<イントラ予測の動作フロー例>
次に、本実施形態に係るイントラ予測の動作フロー例について説明する。画像符号化装置1及び画像復号装置2でイントラ予測の動作は同じであるが、ここでは画像復号装置2におけるイントラ予測(イントラ予測部242)の動作を説明する。図9は、イントラ予測部242の動作フロー例を示す図である。なお、以下で説明するフローは一例に過ぎないものであって、フラグ(シンタックス)の種類や送る順番については適宜変更可能である。
【0093】
第1に、エントロピー復号部200は、画像符号化装置1により選択されたイントラ予測モードを示すシンタックスを復号する。このシンタックスが方向性予測モード以外のモード(DC予測又はPlanar予測)を示す場合(ステップS1:NO)、イントラ予測部242は、従来と同様なイントラ予測を行う(ステップS7)。
【0094】
第2に、エントロピー復号部200は、予測画像合成手法を適用するか否かを示すシンタックスを復号する。このシンタックスが予測画像合成手法を適用しないことを示す場合(ステップS2:NO)、イントラ予測部242は、従来と同様なイントラ予測を行う。但し、画像符号化装置1により選択されたイントラ予測モードが方向性予測モードである場合、常に予測画像合成手法を適用するとしてもよい。この場合、予測画像合成手法を適用するか否かを示すシンタックスのシグナリングは不要である。
【0095】
第3に、画像符号化装置1により選択されたイントラ予測モードが方向性予測であり(ステップS1:YES)、且つ、予測画像合成手法を適用する場合(ステップS2:YES)、重み係数決定部242cは、イントラ予測対象ブロック内の画素位置(x,y)ごとに重み係数α(x,y)及びβ(x,y)を決定する(ステップS3)。
【0096】
第4に、第1予測画像生成部242aは、画像符号化装置1により選択された方向性予測モードによりイントラ予測対象ブロックを予測して方向性予測画像を生成する(ステップS4)。また、第2予測画像生成部242bは、Planar予測によりイントラ予測対象ブロックを予測してPlanar予測画像を生成する(ステップS5)。
【0097】
第5に、画像合成部242dは、ステップS3で決定された重み係数α(x,y)及び
β(x,y)を用いて、ステップS4で生成された方向性予測画像とステップS5で生成されたPlanar予測画像とを画素位置(x,y)ごとに重み付け合成し、重み付け合成後の予測画像をイントラ予測画像として出力する(ステップS6)。
【0098】
<実施形態のまとめ>
本実施形態に係る画像符号化装置1及び画像復号装置2は、イントラ予測対象ブロック内の画素位置(x,y)に基づいて重み係数α(x,y)及びβ(x,y)を決定し、決定した重み係数α(x,y)及びβ(x,y)を用いて方向性予測画像及びPlanar予測画像を画素位置(x,y)ごとに重み付け合成する。これにより、予測画像合成手法において、方向性予測画像とPlanar予測画像とを単に平均化する場合に比べて、イントラ予測の予測精度を高めることができる。
【0099】
<その他の実施形態>
上述した実施形態において、第2イントラ予測モードがPlanar予測である一例について主として説明した。しかしながら、第2イントラ予測モードは、H.264規格で規定されているようなPlane予測であってもよい。第2イントラ予測モードがPlane予測である場合、上述した実施形態における「Planar予測」を「Plane予測」と読み替えればよい。
【0100】
或いは、第2イントラ予測モードは、DC予測であってもよい。第2イントラ予測モードがDC予測である場合、上述した実施形態における「Planar予測」を「DC予測」と読み替えればよい。
【0101】
画像符号化装置1が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。画像復号装置2が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD−ROMやDVD−ROM等の記録媒体であってもよい。
【0102】
画像符号化装置1が行う各処理を実行する回路を集積化し、画像符号化装置1を半導体集積回路(チップセット、SoC)により構成してもよい。画像復号装置2が行う各処理を実行する回路を集積化し、画像復号装置2を半導体集積回路(チップセット、SoC)により構成してもよい。
【0103】
以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0104】
1 :画像符号化装置
2 :画像復号装置
100 :ブロック分割部
110 :減算部
120 :変換・量子化部
121 :変換部
122 :量子化部
130 :エントロピー符号化部
140 :逆量子化・逆変換部
141 :逆量子化部
142 :逆変換部
150 :合成部
160 :メモリ
160a :メモリ
170 :予測部
171 :インター予測部
172 :イントラ予測部
172a :第1予測画像生成部
172b :第2予測画像生成部
172c :重み係数決定部
172d :画像合成部
173 :切替部
200 :エントロピー復号部
210 :逆量子化・逆変換部
211 :逆量子化部
212 :逆変換部
220 :合成部
230 :メモリ
230a :メモリ
240 :予測部
241 :インター予測部
242 :イントラ予測部
242a :第1予測画像生成部
242b :第2予測画像生成部
242c :重み係数決定部
242d :画像合成部
243 :切替部
図1
図2
図3
図4
図5
図6
図7
図8
図9