特許 6965887 イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6965887

(24)【登録日】2021年10月25日

(45)【発行日】2021年11月10日

(54)【発明の名称】イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラム

(51)【国際特許分類】

   H04N 19/11 20140101AFI20211028BHJP

   H04N 19/147 20140101ALI20211028BHJP

   H04N 19/176 20140101ALI20211028BHJP

【ＦＩ】

   H04N19/11

   H04N19/147

   H04N19/176

【請求項の数】6

【全頁数】25

(21)【出願番号】特願2018-538492(P2018-538492)

(86)(22)【出願日】2017年9月8日

(86)【国際出願番号】JP2017032526

(87)【国際公開番号】WO2018047952

(87)【国際公開日】20180315

【審査請求日】2020年8月17日

(31)【優先権主張番号】特願2016-177303(P2016-177303)

(32)【優先日】2016年9月12日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100124154

【弁理士】

【氏名又は名称】下坂 直樹

(72)【発明者】

【氏名】柴田 誠也

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 国際公開第２０１３／１２５１７１（ＷＯ，Ａ１）

【文献】 特開２００７−２４３３３７（ＪＰ，Ａ）

【文献】 国際公開第２０１６／１１６９８４（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に適用されるイントラ予測モード決定方法であって、
前記小ブロックが取り得るサイズのうちの１つのサイズでのみ、各々の前記小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価し、
評価結果に基づいて、前記複数の予測モード候補からイントラ予測モードを選択し、
前記符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加し、
評価対象の前記小ブロックが１つの分割形状における上側に位置する場合、
当該小ブロックの左に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加し、
評価対象の前記小ブロックが１つの分割形状における下側に位置する場合、当該小ブロックの上に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加する
ことを特徴とするイントラ予測モード決定方法。

【請求項2】

所定の条件が成立すると複数の小ブロックを１つのブロックに統合する統合機能を有する映像符号化装置に適用され、
前記所定の条件を成立させるイントラ予測モードの選択率が大きくなるようにbin 数を増加する
請求項１記載のイントラ予測モード決定方法。

【請求項3】

入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に適用されるイントラ予測モード決定装置であって、
各々の前記小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価し、評価結果に基づいて、前記複数の予測モード候補からイントラ予測モードを選択する予測モード選択手段と、
前記予測モード選択手段が前記符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加するBin 数調整手段とが、
前記小ブロックが取り得るサイズのうちの１つのサイズのみに対応して設けられており、
前記Bin 数調整手段は、
評価対象の前記小ブロックが１つの分割形状における上側に位置する場合、
当該小ブロックの左に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加し、
評価対象の前記小ブロックが１つの分割形状における下側に位置する場合、当該小ブロックの上に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加する
ことを特徴とするイントラ予測モード決定装置。

【請求項4】

所定の条件が成立すると複数の小ブロックを１つのブロックに統合する統合手段を有する映像符号化装置に適用され、
前記Bin 数調整手段は、前記所定の条件を成立させるイントラ予測モードの選択率が大きくなるようにbin 数を増加する
請求項３記載のイントラ予測モード決定装置。

【請求項5】

前記Bin 数調整手段は、評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、予測モード候補が、MPM であり、かつ、前記小ブロックの上に隣接するブロックの予測モードと異なるときに、当該予測モード候補に対応するbin 数を増加する
請求項３又は４記載のイントラ予測モード決定装置。

【請求項6】

入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に搭載されるコンピュータに、
前記小ブロックが取り得るサイズのうちの１つのサイズでのみ、各々の前記小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価する処理と、
評価結果に基づいて、前記複数の予測モード候補からイントラ予測モードを選択する処理と、
前記符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加する処理と
を実行させ、
前記Bin 数を増加する処理は、
評価対象の前記小ブロックが１つの分割形状における上側に位置する場合、
当該小ブロックの左に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加し、
評価対象の前記小ブロックが１つの分割形状における下側に位置する場合、当該小ブロックの上に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加する
イントラ予測モード決定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像符号化装置に適用されるイントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラムに関する。

【背景技術】

【0002】

非特許文献１には、ITU-T 勧告H.265 規格に基づく映像符号化方式であるHEVC（High Efficiency Video Coding）が記載されている。

【0003】

HEVCでは、ディジタル化された映像の各フレームは符号化ツリーユニット（CTU:Coding Tree Unit）に分割され、ラスタスキャン順に各CTU が符号化される。各CTU は、クアッドツリー（四分木）構造で、符号化ユニット（CU:Coding Unit）に再帰的に分割されて符号化される。各CUは、予測ユニット（PU:Prediction Unit）に分割されて予測される。また、各CUの予測誤差（残差）は、四分木構造で変換ユニット（TU: Transform Unit）に分割されて周波数変換される。

【0004】

図１０Ａ及び図１０Ｂは、CTU のCU分割例に対応する四分木構造を示す説明図である。図１０Ａに示す例では、CTU の四分木構造は、図１０Ｂに示す階層構造に示されるように、６４×６４のブロックを分割することを示すCUDepth=0 のcu_split_flag=1 、最初の３つの３２×３２のCU（CU0, CU1、およびCU2 ）を分割しないことを示す３つのCUDepth=1 のcu_split_flag=0 、最後の３２×３２のCUを分割することを示すCUDepth=1 のcu_split_flag=1 、最初の３つの１６×１６のCU（CU3, CU4, およびCU5 ）を分割しないことを示す３つのCUDepth=2 のcu_split_flag=0 、最後の１６×１６のCUを分割することを示すCUDepth=2 のcu_split_flag=1 、すべての８×８CU（CU6, CU7, CU8 、およびCU9 ）を分割しないことを示す４つのCUDepth=3 のcu_split_flag=0 で表現できる。

【0005】

図１１は、CUのPU分割形状を示す説明図である。イントラ予測の場合、正方形のPU分割（２Ｎ×２ＮまたはＮ×Ｎ）を選択できる（ただし、CUが最小サイズよりも大きい場合、２Ｎ×２Ｎのみを選択できる）。

【0006】

CUは、PU毎にイントラ予測またはフレーム間予測によって予測符号化される。以下、イントラ予測を説明する。

【0007】

イントラ予測は、符号化対象フレームの参照画素から予測画像を生成する予測である。
非特許文献１では、図１２に示す３３種類の角度イントラ予測が定義されている。角度イントラ予測は、符号化対象ブロック周辺の参照画素を図１２に示す３３種類の方向のいずれかに外挿して、イントラ予測信号（予測画素）を生成する。非特許文献１では、３３種類の角度イントラ予測に加えて、符号化対象ブロック周辺の参照画素を平均するDC予測、および、符号化対象ブロック周辺の参照画素を線形補間するPlanar予測が定義されている。

【0008】

図１２において、最上位行の各矩形および最左列の各矩形は、参照画素を示す。矩形中の数字は、座標を示す。矢印は、予測方向を示す。矢印の近傍に付された数字は、予測モードを示す。

【0009】

図１３を参照して、ディジタル化された映像の各フレームの各CTU を入力画像としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。

【0010】

図１３は、一般的な映像符号化装置の一例を示すブロック図である。図１３に示す映像符号化装置は、変換部３０１、量子化部３０２、エントロピー符号化部３０３、逆量子化／逆変換部３０４、バッファ３０５、予測部３０６、および予測モード／ブロックサイズ決定部３０７を備える。

【0011】

予測モード／ブロックサイズ決定部３０７は、CTU 毎に符号化コストを最小とする予測モードとブロックサイズの組み合わせを決定する。また、予測モード／ブロックサイズ決定部３０７は、CU四分木構造／PU分割形状に加えて、TU四分木構造を決定する。

【0012】

予測部３０６は、予測モード／ブロックサイズ決定部３０７が決定した予測モードおよびブロックサイズに基づいて、CUの入力画像信号に対する予測信号を生成する。予測信号は、イントラ予測またはインター予測に基づいて生成される。

【0013】

変換部３０１は、予測モード／ブロックサイズ決定部３０７が決定したTU四分木構造に基づいて、入力画像信号から予測信号を減じた残差画像（残差信号：予測誤差信号）を周波数変換する。変換部３０１は、残差信号の変換符号化において、周波数変換に基づいた４×４、８×８、１６×１６または３２×３２ブロックサイズの直交変換を使用する。なお、ｎ×ｎブロックサイズは、縦ｎ画素で横ｎ画素のサイズを意味する。

【0014】

量子化部３０２は、変換部３０１から供給される直交変換係数を量子化する。以下、量子化された直交変換係数を変換量子化値ということがある。逆量子化／逆変換部３０４は、変換量子化値を逆量子化する。さらに、逆量子化／逆変換部３０４は、逆量子化した直交変換係数を逆変換する。逆変換された残差画像は、予測信号（予測画像）が加えられて、バッファ３０５に供給される。バッファ３０５は、画像を参照画像として格納する。

【0015】

予測モード／ブロックサイズ決定部３０７が、予測モードおよびPU分割形状を決定するときに、例えば、使用可能な全ての予測モードと全てのブロックサイズ（イントラ予測の場合、４×４、８×８、１６×１６、３２×３２および６４×６４）との組み合わせについて予測を実行し、残差を算出した後に、予測結果等に基づいて最適な組み合わせを決定するように構成されることがある（例えば、特許文献１の段落００５２〜００５４参照）。最適な組み合わせは、例えば、符号化コストを最小にする組み合わせである。全ての予測モードと全てのブロックサイズとの組み合わせを評価する予測モード／ブロックサイズ決定部３０７を有する映像符号化装置を、以下、第１の映像符号化装置という。また、特許文献２には、使用可能な全ての予測モードを評価して、最適な予測モードを決定する画像処理装置が記載されている（例えば、段落０３２９参照）。

【0016】

また、事前にすなわち予測モードを決定する前に、符号化コスト等に基づいてブロックサイズを決定し、決定されたブロックサイズで予測モードを決定する方式もある。そのような方式に基づく映像符号化装置を、以下、第２の映像符号化装置という。

【0017】

ＨＥＶＣのように大きなブロックサイズが許容される符号化では、映像信号の特徴が類似する領域において、大きなPUサイズ（PUのブロックサイズ）や大きなTUサイズ（TUのブロックサイズ）を適用することによって、符号化効率が高まる。具体的には、符号化後のデータのビット量（bin 数）が少なくなる。

【0018】

できるだけブロックサイズを大きくするために、所定の条件が成立すると、ブロックを拡大する機能を有する映像符号化装置がある（例えば、特許文献３参照）。ブロックの拡大は、複数のブロックを１つに統合することを意味する。そのような機能を有する映像符号化装置を、以下、第３の映像符号化装置という。

【0019】

図１４は、特許文献３に記載された第３の映像符号化装置の構成を示すブロック図である。図１４に示す映像符号化装置は、入力映像を入力として符号化パラメータを生成して出力する符号化パラメータ決定部１１０と、符号化部１２０と、ブロック拡大部３７０とを含む。符号化部１２０は、図１３に示された映像符号化装置から予測モード／ブロックサイズ決定部３０７を除いた構成と同等の構成を有する。

【0020】

入力画像の符号化が開始されると、符号化パラメータ決定部１１０は、ブロック分割を行い、分割されたブロック毎の符号化モード（イントラ予測、インター予測、スキップモード等）および予測モードを探索し符号化パラメータ＃１を決定する。符号化パラメータ決定部１１０は、符号化コストを計算し、符号化コストに基づいて符号化パラメータを決定する。符号化コストには、符号量に関する値（bin 数）と符号化歪み（画質に相関する。）とが反映されている。符号化パラメータ決定部１１０は、一例として、以下のRD（Rate Distortion ）コストを使用する。

【0021】

Cost ＝ D ＋ λ・R （１）

【0022】

（１）式において、D は符号化歪みであり、R は、変換係数まで加味した符号量であり、λはラグランジュ乗数である。

【0023】

ブロック拡大部３７０は、符号化パラメータ＃１を入力して、符号化パラメータ中のブロックサイズおよび動きベクトル情報を変更して出力する。出力された符号化パラメータは符号化部１２０に入力される。

【0024】

ブロック拡大部３７０は、例えば、隣接する４つのブロックがすべて同じサイズであり、かつ、それら４つのうちあらかじめ決められているｍ（ｍ：整数）個以上がイントラ予測ブロックである場合にブロックを拡大する。すなわち、４つのブロックを１つに統合する。なお、インター予測が用いられるときには、さらに、統合前の４つのブロックの動きベクトルに基づいて、統合されたブロックの動きベクトルを決定する。ブロック拡大部３７０は、例えば、統合前の４つのブロックのいずれかのブロックの動きベクトルを、統合された１つのブロックの動きベクトルとしたり、４つのブロックの動きベクトルの平均ベクトルを、統合された１つのブロックの動きベクトルとする。

【0025】

特許文献４には、複数の基本ブロックからなるＮ×Ｎ画素の領域である統合領域に含まれる複数の基本CUを１つの新たなCUとして統合し、統合後の新たなCUに基づいて符号列を生成することが記載されている。統合領域に含まれる複数の基本CUは、統合領域に属する複数の基本CUおよび基本PUがすべて同じブロックサイズかつ、統合領域に含まれる全ての基本PUの予測情報が同じである場合に、統合される。

【先行技術文献】

【特許文献】

【0026】

【特許文献1】国際公開第２０１１／０３３８５３号

【特許文献2】国際公開第２０１２／１０５４０６号

【特許文献3】国際公開第２０１６／１１６９８４号

【特許文献4】特開２０１５−１８１２２５号公報

【非特許文献】

【0027】

【非特許文献1】ITU-T 勧告 H.265 High efficiency video coding, April 2015

【発明の概要】

【発明が解決しようとする課題】

【0028】

イントラ予測に関して、第１の映像符号化装置における予測モード／ブロックサイズ決定部３０７の実現例として、図１５に示す構成が考えられる。

【0029】

図１５に示す第１の映像符号化装置において、予測モード／ブロックサイズ決定部３０７は、４×４イントラ予測画像生成部３１１、８×８イントラ予測画像生成部３１２、１６×１６イントラ予測画像生成部３１３、３２×３２イントラ予測画像生成部３１４および６４×６４イントラ予測画像生成部３１５を含む。各々のイントラ予測画像生成部は、使用可能な予測モードのそれぞれについて、順次、予測画像を生成する。使用可能な予測モードは、一例として全て（３５通り）であるが、例えば所定の絞り込み手法を用いて予測モードが絞り込まれた場合には絞り込み後の数（３５未満）であり、あらかじめ使用可能な予測モードの数（３５未満）が定められた場合にはその数である。

【0030】

予測モード／ブロックサイズ決定部３０７は、さらに、４×４イントラ予測画像生成部３１１、８×８イントラ予測画像生成部３１２、１６×１６イントラ予測画像生成部３１３、３２×３２イントラ予測画像生成部３１４および６４×６４イントラ予測画像生成部３１５のうちの対応する予測画像生成部が生成した予測画像と入力画像との差（残差）を計算する残差計算部３２１〜３２５を含む。予測モード／ブロックサイズ決定部３０７は、さらに、残差計算部３２１〜３２５のうちの対応する残差計算部が算出した残差および取り扱われている予測モードに応じて決められている符号量を用いてbin 数を算出するBin 数算出部（Bin 数決定部）３３１〜３３５を含む。

【0031】

予測モード／ブロックサイズ決定部３０７は、残差計算部３２１〜３２５のうちの対応する残差計算部の計算結果とBin 数算出部３３１〜３３５のうちの対応するBin 数算出部が算出したbin 数とを用いて符号化コストを計算するコスト計算部３４１〜３４５を含む。予測モード／ブロックサイズ決定部３０７は、さらに、コスト計算部３４１〜３４５のうちの対応するコスト計算部が計算した符号化コストに基づいて予測モードを選択する予測モード選択部３５１〜３５５を含む。予測モード／ブロックサイズ決定部３０７は、さらに、予測モード選択部３５１〜３５５が選択した予測モードに基づいてブロックサイズを選択するサイズ選択部３６０を含む。

【0032】

図１５に示す予測モード／ブロックサイズ決定部３０７は、例えば６４×６４のサイズのブロック（CTU ）を、４×４のサイズのブロック、８×８のサイズのブロック、１６×１６のサイズのブロック、３２×３２のサイズのブロックおよび６４×６４のサイズのブロックに分割し、分割後の各ブロックについて、イントラ予測、残差計算、bin 数算出、符号化コストの計算および予測モードの選択を行う。なお、６４×６４のサイズのブロックは、CTU を分割しない場合のブロックである。

【0033】

そして、サイズ選択部３６０は、符号化コストが最小である予測モードを特定する。すなわち、予測モード選択部３５１〜３５５のうち、符号化コストを最小にする予測モード選択部の組み合わせ、換言するとCTU の四分木構造を特定する。予測モード選択部３５１〜３５５は、ブロックサイズ（換言すれば、ブロック形状）に対応して設けられているので、サイズ選択部３６０は、予測モード選択部を特定することによって、最適な四分木構造を決定できる。

【0034】

第１の映像符号化装置では、予測モード／ブロックサイズ決定部３０７の回路規模が大きくなる。所定の時間内に符号化処理を完了させるために、図１５に例示するように、４×４、８×８、１６×１６、３２×３２および６４×６４のサイズの各ブロックについて、予測を実行し、残差を算出し、符号化コストを算出し、かつ、予測モードを決定するための回路を設け、４×４、８×８、１６×１６、３２×３２および６４×６４のサイズの各ブロックについての処理が並列して実行されることが求められるからである。その結果、FPGA（Field-Programmable Gate Array ）などの集積回路で予測モード／ブロックサイズ決定部３０７を実現する場合、集積回路のサイズ（面積）を大きくしないという要請に応えられないおそれがある。

【0035】

第２の映像符号化装置では、第１の映像符号化装置に比べて、予測モード／ブロックサイズ決定部３０７の回路規模は小さい。しかし、第２の映像符号化装置は、第３の映像符号化装置に比べて、回路規模は大きくなる。

【0036】

第３の映像符号化装置は、第１の映像符号化装置および第２の映像符号化装置よりも小さな回路規模を実現しつつ、符号化後のデータのビット量（bin 数）を少なくすることができるという効果を奏する。しかし、そのような効果は、複数のブロックが統合される機会が多い場合に得られる。複数のブロックが統合される機会が少ない場合には、bin 数を少なくすることができるという効果は得られない。特許文献４の技術でも、そのような効果は得られない。

【0037】

本発明は、符号化後のデータのbin 数を少なくしつつ、回路規模を増大させないイントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0038】

本発明の一態様に係るイントラ予測モード決定方法は、入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に適用されるイントラ予測モード決定方法であって、小ブロックが取り得るサイズのうちの１つのサイズでのみ、各々の小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価し、評価結果に基づいて、複数の予測モード候補からイントラ予測モードを選択し、符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加することを特徴とする。

【0039】

本発明の一態様に係るイントラ予測モード決定装置は、入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に適用されるイントラ予測モード決定装置であって、各々の小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価し、評価結果に基づいて、複数の予測モード候補からイントラ予測モードを選択する予測モード選択手段と、予測モード選択手段が符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加するBin 数調整手段とが、小ブロックが取り得るサイズのうちの１つのサイズのみに対応して設けられていることを特徴とする。

【0040】

本発明の一態様に係る記憶媒体は、入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に搭載されるコンピュータに、小ブロックが取り得るサイズのうちの１つのサイズでのみ、各々の小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価する処理と、評価結果に基づいて、複数の予測モード候補からイントラ予測モードを選択する処理と、符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加する処理とを実行させるイントラ予測モード決定プログラムを記憶することを特徴とする。本発明の一態様は、上記記憶媒体に格納されるイントラ予測モード決定プログラムによっても実現される。

【発明の効果】

【0041】

本発明によれば、符号化後のデータのbin 数を少なくしつつ、回路規模を増大させないようにすることができる。

【図面の簡単な説明】

【0042】

【図1】図１は、予測モード決定装置を含む映像符号化装置の一例を示すブロック図である。

【図2】図２は、イントラ予測モード決定部の構成例を示すブロック図である。

【図3】図３は、イントラ予測モード決定部の動作を示すフローチャートである。

【図4】図４は、MPM を説明するための説明図である。

【図5A】図５Ａは、上側のブロックおよび下側のブロックを説明するための説明図である。

【図5B】図５Ｂは、上側のブロックおよび下側のブロックを説明するための説明図である。

【図5C】図５Ｃは、上側のブロックおよび下側のブロックを説明するための説明図である。

【図6】図６は、ブロックサイズ拡大に寄与する予測モード候補を説明するための説明図である。

【図7】図７は、イントラ予測モード決定部の機能を実現可能な情報処理システムの構成例を示すブロック図である。

【図8】図８は、予測モード決定装置の主要部を示すブロック図である。

【図9】図９は、予測モード決定装置の主要部および複数の小ブロックを１つのブロックに統合する統合部を示すブロック図である。

【図10A】図１０Ａは、CTU のCU分割例を示す説明図である。

【図10B】図１０Ｂは、CTU のCU分割例に対応する四分木構造を示す説明図である。

【図11】図１１は、CUのPU分割形状を示す説明図である。

【図12】図１２は、角度イントラ予測を示す説明図である。

【図13】図１３は、一般的な映像符号化装置の一例を示すブロック図である。

【図14】図１４は、ブロック拡大部を含む映像符号化装置の構成を示すブロック図である。

【図15】図１５は、予測モード／ブロックサイズ決定部の構成を示すブロック図である。

【発明を実施するための形態】

【0043】

（第１の実施形態）
図１は、本発明による予測モード決定装置を含む映像符号化装置の一例を示すブロック図である。図１及び他の図面において、データの送信の方向は、矢印によって示される方向に限られない。

【0044】

図１に示す映像符号化装置は、変換部３０１、量子化部３０２、エントロピー符号化部３０３、逆量子化／逆変換部３０４、バッファ３０５、予測部３０６、ブロック拡大部３７０および予測モード決定部３５０を備える。

【0045】

変換部３０１、量子化部３０２、エントロピー符号化部３０３、逆量子化／逆変換部３０４、バッファ３０５および予測部３０６の機能は、図１３に示されたそれらの機能と同じである。

【0046】

予測モード決定部３５０は、ブロック分割を行い、分割によって得られた各ブロックの符号化モード（イントラ予測、インター予測、スキップモード等）およびイントラ予測の予測モードを決定する。

【0047】

ブロック拡大部３７０は、所定の条件が成立すると、ブロックを拡大する。すなわち、複数のブロックを１つに統合する。

【0048】

図２は、予測モード決定部３５０に含まれるイントラ予測モード決定部２００の構成例を示すブロック図である。イントラ予測モード決定部２００は、イントラ予測画像生成部２１０、残差計算部２２０、Bin 数決定部２３０、コスト計算部２４０、予測モード選択部２５０およびBin 数修正部２６０を含む。

【0049】

図２に示すイントラ予測モード決定部２００は、図１５に示された予測モード／ブロックサイズ決定部３０７における１種類のブロックサイズ（例えば、４×４）に関する処理を遂行する部分に相当する。４×４のブロックサイズを例にすると、イントラ予測モード決定部２００は、４×４イントラ予測画像生成部３１１、残差計算部３２１、Bin 数算出部３３１、コスト計算部３４１および予測モード選択部３５１の機能を有する。

【0050】

図１５に示された予測モード／ブロックサイズ決定部３０７を有する映像符号化装置と比較すると、本実施形態の映像符号化装置は、イントラ予測モード決定処理を実行する回路規模が小さくなる。

【0051】

なお、イントラ予測モード決定部２００が遂行する処理の対象のサイズは小さいことが好ましい。対象のサイズが小さい場合には、回路規模が小さくなるからである。

【0052】

ただし、イントラ予測モード決定部２００が集積回路で実現され、許容される回路規模の範囲内で実現できるのであれば、最小サイズである４×４よりも大きいサイズ（例えば、８×８）を処理対象のサイズにしてもよい。また、本実施形態では、イントラ予測モード決定部２００には、１種類のサイズに関する処理を遂行する部分のみが実行されているが、イントラ予測モード決定部２００が集積回路で実現され、許容される回路規模の範囲内で実現できるのであれば、１種類より多い種類（例えば、４×４と８×８）のサイズに関する処理を遂行する部分が実装されてもよい。

【0053】

また、最小サイズは４×４に限定されない。例えば、８×８のブロックサイズを最小サイズとする映像符号化装置では、最小サイズは８×８が最小サイズである。

【0054】

次に、図３のフローチャートを参照して、イントラ予測モード決定部２００の動作を説明する。上述したように、本実施形態では、イントラ予測モード決定部２００は、４×４サイズに関する処理を遂行するように構成されている。

【0055】

イントラ予測モード決定部２００は、入力されるCTU （６４画素×６４画素であるとする。）毎に、４×４サイズのブロック（PU）に分割する（ステップＳ１１）。分割で得られるブロックを、小ブロックという。なお、厳密には、CTU がCUに分割されてから、PUに分割される。

【0056】

イントラ予測モード決定部２００において、イントラ予測画像生成部２１０は、各小ブロックについてイントラ予測を行う（ステップＳ１２）。すなわち、イントラ予測画像生成部２１０は、各小ブロックについて、予測モード毎に予測画像を生成する。残差計算部２２０は、イントラ予測画像生成部２１０が生成した予測画像に対する残差を計算する（ステップＳ１３）。イントラ予測画像生成部２１０、残差計算部２２０、Bin 数決定部２３０およびコスト計算部２４０が扱う予測モードは最終的な予測モードはないので、以下、それらが扱う予測モードを予測モード候補という。

【0057】

Bin 数決定部２３０は、予測モード候補に対応するbin 数を決定する（ステップＳ１４）。なお、本実施形態におけるbin 数については後述する。

【0058】

コスト計算部２４０は、残差計算部２２０が計算した残差と、予測モードについてBin 数決定部２３０が決定したbin 数（bins）とを用いて、例えば以下の（２）式によって、各々の予測モードの符号化コスト（Cost）を計算する（ステップＳ１５）。

【0059】

なお、イントラ予測画像生成部２１０は、各小ブロックについて、使用可能な予測モード候補の全てに応じた予測画像を順次生成する。よって、残差計算部２２０、Bin 数決定部２３０およびコスト計算部２４０は、使用可能な予測モード候補の各々に応じて、順次処理を実行する。以下、「扱われている予測モード」という表現は、実際に処理を実行している時点で、イントラ予測画像生成部２１０、残差計算部２２０、Bin 数決定部２３０およびコスト計算部２４０の処理対象になっている予測モード候補を意味する。

【0060】

Cost = SAD + λ * bins （２）

【0061】

（２）式において、SAD （Sum of Absolute Difference：差分絶対値和）は、画素毎の残差の絶対値和である。λは、重み付け値であるが、画質と符号量とのトレードオフで決定される。例えば、画質を若干落としても符号量を減少させたい場合には、λを大きくする。なお、SAD に代えて、例えばSSD （Sum of Squared Difference ）を用いてもよい。また、（２）式以降の式は、必要に応じてＣ＋＋言語の演算子を用いて表されている。

【0062】

HEVCでは、Most probable mode（MPM ）と呼ばれる符号化方式を用いることができる。
MPM として、予測対象PUに隣接するPU（隣接PU）の予測モードに基づいて３種類の予測モード候補が設定される。３種類の予測モードのうち最初の予測モード候補（MPM[0]とする。）は、例えば、左の隣接PUの予測モードである。２番目の予測モード候補（MPM[1]とする。）は、上の隣接PUの予測モードである（図４参照）。

【0063】

本実施形態では、イントラ予測モード決定部２００は、予測モードを決定するときに、MPM を使用する。

【0064】

図４には、MPM[0]が予測モード番号が「２０」の予測モードであり、MPM[1]が予測モード番号が「３２」の予測モードである場合が例示されている。"ModeX" が表記されているブロックが評価対象PU（予測モードの決定対象のPU）であり、"ModeX"は、実際に処理を実行している時点で扱われている予測モード候補を意味する。なお、図４において、「Ａ」および「Ｂ」が付された矩形は、評価対象PUに隣接する画素を示す。

【0065】

MPM[0]とMPM[1]とが不一致である場合、３番目の予測モード候補（MPM[2]とする。）が設定される。MPM[2]として、予測モード番号が「０」のPlanar予測、予測モード番号が「１」のDC予測、または予測モード番号「２６」の角度イントラ予測が設定可能である（非特許文献１の8.4.2 参照）。本実施形態では、MPM[2]がPlanar予測である場合を例にする。

【0066】

なお、MPM[0]、MPM[1]およびMPM[2]に対応する予測モードは、MPM リストとして逐次作成されて保持される。

【0067】

また、映像符号化装置は、PUに対する予測モードとしてMPM の予測モードが選択された場合には、MPM を使用するか否かを指定するフラグであるprev_intra_luma_pred_flag と、どの隣接PUの予測モードを予測対象PUに適用するかを示すmpm_idx （1binまたは2bin）をビットストリームに含める（非特許文献１の7.3.8.5 参照）。

【0068】

PUに対する予測モードとしてMPM の予測モードが選択されなかった場合には、映像符号化装置は、prev_intra_luma_pred_flag と選択された予測モードを示すデータ（シンタクス要素）である5binのrem_intra_luma_pred_modeをビットストリームに含めることになる。従って、PUがMPM に決定されたときには、ビットストリームにおける予測モードに関するデータ量が減る。

【0069】

また、本実施形態では、bin 数は、基本的に、例えば以下のように予測モード候補に割り当てられる。X は、評価対象PUの予測モード（評価対象の予測モード）を示す。"||"は、"or"を意味する。"otherwise" は、MPM 以外の予測モード候補を示す。

【0070】

bin 数 = 2 if (X == MPM[0])
3 if (X == MPM[1] || MPM[2])
6 otherwise
（３）

【0071】

Bin 数決定部２３０が、（３）式に従って各々の予測モード候補のbin 数を決定する場合、コスト計算部２４０は、ステップＳ１５の処理で、評価対象PUの予測モード候補としてMPM[0]を扱っているときに、bin 数を2 として、（２）式に従って符号化コストを計算する。評価対象PUの予測モード候補としてMPM[1]またはMPM[2]を扱っているときに、bin 数を3 として、（２）式に従って符号化コストを計算する。

【0072】

なお、MPM[0]に関するbin 数 = 2は、prev_intra_luma_pred_flagが1bin（1bit）で表現され、MPM[0]が1bin（1bit）で表現されることに基づく。MPM[1] || MPM[2]に関するbin 数 = 3は、prev_intra_luma_pred_flagが1bin（1bit）で表現され、MPM[1] || MPM[2]が2bin（2bit）で表現されることに基づく。MPM でない場合のbin 数 = 6は、prev_intra_luma_pred_flagが1bin（1bit）で表現され、MPM 以外の予測モードを指定するためのインデックスに相当するrem_intra_luma_pred_modeが5bin（5bit）で表現されることに基づく。

【0073】

本実施形態では、映像符号化装置は、ブロック拡大部３７０を含む。上述したように、ブロック拡大部３７０は、小ブロックを統合することによって符号化後のデータのbin 数を少なくするために設けられている。Bin 数修正部２６０は、ブロック拡大部３７０が小ブロックを統合する機会を増やすようにbin 数を調整する機能を有する。換言すれば、Bin 数修正部２６０は、各々の予測モード候補について、ブロック拡大部３７０によるブロックサイズ拡大に寄与するかしないか判定し、ブロック拡大部３７０によるブロックサイズ拡大に寄与しないと判断した場合に予測モード候補についてbin 数を調整する。具体的には、Bin 数修正部２６０は、Bin 数を増加することをBin 数決定部２３０に指示する。

【0074】

本実施形態（第１の実施形態）では、MPM でない各予測モード候補は、ブロックサイズ拡大に寄与しない（小ブロックを統合する機会を増やさない。）とする。

【0075】

従って、ステップＳ１４の処理において、Bin 数決定部２３０は、実際には、上記の（３）式に基づいてbin 数を決定するのではなく、下記の（４）式に基づいてbin 数を決定する。（４）式において、"adjust"は、Bin 数修正部２６０が出力したbin 数の調整分（増分）を示す。なお、"adjust"の値は、ブロック拡大部３７０によるブロックサイズ拡大がなされない場合に生ずるbin 数の増分に基づいて定められる。

【0076】

bin 数 = 2 if (X == MPM[0])
3 if (X == MPM[1] || MPM[2])
6+adjust otherwise
（４）

【0077】

予測モード選択部２５０は、コスト計算部２４０が計算した各々の予測モード候補の符号化コストうちの最小の符号化コストに対応する予測モード候補を、予測モードに決定する（ステップＳ１６）。

【0078】

本実施形態では、予測モード選択部２５０は、Bin 数修正部２６０が存在しない場合に比べて、予測モードとして、MPM を選択しやすい。MPM 以外の予測モード候補の符号化コストが、Bin 数修正部２６０が存在しない場合に比べて大きくなるからである。

【0079】

ブロック拡大部３７０は、一例として、四分木を構成する４つの小ブロックの予測モードが一致する場合に、４つの小ブロックを１つのブロックに統合する。なお、本明細書において、四分木を構成するということは、１つのPU分割形状（図１１参照：例えば、Ｎ×Ｎブロック）に含まれることを意味する。換言すれば、四分木を構成するということは、４つの小ブロックが四分木構造の１つ上の階層における１つのノードに基づくことを意味する。つまり、４つの小ブロックは、四分木構造の１つのノードに基づく子ノードに相当する。

【0080】

なお、ブロック拡大部３７０は、小ブロックを１つのブロックに統合する条件として、他の条件を用いてもよい。他の条件の例として、例えば、４つのうち３つ以上の予測モードが一致することが挙げられる。

【0081】

本実施形態では、ブロック拡大部３７０が、符号化後のデータのbin 数を少なくすることを目的として小ブロックを統合する可能性が高まる。MPM を選んでおけば、ModeXと記されているブロックの予測モードが、他の小ブロックの予測モードと一致する可能性が相対的に高いからである。

【0082】

すなわち、本実施形態では、Bin 数修正部２６０は、小ブロックを統合させるイントラ予測モードの選択率が大きくなるようにbin 数を増加する。

【0083】

なお、ブロック拡大部３７０によるブロックサイズ拡大に寄与しないとされた予測モード候補を除外するのではなく、bin 数を増やした上で評価対象とするのは、ブロックサイズを拡大するよりも、ブロックサイズを拡大せずに当該予測モード候補を選択した方が全体的な符号化コストが低くなる可能性があるからである。このことは、他の実施形態でも同様である。

【0084】

（第２の実施形態）
第２の実施形態では、第１の実施形態におけるブロックサイズ拡大に寄与するかしないかの判定基準に対して、条件が加重される。

【0085】

なお、第２の実施形態の映像符号化装置の構成は、図１に示された構成と同じである。

【0086】

本実施形態では、評価対象PUが、１つのＮ×Ｎブロック内で（四分木において、すなわち、１つのPU分割形状において）上側に位置するのか下側に位置するのかに応じて、条件が加重される。条件は、例えば、以下のように表される。

【0087】

if （四分木における上側ブロック）{
if （X != A ）bin 数 += adjust;
} else { //下側
if （X != B） bin 数 += adjust;
}
（５）

【0088】

「Ａ」は評価対象PUの左に隣接するPUの予測モードを示し、「Ｂ」は評価対象PUの上に隣接するPUの予測モードを示す。

【0089】

なお、本実施形態では、Bin 数修正部２６０は、（４）式で表される"adjust"を出力する際に、さらに上記の（５）の条件に基づく"adjust"の値を加重して出力するように構成されるが、Bin 数修正部２６０は、（４）式を用いず、上記の（５）の条件のみに基づいて"adjust"を出力するようにしてもよい。また、Bin 数修正部２６０は、（４）式と（５）の条件のどちらか一方の条件が成立するときにその条件に基づく"adjust"を出力するようにしてもよい。

【0090】

Bin 数修正部２６０は、評価対象PUが四分木において上側に位置する場合には（図５Ｂ参照）、左に隣接するPUの予測モードと同じ予測モード候補が扱われているときに、上記の（５）で規定される"adjust"をBin 数決定部２３０に出力する。なお、「上側」よび「下側」の定義は、図５Ａに示されている。図５Ｂ、図５Ｃにおいて、「Ｘ」は、評価対象PUを示す。

【0091】

また、Bin 数修正部２６０は、評価対象PUが四分木において下側に位置する場合には（図５Ｃ参照）、上に隣接するPUの予測モードと同じ予測モード候補が扱われているときに、上記の（５）で規定される"adjust"をBin 数決定部２３０に出力する。

【0092】

なお、（５）式における"adjust"の値は、一般に、第１の実施形態における"adjust"の値（（４）式における"adjust"の値）と同じ値であるが、第１の実施形態における"adjust"の値と異なっていてもよい。

【0093】

Bin 数修正部２６０が上記の（５）で規定される"adjust"を出力することによって、評価対象PUが四分木において下側に位置する場合には（図５Ｃ参照）、評価対象PUの予測モードが、上に隣接するPUの予測モードと同じになる可能性が高まる。上に隣接するPUの予測モードと異なる予測モード候補に対応するbin 数が多くなって、符号化コストが大きくなるからである。

【0094】

また、評価対象PUが四分木において上側に位置する場合には（図５Ｂ参照、評価対象PUの予測モードが、左に隣接するPUの予測モードと同じになる可能性が高まる。左に隣接するPUの予測モードと異なる予測モード候補に対応するbin 数が多くなって、符号化コストが大きくなるからである。

【0095】

つまり、評価対象PUが四分木において下側に位置する場合には、上に隣接するPUの予測モードと異なる予測モード候補は、ブロック拡大部３７０によるブロックサイズ拡大に寄与しないとされる。また、評価対象PUが四分木において上側に位置する場合には、左に隣接するPUの予測モードと異なる予測モード候補は、ブロック拡大部３７０によるブロックサイズ拡大に寄与しないとされる。

【0096】

従って、本実施形態でも、ブロック拡大部３７０が、符号化後のデータのbin 数を少なくするために小ブロックを統合する可能性が高まる。

【0097】

（第３の実施形態）
次に、第３の実施形態を説明する。第３の実施形態の映像符号化装置の構成は、図１に示された構成と同じである。

【0098】

第２の実施形態では、評価対象PUが四分木において下側に位置するときに、評価対象PUの予測モードとして、上に隣接するPUの予測モードと同じになる可能性が高まる。

【0099】

図６に示すように、評価対象PUが四分木において下側の左（すなわち、左下）に位置するときに、第１の実施形態では、MPM[0]が予測モードとして選択される可能性は比較的高い。図６に示す例では、ブロック拡大部３７０によるブロックサイズ拡大に寄与する予測モード候補は、上に隣接するブロックの予測モードと同じ予測モード候補である。なお、図６において、「Ｘ」は、評価対象PUを示す。破線の矩形は、４つのPUが四分木を構成する（１つのPU分割形状を構成する。）ことを示す。

【0100】

そこで、本実施形態では、評価対象PUが１つのPU分割形状において左下に位置する場合には、Bin 数修正部２６０は、下記の（６）式に基づく"adjust"を出力する。

【0101】

bin 数 = 2 if (X==MPM[0] && X==B)
2+adjust if (X==MPM[0] && X!=B)
3 if ((X == MPM[1] || MPM[2]) && X==B)
3+adjust if ((X == MPM[1] || MPM[2]) && X!=B)
6+adjust otherwise
（６）

【0102】

すなわち、Bin 数修正部２６０は、評価対象PUが１つのPU分割形状において左下に位置する場合、予測モード候補としてMPM[0]が扱われているときに、その予測モード候補が上に隣接するPUの予測モードと同じであるときには"adjust"を出力しないが、その予測モード候補が上に隣接するPUの予測モードと異なるときに"adjust"を出力する。よって、Bin 数決定部２３０は、予測モード候補としてMPM[0]が扱われているときに、その予測モード候補が上に隣接するPUの予測モードと同じであるときにはbin 数を2 とするが、その予測モード候補が上に隣接するPUの予測モードと異なるときにはbin 数を2+adjustとする。

【0103】

また、Bin 数修正部２６０は、評価対象PUが１つのPU分割形状において左下に位置する場合、予測モード候補としてMPM[1]またはMPM[2]が扱われているときに、その予測モード候補が上に隣接するPUの予測モードと同じであるときには"adjust"を出力しないが、その予測モード候補が上に隣接するPUの予測モードと異なるときに"adjust"を出力する。よって、Bin 数決定部２３０は、予測モード候補としてMPM[1]またはMPM[2]が扱われているときに、その予測モード候補が上に隣接するPUの予測モードと同じであるときにはbin 数を3 とするが、その予測モード候補が上に隣接するPUの予測モードと異なるときにはbin 数を3+adjustとする。

【0104】

その結果、評価対象PUが１つのPU分割形状において左下に位置する場合に、評価対象PUの予測モードが、上に隣接するPUの予測モードと同じになる可能性が高まる。上に隣接するPUの予測モードと異なる予測モード候補に対応するbin 数が多くなって、符号化コストが大きくなるからである。

【0105】

つまり、評価対象PUが１つのPU分割形状において左下に位置する場合には、上に隣接するPUの予測モードと異なる予測モード候補は、ブロック拡大部３７０によるブロックサイズ拡大に寄与しないとされる。

【0106】

なお、イントラ予測モード決定部２００において、４×４のサイズの４つのブロックの処理順はあらかじめ決められているので、Bin 数修正部２６０は、評価対象のPUが左下に位置するか否かを容易に判断できる。

【0107】

また、（６）式における"adjust"の値は、一般に、第１の実施形態における"adjust"の値（（４）式における"adjust"の値）と同じ値であるが、第１の実施形態における"adjust"の値と異なっていてもよい。

【0108】

本実施形態でも、ブロック拡大部３７０が、符号化後のデータのbin 数を少なくするために小ブロックを統合する可能性が高まる。

【0109】

（第４の実施形態）
次に、第４の実施形態を説明する。第４の実施形態の映像符号化装置の構成は、図１に示された構成と同じである。

【0110】

図６に示されたように、評価対象PUが１つのPU分割形状において下側の左（すなわち、左下）に位置するときに、MPM[0]が予測モードとして選択される可能性がある。

【0111】

そこで、本実施形態では、評価対象PUが１つのPU分割形状において左下に位置する場合には、Bin 数修正部２６０は、下記の（７）式に基づく"adjust"を出力する。

【0112】

bin 数 = 2 if (X == MPM[1])
3 if (X == MPM[0] || MPM[2])
6+adjust otherwise
（７）

【0113】

評価対象PUが１つのPU分割形状において左下に位置しない場合には、Bin 数決定部２３０は、例えば、上記の（４）式に基づいてbin 数を決定する。

【0114】

（４）式と（７）式の違いは、MPM[0]（左の隣接PUの予測モード）とMPM[1]（上の隣接PUの予測モード）とが入れ替わっていることである。

【0115】

なお、Bin 数決定部２３０は、常に、上記の（４）式に基づいてbin 数を決定するが、四分木において左下に位置する評価対象PUを対象としているときに、MPM[0]上の隣接PUの予測モードとし、MPM[1]を左の隣接PUの予測モードとして、bin 数を決定してもよい。

【0116】

本実施形態では、評価対象PUが四分木において左下に位置する場合、扱われている予測モード候補が左に隣接するPUの予測モード同じであるときにbin 数が増やされる。具体的には、評価対象PUが１つの分割形状における左下に位置する場合、上に隣接するブロックの予測モード（MPM[1]）を最も少ないbin 数が割り当てられたMPM とする。その結果、評価対象PUの予測モードが左に隣接するPUの予測モードに決定される可能性が低くなる。すなわち、本実施形態でも、ブロック拡大部３７０が、符号化後のデータのbin 数を少なくするために小ブロックを統合する可能性が高まる。

【0117】

以上に説明したように、上記の各実施形態では、イントラ予測モード決定部２００が、最小のブロックサイズ（例えば、４×４）に関する処理を遂行するように構成されることによって、イントラ予測モード決定部２００を実現する集積回路のサイズ（面積）を大きくしないようにしつつ、Bin 数修正部２６０が、ブロック拡大部３７０によるブロックサイズ拡大に寄与しない予測モード候補を選択されにくくするので、ブロック拡大部３７０によるブロックサイズ拡大の可能性が高まる。その結果、符号化後のデータのbin 数を少なくすることができる。

【0118】

なお、CU分割およびPU分割に関して、ビットストリームに、split_cu_flag, cu_skip_flag, pred_mode, part_mode, intra_chroma_pred_mode, rqt_root_cbfが含まれるが、ブロック拡大部３７０がブロックの拡大を行わなかったときには、それらの分だけビットストリームにおけるbin 数が増加する。

【0119】

また、上記の各実施形態では、イントラ予測モード決定部２００は、図２に示されたように機能分割されているが、そのような機能の分担のさせ方は一例であって、他の機能分割を行ってもよい。一例として、イントラ予測画像生成部２１０と予測モード選択部２５０と他のブロック（残差計算部２２０、Bin 数決定部２３０およびコスト計算部２４０の機能を実現する１つのブロック）とを含むイントラ予測モード決定部２００としたり、予測モード選択部２５０と他のブロック（イントラ予測画像生成部２１０、残差計算部２２０、Bin 数決定部２３０およびコスト計算部２４０の機能を実現する１つのブロック）とを含むイントラ予測モード決定部２００としたりしてもよい。

【0120】

上記の各実施形態のイントラ予測モード決定部２００は、FPGAやPLD（Programmable logic device ）等の集積回路で実現可能であるが、コンピュータプログラムにより実現することも可能である。

【0121】

図７に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリーム等を格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、磁気記憶媒体やRAM （Random Access Memory）等の半導体の記憶媒体を用いることができる。

【0122】

図７に示された情報処理システムにおいて、プログラムメモリ１００２には、図２に示された各ブロックの機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図２に示されたイントラ予測モード決定部２００の機能を実現する。

【0123】

また、イントラ予測モード決定部２００を含む映像符号化装置を情報処理システムで実現することもできる。その場合には、プログラムメモリ１００２には、図１に示された各ブロック（バッファを除く。）の機能を実現するためのプログラムが格納される。

【0124】

図８は、予測モード決定装置の主要部を示すブロック図である。図８に示す予測モード決定装置は、入力映像のブロック（例えば、CTU ）を再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する装置に適用され、各々の小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価し、評価結果に基づいて、複数の予測モード候補からイントラ予測モードを選択する予測モード選択部１１（図２におけるイントラ予測画像生成部２１０、残差計算部２２０、Bin 数決定部２３０、コスト計算部２４０および予測モード選択部２５０に相当）と、予測モード選択部１１が符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加するBin 数調整部１２（図２におけるBin 数修正部２６０に相当）とを備える。なお、予測モード選択部１１およびBin 数調整部１２は、小ブロックが取り得るサイズのうちの１つのサイズ（例えば、４×４）のみに対応して設けられている。

【0125】

図９に示すように、予測モード決定装置は、所定の条件が成立すると複数の小ブロックを１つのブロックに統合する統合部１３を有する映像符号化装置に適用され、Bin 数調整部１２は、所定の条件を成立させるイントラ予測モードの選択率が大きくなるようにbin 数を増加するように構成されていてもよい。

【0126】

上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。

【0127】

（付記１）
入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に適用されるイントラ予測モード決定方法であって、
前記小ブロックが取り得るサイズのうちの１つのサイズでのみ、各々の前記小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価し、
評価結果に基づいて、前記複数の予測モード候補からイントラ予測モードを選択し、
前記符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加する
ことを特徴とするイントラ予測モード決定方法。

【0128】

（付記２）
所定の条件が成立すると複数の小ブロックを１つのブロックに統合する統合機能を有する映像符号化装置に適用され、
前記所定の条件を成立させるイントラ予測モードの選択率が大きくなるようにbin 数を増加する
付記１記載のイントラ予測モード決定方法。

【0129】

（付記３）
MPM (Most probable mode) と異なる予測モード候補に対して、MPM に対してよりも多いbin 数を割り当て、
MPM と異なる前記予測モード候補に対応するbin 数をさらに増加する
付記１または付記２記載のイントラ予測モード決定方法。

【0130】

（付記４）
評価対象の前記小ブロックが１つの分割形状における上側に位置する場合、
当該小ブロックの左に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加し、
評価対象の前記小ブロックが１つの分割形状における下側に位置する場合、当該小ブロックの上に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加する
付記１または付記２記載のイントラ予測モード決定方法。

【0131】

（付記５）
評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、予測モード候補が、MPM であり、かつ、前記小ブロックの上に隣接するブロックの予測モードと異なるときに、当該予測モード候補に対応するbin 数を増加する
付記３記載のイントラ予測モード決定方法。

【0132】

（付記６）
評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、上に隣接するブロックの予測モードを最も少ないbin 数が割り当てられたMPM として扱う
付記３記載のイントラ予測モード決定方法。

【0133】

（付記７）
入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に適用されるイントラ予測モード決定装置であって、
各々の前記小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価し、評価結果に基づいて、前記複数の予測モード候補からイントラ予測モードを選択する予測モード選択手段と、
前記予測モード選択手段が前記符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加するBin 数調整手段とが、
前記小ブロックが取り得るサイズのうちの１つのサイズのみに対応して設けられている
ことを特徴とするイントラ予測モード決定装置。

【0134】

（付記８）
所定の条件が成立すると複数の小ブロックを１つのブロックに統合する統合手段を有する映像符号化装置に適用され、
前記Bin 数調整手段は、前記所定の条件を成立させるイントラ予測モードの選択率が大きくなるようにbin 数を増加する
付記７記載のイントラ予測モード決定装置。

【0135】

（付記９）
MPM (Most probable mode) と異なる予測モード候補に対して、MPM に対してよりも多いbin 数が割り当てられ、
前記Bin 数調整手段は、MPM と異なる前記予測モード候補に対応するbin 数をさらに増加する
付記７または付記８記載のイントラ予測モード決定装置。

【0136】

（付記１０）
前記Bin 数調整手段は、
評価対象の前記小ブロックが１つの分割形状における上側に位置する場合、
当該小ブロックの左に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加し、
評価対象の前記小ブロックが１つの分割形状における下側に位置する場合、当該小ブロックの上に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加する
付記７または付記８記載のイントラ予測モード決定装置。

【0137】

（付記１１）
前記Bin 数調整手段は、評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、予測モード候補が、MPM であり、かつ、前記小ブロックの上に隣接するブロックの予測モードと異なるときに、当該予測モード候補に対応するbin 数を増加する
付記９記載のイントラ予測モード決定装置。

【0138】

（付記１２）
前記予測モード選択手段は、評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、上に隣接するブロックの予測モードを最も少ないbin 数が割り当てられたMPM として前記符号化コストを評価する
付記９記載のイントラ予測モード決定装置。

【0139】

（付記１３）
入力映像のブロックを再帰的に小ブロックに分割してイントラ予測またはフレーム間予測によって符号化する映像符号化装置に搭載されるコンピュータに、
前記小ブロックが取り得るサイズのうちの１つのサイズでのみ、各々の前記小ブロックについて、予測モード候補に対応する残差と予測モード候補に割り当てられたbin 数とに基づいて複数の予測モード候補の符号化コストを評価する処理と、
評価結果に基づいて、前記複数の予測モード候補からイントラ予測モードを選択する処理と、
前記符号化コストを評価する際に、特定の予測モード候補に対応するbin 数を増加する処理と
を実行させるためのイントラ予測モード決定プログラムを記憶する記憶媒体。

【0140】

（付記１４）
所定の条件が成立すると複数の小ブロックを１つのブロックに統合する統合機能を有する映像符号化装置に搭載されるコンピュータに、
前記所定の条件を成立させるイントラ予測モードの選択率が大きくなるようにbin 数を増加する処理を実行させる
前記イントラ予測モード決定プログラムを記憶する付記１３記載の記憶媒体。

【0141】

（付記１５）
MPM (Most probable mode) と異なる予測モード候補に対して、MPM に対してよりも多いbin 数が割り当てられ、
コンピュータに、MPM と異なる前記予測モード候補に対応するbin 数をさらに増加する処理を実行させる
前記イントラ予測モード決定プログラムを記憶する付記１３または付記１４記載の記憶媒体。

【0142】

（付記１６）
コンピュータに、
評価対象の前記小ブロックが１つの分割形状における上側に位置する場合、当該小ブロックの左に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加し、評価対象の前記小ブロックが１つの分割形状における下側に位置する場合、当該小ブロックの上に隣接するブロックの予測モードと異なる予測モード候補に対応するbin 数を増加する処理を実行させる
前記イントラ予測モード決定プログラムを記憶する付記１３または付記１４記載の記憶媒体。

【0143】

（付記１７）
コンピュータに、
評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、予測モード候補が、MPM であり、かつ、前記小ブロックの上に隣接するブロックの予測モードと異なるときに、当該予測モード候補に対応するbin 数を増加する処理を実行させる
前記イントラ予測モード決定プログラムを記憶する付記１５記載の記憶媒体。

【0144】

（付記１８）
コンピュータに、
評価対象の前記小ブロックが１つの分割形状における左下に位置する場合、上に隣接するブロックの予測モードを最も少ないbin 数が割り当てられたMPM として前記符号化コストを評価する処理を実行させる
前記イントラ予測モード決定プログラムを記憶する付記１５記載の記憶媒体。

【0145】

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0146】

この出願は、２０１６年９月１２日に出願された日本出願特願２０１６−１７７３０３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0147】

１１ 予測モード選択部
１２ Bin 数調整部
１３ 統合部
１１０ 符号化パラメータ決定部
１２０ 符号化部
２００ イントラ予測モード決定部
２１０ イントラ予測画像生成部
２２０ 残差計算部
２３０ Bin 数決定部
２４０ コスト計算部
２５０ 予測モード選択部
２６０ Bin 数修正部
３０１ 変換部
３０２ 量子化部
３０３ エントロピー符号化部
３０４ 逆量子化／逆変換部
３０５ バッファ
３０６ 予測部
３０７ 予測モード／ブロックサイズ決定部
３５０ 予測モード決定部
３７０ ブロック拡大部
１００１ プロセッサ
１００２ プログラムメモリ
１００３ 記憶媒体
１００４ 記憶媒体

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】