知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6390627
(24)【登録日】2018年8月31日
(45)【発行日】2018年9月19日
(54)【発明の名称】映像符号化装置、映像符号化方法およびプログラム
(51)【国際特許分類】
H04N 19/11 20140101AFI20180910BHJP
H04N 19/593 20140101ALI20180910BHJP
H04N 19/159 20140101ALI20180910BHJP
H04N 19/176 20140101ALI20180910BHJP
H04N 19/194 20140101ALI20180910BHJP
【ＦＩ】
H04N19/11
H04N19/593
H04N19/159
H04N19/176
H04N19/194
【請求項の数】12
【全頁数】31
(21)【出願番号】特願2015-561201(P2015-561201)
(86)(22)【出願日】2015年1月22日
(86)【国際出願番号】JP2015000286
(87)【国際公開番号】WO2015118826
(87)【国際公開日】20150813
【審査請求日】2016年7月7日
(31)【優先権主張番号】特願2014-23090(P2014-23090)
(32)【優先日】2014年2月10日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103090
【弁理士】
【氏名又は名称】岩壁 冬樹
(74)【代理人】
【識別番号】100124501
【弁理士】
【氏名又は名称】塩川 誠人
(72)【発明者】
【氏名】辻 直也
(72)【発明者】
【氏名】石田 貴之
(72)【発明者】
【氏名】永山 卓
(72)【発明者】
【氏名】霜觸 謙介
(72)【発明者】
【氏名】蝶野 慶一
【審査官】
片岡 利延
(56)【参考文献】
【文献】
特開２００６−２７９７２４（ＪＰ，Ａ）
【文献】
国際公開第２０１５／０３３５１０（ＷＯ，Ａ１）
【文献】
Tong Shen et al.，Ultra Fast H.264/AVC to HEVC Transcoder，2013 Data Compression Conference (DCC)，２０１３年 ３月２０日，pp.241-250
【文献】
Liang Zhao et al.，Fast mode decision algorithm for intra prediction in HEVC，2011 IEEE Visual Communications and Image Processing (VCIP)，２０１１年１１月 ６日，pp.1-4
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ １９／００−１９／９８
(57)【特許請求の範囲】
【請求項1】
入力画像をH.264/AVC 規格に基づいて符号化して第１の符号化データを生成する第１の映像符号化手段と、
前記第１の映像符号化手段が生成した前記第１の符号化データを変換してH.265/HEVC規格に基づく第２の符号化データを生成するとともに、前記第１の符号化データにおける予測モードを変換してH.265/HEVC規格に基づく第２の符号化データにおける予測モードを生成する符号化データ変換手段と、
前記符号化データ変換手段から供給される前記第２の符号化データに基づいて、前記第１の映像符号化手段に入力された前記入力画像を入力して該入力画像に対する予測信号を生成する第２の映像符号化手段と、
少なくとも、前記第１の映像符号化手段が使用不能であり、かつ、前記第２の映像符号化手段が使用可能なイントラ予測モードを発生する予測モード発生部と、
前記符号化データ変換手段が生成した予測モードおよび前記予測モード発生部が発生した予測モードの符号化コストを評価し、符号化コストが最も小さい予測モードを、前記第２の映像符号化手段が使用する予測モードとして選択する予測モード選択部とを備えた
ことを特徴とする映像符号化装置。
前記第１の映像符号化手段が生成した前記第１の符号化データを変換してH.265/HEVC規格に基づく第２の符号化データを生成するとともに、前記第１の符号化データにおける予測モードを変換してH.265/HEVC規格に基づく第２の符号化データにおける予測モードを生成する符号化データ変換手段と、
前記符号化データ変換手段から供給される前記第２の符号化データに基づいて、前記第１の映像符号化手段に入力された前記入力画像を入力して該入力画像に対する予測信号を生成する第２の映像符号化手段と、
少なくとも、前記第１の映像符号化手段が使用不能であり、かつ、前記第２の映像符号化手段が使用可能なイントラ予測モードを発生する予測モード発生部と、
前記符号化データ変換手段が生成した予測モードおよび前記予測モード発生部が発生した予測モードの符号化コストを評価し、符号化コストが最も小さい予測モードを、前記第２の映像符号化手段が使用する予測モードとして選択する予測モード選択部とを備えた
ことを特徴とする映像符号化装置。
【請求項2】
前記予測モード発生部は、さらに、Planar予測モードを発生する
請求項１記載の映像符号化装置。
請求項１記載の映像符号化装置。
【請求項3】
前記予測モード発生部は、さらに、少なくとも予測対象のブロックの直左側および直上側のブロックの予測モードを参照するMPM に基づく予測モードを発生する
請求項１または請求項２記載の映像符号化装置。
請求項１または請求項２記載の映像符号化装置。
【請求項4】
前記符号化データ変換手段は、前記第１の映像符号化手段によるイントラ予測モードを前記第２の映像符号化手段が使用するイントラ予測モードに変換する予測モード変換部を含み、
前記予測モード発生部は、前記予測モード変換部による変換後の予測モードの予測モード番号の近傍の予測モードを発生する
請求項２または請求項３記載の映像符号化装置。
前記予測モード発生部は、前記予測モード変換部による変換後の予測モードの予測モード番号の近傍の予測モードを発生する
請求項２または請求項３記載の映像符号化装置。
【請求項5】
前記符号化データ変換手段は、前記予測モード発生部が発生した予測モードから該符号化データ変換手段が生成した予測モードを削除する予測モード削除部を含む
請求項１から請求項４のうちのいずれか１項に記載の映像符号化装置。
請求項１から請求項４のうちのいずれか１項に記載の映像符号化装置。
【請求項6】
入力画像をH.264/AVC 規格に基づいて符号化して第１の符号化データを生成し、
前記第１の符号化データを変換してH.265/HEVC規格に基づく第２の符号化データを生成するとともに、前記第１の符号化データにおける予測モードを変換してH.265/HEVC規格に基づく第２の符号化データにおける予測モードを生成し、
前記第２の符号化データに基づいて、前記第１の符号化データを生成する際の符号化の対象である前記入力画像に対する予測信号を生成する映像符号化方法であって、
少なくとも、前記第１の符号化データを生成する際に使用不能であり、かつ、前記第２の符号化データを生成する際に使用可能なイントラ予測モードを発生し、
生成された予測モードおよび発生された予測モードの符号化コストを評価し、符号化コストが最も小さい予測モードを、前記第２の符号化データを生成する際に使用する予測モードとして選択する
ことを特徴とする映像符号化方法。
前記第１の符号化データを変換してH.265/HEVC規格に基づく第２の符号化データを生成するとともに、前記第１の符号化データにおける予測モードを変換してH.265/HEVC規格に基づく第２の符号化データにおける予測モードを生成し、
前記第２の符号化データに基づいて、前記第１の符号化データを生成する際の符号化の対象である前記入力画像に対する予測信号を生成する映像符号化方法であって、
少なくとも、前記第１の符号化データを生成する際に使用不能であり、かつ、前記第２の符号化データを生成する際に使用可能なイントラ予測モードを発生し、
生成された予測モードおよび発生された予測モードの符号化コストを評価し、符号化コストが最も小さい予測モードを、前記第２の符号化データを生成する際に使用する予測モードとして選択する
ことを特徴とする映像符号化方法。
【請求項7】
前記第２の符号化データを生成する際に使用可能なイントラ予測モードとして、Planar予測モードを発生する
請求項６記載の映像符号化方法。
請求項６記載の映像符号化方法。
【請求項8】
前記第２の符号化データを生成する際に使用可能なイントラ予測モードとして、少なくとも予測対象のブロックの直左側および直上側のブロックの予測モードを参照するMPM に基づく予測モードを発生する
請求項６または請求項７記載の映像符号化方法。
請求項６または請求項７記載の映像符号化方法。
【請求項9】
前記第１の符号化データを変換するときに、前記第１の符号化データに関するイントラ予測モードを前記第２の符号化データに関するイントラ予測モードに変換し、
前記第２の符号化データを生成する際に使用可能なイントラ予測モードとして、変換後の予測モードの予測モード番号の近傍の予測モードを発生する
請求項７または請求項８記載の映像符号化方法。
前記第２の符号化データを生成する際に使用可能なイントラ予測モードとして、変換後の予測モードの予測モード番号の近傍の予測モードを発生する
請求項７または請求項８記載の映像符号化方法。
【請求項10】
発生した予測モードから予測モードの変換によって生成された予測モードを削除する
請求項６から請求項９のうちのいずれか１項に記載の映像符号化方法。
請求項６から請求項９のうちのいずれか１項に記載の映像符号化方法。
【請求項11】
コンピュータに、
入力画像をH.264/AVC 規格に基づいて符号化して第１の符号化データを生成する処理と、
前記第１の符号化データを変換してH.265/HEVC規格に基づく第２の符号化データを生成するとともに、前記第１の符号化データにおける予測モードを変換してH.265/HEVC規格に基づく第２の符号化データにおける予測モードを生成する処理と、
前記第２の符号化データに基づいて、前記第１の符号化データを生成する際の符号化の対象である前記入力画像に対する予測信号を生成する処理とを実行させるためのプログラムであって、
少なくとも、前記第１の符号化データを生成する際に使用不能であり、かつ、前記第２の符号化データを生成する際に使用可能なイントラ予測モードを発生する処理と、
生成された予測モードおよび発生された予測モードの符号化コストを評価し、符号化コストが最も小さい予測モードを、前記第２の符号化データを生成する際に使用する予測モードとして選択する処理とを実行させる
ための映像符号化プログラム。
入力画像をH.264/AVC 規格に基づいて符号化して第１の符号化データを生成する処理と、
前記第１の符号化データを変換してH.265/HEVC規格に基づく第２の符号化データを生成するとともに、前記第１の符号化データにおける予測モードを変換してH.265/HEVC規格に基づく第２の符号化データにおける予測モードを生成する処理と、
前記第２の符号化データに基づいて、前記第１の符号化データを生成する際の符号化の対象である前記入力画像に対する予測信号を生成する処理とを実行させるためのプログラムであって、
少なくとも、前記第１の符号化データを生成する際に使用不能であり、かつ、前記第２の符号化データを生成する際に使用可能なイントラ予測モードを発生する処理と、
生成された予測モードおよび発生された予測モードの符号化コストを評価し、符号化コストが最も小さい予測モードを、前記第２の符号化データを生成する際に使用する予測モードとして選択する処理とを実行させる
ための映像符号化プログラム。
【請求項12】
コンピュータに、発生した予測モードから予測モードの変換によって生成された予測モードを削除する処理を実行させる
請求項１１記載の映像符号化プログラム。
請求項１１記載の映像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像符号化処理の計算負荷を分散する技術が適用された映像符号化装置に関する。【背景技術】
【0002】
映像情報を高い効率で伝送したり蓄積することを目的とした映像符号化方式として非特許文献１に記載されたISO/IEC 14496-10 Advanced Video Coding（AVC）規格（以下、H.264/AVC 規格という。）の符号化方式がある。非特許文献１に記載されている映像符号化方式では、フレームをマクロブロック（MB：Macro Block ）と呼ばれる16×16画素サイズのブロックに分割し、フレームの左上から順に各MBを符号化する。非特許文献１に記載されているAH.264/AVC 規格では、MBをさらに4×4画素サイズのブロックにブロック分割し、各4×4ブロックを符号化する。【0003】
イントラ予測は、符号化対象フレームの再構築画像から予測画像を生成する予測である。イントラ予測信号は、現在のピクチャと表示時刻が同一である再構築ピクチャの画像（一般に、バッファに格納されている。）に基づいて生成される予測信号である。非特許文献１に記載されているように、イントラ予測については、３種類のブロックサイズのイントラ予測モードIntra_4x4 、Intra_8x8 、Intra_16x16がある。【0004】
また、非特許文献２に基づいた映像符号化方式（H.265/HEVC方式）では、ディジタル化された映像の各フレームは符号化ツリーユニット（CTU:Coding Tree Unit）に分割され、ラスタスキャン順に各CTU が符号化される。各CTUは、クアッドツリー構造で、符号化ユニット（CU:Coding Unit）に分割されて符号化される。各CUは、予測ユニット（PU:Prediction Unit）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU: Transform Unit）に分割されて周波数変換される。以後、最も大きなサイズのCUを最大CU（LCU: Largest Coding Unit）、最も小さなサイズのCUを最小CU（SCU: Smallest Coding Unit ）という。なお、LCU サイズとCTU サイズは同一となる。【0005】
CUは、イントラ予測またはフレーム間予測によって予測符号化される。以下、H.265/HEVC方式のイントラ予測およびフレーム間予測を説明する。【0006】
非特許文献２では、図11に示す33種類の角度イントラ予測（方向性イントラ予測）が定義されている。図11において、矢印は予測方向を示す。角度イントラ予測は、符号化対象ブロック周辺の再構築画素を図11に示す33種類の方向のいずれかに外挿して、イントラ予測信号を生成する。なお、図11において、数字は、予測モード番号を示す。非特許文献２では、33種類の角度イントラ予測に加えて、符号化対象ブロック周辺の再構築画素を平均するDCイントラ予測、および、符号化対象ブロック周辺の再構築画素を線形補間するPlanarイントラ予測が定義されている。以後、イントラ予測に基づいて符号化されたCUをイントラCUという。【0007】
フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。以下、フレーム間予測をインター予測ともいう。図12は、フレーム間予測の例を示す説明図である。動きベクトルMV＝(mvx, mvy)は、符号化対象ブロックに対する参照ピクチャの再構築画像ブロックの平行移動量を示す。インター予測は、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号を生成する。以後、フレーム間予測に基づいて符号化されたCUをインターCUという。【0008】
各CUがイントラCU／インターCUのいずれであるかは、非特許文献２に記載されるpred_mode_flagシンタクスによってシグナリングされる。【0009】
イントラCUのみで符号化されたフレームはＩフレーム（またはＩピクチャ）と呼ばれる。イントラCUだけでなくインターCUも含めて符号化されたフレームはＰフレーム（またはＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターCUを含めて符号化されたフレームはＢフレーム（またはＢピクチャ）と呼ばれる。【0010】
図13を参照して、ディジタル化された映像の各フレームの各CUを入力画像としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。【0011】
図13に示す映像符号化装置は、周波数変換／量子化器1021、逆量子化／逆周波数変換器1022、バッファ1023、予測器1024、推定器1025、およびエントロピー符号化器1056を備える。【0012】
図14は、フレームの空間解像度がCIF （CIF:Common Intermediate Format）、CTU サイズが64の場合のフレームt のCTU 分割例、および、フレームt に含まれる第８のCTU （CTU8）のCU分割例を示す説明図である。また、図15は、CTU8のCU分割例に対応する、クアッドツリー構造を示す説明図である。各CTU のクアッドツリー構造、すなわち、CU分割形状は、非特許文献２に記載されるsplit_cu_flag シンタクスによってシグナリングされる。【0013】
図16は、CUのPU分割形状を示す説明図である。イントラCUの場合、正方形のPU分割を選択できる。インターCUの場合、正方形はもちろん長方形のPU分割も選択できる。各CUのPU分割形状は、非特許文献２に記載されるpart_mode シンタクスによってシグナリングされる。【0014】
図17は、CUのTU分割例を示す説明図である。上段には、2N×2N PU 分割形状のイントラCUのTU分割例が示されている。イントラCUの場合、クアッドツリーの根（Root）はPUに配置され、各PUの予測誤差がクアッドツリー構造で表現される。下段には、2N×N PU分割形状のインターCUのTU分割例が示されている。インターCUの場合、クアッドツリーの根（Root） はCUに配置され、該CUの予測誤差がクアッドツリー構造で表現される。上述した予測誤差のクアッドツリー構造、すなわち、各CUのTU分割形状は、非特許文献２に記載されるsplit_tu_flag シンタクスによってシグナリングされる。【0015】
推定器1025は、CTU 毎に、符号化コストを最小とする、CU分割形状を決定するsplit_cu_flag シンタクス値を決定する。推定器1025は、CU毎に、符号化コストを最小とする、イントラ予測／インター予測を決定するpred_mode_flagシンタクス値、PU分割形状を決定するpart_mode シンタクス値、および、TU分割形状を決定するsplit_tu_flag シンタクス値を決定する。推定器1025は、PU毎に、符号化コストを最小とする、イントラ予測方向、および、動きベクトルなどを決定する。【0016】
非特許文献３は、ラグランジュ乗数λに基づいた符号化コストJ を最小とする、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および、動きベクトルなどの決定方法を開示している。【0017】
以下、非特許文献３の4.8.3 節 Intra/Inter/PCM mode decisionを参照して、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値の決定プロセスを簡単に説明する。【0018】
同節には、CUのpred_mode_flagシンタクス値およびpart_mode シンタクス値を決定する、CUモード決定プロセスが開示されている。また、CUモード決定プロセスを再帰的に実行することによってsplit_cu_flag シンタクス値を決定するCU分割形状プロセスが開示されている。【0019】
まず、CUモード決定プロセスを説明する。インター予測のPU分割形状候補の集合をInterCandidate、イントラ予測のPU分割形状候補の集合をIntraCandidate、ある符号化モード（mode）に対する２乗誤差和（SSE: Sum of Square Error）符号化コストJSSE(mode)を以下のように定義する。【0020】
InterCandidate = { INTER_2Nx2N, INTER_2NxN, INTER_Nx2N, INTER_2NxN, INTER_Nx2N, INTER_2NxnU, INTER_2NxnD, INTER_nLx2N, INTER_nRx2N, INTER_NxN } IntraCandidate = {INTRA_2Nx2N, INTRA_NxN}
JSSE(mode) = DSSE(mode) + λmode・Rmode(mode)
【0021】
【数1】
【0022】
ただし、DSSE(mode)、Rmode(mode)、QPは、それぞれ、CUの入力画像信号とmodeを用いて符号化した際に得られる再構築画像信号との２乗誤差和、modeを用いて符号化した際に発生するCUビット数（後述する変換量子化値のビット数も含む）、量子化パラメータを示す。【0023】
CUモード決定プロセスは、InterCandidateおよびIntraCandidateから、SSE 符号化コストJSSE(mode)を最小とするpred_mode_flagシンタクスおよびpart_mode シンタクスの組であるbestPUmodeを選択する。定式的には、CUモード決定プロセスを以下で定義できる。【0024】
【数2】
【0025】
PUCandidate = { InterCandidate, IntraCandidate } 【0026】
次に、CU分割形状決定プロセスを説明する。【0027】
図15に示されたように、あるCUDepth のCU （以下、ノードという）のSSE 符号化コストは、該ノードのbestPUmodeのSSE 符号化コストである。つまり、ノードのSSE 符号化コスト JSSE(node, CUDepth) を、以下のように定義できる。【0028】
【数3】
【0029】
CUDepth のCUのｉ番目（１≦ｉ≦４）の子CU （以下、子ノードやリーフなどという）のSSE 符号化コストは、CUDepth+1のｉ番目のCUのSSE 符号化コストである。つまり、ｉ番目のリーフのSSE 符号化コストJSSE(leaf(i), CUDepth)は、以下のように定義できる。【0030】
JSSE(leaf(i), CUDepth) = JSSE(node, CUDepth+1)【0031】
ノードのSSE 符号化コストがそのリーフのSSE 符号化コストの和よりも大きいか否かを比較することによって、CUを４つの子CUに分割するか否かを決定できる。JSSE(node, CUDepth) が下記の（１）式の値よりも大きい場合、CUを４つの子CUに分割する（split_cu_flag=1 と決定する）。JSSE(node, CUDepth) が（１）式の値以下の場合、CUを４つの子CUに分割しない（split_cu_flag=0 と決定する）。【0032】
【数4】
【0033】
CUクアッドツリー構造決定プロセスは、上述した比較をCUDepth毎に再帰的に実行し、CTUのクアッドツリー構造を決定する。つまり、CUDepth毎にリーフのsplit_cu_flag を決定する。【0034】
ラグランジュ乗数λに基づいた符号化コストJ を最小化することで、推定器1025は、同様に、split_tu_flag 、イントラ予測方向、動きベクトルなどを決定する。【0035】
予測器1024は、推定器1025が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および、動きベクトルなどに基づいて、各CUの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測またはフレーム間予測に基づいて生成される。【0036】
周波数変換／量子化器1021は、推定器1025が決定したTU分割形状に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。【0037】
さらに、周波数変換／量子化器1021は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値という。【0038】
エントロピー符号化器1056は、推定器1025が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向の差分情報、動きベクトルの差分情報、および、変換量子化値をエントロピー符号化する。【0039】
逆量子化／逆周波数変換器1022は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器1022は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ1023に供給される。バッファ1023は、再構築画像を格納する。【0040】
上述した動作に基づいて、一般的な映像符号化装置はビットストリームを生成する。【0041】
図13に示す映像符号化装置では、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および、動きベクトルなどを決定する全ての映像符号化処理の負荷が特定の推定器に集中する。【先行技術文献】
【特許文献】
【0042】
【特許文献1】特開２０１２−１０４９４０号公報
【非特許文献】
【0043】
【非特許文献1】ITU-T H.264 2011/06
【非特許文献2】ITU-T 勧告 H.265 High efficiency video coding, April 2013
【非特許文献3】High efficiency video coding (HEVC) text specification draft 7 of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 12th Meeting: Geneva, CH, 27 April - 7 May 2012
【発明の概要】
【発明が解決しようとする課題】
【0044】
本発明の発明者のうちの一部の者は、処理負荷を分散することができる映像符号化装置を提案した（特願２０１３−１８５９９４）。【0045】
なお、特許文献１には、第１符号化部と第２符号化部とを備えた映像符号化装置が記載されている。しかし、特許文献１には、映像符号化装置における負荷を分散するための技術は開示されていない。【0046】
図18は、処理負荷を分散することができる映像符号化装置の一例を示すブロック図である。図18に示す映像符号化装置において、前段映像符号化器102 が、16×16画素のLCU サイズのCTU と等価であるマクロブロックをサポートするAVC（Advanced Video Coding）映像符号化器である。前段映像符号化器102 は、非特許文献１に記載されたH.264/AVC 規格に基づく映像符号化器である。後段映像符号化器105が、16×16画素だけでなく32×32画素および64×64画素のCTU をサポートするHEVC映像符号化器である。すなわち、後段映像符号化器105は、H.265/HEVC規格に基づく映像符号化器である。つまり、前段映像符号化器102 が対応できる最大LCU サイズは、後段映像符号化器105 が対応できる最大LCUサイズ以下である。【0047】
図18に示す映像符号化装置は、サイズ拡張器101 、前段映像符号化器102 、バッファ103 、符号化データ変換器1040、および後段映像符号化器105 を備える。【0048】
サイズ拡張器101は、入力画像src の幅src_pic_width および高さsrc_pic_heightを16の倍数にサイズ拡張する。例えば、(src_pic_width、src_pic_height) = (1920, 1080) の場合、拡張された入力画像の幅e_src_pic_width と高さe_src_pic_heightは、(e_src_pic_width、e_src_pic_height) = (1920, 1088)となる。なお、サイズ拡張された領域の画素値は、入力画像の境界の画素値のコピーでもよいし、予め定められた画素値（例えば、グレーを示す128 ）でもよい。【0049】
サイズ拡張器101 は、サイズ拡張された入力画像を前段映像符号化器102 およびバッファ103 に供給する。前段映像符号化器102 は、サイズ拡張された入力画像をH.264/AVC 方式で符号化する。【0050】
前段映像符号化器102 の構成と動作を説明する。【0051】
前段映像符号化器102 は、周波数変換／量子化器1021、逆量子化／逆周波数変換器1022、バッファ1023、予測器1024、および推定器（前段推定器）1025を備える。【0052】
推定器1025は、サイズ拡張された入力画像とバッファ1023に格納された再構築画像とを用いて、サイズ拡張された入力画像を構成する各マクロブロックのAVC 符号化データを決定する。本明細書において、AVC 符号化データ（AVCMB ）は、図19に示される、マクロブロックに対応する16×16画素領域のDCT 係数を除く符号化データ（mb_type、sub_mb_type、ref_idx_l0、ref_idx_l1、mv_l0、mv_l1、intra_lumaNxN_pred、transform_size_8x8_flag ）を含む。ここで、mb_type およびsub_mb_type は、それぞれ、非特許文献１のTable 7-11、Table 7-13、Table 7-14で定義されるマクロブロックの符号化モード、および非特許文献１のTable 7-17およびTable 7-18で定義されるサブマクロブロックの符号化モードを示す。また、ref_idx_lx (x=0/1)、mv_lx 、intra_lumaNxN_pred、およびtransform_size_8x8_flag は、それぞれ、参照ピクチャリストx の参照ピクチャインデックス、参照ピクチャリストx の動きベクトル、輝度イントラ予測方向、および、マクロブロックが8×8DCT で符号化されたか否かのフラグを示す。【0053】
上述したように、マクロブロックが16×16画素であり、さらに、AVC 方式における最小処理単位が4×4画素であることに着目すると、各マクロブロックにおける各AVC 符号化データの位置は、マクロブロック中の16×16ブロックアドレスb8（0≦b8≦3）（図20における上段）と、8×8ブロック中のブロックアドレスb4（0≦b4≦3）（図20における下段）との組によって定義される。例えば、マクロブロック内で(x,y)=(4,4) の位置のintra_lumaNxN_predは、(b8,b4)=(0,1) となり、intra_lumaNxN_pred[0][3]に格納することができる。【0054】
推定器1025は、決定した各マクロブロックのAVC 符号化データを予測器1024および符号化データ変換器1040に出力する。【0055】
予測器1024は、推定器1025が決定したmb_type シンタクス値、sub_mb_type シンタクス値、ref_idx_l0シンタクス値、ref_idx_l1シンタクス値、mv_l0 シンタクス値、mv_l1 シンタクス値、および、intra_lumaNxN_predシンタクス値に基づいて、各マクロブロックのサイズ拡張された入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測またはフレーム間予測に基づいて生成される。【0056】
H.264/AVC 方式のイントラ予測については、非特許文献１に記載されているように、mb_type によって定義される、3 種類のブロックサイズのイントラ予測モードIntra_4x4 、Intra_8x8 、Intra_16x16 がある。【0057】
図21(a)，(c) を参照すると、Intra_4x4 とIntra_8x8 とはそれぞれ4×4ブロックサイズと8×8ブロックサイズのイントラ予測であることがわかる。ただし、図中の丸（〇）はイントラ予測の参照画素、つまり、バッファ1023に格納された再構築画像を示す。【0058】
Intra_4x4 のイントラ予測では、再構築画像の周辺画素をそのまま参照画素とし、図21(b) に示す9 種類の方向に参照画素をパディング（外挿）して予測信号が形成される。Intra_8x8 のイントラ予測では、図21(c) における右矢印の直下に記載されているローパスフィルタ（1/2 ，1/4 ，1/2 ）によって再構築画像の周辺画素が平滑化された画素を参照画素として図21(b) に示す9 種類の方向に参照画素を外挿して予測信号が形成される。図21(b) において、矢印は参照方向（予測方向とは逆）を示す。なお、図21(b) において、数字は、予測モード番号を示す。【0059】
図22(a) を参照すると、Intra_16x16 は16×16ブロックサイズのイントラ予測であることがわかる。図21に示された例と同様に、図22において、図中の丸（〇）はイントラ予測の参照画素、つまり、バッファ1023に格納された再構築画像を示す。Intra_16x16 のイントラ予測では、再構築画像の周辺画素をそのまま参照画素として、図22(b) に示す4 種類の方向に参照画素を外挿して予測信号が形成される。【0060】
H.264/AVC 方式のフレーム間予測については、図23に記載されているように、mb_type によって定義される、16×16，16×8 ，8×16 Tree の予測形状がある。マクロブロックがTreeの場合、各8×8サブマクロブロックは、sub_mb_type によって定義される、8×8，8×4, 4×8，4×4のいずれかの予測形状となる。本明細書では、説明を簡略化するために、mb_type がTreeの場合（P_8x8またはB_8x8）の場合、各8×8サブマクロブロックは8×8だけに限定されるとする。【0061】
周波数変換／量子化器1021は、推定器1025が決定したmb_type シンタクス値およびtransform_size_8x8_flag シンタクス値に基づいて、サイズ拡張された入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。【0062】
さらに、周波数変換／量子化器1021は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値という。【0063】
逆量子化／逆周波数変換器1022は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器1022は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ1023に供給される。バッファ1023は、再構築画像を格納する。【0064】
上述した動作に基づいて、前段映像符号化器102はサイズ拡張された入力画像信号を符号化する。【0065】
符号化データ変換器1040は、各マクロブロックのAVCMBを、図24に示すマクロブロックに対応する16×16画素の領域のHEVC符号化データ（cu_size ，tu_size ，pred_mode_flag，part_mode ，ref_idx_l0，ref_idx_l1，mv_l0 ，mv_l1 ，intra_lumaNxN_pred，intra_chroma_pred ）であるHEVCCBに変換する。ただし、ここで、cu_size およびtu_size は、それぞれ、CUサイズおよびTUサイズを示す。【0066】
図25は、I_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。図26は、P_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。図27は、B_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。図25〜図27において、V は垂直方向を意味し、H は水平方向を意味する。また、各行は、各々のmb_typeおよびintra_lumaNxN_predに対する変換ルールを示す。【0067】
HEVC方式において、LCUの最小サイズが16×16画素、SCUの最小サイズが8×8画素、最小処理単位が4×4画素であることに着目すると、16×16画素単位でHEVC符号化データを管理できる。各16×16画素におけるHEVC符号化データの位置は、AVC 符号化データと同様に、マクロブロック中の8×8ブロックアドレスb8（0≦b8≦3）と8×8ブロック中のブロックアドレスb4（0≦b4≦3）の組によって定義できる。【0068】
例えば、CUサイズが16の場合、各16×16画素におけるHEVC符号化データのcu_size[b8] （0≦b8≦3）は、すべて16となる。【0069】
図25に示すI_SLICE マッピング、図26に示すP_SLICE マッピング、および図27に示すB_SLICE マッピングのそれぞれには、符号化データ変換器1040による、各AVCMBをHEVCCBにマッピング（変換）するルールがピクチャタイプ別に示されている。【0070】
続いて、符号化データ変換器1040は、図28に示される、隣接する４個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、ならびに、動き情報（ref_idx_l0，ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、４個のHEVCCBを併合する。具体的には、４個のHEVCCBのcu_size を32に更新する。【0071】
さらに、符号化データ変換器1040は、図29に示される、隣接する１６個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、および、動き情報（ref_idx_l0，ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、１６個のHEVCCBを併合する。具体的には、１６個のHEVCCBのcu_size を64に更新する。【0072】
後段映像符号化器105 は、符号化データ変換器1040から供給されるHEVC符号化データに基づいて、バッファ103 から供給されるサイズ拡張された入力画像をHEVC方式で符号化し、そのビットストリームを出力する。なお、後段映像符号化器105 は、入力画像src を、SCU の倍数ではなく、前段映像符号化器102 のマクロブロックサイズの倍数とする。画像境界に対する前段映像符号化器102 の符号化データの信頼度を高めるためである。【0073】
後段映像符号化器105 の構成と動作を説明する。【0074】
後段映像符号化器105 は、周波数変換／量子化器1051、逆量子化／逆周波数変換器1052、バッファ1053、予測器1054、推定器（後段推定器）1055、およびエントロピー符号化器1056を備える。【0075】
後段映像符号化器105 における推定器1055は、CTU 毎に、split_cu_flag を、HEVC符号化データのcu_size に従って確定できる。例えば、cu_size=64の場合、CUDepth=0 のsplit_cu_flag を0 にすればよい。同様に、HEVC符号化データのpred_mode_flagおよびpart_mode に従って、CUのイントラ予測／インター予測およびPU分割形状を確定できる。もちろん、HEVC符号化データのpred_mode_flagおよびpart_mode に従って、PUのイントラ予測方向、および動きベクトルなどを確定できる。つまり、背景技術の推定器のように、ラグランジュ乗数λに基づいた符号化コストJ を最小とする符号化パラメータを網羅的に探索する必要がない。【0076】
予測器1054は、推定器1055が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および動きベクトルなどに基づいて、各CUの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測もしくはフレーム間予測に基づいて生成される。【0077】
周波数変換／量子化器1051は、推定器1055がHEVC符号化データのtu_size に従って確定したTU分割形状に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。【0078】
さらに、周波数変換／量子化器1051は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。【0079】
エントロピー符号化器1056は、推定器1055が確定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向の差分情報、動きベクトルの差分情報、および変換量子化値をエントロピー符号化する。【0080】
逆量子化／逆周波数変換器1052は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器1052は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ1053に供給される。バッファ1053は、再構築画像を格納する。【0081】
上述した動作に基づいて、後段映像符号化器105 は、符号化データ変換器1040から供給されるHEVC符号化データに基づいて、バッファ103 から供給されるサイズ拡張された入力画像をHEVC方式で符号化し、そのビットストリームを出力する。【0082】
図30のフローチャートを参照して、映像符号化装置の動作を説明する。【0083】
ステップS101において、サイズ拡張器101は、入力画像を前段映像符号化器102 のマクロブロックサイズである16の倍数にサイズ拡張する。【0084】
ステップS102において、前段映像符号化器102 は、サイズ拡張された入力画像をAVC 方式で符号化する。【0085】
ステップS103において、符号化データ変換器1040は、サイズ拡張された入力画像の各マクロブロックのAVCMB をHEVCCBに変換し、さらにHEVCCBの併合を行う。【0086】
ステップS104において、後段映像符号化器105 は、符号化データ変換器1040から供給されるHEVC符号化データに基づいて、バッファ103 から供給されるサイズ拡張された入力画像をHEVC方式で符号化し、ビットストリームを出力する。【0087】
上記の映像符号化装置において、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および動きベクトルなどを決定する映像符号化処理の負荷が前段映像符号化器102 と後段映像符号化器105 とに分配され、映像符号化処理の負荷の集中が緩和される。【0088】
なお、符号化データ変換器1040は、隣接する４個のHEVCCBが以下に示す32×32 2N×N条件を全て満たす場合、４個のHEVCCBのcu_size およびpart_mode をそれぞれ32および2N×N に更新してもよい。【0089】
［32×32 2N×N条件］・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flagが0 である
・すべてのHEVCCB動き情報が同一でない
・上側２つのHEVCCB動き情報が同一である
・下側２つのHEVCCB動き情報が同一である
【0090】
また、符号化データ変換器1040は、隣接する４個のHEVCCBが以下に示す32×32 N×2N条件を全て満たす場合、４個のHEVCCBのcu_size およびpart_mode をそれぞれ32およびN×2N に更新してもよい。【0091】
［32×32 N×2N条件］・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flag が0 である
・すべてのHEVCCB動き情報が同一でない
・左側２つのHEVCCB動き情報が同一である
・右側２つのHEVCCB動き情報が同一である
【0092】
さらに、符号化データ変換器1040は、隣接する１６個のHEVCCBが以下に示す64×64 2N×N 条件を全て満たす場合、１６個のHEVCCBのcu_size およびpart_mode をそれぞれ64および2N×N に更新してもよい。【0093】
［64×64 2N×N条件］・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flagが0 である
・すべてのHEVCCB動き情報が同一でない
・上側8つのHEVCCB動き情報が同一である
・下側8つのHEVCCB動き情報が同一である
【0094】
また、符号化データ変換器1040は、隣接する１６個のHEVCCBが以下に示す64×64 N×2N条件を全て満たす場合、１６個のHEVCCBのcu_size およびpart_mode をそれぞれ64およびN×2N に更新してもよい。【0095】
［64×64 N×2N条件］・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flagが0 である
・すべてのHEVCCB動き情報が同一でない
・左側８つのHEVCCB動き情報が同一である
・右側８つのHEVCCB動き情報が同一である
【0096】
図21(b) に示すように、H.264/AVC 方式では、イントラ予測モードとして、8 種類の方向性予測とDC予測との計9 種類の予測モードがある。H.265/HEVC方式では、イントラ予測モードとして、33種類の方向性予測（図11参照）とDC予測およびPlanar予測との計35種類の予測モードがある。また、H.265/HEVC方式では、Most probable mode（MPM ）と呼ばれる符号化方式を用いることができる。MPM では、処理対象のPUに隣接するPUの予測方向、DC予測モードまたはPlanar予測モードが、処理対象のPUに適用される。【0097】
上述したように、符号化データ変換器1040は、所定のルール（図25〜図27参照）に従って各AVCMBをHEVCCBに変換する。図25〜図27に示されているように、符号化データ変換器1040は、H.264/AVC 方式の予測モードを、H.265/HEVC方式の予測モードに変換する。【0098】
H.264/AVC 方式における予測モードの種類はH.265/HEVC方式における予測モードの種類よりも少ないので、後段映像符号化器105 の符号圧縮効率（符号化効率）が低下するおそれがある。例えば、H.264/AVC 方式で頻繁に使われるPlanar予測がH.264/AVC 方式には存在しないため、符号化データ変換器1040は、Planar予測に変換しないことになる。なお、図25〜図27には、例外的に、H.264/AVC 方式でIntra_16x16においてPlane 予測（予測モード３）が行われた場合にはPlanar予測に変換されることが示されているが、その他の場合にPlanar予測は用いられない。【0099】
本発明は、処理負荷を分散しつつ、符号化効率の低下を防止することができる映像符号化装置、映像符号化方法およびプログラムを提供することを目的とする。【課題を解決するための手段】
【0100】
本発明による映像符号化装置は、入力画像をH.264/AVC 規格に基づいて符号化して第１の符号化データを生成する第１の映像符号化手段と、第１の映像符号化手段が生成した第１の符号化データを変換してH.265/HEVC規格に基づく第２の符号化データを生成するとともに、第１の符号化データにおける予測モードを変換してH.265/HEVC規格に基づく第２の符号化データにおける予測モードを生成する符号化データ変換手段と、符号化データ変換手段から供給される第２の符号化データに基づいて、第１の映像符号化手段に入力された入力画像を入力して該入力画像に対する予測信号を生成する第２の映像符号化手段と、少なくとも、第１の映像符号化手段が使用不能であって第２の映像符号化手段が使用可能なイントラ予測モードを発生する予測モード発生部と、符号化データ変換手段が生成した予測モードおよび予測モード発生部が発生した予測モードの符号化コストを評価し、符号化コストが最も小さい予測モードを、第２の映像符号化手段が使用する予測モードとして選択する予測モード選択部とを備えたことを特徴とする。
【0101】
本発明による映像符号化方法は、入力画像をH.264/AVC 規格に基づいて符号化して第１の符号化データを生成し、第１の符号化データを変換してH.265/HEVC規格に基づく第２の符号化データを生成するとともに、第１の符号化データにおける予測モードを変換してH.265/HEVC規格に基づく第２の符号化データにおける予測モードを生成し、第２の符号化データに基づいて、第１の符号化データを生成する際の符号化の対象である入力画像に対する予測信号を生成する映像符号化方法であって、少なくとも、第１の符号化データを生成する際に使用不能であって第２の符号化データを生成する際に使用可能なイントラ予測モードを発生し、生成された予測モードおよび発生された予測モードの符号化コストを評価し、符号化コストが最も小さい予測モードを、第２の符号化データを生成する際に使用する予測モードとして選択することを特徴とする。
【0102】
本発明による映像符号化プログラムは、コンピュータに、入力画像をH.264/AVC 規格に基づいて符号化してH.265/HEVC規格に基づく第１の符号化データを生成する処理と、第１の符号化データを変換してH.265/HEVC規格に基づく第２の符号化データを生成するとともに、第１の符号化データにおける予測モードを変換して第２の符号化データにおける予測モードを生成する処理と、第２の符号化データに基づいて、第１の符号化データを生成する際の符号化の対象である入力画像に対する予測信号を生成する処理とを実行させるためのプログラムであって、少なくとも、第１の符号化データを生成する際に使用不能であって第２の符号化データを生成する際に使用可能なイントラ予測モードを発生する処理と、生成された予測モードおよび発生された予測モードの符号化コストを評価し、符号化コストが最も小さい予測モードを、第２の符号化データを生成する際に使用する予測モードとして選択する処理とを実行させることを特徴とする。
【発明の効果】
【0103】
本発明によれば、処理負荷を分散しつつ、符号化効率の低下を防止することができる。【図面の簡単な説明】
【0104】
【図1】一実施形態の映像符号化装置の構成例を示すブロック図である。
【図2】符号化データ変換器の構成例を示すブロック図である。
【図3】一実施形態の映像符号化装置の動作を示すフローチャートである。
【図4】予測モード番号の変換を説明するための説明図である。
【図5】予測モード削除部の処理を説明するための説明図である。
【図6】予測モード選択部の処理の一例を示す説明図である。
【図7】MPM の選定方法の一例を示すフローチャートである。
【図8】本発明による映像符号化装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。
【図9】映像符号化装置の主要部を示すブロック図である。
【図10】映像符号化装置の他の例を示すブロック図である。
【図11】33種類の角度イントラ予測の例を示す説明図である。
【図12】フレーム間予測の例を示す説明図である。
【図13】一般的な映像符号化装置の構成を示すブロック図である。
【図14】フレームt のCTU 分割例、および、フレームt のCTU8のCU分割例を示す説明図である。
【図15】CTU8のCU分割例に対応するクアッドツリー構造を示す説明図である。
【図16】CUのPU分割例を示す説明図である。
【図17】CUのTU分割例を示す説明図である。
【図18】映像符号化装置の構成例を示すブロック図である。
【図19】AVC 符号化データを示す説明図である。
【図20】マクロブロック中のブロックアドレスのための説明図である。
【図21】予測の種類を説明するための説明図である。
【図22】予測の種類を説明するための説明図である。
【図23】AVC 方式のTreeの予測形状を示す説明図である。
【図24】HEVC符号化データであるHEVCCBを示す説明図である。
【図25】I_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。
【図26】P_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。
【図27】B_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。
【図28】HEVCCBの例を示す説明図である。
【図29】HEVCCBの例を示す説明図である。
【図30】映像符号化装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0105】
以下、本発明の実施形態を図面を参照して説明する。【0106】
実施形態１．図1 は、本実施形態の映像符号化装置の構成例を示すブロック図である。本実施形態の映像符号化装置は、サイズ拡張器101 、前段映像符号化器102 、バッファ103 、符号化データ変換器104 、および後段映像符号化器105 を備える。図1 に示す映像符号化装置において、符号化データ変換器104 の機能は、図18に示された符号化データ変換器1040の機能とは異なる。図1 に示す映像符号化装置の他の部分の構成は、図18に示された映像符号化装置における構成と同様である。
【0107】
図2 は、符号化データ変換器104 の構成例を示すブロック図である。符号化データ変換器104 は、Ｈ．２６４予測モード変換部1041、追加予測モード生成部1042、予測モード削除部1043、および予測モード選択部1044を含む。【0108】
Ｈ．２６４予測モード変換部1041は、図18に示された符号化データ変換器1040と同様の機能を有する。追加予測モード生成部1042は、Ｈ．２６４予測モード変換部1041による変換後の予測モードに追加される予測モードとして、後段映像符号化器105 が使用可能な１つまたは複数の予測モード（イントラ予測モード）を発生する。具体的にどのような予測モードを発生するかについては後述する。なお、追加予測モード生成部1042は、少なくとも、前段映像符号化器102 が使用不能であって後段映像符号化器105 が使用可能なイントラ予測モードを発生することが好ましい。以下、Ｈ．２６４予測モード変換部1041による変換後の予測モードをH.265 予測モードといい、追加予測モード生成部1042が発生した１つまたは複数の予測モードを仮追加H.265 予測モードという。【0109】
予測モード削除部1043は、仮追加H.265 予測モードのうち所定の条件を満たす予測モードを削除する。以下、予測モード削除部1043による削除処理後の予測モードの集合を追加H.265 予測モードという。予測モード選択部1044は、H.265 予測モードおよび追加H.265 予測モードに関して符号化コストを算出し、符号化コストが最小になる予測モードを選択する。選択された予測モードは、後段映像符号化器105 における周波数変換／量子化器1051で使用される。【0111】
ステップS121で、Ｈ．２６４予測モード変換部1041は、図18に示された符号化データ変換器1040による処理と同様の処理を実行して、AVCMBをHEVCCBに変換する処理を実行する。図4 は、変換処理における予測モード番号の変換を説明するための説明図である。図11および図21(b) を参照すると、図4 の左側に示されるH.264/AVC 方式での予測モード（図4 において、数字は予測モード番号を示す。）は、右側に示されるH.265/HEVC方式における予測モードに対応する。従って、Ｈ．２６４予測モード変換部1041は、図4 に示すように、予測モードを変換して出力する。具体的には、Ｈ．２６４予測モード変換部1041は、H.265 予測モードの予測モード番号を出力する。【0112】
ステップS122で、追加予測モード生成部1042は、所定の予測モードを発生する。第１の実施形態では、追加予測モード生成部1042は、仮追加H.265 予測モードとして、使用頻度が高いことが知られているPlanar予測（予測モード番号０）を発生して出力する。具体的には、追加予測モード生成部1042は、仮追加H.265 予測モードの予測モード番号を出力する。【0113】
ステップS123で、予測モード削除部1043は、所定の条件を満たす仮追加H.265 予測モードを削除する。所定の条件は、一例として、Ｈ．２６４予測モード変換部1041が出力した予測モードと同じ（予測モード番号が同じ）予測モードである。ただし、第１の実施形態では、追加予測モード生成部1042は、Planar予測のみを発生するので、予測モード削除部1043は、仮追加H.265 予測モードを削除しない。【0114】
ステップS124で、予測モード選択部1044は、Ｈ．２６４予測モード変換部1041が出力した予測モード（図2 に示すH.265 予測モード）および予測モード削除部1043が出力した予測モード（図2 に示す追加H.265 予測モード）を評価し、評価結果にもとづいて１つの予測モードを選択する。選択された予測モードは、後段映像符号化器１０５における周波数変換／量子化部1051で使用される。【0115】
図5 は、予測モード削除部1043の処理を説明するための説明図である。なお、図5 には、追加予測モード生成部1042によって、Planar予測、DC予測（予測モード番号０）および垂直方向予測（予測モード番号２６）が発生された場合の例（後述する第２の実施形態に対応）が示されている。【0116】
図5 に示すように、Ｈ．２６４予測モード変換部1041が変換後の予測モードとして、予測モード番号２６の予測モードを出力したとする。その場合、予測モード番号２６の予測モードは、仮追加H.265 予測モードの１つと重複する。その場合、予測モード削除部1043は、仮追加H.265 予測モードから予測モード番号２６の予測モードを削除する。予測モードが削除されることによって、予測モード選択部1044が評価する予測モードの数が低減される。【0117】
図6 は、予測モード選択部1044の処理の一例を示す説明図である。図6 には、Ｈ．２６４予測モード変換部1041が変換後の予測モードとして、予測モード番号２６の予測モードを出力し、予測モード削除部1043が、追加H.265 予測モードとして、Planar予測およびDC予測を出力した場合の例が示されている。【0118】
例えば、予測モード選択部1044は、（２）式の評価式を用いて予測モードの評価を行う。【0119】
J(mode) = D(mode) + λ・Bit （２）【0120】
J(mode) は、符号化コストである。λは、ラグランジュ乗数である。modeは、予測モード番号を示す。D(mode) 、Bit は、それぞれ、符号化歪、modeを用いて符号化した際に発生するCUビット数を示す。【0121】
本実施形態、予測モード選択部1044は、例えば、D(mode) として、SAD （Sum of Absolute Difference：絶対値誤差和）を用いる。SAD は、処理対象の画像信号と予測信号との誤差（予測歪）を示す。SAD を用いる場合、（２）式の評価式は、（３）式のように表される。【0122】
J(mode) = SAD + λ・Bit （３）【0123】
予測モード選択部1044は、（３）式に基づいて各予測モードの符号化コストを算出する。そして、予測モード選択部1044は、符号化コストが最も小さい予測モードを選択して出力する。【0124】
図6 に示す例では、予測モード番号０，１，２６の各予測モードについてラグランジュ乗数は"10"であり、SAD は、"400" 、"150" 、"300" であり、Bit は、"2" 、"2" 、"3" である。予測モード番号１の予測モードの符号化コストが最も小さいので、予測モード選択部1044は、予測モード番号１の予測モードを選択する。【0125】
本実施形態では、予測モード選択部1044が、Ｈ．２６４予測モード変換部1041による変換後の予測モードに加えて所定の予測モードを評価し、後段映像符号化器105 が使用する予測モードを評価結果に基づいて選択するので、後段映像符号化器105 は、Ｈ．２６４予測モード変換部1041による変換後の予測モードよりも符号化効率が高い予測モードを使用できる可能性が高まる。すなわち、符号化効率を向上させることが可能になる。【0126】
実施形態２．第１の実施形態では、追加予測モード生成部1042は、仮追加H.265 予測モードとしてPlanar予測を発生した。第２の実施形態では、追加予測モード生成部1042は、仮追加H.265 予測モードとして、H.265/HEVC規格に基づくMPM (Most Probable Mode)の概念を利用して仮追加H.265 予測モードを発生する。
【0127】
すなわち、処理対象のブロックは近傍ブロックと強く相関するので、追加予測モード生成部1042は、近傍ブロックでの予測モードを仮追加H.265 予測モードにする。なお、平坦領域の低ビット符号化では、MPM の予測モードが符号化効率が高い予測モードになりやすい。また、本実施形態では、３つのMPM （MPM0、MPM1、MPM3）を決定する。【0128】
図7 は、追加予測モード生成部1042が実施するMPM の選定方法の具体例を示すフローチャートである。追加予測モード生成部1042は、ステップS201で、処理対象のPUの直左側のPUが使用可能（処理済み）であるか否か確認する。直左側のPUが使用可能でなければ、ステップS204に移行する。直左側のPUが、使用可能であり、かつ、イントラ予測モードが適用されている場合には、追加予測モード生成部1042は、その予測モードを候補Ａ（candA ）に加える(ステップS202,S203 ）。イントラ予測モードが適用されていない場合には、ステップS204に移行する。ステップS204で、追加予測モード生成部1042は、candA にDC予測を加える。【0129】
また、追加予測モード生成部1042は、ステップS211で、処理対象のPUの直上側のPUが使用可能（処理済み）であるか否か確認する。直上側のPUが使用可能でなければ、ステップS214に移行する。直上側のPUが、使用可能であり、かつ、イントラ予測モードが適用されている場合には、追加予測モード生成部1042は、その予測モードを候補Ｂ（candB ）に加える(ステップS212,S213 ）。イントラ予測モードが適用されていない場合には、ステップS214に移行する。ステップS214で、追加予測モード生成部1042は、candB にDC予測を加える。【0130】
さらに、ステップS221で、追加予測モード生成部1042は、candA とcandB とが同じであるか否か確認する。同じでなければ、ステップS231に移行する。candA とcandB とが同じである場合には、candB の予測モード番号が２よりも小さいか否か確認する（ステップS223）。予測モード番号が２よりも小さい場合には、ステップS223で、追加予測モード生成部1042は、MPM すなわち仮追加H.265 予測モードを、Planar予測、DC予測および垂直予測（MPM0=Planar 、MPM1=DC 、MPM2=Vertical ）とする。予測モード番号が２以上である場合には、ステップS224で、追加予測モード生成部1042は、仮追加H.265 予測モードにMPM0としてcandA を追加し、MPM1として(MPM0+29)%32+2を追加し、MPM2として(MPM0-1)%32+2 を追加する、なお、%32 は、32で割った剰余を示す。【0131】
ステップS231で、追加予測モード生成部1042は、仮追加H.265 予測モードにMPM0としてcandA を追加しMPM1としてcandB を追加する。ステップS232で、追加予測モード生成部1042は、MPM0とMPM1とのいずれかがPlanar予測であるか否か確認する。少なくとも一方がPlanar予測である場合には、ステップS234に移行する。いずれもPlanar予測でない場合には、ステップS233で、追加予測モード生成部1042は、仮追加H.265 予測モードにMPM2としてPlanar予測を追加する。なお、"+"は、論理和を示す。【0132】
ステップS234で、追加予測モード生成部1042は、MPM0とMPM1のいずれの予測モード番号も２よりも小さいか否か確認する。換言すれば、Planar予測でない方が、DC予測であるか否か確認する。なお、"&&"は、論理積を示す。いずれの予測モード番号も２よりも小さい場合には、ステップS235で、追加予測モード生成部1042は、仮追加H.265 予測モードにMPM2として垂直予測を追加する。MPM0とMPM1のいずれかが予測モード番号２以上の予測モードである場合には（ステップS232より、いずれか一方は、予測モード番号０のPlanar予測である。）、ステップS236で、追加予測モード生成部1042は、仮追加H.265 予測モードにMPM2としてDC予測を追加する。【0133】
以上の処理によって決定される３つの仮追加H.265 予測モードは、以下のいずれかの組み合わせになる。・Planar予測、DC予測、垂直予測
・直左側のPUの予測モード、直上側のPUの予測モード、DC予測
・直左側のPUの予測モード、直上側のPUの予測モード、Planar予測
・DC予測（または、Planar予測）、水平方向の角度予測（方向性予測）、垂直方向の角度予測
【0134】
すなわち、追加H.265 予測モードに、Planar予測と比較的出現しやすい垂直予測とが含まれやすくなる。なお、図7 に示されたMPM の決定方法は一例であり、図7 に示された方法の一部を変更したり、他の方法でMPM を決定してもよい。【0135】
実施形態３．追加予測モード生成部1042は、Ｈ．２６４予測モード変換部1041が出力した予測モードの近傍の予測モードを仮追加H.265 予測モードとしてもよい。なお、予測モードの近傍は、予測モード番号が近似していることを意味する。換言すれば、予測方向（角度）が類似している（角度差が小さい）ことを意味する。
【0136】
一例として、追加予測モード生成部1042は、Ｈ．２６４予測モード変換部1041が出力した予測モードの近傍の４つの予測モードを仮追加H.265 予測モードとする。例えば、Ｈ．２６４予測モード変換部1041が予測モード番号７の予測モードを出力した場合、追加予測モード生成部1042は、予測モード番号５，６，８，９の予測モードを仮追加H.265 予測モードとする。【0137】
なお、Ｈ．２６４予測モード変換部1041がDC予測を出力した場合、予測方向が類似している予測モードを特定できない。その場合には、追加予測モード生成部1042は、例えば、出現頻度が高い、Planar予測、垂直予測、水平予測、斜め４５゜方向の予測の予測モードを発生する。【0138】
Ｈ．２６４予測モード変換部1041が出力した予測モード（変換前のH.264/AVC 方式における予測モードに相当）は、後段映像符号化器が使用すべき最適なH.265/HEVC方式での予測モードと強く相関する。つまり、Ｈ．２６４予測モード変換部1041が出力した予測モードの近傍の予測モードが最適な（符号化効率が高い）予測モードになる可能性が高い。本実施形態のように、追加予測モード生成部1042が、Ｈ．２６４予測モード変換部1041が出力した予測モードの予測モード番号の近傍の予測モードを発生することによって、符号化効率を低下させないようにすることができる。【0139】
なお、第１〜第３の実施形態では、予測モード選択部1044は、追加H.265 予測モードとＨ．２６４予測モード変換部1041が出力したH.265 予測モードとを対象にして符号化コストを計算したが、追加H.265 予測モードのみを対象として符号化コストを計算してもよい。その場合には、追加予測モード生成部1042は、第１〜第３の実施形態の場合と同様に、後段映像符号化器105 で使用可能な所定のイントラ予測モードとして、予測モード選択部1044が評価結果を高くする蓋然性が高い予測モードを発生するが、予測モード選択部1044は、追加予測モード生成部1042が発生した予測モードの中から（Ｈ．２６４予測モード変換部1041が出力したH.265 予測モードを選択対象とせず）、後段映像符号化器105 が使用する予測モードを選択する。【0140】
また、追加予測モード生成部1042は、第１〜第３の実施形態における仮追加H.265 予測モードの発生方法を任意に組み合わせた方法によって、仮追加H.265 予測モードを決めるようにしてもよい。【0141】
上記の実施形態では、サイズ拡張器101 が設けられているが、サイズ拡張器101 に加えて、画素ビット深度変換器が設けられていてもよい。その場合、画素ビット深度変換器は、サイズ拡張器101 から供給される16の倍数にサイズ拡張された4:2:0 10-bitの入力画像を4:2:0 8-bit に変換する。ビット深度変換において、LSB 2bitを右シフトで切り捨ててもよいし、四捨五入を用いて丸めてもよい。【0142】
前段映像符号化器102 は、16の倍数にサイズ拡張されて4:2:0 8-bit に変換された入力画像をAVC 方式で符号化する。【0143】
符号化データ変換器104 は、画素ビット深度変換器から供給される16の倍数にサイズ拡張されて4:2:0 8-bit に変換された入力画像の各マクロブロックのAVC 符号化データをHEVCCBに変換する。【0144】
なお、画素ビット深度変換器は、サイズ拡張器101 から供給される16の倍数にサイズ拡張された入力画像の画素ビット深度を低減したが、映像符号化装置に入力される入力画像の画素ビット深度を低減するようにしてもよい。その場合には、サイズ拡張器101 は設けられない。【0145】
また、映像符号化装置は、ダウンサンプリング器を備えていてもよい。前段映像符号化器102 は、1080p （2K）の入力フォーマットをサポートするAVC 映像符号化器である。後段映像符号化器はHEVC映像符号化器である。つまり、前段映像符号化器102 が対応できる空間解像度は、後段映像符号化器105 における空間解像度未満である。【0146】
ダウンサンプリング器は、2160p の入力画像src （src_pic_width =3840, src_pic_height=2160 ）を1080p （src_pic_width =1920, src_pic_height=1080）に縮小する。さらに、ダウンサンプリング器は、1080p に縮小された入力画像の幅src_pic_width および高さsrc_pic_heightを16の倍数に拡張する。なお、拡張された領域の画素値は、1080p に縮小された入力画像の境界の画素値のコピーでもよいし、予め定められた画素値（例えば、グレーを示す128 （入力画像が8-bit の場合））でもよい。【0147】
前段映像符号化器102 は、ダウンサンプリング器から供給される1080p に縮小されて16の倍数に拡張された入力画像をAVC 方式で符号化する。【0148】
符号化データ変換器104 は、ダウンサンプリング器から供給される1080p に縮小されて16の倍数に拡張された入力画像を構成する分割画面の各マクロブロックのAVC 符号化データを変換し、HEVCCBに変換する。ただし、符号化データ変換器104 は、前段映像符号化器102 への入力画像が後段映像符号化器105 への入力画像に対して解像度が水平および垂直に半分になっていることを考慮して、cu_size 、tu_size 、および動き情報の動きベクトルの水平成分の値と垂直成分の値とを２倍にする。【0149】
続いて、符号化データ変換器104 は、上記の実施形態の場合と同様に、隣接する４個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、動き情報（ref_idx_l0，ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、４個のHEVCCBを併合する。具体的には、前段映像符号化器102 への入力画像が後段映像符号化器105 への入力画像に対して解像度が水平および垂直に半分になっていることを考慮して、符号化データ変換器104 は、４個のHEVCCBのcu_size を64に更新する。【0150】
後段映像符号化器105 は、上記の実施形態の場合と同様に、前段映像符号化器102 から供給されるHEVC符号化データに基づいて、バッファ103 から供給される2160p の入力画像をHEVC方式で符号化し、ビットストリームを出力する。【0151】
映像符号化装置がダウンサンプリング器を含むように構成されている場合には、映像符号化装置は、HDTV（High Definition Television）規格の2160p （4K） の入力フォーマットをサポートすることができる。【0152】
また、上記の実施形態の映像符号化装置を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。【0153】
図8 に示す情報処理システムは、プロセッサ1001、プログラムメモリ1002、映像データを格納するための記憶媒体1003およびビットストリームを格納するための記憶媒体1004を備えている。記憶媒体1003と記憶媒体1004とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。【0154】
図8 に示された情報処理システムにおいて、プログラムメモリ1002には、図1 および図2 に示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ1001は、プログラムメモリ1002に格納されているプログラムに従って処理を実行することによって、上記の実施形態の映像符号化装置の機能を実現する。【0155】
図9 は、本発明による映像符号化装置の主要部を示すブロック図である。図9 に示すように、映像符号化装置は、入力画像を符号化して第１の符号化データを生成する第１の映像符号化部11（一例として、図1 に示す前段映像符号化器102 ）と、第１の映像符号化部11が生成した第１の符号化データを変換して第２の符号化データを生成する符号化データ変換部131 （一例として、図1 に示す符号化データ変換器104 ）と、符号化データ変換部131 から供給される第２の符号化データに基づいて予測信号を生成する第２の映像符号化部14（一例として、図1 に示す後段映像符号化器105 ）とを備え、符号化データ変換部131 は、第２の映像符号化部14が使用可能な所定のイントラ予測モードを発生する予測モード追加部（予測モード発生部）1312（一例として、図2 に示す追加予測モード生成部1042）と、予測モード発生部1312が発生した予測モードを評価し、評価結果に基づいて、第２の映像符号化部14が使用する予測モードを選択する予測モード選択部1313（一例として、図2 に示す予測モード選択部1044）とを含み、予測モード発生部1312は、所定のイントラ予測モードとして、予測モード選択部1313が評価結果を高くする蓋然性が高い予測モードを発生する。【0156】
図10は、本発明による他の映像符号化装置の主要部を示すブロック図である。図10に示す映像符号化装置は、図9 に示す映像符号化装置の構成に加えて、符号化データ変換部132 において、予測モード発生部1312が発生した予測モードから所定の条件を満たす予測モードを削除する予測モード削除部1314（一例として、図2 に示す予測モード削除部1043）が設けられている。【0157】
上記の実施形態の一部または全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。【0158】
（付記１）入力画像を符号化して第１の符号化データを生成する第１の映像符号化手段と、第１の映像符号化手段が生成した第１の符号化データを変換して第２の符号化データを生成する符号化データ変換手段と、符号化データ変換手段から供給される第２の符号化データに基づいて予測信号を生成する第２の映像符号化手段とを備え、符号化データ変換手段は、第１の映像符号化手段によるイントラ予測モードを第２の映像符号化手段が使用するイントラ予測モードに変換する予測モード変換部と、予測モード変換部による変換後の予測モードに追加される予測モードとして、第２の映像符号化手段が使用可能な所定のイントラ予測モードを発生する予測モード追加部と、予測モード変換部による変換後の予測モードおよび予測モード追加部が発生した予測モードを評価し、評価結果に基づいて、第２の映像符号化手段が使用する予測モードを選択する予測モード選択部とを含み、予測モード追加部は、所定のイントラ予測モードとして、予測モード選択部が評価結果を高くする蓋然性が高い予測モードを発生することを特徴とする映像符号化装置。【0159】
（付記２）入力画像を符号化して第１の符号化データを生成し、入力画像をバッファに格納し、第１の符号化データを変換して第２の符号化データを生成し、第２の符号化データに基づいて予測信号を生成する映像符号化方法であって、第１の符号化データを変換するときに、第１の符号化データに関するイントラ予測モードを第２の符号化データに関するイントラ予測モードに変換し、第２の符号化データに基づく予測信号の生成に使用可能な所定のイントラ予測モードを発生し、変換後の予測モードおよび発生された予測モードを評価し、評価結果に基づいて、第２の符号化データを生成する際に使用する予測モードを選択し、所定のイントラ予測モードとして、評価結果を高くする蓋然性が高い予測モードを発生することを特徴とする映像符号化方法。【0160】
（付記３）コンピュータに、入力画像を符号化して第１の符号化データを生成する処理と、第１の符号化データを変換して第２の符号化データを生成する処理と、第２の符号化データに基づいて予測信号を生成する処理とを実行させるためのプログラムであって、第１の符号化データを変換するときに、第１の符号化データに関するイントラ予測モードを第２の符号化データに関するイントラ予測モードに変換する処理と、第２の符号化データに基づく予測信号の生成に使用可能な所定のイントラ予測モードを発生する処理と、変換後の予測モードおよび発生された予測モードを評価し、評価結果に基づいて、第２の符号化データを生成する際に使用する予測モードを選択する処理とを実行させ、所定のイントラ予測モードとして、評価結果を高くする蓋然性が高い予測モードを発生させるための映像符号化プログラム。【0161】
（付記４）コンピュータに、入力画像を符号化して第１の符号化データを生成する処理と、第１の符号化データを変換して第２の符号化データを生成する処理と、第２の符号化データに基づいて予測信号を生成する処理とを実行させるためのプログラムであり、少なくとも、第１の符号化データを生成する際に使用不能であって第２の符号化データを生成する際に使用可能なイントラ予測モードを発生する処理と、発生された予測モードを評価し、評価結果に基づいて、第２の符号化データを生成する際に使用する予測モードを選択する処理とを実行させるためのプログラムであって、H.264/AVC 規格に基づく符号化処理を実行して第１の符号化データを生成させ、H.265/HEVC規格に基づく符号化処理を実行して第２の符号化データを生成させる映像符号化プログラム。【0162】
（付記５）コンピュータに、予測信号の生成に使用可能な所定のイントラ予測モードとして、Planar予測モードを発生させる付記３または付記４に記載の映像符号化プログラム。【0163】
（付記６）コンピュータに、予測信号の生成に使用可能な所定のイントラ予測モードとして、MPM に基づく予測モードを発生させる付記３、付記４または付記５に記載の映像符号化プログラム。【0164】
（付記７）コンピュータに、予測信号の生成に使用可能な所定のイントラ予測モードとして、変換後の予測モードの予測モード番号の近傍の予測モードを発生させる付記３、付記４、付記５または付記６に記載の映像符号化プログラム。【0165】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。【0166】
この出願は、２０１４年２月１０日に出願された日本特許出願２０１４−０２３０９０を基礎とする優先権を主張し、その開示の全てをここに取り込む。【符号の説明】
【0167】
11 第１の映像符号化部14 第２の映像符号化部
101 サイズ拡張器
102 前段映像符号化器
103 バッファ
104,1040 符号化データ変換器
105 後段映像符号化器
131,132 符号化データ変換部
1001 プロセッサ
1002 プログラムメモリ
1003,1004 記憶媒体
1021,1051 周波数変換／量子化器
1022,1052 逆量子化／逆周波数変換器
1023,1053 バッファ
1024,1054 予測器
1025,1055 推定器
1041 Ｈ．２６４予測モード変換部
1042 追加予測モード生成部
1043 予測モード削除部
1044 予測モード選択部
1056 エントロピー符号化器
1312 予測モード追加部（予測モード発生部）
1313 予測モード選択部
1314 予測モード削除部