(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024000443
(43)【公開日】2024-01-05
(54)【発明の名称】映像符号化装置及びプログラム
(51)【国際特許分類】
H04N 19/126 20140101AFI20231225BHJP
H04N 19/147 20140101ALI20231225BHJP
H04N 19/176 20140101ALI20231225BHJP
【ＦＩ】
H04N19/126
H04N19/147
H04N19/176
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2022099213
(22)【出願日】2022-06-20
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100161148
【弁理士】
【氏名又は名称】福尾 誠
(72)【発明者】
【氏名】森田 泰子
(72)【発明者】
【氏名】日下部 裕一
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159KK02
5C159LA00
5C159TA53
5C159TB08
5C159TC08
5C159TD16
5C159UA02
(57)【要約】
【課題】ＨＤＲ／広色域映像のような鮮やかな色彩を含む映像を圧縮する際の主観品質を向上させる。
【解決手段】映像符号化装置１は、原画像を劣化させた劣化画像を生成する劣化画像生成部５０と、劣化画像のブロックごとの劣化度の第１推定値、及び劣化画像のブロックごとの符号量の第２推定値を求め、第１推定値の第１順位と第２推定値の第２順位の差に応じて、符号化対象部分に対する符号量を調整する符号量調整部６０と、を備え、符号量調整部６０は、輝度信号及び色信号から指標値を算出する第１画質指標を用いて、原画像及び劣化画像を比較して、第１推定値を求める。
【選択図】図１
【解決手段】映像符号化装置１は、原画像を劣化させた劣化画像を生成する劣化画像生成部５０と、劣化画像のブロックごとの劣化度の第１推定値、及び劣化画像のブロックごとの符号量の第２推定値を求め、第１推定値の第１順位と第２推定値の第２順位の差に応じて、符号化対象部分に対する符号量を調整する符号量調整部６０と、を備え、符号量調整部６０は、輝度信号及び色信号から指標値を算出する第１画質指標を用いて、原画像及び劣化画像を比較して、第１推定値を求める。
【選択図】図１
【特許請求の範囲】
【請求項1】
入力映像の原画像を符号化する映像符号化装置であって、
前記原画像を劣化させた劣化画像を生成する劣化画像生成部と、
前記劣化画像のブロックごとの劣化度の第１推定値、及び前記劣化画像のブロックごとの符号量の第２推定値を求め、前記第１推定値を大きさ順に並べ替えた第１順位と、前記第２推定値を大きさ順に並べ替えた第２順位の差に応じて、符号化対象部分に対する符号量を調整する符号量調整部と、を備え、
前記符号量調整部は、輝度信号及び色信号から指標値を算出する第１画質指標を用いて、前記原画像及び前記劣化画像を比較して、前記第１推定値を求める、映像符号化装置。
前記原画像を劣化させた劣化画像を生成する劣化画像生成部と、
前記劣化画像のブロックごとの劣化度の第１推定値、及び前記劣化画像のブロックごとの符号量の第２推定値を求め、前記第１推定値を大きさ順に並べ替えた第１順位と、前記第２推定値を大きさ順に並べ替えた第２順位の差に応じて、符号化対象部分に対する符号量を調整する符号量調整部と、を備え、
前記符号量調整部は、輝度信号及び色信号から指標値を算出する第１画質指標を用いて、前記原画像及び前記劣化画像を比較して、前記第１推定値を求める、映像符号化装置。
【請求項2】
前記符号量調整部は、輝度信号から指標値を算出する第２画質指標を用いて、前記原画像及び前記劣化画像から前記第２推定値を求める、請求項１に記載の映像符号化装置。
【請求項3】
前記符号量調整部は、前記第１推定値を大きい順に並べ替えた前記第１順位が、前記第２推定値を大きい順に並べ替えた前記第２順位よりも大きいほど、前記符号化対象に対する符号量を小さくするように調整する、請求項１又は２に記載の映像符号化装置。
【請求項4】
コンピュータを、請求項１又は２に記載の映像符号化装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像符号化装置及びプログラムに関するものである。
【背景技術】
【0002】
現在、普及が広まっている映像符号化方式ＶＶＣ（Versatile Video Coding）、ＨＥＶＣ（High Efficiency Video Coding）は、従来方式に比べて多様な符号化ツールを有しており、映像を効率良く圧縮することができる。その一方で、当該方式を用いて効率的に符号化するには、膨大な数のツールから適切な１つを逐次選定することが課題となる。非特許文献１の８．２章に記載されているように、ＨＥＶＣの参照ソフトウェアＨＭ（HEVC test Model）では、ラグランジュコスト関数に基づくＲＤ（レート－歪）最適化によって適切な符号化モードを選択しており、ＶＶＣの参照ソフトウェアＶＴＭ（VVC Test Model）でも同じアルゴリズムが採用されている。このコスト関数では、符号化した際のレートＲ（Rate）と符号化歪Ｄ（Distortion）の関係を式（１）のように定義しており、コストＪを最小化するモードを選択する。
【0003】
Ｊ＝Ｄ＋λＲ （１）
【0004】
ただし、式（１）においてλはラグランジュ乗数を示し、一般にビットレートが低いほど大きい値に設定される。ＨＭ，ＶＴＭともに、レート制御をする際には、このラグランジュ乗数λをもとに量子化パラメータＱＰを決定する。式（１）における符号化歪Ｄとしては、画質指標ＰＳＮＲ（Peak Signal-to-Noise Ratio）との相関が高いことから、原画像と符号化画像（原画像を符号化した後に復号した画像）との二乗誤差和ＳＳＥ（Sum of Squared Error）が主に用いられている。
【0005】
しかし、ＰＳＮＲは計算の簡易さもあって従来から広く利用されているものの、平均二乗誤差に基づく評価値が視覚的な劣化度と乖離があることが課題となっている。これを解決するために、非特許文献２には、視覚的な劣化度との相関が高い画質指標ＶＭＡＦ（Video Multimethod Assessment Fusion）のスコアを式（１）のコスト関数に反映させて、符号化映像の主観品質を向上させる技術が記載されている。
【0006】
図９を用いて、非特許文献２に開示された技術の概略について説明する。まず、原画像ｈをＱＰ＝ＱＰｄで先行符号化した符号化画像ｆ、及び原画像ｈをＱＰ＝ＱＰ’（非特許文献２の実験ではＱＰ’＝ＱＰｄ＋５に設定）で先行符号化した符号化画像ｆ’から、合成画像ｇｉを生成する。ここで、合成画像ｇｉは、符号化画像ｆのｉ番目のＣＴＵ（Coding Tree Unit）を符号化画像ｆ’のｉ番目のＣＴＵに置き換えたものである。これらの画像を使ってｉ番目のＣＴＵに対するスケーリング係数ｓｉを式（２）で求め、式（３）に示すようにコスト関数におけるラグランジュ乗数λに適用して符号化する。式（２）においてＶＭＡＦ（ｘ，ｙ）はｘを参照画像、ｙを評価画像としたときのＶＭＡＦスコアを示す。
【0007】
【数1】
【0008】
近年、従来よりも幅広い範囲の明るさを表現可能なＨＤＲ（High Dynamic Range：高ダイナミックレンジ）映像、及び従来よりも鮮やかな色を再現可能な広色域映像の普及が進んでいる。２０１８年に開始した新４Ｋ８Ｋ衛星放送では、この両者の性質を持つＨＤＲ／広色域映像が採用されており、映像フォーマットはＩＴＵ－Ｒ勧告ＢＴ．２１００に規定されている。ＨＤＲ／広色域映像は、従来のＳＤＲ（Standard Dynamic Range）／標準色域映像に比べて異なる性質を持つため、例えば、非特許文献３に記載されている専用の画質指標の開発が進められている。
【先行技術文献】
【非特許文献】
【0009】
【非特許文献1】大久保榮、「Ｈ.２６５/ＨＥＶＣ教科書」、初版、インプレスジャパン、２０１３年１０月２１日発行
【非特許文献2】H. Zhang, J. Xu and L. Song, "Video Multimethod Assessment Fusion Based Rate-Distortion Optimization for Versatile Video Coding," 2021 IEEE International Conference on Image Processing (ICIP), 2021, pp. 2064-2068.
【非特許文献3】M. Rousselot, X. Ducloux, O. Le Meur and R. Cozot, “Quality Metric Aggregation for HDR/WCG Images,” 2019 IEEE International Conference on Image Processing (ICIP), 2019, pp. 3786-3790.
【発明の概要】
【発明が解決しようとする課題】
【0010】
非特許文献２に記載の技術は、画質指標として輝度信号のみを計算に利用するＶＭＡＦを採用しており、色信号の劣化を考慮していないため、鮮やかな色彩を含むＨＤＲ／広色域映像に適していないという問題点がある。さらに、符号化画像からコスト関数の歪Ｄのみを推定しており、レートＲを考慮していないという問題点がある。
【0011】
かかる事情に鑑みてなされた本発明の目的は、ＨＤＲ／広色域映像のような鮮やかな色彩を含む映像を符号化する際の主観品質を向上させることが可能な映像符号化装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0012】
上記課題を解決するため、一実施形態に係る映像符号化装置は、入力映像の原画像を符号化する映像符号化装置であって、前記原画像を劣化させた劣化画像を生成する劣化画像生成部と、前記劣化画像のブロックごとの劣化度の第１推定値、及び前記劣化画像のブロックごとの符号量の第２推定値を求め、前記第１推定値を大きさ順に並べ替えた第１順位と、前記第２推定値を大きさ順に並べ替えた第２順位の差に応じて、符号化対象部分に対する符号量を調整する符号量調整部と、を備え、前記符号量調整部は、輝度信号及び色信号から指標値を算出する第１画質指標を用いて、前記原画像及び前記劣化画像を比較して、前記第１推定値を求める。
【0013】
さらに、一実施形態において、前記符号量推定部は、輝度信号から指標値を算出する第２画質指標を用いて、前記原画像及び前記劣化画像から前記第２推定値を求めてもよい。
【0014】
さらに、一実施形態において、前記符号量調整部は、前記第１推定値を大きい順に並べ替えた前記第１順位が、前記第２推定値を大きい順に並べ替えた前記第２順位よりも大きいほど、前記符号化対象に対する符号量を小さくするように調整してもよい。
【0015】
また、一実施形態係るプログラムは、コンピュータを、上記映像符号化装置として機能させる。
【発明の効果】
【0016】
本発明によれば、ＨＤＲ／広色域映像のような鮮やかな色彩を含む映像を符号化する際の主観品質を向上させることが可能となる。
【図面の簡単な説明】
【0017】
【図1】一実施形態に係る映像符号化装置の構成例を示すブロック図である。
【図2】一実施形態に係る映像符号化装置における劣化度推定部及び符号量推定部の処理を説明する図である。
【図3】ＨＤＲ／広色域原画像を符号化した符号化画像のＣＴＵごとの値の大小関係を示す図である。
【図6】一実施形態に係る映像符号化装置における符号量調整方法の一例を示すフローチャートである。
【図7】一実施形態に係る映像符号化装置におけるスケーリング係数決定部の処理を説明する図である。
【図8】一実施形態に係る映像符号化装置における符号化部の構成例を示すブロック図である。
【図9】従来の画質指標ＶＭＡＦのスコアをコスト関数に反映させる技術を説明する図である。
【発明を実施するための形態】
【0018】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
【0019】
図１は、一実施形態に係る映像符号化装置の構成例を示すブロック図である。図１に示す映像符号化装置１は、符号化部１０と、符号化モード候補導出部３０と、コスト最適化部４０と、劣化画像生成部５０と、符号量調整部６０と、符号化結果格納部７０と、を備える。
【0020】
映像符号化装置１は、入力映像を符号化し、符号化結果であるビットストリームを外部に出力する。ＨＥＶＣ，ＶＶＣなどの映像符号化方式では、入力映像をＣＴＵ（Coding Tree Unit）と呼ばれる最大ブロック単位に分割してＣＴＵごとに符号化処理を行い、ＣＴＵ内のＣＵ（Coding Unit）分割形状や、ＣＵごとの予測モード、変換モードなどを順次決定する。
【0021】
符号化モード候補導出部３０は、ビットレート、ＧＯＰ（Group Of Picture）構造といった入力パラメータと、これまでに選択した符号化モードとに応じて、処理対象のＣＴＵ及びその内部のＣＵに対する１以上の符号化モード候補を決定する。符号化モードは、符号化ツール及びパラメータ（イントラ予測のＤＣ予測モードなど）の組み合わせである。符号化モード候補導出部３０は、任意の既知の手法を適用することができ、例えばＶＶＣの参照ソフトウェアＶＴＭの内部処理と同様に、多数の符号化モードから候補となる少数のモードを決定（枝刈り）する。そして、符号化モード候補導出部３０は、決定した符号化モード候補を符号化部１０に出力する。
【0022】
符号化部１０は、入力映像に対して、入力パラメータと、符号化モード候補導出部３０により決定された符号化モード候補を適用して、符号化処理を行う。そして、符号化部１０は、符号化結果をコスト最適化部４０及び符号化結果格納部７０に出力するとともに、局部復号画像をコスト最適化部４０に出力する。符号化部１０の詳細については後述する。
【0023】
コスト最適化部４０は、複数の符号化モードのうち、符号化部１０の符号化コストを最適化する符号化モード（以下、「最適符号化モード」という。）を決定する。そして、コスト最適化部４０は、最適符号化モードを符号化モード候補導出部３０及び符号化結果格納部７０に出力する。図１に示すように、コスト最適化部４０は、符号化歪算出部４１と、符号量算出部４２と、符号化モード決定部４３と、を備える。
【0024】
符号化歪算出部４１は、入力映像と、符号化部１０から入力した局部復号画像とを比較して、符号化歪Ｄを算出する。そして、符号化歪算出部４１は、符号化歪Ｄを符号化モード決定部４３に出力する。符号化歪Ｄを表す評価値は、本実施形態では二乗誤差和ＳＳＥとするが、これに限られるものではなく、絶対値誤差和ＳＡＤ（Sum of Absolute Difference）、アダマール変換絶対値誤差和ＳＡＴＤ（Sum of Absolute Transformed Difference）などでもよい。
【0025】
符号量算出部４２は、符号化部１０から入力した符号化結果の符号量Ｒを算出する。そして、符号量算出部４２は、符号量Ｒを符号化モード決定部４３に出力する。
【0026】
本実施形態では、コスト関数を式（４）で定義し、ラグランジュ乗数λに対するスケーリング係数ａを調整することで、主観品質を向上させた効率の良いＨＤＲ／広色域映像符号化を行う。なお、本実施形態では、スケーリング係数ａをＣＴＵ（１２８×１２８画素に設定されることが多い）ごとに設定するが、６４×６４画素、３２×３２画素など任意のサイズのブロックごとに設定するようにしてもよい。
【0027】
Ｊ＝Ｄ＋ａλＲ （４）
【0028】
符号化モード決定部４３は、符号量調整部６０から入力したスケーリング係数ａを用いて式（４）に示すコストＪを計算し、コストＪが最小となる最適符号化モードを決定する。そして、符号化モード決定部４３は、決定した最適符号化モードを符号化モード候補導出部３０及び符号化結果格納部７０に出力する。
【0029】
符号化結果格納部７０は、符号化モード決定部４３により決定された最適符号化モードを用いて符号化部１０により符号化された符号化結果を、映像符号化装置１の外部に出力する。該符号化結果は、図示しない復号装置により復号される。
【0030】
劣化画像生成部５０は、入力映像に対してフィルタ処理又は符号化処理を施して、入力映像の１フレームごとに原画像ｈから劣化画像ｆを生成する。フィルタ処理には、ガウシアンフィルタなどの平滑化フィルタを用いてよい。符号化処理には、ＶＶＣ，ＨＥＶＣなどの符号化方式を用いてよい。そして、劣化画像生成部５０は、生成した劣化画像ｆを符号量調整部６０に出力する。
【0031】
符号量調整部６０は、劣化画像ｆのブロックごとの劣化度の推定値（第１推定値）、及び劣化画像ｆのブロックごとの符号量の推定値（第２推定値）を求め、第１推定値を大きさ順に並べ替えた順位（第１順位）と第２推定値を大きさ順に並べ替えた順位（第２順位）の差に応じて、入力映像の符号化対象部分（原画像）に対する符号量を調整する。図１に示すように、符号量調整部６０は、劣化度推定部６１と、符号量推定部６２と、スケーリング係数決定部６３と、を備える。
【0032】
劣化度推定部６１は、輝度信号及び色信号から指標値を算出するＨＤＲ／広色域映像用画質指標（第１画質指標Ｖｃ）を用いて、原画像ｈ及び劣化画像ｆを比較して、劣化画像ｆのブロックごとの劣化度の推定値を求める。第１画質指標Ｖｃは、輝度信号及び色信号を考慮して画質を評価する指標であればよく、例えば所定の関数であってもよいし、機械学習済みのモデルであってもよいし、非特許文献３に記載の指標であってもよい。第１画質指標Ｖｃに画像を入力すると、劣化度の推定値が出力される。
【0033】
符号量推定部６２は、劣化画像ｆのブロックごとの符号量の推定値を求める。劣化画像生成部５０にて劣化画像ｆを符号化処理により生成した場合には、「符号量の推定値」とは、実際の符号量であってもよい。本実施形態では、輝度信号のみから指標値を算出する画質指標（第２画質指標Ｖ）を用いて、原画像ｈ及び劣化画像ｆを比較して、劣化画像ｆのブロックごとの符号量の推定値を求める。第２画質指標Ｖは、輝度信号のみを考慮した画質指標であり、輝度信号のみからなる画像を用いて第１画質指標Ｖｃと同様に求めた値としてもよい。例えば、第１画質指標Ｖｃの入力映像の形式がＢＴ．２１００のＲＧＢコンポーネントである場合、画像ｆ，ｇｉ，ｈのＲＧＢをＲ＝Ｇ＝Ｂ＝０．２６２７×Ｒ＋０．６７８０×Ｇ＋０．０５９３×Ｂと変換して入力することで、第２画質指標Ｖを算出することができる。
【0034】
図２は、劣化度推定部６１及び符号量推定部６２の処理を説明する図である。劣化度推定部６１及び符号量推定部６２は、図２に示すように、原画像ｈを量子化パラメータＱＰ＝ＱＰｄとして先行符号化した符号化画像ｆ、及び原画像ｈから、合成画像ｇｉを生成する。ここで、合成画像ｇｉは、符号化画像ｆのｉ番目のＣＴＵを原画像ｈのｉ番目のＣＴＵに置き換えたものである。
【0035】
劣化度推定部６１は、符号化画像ｆ、原画像ｈ、及び合成画像ｇｉを使って、次式（５）に示すように、第１画質指標Ｖｃの各ブロックの変化量を第１推定値ΔＶｃｉとして算出する。第１画質指標Ｖｃは輝度信号及び色信号を考慮して画質を評価するため、主観画質に近くなる。そのため、第１推定値ΔＶｃｉは、ｉ番目のＣＴＵにおける歪（コスト関数のＤに相当）の推定量を示す。
【0036】
ΔＶｃｉ＝Ｖｃ（ｈ，ｇｉ）－Ｖｃ（ｈ，ｆ） （５）
【0037】
符号量推定部６２は、符号化画像ｆ、原画像ｈ、及び合成画像ｇｉを使って、次式（６）に示すように、第２画質指標Ｖの各ブロックの変化量を第２推定値ΔＶｉとして算出する。第２推定値ΔＶｉは、ｉ番目のＣＴＵにおける符号量（コスト関数のＲに相当）の推定量を示す。
【0038】
ΔＶｉ＝Ｖ（ｈ，ｇｉ）－Ｖ（ｈ，ｆ） （６）
【0039】
図３に、一例として、ＶＴＭを用いてＨＤＲ／広色域原画像Ｈを量子化パラメータＱＰ＝３７で符号化した符号化画像ＦのＣＴＵごとの符号量の大小関係を示す。ＶＴＭでは輝度信号を重視したＲＤ最適化が行われる。画像のサイズは１９２０×１０８０画像であり、ＣＴＵのサイズは１２８×１２８画素である。図４に、上記原画像Ｈ及び符号化画像Ｆから算出した第１推定値ΔＶｃｉの大小関係を示す。図５に、上記原画像Ｈ及び符号化画像Ｆからから算出した第２推定値ΔＶｉの大小関係を示す。図３，４，５において、値の大きいブロックを太い枠で示し、値の小さいブロックを細い枠で示す。さらに、太い枠で示すブロックにおいては斜線の本数が多いほど値が大きいことを示し、細い枠で示すブロックにおいてはドットの数が多いほど値が大きいことを示す。図３，４，５により、第１推定値ΔＶｃｉと符号量の大小は相関が高くないが、第２推定値ΔＶｉと符号量の大小は相関が高いことが分かる。この傾向は、図３で使用された画像に限られるものではなく、複数の画像により確かめられた。
【0040】
スケーリング係数決定部６３は、第１推定値ΔＶｃｉを大きさ順に並べ替えた順位（第１順位）と第２推定値ΔＶｉを大きさ順に並べ替えた順位（第２順位）を求めて比較する。スケーリング係数決定部６３は、符号化対象部分のブロックにおいて、第１順位と第２順位の差に応じて、該符号化対象に対する符号量が大きく又は小さくなるように調整する。
【0041】
一般に、主観的な劣化が大きい部分の符号量を大きくし、逆に主観的な劣化が小さい部分の符号量を小さくすることで、主観品質が高くかつ効率が良い符号化を行うことができる。このことから、スケーリング係数決定部６３は、画面内の合計Ｎ個のブロックについて、ブロックごとの第１推定値ΔＶｃｉ及び第２推定値ΔＶｉを、降順又は昇順に並び替え、順位の差が大きいブロックに対しては、式（４）に示すスケーリング係数ａを変更する。なお、図３，４，５に示す例では、ブロック数Ｎ＝１５×９＝１３５であり、図４，５について１～１３５の順位を求める。
【0042】
（符号量調整方法）
次に、スケーリング係数決定部６３の処理を、図６及び図７を参照して説明する。図６は、スケーリング係数決定部６３による符号量調整方法の一例を示すフローチャートである。図７は、ブロック数Ｎ＝１２である場合のスケーリング係数決定部６３の処理を説明する図である。
次に、スケーリング係数決定部６３の処理を、図６及び図７を参照して説明する。図６は、スケーリング係数決定部６３による符号量調整方法の一例を示すフローチャートである。図７は、ブロック数Ｎ＝１２である場合のスケーリング係数決定部６３の処理を説明する図である。
【0043】
ステップＳ１０１では、ブロックごとに、第１推定値ΔＶｃｉ及び第２推定値ΔＶｉを計算する。
【0044】
ステップＳ１０２では、第１推定値ΔＶｃｉを降順（歪が大きい順）に並べた際の第１順位Ｏ１ｉと、第２推定値ΔＶｉを降順（符号量が大きい順）に並べた際の第２順位Ｏ２ｉを求める。図７（ａ）はＯ１ｉを示し、図７（ｂ）はＯ２ｉを示し、図７（ｃ）はＯ１ｉ－Ｏ２ｉを示す。
【0045】
映像符号化においては、主観的な歪が大きい部分ほど符号量が割当てられるようになっていることが望ましいため、Ｏ１ｉ－Ｏ２ｉ＝０となることが理想である。そこで、スケーリング係数決定部６３は、順位の差が大きい場合には、理想的な状態により近くなるように、式（４）に示すスケーリング係数ａを変更する。本実施形態では、順位の差が大きいとは、合計Ｎ個のブロックがある場合に、式（７）に示す閾値Ｔ以上の差があることと定義する。式（７）の右辺は天井関数であり、Ｎ／２以上の最小の整数を意味する。例えばＮ＝１２の場合にはＴ＝６となる。なお、本実施形態では順位の差の閾値は１つであるが、順位の差の閾値を複数設けて段階的にスケーリング係数ａの値を大きく又は小さくするようにしてもよい。
【0046】
【数2】
【0047】
ステップＳ１０３では、次式（８）を満たすか否かを判定する。ステップＳ１０３がＹｅｓである場合には処理をステップＳ１０４に進め、ステップＳ１０３がＮｏである場合には処理をステップＳ１０５に進める。図７に示す例では、ブロックαが式（８）を満たす。
【0048】
【数3】
【0049】
式（８）を満たす場合は、第１順位Ｏ１ｉが大きく（第１推定値ΔＶｃｉが小さく）、第２順位Ｏ２ｉが小さい（第２推定値ΔＶｉが大きい）ので、主観的な歪が小さい部分に符号量が大きく割当てられていることを意味する。そこでこれを是正するために、ステップＳ１０４では、当該ＣＴＵのスケーリング係数ａを１よりも大きい値（例えば、１．２）に決定する。
【0050】
ステップＳ１０５では、次式（９）を満たすか否かを判定する。ステップＳ１０５がＹｅｓである場合には処理をステップＳ１０６に進め、ステップＳ１０５がＮｏである場合には処理をステップＳ１０７に進める。図７に示す例では、ブロックβが式（９）を満たす。
【0051】
【数4】
【0052】
式（９）を満たす場合は、第１順位Ｏ１ｉが小さく（第１推定値ΔＶｃｉが大きく）、第２順位Ｏ２ｉが大きい（第２推定値ΔＶｉが小さい）ので、主観的な歪が大きい部分に符号量が小さく割当てられていることを意味する。そこでこれを是正するために、ステップＳ１０６では、当該ＣＴＵのスケーリング係数ａを１よりも小さい値（例えば、０．８）に決定する。
【0053】
ステップＳ１０７では、スケーリング係数ａを１に決定する。以上のように変更したスケーリング係数ａを使用して符号化することで、ＨＤＲ／広色域映像のような鮮やかな色彩を含む映像を圧縮する際の符号化効率を向上させることができる。
【0054】
このように、スケーリング係数決定部６３は、符号化対象部分のブロックにおいて、第１推定値ΔＶｃｉを大きい順に並べ替えた前記第１順位Ｏ１ｉが、第２推定値ΔＶｉを大きい順に並べ替えた第２順位Ｏ２ｉよりも大きいほど、符号量を小さくするように調整する（スケーリング係数ａを１よりも大きい値に決定する）。言い換えれば、スケーリング係数決定部６３は、符号化対象部分のブロックにおいて、第１推定値ΔＶｃｉを大きい順に並べ替えた第１順位Ｏ１ｉが、第２推定値ΔＶｉを大きい順に並べ替えた第２順位Ｏ２ｉよりも小さいほど、符号量を大きくするように調整する（スケーリング係数ａを１よりも小さい値に決定する）。
【0055】
なお、本実施形態では、ラグランジュ乗数λのスケーリング係数ａを変更することによって符号化効率を向上させているが、スケーリング係数決定部６３に代えて量子化パラメータ調整部を備え、量子化パラメータＱＰを変更するようにしてもよい。この場合、量子化パラメータ調整部は、符号化対象部分のブロックにおいて、第１推定値ΔＶｃｉを大きい順に並べ替えた前記第１順位Ｏ１ｉが、第２推定値ΔＶｉを大きい順に並べ替えた第２順位Ｏ２ｉよりも大きいほど、符号量を小さくするように調整する（量子化パラメータＱＰを大きくするように調整する）。言い換えれば、量子化パラメータ調整部は、符号化対象部分のブロックにおいて、第１推定値ΔＶｃｉを大きい順に並べ替えた第１順位Ｏ１ｉが、第２推定値ΔＶｉを大きい順に並べ替えた第２順位Ｏ２ｉよりも小さいほど、符号量を大きくするように調整する（量子化パラメータＱＰを小さくするように調整する）。
【0056】
（符号化部）
次に、符号化部１０の詳細について説明する。図８は、符号化部１０の構成例を示すブロック図である。図８に示す符号化部１０は、ブロック分割部１１と、減算部１２と、変換部１３と、量子化部１４と、逆量子化部１５と、逆変換部１６と、加算部１７と、記憶部１８と、予測部１９と、エントロピー符号化部２０と、を備える。
次に、符号化部１０の詳細について説明する。図８は、符号化部１０の構成例を示すブロック図である。図８に示す符号化部１０は、ブロック分割部１１と、減算部１２と、変換部１３と、量子化部１４と、逆量子化部１５と、逆変換部１６と、加算部１７と、記憶部１８と、予測部１９と、エントロピー符号化部２０と、を備える。
【0057】
ブロック分割部１１は、入力映像のフレームをＣＴＵ，ＣＵといった符号化処理を行うブロック単位に分割したブロック画像を生成し、減算部１２及び予測部１９に出力する。
【0058】
減算部１２は、ブロック分割部１１から入力したブロック画像の各画素値から、後述する予測部１９から入力した予測ブロック画像の各画素値を減算して、ブロック画像と予測ブロック画像との差を示す残差ブロック画像を生成し、変換部１３に出力する。
【0059】
変換部１３は、減算部１２から入力した残差ブロック画像に対して、直交変換などの変換処理を行って変換係数を算出し、量子化部１４に出力する。
【0060】
量子化部１４は、変換部１３から入力した変換係数を、量子化パラメータＱＰに対応する量子化ステップで除算して量子化することにより量子化係数を生成し、逆量子化部１５及びエントロピー符号化部２０に出力する。量子化部１４により、データ量の削減が行われる。
【0061】
逆量子化部１５は、量子化部１４から入力した量子化係数に対して、量子化ステップを乗ずることにより変換係数を復元し、逆変換部１６に出力する。
【0062】
逆変換部１６は、逆量子化部１５から入力した変換係数に対して、逆変換処理（変換部１３で行った変換を元に戻す処理）を行って残差ブロック画像を復元し、加算部１７に出力する。例えば、変換部１３が離散コサイン変換を行った場合には、逆変換部１６は逆離散コサイン変換を行う。
【0063】
加算部１７は、逆変換部１６から入力した残差ブロック画像と、予測部１９から入力した予測画像とを加算し、局部復号画像として記憶部１８、及びコスト最適化部４０の符号化歪算出部４１に出力する。
【0064】
このように、符号化部１０は、量子化係数に対して量子化ステップを乗じて変換係数を復元し、該変換係数に対して逆変換処理を行って残差ブロック画像を復元し、該残差ブロック画像とイントラ予測画像又は動き補償予測画像とを加算して局部復号画像を生成する。なお、符号化部１０は、加算部１７が出力する局部復号画像に対してデブロッキングフィルタによるフィルタ処理などの後処理を行ってから、記憶部１８に出力してもよい。
【0065】
予測部１９は、イントラ予測（画面内予測）、又はインター予測（画面間予測、動き補償予測）を行う。イントラ予測では、記憶部１８に記憶された局部復号画像に対して、イントラ予測モードに従ってイントラ予測したイントラ予測画像を生成する。インター予測では、記憶部１８に記憶された局部復号画像に対して、動きベクトルに従って動き補償予測した動き補償予測画像を生成する。予測部１９は、イントラ予測画像と動き補償予測画像とを切替えて予測ブロック画像とし、減算部１２及び加算部１７に出力する。予測部１９は、予測処理に用いられた予測パラメータ（イントラ予測モード及び動きベクトル情報）をエントロピー符号化部２０に出力する。
【0066】
エントロピー符号化部２０は、量子化部１４から入力した量子化係数、及び符号化処理に用いられたブロックサイズ情報、変換情報、予測パラメータなどのパラメータに対してエントロピー符号化を行い、データ圧縮を行って符号化結果であるビットストリームを生成し、コスト最適化部４０の符号量算出部４２、及び符号化結果格納部７０に出力する。
【0067】
（実験結果）
表１に、本実施形態に係る映像符号化装置１をあるＨＤＲ／広色域画像に適用した実験結果を示す。画質指標Ｖｃは原画像に近いほど値が大きくなり、最大値が１の指標である。映像符号化装置１により符号化を行うことで、先行符号化に比べて符号量を小さくしつつ、客観評価値を向上させる効果があることを確認できた。
表１に、本実施形態に係る映像符号化装置１をあるＨＤＲ／広色域画像に適用した実験結果を示す。画質指標Ｖｃは原画像に近いほど値が大きくなり、最大値が１の指標である。映像符号化装置１により符号化を行うことで、先行符号化に比べて符号量を小さくしつつ、客観評価値を向上させる効果があることを確認できた。
【0068】
【表1】
【0069】
このように、本実施形態に係る映像符号化装置１は、コスト関数の符号化歪ＤとレートＲの関係を画質指標で推定することにより、ＨＤＲ／広色域映像のような鮮やかな色彩を含む映像を圧縮する際の主観品質を向上させることが可能となる。
【0070】
（プログラム）
上記の映像符号化装置１として機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
上記の映像符号化装置１として機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
【0071】
コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、ＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースである。
【0072】
プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0073】
例えば、コンピュータを上記の映像符号化装置１として機能させるためのプログラムは、原画像を劣化させた劣化画像を生成する劣化画像生成ステップと、劣化画像のブロックごとの劣化度の第１推定値、及び前記劣化画像のブロックごとの符号量の第２推定値を求め、第１推定値を大きさ順に並べ替えた第１順位と、第２推定値を大きさ順に並べ替えた第２順位の差に応じて、符号化対象部分に対する符号量を調整する符号量調整ステップと、をコンピュータに実行させ、符号量調整ステップは、輝度信号及び色信号から指標値を算出する第１画質指標を用いて、原画像及び劣化画像を比較して、第１推定値を求める。
【0074】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【0075】
１ 映像符号化装置
１０ 符号化部
１１ ブロック分割部
１２ 減算部
１３ 変換部
１４ 量子化部
１５ 逆量子化部
１６ 逆変換部
１７ 加算部
１８ 記憶部
１９ 予測部
２０ エントロピー符号化部
３０ 符号化モード候補導出部
４０ コスト最適化部
４１ 符号化歪算出部
４２ 符号量算出部
４３ 符号化モード決定部
５０ 劣化画像生成部
６０ 符号量調整部
６１ 劣化度推定部
６２ 符号量推定部
６３ スケーリング係数決定部
７０ 符号化結果格納部
１０ 符号化部
１１ ブロック分割部
１２ 減算部
１３ 変換部
１４ 量子化部
１５ 逆量子化部
１６ 逆変換部
１７ 加算部
１８ 記憶部
１９ 予測部
２０ エントロピー符号化部
３０ 符号化モード候補導出部
４０ コスト最適化部
４１ 符号化歪算出部
４２ 符号量算出部
４３ 符号化モード決定部
５０ 劣化画像生成部
６０ 符号量調整部
６１ 劣化度推定部
６２ 符号量推定部
６３ スケーリング係数決定部
７０ 符号化結果格納部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】