特開 2024-22374 符号化装置、復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024022374

(43)【公開日】2024-02-16

(54)【発明の名称】符号化装置、復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/149 20140101AFI20240208BHJP

   H04N 19/115 20140101ALI20240208BHJP

   H04N 19/126 20140101ALI20240208BHJP

   H04N 19/154 20140101ALI20240208BHJP

【ＦＩ】

H04N19/149

H04N19/115

H04N19/126

H04N19/154

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022125917

(22)【出願日】2022-08-05

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り １．近藤 雄一・杉藤 泰子・市ヶ谷 敦郎らが、２０２１年８月１２日付で、ＦＩＴ２０２１ 第２０回情報科学技術フォーラム 講演論文集において公開。 ２．近藤 雄一・杉藤 泰子・市ヶ谷 敦郎らが、２０２１年８月２７日付で、ＦＩＴ２０２１ 第２０回情報科学技術フォーラムにおいて公開。 ３．ｈｔｔｐｓ：／／ｗｗｗ．ｎｈｋ．ｏｒ．ｊｐ／ｓｔｒｌ／ｐｕｂｌｉｃａ／ｇｉｋｅｎ＿ｄａｙｏｒｉ／２０５／４．ｈｔｍｌ 近藤 雄一が、２０２２年４月１日付で、技研だより２０２２年４月号において公開。

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】近藤 雄一

(72)【発明者】

【氏名】日下部 裕一

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159TA46

5C159TA60

5C159TB08

5C159TC08

5C159TC19

(57)【要約】

【課題】映像を所要ビットレートで符号化する際に、計算処理を軽量化しつつ、画質及び符号化効率を向上させる。
【解決手段】符号化装置１は、映像フレームに割り当てられたビットレートと第１ＲＤ曲線のパラメータとを用いて、コスト関数を最小化する第１ラグランジュ乗数及び前記ブロックごとの割当ビットレートを算出するビット割当部１０１と、ブロックごとの割当ビットレートと第２ＲＤ曲線のパラメータとから算出される第２ラグランジュ乗数を用いて、ブロックごとの量子化パラメータを算出する量子化パラメータ算出部１０２と、第２ラグランジュ乗数に基づいて、コスト関数を最小化する符号化モードを決定するＲＤ最適化部１０３と、を備える。第１ＲＤ曲線は、対数関数又は指数関数を用いて近似される。
【選択図】図２

【特許請求の範囲】

【請求項1】

映像フレームを符号化対象領域に分割してブロックごとに符号化を行い、ビットレートと符号化歪みの関係を近似するＲＤ曲線を用いてＲＤ最適化処理を行う符号化装置であって、
前記映像フレームに割り当てられたビットレートと第１ＲＤ曲線のパラメータとを用いて、コスト関数を最小化する第１ラグランジュ乗数及び前記ブロックごとの割当ビットレートを算出するビット割当部と、
前記ブロックごとの割当ビットレートと第２ＲＤ曲線のパラメータとから算出される第２ラグランジュ乗数を用いて、前記ブロックごとの量子化パラメータを算出する量子化パラメータ算出部と、
前記第２ラグランジュ乗数に基づいて、コスト関数を最小化する符号化モードを決定するＲＤ最適化部と、を備え、
前記第１ＲＤ曲線は、対数関数又は指数関数を用いて近似される、符号化装置。

【請求項2】

前記ビット割当部は、ブロック単位の符号化が完了するごとに、前記映像フレーム内の未符号化ブロック全体に割り当てられたビットレートと前記第１ＲＤ曲線のパラメータとを用いて、前記第１ラグランジュ乗数及び前記ブロックごとの割当ビットレートを算出する、請求項１に記載の符号化装置。

【請求項3】

前記ビット割当部は、符号化済みブロックのビットレートと想定していたビットレートとの差が閾値を超えた場合に、前記映像フレーム内の未符号化ブロック全体に割り当てられたビットレートと第１ＲＤ曲線のパラメータとを用いて、前記第１ラグランジュ乗数及び前記ブロックごとの割当ビットレートを算出する、請求項１に記載の符号化装置。

【請求項4】

請求項１から３のいずれか一項に記載の符号化装置の前記量子化パラメータ算出部によって算出された前記量子化パラメータを取得し、
該量子化パラメータを用いて、前記符号化装置により符号化されたデータを復号する、復号装置。

【請求項5】

コンピュータを、請求項１に記載の符号化装置として機能させるためのプログラム。

【請求項6】

コンピュータを、請求項４に記載の復号装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化装置、復号装置、及びプログラムに関する。

【背景技術】

【0002】

符号化制御とは、用途や目的に見合った映像符号化を実現するための制御技術である。符号化制御には、ビットレート制約条件下で符号化品質を最大化するような処理を行うレート制御や、遅延を最小限に抑える遅延制御などがある。特にレート制御は、高画質で安定的な放送・通信サービスを行うにあたって重要な役割を果たしている。

【0003】

レート制御は、フレームに割り当てられた目標ビットレートＲ_ｔで符号化できるように、ビットレートをＧＯＰ（Group Of Picture）単位・フレーム単位・ブロック単位で割り当てるビット割当処理ＯＢＡ(Optimal Bit Allocation)と、割り当てたビットレートの範囲内で画質を最も高品質化する（すなわち、符号化歪みを最小化する）符号化モードの選択を行うＲＤ最適化処理ＲＤＯ(Rate Distortion Optimization)の２つの処理によって実現される。

【0004】

ここでは、フレーム単位のビット割り当ては済んでおり、フレーム内の各ブロックにビット割り当てを行う場合を例に説明する。ビット割当処理では、消費したビットレートＲ_ｃを監視しながら、フレームに割り当てられた目標ビットレートＲ_ｔを超えないようにビットを割り当てる。図４は、斜線を付した７ブロックが符号化を終了し、残りの５ブロックが符号化前の状態を示している。最も簡単なビット割当処理手法の１つは、消費ビットレートＲ_ｃから利用可能なビットレートＲ_ａ（Ｒ_ａ＝Ｒ_ｔ－Ｒ_ｃ）を導出し、Ｒ_ａを残りのブロックへ一定の割合で割り当てる方法である。図４に示す例では、残りの５ブロックに対しする1ブロック当たりの割当ビットは、Ｒ_ａ／５となる。

【0005】

ＲＤ最適化処理は、ビット割当処理によって割り当てられたビットレートで符号化する際に、符号化歪みが最小となる符号化モードを選択することが目的である。近年のＨＥＶＣ（High Efficiency Video Coding），ＶＶＣ（Versatile Video Coding）などの映像符号化規格の参照ソフトウェアＨＭ（HEVC Test Model），ＶＴＭ（VVC Test Model）では、符号量Ｒ、符号化歪みＤ、及びラグランジュ乗数λ_ＲＤＯから計算されるコスト関数Ｊ＝Ｄ＋λ_ＲＤＯＲを最小化するように符号化モードを選択することでこれを実現する（例えば、非特許文献１参照）。ただし、ラグランジュ乗数λ_ＲＤＯは、符号化映像のＲＤ曲線と割当ビットレートを用いて算出される値である。ＲＤ曲線とは、映像符号化を行った際のビットレートＲと符号化歪みＤの関係を近似する曲線であり、ＨＭ，ＶＴＭでは、式（１）に示す双曲線（hyperbolic）関数を用いている。

【0006】

【数1】

【0007】

ここで、ｃ，ｋは映像に応じて異なるパラメータであり、符号化処理の過程で、符号化済みのブロックの消費ビットレートＲと符号化歪みＤを用いて求めることができる。コスト関数Ｊを最小化するとき、ＪをＲで偏微分した∂J／∂Ｒは０となるので、λ_ＲＤＯは、式（２）により求めることができる。

【0008】

【数2】

【0009】

また、非特許文献２には、テイラー展開を用いた近似や、近似で発生する誤差の削減処理などを行うことでビット割当処理を実現することが開示されている。

【先行技術文献】

【非特許文献】

【0010】

【非特許文献1】大久保榮、「Ｈ２６５/ＨＥＶＣ教科書」、初版、インプレスジャパン、２０１３年１０月２１日発行

【非特許文献2】Li et al., “Optimal Bit Allocation for CTU Level Rate Control in HEVC,” IEEE Trans. Circuits Syst. Video Technol., 2017

【発明の概要】

【発明が解決しようとする課題】

【0011】

前述のビット割当処理は、ビットを各ブロックで均等に割り当てているが、ブロックごとに割り当てるビットを制御することで画面全体の画質を改善することが可能である。以下にその手法を述べる。

【0012】

ビット割当処理の目的は、画面全体の符号化歪みＤを最小化することである。ただし、すべてのブロックのビットレートの和は、そのフレームに割り当てられたビットレートＲ_ｔを超えてはいけない。これを数式で表現すると、式（３）となる。ここで、添え字ｉはブロック番号を表しておりｄ_ｉ，ｒ_ｉはそれぞれｉ番目のブロックの符号化歪みとビットレートを表す。また、Ｍは画面全体のブロック数を表す。

【0013】

【数3】

【0014】

式（３）を満たすようなｒ_ｉを求めたい。式（３）はラグランジュ乗数λ_ＯＢＡを用いて、式（４）に書き換えられる。

【0015】

【数4】

【0016】

双曲線モデルのＲＤ曲線は、式（５）で表される。ｃ_ｉ，ｋ_ｉ（１≦ｉ≦Ｍ）は、符号化済みフレームのブロックから式（１），（２）を用いて算出される推定値である。

【0017】

【数5】

【0018】

コスト関数Ｊを最小化するときｒ_ｉによる偏微分は０なので、式（６）が成立する。

【0019】

【数6】

【0020】

であり、ｒ_ｉの総和がフレームに割り当てられたビットレートＲ_ｔとなることから、式（７）が成り立たなければならない。

【0021】

【数7】

【0022】

式(７)を解いてλ_ＯＢＡが求まると、式（６）で求まるｒ_ｉによりi番目のブロックのビットレートを決定することができる。しかし、ｃ_ｉ，ｋ_ｉはブロックごとに値が異なるため、式（７）を解析的に解くことはできない。

【0023】

また、非特許文献２では、式（７）を解くためにテイラー展開を用いた近似や、近似で発生する誤差の削減処理などを行うことでビット割当処理を実現しているが、処理が複雑化するという問題点があった。

【0024】

かかる事情に鑑みてなされた本発明の目的は、映像を所要ビットレートで符号化する際に、計算処理を軽量化しつつ、画質及び符号化効率を向上させることが可能な符号化装置、復号装置、及びプログラムを提供することにある。

【課題を解決するための手段】

【0025】

上記課題を解決するため、一実施形態に係る符号化装置は、映像フレームを符号化対象領域に分割してブロックごとに符号化を行い、ビットレートと符号化歪みの関係を近似するＲＤ曲線を用いてＲＤ最適化処理を行う符号化装置であって、前記映像フレームに割り当てられたビットレートと第１ＲＤ曲線のパラメータとを用いて、コスト関数を最小化する第１ラグランジュ乗数及び前記ブロックごとの割当ビットレートを算出するビット割当部と、前記ブロックごとの割当ビットレートと第２ＲＤ曲線のパラメータとから算出される第２ラグランジュ乗数を用いて、前記ブロックごとの量子化パラメータを算出する量子化パラメータ算出部と、前記第２ラグランジュ乗数に基づいて、コスト関数を最小化する符号化モードを決定するＲＤ最適化部と、を備え、前記第１ＲＤ曲線は、対数関数又は指数関数を用いて近似される。

【0026】

さらに、一実施形態において、前記ビット割当部は、ブロック単位の符号化が完了するごとに、前記映像フレーム内の未符号化ブロック全体に割り当てられたビットレートと前記第１ＲＤ曲線のパラメータとを用いて、前記第１ラグランジュ乗数及び前記ブロックごとの割当ビットレートを算出してもよい。

【0027】

さらに、一実施形態において、前記ビット割当部は、符号化済みブロックのビットレートと想定していたビットレートとの差が閾値を超えた場合に、前記映像フレーム内の未符号化ブロック全体に割り当てられたビットレートと第１ＲＤ曲線のパラメータとを用いて、前記第１ラグランジュ乗数及び前記ブロックごとの割当ビットレートを算出してもよい
。

【0028】

また、上記課題を解決するため、一実施形態に係る復号装置は、符号化装置の前記量子化パラメータ算出部によって算出された前記量子化パラメータを取得し、該量子化パラメータを用いて、前記符号化装置により符号化されたデータを復号する。

【0029】

また、一実施形態係るプログラムは、コンピュータを、上記符号化装置として機能させる。

【0030】

また、一実施形態係るプログラムは、コンピュータを、上記復号装置として機能させる。

【発明の効果】

【0031】

本発明によれば、映像を所要ビットレートで符号化する際に、計算処理を軽量化しつつ、画質及び符号化効率を向上させることが可能となる。

【図面の簡単な説明】

【0032】

【図1】一実施形態に係る符号化装置の構成例を示すブロック図である。

【図2】一実施形態に係る符号化装置におけるレート制御部の構成例を示すブロック図である。

【図3】一実施形態に係る復号装置の構成例を示すブロック図である。

【図4】従来のブロックごとにビット割り当てを行う例を示す図である。

【発明を実施するための形態】

【0033】

以下、一実施形態について、図面を参照して詳細に説明する。

【0034】

（符号化装置）
図１に、本発明の一実施形態に係る符号化装置の構成例を示す。図１に示す符号化装置１は、レート制御部１０と、ブロック分割部１１と、減算部１２と、変換部１３と、量子化部１４と、逆量子化部１５と、逆変換部１６と、加算部１７と、記憶部１８と、予測部１９と、エントロピー符号化部２０と、符号化データ記憶・出力部２１と、を備える。

【0035】

符号化装置１は、映像フレームを符号化対象領域に分割して符号化ブロック（以下、単に「ブロック」という。）ごとに符号化を行い、ビットレートＲと符号化歪みＤの関係を近似するＲＤ曲線を用いてＲＤ最適化処理を行う。その際、一定のビットレート以下となるように、ブロックごとに量子化パラメータを決定して符号化を行う。

【0036】

ブロック分割部１１は、映像フレームをブロック単位の符号化対象領域へ分割したブロック画像を生成し、減算部１２及び予測部１９に出力する。

【0037】

減算部１２は、ブロック分割部１１から入力したブロック画像の各画素値から、後述する予測部１９から入力した予測ブロック画像の各画素値を減算して、ブロック画像と予測ブロック画像との差を示す残差ブロック画像を生成し、変換部１３に出力する。

【0038】

変換部１３は、減算部１２から入力した残差ブロック画像に対して、直交変換などの変換処理を行って変換係数を算出し、量子化部１４に出力する。

【0039】

レート制御部１０は、残差ブロック画像の量子化を行う際の量子化パラメータを適切に決定することにより、レート制御を行う。レート制御部１０の処理の詳細については後述する。レート制御部１０は、決定した量子化パラメータを量子化部１４及びエントロピー
符号化部２０に出力する。

【0040】

量子化部１４は、変換部１３から入力した変換係数を、レート制御部１０から入力した量子化パラメータに対応する量子化ステップ（例えば、量子化パラメータと量子化ステップの対数が比例するように対応付けられる。）で除算して量子化することにより量子化係数を生成し、逆量子化部１５及びエントロピー符号化部２０に出力する。量子化部１４により、データ量の削減が行われる。

【0041】

逆量子化部１５は、量子化部１４から入力した量子化係数に対して、量子化ステップを乗ずることにより変換係数を復元し、逆変換部１６に出力する。

【0042】

逆変換部１６は、逆量子化部１５から入力した変換係数に対して、逆変換処理（変換部１３で行った変換を元に戻す処理）を行って残差ブロック画像を復元し、加算部１７に出力する。例えば、変換部１３が離散コサイン変換を行った場合には、逆変換部１６は逆離散コサイン変換を行う。

【0043】

加算部１７は、逆変換部１６から入力した残差ブロック画像と、予測部１９から入力した予測画像とを加算し、符号化画像として記憶部１８に出力する。

【0044】

逆量子化部１５、逆変換部１６、及び加算部１７により、符号化画像生成部（局所復号部）を構成する。すなわち、符号化画像生成部は、量子化係数に対して量子化ステップを乗じて変換係数を復元し、該変換係数に対して逆変換処理を行って残差ブロック画像を復元し、該残差ブロック画像とイントラ予測画像又は動き補償予測画像とを加算して符号化画像を生成する。

【0045】

符号化装置１は、加算部１７が出力する符号化画像に対してデブロッキングフィルタによるフィルタ処理などの後処理を行ってから、記憶部１８に出力してもよい。

【0046】

記憶部１８は、加算部１７から入力した符号化画像を記憶する。

【0047】

予測部１９は、イントラ予測（画面内予測）、又はインター予測（画面間予測、動き補償予測）を行う。イントラ予測では、記憶部１８に記憶された符号化画像に対して、イントラ予測モードに従ってイントラ予測したイントラ予測画像を生成する。インター予測では、記憶部１８に記憶された符号化画像に対して、動きベクトルに従って動き補償予測した動き補償予測画像を生成する。予測部１９は、イントラ予測画像と動き補償予測画像とを切替えて予測ブロック画像とし、減算部１２及び加算部１７に出力する。予測部１９は、予測処理に用いられた予測パラメータ（イントラ予測モード及び動きベクトル情報）をエントロピー符号化部２０に出力する。

【0048】

エントロピー符号化部２０は、量子化部１４から入力した量子化係数、レート制御部１０から入力した量子化パラメータ、及び予測部１９から入力した予測パラメータに対してエントロピー符号化を行い、データ圧縮を行って符号化データを生成し、符号化データ記憶・出力部２１に出力する。エントロピー符号化は、０次指数ゴロム符号やコンテキスト適応型２値算術符号（ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）など、任意のエントロピー符号化方式を用いることができる。

【0049】

符号化データ記憶・出力部２１は、レート制御部１０により決定された最適符号化モードを用いて符号化された符号化データを、符号化装置１の外部に出力する。

【0050】

（レート制御部）
次に、レート制御部１０の処理について説明する。図２に、レート制御部１０の構成例を示す。図２に示すレート制御部１０は、ビット割当部１０１と、量子化パラメータ算出部１０２と、ＲＤ最適化部１０３と、を備える。以下、ラグランジュ乗数λ_ＯＢＡを第１ラグランジュ乗数と称し、ラグランジュ乗数λ_ＲＤＯを第２ラグランジュ乗数と称する。また、ビット割当部１０１で使用するＲＤ曲線を第１ＲＤ曲線と称し、量子化パラメータ算出部１０２で使用するＲＤ曲線を第２ＲＤ曲線と称する。

【0051】

ビット割当部１０１は、フレームに割り当てられたビットＲ_ｔを超えないように、フレームを構成するブロックにビットを割り当てる処理を行う。ｉ番目のブロックに割り当てられたビットレート（以下、「ブロックレート」という。）をｒ_ｉ、ｉ番目のブロックの符号化歪み（以下、「ブロック歪み」という。）をｄ_ｉとし、フレーム内のブロック数をＭとする。フレーム全体の画質を最も高品質化（符号化歪みを最小化）するとき、第２ラグランジュ乗数λ_ＲＤＯを用いて、上述した式（４）を満たすようにコスト関数Ｊを最小化する予測モードを選べばよい。

【0052】

上述したように、従来の式（５）で表される双曲線モデルのＲＤ曲線を用いた場合、ブロックレートｒ_ｉを解析的に解くことができない、又は処理が複雑化する。そこで、本発明では対数関数又は指数関数を利用する。第１ＲＤ曲線をブロックレートｒ_ｉの対数関数又は指数関数を用いて近似することにより、式（４）を簡単に解くことができ、ブロックレートｒ_ｉを解析的に解くことが可能となる。

【0053】

第１ＲＤ曲線を対数関数を用いて近似する場合には、ブロック歪みｄ_ｉとブロックレートｒ_ｉの関係は式（８）で表される。

【0054】

【数8】

【0055】

第１ＲＤ曲線を指数関数を用いて近似する場合には、ブロック歪みｄ_ｉとブロックレートｒ_ｉの関係は式（９）で表される。

【0056】

【数9】

【0057】

以下では、第１ＲＤ曲線を対数関数を用いて近似する場合について説明する。ｃ’_ｉ，ｋ’_ｉ（１≦ｉ≦Ｍ）は、符号化済みフレームのブロックから式（１０），（１１）を用いて算出される。

【0058】

【数10】

【0059】

コスト関数Ｊを最小化するときブロックレートｒ_ｉによる偏微分は０になるので、式（１２）が成立する。

【0060】

【数11】

【0061】

なので、式（１３）が成立する。すると、第１ラグランジュ乗数λ_ＯＢＡは式(１４)により簡単に求めることができて、ブロックレートｒ_ｉは式(１５)により求まる。

【0062】

【数12】

【0063】

このように、ビット割当部１０１は、映像フレームに割り当てられたビットレートＲ_ｔと、符号化済みブロックから算出された第１ＲＤ曲線のパラメータとを用いて、コスト関数Ｊを最小化する第１ラグランジュ乗数λ_ＯＢＡ（式（１４）参照）、及びブロックレートｒ_ｉ（式（１５）参照）を算出する。そして、算出したブロックレートｒ_ｉを量子化パラメータ算出部１０２に出力する。ビット割当部１０１は、従来の双曲線モデルではなく、対数モデル又は指数モデルを用いることにより、符号化済みの結果から得られたc’_iを用いて、式(１５)から簡単にブロックレートｒ_ｉを決定することができ、解析的に解くことが可能となる。

【0064】

量子化パラメータ算出部１０２は、第２ＲＤ曲線として従来のＲＤ曲線を使用する場合には、式（６）にブロックレートｒ_ｉを代入することで第２ラグランジュ乗数λ_ＲＤＯを算出する。また、第２ＲＤ曲線として第１ＲＤ曲線と同じＲＤ曲線を使用する場合には、式（１２）にブロックレートｒ_ｉを代入することで第２ラグランジュ乗数λ_ＲＤＯを算出する。

【0065】

そして、量子化パラメータ算出部１０２は、式（１６）に示すように、第２ラグランジュ乗数λ_ＲＤＯに基づいて、ブロックごとに残差信号の量子化を行う際の量子化パラメータＱＰ_ｉを算出する。そして、量子化パラメータ算出部１０２は、算出した量子化パラメータＱＰ_ｉを符号化装置１の量子化部１４に出力する。また、量子化パラメータ算出部１０２は、第２ラグランジュ乗数λ_ＲＤＯ及び量子化パラメータＱＰ_ｉをＲＤ最適化部１０３に出力する。

【0066】

【数13】

【0067】

ＲＤ最適化部１０３は、量子化パラメータ算出部１０２から入力した第２ラグランジュ乗数λ_ＲＤＯ及び量子化パラメータＱＰ_ｉを用いて、コスト関数Ｊを最小化する最適符号化モードを決定する。最適符号化モードは、符号化ツール及びパラメータ（イントラ予測
のＤＣ予測モードなど）の組み合わせである。そして、ＲＤ最適化部１０３は、決定した最適符号化モードを符号化装置１の符号化データ記憶・出力部２１に出力する。なお、ＲＤ最適化で使用するｒ_ｉは、ビット割当部１０１で算出したブロックレートｒ_ｉとは異なるものである。ＲＤ最適化では、あらゆるモードで符号化を実行し、モードごとに得られるｄ_ｉとｒ_ｉの組み合わせをコスト関数Ｊ＝ｄ_ｉ＋λ_ＲＤＯ・ｒ_ｉに代入して、Ｊが最小となるモードを選択する。

【0068】

（ビット割当処理の第１の変形例）
ビット割当部１０１と量子化パラメータ算出部１０２によって、ブロックレートｒ_ｉと量子化パラメータＱＰ_ｉは一意に定まるが、実際に符号化した時に想定どおりのビットレートになるとは限らない。そこで、フレームに割り当てられた実際のビットレートＲ_ｔから大きく外れるようなことがないように、ブロック単位で割当ビット量の修正を行ってもよい。つまり、第１の変形例では、ビット割当部１０１は、ブロック単位の符号化が完了するごとに、フレーム内の未符号化ブロック全体に割り当てられたビットレートＲ_ｊと第１ＲＤ曲線のパラメータとを用いて、第１ラグランジュ乗数λ_ＯＢＡ及びブロックレートｒ_ｉを算出する。

【0069】

具体的には、ｉ番目のブロックで消費したビットをｂ_ｊとすると、ｊ番目までのブロックに対する符号化が終わった時、フレーム内の未符号化ブロック全体に割り当てられたビットレートＲ_ｊは式（１７）で表される。そこで、ビット割当部１０１は、ブロックレートｒ_ｉ（ｊ＜ｉ≦Ｍ）を式（１８）により修正する。

【0070】

【数14】

【0071】

（ビット割当処理の第２の変形例）
第１の変形例によりブロック単位でブロックレートｒ_ｉを制御すると、フレーム全体の画質が劣化する場合がある。そこで、フレーム全体の画質を考慮し、必要に応じて第１の変形例による修正を行うようにしてもよい。つまり、第２の変形例では、ビット割当部１０１は、符号化済みブロックのビットレートＲ_{ａｃｔｕａｌ}と想定していたビットレートＲ_{ｉｄｅａｌ}との差が閾値を超えた場合に、フレーム内の未符号化ブロック全体に割り当てられたビットレートＲ_ｊと第１ＲＤ曲線のパラメータとを用いて、第１ラグランジュ乗数λ_ＯＢＡ及びブロックレートｒ_ｉを算出する。

【0072】

具体的には、ｊ番目までに実際に消費したビットレートＲ_{ａｃｔｕａｌ}が想定していたビットレートＲ_{ｉｄｅａｌ}からどれだけ乖離したかを基準にして制御を行う。ビット割当部１０１は、式（１９）より、ｊ番目までに消費されるビットレートの想定値Ｒ_{ｉｄｅａｌ}を算出し、式（２０）に示すように、乖離度合いＳを(Ｒ_{ａｃｔｕａｌ}-Ｒ_{ｉｄｅａｌ})/Ｒ_{ｉｄｅａｌ}の絶対値よって算出する。ビット割当部１０１は、ブロック符号化ごとに乖離度合いＳと閾値ｓとを比較し、Ｓ＞ｓとなるブロックでのみ式（１８）で示したブロックレートｒ_ｉに修正することで、余分な制御は行わないようにすることができる。閾値ｓは任意に設定することができ、例えばs＝０．１とする。

【0073】

【数15】

【0074】

（復号装置）
次に、本発明の一実施形態に係る復号装置について説明する。図３に、本発明の一実施形態に係る復号装置の構成例を示す。図３に示す復号装置２は、エントロピー復号部３１と、逆量子化部３２と、逆変換部３３と、加算部３４と、記憶部３５と、予測部３６と、を備える。

【0075】

復号装置２は、符号化装置１から、量子化パラメータ算出部１０２によって算出された量子化パラメータＱＰ_ｉを取得し、該量子化パラメータＱＰ_ｉを用いて、符号化装置１により符号化された符号化データを復号する。

【0076】

エントロピー復号部３１は、符号化装置１が出力する符号化データを復号し、量子化パラメータＱＰ_ｉ、量子化係数、及び予測パラメータ（イントラ予測モード及び動きベクトル情報）を取得する。そして、エントロピー復号部３１は、量子化パラメータＱＰ_ｉ及び量子化係数を逆量子化部３２に出力し、予測パラメータを予測部３６に出力する。

【0077】

逆量子化部３２は、エントロピー復号部３１から量子化係数及び量子化パラメータＱＰ_ｉを入力し、量子化係数に量子化パラメータＱＰ_ｉから導出される量子化ステップを乗算してブロックごとの直交変換係数を復元し、逆変換部３３に出力する。

【0078】

逆変換部３３は、逆量子化部３２から入力した直交変換係数に対して逆変換を行って残差画像を生成し、加算部３４に出力する。

【0079】

加算部３４は、逆変換部３３から入力した残差画像と、予測部３６から入力した予測画像の各画素値を加算して復号画像を生成し、記憶部３５及び復号装置２の外部に出力する。

【0080】

復号装置２は、符号化装置１と同様に、加算部３４が出力する復号画像に対してデブロッキングフィルタによるフィルタ処理などの後処理を行ってから、記憶部３５に出力してもよい。

【0081】

記憶部３５は、加算部３４から入力した復号画像を記憶する。

【0082】

予測部３６は、イントラ予測（画面内予測）、又はインター予測（画面間予測、動き補償予測）を行う。イントラ予測では、記憶部３５に記憶された復号画像に対して、エントロピー復号部３１から入力したイントラ予測モードに従ってイントラ予測したイントラ予測画像を生成する。インター予測では、記憶部３５に記憶された復号画像に対して、エントロピー復号部３１から入力した動きベクトル情報に従って動き補償予測した動き補償予測画像を生成する。予測部３６は、イントラ予測画像と動き補償予測画像とを切替えて予測ブロック画像とし、加算部３４に出力する。

【0083】

このように、本発明は、符号化・復号方式をＨＥＶＣ，ＶＶＣなどの従来の方式から変更することなく、計算処理を軽量化しつつ、画質及び符号化効率を向上させる映像を所要ビットレートで符号化する際の画質及び符号化効率を向上させることが可能となる。

【0084】

（プログラム）
上述した符号化装置１及び復号装置２として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

【0085】

コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、ＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースであり、例えばＬＡＮ（Local Area Network）インターフェースである。

【0086】

プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0087】

例えば、コンピュータを上記の符号化装置１として機能させるためのプログラムは、映像フレームに割り当てられたビットレートと第１ＲＤ曲線のパラメータとを用いて、コスト関数を最小化する第１ラグランジュ乗数及びブロックレートｒ_ｉを算出するステップと、ブロックレートｒ_ｉと第２ＲＤ曲線のパラメータとから算出される第２ラグランジュ乗数を用いて、コスト関数を最小化する符号化モードを決定するステップと、第２ラグランジュ乗数に基づいて、ブロックごとの量子化パラメータＱＰ_ｉを算出するステップと、をコンピュータに実行させ、第１ＲＤ曲線は、対数関数又は指数関数を用いて近似される。

【0088】

また、コンピュータを上記の復号装置２として機能させるためのプログラムは、符号化装置１から、量子化パラメータ算出部１０２によって算出された量子化パラメータＱＰ_ｉを取得するステップと、該量子化パラメータＱＰ_ｉを用いて、符号化装置１により符号化されたデータを復号するステップと、をコンピュータに実行させる。

【0089】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0090】

１ 符号化装置
２ 復号装置
１０ レート制御部
１１ ブロック分割部
１２ 減算部
１３ 変換部
１４ 量子化部
１５ 逆量子化部
１６ 逆変換部
１７ 加算部
１８ 記憶部
１９ 予測部
２０ エントロピー符号化部
２１ 符号化データ記憶・出力部
３１ エントロピー復号部
３２ 逆量子化部
３３ 逆変換部
３４ 加算部
３５ 記憶部
３６ 予測部
１０１ ビット割当部
１０２ 量子化パラメータ算出部
１０３ ＲＤ最適化部

【図1】

【図2】

【図3】

【図4】