特表2024-514348 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 維沃移動通信有限公司の特許一覧

特表2024-514348ビデオ符号化方法、装置と電子機器

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-01

(54)【発明の名称】ビデオ符号化方法、装置と電子機器

(51)【国際特許分類】

H04N 19/115 20140101AFI20240325BHJP

H04N 19/14 20140101ALI20240325BHJP

H04N 19/146 20140101ALI20240325BHJP

H04N 19/172 20140101ALI20240325BHJP

H04N 19/152 20140101ALI20240325BHJP

【ＦＩ】

H04N19/115

H04N19/14

H04N19/146

H04N19/172

H04N19/152

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023564189

(86)(22)【出願日】2022-04-25

(85)【翻訳文提出日】2023-10-19

(86)【国際出願番号】 CN2022088950

(87)【国際公開番号】W WO2022228375

(87)【国際公開日】2022-11-03

(31)【優先権主張番号】202110454418.X

(32)【優先日】2021-04-26

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】517372494

【氏名又は名称】維沃移動通信有限公司

【氏名又は名称原語表記】ＶＩＶＯＭＯＢＩＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｎｏ．１，ｖｉｖｏＲｏａｄ，Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ，Ｇｕａｎｇｄｏｎｇ５２３８６３，Ｃｈｉｎａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋真二

(74)【代理人】

【識別番号】100180806

【弁理士】

【氏名又は名称】三浦剛

(74)【代理人】

【識別番号】100196601

【弁理士】

【氏名又は名称】酒井祐市

(72)【発明者】

【氏名】張勇

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA01

5C159MC11

5C159ME01

5C159PP04

5C159TA60

5C159TB04

5C159TC10

5C159TC18

5C159TC38

5C159TC41

5C159TC52

5C159TD07

5C159UA02

5C159UA05

(57)【要約】

本出願は、ビデオ符号化方法、装置と電子機器を開示し、通信技術分野に属する。この方法は、第一の比、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定することと、第二のビット数に基づいて、第一の画像を符号化することとを含み、ここで、第一の比は、第一の画像の予測符号化複雑度とＭフレームの第二の画像の実際の符号化複雑度との比であり、第一の画像は、ターゲット画像群における符号化されていない第一のフレーム画像であり、Ｍフレームの第二の画像は、ターゲット画像群におけるすでに符号化された画像であり、第一のビット数は、ターゲット画像群における残りのビット数であり、第一の数は、ターゲット画像群における符号化されていない画像の数であり、Ｍは、１よりも大きい整数である。
【選択図】図４

【特許請求の範囲】

【請求項1】

ビデオ符号化方法であって、
第一の比、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定することと、
前記第二のビット数に基づいて、前記第一の画像を符号化することとを含み、
ここで、前記第一の比は、前記第一の画像の予測符号化複雑度とＭフレームの第二の画像の実際の符号化複雑度との比であり、前記第一の画像は、ターゲット画像群における符号化されていない第一のフレーム画像であり、前記Ｍフレームの第二の画像は、前記ターゲット画像群におけるすでに符号化された画像であり、前記第一のビット数は、前記ターゲット画像群における残りのビット数であり、前記第一の数は、前記ターゲット画像群における符号化されていない画像の数であり、Ｍは、１よりも大きい整数である、ビデオ符号化方法。

【請求項2】

前記の、第一の比、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定することは、
前記第一の比によって、前記第一の比に対応する重み付けパラメータを決定することと、
前記重み付けパラメータ、前記第一のビット数と前記第一の数に基づいて、前記第一の画像を符号化する前記第二のビット数を決定することとを含む、請求項１に記載の方法。

【請求項3】

前記の、第一の比、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定することは、
前記第一の比、前記第一のビット数、前記第一の数とターゲットパラメータに基づいて、前記第一の画像を符号化する前記第二のビット数を決定することを含み、
ここで、前記ターゲットパラメータは、バッファ領域の推定占有量と、前記バッファ領域の実際の占有量と、符号化フレームレートと、前記第一の画像を符号化する前の利用可能なチャネル伝送レートとを含む、請求項１又は２に記載の方法。

【請求項4】

前記の、前記第一の比、前記第一のビット数、前記第一の数とターゲットパラメータに基づいて、前記第一の画像を符号化する前記第二のビット数を決定することは、
前記第一の比、前記第一のビット数と前記第一の数に基づいて、第三のビット数を決定することと、
前記ターゲットパラメータに基づいて、第四のビット数を決定することと、
前記第三のビット数と前記第四のビット数とを重み付け加算し、前記第二のビット数を得ることとを含む、請求項３に記載の方法。

【請求項5】

前記の、前記第二のビット数に基づいて、前記第一の画像を符号化することは、
前記第二のビット数と前記第一の画像の予測符号化複雑度に基づいて、二次レート歪みモデルにより、前記第一の画像の量子化パラメータを決定し、前記量子化パラメータに従って、前記第一の画像を符号化することを含む、請求項１に記載の方法。

【請求項6】

前記の、第一の比、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定する前に、前記方法は、
前記第一の画像の予測符号化複雑度と前記Ｍフレームの第二の画像の平均符号化複雑度に基づいて、前記第一の比を決定することをさらに含む、請求項１に記載の方法。

【請求項7】

ビデオ符号化装置であって、決定モジュールと符号化モジュールとを含み、
決定モジュールは、第一の比、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定するために用いられ、
前記符号化モジュールは、前記決定モジュールにより決定された前記第二のビット数に基づいて、前記第一の画像を符号化するために用いられ、
ここで、前記第一の比は、前記第一の画像の予測符号化複雑度とＭフレームの第二の画像の実際の符号化複雑度との比であり、前記第一の画像は、ターゲット画像群における符号化されていない第一のフレーム画像であり、前記Ｍフレームの第二の画像は、前記ターゲット画像群におけるすでに符号化された画像であり、前記第一のビット数は、前記ターゲット画像群における残りのビット数であり、前記第一の数は、前記ターゲット画像群における符号化されていない画像の数であり、Ｍは、１よりも大きい整数である、ビデオ符号化装置。

【請求項8】

前記決定モジュールは、具体的に前記第一の比によって、前記第一の比に対応する重み付けパラメータを決定し、且つ前記重み付けパラメータ、前記第一のビット数と前記第一の数に基づいて、前記第一の画像を符号化する前記第二のビット数を決定するために用いられる、請求項７に記載の装置。

【請求項9】

前記決定モジュールは、具体的に前記第一の比、前記第一のビット数、前記第一の数とターゲットパラメータに基づいて、前記第一の画像を符号化する前記第二のビット数を決定するために用いられ、ここで、前記ターゲットパラメータは、バッファ領域の推定占有量と、前記バッファ領域の実際の占有量と、符号化フレームレートと、前記第一の画像を符号化する前の利用可能なチャネル伝送レートとを含む、請求項７又は８に記載の装置。

【請求項10】

前記決定モジュールは、第一の決定サブモジュールと処理サブモジュールとを含み、
前記第一の決定サブモジュールは、前記第一の比、前記第一のビット数と前記第一の数に基づいて、第三のビット数を決定し、且つ前記ターゲットパラメータに基づいて、第四のビット数を決定するために用いられ、
前記処理サブモジュールは、前記第一の決定サブモジュールにより決定された前記第三のビット数と前記第四のビット数とを重み付け加算し、前記第二のビット数を得るために用いられる、請求項９に記載の装置。

【請求項11】

前記符号化モジュールは、第二の決定サブモジュールと符号化サブモジュールとを含み、
前記第二の決定サブモジュールは、前記第二のビット数と前記第一の画像の予測符号化複雑度に基づいて、二次レート歪みモデルにより、前記第一の画像の量子化パラメータを決定するために用いられ、
前記符号化サブモジュールは、前記第二の決定サブモジュールにより決定された前記量子化パラメータに従って、前記第一の画像を符号化するために用いられる、請求項７に記載の装置。

【請求項12】

前記決定モジュールはさらに、前記第一の比、前記第一のビット数と前記第一の数に基づいて、前記第一の画像を符号化する前記第二のビット数を決定する前に、前記第一の画像の予測符号化複雑度と前記Ｍフレームの第二の画像の平均符号化複雑度に基づいて、前記第一の比を決定するために用いられる、請求項７に記載の装置。

【請求項13】

プロセッサと、メモリと、前記メモリに記憶され、且つ前記プロセッサ上で運行できるプログラム又は命令とを含み、前記プログラム又は命令が前記プロセッサにより実行される時、請求項１から６のいずれか１項に記載のビデオ符号化方法のステップを実現する、電子機器。

【請求項14】

プログラム又は命令が記憶されており、前記プログラム又は命令がプロセッサにより実行される時、請求項１から６のいずれか１項に記載のビデオ符号化方法のステップを実現する、可読記憶媒体。

【請求項15】

少なくとも一つのプロセッサにより実行されて、請求項１から６のいずれか１項に記載のビデオ符号化方法を実現する、コンピュータソフトウェア製品。

【請求項16】

請求項１から６のいずれか１項に記載のビデオ符号化方法を実行するように構成される、電子機器。

【請求項17】

プロセッサと通信インターフェースとを含み、前記通信インターフェースは、前記プロセッサと結合され、前記プロセッサは、プログラム又は命令を運行し、請求項１から６のいずれか１項に記載のビデオ符号化方法を実現するために用いられる、チップ。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０２１年０４月２６日に中国で提出された中国特許出願番号２０２１１０４５４４１８．Ｘの優先権を主張しており、同出願の内容のすべては、ここに参照として取り込まれる。

【0002】

本出願は、通信技術分野に属し、具体的にビデオ符号化方法、装置と電子機器に関する。

【背景技術】

【0003】

ビデオ符号化は、デジタルビデオに対するデータ圧縮方法であり、元のビデオ画像における冗長を除去し、記憶と伝送コストを節約し、且つ同等の符号化コードレート条件で、符号化後のビデオ画像の歪みをできる限り低減させ、符号化後のビデオの品質を向上させることを目標とする。

【0004】

現在、ビデオ符号化規格Ｈ．２６４／ＡＶＣにおけるＪＶＴ－Ｇ０１２コードレート制御アルゴリズムによってビデオを符号化することができる。ＪＶＴ－Ｇ０１２コードレート制御アルゴリズムは、画像群ＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅｓ）レベル、フレームレベル、及びマクロブロックレベルの三レベルのコードレート制御を実現しており、制御機能は、比較的に全面的である。

【0005】

しかしながら、ビデオシーケンスにおける一つの画像群にＰフレーム画像（即ち前方探索フレーム）が含まれない場合、ＪＶＴ－Ｇ０１２コードレート制御アルゴリズムは、均等割り当ての方式でこの画像群におけるＰフレーム画像にビット数を割り当て、即ちＪＶＴ－Ｇ０１２コードレート制御アルゴリズムは、ビット割り当てを行う時に、フレームレベルで符号化複雑度の問題を考慮しておらず、このようにＧＯＰ内部の各フレーム画像のピーク信号対雑音比（ＰｅａｋＳｉｇｎａｌ－ｔｏ－ＮｏｉｓｅＲａｔｉｏ、ＰＳＮＲ）曲線を変動させ、それによってビデオシーケンス全体の平均ピーク信号対雑音比ＰＳＮＲを低下させる可能性がある。このように、符号化後のビデオの品質が比較的悪いことを引き起こす。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本出願の実施例の目的は、フレームレベルで符号化複雑度を考慮しておらず、符号化後のビデオの平均ピーク信号対雑音比ＰＳＮＲを低下させ、それによって符号化後のビデオの品質が比較的悪いことを引き起こすという問題を解決できるビデオ符号化方法、装置と電子機器を提供することである。

【課題を解決するための手段】

【0007】

第一の態様によれば、本出願の実施例は、ビデオ符号化方法を提供し、この方法は、第一の比、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定することと、第二のビット数に基づいて、第一の画像を符号化することとを含み、ここで、第一の比は、第一の画像の予測符号化複雑度とＭフレームの第二の画像の実際の符号化複雑度との比であり、第一の画像は、ターゲット画像群における符号化されていない第一のフレーム画像であり、このＭフレームの第二の画像は、ターゲット画像群におけるすでに符号化された画像であり、第一のビット数は、ターゲット画像群における残りのビット数であり、第一の数は、ターゲット画像群における符号化されていない画像の数であり、Ｍは、１よりも大きい整数である。

【0008】

第二の態様によれば、本出願の実施例は、ビデオ符号化装置を提供し、この装置は、決定モジュールと符号化モジュールとを含み、決定モジュールは、第一の比、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定するために用いられ、符号化モジュールは、決定モジュールにより決定された第二のビット数に基づいて、第一の画像を符号化するために用いられ、ここで、第一の比は、第一の画像の予測符号化複雑度とＭフレームの第二の画像の実際の符号化複雑度との比であり、第一の画像は、ターゲット画像群における符号化されていない第一のフレーム画像であり、このＭフレームの第二の画像は、ターゲット画像群におけるすでに符号化された画像であり、第一のビット数は、ターゲット画像群における残りのビット数であり、第一の数は、ターゲット画像群における符号化されていない画像の数であり、Ｍは、１よりも大きい整数である。

【0009】

第三の態様によれば、本出願の実施例は、電子機器を提供し、この電子機器は、プロセッサと、メモリと、前記メモリに記憶され、且つ前記プロセッサ上で運行できるプログラム又は命令とを含み、前記プログラム又は命令が前記プロセッサにより実行される時、第一の態様に記載の方法のステップを実現する。

【0010】

第四の態様によれば、本出願の実施例は、可読記憶媒体を提供し、前記可読記憶媒体上には、プログラム又は命令が記憶されており、前記プログラム又は命令がプロセッサにより実行される時、第一の態様に記載の方法のステップを実現する。

【0011】

第五の態様によれば、本出願の実施例は、チップを提供し、前記チップは、プロセッサと通信インターフェースとを含み、前記通信インターフェースは、前記プロセッサと結合され、前記プロセッサは、プログラム又は命令を運行し、第一の態様に記載の方法を実現するために用いられる。

【発明の効果】

【0012】

本出願の実施例では、第一の比、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定し、且つ第二のビット数に基づいて、第一の画像を符号化することができ、ここで、第一の比は、第一の画像の予測符号化複雑度とＭフレームの第二の画像の実際の符号化複雑度との比であり、第一の画像は、ターゲット画像群における符号化されていない第一のフレーム画像であり、Ｍフレームの第二の画像は、ターゲット画像群におけるすでに符号化された画像であり、第一のビット数は、ターゲット画像群における残りのビット数であり、第一の数は、ターゲット画像群における符号化されていない画像の数であり、Ｍは、１よりも大きい整数である。この方案によれば、第一の比は、第一の画像とターゲット画像群におけるすでに符号化されたＭフレームの第二の画像との間の相対符号化複雑度を指示することができ、即ち本出願の実施例によるビデオ符号化方法は、ターゲット画像群における符号化されるべき画像とすでに符号化された画像との間の相対符号化複雑度、ターゲット画像群における残りのビット数とターゲット画像群における残りのフレーム数に基づいて、符号化されるべき画像にビット数を割り当てることができるため、ターゲット画像群における符号化複雑度の低い画像から符号化ビットを節約することを実現することができ、節約された符号化ビットを符号化複雑度の高い画像の符号化に用いることによって、平均符号化コードレートがターゲットコードレート（平均符号化コードレート）に近いことを維持する前提で、画像群における各フレーム画像ＰＳＮＲ曲線の変動を減小させることができ、さらに符号化後のビデオの品質を向上させることができる。

【図面の簡単な説明】

【0013】

【図1】ビデオ符号化におけるコードレート制御の基本フレームワーク図である。

【図2】バッファの概略図である。

【図3】コードレート制御アルゴリズムの一般的な構造図である。

【図4】本出願の実施例によるビデオ符号化方法のフローチャートである。

【図5】本出願の実施例によるビデオ符号化装置の概略図である。

【図6】本出願の実施例による電子機器の概略図である。

【図7】本出願の実施例による電子機器のハードウェア概略図である。

【発明を実施するための形態】

【0014】

以下は、本出願の実施例における図面を結び付けながら、本出願の実施例における技術案を明瞭に記述し、明らかに、記述された実施例は、本出願の一部の実施例であり、すべての実施例ではない。本出願における実施例に基づき、当業者により得られたすべての他の実施例は、いずれも本出願の保護範囲に属する。

【0015】

本出願の明細書と特許請求の範囲における用語である「第一」、「第二」などは、類似している対象を区別するものであり、特定の順序又は前後手順を記述するためのものではない。理解すべきこととして、このように使用される用語は、適切な場合に交換可能であり、それにより本出願の実施例は、ここで図示又は記述されたもの以外の順序で実施されることが可能である。且つ「第一」、「第二」などによって区別される対象は、一般的には同一種類であり、対象の個数を限定せず、例えば第一の対象は、一つであってもよく、複数であってもよい。なお、明細書及び請求項における「及び／又は」は、接続される対象のうちの少なくとも一つを表し、文字である「／」は、一般的には前後関連対象が「又は」の関係であることを表す。

【0016】

以下では、まず本出願の特許請求の範囲と明細書に関するいくつかの名詞又は用語について解釈して説明する。

【0017】

基本ユニットＢＵ（ｂａｓｉｃｕｎｉｔ、ＢＵ）：一つ又は複数のマクロブロックＭＢ（ｍａｃｒｏｂｌｏｃｋ、ＭＢ）の集合である。一つのＢＵに含まれるＭＢ数は、１フレーム画像に含まれるＭＢ数で割り切ることができるはずであり、例えばＱＣＩＦフォーマットのビデオシーケンスにおいて、１フレーム画像が９９個のＭＢを含む場合、この画像の一つのＢＵには、９９、３３、１１、９、３、１個のＭＢが含まれてもよく、それによってこの画像には、１、３、９、１１、３３、９９つのＢＵが含まれてもよい。

【0018】

ここで分かるように、一つのＢＵは、一つのＭＢ、一つのスライス、一つのフィールド又は１フレーム画像を含んでもよい。

【0019】

例示的に、一つの基本ユニットＢＵが少なくとも一つのマクロブロックからなることを例とする。一つの画像がａ個のマクロブロックＭＢからなり、一つのＢＵがｂ個の連続するＭＢからなるとすると、ｃ＝ａ／ｂであり、ここで、ｃは、この画像に含まれるすべてのＢＵの数であり、且つａ、ｂ、ｃは、いずれも正の整数である。

【0020】

説明すべきこととして、一つの基本ユニットＢＵ内のすべてのマクロブロックＭＢは、いずれも同一の量子化パラメータＱＰを用いて符号化する。一つのＢＵに含まれるＭＢの数が多いほど、このＢＵのサイズが大きくなり、このＢＵを符号化する計算複雑度が低くなり、制御精度も低くなることを表し、一つのＢＵに含まれるＭＢの数が少ないほど、このＢＵのサイズが小さくなり、このＢＵを符号化する計算複雑度が高くなり、制御精度が高くなることを表す。リアルタイムアプリケーションでは、一般的には比較的大きいサイズのＢＵが選択され、例えば画像の１ラインのすべてのＭＢを一つの基本ユニットＢＵとして構成し、又は１フレーム画像を一つの基本ユニットＢＵとする。

【0021】

トラフィック往復モデル：現在のフレーム画像に割り当てられるターゲットビット、即ち現在のフレーム画像に割り当てられるビット数を計算するために用いられる。

【0022】

【0023】

バッファ：バッファレジスタとも呼ばれ、外部機器（例えばエンコーダ）から送信されてきたデータを一時的に格納することによって、チャネル帯域幅によってこのデータを伝送することために用いられる。本発明の実施例におけるバッファ領域は、バッファのバッファ領域である。

【0024】

ＭＡＤ線形予測モデル：ために用いられｊ－１番目のフレーム画像の実際のＭＡＤに基づいてｊ番目のフレーム画像のＭＡＤを予測し、又はｊ－１番目のフレーム画像における一つの基本ユニットのＭＡＤに基づいてｊ番目のフレーム画像における該当する位置の基本ユニットのＭＡＤを予測し、ｊは、１よりも大きい正の整数である。

【0025】

【0026】

【0027】

画像のＭＡＤ：現在のフレーム画像のＹＵＶ値（例えばＹ値）と現在のフレーム画像の１つ前のフレーム画像（Ｐフレーム画像又はＩフレーム画像であるはず）のＹＵＶ値（例えばＹ値）との絶対平均差である。

【0028】

ここで、ＹＵＶのうちの「Ｙ」は、輝度（Ｌｕｍｉｎａｎｃｅ又はＬｕｍａ）を表し、「Ｕ」と「Ｖ」は、彩度又は濃度（Ｃｈｒｏｍｉｎａｎｃｅ又はＣｈｒｏｍａ）を表し、「Ｕ」と「Ｖ」は、画像の色及び飽和度を記述する役割を果たし、画像の彩度を指示するために用いられる。

【0029】

基本ユニットＢＵのＭＡＤ：一つのＢＵのＹＵＶ値と別のＢＵのＹＵＶ値との絶対平均差であり、ここで、この別のＢＵは、この一つのＢＵが位置する画像（例えばｊ番目のフレーム画像）の１つ前のフレーム画像（例えばｊ－１番目のフレーム画像）におけるＢＵであり、且つこの一つのＢＵのｊ番目のフレーム画像における座標情報は、この別のＢＵのｊ－１番目のフレーム画像における座標情報と同じであり、ｊ番目のフレーム画像は、ｊ－１番目のフレーム画像と同じ画像群に属し、ｊは、１よりも大きい整数である。

【0030】

以下では、図面を結び付けながら、具体的な実施例及びその応用シナリオによって本出願の実施例によるビデオ符号化方法を詳細に説明する。

【0031】

ビデオ信号伝送帯域幅は、一般的に一定の制限を受け、チャネル帯域幅と伝送遅延を満たす状況でビデオデータを効果的に伝送し、ビデオ業務の再生品質を保証するために、ビデオ符号化プロセスに対してコードレート制御を行う必要がある。コードレート制御とは、適切な符号化パラメータ、例えば量子化パラメータＱＰを選択し、この量子化パラメータに従ってこの量子化パラメータに対応する画像を符号化することにより、ビデオ信号の符号化後のビットレートが帯域幅の制限を満たすとともに、符号化歪みをできる限り小さくする。理解できるように、コードレート制御は、典型的なマルチ制約条件、マルチターゲットのレート歪み最適化問題であり、この問題は、ビデオ信号の総符号化ビット数がＲｃ（制限ビット、又はターゲットビット）以下である条件で、総歪みが最小となるように、各符号化ユニットのために最適な符号化パラメータを決定するように記述されてもよく、具体的には、下記の式（３）で表されることができる。

【0032】

【0033】

ビデオシーケンスは、エンコーダによって符号化されることができ、符号化後の符号化ビットストリームは、一般的に通信チャネルを介して伝送される必要がある。実際の応用における通信チャネルは、ほとんどが一定のビットレートＣＢＲ（ＣｏｎｓｔａｎｔＢｉｔｒａｔｅ、ＣＢＲ）チャネルであるが、エンコーダが出力する符号化コードストリームは、ほとんどが可変ビットレートＶＢＲ（ＶａｒｉａｂｌｅＢｉｔｒａｔｅ、ＶＢＲ）コードストリームであるため、ＣＢＲチャネルにおいてＶＢＲコードストリームを効果的に伝送することを実現するために、エンコーダ出力部分に一つのバッファを設置してもよく、例えばこのビデオ符号化におけるコードレート制御の基本フレームワークを図１に示す。

【0034】

図２に示すように、図２は、バッファの概略図である。図２におけるＡは、ビデオエンコーダがバッファに出力する符号化ビットストリームを表し、Ｂｓは、バッファのバッファ領域の大きさを表し、Ｂｃ（即ち図２における充填領域）は、バッファのバッファ領域における送信すべきビット数であり、Ｃｂは、チャネル帯域幅であり、Ｆｒは、符号化フレームレートであり、Ｃｂ／Ｆｒは、エンコーダが１フレーム画像を符号化する時間長内に、通信チャネルで伝送されるデータ量を表す。

【0035】

以下では、従来技術におけるコードレート制御アルゴリズムの原理を例示的に説明する。

【0036】

コードレート制御の目標は、限られた帯域幅でより良いビデオ品質を得ることである。この目標を達成するために、符号化ビット数をどのように割り当てるか、どのように割り当てられるビット数を効果的に利用して最適な符号化パラメータを推定するか、という二つの問題を解決する必要があり、言い換えれば、コードレート制御アルゴリズムは一般的に、ビット割り当てと量子化パラメータＱＰ推定との２つのステップを含む。ここで、ビット割り当てとは、限られたリソースを画像群、フレーム及びマクロブロックなどの画像ユニットに割り当てることである。量子化パラメータ推定とは、画像ユニットに割り当てられたリソース（以下、リソース０と呼ばれ、即ちビット数）に基づいて、符号化後のビデオの歪みが最小となるように、このリソース０に対応する最適な符号化パラメータを推定することである。

【0037】

コードレート制御アルゴリズムは、一方では、符号化後のコードストリームが帯域制限チャネル（例えばＣＢＲチャネル）上での伝送に適合することを要求し、他方では、限られたチャネル伝送帯域幅でより良いビデオ品質を得ることを要求する。ビデオ品質の良否を判断するには、一般的には２つの側面を考慮する必要があり、１つ目は、シーケンス全体のすべてのフレームの平均ＰＳＮＲを確認することであり、平均ＰＳＮＲがより良いビデオシーケンスの品質がより良く、２つ目は、ビデオシーケンス符号化過程におけるＰＳＮＲ曲線の変化状況を確認することであり、より滑らかなＰＳＮＲ曲線を持つビデオシーケンスの品質がより良い。

【0038】

従来のコードレート制御アルゴリズムでは、以上の二つの問題は、三つのプロファイルで研究され、この三つのプロファイルは、それぞれＧＯＰ層、フレーム層とＢＵ層である。ビデオ符号化では、一般的にＧＯＰ単位で、「３層２ステップ」のコードレート制御を行い、図３に示す。

【0039】

一つのＧＯＰは、一般的にフレーム内予測符号化を採用する一つのＩフレームから始まり、その後にフレーム間予測符号化を採用する若干のＰフレーム及び／又はＢフレームが続く。ここで、Ｉフレームは、ＧＯＰにおけるキーフレームであり、フレーム内圧縮に属し、Ｉフレームの画面は、完全にリザーブされ、Ｉフレームを復号化する時に本フレームデータのみで完了することができる。Ｐフレームは、前方探索フレームであり、差分フレーム又はフレーム間圧縮とも呼ばれ、Ｐフレームを符号化した後は、現在のフレームとＩフレーム又は現在のフレームの前のＰフレームとの差分情報を表し、Ｐフレームを復号化する時に、現在のフレームの前のＰフレーム又はＩフレームでキャッシュされた画面に本フレームで定義された符号化の差分情報を重畳し、現在のフレームの画面を再構成する必要がある。Ｂフレームは、双方向差分フレームであり、つまり、符号化後のＢフレームは、本フレーム（即ち現在のフレーム）と前後フレームとの差分情報を記録し、言い換えれば、Ｂフレームを復号化するには、その前のキャッシュ画面を得るだけでなく、その後の画面を復号化する必要もあり、前後フレームと本フレームの符号化データによって本フレーム画像を再構成する。

【0040】

上述から分かるように、Ｉフレームの符号化によって発生したデータ量は、Ｐフレームの符号化とＢフレームの符号化によって発生したデータ量よりもはるかに大きいため、Ｉフレームを符号化した後に、バッファの占有量Ｂｃは、比較的高いレベルに達し、且つこの占有量Ｂｃは、Ｉフレームの後のＰフレームとＢフレームを符号化する過程において徐々に低下していき、一つのＧＯＰにおける画像の符号化が完了した後に、バッファ占有量は、このＧＯＰを符号化する前のレベルに回復することができる。

【0041】

実際の実現では、ＧＯＰ層からＢＵ層まで、コードレート制御アルゴリズムは、符号化リソースを上から下へ割り当て、利用可能な符号化ビット数に基づいて量子化パラメータＱＰを決定する。具体的には、
ＧＯＰ層コードレート制御の主なタスクは、ＧＯＰ全体に符号化ビット数を割り当てることであり、割り当ての根拠は、現在のＧＯＰに含まれるフレーム数、エンコーダ出力バッファ領域の占有量とチャネル帯域幅である。そしてＧＯＰ開始ＩフレームのＱＰを計算する必要があり、ＩフレームＱＰを計算する過程は、フレーム内予測フレームとフレーム間予測フレームとの間に符号化リソースを割り当てる過程であり、ＪＶＴ－Ｇ０１２では、各ＧＯＰのＩフレームＱＰは、前のＧＯＰにおけるすべてのＰフレームの平均ＱＰに基づいて計算されたものであり、一番目のＧＯＰに対して、経験に基づいて一番目のＧＯＰにおけるＩフレームのためにＱＰを選択することができる。

【0042】

フレーム層コードレート制御は、ビデオ符号化における重要な一環であり、ＧＯＰ層コードレート制御かＢＵ層コードレート制御かにかかわらず、フレーム層コードレート制御を中心に行われる。フレーム層コードレート制御では、まずＧＯＰ内部の各Ｐフレームの間にターゲットビットの形式で符号化ビットを割り当て、そして割り当てられた符号化ビット数に基づいて現在のフレームのＱＰを推定する必要がある。

【0043】

ＧＯＰ層コードレート制御とフレーム層コードレート制御の符号化ビット割り当てにおいて、ＩフレームＱＰと各Ｐフレームの符号化ビット数を設定する方式で、ＩフレームとＰフレームとの間、異なるＰフレーム間の符号化ビット数の割り当てを完了する。フレーム層コードレート制御のＱＰ計算とＢＵ層コードレート制御では、主なタスクは、フレーム内の各ＭＢに適切なＱＰを設定することにより、符号化されて発生した実際のビット数とターゲットビット数とを一致させることである。

【0044】

以下では、Ｈ．２６４／ＡＶＣビデオ符号化に推奨されるＪＶＴ－Ｆ０８６コードレート制御アルゴリズムとＪＶＴ－Ｇ０１２コードレート制御アルゴリズムを例として、従来技術のコードレート制御方法を例示的に説明する。

【0045】

ＪＶＴ－Ｆ０８６コードレート制御アルゴリズムとＪＶＴ－Ｇ０１２コードレート制御アルゴリズム
Ｉ、ＪＶＴ－Ｆ０８６コードレート制御アルゴリズムは、ＭＰＥＧ－２ＴＭ５コードレートモデルをベースに、バッファ状態に応じてビット割り当てを行い、できる限りバッファがオーバーフローもアンダーフローもしないように保証する。ＪＶＴ－Ｆ０８６コードレート制御アルゴリズムでは、まず１フレーム画像を符号化する前にこのフレーム画像の符号化に必要なビット数を推定する必要があり、そしてバッファのフィードバックに基づいて一つのＱＰを予め仮定し、このＱＰに従ってこのフレーム画像を符号化し、そして現在のフレーム画像の実際の符号化結果に基づいて、予め仮定されたＱＰを調整する必要があるかどうかを判断し、調整する必要がある場合、まずＱＰを調整し、調整後のＱＰに従ってこのフレーム画像を再符号化処理してもよく、即ちＪＶＴ－Ｆ０８６コードレート制御アルゴリズムでは、各フレーム画像を符号化する時、ＱＰを再付与するかどうかを判断し、再付与されたＱＰに従ってこのフレーム画像を再符号化する必要があり、それによってＪＶＴ－Ｆ０８６の計算複雑度が比較的高い。同時に、ＪＶＴ－Ｆ０８６コードレート制御アルゴリズムは、バッファの飽和度の方面からコードレートを制御し、それは、バッファに対する制御が比較的に良く、バッファ占有量の変化は、比較的に滑らかであるが、その符号化後のビデオ品質の変動は、比較的大きい。

【0046】

ＩＩ、ＪＶＴ－Ｇ０１２コードレート制御アルゴリズムは、ＭＰＥＧ－４ＶＭ８コードレート制御アルゴリズムの構想を継承し、二次レート歪みモデルを流用し、ソース特徴に基づいてモデルパラメータをタイムリーに調整することができ、ＪＶＴ－Ｇ０１２コードレート制御アルゴリズムの主要な技術は、トラフィック往復モデル、ＭＡＤ線形予測モデルと二次レート歪みモデルなどを含む。ＪＶＴ－Ｇ０１２コードレート制御アルゴリズムは、予めで定義されたビットレート、フレームレート、バッファ充足度とバッファ対象線に基づいて現在のフレームにターゲット符号化ビットを割り当て、そして線形トラッキング理論を利用して現在のフレーム画像のＭＡＤを予測し、最後に二次レート歪みモデルによって現在のフレーム画像のＱＰを計算する。ＪＶＴ－Ｇ０１２コードレート制御アルゴリズムは、ＭＡＤを予測する方法を利用してＱＰパラドックス問題を解決し、そしてＪＶＴ－Ｆ０８６コードレート制御アルゴリズムに比べて、符号化されるべき各フレーム画像を１回符号化するだけでよいため、ＪＶＴ－Ｇ０１２コードレート制御アルゴリズムの計算複雑度が比較的低い。さらに、ＪＶＴ－Ｇ０１２コードレート制御アルゴリズムは、ＧＯＰ層、フレーム層、マクロブロック層の３段階のコードレート制御を実現しており、制御機能は、比較的に全面的である。

【0047】

以下では、ＪＶＴ－Ｇ０１２コードレート制御アルゴリズムがＧＯＰ層、フレーム層とマクロブロック層の３段階のコードレート制御を実現する過程について詳細に説明する。

【0048】

【0049】

【0050】

【0051】

【0052】

ビデオシーケンスにおける一番目のＧＯＰを除く他のＧＯＰのＩフレームと一番目のＰフレームの初期量子化パラメータは、下記の式（７）によって計算されることができる。

【0053】

【0054】

フレーム層コードレート制御
フレーム層コードレート制御は、符号化前段階と符号化後段階との二つの段階を含む。

【0055】

（一）、符号化前段階
本段階の主なタスクは、ＰフレームとＢフレームを含むすべての符号化フレームのために量子化パラメータを計算することである。Ｂフレームは、一般的に参照フレームとして使用されないため、そのＱＰは、隣接フレームのＱＰから簡単な線形補間によって得られるが、Ｐフレームは、後続のフレームの参照フレームとなり、そのＱＰの値は、正確に計算して得られる。そのため、異なるフレームの量子化パラメータの計算方法をそれぞれ考慮する必要がある。

【0056】

【0057】

【0058】

【0059】

ｂ、Ｅ＞１時、即ち隣接する二つのＰフレームの間に一つ以上のＢフレームが存在する場合、Ｂフレームの量子化パラメータの計算式は、式（９）となる。

【0060】

【0061】

【0062】

【0063】

【0064】

【0065】

【0066】

【0067】

【0068】

【0069】

【0070】

【0071】

【0072】

【0073】

【0074】

【0075】

【0076】

（二）、符号化後段階
この段階の主なタスクは、線形予測モデルにおけるパラメータの更新、二次レート歪みモデルにおけるパラメータの更新、及びスキップフレーム数の決定の３つのタスクがある。

【0077】

【0078】

【0079】

【0080】

バッファの占有量は、下記の式（２２）によって計算されることができる。

【0081】

【0082】

以上をまとめ、上記の式（１２）～式（１７）から分かるように、一つのＧＯＰにＢフレームが存在しない場合、ＪＶＴ－Ｇ０１２コードレート制御アルゴリズムは、ビット割り当てを行う時に、フレームレベルで各Ｐフレームの間の符号化複雑度を考慮しない。つまり、同一ＧＯＰにおける各Ｐフレームの符号化複雑度が同じであり、各Ｐフレームに符号化リソースを均等に割り当てるとする。しかし、実際のビデオシーケンスにおいて、各フレームの符号化複雑度は、各フレームに含まれる運動の幅と量によって変化し、均等割り当てポリシーを採用することは、ＧＯＰ内部の各フレームのＰＳＮＲ曲線の変動を引き起こすだけでなく、シーケンス全体の平均ＰＳＮＲの低下を引き起こし、ビデオ符号化全体の品質を低減させた。

【0083】

コードレート制御では、制御対象の符号化複雑度を正確に推定することは、合理的かつ効果的にリソース割り当てを行う基礎である。ＪＶＴ－Ｇ０１２では、同一ＧＯＰにおける各Ｐフレームの符号化複雑度が同じであり、各Ｐフレームに符号化リソースを均等に割り当てるとする。一方、実際のビデオにおいて、ビデオにおける各フレーム画像の符号化複雑度は、各フレーム画像に含まれる運動の幅と量によって変化し、均等割り当てのポリシーを採用することは、圧縮後のビデオ品質の変動を引き起こす。以上の問題に対して、出願の実施例は、符号化複雑度に基づくビデオ符号化方法を提案し、ＪＶＴ－Ｇ０１２方法におけるフレーム層コードレート制御において、Ｐフレームのビット数を計算するステップを最適化した。

【0084】

具体的には、本出願の実施例によるビデオ符号化方法は、符号化されるべきビデオの一つの画像群ＧＯＰ内で、符号化複雑度に基づいてフレーム層のビット割り当てを行い、複雑度の低いフレーム符号化から符号化ビットを節約し、それを複雑度の高いフレーム符号化に用いることにより、例えば平均符号化コードレートがターゲットコードレートに近いことを維持する前提で、画像群における各フレーム画像ＰＳＮＲ曲線の変動を減小させることができ、それによって符号化後のビデオの品質を向上させることができる。

【0085】

ビデオシーケンスにおける各フレーム画像の符号化後の画面品質が互いにさらに近くなるようにするために、符号化複雑度に基づいて各フレーム画像に適切な符号化ビット数を割り当てる必要があり、このようなビット数の割り当ては、一般的に各ＧＯＰ内部で行われる。同一ＧＯＰにおける異なる画像間でビット割り当てを行い、画像の間の符号化相対複雑度を知り、符号化相対複雑度に基づいて一つの重み付けパラメータを計算してＪＶＴ－Ｇ０１２フレーム層コードレート制御で均等割り当てポリシーを用いて割り当てたビット数を修正する必要がある。

【0086】

本出願の実施例は、ビデオ符号化方法を提供し、図４に示すように、この方法は、下記のステップ１０１とステップ１０２とを含んでもよい。以下では、ビデオ符号化装置を実行本体とすることを例としてこの方法を例示的に説明する。

【0087】

ステップ１０１、ビデオ符号化装置は、第一の比、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定する。

【0088】

ステップ１０２、ビデオ符号化装置は、第二のビット数に基づいて、第一の画像を符号化する。

【0089】

ここで、第一の比は、第一の画像の予測符号化複雑度とＭフレームの第二の画像の実際の符号化複雑度との比である。第一の画像は、ターゲット画像群における符号化されていない第一のフレーム画像であり、上記Ｍフレームの第二の画像は、ターゲット画像群におけるすでに符号化された画像であり、第一のビット数は、ターゲット画像群における残りのビット数であり、第一の数は、ターゲット画像群における符号化されていない画像の数であり、Ｍは、１よりも大きい整数であってもよい。

【0090】

本出願の実施例では、第二のビット数は、ビデオ符号化装置が第一の画像に構成するビット数であり、即ち第二のビット数は、第一の画像のターゲットビット数である。

【0091】

本出願の実施例では、第一の比は、符号化されるべきとなる第一の画像のターゲット画像群におけるすでに符号化されたＭフレームの第二の画像に対する相対符号化複雑度を表すために用いられてもよい。

【0092】

説明すべきこととして、第一の画像、Ｍ個の第二の画像と第一の数は、ターゲット画像群の符号化進捗に応じて決定される。

【0093】

例えば、ターゲット画像群が１０フレーム画像を含み、それぞれ画像１、画像２、画像３、画像４、画像５、画像６、画像７、画像８、画像９と画像１０であり、且つ画像３が直近に符号化された画像であるとすると、第一の画像は、画像４であり、このＭ（Ｍ＝３）個の第二の画像は、画像１、画像２と画像３を含み、第一の数は、７である。且つ符号化画像４の符号化が完了した後に、画像５は、ターゲット画像群における符号化されていない第一のフレーム画像となり、それによってビデオ符号化装置は、画像５を新たな第一の画像とし、上記ステップ１０１とステップ１０２を再実行してもよく、画像１０の符号化が完了するまで、これに基づき類推する。そして、ビデオ符号化装置は、次の画像群を符号化し続けてもよい。

【0094】

本出願の実施例によるビデオ符号化方法において、第一の比は、第一の画像とターゲット画像群におけるすでに符号化されたＭフレームの第二の画像との間の相対符号化複雑度を指示することができ、即ち本出願の実施例によるビデオ符号化方法は、ターゲット画像群における符号化されるべき画像とすでに符号化された画像との間の相対符号化複雑度、ターゲット画像群における残りのビット数とターゲット画像群における残りのフレーム数に基づいて、符号化されるべき画像のビット数を決定できるため、ターゲット画像群における符号化複雑度の低い画像から符号化ビットを節約することを実現することができ、節約された符号化ビットを符号化複雑度の高い画像の符号化に用いることによって、例えば平均符号化コードレートがターゲットコードレート（平均符号化コードレート）に近いことを維持する前提で、画像群における各フレーム画像ＰＳＮＲ曲線の変動を減小させ、それによって符号化後のビデオの品質を向上させることができる。

【0095】

選択的に、本出願の実施例では、上記ステップ１０１は、具体的に下記のステップ１０１ａとステップ１０１ｂによって実現されることができる。

【0096】

ステップ１０１ａ、ビデオ符号化装置は、第一の比によって、第一の比に対応する重み付けパラメータを決定する。

【0097】

【0098】

【0099】

選択的に、本出願の実施例では、上記式（２３）におけるａとｂは、定数であり、例えばａ＝１．１、ｂ＝３．５である。無論、実際の実現では、ａとｂは、他の値、例えばａ＝１．１±０．５、ｂ＝３．５±１であってもよい。

【0100】

【0101】

【0102】

理解できるように、Ｓ_ｈｉｇｈ値が大きすぎると、複雑度の高い画像は、符号化リソースを過度に使用して後続のフレームの符号化品質に影響を与え、Ｓ_ｈｉｇｈ値が小さすぎると、複雑度の高い画像に割り当てられる符号化リソースが制限され、その符号化品質の向上に影響を与える。Ｓ_ｌｏｗ値が大きすぎると、複雑度の比較的低い画像を符号化する時のリソース節約に影響を与え、Ｓ_ｌｏｗ値が小さすぎると、いくつかの画像は、割り当てられた符号化リソースが少な過ぎるため、符号化品質が大幅に低下する可能性がある。

【0103】

選択的に、本出願の実施例では、Ｓ_ｈｉｇｈとＳ_ｌｏｗの値は、定数であってもよく、例えばＳ_ｈｉｇｈ＝１．５、Ｓ_ｌｏｗ＝０．４５であってもよい。

【0104】

ステップ１０１ｂ、ビデオ符号化装置に基づいて重み付けパラメータ、第一のビット数と第一の数、第一の画像を符号化する第二のビット数を決定する。

【0105】

【0106】

【0107】

本出願の実施例では、まず第一の画像とターゲット画像群におけるすでに符号化された画像との相対符号化複雑度を表す第一の比に対応する重み付けパラメータを決定し、そしてこの重み付けパラメータ、残りのビット数と符号化されていない画像の数に基づいて、第一の画像を符号化するビット数を決定してもよく、即ち画像群における各フレーム画像の間の相対符号化複雑度に基づいて符号化画像のビット数を決定してもよいため、均等割り当ての方法で符号化画像のビット数を決定する方案と比べて、本出願の実施例によるビデオ符号化方法は、符号化後のフレーム間のビデオ品質の変動を比較的に良く抑制することができる。

【0108】

選択的に、本出願の実施例では、符号化されるべき画像（上記のような第一の画像）とすでに符号化された画像との間の相対符号化複雑度、残りのビット数、残りのフレーム数とバッファ状態に基づいて、符号化されるべき画像のビット数を決定してもよく、例えばバッファ占有量のオーバーフローとアンダーフローを回避することができる。

【0109】

選択的に、本出願の実施例では、上記ステップ１０１は、具体的に下記のステップ１０１ｃによって実現されることができる。

【0110】

ステップ１０１ｃ、ビデオ符号化装置は、第一の比、第一のビット数、第一の数とターゲットパラメータに基づいて、第一の画像を符号化する第二のビット数を決定する。

【0111】

ここで、ターゲットパラメータは、バッファの推定占有量と、バッファ領域の実際の占有量と、符号化フレームレートと、第一の画像を符号化する前の利用可能なチャネル伝送レートとを含む。ＣＢＲチャネルに対して、各フレーム画像を符号化する前の利用可能なチャネル伝送レートは、同じである。

【0112】

本出願の実施例では、第一の比、第一のビット数、第一の数とターゲットパラメータに基づいて、第一の画像を符号化する第二のビット数を決定できるため、フレーム間の符号化品質の変動を抑制し、そしてバッファの占有量のオーバーフロー又はアンダーフローを回避することができる。このように符号化後のビデオの品質をさらに向上されることができる。

【0113】

選択的に、本出願の実施例では、上記ステップ１０１ｃは、具体的に下記のステップＡとステップＢによって実現されることができる。

【0114】

ステップＡ、ビデオ符号化装置は、第一の比、第一のビット数と第一の数に基づいて、第三のビット数を決定する。

【0115】

理解できるように、ステップＡは、ターゲット画像群における画像の間の相対符号化複雑度に基づいて、第一の画像を符号化するビット数を決定する。

【0116】

本出願の実施例では、ビデオ符号化装置は、まず第一の比に基づいて、第一の比に対応する重み付けパラメータを決定し、そしてこの重み付けパラメータ、第一のビット数と第一の数に基づいて、第三のビット数を決定してもよく、上記式（２５）を参照する。具体的には、ステップ１０１ａとステップ１０１ｂの関連記述を参照することができ、繰り返しを回避するために、ここでこれ以上説明しない。

【0117】

ステップＢ、ビデオ符号化装置は、ターゲットパラメータに基づいて、第四のビット数を決定する。

【0118】

理解できるように、本出願の実施例では、第四のビット数は、エンコーダの占有量に基づいて第一の画像を符号化するビット数を決定するものである。

【0119】

【0120】

【0121】

ステップＣ、ビデオ符号化装置は、第三のビット数と第四のビット数とを重み付け加算し、第二のビット数を得る。

【0122】

【0123】

【0124】

本出願の実施例では、それぞれ相対符号化複雑度の角度から第一の画像を符号化する第三のビット数を決定し、且つバッファ占有量の角度から第一の画像を符号化する第四のビット数を決定し、第三のビット数と第四のビット数との重み値の和を、第一の画像を最終的に符号化するビット数としてもよいため、複雑度の高い画像の符号化後の品質を向上させることができるだけでなく、そしてターゲット画像群内部の各フレーム画像のＰＳＮＲ曲線の平滑度を向上させ、ＰＳＮＲ曲線の変動を減少させることもでき、それによって符号化後のビデオシーケンス全体の平均ＰＳＮＲを向上させることができる。このように符号化後のビデオの品質を向上させることができる。

【0125】

選択的に、本出願の実施例では、上記ステップ１０２は、具体的に下記のステップ１０２ａとステップ１０２ｂによって実現されることができる。

【0126】

ステップ１０２ａ、ビデオ符号化装置は、第二のビット数と第一の画像の予測符号化複雑度に基づいて、二次レート歪みモデルにより、第一の画像の量子化パラメータ（以下、ターゲット量子化パラメータと呼ばれる）を決定する。

【0127】

ステップ１０２ｂ、ビデオ符号化装置は、ターゲット量子化パラメータに従って、第一の画像を符号化する。

【0128】

選択的に、第一の画像の予測符号化複雑度は、第一の画像の予測ＭＡＤ値によって表され、第一の画像の予測ＭＡＤ値は、第一の画像の１つ前のフレーム画像（以下、第三の画像と呼ばれる）の実際のＭＡＤ値に基づいて、線形予測モデルによって予測され、そして第一の画像の予測符号化複雑度、第三の画像の実際の符号化複雑度に基づいて、二次レート歪みモデルにより、ターゲット量子化パラメータが予測される。

【0129】

【0130】

【0131】

【0132】

【0133】

【0134】

以下では、ビデオ符号化装置によるＢＵ層コードレート制御の方法を例示的に説明する。

【0135】

画像群におけるＩフレームとＢフレームに対して、１フレーム画像内のすべてのマクロブロックＭＢは、いずれも同一の量子化パラメータを採用して符号化し、例えばいずれもこの画像の量子化パラメータを採用して符号化する。そのため、ＢＵ層のコードレート制御の主な対象は、画像群におけるＰフレームである。

【0136】

画像群における各Ｐフレームに対して、まず一つのＰフレームに割り当てられたビット数を、このＰフレームにおける各ＢＵに割り当てる必要がある。現在のＰフレームにおける符号化されていない基本ユニットのＭＡＤ値（即ち符号化複雑度）が未知であるため、現在のＰフレームに残っている利用可能なビット数を、現在のＰフレームにおける符号化されていない基本ユニットに均等割り当てることができる。

【0137】

ＢＵ層コードレート制御アルゴリズムは、以下のような五ステップを含んでもよい。

【0138】

ステップ１、符号化されるべきＢＵのターゲットビット数、即ちこの符号化付きＢＵに割り当てられるビット数を計算する。

【0139】

【0140】

【0141】

【0142】

【0143】

【0144】

【0145】

ステップ５：算出された量子化パラメータに基づいて、ｃ番目のＢＵにおけるすべてのマクロブロックに対してレート歪み最適化の符号化を行い、符号化完了後にｉ番目のフレーム画像の残りのビット数、ＭＡＤ線形予測モデルのパラメータと二項式レート歪みモデルのパラメータを更新する。具体的には、上記実施例における関連記述を参照すればよい。

【0146】

選択的に、本出願の実施例では、上記ステップ１０１の前に、本出願の実施例によるビデオ符号化方法は、下記のステップ１０３をさらに含んでもよい。

【0147】

ステップ１０３、ビデオ符号化装置は、第一の画像の予測符号化複雑度とＭフレームの第二の画像の平均符号化複雑度に基づいて、第一の比を決定する。

【0148】

【0149】

【0150】

【0151】

本出願の実施例では、１フレーム画像にビット数を割り当てる時に、この画像が位置するＧＯＰにおけるすでに符号化された画像の平均符号化複雑度を参照すればよいため、同じＧＯＰにおける画像の符号化後のビデオ品質が互いにさらに近くなることを確保することができ、それによって同じＧＯＰ内部の各フレーム画像のピーク信号対雑音比曲線の変動を減小させることができ、例えば符号化後のビデオの品質を向上させることができる。

【0152】

説明すべきこととして、本出願の実施例によるビデオ符号化方法では、実行本体は、ビデオ符号化装置、又はこのビデオ符号化装置におけるビデオ符号化方法を実行するための制御モジュールであってもよい。本出願の実施例では、ビデオ符号化装置によるビデオ符号化方法の実行を例とし、本出願の実施例によるビデオ符号化装置を説明する。

【0153】

図５は、本出願の実施例によるビデオ符号化装置を実現する可能な構造概略図であり、図５に示すように、ビデオ符号化装置５０は、決定モジュール５１と符号化モジュール５２とを含んでもよい。決定モジュール５１、第一の比、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定するために用いられてもよく、符号化モジュール５２は、決定モジュール５１により決定された第二のビット数に基づいて、第一の画像を符号化するために用いられてもよく、ここで、第一の比は、第一の画像の予測符号化複雑度とＭフレームの第二の画像の実際の符号化複雑度との比であってもよく、第一の画像は、ターゲット画像群における符号化されていない第一のフレーム画像であり、このＭフレームの第二の画像は、ターゲット画像群におけるすでに符号化された画像であり、第一のビット数は、ターゲット画像群における残りのビット数であり、第一の数は、ターゲット画像群における符号化されていない画像の数であり、Ｍは、１よりも大きい整数である。

【0154】

選択的に、本出願の実施例では、決定モジュール５１は具体的に、第一の比によって、第一の比に対応する重み付けパラメータを決定し、重み付けパラメータ、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定するために用いられてもよい。

【0155】

選択的に、本出願の実施例では、決定モジュール５１は具体的に、第一の比、第一のビット数、第一の数とターゲットパラメータに基づいて、第一の画像を符号化する第二のビット数を決定するために用いられてもよく、ここで、ターゲットパラメータは、バッファ領域の推定占有量と、バッファ領域の実際の占有量と、符号化フレームレートと、第一の画像を符号化する前の利用可能なチャネル伝送レートとを含む。

【0156】

選択的に、本出願の実施例では、上記決定モジュール５１は、第一の決定サブモジュールと処理サブモジュールとを含んでもよく、第一の決定サブモジュールは、第一の比、第一のビット数と第一の数に基づいて、第三のビット数を決定し、ターゲットパラメータに基づいて、第四のビット数を決定するために用いられてもよく、処理サブモジュールは、第一の決定サブモジュールにより決定された第三のビット数と第四のビット数とを重み付け加算し、第二のビット数を得るために用いられてもよい。

【0157】

選択的に、本出願の実施例では、符号化モジュール５２は、第二の決定サブモジュールと符号化サブモジュールとを含んでもよく、
第二の決定サブモジュールは、第二のビット数と第一の画像の予測符号化複雑度に基づいて、二次レート歪みモデルにより、第一の画像の量子化パラメータを決定するために用いられてもよく、
符号化サブモジュールは、第二の決定サブモジュールにより決定された量子化パラメータに従って、第一の画像を符号化するために用いられてもよい。

【0158】

選択的に、本出願の実施例では、決定モジュール５１はさらに、第一の比、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定する前に、第一の画像の予測符号化複雑度とＭフレームの第二の画像の平均符号化複雑度に基づいて、第一の比を決定するために用いられてもよい。

【0159】

本出願の実施例によるビデオ符号化装置では、第一の比が第一の画像とターゲット画像群におけるすでに符号化されたＭフレームの第二の画像との間の相対符号化複雑度を指示することができ、即ち本出願の実施例によるビデオ符号化方法は、ターゲット画像群における符号化されるべき画像とすでに符号化された画像との間の相対符号化複雑度、ターゲット画像群における残りのビット数とターゲット画像群における残りのフレーム数に基づいて、符号化されるべき画像のビット数を決定できるため、ターゲット画像群における符号化複雑度の低い画像から符号化ビットを節約することを実現することができ、節約された符号化ビットを符号化複雑度の高い画像の符号化に用いることによって、平均符号化コードレートがターゲットコードレート（平均符号化コードレート）に近いことを維持する前提で、画像群における各フレーム画像ＰＳＮＲ曲線の変動を減小させることができ、さらに符号化後のビデオの品質を向上させることができる。

【0160】

本実施例における様々な実現方式が有する有益な効果は、具体的に上記方法の実施例における該当する実現方式が有する有益な効果を参照することができ、説明の繰り返しを回避するために、ここでこれ以上説明しない。

【0161】

本出願の実施例におけるビデオ符号化装置は、装置であってもよく、端末における部材、集積回路、又はチップであってもよい。この装置は、移動電子機器であってもよく、非移動電子機器であってもよい。例示的には、移動電子機器は、携帯電話、タブレットパソコン、ノートパソコン、パームトップコンピュータ、車載電子機器、ウェアラブルデバイス、ウルトラモバイルパーソナルコンピュータ（ｕｌｔｒａ－ｍｏｂｉｌｅｐｅｒｓｏｎａｌｃｏｍｐｕｔｅｒ、ＵＭＰＣ）、ネットブック又はパーソナルデジタルアシスタント（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌａｓｓｉｓｔａｎｔ、ＰＤＡ）などであってもよく、非移動電子機器は、ネットワーク接続型ストレージ（ＮｅｔｗｏｒｋＡｔｔａｃｈｅｄＳｔｏｒａｇｅ、ＮＡＳ）、パーソナルコンピュータ（ｐｅｒｓｏｎａｌｃｏｍｐｕｔｅｒ、ＰＣ）、テレビ（ｔｅｌｅｖｉｓｉｏｎ、ＴＶ）、預入支払機又はセルフサービス機などであってもよく、本出願の実施例は、具体的に限定しない。

【0162】

本出願の実施例におけるビデオ符号化装置は、オペレーティングシステムを有する装置であってもよい。このオペレーティングシステムは、アンドロイド（登録商標）（Ａｎｄｒｏｉｄ（登録商標））オペレーティングシステムであってもよく、ｉｏｓオペレーティングシステムであってもよく、他の可能なオペレーティングシステムであってもよく、本出願の実施例は、具体的に限定しない。

【0163】

本出願の実施例によるビデオ符号化装置は、図１から図４の方法の実施例により実現される各プロセスを実現することができ、説明の繰り返しを回避するために、ここでこれ以上説明しない。

【0164】

図６に示すように、本出願の実施例は、電子機器２００をさらに提供し、プロセッサ２０２と、メモリ２０１と、メモリ２０１に記憶されており、且つプロセッサ２０２上で運行できるプログラム又は命令とを含み、このプログラム又は命令がプロセッサ２０２により実行される時、上記ビデオ符号化方法の実施例の各プロセスを実現し、且つ同じ技術的効果を達成することができる。説明の繰り返しを回避するために、ここでこれ以上説明しない。

【0165】

注意すべきこととして、本出願の実施例における電子機器は、以上に記載の移動電子機器と非移動電子機器を含む。

【0166】

図７は、本出願の実施例を実現する電子機器のハードウェア構造概略図である。

【0167】

図７に示すように、電子機器１０００は、無線周波数ユニット１００１、ネットワークモジュール１００２、オーディオ出力ユニット１００３、入力ユニット１００４、センサ１００５、表示ユニット１００６、ユーザ入力ユニット１００７、インターフェースユニット１００８、メモリ１００９、及びプロセッサ１０１０などの部材を含むが、それらに限らない。

【0168】

当業者であれば理解できるように、電子機器１０００は、各部材に給電する電源（例えば、電池）をさらに含んでもよく、電源は、電源管理システムによってプロセッサ１０１０にロジック的に接続されてもよく、それにより電源管理システムによって充放電管理及び消費電力管理などの機能を実現することができる。図７に示す電子機器構造は、電子機器に対する限定を構成せず、電子機器は、図示された部材の数よりも多く又は少ない部材、又はいくつかの部材の組み合わせ、又は異なる部材の配置を含んでもよく、ここでこれ以上説明しない。

【0169】

ここで、プロセッサ１０１０は、第一の比、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定し、且つ第二のビット数に基づいて、第一の画像を符号化するために用いられてもよく、ここで、第一の比は、第一の画像の予測符号化複雑度とＭフレームの第二の画像の実際の符号化複雑度との比であってもよく、第一の画像は、ターゲット画像群における符号化されていない第一のフレーム画像であり、このＭフレームの第二の画像は、ターゲット画像群におけるすでに符号化された画像であり、第一のビット数は、ターゲット画像群における残りのビット数であり、第一の数は、ターゲット画像群における符号化されていない画像の数であり、Ｍは、１よりも大きい整数である。

【0170】

選択的に、本出願の実施例では、プロセッサ１０１０は具体的に、第一の比によって、第一の比に対応する重み付けパラメータを決定し、重み付けパラメータ、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定するために用いられてもよい。

【0171】

選択的に、本出願の実施例では、プロセッサ１０１０は具体的に、第一の比、第一のビット数、第一の数とターゲットパラメータに基づいて、第一の画像を符号化する第二のビット数を決定するために用いられてもよく、ここで、ターゲットパラメータは、バッファ領域の推定占有量と、バッファ領域の実際の占有量と、符号化フレームレートと、第一の画像を符号化する前の利用可能なチャネル伝送レートとを含む。

【0172】

選択的に、本出願の実施例では、プロセッサ１０１０は、第一の比、第一のビット数と第一の数に基づいて、第三のビット数を決定し、且つターゲットパラメータに基づいて、第四のビット数を決定し、第三のビット数と第四のビット数とを重み付け加算し、第二のビット数を得るために用いられてもよい。

【0173】

選択的に、本出願の実施例では、プロセッサ１０１０は、第二のビット数と第一の画像の予測符号化複雑度に基づいて、二次レート歪みモデルにより、第一の画像の量子化パラメータを決定し、且つこの量子化パラメータに従って、第一の画像を符号化するために用いられてもよい。

【0174】

選択的に、本出願の実施例では、プロセッサ１０１０はさらに、第一の比、第一のビット数と第一の数に基づいて、第一の画像を符号化する第二のビット数を決定する前に、第一の画像の予測符号化複雑度とＭフレームの第二の画像の平均符号化複雑度に基づいて、第一の比を決定するために用いられてもよい。

【0175】

【0176】

【0177】

理解すべきこととして、本出願の実施例では、入力ユニット１００４は、グラフィックスプロセッサ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＧＰＵ）１００４１とマイクロホン１００４２を含んでもよく、グラフィックスプロセッサ１００４１は、ビデオキャプチャモード又は画像キャプチャモードにおいて画像キャプチャ装置（例えば、カメラ）によって得られた静止画像又はビデオの画像データを処理する。表示ユニット１００６は、表示パネル１００６１を含んでもよく、液晶ディスプレイ、有機発光ダイオードなどの形式で表示パネル１００６１が構成されてもよい。ユーザ入力ユニット１００７は、タッチパネル１００７１及び他の入力機器１００７２を含む。タッチパネル１００７１は、タッチスクリーンとも呼ばれる。タッチパネル１００７１は、タッチ検出装置とタッチコントローラという二つの部分を含んでもよい。他の入力機器１００７２は、物理的キーボード、機能キー（例えば、音量制御ボタン、スイッチボタンなど）、トラックボール、マウス、操作レバーを含んでもよいが、それらに限らず、ここでこれ以上説明しない。メモリ１００９は、ソフトウェアプログラム及び様々なデータを記憶するために用いられてもよく、アプリケーションプログラムとオペレーティングシステムとを含むが、それらに限らない。プロセッサ１０１０は、アプリケーションプロセッサとモデムプロセッサを統合してもよい。ここで、アプリケーションプロセッサは、主にオペレーティングシステム、ユーザインタフェース及びアプリケーションプログラムなどを処理するためのものであり、モデムプロセッサは、主に無線通信を処理するためのものである。理解できるように、上記モデムプロセッサは、プロセッサ１０１０に統合されなくてもよい。

【0178】

本出願の実施例は、可読記憶媒体をさらに提供し、前記可読記憶媒体上にはプログラム又は命令が記憶されており、このプログラム又は命令がプロセッサにより実行される時、上記ビデオ符号化方法の実施例の各プロセスを実現し、且つ同じ技術的効果を達成することができる。説明の繰り返しを回避するために、ここでこれ以上説明しない。

【0179】

ここで、前記プロセッサは、上記実施例に記載の電子機器におけるプロセッサである。前記可読記憶媒体は、コンピュータ可読記憶媒体、例えばコンピュータリードオンリーメモリ（Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなどを含む。

【0180】

本出願の実施例は、チップをさらに提供し、前記チップは、プロセッサと通信インターフェースとを含み、前記通信インターフェースは、前記プロセッサと結合され、前記プロセッサは、プログラム又は命令を運行し、上記ビデオ符号化方法の実施例の各プロセスを実現するために用いられ、且つ同じ技術的効果を達成することができる。説明の繰り返しを回避するために、ここでこれ以上説明しない。

【0181】

理解すべきこととして、本出願の実施例に言及されたチップは、システムレベルチップ、システムチップ、チップシステム又はシステムオンチップなどと呼ばれてもよい。

【0182】

説明すべきこととして、本明細書では、用語である「含む」、「包含」又はその他の任意の変形は、非排他的な「含む」を意図的にカバーするものであり、それによって一連の要素を含むプロセス、方法、物品又は装置は、それらの要素を含むだけではなく、明確にリストアップされていない他の要素も含み、又はこのようなプロセス、方法、物品又は装置に固有の要素も含む。それ以上の制限がない場合に、「……を１つ含む」という文章で限定された要素について、この要素を含むプロセス、方法、物品又は装置には他の同じ要素も存在することが排除されるものではない。なお、指摘すべきこととして、本出願の実施の形態における方法と装置の範囲は、図示又は討論された順序で機能を実行することに限らず、関わる機能に基づいて基本的に同時である方式又は逆の順序で機能を実行することを含んでもよく、例えば記述されたものとは異なる手順で記述された方法を実行することができるとともに、様々なステップを追加、省略又は組み合わせることができる。また、いくつかの例を参照して記述された特徴は、他の例で組み合わせられることができる。

【0183】

以上の実施の形態の記述によって、当業者であればはっきりと分かるように上記実施例の方法は、ソフトウェアと必要な汎用ハードウェアプラットフォームの形態によって実現されることができる。無論、ハードウェアによって実現されてもよいが、多くの場合、前者は、より好適な実施の形態である。このような理解を踏まえて、本出願の技術案が実質には又は従来の技術に寄与した部分は、コンピュータソフトウェア製品の形式で具現化されてもよく、このコンピュータソフトウェア製品は、一つの記憶媒体（例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、一台の端末（携帯電話、コンピュータ、サーバ、又はネットワーク機器などであってもよい）に本出願の各実施例に記載の方法を実行させるための若干の命令を含む。

【0184】

以上は、図面を結び付けながら、本出願の実施例を記述したが、本出願は、上記の具体的な実施の形態に限らない。上記の具体的な実施の形態は、例示的なものに過ぎず、制限性のあるものではない。当業者は、本出願の示唆で、本出願の趣旨と特許請求の範囲から逸脱しない限り、多くの形式を行うこともでき、いずれも本出願の保護範囲に属する。

【図1】