特許 7589929 動画予測符号化の方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-18

(45)【発行日】2024-11-26

(54)【発明の名称】動画予測符号化の方法及び装置

(51)【国際特許分類】

   H04N 19/109 20140101AFI20241119BHJP

   H04N 19/147 20140101ALI20241119BHJP

   H04N 19/159 20140101ALI20241119BHJP

   H04N 19/176 20140101ALI20241119BHJP

【ＦＩ】

H04N19/109

H04N19/147

H04N19/159

H04N19/176

【請求項の数】 10

(21)【出願番号】P 2023535576

(86)(22)【出願日】2021-12-03

(65)【公表番号】

(43)【公表日】2023-12-25

(86)【国際出願番号】 CN2021135246

(87)【国際公開番号】W WO2022121786

(87)【国際公開日】2022-06-16

【審査請求日】2023-06-09

(31)【優先権主張番号】202011459744.1

(32)【優先日】2020-12-11

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】320010240

【氏名又は名称】ビゴ テクノロジー ピーティーイー． リミテッド

【住所又は居所原語表記】３０ ＰＡＳＩＲ ＰＡＮＪＡＮＧ ＲＯＡＤ，＃１５－３１Ａ，ＭＡＰＬＥＴＲＥＥ ＢＵＳＩＮＥＳＳ ＣＩＴＹ，ＳＩＮＧＡＰＯＲＥ １１７４４０

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】崔 同兵

【審査官】山▲崎▼ 雄介

(56)【参考文献】

【文献】特開２０１２－０６５１７６（ＪＰ，Ａ）

【文献】国際公開第２０１７／１２２６０４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

フレーム間予測符号化の際に、現在の符号化ブロックに関する判定情報を取得し、前記判定情報は、軽量動画符号化の事前解析を行う際にエンコーダによって確定される事前解析情報、前記現在の符号化ブロックによる再帰符号化の後に得られる複数のサブブロックの符号化情報、実行されたモードに基づいて確定される実行済みモード情報のうちの１つを含むことと、
前記判定情報に基づいて、前記現在の符号化ブロックの動き推定ＭＥ符号化をスキップするか否かを判断し、ここで、ＭＥをスキップするプロセスは、すべてのＭＥをスキップすることと、ＭＥの一部をスキップすることとを含むことと、
を含み、
前記判定情報が前記現在の符号化ブロックによる再帰符号化の後に得られる複数のサブブロックの符号化情報であると確定することに応答して、前記サブブロックの符号化情報は、各サブブロックの最適モードと、前記各サブブロックが再帰的に分割されるか否かとを含み、
前記判定情報に基づいて、前記現在の符号化ブロックの動き推定ＭＥ符号化をスキップするか否かを判断することは、
前記現在の符号化ブロックの前記各サブブロックの最適モードに基づいて、前記現在の符号化ブロックの最適モードがフレーム内予測モードである第２の比率、及び前記現在の符号化ブロックの最適モードがＳＫＩＰモードである第３の比率を確定することと、
前記現在の符号化ブロックの前記各サブブロックが再帰的に分割されるか否かに基づいて、前記現在の符号化ブロックのサブブロック再帰比率を確定することと、
前記第２の比率、前記第３の比率及び前記サブブロック再帰比率のうちの少なくとも１つに基づいて、前記現在の符号化ブロックのＭＥ符号化をスキップするか否かを判断することと、
を含む、
動画予測符号化の方法。

【請求項2】

前記判定情報が、軽量動画符号化の事前解析を行う際にエンコーダによって確定される事前解析情報であると確定することに応答して、前記判定情報に基づいて、前記現在の符号化ブロックの動き推定ＭＥ符号化をスキップするか否かを判断することは、
前記現在の符号化ブロックのサイズに基づいて、対応するダウンサンプリングブロックの数を確定し、各ダウンサンプリングブロックの事前解析情報をインデックスし、ここで、前記ダウンサンプリングブロックの数は、複数であることと、
前記ダウンサンプリングブロックの事前解析情報を集約し、前記集約の結果に基づいて前記現在の符号化ブロックのＭＥ符号化をスキップするか否かを判断することと、
を含む、
請求項１に記載の方法。

【請求項3】

前記ダウンサンプリングブロックの事前解析情報は、フレーム間符号化コスト、フレーム内符号化コスト、及び前記ダウンサンプリングブロックによって予測された最適モードを含み、
前記ダウンサンプリングブロックの事前解析情報を集約し、前記集約の結果に基づいて前記現在の符号化ブロックのＭＥ符号化をスキップするか否かを判断することは、
前記現在の符号化ブロックに対応するすべてのダウンサンプリングブロックのフレーム間符号化コストの総和を計算することにより、前記現在の符号化ブロックの推定フレーム間符号化コストを得ることと、
前記現在の符号化ブロックに対応するすべてのダウンサンプリングブロックのフレーム内符号化コストの総和を計算することにより、前記現在の符号化ブロックの推定フレーム内符号化コストを得ることと、
前記現在の符号化ブロックに対応するすべてのダウンサンプリングブロックのうち、最適モードがフレーム内予測モードであるダウンサンプリングブロックの数を計算し、前記数に基づいて前記現在の符号化ブロックの最適モードがフレーム内予測モードである第１の比率を確定することと、
前記第１の比率が第１のプリセット比率閾値より大きく、且つ前記推定フレーム内符号化コストと第１の調整係数との積が、前記推定フレーム間符号化コストと第２の調整係数との積より小さいと確定することに応答して、前記現在の符号化ブロックのＭＥ符号化をスキップし、ここで、前記第１の調整係数は、前記第２の調整係数より小さいことと、
を含む、
請求項２に記載の方法。

【請求項4】

前記第２の比率、前記第３の比率及び前記サブブロック再帰比率のうちの少なくとも１つに基づいて、前記現在の符号化ブロックのＭＥ符号化をスキップするか否かを判断することは、
前記サブブロック再帰比率がプリセット再帰比率閾値より大きく、且つ前記第２の比率が第２のプリセット比率閾値より大きいと確定することに応答して、前記現在の符号化ブロックのＭＥ符号化をスキップすること、
または、
前記第３の比率が第３のプリセット比率閾値より大きく、且つ前記サブブロック再帰比率が第４のプリセット比率閾値より大きいと確定することに応答して、前記現在の符号化ブロックのＭＥ符号化をスキップすること、
を含む、
請求項１に記載の方法。

【請求項5】

前記判定情報が実行されたモードに基づいて確定される実行済みモード情報であると確定することに応答して、前記実行済みモード情報は、段階最適モードＳＡＴＤコスト及びフレーム内予測ＳＡＴＤコストを含み、
前記判定情報に基づいて、前記現在の符号化ブロックの動き推定ＭＥ符号化をスキップするか否かを判断することは、
前記現在の符号化ブロックが再帰符号化を行っておらず、且つ前記フレーム内予測ＳＡＴＤコストと第３の調整係数との積が、前記段階最適モードＳＡＴＤコストと第４の調整係数との積より小さいと確定することに応答して、前記現在の符号化ブロックのＭＥ符号化をスキップし、ここで、前記第３の調整係数は、前記第４の調整係数より大きいことを含む、
請求項１に記載の方法。

【請求項6】

前記判定情報が実行されたモードに基づいて確定される実行済みモード情報であると確定することに応答して、前記実行されたモードは、少なくとも２Ｎｘ２Ｎモード及びＢＩＤＩＲモードを含み、前記実行済みモード情報は、２Ｎｘ２Ｎモードで実行されたＭＥＲＧＥモードのＭＥＲＧＥモードＳＡＴＤコスト、及び段階最適モードＳＡＴＤコストを含み、Ｎは正の整数であり、
前記判定情報に基づいて、前記現在の符号化ブロックの動き推定ＭＥ符号化をスキップするか否かを判断することは、
前記現在の予測ユニットが非正方形予測ユニットであると確定することに応答して、前記ＭＥＲＧＥモードＳＡＴＤコストが前記段階最適モードＳＡＴＤコストより小さいか否かを判断することと、
前記ＭＥＲＧＥモードＳＡＴＤコストが前記段階最適モードＳＡＴＤコストより小さいと確定することに応答して、前記非正方形予測ユニットに対してＭＥＲＧＥモードを実行し、前記非正方形予測ユニットの前方向ＭＥ符号化、後方向ＭＥ符号化及び両方向ＭＥ符号化をスキップすることと、
を含む、
請求項１に記載の方法。

【請求項7】

前記現在の符号化ブロックが再帰符号化を行なったと確定することに応答して、前記実行済みモード情報は、前記現在の符号化ブロックの最適モードがＳＫＩＰモードである比率をさらに含み、
前記判定情報に基づいて、前記現在の符号化ブロックの動き推定ＭＥ符号化をスキップするか否かを判断することは、
前記ＭＥＲＧＥモードＳＡＴＤコストが前記段階最適モードＳＡＴＤコストより小さく、且つ前記現在の符号化ブロックの最適モードがＳＫＩＰモードである比率がプリセット比率閾値より大きいと確定することに応答して、前記非正方形予測ユニットに対してＭＥＲＧＥモードを実行し、前記非正方形予測ユニットの前方向ＭＥ符号化、後方向ＭＥ符号化及び両方向ＭＥ符号化をスキップすることをさらに含む、
請求項６に記載の方法。

【請求項8】

フレーム間予測符号化の際に、現在の符号化ブロックに関する判定情報を取得するように構成され、前記判定情報は、軽量動画符号化の事前解析を行う際にエンコーダによって確定される事前解析情報、前記現在の符号化ブロックによる再帰符号化の後に得られる複数のサブブロックの符号化情報、実行されたモードに基づいて確定される実行済みモード情報のうちの１つを含む判定情報取得モジュールと、
前記判定情報に基づいて、前記現在の符号化ブロックの動き推定ＭＥ符号化をスキップするか否かを判断するように構成され、ここで、ＭＥをスキップするプロセスは、すべてのＭＥをスキップすることと、ＭＥの一部をスキップすることとを含むＭＥスキップ判定モジュールと、
を含み、
前記判定情報が前記現在の符号化ブロックによる再帰符号化の後に得られる複数のサブブロックの符号化情報であると確定することに応答して、前記サブブロックの符号化情報は、各サブブロックの最適モードと、前記各サブブロックが再帰的に分割されるか否かとを含み、
前記ＭＥスキップ判定モジュールは、比率計算サブモジュールと比率判定サブモジュールとを含み、
前記比率計算サブモジュールは、前記現在の符号化ブロックの前記各サブブロックの最適モードに基づいて、前記現在の符号化ブロックの最適モードがフレーム内予測モードである第２の比率、及び前記現在の符号化ブロックの最適モードがＳＫＩＰモードである第３の比率を確定し、前記現在の符号化ブロックの前記各サブブロックが再帰的に分割されるか否かに基づいて、前記現在の符号化ブロックのサブブロック再帰比率を確定するように構成され、
前記比率判定サブモジュールは、前記第２の比率、前記第３の比率及び前記サブブロック再帰比率のうちの少なくとも１つに基づいて、前記現在の符号化ブロックのＭＥ符号化をスキップするか否かを判断するように構成される、
動画予測符号化の装置。

【請求項9】

メモリ、プロセッサ、およびメモリに記憶され且つプロセッサ上で実行可能なコンピュータプログラムを含み、前記プロセッサが前記プログラムを実行する際に、請求項１から７のいずれか１項に記載の方法を実現する電子デバイス。

【請求項10】

コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行される際に、請求項１から７のいずれか１項に記載の方法を実現するコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、２０２０年１２月１１日に中国特許庁に提出された出願番号２０２０１１４５９７４４.１の中国特許出願の優先権を主張し、その全ての内容は参照により本発明に援用する。

【0002】

本発明の実施例は、動画符号化技術に関し、例えば動画予測符号化の方法及び装置に関するものである。

【背景技術】

【0003】

符号化フレームワークにおいて、予測符号化は、動画符号化の中核技術の１つであり、予測符号化は、フレーム内予測とフレーム間予測に分けられる。フレーム内予測とは、動画画像の空間相関に基づいて、画像内で符号化された隣接画素を利用して現在の画素を予測することである。フレーム間符号化とは、動画画像の時間相関に基づいて、符号化された画像を利用して符号化すべき画像を予測することである。フレーム内予測とフレーム間予測を経て、エンコーダは、動画の時空間相関を除去し、元の画素値ではなく予測後の残差に対して変換、量子化、エントロピー符号化を行うことにより、符号化効率を大幅に向上させることができる。

【0004】

現在、主な動画符号化の標準的なフレーム間予測部分には、ブロックに基づく動き補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ、ＭＣ）技術が採用される。その主な原理は、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）により参照フレームにおいて動き推定（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ、ＭＥ）を行い、マッチングブロックを検索し、動き補償技術を用いて予測ブロックを生成し、さらに残差ブロックを得て、次に残差ブロックを後続の符号化モジュールの入力とし、次の符号化処理を行うことである。また、物体の動きが全て全画素の動きではなく、半画素や１／４画素しか動いていない可能性があるため、分画素ＭＥを行う必要があり、即ち全画素の上に補間方法により分画素データを生成し、その後、分画素においてマッチングブロックの検索と補償を行い、高効率動画符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）輝度成分分画素の最高精度は１／４画素であり、色度成分分画素の最高精度は１／８画素である。

【0005】

ＨＥＶＣにおいてフレーム間符号化ＰＵは、少なくとも２Ｎｘ２Ｎ／ＢＩＤＩＲ、２ＮｘＮ／Ｎｘ２Ｎ／２ＮｘｎＤ／２ＮｘｎＵ ／ｎＲｘ２Ｎ／ｎＬｘ２Ｎ（ＲＥＣＴ／ＡＭＰ）の７種類を含み、それぞれのＰＵは上記のフレーム間符号化プロセスを経なければならず、計算オーバヘッドは非常に大きい。

【発明の概要】

【課題を解決するための手段】

【0006】

本発明では、関連技術におけるフレーム間符号化プロセスにおいて各モードのＰＵが動き補償を含むフレーム間符号化プロセスを行う必要があるので符号化の計算オーバヘッドが大きくなる場合を回避するために、動画予測符号化の方法及び装置を提供する。

【0007】

第１の側面において、本発明の実施例は、

【0008】

フレーム間予測符号化の際に、現在の符号化ブロックに関する判定情報を取得し、前記判定情報は、軽量動画符号化の事前解析を行う際にエンコーダによって確定される事前解析情報、前記現在の符号化ブロックによる再帰符号化の後に得られる複数のサブブロックの符号化情報、実行されたモードに基づいて確定される実行済みモード情報のうちの１つを含むことと、

【0009】

前記判定情報に基づいて、前記現在の符号化ブロックの動き推定ＭＥ符号化をスキップするか否かを判断し、ここで、ＭＥをスキップするプロセスは、すべてのＭＥをスキップすることと、ＭＥの一部をスキップすることとを含むことと、
を含む、
動画予測符号化の方法に関する。

【0010】

第２の側面において、本発明の実施例は、

【0011】

フレーム間予測符号化の際に、現在の符号化ブロックに関する判定情報を取得するように構成され、前記判定情報は、軽量動画符号化の事前解析を行う際にエンコーダによって確定される事前解析情報、前記現在の符号化ブロックによる再帰符号化の後に得られる複数のサブブロックの符号化情報、実行されたモードに基づいて確定される実行済みモード情報のうちの１つを含む判定情報取得モジュールと、

【0012】

前記判定情報に基づいて、前記現在の符号化ブロックの動き推定ＭＥ符号化をスキップするか否かを判断するように構成され、ここで、ＭＥをスキップするプロセスは、すべてのＭＥをスキップすることと、ＭＥの一部をスキップすることとを含むＭＥスキップ判定モジュールと、
を含む、
動画予測符号化の装置に関する。

【0013】

第３の側面において、本発明の実施例は、メモリ、プロセッサ、およびメモリに記憶され且つプロセッサ上で実行可能なコンピュータプログラムを含み、前記プロセッサが前記プログラムを実行する際に、上記の方法を実現する電子デバイスに関する。

【0014】

第４の側面において、本発明の実施例は、コンピュータプログラムが記憶され、当該プログラムがプロセッサによって実行される際に、上記の方法を実現するコンピュータ可読記憶媒体に関する。

【図面の簡単な説明】

【0015】

【図1】本発明の実施例によるＰＵ分割モードの概略図である。

【図2】本発明の実施例による単一ＰＵのフレーム間予測符号化プロセスの最適モードの決定プロセスの概略図である。

【図3】本発明の実施例による単一フレーム間モードの符号化プロセスの概略図である。

【図4】本発明の一実施例による動画予測符号化の方法実施例のフローチャートである。

【図5】本発明の一実施例による事前解析情報に基づいてＭＥ高速スキップ判定を行うフローチャートである。

【図6】本発明の一実施例による符号化ブロックの再帰分割とダウンサンプリングブロックとの関係を示す概略図である。

【図7】本発明の一実施例によるサブブロックの符号化情報に基づいてＭＥ高速スキップ判定を行うフローチャートである。

【図8】本発明の一実施例による符号化ブロックの再帰分割の概略図である。

【図9】本発明の一実施例による実行されたモードの実行済みモード情報に基づいて非正方形ＰＵのＭＥ高速スキップ判定を行うフローチャートである。

【図10】本発明の一実施例による動画予測符号化の装置実施例の構造ブロック図である。

【図11】本発明の一実施例による電子デバイスの構造概略図である。

【発明を実施するための形態】

【0016】

以下、図面および実施例を参照して本発明をさらに詳細に説明する。本明細書に記載された具体的な実施例は、本発明を限定するものではなく、本発明を説明するためにのみ使用されることが理解される。なお、説明を容易にするために、図面には、構成全体ではなく、本発明に関連する部分のみが示されている。

【0017】

本実施例は、動画符号化における予測符号化の段階に適用することができ、予測符号化とは、符号化された１つまたは複数のサンプル値を用いて、あるモデルまたは方法に基づいて、現在のサンプル値を予測し、サンプルの真の値と予測値との差に対して符号化を行うことを意味し、元の画素値ではなく予測後の残差に対して変換、量子化、エントロピー符号化を行うことにより、符号化効率を大幅に向上させることができる。予測符号化は、フレーム内予測Ｉｎｔｒａモードとフレーム間予測Ｉｎｔｅｒモードを含み得る。

【0018】

新しい動画圧縮規格ＨＥＶＣは、画像分割に対して、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）、及び変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、ＴＵ）を含む新しいシンタックスユニットを定義する。ここで、ＣＵは予測、変換、量子化、及びエントロピー符号化などの処理を行う基本的なユニットであり、ＰＵはフレーム内予測またはフレーム間予測を含む予測符号化を行う基本的なユニットであり、ＴＵは変換及び量子化を行う基本的なユニットである。ＰＵはＣＵのすべての予測モードを規定し、予測に関するすべての情報をＰＵに定義することができ、例えば、フレーム内予測の方向、フレーム間予測の分割方式、動きベクトル予測、及びフレーム間予測参照画像インデックス番号はいずれもＰＵの範疇に属する。

【0019】

図１を参照すると、ＰＵ分割モードの概略図が示され、１つの２Ｎｘ２ＮのＣＵに含まれるＰＵ分割モードに関し、１つの２Ｎｘ２ＮのＣＵモードに対して、フレーム内予測ＰＵの選択可能なモードは、２Ｎｘ２ＮとＮｘＮの２種類あり、フレーム間予測ＰＵの選択可能なモードは、４種類の対称モード（２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮ）と４種類の非対称モード（２ＮｘｎＤ、２ＮｘｎＵ、ｎＲｘ２Ｎ、ｎＬｘ２Ｎ）の８種類あり、ここで、ＰＵの形状に応じて、２Ｎｘ２ＮとＮｘＮを正方形ＰＵと呼び、２ＮｘＮ、Ｎｘ２Ｎ、２ＮｘｎＤ、２ＮｘｎＵ、ｎＲｘ２Ｎ、ｎＬｘ２Ｎを非正方形ＰＵと呼び、ＳＫＩＰモードはフレーム間予測の一種であり、符号化を必要とする動き情報には動きパラメータセットインデックスのみがあり、符号化残差が符号化を必要としない場合、２Ｎｘ２Ｎ ＳＫＩＰモードである。

【0020】

図２を参照すると、図２に単一ＰＵのフレーム間予測符号化プロセスの最適モードの決定プロセスの概略図が示され、図２に示されたように、当該決定プロセスは、以下のようなプロセス（図２ではＮｘＮモードを使用していない）を含み得る。

【0021】

まず、２Ｎｘ２ＮレベルのＭＥＲＧＥ／ＳＫＩＰモードを行い、再帰条件を満たす場合、ＣＵ再帰モードを実行し、再帰完了後、現在のブロックサイズＣＵに戻り、フレーム内予測Ｉｎｔｒａモードを実行し続け、Ｉｎｔｒａ完了後、２Ｎｘ２Ｎのフレーム間モードを実行し（前方向ＭＥ、後方向ＭＥをそれぞれ行って最適なマッチングブロックを得る）、その後、２ＮｘＮのＢＩＤＩＲを実行し（双方向検索のみを行って最適なマッチングブロックを得る）、その後、２ＮｘＮおよびＮｘ２Ｎモードタイプを実行し続ける。１種類のモードが終わるたびに１回のモード判定が行われ、段階最適モードｔｅｍｐＢｅｓｔＭｏｄｅが得られる。

【0022】

Ｎｘ２Ｎを実行した後、
ｔｅｍｐＢｅｓｔＭｏｄｅ ＝＝ ２ＮｘＮの場合、２ＮｘｎＵ、２ＮｘｎＤを実行し続け、比較して最終的な最適モードＢｅｓｔＭｏｄｅを得る。
ｔｅｍｐＢｅｓｔＭｏｄｅ ＝＝ Ｎｘ２Ｎの場合、ｎＬｘ２Ｎ、ｎＲｘ２Ｎを実行し続け、比較して最終的な最適モードＢｅｓｔＭｏｄｅを得る。
ｔｅｍｐＢｅｓｔＭｏｄｅ！＝ ２ＮｘＮ ＆＆ ｔｅｍｐＢｅｓｔＭｏｄｅ！＝ Ｎｘ２Ｎの場合、２ＮｘｎＵ、２ＮｘｎＤ、ｎＬｘ２Ｎ、ｎＲｘ２Ｎを実行し続け、比較して最終的な最適モードＢｅｓｔＭｏｄｅを得る。

【0023】

なお、現在のブロックがＣＵ再帰を行なった場合、サブブロックを単位として上記の決定プロセスを実行し、ＢｅｓｔＭｏｄｅのコストと再帰コストを比較して、ＣＵ再帰分割を行うか否かを決定する。

【0024】

また、２ＮｘＮ、Ｎｘ２Ｎ、２ＮｘｎＵ、２ＮｘｎＤ、ｎＬｘ２Ｎ、ｎＲｘ２Ｎなどの非正方形モードは２つのＰＵを含み、各ＰＵはＭＥＲＧＥ／ＳＫＩＰモード、前方向ＭＥ、後方向ＭＥ、両方向ＭＥを個別に行い、比較して最適モードを得る必要がある。

【0025】

また、物体の動きが全て全画素の動きではなく、半画素や１／４画素しか動いていない可能性があるため、分画素ＭＥを行う必要があり、即ち全画素の上に補間方法により分画素データを生成し、その後、分画素においてマッチングブロックの検索と補償を行い、ＨＥＶＣ輝度成分分画素の最高精度は１／４画素であり、色度成分の最高精度は１／８画素である。図３を参照すると、上記図２の複数のモードのうち、単一フレーム間モードの符号化プロセスが示され、１つのＰＵに対して、まず分画素ＭＥを行うか否かを判断し、分画素ＭＥを行う判断結果に基づいて、分画素の動き推定と動き補償を行い、分画素ＭＥを行わない判断結果に基づいて、全画素の動き推定と動き補償を行い、次に得られた残差ブロックに対してレート歪み最適化（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍａｔｉｏｎ、ＲＤＯ）符号化フローを行う。

【0026】

以上から分かるように、各フレーム間Ｉｎｔｅｒ ＰＵが図３のフレーム間符号化プロセスを経なければならず、オーバーヘッドが非常に大きく、不要なＰＵ ＭＥを減らすことができれば、エンコーダのリソースオーバーヘッドを大幅に削減することができ、符号化速度を向上させ、符号化コストを削減することができる。

【0027】

なお、本発明の以下の実施例は、ブロックに準拠する任意の混合符号化アーキテクチャに適用することができ、ＨＥＶＣ符号化標準を満たすエンコーダはすべて適用することができ、その他の例えばＡＶＳ１、Ｈ.２６４、ＶＰ８、ＶＰ９、ＡＶＳ２、ＡＶＳ３、ＡＶ１、ＶＶＣなどの標準を満たすエンコーダは、調整後に直接に使用されることもできる。そして、本実施例で言及したエンコーダは、トランスコードサービスだけでなく、モバイル側のリアルタイム符号化サービスにも適用できる。

【0028】

図４は、本発明の一実施例による動画予測符号化の方法実施例のフローチャートであり、本実施例は、以下のステップを含み得る。

【0029】

ステップ４１０では、フレーム間予測符号化の際に、現在の符号化ブロックに関する判定情報を取得し、前記判定情報は、軽量動画符号化の事前解析を行う際にエンコーダによって確定される事前解析情報、または、前記現在の符号化ブロックによる再帰符号化の後に得られる複数のサブブロックの符号化情報、または、実行されたモードに基づいて確定される実行済みモード情報を含む。

【0030】

ステップ４２０では、前記判定情報に基づいて、前記現在の符号化ブロックの動き推定ＭＥ符号化をスキップするか否かを判断する。

【0031】

例えば、図２に示された決定プロセスについて、現在のＰＵに対してフレーム間予測モードの最適モードの決定を行う場合、取得した判定情報に基づいて、上記決定プロセスにおける複数のモードのＭＥプロセスをスキップするか否かを判断することができる。ここで、ＭＥプロセスをスキップするには、２つのケースに分けられることができ、１つは、上記決定プロセスにおけるすべてのＭＥをスキップすることであり、もう１つのケースは、上記決定プロセスにおけるＭＥの一部をスキップすることである。例えば、２Ｎｘ２ＮのＭＥだけを実行し、２Ｎｘ２Ｎの後の他のモードのＭＥをスキップする。

【0032】

上記決定プロセスにおけるすべてのＭＥをスキップするシーンに対して、本実施例では、取得した判定情報に応じて、ＭＥプロセスをスキップするか否かを異なる方法で判定することができる。

【0033】

一実施例では、事前解析情報に基づいて、ＭＥ符号化を素早くスキップする判定を行うことができ、判定情報は、軽量動画符号化の事前解析を行う際にエンコーダによって確定される事前解析情報を含み得て、図５に示されたように、ステップ４２０は、以下のサブステップを含み得る。

【0034】

サブステップＳ１１では、現在の符号化ブロックのサイズに基づいて、対応するダウンサンプリングブロックの数を確定し、各ダウンサンプリングブロックの事前解析情報をインデックスする。

【0035】

実施する際に、エンコーダは、実際に入力された動画に対して符号化処理を行う前に、事前解析モジュールを使用して、まず動画に対して事前解析動作を行うことができ、例示的には、当該事前解析動作とは、事前解析モジュールが入力された動画に対してダウンサンプリングを行なった上で軽量動画符号化を行うことにより、実際に符号化を行なったときのフレーム構造、フレームタイプ、符号化の量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ、ＱＰ）を得ることであってもよい。

【0036】

事前分析を行う符号化ユニットは８ｘ８のダウンサンプリングブロックであり、例えば、元のブロックサイズがw＊hであると仮定すると、ダウンサンプリング後のブロックサイズはｗ／２＊ｈ／２となり、８ｘ８のダウンサンプリングブロックは１６ｘ１６の符号化ブロックに対応し、即ち、サブステップＳ１１の方法を採用する場合、本実施例の符号化ブロックのサイズは、少なくとも１６ｘ１６であり、１６ｘ１６、３２ｘ３２、６４ｘ６４を含む。

【0037】

一例では、３２ｘ３２符号化ブロックを例に挙げて、図６に示されたように、３２ｘ３２符号化ブロックを４つの１６ｘ１６の符号化サブブロックに分割することができ、各１６ｘ１６の符号化サブブロックがさらに１つのダウンサンプリングブロック（図６に示されたＬｏｗｒｅｓ）に対応するので、３２ｘ３２符号化ブロックによって採集されたダウンサンプリングブロックの数が４つである。同様に、６４ｘ６４符号化ブロックの場合、１６個のダウンサンプリングブロックに対応する１６個の１６ｘ１６の符号化サブブロックに分割することができる。

【0038】

事前解析段階でもＭＥ符号化が行われるので、事前解析段階における現在の符号化ブロックに対応するダウンサンプリングブロックの事前解析情報を見つけることができれば、当該事前解析情報に基づいて現在のブロックのＭＥ高速スキップ判定を行うことができる。一実施形態では、現在の符号化ブロックの座標情報に基づいて、対応するダウンサンプリングブロックをインデックスすることができる。例えば、図６では、３２ｘ３２符号化ブロックについて、４つの１６ｘ１６符号化サブブロックに分割することができ、当該符号化ブロックの座標情報を知ることができるので、各１６ｘ１６符号化サブブロックの座標情報を得ることができ、次に各符号化サブブロックの座標範囲内に収まるダウンサンプリングブロックを当該符号化サブブロックに対応するダウンサンプリングブロックとして見つけ、各符号化ブロックに対応するダウンサンプリングブロックを見つけた後、当該ダウンサンプリングブロックの事前解析情報を得ることができる。

【0039】

一例として、ダウンサンプリングブロックの事前解析情報は、フレーム間符号化コスト、フレーム内符号化コスト、および当該ダウンサンプリングブロックによって予測された最適モードを含むことができるが、これらに限定されない。

【0040】

サブステップＳ１２では、前記ダウンサンプリングブロックの事前解析情報を集約し、前記集約の結果に基づいて前記現在の符号化ブロックのＭＥ符号化をスキップするか否かを判断する。

【0041】

現在の符号化ブロックに対応するすべてのダウンサンプリングブロックを得た後、現在の符号化ブロックに対応するすべてのダウンサンプリングブロックの事前解析情報を集約し、集約の結果に基づいてフレーム間予測モードのＭＥプロセスをスキップするか否かを判断することができる。

【0042】

一実施形態では、サブステップＳ１２は、以下のサブステップを含み得る。

【0043】

サブステップＳ１２１では、現在の符号化ブロックに対応するすべてのダウンサンプリングブロックのフレーム間符号化コストの総和を計算することにより、前記現在の符号化ブロックの推定フレーム間符号化コストを得る。

【0044】

例えば、図６の３２ｘ３２符号化ブロックについて、４つのダウンサンプリングブロックがインデックスされ、各ダウンサンプリングブロックのフレーム間符号化コストを取得した後、当該３２ｘ３２符号化ブロックの推定フレーム間符号化コストＩｎｔｅｒＣｏｓｔとして、当該４つのダウンサンプリングブロックのフレーム間符号化コストの和を計算することができる。

【0045】

サブステップＳ１２２では、現在の符号化ブロックに対応するすべてのダウンサンプリングブロックのフレーム内符号化コストの総和を計算することにより、前記現在の符号化ブロックの推定フレーム内符号化コストを得る。

【0046】

例えば、図６の３２ｘ３２符号化ブロックについて、４つのダウンサンプリングブロックのフレーム内符号化コストがインデックスされた後、当該３２ｘ３２符号化ブロックの推定フレーム内符号化コストＩｎｔｒａＣｏｓｔとして、当該４つのダウンサンプリングブロックのフレーム内符号化コストの和を計算することができる。

【0047】

サブステップＳ１２３では、現在の符号化ブロックに対応するすべてのダウンサンプリングブロックのうち、最適モードがフレーム内予測モードであるダウンサンプリングブロックの数を計算し、前記数に基づいて前記現在の符号化ブロックの最適モードがフレーム内予測モードである第１の比率を確定する。

【0048】

例えば、図６の３２ｘ３２符号化ブロックについて、４つのダウンサンプリングブロックの最適モードがインデックスされた後、当該４つのダウンサンプリングブロックのうち最適モードがフレーム内予測Ｉｎｔｒａモードの数及び第１の比率ＩｎｔｒａＲａｔｉｏを計算することができ、例えば、最適モードがＩｎｔｒａモードであるダウンサンプリングブロックの数が２つであると仮定すると、ＩｎｔｒａＲａｔｉｏが２／４になり、また例えば、最適モードがＩｎｔｒａモードであるダウンサンプリングブロックの数が３つであると仮定すると、ＩｎｔｒａＲａｔｉｏが３／４になる。

【0049】

サブステップＳ１２４では、前記第１の比率が第１のプリセット比率閾値より大きく、且つ、前記推定フレーム内符号化コストと第１の調整係数との積が、前記推定フレーム間符号化コストと第２の調整係数との積より小さい場合、前記現在の符号化ブロックのＭＥ符号化をスキップし、ここで、前記第１の調整係数は、前記第２の調整係数より小さい。

【0050】

当該ステップでは、現在の符号化ブロックのＩｎｔｅｒＣｏｓｔ、ＩｎｔｒａＣｏｓｔ、及びＩｎｔｒａＲａｔｉｏを得た後、次の条件式（１）を満たす場合、ＭＥ符号化をスキップすることができる。
ｉｆ(ＩｎｔｒａＲａｔｉｏ > ａ ＆＆ ＩｎｔｒａＣｏｓｔ ＊ ｂ < ｃ ＊ ＩｎｔｅｒＣｏｓｔ ) （１）
ｓｋｉｐＭＥ ＝ ｔｒｕｅ

【0051】

ここで、ａは第１のプリセット比率閾値であり、ｂは第１の調整係数であり、ｃは第２の調整係数であり、ｓｋｉｐＭＥはＭＥのスキップである。なお、需要に応じてａ、ｂ、ｃを調整することができ、一致した加速性を維持することを前提で、異なる業務需要を満たすために線形に符号化速度を上げたり下げたりすることができ、例えば、業務需要に応じてｂ<ｃに設定し、例えば、ａ、ｂ、ｃのデフォルト値を０.５、１、４に設定することができる。

【0052】

上記条件式（１）により、ＩｎｔｒａＣｏｓｔ ＊ ｂ < ｃ ＊ ＩｎｔｅｒＣｏｓｔであり、且つＩｎｔｒａＲａｔｉｏが比較的大きい場合、現在のブロックの空間領域相関が時間領域相関よりも強いことを示すので、ＭＥプロセスを直接にスキップすることができる。

【0053】

別の実施形態では、現在の符号化ブロックが再帰符号化を行なって、サブブロックの符号化済み情報に基づいてＭＥを素早くスキップする判定を行うことができる場合、判定情報は、符号化ブロックによる再帰符号化の後に得られる複数のサブブロックの符号化情報を含み得る。例示的には、サブブロックの符号化情報は、少なくともサブブロックの最適モードと、当該サブブロックがさらに再帰的に分割されるか否かとを含み得る。図７に示されたように、ステップ４２０は、以下のサブステップを含み得る。

【0054】

サブステップＳ２１では、現在の符号化ブロックの各サブブロックの最適モードに基づいて、現在の符号化ブロックの最適モードがフレーム内予測モードである第２の比率、及び現在の符号化ブロックの最適モードがＳＫＩＰモードである第３の比率を確定する。

【0055】

一実施形態では、現在の符号化ブロックの最適モードがフレーム内予測モードである第２の比率は、現在の符号化ブロックのうち最適モードがフレーム内予測Ｉｎｔｒａモードであるサブブロックの数と現在の符号化ブロックの全てのサブブロックの総数との比であってもよく、現在の符号化ブロックの最適モードがＳＫＩＰモードである第３の比率は、現在の符号化ブロックのうち最適モードがフレーム内予測ＳＫＩＰモードであるサブブロックの数と現在の符号化ブロックの全てのサブブロックの総数との比であってもよい。

【0056】

例えば、図８に示されたように、現在の符号化ブロックが４つの１６ｘ１６符号化サブブロックに分割され、この４つの符号化サブブロックのうち最適モードがＩｎｔｒａモードであるサブブロックの数が１で、最適モードがＳＫＩＰモードであるサブブロックの数が2である場合、第２の比率＝１ ／ ４になり、第３の比率＝２／ ４になる。

【0057】

サブステップＳ２２では、現在の符号化ブロックの各サブブロックがさらに再帰的に分割されるか否かに基づいて、現在の符号化ブロックのサブブロック再帰比率を確定する。

【0058】

当該ステップでは、サブブロック再帰比率は、現在の符号化ブロックにおいてさらに分割可能なサブブロックの比率を反映するために使用される。一実施形態では、現在の符号化ブロックのサブブロック再帰比率は、現在の符号化ブロックにおいてさらに再帰符号化を行うことができるサブブロックの数と現在の符号化ブロックの全てのサブブロックの総数との比であってもよく、例えば、図８に示されたように、現在の符号化ブロックが４つの１６ｘ１６符号化サブブロックに分割され、この４つの符号化サブブロックのうちさらに再帰符号化を行うことができるサブブロックの数が１である場合（図８のＳｐｌｉｔサブブロックに示され）、サブブロック再帰比率＝１ ／ ４になる。

【0059】

サブステップＳ２３では、前記第２の比率、前記第３の比率および／または前記サブブロック再帰比率に基づいて、前記現在の符号化ブロックのＭＥ符号化をスキップするか否かを判断する。

【0060】

一実施形態では、サブステップＳ２３は、以下のサブステップを含み得る。

【0061】

前記サブブロック再帰比率がプリセット再帰比率閾値より大きく、且つ、前記第２の比率が第２のプリセット比率閾値より大きい場合、前記現在の符号化ブロックのＭＥ符号化をスキップする。

【0062】

当該ステップでは、サブブロック再帰比率及び第２の比率を得た後、次の条件式（２）を満たす場合、ＭＥ符号化をスキップすることができる。
ｉｆ(ＳｕｂＳｐｌｉｔＲａｔｉｏ > ｔｈｒｅｓｈｏｌｄ_Ａ ＆＆ ＳｕｂＩｎｔｒａＲａｔｉｏ > ｔｈｒｅｓｈｏｌｄ_Ｂ) （２）
ｓｋｉｐＭＥ ＝ ｔｒｕｅ

【0063】

ここで、ＳｕｂＳｐｌｉｔＲａｔｉｏはサブブロック再帰比率であり、ＳｕｂＩｎｔｒａＲａｔｉｏは第２の比率であり、ｔｈｒｅｓｈｏｌｄ_Ａはプリセット再帰比率閾値であり、ｔｈｒｅｓｈｏｌｄ_Ｂは第２のプリセット比率閾値である。なお、実際の業務需要に応じてｔｈｒｅｓｈｏｌｄ_Ａ及びｔｈｒｅｓｈｏｌｄ_Ｂを設定することができる。

【0064】

ＳｕｂＳｐｌｉｔＲａｔｉｏ > ｔｈｒｅｓｈｏｌｄ_ＡかつＳｕｂＩｎｔｒａＲａｔｉｏ > ｔｈｒｅｓｈｏｌｄ_Ｂの場合、現在の符号化ブロックにはサブブロックＳｐｌｉｔブロックが多く、かつ固定のＩｎｔｒａ比率があることを示し、この場合、現在の符号化ブロックを４つのサブブロックにより簡単に分割して符号化を行うので、現在の符号化ブロックのＭＥプロセスをスキップすることができる。

【0065】

別の実施形態では、サブステップＳ２３は、以下のサブステップを含み得る。

【0066】

前記第３の比率が第３のプリセット比率閾値より大きく、且つ、前記サブブロック再帰比率が第４のプリセット比率閾値より大きい場合、前記現在の符号化ブロックのＭＥ符号化をスキップする。

【0067】

当該ステップでは、サブブロック再帰比率及び第３の比率を得た後、次の条件式（３）を満たす場合、ＭＥ符号化をスキップすることができる。
ｉｆ(ＳｕｂＳｋｉｐＲａｔｉｏ > ｔｈｒｅｓｈｏｌｄ_Ｃ ＆＆ ＳｕｂＳｐｌｉｔＲａｔｉｏ > ｔｈｒｅｓｈｏｌｄ_Ｄ) （３）
ｓｋｉｐＭＥ ＝ ｔｒｕｅ

【0068】

ここで、ＳｕｂＳｐｌｉｔＲａｔｉｏはサブブロック再帰比率であり、ＳｕｂＳｋｉｐＲａｔｉｏは第３の比率であり、ｔｈｒｅｓｈｏｌｄ_Ｃは第３のプリセット比率閾値であり、ｔｈｒｅｓｈｏｌｄ_Ｄは第４のプリセット比率閾値であり、実際の業務需要に応じてｔｈｒｅｓｈｏｌｄ_Ｃ及びｔｈｒｅｓｈｏｌｄ_Ｄを設定することができる。

【0069】

ＳｕｂＳｋｉｐＲａｔｉｏ > ｔｈｒｅｓｈｏｌｄ_ＣかつＳｕｂＳｐｌｉｔＲａｔｉｏ > ｔｈｒｅｓｈｏｌｄ_Ｄの場合、現在の符号化ブロックにはサブブロックＳｐｌｉｔが多く、かつＳＫＩＰモード比率が多いことを示し、現在の符号化ブロックの動きが弱いことを示すので、残りのＭＥプロセスをスキップすることができる。

【0070】

別の実施形態では、現在の符号化ブロックＣＵが再帰符号化を行なっていない場合、実行されたモードのモード情報に基づいてＭＥ符号化をスキップするか否かを判定することができ、このシーンにおいて、判定情報は、実行されたモードに基づいて確定される実行済みモード情報を含んでもよい。例示的には、実行済みモード情報は、少なくとも段階最適モードＳＡＴＤコスト及びフレーム内予測ＳＡＴＤコストを含み得る。ステップ４２０は、以下のサブステップを含み得る。

【0071】

現在の符号化ブロックが再帰符号化を行っておらず、且つ、前記フレーム内予測ＳＡＴＤコストと第３の調整係数との積が、前記段階最適モードＳＡＴＤコストと第４の調整係数との積より小さい場合、前記現在の符号化ブロックのＭＥ符号化をスキップし、ここで、前記第３の調整係数は、前記第４の調整係数より大きい。

【0072】

当該実施例では、段階最適モードＳＡＴＤコストは、このモードを実行した後にモード判定を行って得られる段階最適モードのＳＡＴＤコストである。フレーム内予測ＳＡＴＤコストは、フレーム内予測を行う際に、ＳＡＴＤ粗選択により決定される最適なフレーム内モードのＳＡＴＤコストであってもよい。

【0073】

段階最適モードＳＡＴＤコスト及びフレーム内予測ＳＡＴＤコストを得た後、次の条件式（４）を満たす場合、ＭＥ符号化をスキップすることができる。
ｉｆ(ＩｎｔｒａＳＡＴＤＣｏｓｔ ＊ α< β＊ ＩｎｔｅｒＳＡＴＤＣｏｓｔ) （４）
ｓｋｉｐＭＥ ＝ ｔｒｕｅ

【0074】

ここで、ＩｎｔｒａＳＡＴＤＣｏｓｔはフレーム内予測ＳＡＴＤコストであり、ＩｎｔｅｒＳＡＴＤＣｏｓｔは段階最適モードＳＡＴＤコストであり、αは第３の調整係数であり、βは第４の調整係数である。実際の業務需要に応じてα及びβを調整することができ、例えば、αのデフォルト値は５であってもよく、βのデフォルト値は３であってもよい。

【0075】

ＩｎｔｒａＳＡＴＤＣｏｓｔ＊αがβ＊ＩｎｔｅｒＳＡＴＤＣｏｓｔoより小さい場合、現在のブロックの空間領域相関が時間領域相関よりも強いことを示すので、現在の符号化ブロックのＭＥ符号化プロセスを直接にスキップすることができる。

【0076】

他の実施例では、上記決定プロセスにおけるＭＥの一部をスキップするシーンに対して、例えば２ＮｘＮ／Ｎｘ２Ｎ／２ＮｘｎＤ／２ＮｘｎＵ／ｎＲｘ２Ｎ／ｎＬｘ２Ｎ（ＲＥＣＴ／ＡＭＰ）などの非正方形ＰＵに対して、各ＰＵはＭＥＲＧＥモード、前方向ＭＥ、後方向ＭＥ、両方向ＭＥを個別に行い、比較して最適モードを得る必要があり、ＭＥプロセス全体は複雑であり、本実施例では、既に実行されたＭＥモードによって上記非正方形ＰＵのＭＥを素早くスキップする決定を行うことができる。判定情報は、実行されたモードに基づいて確定される実行済みモード情報を含み得て、ここで、当該実行されたモードは、少なくとも図２における２Ｎｘ２Ｎモード及びＢＩＤＩＲモードを含み得て、当該実行済みモード情報は、２Ｎｘ２Ｎモードで実行されたＭＥＲＧＥモードのＭＥＲＧＥモードＳＡＴＤコスト、及び段階最適モードＳＡＴＤコストを含み得る。

【0077】

図９に示されたように、ステップ４２０は、以下のサブステップを含み得る。

【0078】

サブステップＳ３１では、現在の予測ユニットが非正方形予測ユニットである場合、前記ＭＥＲＧＥモードＳＡＴＤコストが前記段階最適モードＳＡＴＤコストより小さいか否かを判断する。

【0079】

サブステップＳ３２では、前記ＭＥＲＧＥモードＳＡＴＤコストが前記段階最適モードＳＡＴＤコストより小さい場合、前記非正方形予測ユニットに対してＭＥＲＧＥモードを実行し、前記非正方形予測ユニットの前方向ＭＥ符号化、後方向ＭＥ符号化及び両方向ＭＥ符号化をスキップする。

【0080】

当該実施例では、２Ｎｘ２Ｎモードで実行されたＭＥＲＧＥモードのＭＥＲＧＥモードＳＡＴＤコストが段階最適モードＳＡＴＤコストより小さい場合、現在の的非正方形ＰＵのみに対してＭＥＲＧＥモードを実行し、前方向ＭＥ符号化、後方向ＭＥ符号化及び両方向ＭＥ符号化プロセスを行わない。

【0081】

他の実施形態では、現在の符号化ブロックが再帰符号化を行なった場合、非正方形ＰＵモードの前方向ＭＥ、後方向ＭＥ、両方向ＭＥをスキップするか否かを判定する判定プロセスにおいて、現在の符号化ブロックの最適モードがＳＫＩＰモードである比率、即ち、現在の符号化ブロックの符号化サブブロックにおける最適モードがＳＫＩＰモードであるサブブロックの比率を考慮することができ、計算方法について上記の第３の比率を参照することができ、ステップ４２０は、以下のサブステップを含み得る。

【0082】

前記ＭＥＲＧＥモードＳＡＴＤコストが前記段階最適モードＳＡＴＤコストより小さく、且つ、前記現在の符号化ブロックの最適モードがＳＫＩＰモードである比率がプリセット比率閾値より大きい場合、前記非正方形予測ユニットに対してＭＥＲＧＥモードを実行し、前記非正方形予測ユニットの前方向ＭＥ符号化、後方向ＭＥ符号化及び両方向ＭＥ符号化をスキップする。

【0083】

実施する際に、現在の非正方形モードが次の条件式（５）を満たす場合、前方向ＭＥ、後方向ＭＥ、両方向ＭＥの符号化プロセスをスキップすることができ、当該モードのＭＥＲＧＥモードのみを実行する。
ｉｆ(ＳｕｂＳｋｉｐＲａｔｉｏ > θ ＆＆ ＭｒｇＣｏｓｔ ＊ ａ１ < ｂ１ ＊ ＩｎｔｅｒＳＡＴＤＣｏｓｔ) （５）
ｓｋｉｐＭＥＬｅｆｔ ＝ ｔｒｕｅ

【0084】

ここで、ＳｕｂＳｋｉｐＲａｔｉｏは、現在の符号化ブロックの最適モードがＳＫＩＰモードである比率であり、ＭｒｇＣｏｓｔは２Ｎｘ２Ｎモードで実行されたＭＥＲＧＥモードのＭＥＲＧＥモードＳＡＴＤコストであり、ＩｎｔｅｒＳＡＴＤＣｏｓｔは段階最適モードＳＡＴＤコストであり、θ、ａ１、ｂ１はそれぞれ調整係数であり、実際の業務需要に応じて設定することができ、例えば、θのデフォルト値を０.８に設定することができ、ａ１、ｂ１のデフォルト値はいずれも１である。ｓｋｉｐＭＥＬｅｆｔとは、ＲＥＣＴ／ＡＭＰがＭＥＲＧＥモードのみを実行し、前方向ＭＥ、後方向ＭＥ、両方向ＭＥを行わないことを意味する。

【0085】

本実施例では、フレーム間予測符号化の際に、取得した現在の符号化ブロックに関する判定情報に基づいて、現在の符号化ブロックの動き推定ＭＥ符号化をスキップするか否かを判断し、当該判定情報は、軽量動画符号化の事前解析を行う際にエンコーダによって確定される事前解析情報、または、現在の符号化ブロックによる再帰符号化の後に得られる複数のサブブロックの符号化情報、または、実行されたモードに基づいて確定される実行済みモード情報を含み得て、異なる判定情報に基づいて、異なる高速判定方法を採用してＭＥスキップ判定を行うことができ、不要なＰＵ ＭＥを減らし、符号化の複雑さを大幅に低下させ、エンコーダのリソースオーバーヘッドを減少させ、さらにエンコーダの符号化圧縮速度を向上させることができ、エンコーダの圧縮速度を向上させた後、トランスコードサービスのスループットを高めることができ、さらにサーバリソースを節約し、トランスコードコストを削減することができる。本実施例におけるＭＥ符号化をスキップする判定により、エンコーダ圧縮率が０.２％損失する条件下で、符号化速度を１８％向上させることができる。オンライントランスコードアプリケーションの観点から、わずかな画質損失でサーバのコンピューティングリソースを１８％節約し、さらにトランスコードコストを削減することができる。

【0086】

図１０は、本発明の実施例による動画予測符号化の装置実施例の構造ブロック図であり、以下のモジュールを含み得る。

【0087】

判定情報取得モジュール１００１は、フレーム間予測符号化の際に、現在の符号化ブロックに関する判定情報を取得するように構成され、前記判定情報は、軽量動画符号化の事前解析を行う際にエンコーダによって確定される事前解析情報、または、前記現在の符号化ブロックによる再帰符号化の後に得られる複数のサブブロックの符号化情報、または、実行されたモードに基づいて確定される実行済みモード情報を含む。

【0088】

ＭＥスキップ判定モジュール１００２は、前記判定情報に基づいて、前記現在の符号化ブロックの動き推定ＭＥ符号化をスキップするか否かを判断するように構成される。

【0089】

一実施形態では、前記判定情報が軽量動画符号化の事前解析を行う際にエンコーダによって確定される事前解析情報である場合、前記ＭＥスキップ判定モジュール１００２は、以下のサブモジュールを含み得る。

【0090】

事前解析情報インデックスサブモジュールは、現在の符号化ブロックのサイズに基づいて、対応するダウンサンプリングブロックの数を確定し、各ダウンサンプリングブロックの事前解析情報をインデックスするように構成される。

【0091】

事前解析情報判定サブモジュールは、前記ダウンサンプリングブロックの事前解析情報を集約し、前記集約の結果に基づいて前記現在の符号化ブロックのＭＥ符号化をスキップするか否かを判断するように構成される。

【0092】

一実施形態では、前記ダウンサンプリングブロックの事前解析情報は、フレーム間符号化コスト、フレーム内符号化コスト、及び前記ダウンサンプリングブロックによって予測された最適モードを含む。

【0093】

前記事前解析情報判定サブモジュールは、

【0094】

現在の符号化ブロックに対応するすべてのダウンサンプリングブロックのフレーム間符号化コストの総和を計算することにより、前記現在の符号化ブロックの推定フレーム間符号化コストを得て、

【0095】

現在の符号化ブロックに対応するすべてのダウンサンプリングブロックのフレーム内符号化コストの総和を計算することにより、前記現在の符号化ブロックの推定フレーム内符号化コストを得て、

【0096】

現在の符号化ブロックに対応するすべてのダウンサンプリングブロックのうち、最適モードがフレーム内予測モードであるダウンサンプリングブロックの数を計算し、前記数に基づいて前記現在の符号化ブロックの最適モードがフレーム内予測モードである第１の比率を確定し、

【0097】

前記第１の比率が第１のプリセット比率閾値より大きく、且つ、前記推定フレーム内符号化コストと第１の調整係数との積が、前記推定フレーム間符号化コストと第２の調整係数との積より小さい場合、前記現在の符号化ブロックのＭＥ符号化をスキップするように構成され、ここで、前記第１の調整係数は、前記第２の調整係数より小さい。

【0098】

一実施形態では、前記判定情報が前記現在の符号化ブロックによる再帰符号化の後に得られる複数のサブブロックの符号化情報である場合、前記サブブロックの符号化情報は、サブブロックの最適モード及び当該サブブロックがさらに再帰的に分割されるか否かを含む。

【0099】

前記ＭＥスキップ判定モジュール１００２は、以下のサブモジュールを含み得る。

【0100】

比率計算サブモジュールは、現在の符号化ブロックの各サブブロックの最適モードに基づいて、現在の符号化ブロックの最適モードがフレーム内予測モードである第２の比率、及び現在の符号化ブロックの最適モードがＳＫＩＰモードである第３の比率を確定し、現在の符号化ブロックの各サブブロックがさらに再帰的に分割されるか否かに基づいて、現在の符号化ブロックのサブブロック再帰比率を確定するように構成される。

【0101】

比率判定サブモジュールは、前記第２の比率、前記第３の比率および／または前記サブブロック再帰比率に基づいて、前記現在の符号化ブロックのＭＥ符号化をスキップするか否かを判断するように構成される。

【0102】

一実施形態では、前記比率判定サブモジュールは、

【0103】

前記サブブロック再帰比率がプリセット再帰比率閾値より大きく、且つ、前記第２の比率が第２のプリセット比率閾値より大きい場合、前記現在の符号化ブロックのＭＥ符号化をスキップし、

【0104】

または、

【0105】

前記第３の比率が第３のプリセット比率閾値より大きく、且つ、前記サブブロック再帰比率が第４のプリセット比率閾値より大きい場合、前記現在の符号化ブロックのＭＥ符号化をスキップするように構成される。

【0106】

一実施形態では、前記判定情報が実行されたモードに基づいて確定される実行済みモード情報である場合、前記実行済みモード情報は、段階最適モードＳＡＴＤコスト及びフレーム内予測ＳＡＴＤコストを含む。

【0107】

前記ＭＥスキップ判定モジュール１００２は、以下のサブモジュールを含み得る。

【0108】

ＳＡＴＤコスト判定サブモジュールは、現在の符号化ブロックが再帰符号化を行っておらず、且つ、前記フレーム内予測ＳＡＴＤコストと第３の調整係数との積が、前記段階最適モードＳＡＴＤコストと第４の調整係数との積より小さい場合、前記現在の符号化ブロックのＭＥ符号化をスキップするように構成され、ここで、前記第３の調整係数は、前記第４の調整係数より大きい。

【0109】

一実施形態では、前記判定情報が実行されたモードに基づいて確定される実行済みモード情報である場合、前記実行されたモードは、少なくとも２Ｎｘ２Ｎモード及びＢＩＤＩＲモードを含み、前記実行済みモード情報は、２Ｎｘ２Ｎモードで実行されたＭＥＲＧＥモードのＭＥＲＧＥモードＳＡＴＤコスト、及び段階最適モードＳＡＴＤコストを含む。

【0110】

前記ＭＥスキップ判定モジュール１００２は、以下のサブモジュールを含み得る。

【0111】

第１の部分ＭＥスキップ判定サブモジュールは、現在の予測ユニットが非正方形予測ユニットである場合、前記ＭＥＲＧＥモードＳＡＴＤコストが前記段階最適モードＳＡＴＤコストより小さいか否かを判断し、前記ＭＥＲＧＥモードＳＡＴＤコストが前記段階最適モードＳＡＴＤコストより小さい場合、前記非正方形予測ユニットに対してＭＥＲＧＥモードを実行し、前記非正方形予測ユニットの前方向ＭＥ符号化、後方向ＭＥ符号化及び両方向ＭＥ符号化をスキップするように構成される。

【0112】

一実施形態では、現在の符号化ブロックが再帰符号化を行なった場合、前記実行済みモード情報は、現在の符号化ブロックの最適モードがＳＫＩＰモードである比率をさらに含む。

【0113】

前記ＭＥスキップ判定モジュール１００２は、以下のサブモジュールを含み得る。

【0114】

第１の部分ＭＥスキップ判定サブモジュールは、前記ＭＥＲＧＥモードＳＡＴＤコストが前記段階最適モードＳＡＴＤコストより小さく、且つ、前記現在の符号化ブロックの最適モードがＳＫＩＰモードである比率がプリセット比率閾値より大きい場合、前記非正方形予測ユニットに対してＭＥＲＧＥモードを実行し、前記非正方形予測ユニットの前方向ＭＥ符号化、後方向ＭＥ符号化及び両方向ＭＥ符号化をスキップするように構成される。

【0115】

なお、本発明の実施例による上記動画予測符号化の装置は、本発明の実施例による動画予測符号化の方法を実行でき、方法の実行に応じた機能モジュールと有益効果を備えている。

【0116】

図１１は、本発明の実施例による電子デバイスの構造概略図であり、図１１に示されたように、当該電子デバイスは、プロセッサ１１１０、メモリ１１２０、入力装置１１３０及び出力装置１１４０を含む。電子デバイスにおいて、プロセッサ１１１０の数は、１つ以上であってもよく、図１１では１つのプロセッサ１１１０を例にする。電子デバイスにおけるプロセッサ１１１０、メモリ１１２０、入力装置１１３０及び出力装置１１４０は、バスまたは他の方法で接続されることができ、図１１ではバスで接続することを例にする。

【0117】

メモリ１１２０は、コンピュータ可読記憶媒体として、本発明の実施例における方法に対応するプログラム命令／モジュールのようなソフトウェアプログラム、コンピュータ実行可能プログラムおよびモジュールを記憶するように構成されることができる。プロセッサ１１１０は、メモリ１１２０に記憶されたソフトウェアプログラム、命令、およびモジュールを実行することにより、電子デバイスの様々な機能アプリケーションおよびデータ処理を実行し、即ち上記の方法を実現する。

【0118】

メモリ１１２０は、主にプログラム記憶領域とデータ記憶領域とを含むことができ、ここで、プログラム記憶領域は、

【0119】

オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションを記憶することができ、データ記憶領域は、端末の使用に応じて作成されたデータなどを記憶することができる。また、メモリ１１２０は、高速ランダムアクセスメモリを含むことができ、例えば少なくとも１つの磁気ディスク記憶装置、フラッシュメモリ装置、または他の不揮発性固体記憶装置などの不揮発性メモリを含むことができる。いくつかの例では、メモリ１１２０は、プロセッサ１１１０に対して遠隔的に配置されたメモリを含むことができ、これらの遠隔メモリは、ネットワークを介して電子デバイスに接続されることができる。上記ネットワークの例としては、インターネット、企業内イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、およびそれらの組み合わせが挙げられるが、これらに限定されない。

【0120】

入力装置１１３０は、入力された数字または文字情報を受信し、電子デバイスのユーザ設定および機能制御に関係するキー信号入力を生成するように構成されていてもよい。出力装置１１４０は、ディスプレイなどの表示デバイスを含むことができる。

【0121】

本発明の実施例では、コンピュータ実行可能命令を含む記憶媒体をさらに提供し、前記コンピュータ実行可能命令は、サーバのプロセッサによって実行される際に、本発明のいずれかの実施例における方法を実行するように設定される。

【0122】

実施形態に関する上記の説明から、当業者は、ソフトウェアおよび必要な汎用ハードウェアによって本発明を実現することができ、もちろんハードウェアによっても実現することができることを明確に理解するだろう。このような理解に基づいて、本発明の技術案は本質的に、あるいは関連技術に寄与する部分をソフトウェア製品の形で具現することができ、当該コンピュータソフトウェア製品は、計算机のフロッピーディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ, ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ, ＲＡＭ）、フラッシュメモリ（ＦＬＡＳＨ）、ハードディスク、または光ディスクなどのコンピュータ可読記憶媒体に記憶されることができ、１台のコンピュータ装置（パーソナルコンピュータ、サーバ、またはネットワーク装置などであってもよい）に本発明の複数の実施例に記載された方法を実行させるためのいくつかの命令を含む。コンピュータ可読記憶媒体は、非一時的コンピュータ可読記憶媒体であってもよい。

【0123】

なお、上記装置の実施例において、含まれる複数のユニット及びモジュールは、単に機能論理に従って区分されたものであるが、上述した区分に限定されるものではなく、対応する機能を実現できればよい。また、複数の機能ユニットの具体的な名称も、相互の区別を容易にするためのものであり、本発明の保護範囲を限定するためのものではない。

【符号の説明】

【0124】

１００１ 判定情報取得モジュール
１００２ ＭＥスキップ判定モジュール
１１１０ プロセッサ
１１２０ メモリ
１１３０ 入力装置
１１４０ 出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】