特許 7391456 画像処理方法、装置、端末及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-27

(45)【発行日】2023-12-05

(54)【発明の名称】画像処理方法、装置、端末及びコンピュータプログラム

(51)【国際特許分類】

   H04N 19/107 20140101AFI20231128BHJP

   H04N 19/176 20140101ALI20231128BHJP

   H04N 19/159 20140101ALI20231128BHJP

   H04N 19/136 20140101ALI20231128BHJP

   H04N 19/147 20140101ALI20231128BHJP

【ＦＩ】

H04N19/107

H04N19/176

H04N19/159

H04N19/136

H04N19/147

【請求項の数】 13

(21)【出願番号】P 2022524011

(86)(22)【出願日】2020-11-10

(65)【公表番号】

(43)【公表日】2023-01-05

(86)【国際出願番号】 CN2020127690

(87)【国際公開番号】W WO2021159785

(87)【国際公開日】2021-08-19

【審査請求日】2022-04-22

(31)【優先権主張番号】202010088822.5

(32)【優先日】2020-02-12

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】▲張▼ 宏▲順▼

【審査官】田部井 和彦

(56)【参考文献】

【文献】特表２０１８－５１１２２５（ＪＰ，Ａ）

【文献】特開２０１０－１３５８６４（ＪＰ，Ａ）

【文献】特開２０１５－１３９０１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／１０７

Ｈ０４Ｎ １９／１７６

Ｈ０４Ｎ １９／１５９

Ｈ０４Ｎ １９／１３６

Ｈ０４Ｎ １９／１４７

(57)【特許請求の範囲】

【請求項1】

画像処理装置により実行される画像処理方法であって、
画像フレームにおける現在符号化ユニットの相関ユニットセットを決定するステップであって、前記相関ユニットセットは、相関符号化ユニットを含み、前記相関符号化ユニットは、前記画像フレームにおいて前記現在符号化ユニットに隣接するターゲットユニット、及び前記画像フレームにおいて前記現在符号化ユニットと親子関係を有する符号化ユニットのうちの少なくとも１つを含む、ステップと、
前記相関ユニットセットにおける各相関符号化ユニットの予測モードに基づき、第１統計情報を決定するステップと、
前記現在符号化ユニットに対応する前処理画像ブロックの第２統計情報を取得するステップと、
前記第１統計情報及び前記第２統計情報に基づき、前記現在符号化ユニットの符号化予測方式を決定するステップであって、前記符号化予測方式は、選択した予測モード及び／又は予測モードの処理順序を指示することで、前記選択した予測モード及び／又は予測モードの処理順序に基づき、前記現在符号化ユニットに対して予測符号化を行うための方式である、ステップと、を含み、
前記第１統計情報及び前記第２統計情報に基づき、前記現在符号化ユニットの符号化予測方式を決定する前記ステップは、
前記第１統計情報及び前記第２統計情報が第１所定条件を満たすとともに、前記第１統計情報及び前記第２統計情報が第２所定条件を満たしていないと、第１符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定するステップであって、前記第１符号化予測方式は、第１予測モードを採用して前記現在符号化ユニットに対して予測処理を行った後、第２予測モードを採用して前記現在符号化ユニットに対して予測処理を行う方式である、ステップを含み、
前記第１所定条件は、前記予測モードが第１予測モードである前処理画像ブロックの数と前記前処理画像ブロックの総数との間の差値がターゲット数値以下であり、且つ前記相関符号化ユニットの総数が第１数値以上であり、前記予測モードが第１予測モードである相関符号化ユニットの数が第２数値以上であり、フレーム内レート歪みコストの総和値が、フレーム間レート歪みコストの総和値と第１参照値とを乗算することにより得られる値よりも小さいことであり、前記第２数値は、前記相関符号化ユニットの総数に基づき決定され、
前記第２所定条件は、前記予測モードが第１予測モードである相関符号化ユニットの数と前記相関符号化ユニットの総数との間の差値がターゲット数値以下であり、且つ前記フレーム内レート歪みコストの総和値が、前記フレーム間レート歪みコストの総和値と第２参照値とを乗算することにより得られる値よりも小さいことである、方法。

【請求項2】

前記第１統計情報は、前記予測モードが第１予測モードである相関符号化ユニットの数、及び前記相関符号化ユニットの総数を含み、
前記第２統計情報は、前記前処理画像ブロックの総数、前記予測モードが第１予測モードである前処理画像ブロックの数、及びレート歪みコスト情報を含む、請求項１に記載の方法。

【請求項3】

第１符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定する前記ステップの後、
前記現在符号化ユニットが前記第１予測モードを採用する際の第１レート歪みコスト、及び前記現在符号化ユニットがターゲットタイプの第２予測モードを採用する際の第２レート歪みコストを計算するステップと、
前記第１レート歪みコスト及び前記第２レート歪みコストが第４所定条件を満たすと、前記第１予測モードを前記現在符号化ユニットの予測モードに決定し、他のタイプの第２予測モードによる、前記現在符号化ユニットに対する予測処理の動作を終了させるステップと、をさらに含む、請求項１又は２に記載の方法。

【請求項4】

前記ターゲットタイプの第２予測モードは、マージ（ｍｅｒｇｅ）予測モード及び／又はスキップ（ｓｋｉｐ）予測モードを含み、前記第４所定条件を満たすことは、前記第１レート歪みコストが、前記第２レート歪みコストと第４参照値とを乗算することにより得られる値よりも小さいことである、請求項３に記載の方法。

【請求項5】

前記第１統計情報及び前記第２統計情報に基づき、前記現在符号化ユニットの符号化予測方式を決定する前記ステップは、
前記第１統計情報及び前記第２統計情報が前記第１所定条件を満たすとともに、前記第２所定条件を満たすと、第２符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定するステップであって、前記第２符号化予測方式は、第１予測モードを採用して前記現在符号化ユニットに対して予測処理を行う方式である、ステップを含む、請求項１又は２に記載の方法。

【請求項6】

前記第１統計情報及び前記第２統計情報が第３所定条件を満たすと、第３符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定するステップであって、前記第３符号化予測方式は、第２予測モードを採用して前記現在符号化ユニットに対して予測処理を行う方式である、ステップをさらに含む、請求項１又は２に記載の方法。

【請求項7】

前記第３所定条件を満たすことは、前記相関符号化ユニットの総数が第３数値以上であり、且つ前記予測モードが第１予測モードである相関符号化ユニットの数が第４数値以下であり、前記前処理画像ブロックの総数が第５数値以上であり、前記予測モードが前記第１予測モードである前処理画像ブロックの数が第６数値以下であり、フレーム間レート歪みコストの総和値は、フレーム内レート歪みコストの総和値と第３参照値とを乗算することにより得られる値よりも小さいことである、請求項６に記載の方法。

【請求項8】

前記相関ユニットセットにおける各相関符号化ユニットの予測モードに基づき、第１統計情報を決定する前記ステップは、
前記相関ユニットセットにおける相関符号化ユニットの総数、及び各相関符号化ユニットの予測モードを取得するステップと、
前記各相関符号化ユニットの予測モードに基づき、前記相関ユニットセットにおける、予測モードが第１予測モードである相関符号化ユニットの数を決定するステップと、
前記予測モードが第１予測モードである相関符号化ユニットの数、前記相関符号化ユニットの総数を第１統計情報に決定するステップと、を含む、請求項２に記載の方法。

【請求項9】

前記現在符号化ユニットに対応する前処理画像ブロックの第２統計情報を取得する前記ステップは、
前記現在符号化ユニットに対応する前処理画像ブロックの総数、及び各前処理画像ブロックの予測モード、レート歪みコスト情報を取得するステップと、
前記各前処理画像ブロックの予測モードに基づき、予測モードが第１予測モードである前処理画像ブロックの数を決定するステップと、
前記前処理画像ブロックの総数、前記予測モードが第１予測モードである前処理画像ブロックの数、及び前記レート歪みコスト情報に基づき、第２統計情報を決定するステップと、を含む、請求項２に記載の方法。

【請求項10】

前記レート歪みコスト情報は、フレーム内レート歪みコスト及びフレーム間レート歪みコストを含み、
前記前処理画像ブロックの総数、前記予測モードが第１予測モードである前処理画像ブロックの数、及び前記レート歪みコスト情報に基づき、第２統計情報を決定するステップは、
各前記前処理画像ブロックのレート歪みコスト情報に基づき、フレーム内レート歪みコストの総和値及びフレーム間レート歪みコストの総和値を決定するステップと、
前記前処理画像ブロックの総数、前記予測モードが第１予測モードである前処理画像ブロックの数、前記フレーム内レート歪みコストの総和値、及び前記フレーム間レート歪みコストの総和値を第２統計情報に決定するステップと、を含む、請求項９に記載の方法。

【請求項11】

画像処理装置であって、前記装置は、
画像フレームにおける現在符号化ユニットの相関ユニットセットを決定するための処理ユニットであって、前記相関ユニットセットは、相関符号化ユニットを含み、前記相関符号化ユニットは、前記画像フレームにおいて前記現在符号化ユニットに隣接するターゲットユニット、及び前記画像フレームにおいて前記現在符号化ユニットと親子関係を有する符号化ユニットのうちの少なくとも１つを含む、処理ユニットと、
前記相関ユニットセットにおける各相関符号化ユニットの予測モードに基づき、第１統計情報を決定するための取得ユニットと、を含み、
前記取得ユニットはさらに、前記現在符号化ユニットに対応する前処理画像ブロックの第２統計情報を取得し、
前記処理ユニットはさらに、前記第１統計情報及び前記第２統計情報に基づき、前記現在符号化ユニットの符号化予測方式を決定し、前記符号化予測方式は、選択した予測モード及び／又は予測モードの処理順序を指示することで、前記選択した予測モード及び／又は予測モードの処理順序に基づき、前記現在符号化ユニットに対して予測符号化を行うための方式であり、
前記第１統計情報及び前記第２統計情報に基づき、前記現在符号化ユニットの符号化予測方式を決定することは、
前記第１統計情報及び前記第２統計情報が第１所定条件を満たすとともに、前記第１統計情報及び前記第２統計情報が第２所定条件を満たしていないと、第１符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定することであって、前記第１符号化予測方式は、第１予測モードを採用して前記現在符号化ユニットに対して予測処理を行った後、第２予測モードを採用して前記現在符号化ユニットに対して予測処理を行う方式である、ことを含み、
前記第１所定条件は、前記予測モードが第１予測モードである前処理画像ブロックの数と前記前処理画像ブロックの総数との間の差値がターゲット数値以下であり、且つ前記相関符号化ユニットの総数が第１数値以上であり、前記予測モードが第１予測モードである相関符号化ユニットの数が第２数値以上であり、フレーム内レート歪みコストの総和値が、フレーム間レート歪みコストの総和値と第１参照値とを乗算することにより得られる値よりも小さいことであり、前記第２数値は、前記相関符号化ユニットの総数に基づき決定され、
前記第２所定条件は、前記予測モードが第１予測モードである相関符号化ユニットの数と前記相関符号化ユニットの総数との間の差値がターゲット数値以下であり、且つ前記フレーム内レート歪みコストの総和値が、前記フレーム間レート歪みコストの総和値と第２参照値とを乗算することにより得られる値よりも小さいことである、装置。

【請求項12】

端末であって、実行可能なプログラムコードが記憶されるメモリと、前記実行可能なプログラムコードを呼び出すことで、請求項１から１０のいずれか一項に記載の方法を実行するためのプロセッサーと、を含む端末。

【請求項13】

コンピュータプログラムであって、命令が含まれ、前記命令はコンピュータで実行される場合、コンピュータに請求項１から１０のいずれか一項に記載の方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２０年２月１２日に中国特許庁に提出され、出願番号が第２０２０１００８８８２２．５号であり、発明の名称が「画像予測処理方法、装置、端末及びコンピュータ可読記憶媒体」である中国特許出願の優先権を主張して、その全ての内容は本出願に援用される。

【0002】

本出願は、ビデオ符号化の技術分野に関し、特に、画像処理方法、装置、端末及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0003】

ビデオ符号化技術の発展に伴い、多種のビデオ符号化標準が出てきた。ビデオ符号化標準において、一般的に、多種の予測モードを提供する。現在、ビデオ符号化の過程で、最終的に採用する予測モードを決定するために、各種の予測モードでのレート歪みコストを計算する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本出願の実施例は、符号化ユニットの符号化予測方式を自己適応且つ迅速に決定できる画像処理方法、装置、端末及びコンピュータ可読記憶媒体を提供する。

【課題を解決するための手段】

【0005】

本出願の実施例は画像処理方法を提供し、前記方法は、
画像フレームにおける現在符号化ユニットの、相関符号化ユニットを含む相関ユニットセットを決定するステップであって、前記相関符号化ユニットは、前記画像フレームにおいて前記現在符号化ユニットに隣接するターゲットユニット、及び前記画像フレームにおいて前記現在符号化ユニットと親子関係を有する符号化ユニットのうちの少なくとも１つを含むステップと、
前記相関ユニットセットにおける各相関符号化ユニットの予測モードに基づき、第１統計情報を決定するステップと、
前記現在符号化ユニットに対応する前処理画像ブロックの第２統計情報を取得するステップと、
前記第１統計情報及び前記第２統計情報に基づき、前記現在符号化ユニットの符号化予測方式を決定するステップであって、前記符号化予測方式は、選択した予測モード及び／又は予測モードの処理順序を指示することで、前記選択した予測モード及び／又は予測モードの処理順序に基づき、前記現在符号化ユニットに対して予測符号化を行うための方式である、ステップと、を含む。

【0006】

本出願の実施例は画像処理装置を提供し、前記装置は、
画像フレームにおける現在符号化ユニットの、相関符号化ユニットを含む相関ユニットセットを決定するための処理ユニットであって、前記相関符号化ユニットは、前記画像フレームにおいて前記現在符号化ユニットに隣接するターゲットユニット、及び前記画像フレームにおいて前記現在符号化ユニットと親子関係を有する符号化ユニットのうちの少なくとも１つを含む処理ユニットと、
前記相関ユニットセットにおける各相関符号化ユニットの予測モードに基づき、第１統計情報を決定するための取得ユニットと、を含み、
前記取得ユニットはさらに、前記現在符号化ユニットに対応する前処理画像ブロックの第２統計情報を取得し、
前記処理ユニットはさらに、前記第１統計情報及び前記第２統計情報に基づき、前記現在符号化ユニットの符号化予測方式を決定し、前記符号化予測方式は、選択した予測モード及び／又は予測モードの処理順序を指示することで、前記選択した予測モード及び／又は予測モードの処理順序に基づき、前記現在符号化ユニットに対して予測符号化を行うための方式である。

【0007】

本出願の実施例は端末を提供し、前記端末は、実行可能なプログラムコードが記憶されるメモリと、前記実行可能なプログラムコードを呼び出すことで、上記の画像処理方法を実行するためのプロセッサーと、を含む。

【0008】

本出願の実施例はコンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には命令が記憶され、前記命令はコンピュータで実行される場合、コンピュータに上記の画像処理方法を実行させる。

【0009】

本発明の実施例は符号化ユニットに隣接する、及び／又は符号化ユニットと親子関係を有するユニットの予測モードに基づき、第１統計情報を決定し、符号化ユニットに対応する前処理画像ブロックの第２統計情報を取得し、第１統計情報及び第２統計情報に基づき、符号化ユニットの符号化予測方式を決定し、符号化ユニットの符号化予測方式を自己適応且つ迅速に決定でき、符号化予測方式の決定効率を向上させる。

【0010】

本出願の実施例又は従来技術における技術案をより明らかに説明するために、以下では、実施例又は従来技術の記載の必要な図面を簡単に紹介するが、当然ながら、以下に記載の図面は本出願のいくつかの実施例に過ぎず、当業者にとって、進歩性に値する労働をしない前提で、これらの図面に基づき、他の図面を取得できる。

【図面の簡単な説明】

【0011】

【図1】本出願の実施例が提供するＨＥＶＣ符号化フレームワークの概略図である。

【図2】本出願の実施例に係るフレーム間予測モードに対応する分割方法の概略図である。

【図3】本出願の実施例が提供する予測フロー概略図である。

【図4】本出願の実施例が提供する画像処理方法のフロー概略図である。

【図5】本出願の実施例が提供するユニットの間の位置関係の概略図である。

【図6】本出願の実施例が提供する符号化予測方式を決定するフロー概略図である。

【図7】本出願の実施例が提供する符号化予測方式を決定する別のフロー概略図である。

【図8】本出願の実施例が提供する別の予測フロー概略図である。

【図9】本出願の実施例が提供する別の予測フロー概略図である。

【図10】本出願の実施例が提供する画像処理装置の構成概略図である。

【図11】本出願の実施例が提供する端末の構成概略図である。

【発明を実施するための形態】

【0012】

以下では、本出願の実施例の図面を結合して、本出願の実施例の技術案を明確且つ完全に記載する。まず、本出願の実施例に係るいくつかの用語を簡単に紹介する。

【0013】

画像フレーム：１つのビデオはいくつかのフレームの画像フレームからなる。ビデオ圧縮符号化は一般的に、ブロックによる符号化方法を採用し、即ち、ビデオにおける１つのフレームの画像フレームを、互いに重複しない複数のブロックに分けてから、これらのブロックを符号化する。ビデオ符号化の場合、各画像フレームはフレーム間予測符号化方法又はフレーム内予測符号化方法を採用してもよい。

【0014】

高効率ビデオ符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）標準において、符号化ユニット、予測ユニット及び変換ユニットの概念を提出した。符号化ユニット（Ｃｏｄｉｎｇ Ｕｉｎｔ、ＣＵ）：１つの画像フレームにおいて符号化を行うための基本的なユニットである。符号化ユニットは６４×６４、３２×３２、１６×１６、８×８などの画素サイズのブロックであってもよい。予測ユニット（Ｐｒｅｄｉｃｔ Ｕｎｉｔ、ＰＵ）：１つの画像フレームにおいて予測するための基本的なユニットである。予測ユニットは６４×６４、６４×３２、３２×６４、３２×３２、３２×１６、１６×３２、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４などの画素サイズのブロックであってもよい。変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、ＴＵ）：１つの画像フレームにおいて、残差（Ｒｅｓｉｄｕａｌ）又は変換係数（Ｔｒａｎｓｆｏｒｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ）を表現する基本的なユニットである。変換ユニットは、３２×３２、１６×１６、８×８、４×４などの画素サイズのブロックであってもよい。

【0015】

ＤＢ：ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ、デブロッキングフィルタ；ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ、自己適応画素補償；ＭＥ：Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ、モーション推定；ＲＤｃｏｓｔ：Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎｃｏｓｔ、レート歪みコスト、複数のオプションにおける最高選択に用いられる。

【0016】

ビデオ符号化技術の発展傾向は、高解像度、高フレームレート及び高圧縮率であり、例えば、Ｈ．２６４のような現在普及されているビデオ圧縮符号化標準は、原理的に一定の局所性があり、ビデオ符号化技術の上記の要求を満たすことができないため、高効率ビデオ符号化ＨＥＶＣ標準が出てきた。図１に示すように、標準なＨＥＶＣ符号化フレームワークを示す。画像フレームＦｎを符号器に導入して、まず、一定のサイズ（例えば６４×６４）に従って、画像フレームＦｎを複数のコーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｉｎｔ、ＣＴＵ）に分割し、コーディングツリーユニットＣＴＵに対して深層分割を行うことで、複数の符号化ユニットＣＵを取得し、各ＣＵは予測ユニットＰＵ及び変換ユニットＴＵを含む。そして、各ＰＵに対して予測処理を行って、予測値を取得し、予測値と入力データとを減算し、残差を取得する。残差に対して離散コサイン変換（ＤＣＴ）及び量子化を行って、残差係数を取得し、残差係数をエントロピー符号化モジュールに導入して処理することで、コードストリームを取得する。同時に、残差係数に対して逆量子化、逆変換を行った後、再構成画像フレームの残差値を取得し、さらに、予測値と加算することで、再構成画像フレームＦ’ｎを取得し、再構成画像フレームＦ’ｎはループ内フィルタリングを経て、参照フレームキューに入って、次の画像フレームの参照画像として、順次に符号化を行う。

【0017】

ＰＵ予測は、フレーム内予測及びフレーム間予測に分けられ、まず、同一予測タイプで、異なるＰＵ同士を比較し、最適な分割モードを探し出してから、フレーム内予測モードとフレーム間予測モードとの間で比較し、現在ＣＵでの最適予測モードを探し出すとともに、ＣＵに対して、四分木構成による自己適応変換（Ｒｅｓｉｄｕａｌ Ｑｕａｄ－ｔｒｅｅ Ｔｒａｎｓｆｏｒｍ、ＲＱＴ）を行って、最適なＴＵモードを探し出して、最後、画像フレームをそれぞれのＣＵ、及びＣＵに対応するＰＵ、ＴＵに分ける。

【0018】

図２に示すように、ＰＵの８つの分割モードを示す。フレーム間予測は、７つの分割モードを有し、２Ｎ×２Ｎモードと、矩形分割（Ｒｅｃｔａｎｇｌｅ、Ｒｅｃｔ）モードと、非対称分割（Ａｓｙｍｍｅｔｒｉｃ Ｍｏｔｉｏｎ Ｐａｒｔｉｏｎｉｎｇ、ＡＭＰ）モードとを有し、Ｒｅｃｔモードは、２Ｎ×Ｎ及びＮ×２Ｎの二つの具体的分割モードを有し、ＡＭＰモードは、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ及びｎＲ×２Ｎの四つの具体的分割モードを有する。上記の７つの分割モードは、フレーム間２Ｎ×２Ｎモード、フレーム間２Ｎ×Ｎモード、フレーム間Ｎ×２Ｎモード、フレーム間２Ｎ×ｎＵモード、フレーム間２Ｎ×ｎＤモード、フレーム間ｎＬ×２Ｎモード、フレーム間ｎＲ×２Ｎモードという７つのフレーム間予測モードにそれぞれ対応する。上記の７つのフレーム間予測モード以外に、ＨＥＶＣ標準はフレーム間スキップ（ｓｋｉｐ）モード及びフレーム間マージ（ｍｅｒｇｅ）モードという２つのフレーム間予測モードをさらに提供する。フレーム間予測は、上記の９つのフレーム間予測モードから、１つの最適な予測モード、即ち、レート歪みコストが最も小さい予測モードを探し出す必要がある。フレーム間予測の最適結果とフレーム内予測の最適結果とを比較して、最終的に、フレーム間予測を選択するか、それともフレーム内予測を選択するか、を決定する。

【0019】

最終的に採用する予測モードを決定するために、一般的に、各種の予測モードでのレート歪みコストを計算する必要があるが、レート歪みコストの計算量が大きいため、予測モードの決定過程の期間が長くて、効率が低い。現在、予測を行う場合、一般的に、図３のフローに従って、まず、各種のフレーム間（ｉｎｔｅｒ）予測モードを採用して予測し、そして、フレーム内（ｉｎｔｒａ）予測モードを採用して予測する。上記の予測過程は、各種の予測モードを採用して予測するため、大量の冗長計算が存在する恐れがある。例えば、トラバース計算後、最適予測モードがｉｎｔｒａ予測モードである可能性が高いと事前に決定できると、予測を行う時、ｉｎｔｅｒ予測モードを行わず、ｉｎｔｒａ予測のみを行って、ｉｎｔｅｒ予測を省略し、予測処理効率を向上させることができる。これに基づき、本出願の実施例は画像処理方法を提供し、符号化ユニットの隣接ユニットの数及び最適予測モード、符号化ユニットと親子関係を有する親符号化ユニットの数及び最適予測モード、画像フレーム前処理により得られた情報における符号化ユニットに対応する画像ブロックの数、最適予測モード及びレート歪みコスト情報を利用して、符号化ユニットの符号化予測方式を自己適応且つ迅速に決定し、当該符号化予測方式は、どの予測モード及び予測モードの処理順序を選択するかを指示することで、符号化予測方式の決定効率を効果的に向上させる。以下は詳しく説明する。

【0020】

図４を参照し、本出願の実施例が提供する画像処理方法のフロー概略図である。本出願の実施例に記載の画像処理方法は、ビデオ符号化機能を有する端末、例えばコンピュータ、ビデオ符号器、サーバーなどに適用できる。当該方法は以下のステップを含む。

【0021】

Ｓ４０１：画像フレームにおける現在符号化ユニットの相関ユニットセットを決定する。

【0022】

本出願の実施例において、符号化ユニットは、画像フレームから分割された何れか１つのコーディングツリーユニットＣＴＵに対して、深層分割を行うことで、得られた何れか１つの符号化ユニットである。画像フレームにおける分割により得られた各ユニットの間の位置関係及び区分階層関係に基づき、端末は現在符号化ユニットの相関ユニットセットを決定する。相関ユニットセットは現在符号化ユニットの相関符号化ユニットからなり、相関符号化ユニットは、画像フレームにおける、現在符号化ユニットに隣接するターゲットユニット、及び画像フレームにおける現在符号化ユニットと親子関係を有する符号化ユニットのうちの１つ又は複数を含む。

【0023】

いくつかの実施例において、ターゲットユニットは、画像フレームにおける、所定方向で現在符号化ユニットに隣接する隣接ユニットであり、当該所定方向は左方、左上、上方、右上のうちの１つ又は複数であってもよい。ターゲットユニットは、画像フレームにおける、予測ユニット又は符号化ユニットであってもよい。現在符号化ユニットと親子関係を有する符号化ユニットは、現在符号化ユニットと親関係を有する符号化ユニット、即ち、現在符号化ユニットが所属する親符号化ユニット、又は現在符号化ユニットと子関係を有する符号化ユニット、即ち、現在符号化ユニットから分割された子符号化ユニットである。

【0024】

Ｓ４０２：前記相関ユニットセットにおける各相関符号化ユニットの予測モードに基づき、第１統計情報を決定する。

【0025】

本出願の実施例において、端末は相関ユニットセットにおける各相関符号化ユニットの、第１予測モード又は第２予測モードを含む予測モードを取得し、取得した各相関符号化ユニットの予測モードに基づき、相関ユニットセットにおいて予測モードが第１予測モードである相関符号化ユニットの数を統計し、相関ユニットセットにおいて予測モードが第１予測モードである相関符号化ユニットの数を第１統計情報に決定する。いくつかの実施形態において、第１予測モードはフレーム内予測モード、即ち、ｉｎｔｒａ予測モードであり、第２予測モードはフレーム間予測モード、即ち、ｉｎｔｅｒ予測モードである。

【0026】

他のいくつかの実施例において、端末は、相関ユニットセットにおける相関符号化ユニットの総数、及び相関ユニットセットにおける各相関符号化ユニットの予測モードを取得し、取得した各相関符号化ユニットの予測モードに基づき、相関ユニットセットにおいて予測モードが第１予測モードである相関符号化ユニットの数を統計し、相関ユニットセットにおいて予測モードが第１予測モードである相関符号化ユニットの数、及び相関ユニットセットにおける相関符号化ユニットの総数を第１統計情報に決定する。

【0027】

いくつかの実施形態において、相関符号化ユニットの総数は、相関ユニットセットにおける符号化ユニットの親符号化ユニットの数とターゲットユニットの数との和、又は、相関ユニットセットにおける符号化ユニットの子符号化ユニットの数とターゲットユニットの数との和である。予測モードが第１予測モードである相関符号化ユニットの数は、予測モードが第１予測モードであるターゲットユニットの数と、現在符号化ユニットの親符号化ユニットにおいて予測モードが第１予測モードである親符号化ユニットの数との和、又は、予測モードが第１予測モードであるターゲットユニットの数と、現在符号化ユニットの子符号化ユニットにおいて予測モードが第１予測モードである子符号化ユニットの数との和である。

【0028】

例えば、第１予測モードはｉｎｔｒａ予測モードであり、ターゲットユニットは予測ユニットである。図５に示すように、Ｅは符号化ユニットを示し、Ａ、Ｂ、Ｃ、Ｄは、符号化ユニットＥに隣接する予測ユニットＰＵであり、予測ユニットＡ、Ｂ、Ｃ、Ｄの最適予測モードは決定されている。５０１は符号化ユニットＥの親符号化ユニットを示し、５０２は符号化ユニットＥの子符号化ユニットを示し、図５において、中点位置に従って、符号化ユニットＥを４つの子符号化ユニットに分割する。予測ユニットＡ、Ｂ、Ｃ、Ｄ及び符号化ユニットＥの親符号化ユニット又は子符号化ユニットはいずれも符号化ユニットＥの相関符号化ユニットである。符号化ユニットＥの、Ａ、Ｂ、Ｃ、Ｄという４つの位置での隣接予測ユニットが存在するかどうかを統計し、隣接予測ユニットの数を記録し、ｎＢｌｏｃｋ１と記して、隣接予測ユニットにおいて最適予測モードがｉｎｔｒａ予測モードであるユニットの数を記録し、ｎＩｎｔｒａ１と記する。符号化順序のため、符号化ユニットＥの親符号化ユニット及び子符号化ユニットには１つの状況のみが存在し、即ち、親符号化ユニットが存在すると、子符号化ユニットが存在せず、子符号化ユニットが存在すると、親符号化ユニットが存在しない。

【0029】

符号化ユニットＥの親符号化ユニットが存在し、且つ親符号化ユニットが１つだけあると、ｎＢｌｏｃｋ１の数に１を加算し、符号化ユニットＥの相関符号化ユニットの総数ｎＢｌｏｃｋを取得する。親符号化ユニットの最適予測モードがｉｎｔｒａ予測モードであると、ｎＩｎｔｒａ１の数に１を加算し、符号化ユニットＥの相関符号化ユニットにおいて予測モードがｉｎｔｒａ予測モードである相関符号化ユニットの数ｎＩｎｔｒａを取得する。

【0030】

符号化ユニットＥの子符号化ユニットが存在し、且つ子符号化ユニットの数が４であると、ｎＢｌｏｃｋ１の数に４を加算し、符号化ユニットＥの相関符号化ユニットの総数ｎＢｌｏｃｋを取得し、各子符号化ユニットの最適予測モードがｉｎｔｒａ予測モードであるかどうかを１つずつ判定する。４つの子符号化ユニットの最適予測モードがいずれもｉｎｔｒａ予測モードであると、ｎＩｎｔｒａ１の数に４を加算し、符号化ユニットＥの相関符号化ユニットにおいて予測モードがｉｎｔｒａ予測モードである相関符号化ユニットの数ｎＩｎｔｒａを取得する。

【0031】

Ｓ４０３：前記現在符号化ユニットに対応する前処理画像ブロックの第２統計情報を取得する。

【0032】

本出願の実施例において、現在符号化ユニットに対応する前処理画像ブロックは、現在符号化ユニットに対応する画像フレームに対する前処理過程で、画像フレームにおいて現在符号化ユニットに対応する画像領域から分割された画像ブロックを指す。いくつかの実施形態において、端末は、現在符号化ユニットに対応する各前処理画像ブロックの予測モードを取得し、当該予測モードは、第１予測モード又は第２予測モードを含む。取得した各前処理画像ブロックの予測モードに基づき、現在符号化ユニットに対応する前処理画像ブロックにおいて予測モードが第１予測モードである前処理画像ブロックの数を統計し、予測モードが第１予測モードである前処理画像ブロックの数を第２統計情報に決定する。第１予測モードはフレーム内予測モードであってもよく、第２予測モードはフレーム間予測モードであってもよい。

【0033】

他のいくつかの実施形態において、端末は、現在符号化ユニットに対応する前処理画像ブロックの総数、及び各前処理画像ブロックの予測モードを取得し、取得した各前処理画像ブロックの予測モードに基づき、現在符号化ユニットに対応する前処理画像ブロックにおいて予測モードが第１予測モードである前処理画像ブロックの数を統計し、前処理画像ブロックの総数、予測モードが第１予測モードである前処理画像ブロックの数を第２統計情報に決定する。

【0034】

他のいくつかの実施形態において、端末は現在符号化ユニットに対応する前処理画像ブロックの総数、及び各前処理画像ブロックの予測モード、レート歪みコスト情報を取得し、レート歪みコスト情報はフレーム内レート歪みコスト及びフレーム間レート歪みコストを含み、フレーム内レート歪みコストは、前処理画像ブロックが第１予測モード（又はフレーム内予測モードとも呼ばれる）を採用する際の最適レート歪みコストであり、フレーム間レート歪みコストは、前処理画像ブロックが第２予測モード（又はフレーム間予測モードとも呼ばれる）を採用する際の最適レート歪みコストである。各前処理画像ブロックの予測モードに基づき、予測モードが第１予測モードである前処理画像ブロックの数を決定し、各前処理画像ブロックのフレーム内レート歪みコストを蓄積して、フレーム内レート歪みコストの総和値を取得し、各前処理画像ブロックのフレーム間レート歪みコストを蓄積して、フレーム間レート歪みコストの総和値を取得する。端末は前処理画像ブロックの総数と、フレーム内レート歪みコストの総和値と、フレーム間レート歪みコストの総和値とのうちの１つ又は複数、及び予測モードが第１予測モードである前処理画像ブロックの数を、第２統計情報に決定する。

【0035】

画像フレーム符号化過程で、一般的に、前処理過程、例えばｘ２６５における予測先行（ｌｏｏｋａｈｅａｄ）処理過程を有する。シーケンスを事前分析することで、フレームタイプへの判定、ビットレート制御への指導などを目的とする。ｘ２６５は、高効率ビデオ符号化標準に合うビデオのためのオープンソース・フリーフリーソフトウェア、及び関数ライブラリである。前処理過程により得られる一部の情報は、以降の符号化予測過程に対する指導に用いられる。前処理の実行過程で、固定の画像ブロックのサイズに従って、画像フレームに対して、フレーム内予測及びフレーム間予測を行って、現在符号化ユニットに対応する画像領域における画像ブロックの統計情報である、画像ブロックの総数、フレーム内レート歪みコストの総和値、フレーム間レート歪みコストの総和値、最適予測モードが第１予測モードである画像ブロックの数などを取得し、現在符号化ユニットの符号化予測方式の決定の際に参照できる。

【0036】

例えば、１６×１６のサイズに従って、画像フレームを分割し、各１６×１６の画像ブロックに対して、フレーム内予測及びフレーム間予測処理を行って、各１６×１６の画像ブロックのフレーム内予測の最適レート歪みコスト、及びフレーム間予測の最適レート歪みコストを取得できる。現在符号化ユニットのサイズが８×８又は１６×１６であると、現在符号化ユニットに対応する画像領域には、１つの画像ブロックしかなく、現在符号化ユニットのサイズが３２×３２であると、現在符号化ユニットに対応する画像領域には４つの画像ブロックがあり、現在符号化ユニットのサイズは６４×６４であると、現在符号化ユニットに対応する画像領域には１６個の画像ブロックがある。現在符号化ユニットに対応する画像領域における画像ブロックの総数を取得し、ｎｕｍと記して、現在符号化ユニットに対応する画像領域における画像ブロックのフレーム内予測の最適レート歪みコストの蓄積和、即ち、フレーム内レート歪みコストの総和値を取得し、ｉｎｔｒａｃｏｓｔと記して、現在符号化ユニットに対応する画像領域における画像ブロックのフレーム間予測の最適レート歪みコストの蓄積和、即ち、フレーム間レート歪みコストの総和値を取得し、ｉｎｔｅｒｃｏｓｔと記して、現在符号化ユニットに対応する画像領域における画像ブロックのうちの、最適予測モードがｉｎｔｒａ予測モードである画像ブロックの数を取得し、ｉｎｔｒａ＿ｎｕｍと記する。

【0037】

Ｓ４０４：前記第１統計情報及び前記第２統計情報に基づき、前記現在符号化ユニットの符号化予測方式を決定する。

【0038】

いくつかの実施例において、第１統計情報は、予測モードが第１予測モードである相関符号化ユニットの数を含み、第２統計情報は、予測モードが第１予測モードである前処理画像ブロックの数を含む。端末は、予測モードが第１予測モードである相関符号化ユニットの数が、第１所定値以上であるかどうか、及び予測モードが第１予測モードである前処理画像ブロックの数が第２所定値以上であるかどうかを検出し、予測モードが第１予測モードである相関符号化ユニットの数が第１所定値以上であり、且つ予測モードが第１予測モードである前処理画像ブロックの数が第２所定値以上であると、第１予測モードを採用して現在符号化ユニットに対して予測処理を行った後、第２予測モードを採用して現在符号化ユニットに対して予測処理を行うように、現在符号化ユニットの符号化予測方式を決定するか、又は、第１予測モードを採用して現在符号化ユニットに対して予測処理を行うように、現在符号化ユニットの符号化予測方式を決定する。

【0039】

他のいくつかの実施例において、第１統計情報は、予測モードが第１予測モードである相関符号化ユニットの数、及び相関符号化ユニットの総数を含み、第２統計情報は、予測モードが第１予測モードである前処理画像ブロックの数、及び前処理画像ブロックの総数を含む。端末は、予測モードが第１予測モードである相関符号化ユニットの数が、第１所定値以上であるかどうか、及び相関符号化ユニットの総数が第３所定値以上であるかどうかを検出する。第１予測モードの相関符号化ユニットの数が第１所定値以上であり、且つ相関符号化ユニットの総数が第３所定値以上であると、予測モードが第１予測モードである前処理画像ブロックの数が第２所定値以上であるかどうか、及び前処理画像ブロックの総数が第４所定値以上であるかどうかをさらに検出し、予測モードが第１予測モードである前処理画像ブロックの数が第２所定値以上であり、前処理画像ブロックの総数が第４所定値以上であると、第１予測モードを採用して現在符号化ユニットに対して予測処理を行った後、第２予測モードを採用して現在符号化ユニットに対して予測処理を行うように、現在符号化ユニットの符号化予測方式を決定するか、又は、第１予測モードを採用して現在符号化ユニットに対して予測処理を行うように、現在符号化ユニットの符号化予測方式を決定する。

【0040】

上記の２つの方法において、現在符号化ユニットの相関符号化ユニットにおいて予測モードが第１予測モードである相関符号化ユニットの数、及び現在符号化ユニットに対応する前処理画像ブロックにおいて予測モードが第１予測モードである前処理画像ブロックの数に基づき、現在符号化ユニットの符号化予測方式を自己適応に決定する。予測モードが第１予測モードである相関符号化ユニットの数、及び予測モードが第１予測モードである前処理画像ブロックの数がいずれも所定値よりも大きい場合、現在符号化ユニットの最適予測モードが第１予測モードである可能性が高いと決定でき、この場合、直接的に第１予測モードを現在符号化ユニットの予測モードに決定し、又は第１予測モードを前倒しにするように決定する。数の統計過程及び数の大きさの比較過程に係る計算量が小さくて、時間が短いため、上記の方法を採用すれば、符号化ユニットの符号化予測方式を正確に決定した上で、符号化予測方式の決定効率を効果的に向上させる。

【0041】

上記の２つの方法の判定条件は簡単であるため、決定した符号化予測方式の正確さが低くて、決定した符号化予測方式の正確さを向上させるために、以下の決定方法を採用すればよい。第１統計情報は、予測モードが第１予測モードである相関符号化ユニットの数、及び相関符号化ユニットの総数を含み、第２統計情報は、予測モードが第１予測モードである前処理画像ブロックの数、前処理画像ブロックの総数、フレーム内レート歪みコストの総和値、及び前記フレーム間レート歪みコストの総和値を含む。

【0042】

いくつかの実施形態において、予測モードが第１予測モードである相関符号化ユニットの数、相関符号化ユニットの総数、予測モードが第１予測モードである前処理画像ブロックの数、前処理画像ブロックの総数、フレーム内レート歪みコストの総和値及びフレーム間レート歪みコストの総和値が、第１所定条件を満たすかどうかを検出し、第１所定条件を満たすと、第１符号化予測方式を現在符号化ユニットの符号化予測方式に決定する。第１符号化予測方式は、第１予測モードを採用して現在符号化ユニットに対して予測処理を行った後、第２予測モードを採用して現在符号化ユニットに対して予測処理を行う。

【0043】

第１所定条件を満たすことは、予測モードが第１予測モードである前処理画像ブロックの数と、前処理画像ブロックの総数との間の差値が、ターゲット数値の以下であり、相関符号化ユニットの総数が第１数値以上であり、予測モードが第１予測モードである相関符号化ユニットの数が第２数値以上であり、フレーム内レート歪みコストの総和値が、フレーム間レート歪みコストの総和値と第１参照値とを乗算することにより得られた値よりも小さいことである。なお、当該第２数値は、相関符号化ユニットの総数に基づき決定され、例えば、相関符号化ユニットの総数の半分であり、当該第１参照値は符号化速度と正の相関を有し、０よりも大きく、且つ１以下である数値である。当該ターゲット数値は、例えば０であり、当該第１数値は、例えば２である。

【0044】

他の実施形態において、予測モードが第１予測モードである相関符号化ユニットの数、相関符号化ユニットの総数、予測モードが第１予測モードである前処理画像ブロックの数、前処理画像ブロックの総数、フレーム内レート歪みコストの総和値及びフレーム間レート歪みコストの総和値が、第１所定条件を満たすかどうかを検出する。第１所定条件を満たすと、予測モードが第１予測モードである相関符号化ユニットの数、相関符号化ユニットの総数、フレーム内レート歪みコストの総和値及びフレーム間レート歪みコストの総和値が第２所定条件を満たすかどをさらに検出し、第２所定条件を満たすと、第２符号化予測方式を現在符号化ユニットの符号化予測方式に決定する。第２所定条件を満たしていないと、第１符号化予測方式を現在符号化ユニットの符号化予測方式に決定する。第２符号化予測方式は第１予測モードを採用して現在符号化ユニットに対して予測処理を行う。

【0045】

第２所定条件を満たすことは、予測モードが第１予測モードである相関符号化ユニットの数と、相関符号化ユニットの総数との間の差値がターゲット数値の以下であり、フレーム内レート歪みコストの総和値が、フレーム間レート歪みコストの総和値と第２参照値とを乗算することにより得られた値よりも小さいことである。なお、当該第２参照値は符号化速度と正の相関を有し、０以上且つ１以下の数値であるとともに、当該第１参照値よりも小さい。当該ターゲット数値は、例えば０であり、第２所定条件におけるターゲット数値と、第１所定条件におけるターゲット数値とは同様であってもよいし、異なってもよい。第１所定条件を満たすことに関する内容について、以上の記載を参照すればよく、ここで、贅言しない。

【0046】

例えば、第１予測モードはｉｎｔｒａ予測モードであり、第２予測モードはｉｎｔｅｒ予測モードである。現在符号化ユニットの相関ユニットセットにおける相関符号化ユニットの総数はｎＢｌｏｃｋであり、相関ユニットセットにおける予測モードがｉｎｔｒａ予測モードである相関符号化ユニットの数はｎＩｎｔｒａであり、現在符号化ユニットに対応する前処理画像ブロックの総数はｎｕｍであり、予測モードがｉｎｔｒａ予測モードである前処理画像ブロックの数はｉｎｔｒａ＿ｎｕｍであり、前処理画像ブロックのフレーム内レート歪みコストの総和値、及びフレーム間レート歪みコストの総和値はそれぞれｉｎｔｒａｃｏｓｔ、ｉｎｔｅｒｃｏｓｔである。第１参照値はｔｈｒ１であり、第２参照値はｔｈｒ２である。図６に示すように、ｎＢｌｏｃｋ、ｎＩｎｔｒａ、ｎｕｍ、ｉｎｔｒａ＿ｎｕｍ、ｉｎｔｒａｃｏｓｔ、ｉｎｔｅｒｃｏｓｔという五つの間は、式１に示す関係を満たすかどうかを判定し、式１は以下の通りである。
（ｎＢｌｏｃｋ＞＝２）＆（ｎＩｎｔｒａ＞ｎＢｌｏｃｋ／２）＆（ｎｕｍ＝ｉｎｔｒａ＿ｎｕｍ）＆（ｉｎｔｒａｃｏｓｔ＜ｉｎｔｅｒｃｏｓｔ×ｔｈｒ１）

【0047】

＆は「且つ」を意味する。第１参照値ｔｈｒ１の値の範囲は０．９～１であり、符号化速度が遅い場合、ｔｈｒ１の値を０．９にして、符号化速度が速くなることに連れて、ｔｈｒ１も漸増する。式１を満たすと、現在符号化ユニットに対応する各前処理画像ブロックの予測モードはいずれもｉｎｔｒａ予測モードであり、現在符号化ユニットの相関符号化ユニットの数は２以上であり、現在符号化ユニットの相関符号化ユニットにおける、半分を超えるユニットの予測モードはｉｎｔｒａ予測モードであり、前処理画像ブロックのフレーム内レート歪みコストの総和値ｉｎｔｒａｃｏｓｔは、フレーム間レート歪みコストの総和値ｉｎｔｅｒｃｏｓｔと第１参照値ｔｈｒ１とを乗算することにより得られた値よりも小さいことを示す。この場合、現在符号化ユニットの最適予測モードはｉｎｔｒａ予測モードである可能性が高くて、ｉｎｔｒａ予測を前倒しにしてもよいため、ｉｎｔｒａ予測モードを採用して、現在符号化ユニットに対して予測処理を行ってから、ｉｎｔｒａ予測モードを採用して、現在符号化ユニットに対して予測処理を行うように、現在符号化ユニットの符号化予測方式を決定する。

【0048】

ｉｎｔｒａ予測を前倒しにすると決定した後、ｎＩｎｔｒａ、ｎＢｌｏｃｋ、ｉｎｔｒａｃｏｓｔ、ｉｎｔｅｒｃｏｓｔという４つの間は、式２に示す関係を満たすかどうかをさらに判定し、式２は以下の通りである。
（ｎＩｎｔｒａ＝ｎＢｌｏｃｋ）＆（ｉｎｔｒａｃｏｓｔ＜ｉｎｔｅｒｃｏｓｔ×ｔｈｒ２）

【0049】

第２参照値ｔｈｒ２は第１参照値ｔｈｒ１よりも小さく、ｔｈｒ２の値の範囲は０～０．４であってもよく、符号化速度が遅い場合、ｔｈｒ２の値を０にして、符号化速度が速くなることに連れて、ｔｈｒ２も漸増する。式２を満たすと、現在符号化ユニットの各相関符号化ユニットの予測モードはいずれもｉｎｔｒａ予測モードであり、前処理画像ブロックのフレーム内レート歪みコストの総和値ｉｎｔｒａｃｏｓｔは、フレーム間レート歪みコストの総和値ｉｎｔｅｒｃｏｓｔと第２参照値ｔｈｒ２とを乗算することにより得られた値よりも小さいことを示す。この場合、現在符号化ユニットの最適予測モードはｉｎｔｒａ予測モードである可能性が高くて、ｉｎｔｒａ予測のみをすればよいため、ｉｎｔｒａ予測モードのみを採用して、現在符号化ユニットに対して予測処理を行うように、現在符号化ユニットの符号化予測方式を決定する。

【0050】

他のいくつかの実施形態において、予測モードが第１予測モードである相関符号化ユニットの数、相関符号化ユニットの総数、予測モードが第１予測モードである前処理画像ブロックの数、前処理画像ブロックの総数、フレーム内レート歪みコストの総和値及びフレーム間レート歪みコストの総和値は、第３所定条件を満たすかどうかを検出し、第３所定条件を満たすと、第３符号化予測方式を現在符号化ユニットの符号化予測方式に決定する。第３符号化予測方式は、第２予測モードを採用して現在符号化ユニットに対して予測処理を行うことである。

【0051】

第３所定条件を満たすことは、相関符号化ユニットの総数は第３数値以上であり、予測モードが第１予測モードである相関符号化ユニットの数は第４数値以下であり、前処理画像ブロックの総数は第５数値以上であり、予測モードが第１予測モードである前処理画像ブロックの数は第６数値以下であり、フレーム間レート歪みコストの総和値は、前記フレーム内レート歪みコストの総和値と第３参照値とを乗算することにより得られた値よりも小さいことである。当該第３参照値は符号化速度と正の相関を有し、０よりも大きく、且つ１以下の数値である。当該第３数値は、例えば２であり、当該第５数値は、例えば１であり、当該第４数値及び第６数値は、例えば０である。

【0052】

例えば、第３参照値はｔｈｒ３である。図７に示すように、ｎＢｌｏｃｋ、ｎＩｎｔｒａ、ｎｕｍ、ｉｎｔｒａ＿ｎｕｍ、ｉｎｔｒａｃｏｓｔ、ｉｎｔｅｒｃｏｓｔという５つの間は、式３に示す関係を満たすかどうかを判定し、式３は以下の通りである。
（ｎＢｌｏｃｋ＞＝２）＆（ｎＩｎｔｒａ＝０）＆（ｎｕｍ＞＝１）＆（ｉｎｔｒａ＿ｎｕｍ＝０）＆（ｉｎｔｅｒｃｏｓｔ＜ｉｎｔｒａｃｏｓｔ×ｔｈｒ３）

【0053】

第３参照値ｔｈｒ３の値の範囲は０．４～１であってもよく、符号化速度が遅い場合、ｔｈｒ３の値を０．４にして、符号化速度が速くになることに連れて、ｔｈｒ３も漸増する。式３を満たすと、現在符号化ユニットの相関符号化ユニットの数は２以上であり、各相関符号化ユニットの最適予測モードはいずれもｉｎｔｅｒ予測モードであり、現在符号化ユニットは少なくとも１つの前処理画像ブロックに対応し、各前処理画像ブロックの最適予測モードはいずれもｉｎｔｅｒ予測モードであり、前処理画像ブロックのフレーム間レート歪みコストの総和値ｉｎｔｅｒｃｏｓｔは、フレーム内レート歪みコストの総和値ｉｎｔｒａｃｏｓｔと第３参照値ｔｈｒ３とを乗算することにより得られた値よりも小さいことを示す。この場合、現在符号化ユニットの最適予測モードはｉｎｔｅｒ予測モードである可能性が高くて、ｉｎｔｅｒ予測のみをすればよいため、ｉｎｔｅｒ予測モードのみを採用して現在符号化ユニットに対して予測処理を行うように、現在符号化ユニットの符号化予測方式を決定する。

【0054】

上記の３つの方法において、予測モードが第１予測モードである相関符号化ユニットの数、相関符号化ユニットの総数、予測モードが第１予測モードである前処理画像ブロックの数、前処理画像ブロックの総数、フレーム内レート歪みコストの総和値及び前記フレーム間レート歪みコストの総和値という５つのパラメータの間が満たす所定条件を検出することで、現在符号化ユニットの符号化予測方式を自己適応に決定し、判定条件の複雑さを適切に増やした上で、決定した符号化予測方式の正確さを効果的に向上させ、上記の検出過程に係る計算量が同じく小さく、時間が短くて、符号化予測方式の決定効率が高い。

【0055】

本出願の実施例において、符号化ユニットの符号化予測方式を決定した後、符号化予測方式の指示に従って、符号化ユニットに対して予測処理を行う。第２符号化予測方式を選択すると、以降の予測処理過程において、第１予測モードのみを採用して符号化ユニットに対して予測処理を行って、第２予測モードによる符号化ユニットに対する予測処理のステップを省略し、予測処理の時間及びソフトウェア・ハードウェアソースを節約し、予測処理の加速を実現する。第３符号化予測方式を選択すると、以降の予測処理過程において、第２予測モードのみを採用して符号化ユニットに対して予測処理を行って、第１予測モードによる、符号化ユニットに対する予測処理のステップを省略し、予測処理の時間及びソフトウェア・ハードウェアソースを節約し、予測処理の加速を実現する。

【0056】

例えば、図８に示すように、選択した符号化予測方式が、ｉｎｔｒａ予測のみを行うように指示すると、以降の予測処理過程において、符号化ユニットに対してｉｎｔｒａ予測処理のみを行う。選択した符号化予測方式が、ｉｎｔｅｒ予測のみを行うように指示すると、以降の予測処理過程において、符号化ユニットに対してＭｅｒｇｅ及び／又はｓｋｉｐ予測処理、ｉｎｔｅｒ ２Ｎ×２Ｎ予測処理、Ｒｅｃｔ予測処理、ＡＭＰ予測処理を順次に行うことで、符号化ユニットの最適ｉｎｔｅｒ予測モードを取得する。Ｒｅｃｔ予測処理は、ｉｎｔｅｒ ２Ｎ×Ｎ予測処理及びｉｎｔｅｒ Ｎ×２Ｎ予測処理を含み、ＡＭＰ予測処理はｉｎｔｅｒ ２Ｎ×ｎＵ予測処理、ｉｎｔｅｒ ２Ｎ×ｎＤ予測処理、ｉｎｔｅｒ ｎＬ×２Ｎ予測処理及びｉｎｔｅｒ ｎＲ×２Ｎ予測処理を含む。ｉｎｔｅｒ ２Ｎ×２Ｎ予測処理は、フレーム間２Ｎ×２Ｎモードを採用して、予測処理を行い、他の記載は類似する。

【0057】

いくつかの実施例において、第１符号化予測方式を選択すると、以降の予測処理過程において、まず第１予測モードを採用して符号化ユニットに対して予測処理を行って、符号化ユニットが第１予測モードを採用する際の第１レート歪みコストを計算してから、ターゲットタイプの第２予測モードを採用して符号化ユニットに対して予測処理を行って、符号化ユニットがターゲットタイプの第２予測モードを採用する際の第２レート歪みコストを計算する。いくつかの実施形態において、ターゲットタイプの第２予測モードは、ｍｅｒｇｅ予測モード及び／又はｓｋｉｐ予測モードを含む。ターゲットタイプの第２予測モードがｍｅｒｇｅ予測モード及びｓｋｉｐ予測モードを含む場合、第２レート歪みコストは、符号化ユニットがｍｅｒｇｅ予測モードを採用する際のフレーム間レート歪みコスト、及び符号化ユニットがｓｋｉｐ予測モードを採用する際のフレーム間レート歪みコストのうちの最小値である。

【0058】

第１レート歪みコスト及び第２レート歪みコストが第４所定条件を満たすかどうかを検出する。いくつかの実施形態において、第４所定条件を満たすことは、第１レート歪みコストは、第２レート歪みコストと第４参照値とを乗算することにより得られた値よりも小さいことを示す。当該第４参照値は符号化速度と正の相関を有し、０よりも大きく、且つ１以下の数値である。第４所定条件を満たすと、符号化ユニットの最適予測モードは第１予測モードである可能性が極めて高いことを示す、この場合、第１予測モードを符号化ユニットの最適予測モードに決定し、後続の他のタイプの第２予測モードによる、符号化ユニットに対する予測処理のステップを終了させ、第２予測モードによる、符号化ユニットに対する予測処理の一部のステップを省略するとともに、予測処理の時間及びソフトウェア・ハードウェアソースをある程度で節約し、予測処理の加速を実現する。

【0059】

例えば、第４参照値はｔｈｒ４である。図９に示すように、符号化予測方式は、まずｉｎｔｒａ予測を行うように指示する場合、予測処理の過程で、符号化ユニットに対してｉｎｔｒａ予測を行って、ｉｎｔｒａ予測の最適フレーム内レート歪みコストｉｎｔｒａｂｅｓｔｃｏｓｔを計算してから、符号化ユニットに対して、ｉｎｔｅｒ予測におけるｍｅｒｇｅ及びｓｋｉｐ予測を行って、ｍｅｒｇｅ及びｓｋｉｐ予測の最適フレーム間レート歪みコストｉｎｔｅｒｂｅｓｔｃｏｓｔを計算する。Ｉｎｔｒａｂｅｓｔｃｏｓｔが、ｉｎｔｅｒｂｅｓｔｃｏｓｔと第４参照値ｔｈｒ４とを乗算することにより得られた値よりも小さいと、符号化ユニットの最適予測モードはｉｎｔｒａ予測モードである可能性が極めて高くて、この場合、ｉｎｔｒａ予測モードを符号化ユニットの最適予測モードに決定し、残りのｉｎｔｅｒ予測を終了させることで、一部のｉｎｔｅｒ予測ステップをスキップし、これによって、予測の加速を実現する。ｉｎｔｒａｂｅｓｔｃｏｓｔはｉｎｔｅｒｂｅｓｔｃｏｓｔと第４参照値ｔｈｒ４とを乗算することにより得られた値以上であれば、残りのｉｎｔｅｒ予測を引き続いて実行することで、符号化ユニットの最適予測モードを取得する。

【0060】

ここで、最適予測モードは、レート歪みコストが最も小さい予測モードである。以上の例において、いずれも第１予測モードがフレーム内予測モードであり、第２予測モードがフレーム間予測モードであることについて説明した。ここで、第１予測モードはフレーム間予測モードであってもよく、第２予測モードはフレーム内予測モードであってもよく、この場合、相応的な処理方法は類似する。

【0061】

本出願の実施例において、符号化ユニットに隣接する、及び／又は符号化ユニットと親子関係を有するユニットの予測モードに基づき、第１統計情報を決定し、符号化ユニットに対応する前処理画像ブロックの第２統計情報を取得し、第１統計情報及び第２統計情報に基づき、符号化ユニットの符号化予測方式を決定することで、符号化ユニットの符号化予測方式を自己適応且つ迅速に決定でき、符号化予測方式の決定効率を向上させる。

【0062】

図１０を参照し、本出願の実施例が提供する画像処理装置の構成概略図である。本出願の実施例に記載の画像処理装置は、以上に記載の端末に対応し、前記装置は、
画像フレームにおける現在符号化ユニットの、相関符号化ユニットが含まれる相関ユニットセットを決定するための処理ユニット１００１であって、前記相関符号化ユニットは、前記画像フレームにおいて前記現在符号化ユニットに隣接するターゲットユニット、及び前記画像フレームにおいて前記現在符号化ユニットと親子関係を有する符号化ユニットのうちの少なくとも１つを含む処理ユニット１００１と、
前記相関ユニットセットにおける各相関符号化ユニットの予測モードに基づき、第１統計情報を決定するための取得ユニット１００２と、を含み、
前記取得ユニット１００２はさらに、前記現在符号化ユニットに対応する前処理画像ブロックの第２統計情報を取得し、
前記処理ユニット１００１はさらに、前記第１統計情報及び前記第２統計情報に基づき、前記現在符号化ユニットの符号化予測方式を決定し、前記符号化予測方式は、選択した予測モード及び／又は予測モードの処理順序を指示することで、前記選択した予測モード及び／又は予測モードの処理順序に基づき、前記現在符号化ユニットに対して予測符号化を行う。

【0063】

いくつかの実施例において、前記第１統計情報は、前記予測モードが第１予測モードである相関符号化ユニットの数、及び前記相関符号化ユニットの総数を含み、
前記第２統計情報は、前記前処理画像ブロックの総数、前記予測モードが第１予測モードである前処理画像ブロックの数、及び前記レート歪みコスト情報を含む。

【0064】

いくつかの実施例において、前記処理ユニット１００１はさらに、前記第１統計情報及び前記第２統計情報が第１所定条件を満たし、前記第１統計情報及び前記第２統計情報が第２所定条件を満たしていないと、第１符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定し、なお、前記第１符号化予測方式は、第１予測モードを採用して前記現在符号化ユニットに対して、予測処理を行った後、第２予測モードを採用して前記現在符号化ユニットに対して、予測処理を行うことである。

【0065】

いくつかの実施例において、前記処理ユニット１００１はさらに、第１符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定した後、前記現在符号化ユニットが前記第１予測モードを採用する際の第１レート歪みコスト、及び前記現在符号化ユニットがターゲットタイプの第２予測モードを採用する際の第２レート歪みコストを計算し、
前記第１レート歪みコスト及び前記第２レート歪みコストが第４所定条件を満たすと、前記第１予測モードを前記現在符号化ユニットの予測モードに決定し、他のタイプの第２予測モードによる、前記現在符号化ユニットに対する予測処理の動作を終了させる。

【0066】

いくつかの実施例において、前記処理ユニット１００１はさらに、前記第１統計情報及び前記第２統計情報が前記第１所定条件、及び前記第２所定条件を満たすと、第２符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定し、なお、前記第２符号化予測方式は、第１予測モードを採用して前記現在符号化ユニットに対して予測処理を行うことである。

【0067】

いくつかの実施例において、前記処理ユニット１００１はさらに、前記第１統計情報及び前記第２統計情報が第３所定条件を満たすと、第３符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定し、なお、前記第３符号化予測方式は第２予測モードを採用して前記現在符号化ユニットに対して予測処理を行うことである。

【0068】

いくつかの実施例において、前記取得ユニット１００２は具体的に、前記相関ユニットセットにおける相関符号化ユニットの総数、及び各相関符号化ユニットの予測モードを取得し、
前記処理ユニット１００１は具体的に、前記各相関符号化ユニットの予測モードに基づき、前記相関ユニットセットにおける、予測モードが第１予測モードである相関符号化ユニットの数を決定し、前記予測モードが第１予測モードである相関符号化ユニットの数、前記相関符号化ユニットの総数を第１統計情報に決定する。

【0069】

いくつかの実施例において、前記取得ユニット１００２は具体的に、前記符号化ユニットに対応する前処理画像ブロックの総数を取得し、且つ各前処理画像ブロックの予測モード、レート歪みコスト情報を取得し、
前記処理ユニット１００１は具体的に、前記各前処理画像ブロックの予測モードに基づき、予測モードが第１予測モードである前処理画像ブロックの数を決定し、前記前処理画像ブロックの総数、前記予測モードが第１予測モードである前処理画像ブロックの数、及び前記レート歪みコスト情報に基づき、第２統計情報を決定する。

【0070】

いくつかの実施例において、前記レート歪みコスト情報はフレーム内レート歪みコスト及びフレーム間レート歪みコストを含み、前記処理ユニット１００１は具体的に、前記各前処理画像ブロックのレート歪みコスト情報に基づき、フレーム内レート歪みコストの総和値及びフレーム間レート歪みコストの総和値を決定し、前記前処理画像ブロックの総数、前記予測モードが第１予測モードである前処理画像ブロックの数、前記フレーム内レート歪みコストの総和値及び前記フレーム間レート歪みコストの総和値を、第２統計情報に決定する。

【0071】

いくつかの実施例において、前記相関符号化ユニットの総数は、前記ターゲットユニットの数と、前記現在符号化ユニットと親関係を有する親符号化ユニットの数との和であり、又は、前記ターゲットユニットの数と、前記現在符号化ユニットと子関係を有する子符号化ユニットの数との和であり、前記予測モードが第１予測モードである相関符号化ユニットの数は、予測モードが第１予測モードであるターゲットユニットの数、及び前記現在符号化ユニットと親関係を有する符号化ユニットにおいて予測モードが第１予測モードである親符号化ユニットの数に基づき決定され、又は予測モードが第１予測モードであるターゲットユニットの数、及び前記現在符号化ユニットと子関係を有する符号化ユニットにおいて予測モードが第１予測モードである子符号化ユニットの数に基づき決定される。

【0072】

いくつかの実施例において、前記処理ユニット１００１は具体的に、
前記予測モードが第１予測モードである相関符号化ユニットの数、前記相関符号化ユニットの総数、前記予測モードが前記第１予測モードである前処理画像ブロックの数、前記前処理画像ブロックの総数、前記フレーム内レート歪みコストの総和値及び前記フレーム間レート歪みコストの総和値が第１所定条件を満たすかどうかを検出し、前記第１所定条件を満たすと、第１符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定し、前記第１符号化予測方式は第１予測モードを採用して前記現在符号化ユニットに対して、予測処理を行った後、第２予測モードを採用して前記現在符号化ユニットに対して、予測処理を行うことである。

【0073】

いくつかの実施例において、前記第１所定条件を満たすことは、前記予測モードが第１予測モードである前処理画像ブロックの数と前記前処理画像ブロックの総数との間の差値がターゲット数値以下であり、前記相関符号化ユニットの総数が第１数値以上であり、前記予測モードが第１予測モードである相関符号化ユニットの数が第２数値以上であり、前記フレーム内レート歪みコストの総和値は、前記フレーム間レート歪みコストの総和値と第１参照値とを乗算することにより得られた値よりも小さく、前記第２数値は前記相関符号化ユニットの総数に基づき、決定されることを示す。

【0074】

いくつかの実施例において、前記処理ユニット１００１は具体的に、
前記予測モードが第１予測モードである相関符号化ユニットの数、前記相関符号化ユニットの総数、前記予測モードが前記第１予測モードである前処理画像ブロックの数、前記前処理画像ブロックの総数、前記フレーム内レート歪みコストの総和値及び前記フレーム間レート歪みコストの総和値が第１所定条件を満たすかどうかを検出し、前記第１所定条件を満たすと、前記予測モードが第１予測モードである相関符号化ユニットの数、前記相関符号化ユニットの総数、前記フレーム内レート歪みコストの総和値及び前記フレーム間レート歪みコストの総和値が第２所定条件を満たすかどうかを検出し、前記第２所定条件を満たすと、第２符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定し、前記第２符号化予測方式は第１予測モードを採用して、前記現在符号化ユニットに対して予測処理を行うことである。

【0075】

いくつかの実施例において、前記第２所定条件を満たすことは、前記予測モードが第１予測モードである相関符号化ユニットの数と前記相関符号化ユニットの総数との間の差値がターゲット数値以下であり、前記フレーム内レート歪みコストの総和値が、前記フレーム間レート歪みコストの総和値と第２参照値とを乗算することにより得られた値よりも小さいことである。

【0076】

いくつかの実施例において、前記処理ユニット１００１は具体的に、
前記予測モードが第１予測モードである相関符号化ユニットの数、前記相関符号化ユニットの総数、前記予測モードが前記第１予測モードである前処理画像ブロックの数、前記前処理画像ブロックの総数、前記フレーム内レート歪みコストの総和値及び前記フレーム間レート歪みコストの総和値が第３所定条件を満たすかどうかを検出し、前記第３所定条件を満たすと、第３符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定し、なお、前記第３符号化予測方式は第２予測モードを採用して前記現在符号化ユニットに対して予測処理を行うことである。

【0077】

いくつかの実施例において、前記第３所定条件を満たすことは、前記相関符号化ユニットの総数が第３数値以上であり、前記予測モードが第１予測モードである相関符号化ユニットの数が第４数値以下であり、前記前処理画像ブロックの総数が第５数値以上であり、前記予測モードが前記第１予測モードである前処理画像ブロックの数が第６数値の以下であり、前記フレーム間レート歪みコストの総和値が、前記フレーム内レート歪みコストの総和値と第３参照値とを乗算することにより得られる値よりも小さいことである。

【0078】

いくつかの実施例において、前記装置は、前記符号化ユニットが前記第１予測モードを採用する際の第１レート歪みコスト、及び前記符号化ユニットがターゲットタイプの第２予測モードを採用する際の第２レート歪みコストを計算するための計算ユニット１００３を含み、
前記処理ユニット１００１はさらに、前記第１レート歪みコスト及び前記第２レート歪みコストが第４所定条件を満たすかどうかを検出し、前記第４所定条件を満たすと、前記第１予測モードを前記符号化ユニットの予測モードに決定する。

【0079】

いくつかの実施例において、前記ターゲットタイプの第２予測モードは、ｍｅｒｇｅ予測モード（ＨＥＶＣ標準が提供する予測モードであり）及び／又はｓｋｉｐ予測モード（ＨＥＶＣ標準が提供する予測モードである）を含み、前記第４所定条件を満たすことは、上記第１レート歪みコストは、前記第２レート歪みコストと第４参照値とを乗算することにより得られる値よりも小さいことである。

【0080】

ここで、上記の方法実施例における方法に基づき、本出願の実施例の画像処理装置の各機能ユニットの機能を具体的に実現でき、その具体的な実現過程について、上記の方法実施例の関連記載を参照すればよく、ここで、贅言しない。

【0081】

本出願の実施例において、符号化ユニットに隣接し、及び／又は符号化ユニットと親子関係を有するユニットの予測モードに基づき、第１統計情報を決定し、符号化ユニットに対応する前処理画像ブロックの第２統計情報を取得し、第１統計情報及び第２統計情報に基づき、符号化ユニットの符号化予測方式を決定することで、符号化ユニットの符号化予測方式を自己適応且つ迅速に決定でき、符号化予測方式の決定効率を向上させる。

【0082】

図１１を参照し、図１１は、本出願の実施例が提供する端末の構成概略図である。本出願の実施例に記載の端末は、プロセッサー１１０１とメモリ１１０２とを含む。プロセッサー１１０１、メモリ１１０２はバス又は他の形態で接続されてもよく、本出願の実施例は、バスによる接続を例とする。

【0083】

プロセッサー１１０１は、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）であってもよい。前記プロセッサー１１０１はハードウェアチップであってもよい。前記ハードウェアチップは専用集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、プログラマブルロジックデバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ、ＰＬＤ）又はその組み合わせであってもよい。前記ＰＬＤは複雑なプログラマブルロジックデバイス（ｃｏｍｐｌｅｘ ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ、ＣＰＬＤ）、フィールドプログラマブルロジックゲートアレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、汎用アレイロジック（ｇｅｎｅｒｉｃ ａｒｒａｙ ｌｏｇｉｃ、ＧＡＬ）又はその任意の組み合わせであってもよい。

【0084】

メモリ１１０２は、主にプログラ記憶領域及びデータ記憶領域を含み、プログラ記憶領域はオペレーティングシステム、少なくとも１つの機能の必要な記憶プログラム（例えば文字記憶機能、位置記憶機能など）を記憶でき、データ記憶領域は、装置の使用に基づき生成したデータ（例えば画像データ、文字データ）などを記憶でき、アプリケーション記憶プログラムなどを含んでもよい。また、メモリ１１０２は高速ランダムアクセスメモリを含んでもよいし、非揮発性メモリ、例えば少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の揮発性固体記憶デバイスを含んでもよい。

【0085】

前記メモリ１１０２はさらにプログラム命令を記憶する。前記プロセッサー１１０１は、前記メモリ１１０２に記憶されるプログラム命令を実行し、前記プログラム命令を実行する場合、前記プロセッサー１１０１は、
画像フレームにおける現在符号化ユニットの、相関符号化ユニットを含む相関ユニットセットを決定し、前記相関符号化ユニットは、前記画像フレームにおける、前記現在符号化ユニットに隣接するターゲットユニット、及び前記画像フレームにおける、前記現在符号化ユニットと親子関係を有する符号化ユニットのうちの少なくとも１つを含み、前記相関ユニットセットにおける各相関符号化ユニットの予測モードに基づき、第１統計情報を決定し、前記現在符号化ユニットに対応する前処理画像ブロックの第２統計情報を取得し、前記第１統計情報及び前記第２統計情報に基づき、前記現在符号化ユニットの符号化予測方式を決定し、前記符号化予測方式は、選択した予測モード及び／又は予測モードの処理順序を指示することで、前記選択した予測モード及び／又は予測モードの処理順序に基づき、前記現在符号化ユニットに対して予測符号化を行う。

【0086】

本出願の実施例において、プロセッサーが実行する方法について、いずれもプロセッサーの角度から記載しているが、本出願の実施例において、プロセッサーは上記の方法を実行しようとすると、他のハードウェア構成の協力を必要とする。具体的な実現過程に対して、本出願の実施例は詳しい記載及び限定をしない。

【0087】

いくつかの実施例において、前記プロセッサー１１０１は前記相関ユニットセットにおける各相関符号化ユニットの予測モードに基づき、第１統計情報を決定する場合、具体的に、前記相関ユニットセットにおける相関符号化ユニットの総数、及び各相関符号化ユニットの予測モードを取得し、前記各相関符号化ユニットの予測モードに基づき、前記相関ユニットセットにおける、予測モードが第１予測モードである相関符号化ユニットの数を決定し、前記予測モードが第１予測モードである相関符号化ユニットの数、前記相関符号化ユニットの総数を第１統計情報に決定する。

【0088】

いくつかの実施例において、前記プロセッサー１１０１は前記符号化ユニットに対応する前処理画像ブロックの第２統計情報を取得する場合、具体的に、前記符号化ユニットに対応する前処理画像ブロックの総数、及び各前処理画像ブロックの予測モード、レート歪みコスト情報を取得し、前記各前処理画像ブロックの予測モードに基づき、予測モードが第１予測モードである前処理画像ブロックの数を決定し、前記前処理画像ブロックの総数、前記予測モードが第１予測モードである前処理画像ブロックの数、及び前記レート歪みコスト情報に基づき、第２統計情報を決定する。

【0089】

いくつかの実施例において、前記レート歪みコスト情報は、フレーム内レート歪みコスト及びフレーム間レート歪みコストを含み、前記プロセッサー１１０１は前記前処理画像ブロックの総数、前記予測モードが第１予測モードである前処理画像ブロックの数、及び前記レート歪みコスト情報に基づき、第２統計情報を決定する場合、具体的に、前記各前処理画像ブロックのレート歪みコスト情報に基づき、フレーム内レート歪みコストの総和値及びフレーム間レート歪みコストの総和値を決定し、前記前処理画像ブロックの総数、前記予測モードが第１予測モードである前処理画像ブロックの数、前記フレーム内レート歪みコストの総和値及び前記フレーム間レート歪みコストの総和値を、第２統計情報に決定する。

【0090】

いくつかの実施例において、前記相関符号化ユニットの総数は、前記ターゲットユニットの数と、前記現在符号化ユニットと親関係を有する符号化ユニットの数との和、又は前記ターゲットユニットの数と、前記現在符号化ユニットと子関係を有する符号化ユニットの数との和であり、前記予測モードが第１予測モードである相関符号化ユニットの数は、予測モードが第１予測モードであるターゲットユニットの数、及び前記現在符号化ユニットと親関係を有する符号化ユニットにおける、予測モードが第１予測モードであるユニットの数に基づき決定され、又は、予測モードが第１予測モードであるターゲットユニットの数、及び前記現在符号化ユニットとの間が子関係を有する符号化ユニットにおける、予測モードが第１予測モードである符号化ユニットの数に基づき決定される。

【0091】

いくつかの実施例において、前記プロセッサー１１０１は、前記第１統計情報及び前記第２統計情報に基づき、前記現在符号化ユニットの符号化予測方式を決定する場合、具体的に、前記予測モードが第１予測モードである相関符号化ユニットの数、前記相関符号化ユニットの総数、前記予測モードが前記第１予測モードである前処理画像ブロックの数、前記前処理画像ブロックの総数、前記フレーム内レート歪みコストの総和値及び前記フレーム間レート歪みコストの総和値が第１所定条件を満たすかどうかを検出し、前記第１所定条件を満たすと、第１符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定し、前記第１符号化予測方式は第１予測モードを採用して前記現在符号化ユニットに対して、予測処理を行った後、第２予測モードを採用して前記現在符号化ユニットに対して、予測処理を行うことである。

【0092】

いくつかの実施例において、前記第１所定条件を満たすことは、前記予測モードが第１予測モードである前処理画像ブロックの数と前記前処理画像ブロックの総数との間の差値はターゲット数値以下であり、前記相関符号化ユニットの総数が第１数値以上であり、前記予測モードが第１予測モードである相関符号化ユニットの数が第２数値以上であり、前記フレーム内レート歪みコストの総和値は、前記フレーム間レート歪みコストの総和値と第１参照値とを乗算することにより得られる値よりも小さく、前記第２数値は前記相関符号化ユニットの総数に基づき決定される。

【0093】

いくつかの実施例において、前記プロセッサー１１０１は、前記第１統計情報及び前記第２統計情報に基づき、前記現在符号化ユニットの符号化予測方式を決定する場合、具体的に、前記予測モードが第１予測モードである相関符号化ユニットの数、前記相関符号化ユニットの総数、前記予測モードが前記第１予測モードである前処理画像ブロックの数、前記前処理画像ブロックの総数、前記フレーム内レート歪みコストの総和値及び前記フレーム間レート歪みコストの総和値が第１所定条件を満たすかどうかを検出し、前記第１所定条件を満たすと、前記予測モードが第１予測モードである相関符号化ユニットの数、前記相関符号化ユニットの総数、前記フレーム内レート歪みコストの総和値及び前記フレーム間レート歪みコストの総和値が第２所定条件を満たすかどを検出し、前記第２所定条件を満たすと、第２符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定し、前記第２符号化予測方式は第１予測モードを採用して、前記現在符号化ユニットに対して予測処理を行うことである。

【0094】

いくつかの実施例において、前記第２所定条件を満たすことは、前記予測モードが第１予測モードである相関符号化ユニットの数と前記相関符号化ユニットの総数との間の差値がターゲット数値以下であり、前記フレーム内レート歪みコストの総和値は、前記フレーム間レート歪みコストの総和値と第２参照値とを乗算することにより得られる値よりも小さいことである。

【0095】

いくつかの実施例において、前記プロセッサー１１０１は、前記第１統計情報及び前記第２統計情報に基づき、前記現在符号化ユニットの符号化予測方式を決定する場合、具体的に、前記予測モードが第１予測モードである相関符号化ユニットの数、前記相関符号化ユニットの総数、前記予測モードが前記第１予測モードである前処理画像ブロックの数、前記前処理画像ブロックの総数、前記フレーム内レート歪みコストの総和値及び前記フレーム間レート歪みコストの総和値が第３所定条件を満たすかどうかを検出し、前記第３所定条件を満たすと、第３符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定し、前記第３符号化予測方式は、第２予測モードを採用して前記現在符号化ユニットに対して、予測処理を行うことである。

【0096】

いくつかの実施例において、第３所定条件を満たすことは、前記相関符号化ユニットの総数が第３数値以上であり、前記予測モードが第１予測モードである相関符号化ユニットの数が第４数値以下であり、前記前処理画像ブロックの総数が第５数値以上であり、前記予測モードが前記第１予測モードである前処理画像ブロックの数が第６数値以下であり、前記フレーム間レート歪みコストの総和値は、前記フレーム内レート歪みコストの総和値と第３参照値とを乗算することにより得られる値よりも小さいことである。

【0097】

いくつかの実施例において、前記プロセッサー１１０１は、第１符号化予測方式を前記現在符号化ユニットの符号化予測方式に決定した後、前記プロセッサー１１０１はさらに、前記現在符号化ユニットが前記第１予測モードを採用する際の第１レート歪みコスト、及び前記現在符号化ユニットがターゲットタイプの第２予測モードを採用する際の第２レート歪みコストを計算し、前記第１レート歪みコスト及び前記第２レート歪みコストが第４所定条件を満たすかどうかを検出し、前記第４所定条件を満たすと、前記第１予測モードを前記現在符号化ユニットの予測モードに決定する。

【0098】

いくつかの実施例において、前記ターゲットタイプの第２予測モードは、ｍｅｒｇｅ予測モード及び／又はｓｋｉｐ予測モードを含み、前記第４所定条件を満たすことは、前記第１レート歪みコストが、前記第２レート歪みコストと第４参照値とを乗算することにより得られる値よりも小さいことである。

【0099】

具体的に実現では、本出願の実施例に記載のプロセッサー１１０１及びメモリ１１０２は上記の実施例が提供する画像処理方法に記載の端末の実現形態を実行してもよいし、上記の実施例が提供する画像処理装置に記載の実現形態を実行してもよく、ここで、贅言しない。

【0100】

本出願の実施例は、現在符号化ユニットに隣接する、及び／又は現在符号化ユニットと親子関係を有するユニットの予測モードに基づき、第１統計情報を決定し、現在符号化ユニットに対応する前処理画像ブロックの第２統計情報を取得し、第１統計情報及び第２統計情報に基づき、現在符号化ユニットの符号化予測方式を決定することで、現在符号化ユニットの符号化予測方式を自己適応且つ迅速に決定でき、符号化予測方式の決定効率を向上させる。

【0101】

本出願の実施例はコンピュータ可読記憶媒体をさらに提供し、前記コンピュータ可読記憶媒体には命令が記憶され、前記命令はコンピュータで実行される場合、コンピュータに本出願の実施例に記載の画像処理方法を実行させる。

【0102】

本出願の実施例は命令を含むコンピュータプログラム製品を提供し、前記命令はコンピュータで実行される場合、コンピュータに本出願の実施例に記載の画像処理方法を実行させる。

【0103】

ここで、記載を簡潔するために、前記各方法実施例を一連の動作の組み合わせに表現したが、当業者が知っているように、本出願は記載の動作順序に限定されず、なぜならば、本出願によれば、いくつかのステップに対して、他の順序を採用するか、又は同時に実行してもよいためである。そして、当業者が知っているように、明細書に記載の実施例はいずれも本出願のいくつかの例示に過ぎず、係る動作及びモジュールは必ずしも本出願にとって必要なものであるわけではない。

【0104】

上記の実施例の各種方法の全て又は一部のステップは、プログラムが関連ハードウェアに命令することで完成され、当該プログラムはコンピュータ可読記憶媒体に記憶され、記憶媒体はフラッシュメモリディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなどを含んでもよい。

【0105】

以上の開示は本出願の一部の実施例のみであるため、本出願の請求項の範囲を限定せず、本出願の請求項に応じてなされる等価変化は、相変わらず本出願の範囲に該当する。

【符号の説明】

【0106】

５０１ 親符号化ユニット
５０２ 子符号化ユニット
１００１ 処理ユニット
１００２ 取得ユニット
１００３ 計算ユニット
１１０１ プロセッサー
１１０２ メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】