特許 6843239 符号化ユニットの深さ特定方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6843239

(24)【登録日】2021年2月25日

(45)【発行日】2021年3月17日

(54)【発明の名称】符号化ユニットの深さ特定方法及び装置

(51)【国際特許分類】

   H04N 19/119 20140101AFI20210308BHJP

   H04N 19/176 20140101ALI20210308BHJP

   H04N 19/136 20140101ALI20210308BHJP

   H04N 19/14 20140101ALI20210308BHJP

   H04N 19/147 20140101ALI20210308BHJP

【ＦＩ】

   H04N19/119

   H04N19/176

   H04N19/136

   H04N19/14

   H04N19/147

【請求項の数】9

【全頁数】19

(21)【出願番号】特願2019-527221(P2019-527221)

(86)(22)【出願日】2017年12月8日

(65)【公表番号】特表2020-500482(P2020-500482A)

(43)【公表日】2020年1月9日

(86)【国際出願番号】CN2017115175

(87)【国際公開番号】WO2018192235

(87)【国際公開日】20181025

【審査請求日】2019年5月20日

(31)【優先権主張番号】201710266798.8

(32)【優先日】2017年4月21日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100140534

【弁理士】

【氏名又は名称】木内 敬二

(72)【発明者】

【氏名】▲張▼ 宏▲順▼

(72)【発明者】

【氏名】林 四新

(72)【発明者】

【氏名】程 曦▲銘▼

【審査官】 鉢呂 健

(56)【参考文献】

【文献】 特開２０１５−０３５６６０（ＪＰ，Ａ）

【文献】 SHEN, Xiaolin and YU, Lu，CU splitting early termination based on weighted SVM，EURASIP Journal on Image and Video Processing 2013，２０１３年 １月 ９日，2013: 4，pp. 1-11，<DOI: 10.1186/1687-5281-2013-4>，ＵＲＬ，http://jivp.eurasipjournals.com/content/2013/1/4

【文献】 LI, Kang and WANG, Jian，Fast CU-splitting decisions based on data mining，2016 IEEE International Conference on Consumer Electronics-China (ICCE-China)，IEEE，２０１７年 ２月１３日，pp. 1-5，<DOI: 10.1109/ICCE-China.2016.7849745>，ＵＲＬ，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7849745

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

処理対象符号化ユニットの現在の最適モードの残差係数を特定することと、
前記残差係数が０でない場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成することであって、前記処理対象符号化ユニットの符号化情報特徴は、前記処理対象符号化ユニットのレート歪みコスト、量化係数、歪み及び分散であり、前記近隣符号化ツリーユニットの符号化情報特徴は、前記近隣符号化ツリーユニットのレート歪みコスト及び深さ情報である、構成することと、
前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示すための予測結果を得ることと、を含み、
前記予測モデルは、符号化ユニットの深さ分割を行ったか否かを示す分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む、ことを特徴とする符号化ユニットの深さ特定方法。

【請求項2】

前記処理対象符号化ユニットは、非Ｉフレームビデオ画像に属する、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ抽出する前に、
前記処理対象符号化ユニットの符号化深さが０であるか否かを判断し、ＹＥＳであれば、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ抽出するステップを実行すること、をさらに含む、ことを特徴とする請求項１に記載の方法。

【請求項4】

前記予測モデルは、Ｐフレーム予測モデルとＢフレーム予測モデルとを含み、前記Ｐフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｐフレームビデオ画像に属する符号化ユニットから抽出した前記所定タイプの符号化情報特徴であり、前記Ｂフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｂフレームビデオ画像に属する符号化ユニットから抽出した前記所定タイプの符号化情報特徴であり、
前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される予測結果を得ることは、
前記処理対象符号化ユニットの属するビデオフレーム画像のタイプがＰフレームかそれともＢフレームかを特定することと、
Ｐフレームであれば、前記予測特徴ベクトルサンプルを前記Ｐフレーム予測モデルに入力し、前記Ｐフレーム予測モデルから出力される予測結果を得ることと、
Ｂフレームであれば、前記予測特徴ベクトルサンプルを前記Ｂフレーム予測モデルに入力し、前記Ｂフレーム予測モデルから出力される予測結果を得ることと、を含む、ことを特徴とする請求項１乃至３のうちのいずれか一項に記載の方法。

【請求項5】

処理対象符号化ユニットの現在の最適モードの残差係数を特定する残差係数特定ユニットと、
前記残差係数が０でない場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成する特徴取得ユニットであって、前記処理対象符号化ユニットの符号化情報特徴は、前記処理対象符号化ユニットのレート歪みコスト、量化係数、歪み及び分散であり、前記近隣符号化ツリーユニットの符号化情報特徴は、前記近隣符号化ツリーユニットのレート歪みコスト及び深さ情報である、特徴取得ユニットと、
前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示すための予測結果を得るモデル予測ユニットと、を備え、
前記予測モデルは、符号化ユニットの深さ分割を行ったか否かを示す分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む、ことを特徴とする符号化ユニットの深さ特定装置。

【請求項6】

前記残差係数特定ユニットは、具体的には、非Ｉフレームビデオ画像に属する処理対象符号化ユニットの現在の最適モードの残差係数を特定する、ことを特徴とする請求項５に記載の装置。

【請求項7】

前記処理対象符号化ユニットの符号化深さが０であるか否かを判断する符号化深さ判断ユニット、をさらに備え、
前記特徴取得ユニットは、具体的には、前記符号化深さ判断ユニットの判断結果がＹＥＳである場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ抽出する、ことを特徴とする請求項５に記載の装置。

【請求項8】

前記予測モデルは、Ｐフレーム予測モデルとＢフレーム予測モデルとを含み、前記Ｐフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｐフレームビデオ画像に属する符号化ユニットから抽出した前記所定タイプの符号化情報特徴であり、前記Ｂフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｂフレームビデオ画像に属する符号化ユニットから抽出した前記所定タイプの符号化情報特徴であり、
前記モデル予測ユニットは、
前記処理対象符号化ユニットの属するビデオフレーム画像のタイプがＰフレームかそれともＢフレームかを特定するフレームタイプ特定ユニットと、
前記フレームタイプ特定ユニットによってＰフレームであると特定された場合に、前記予測特徴ベクトルサンプルを前記Ｐフレーム予測モデルに入力し、前記Ｐフレーム予測モデルから出力される予測結果を得るＰフレームモデル予測ユニットと、
前記フレームタイプ特定ユニットによってＢフレームであると特定された場合に、前記予測特徴ベクトルサンプルを前記Ｂフレーム予測モデルに入力し、前記Ｂフレーム予測モデルから出力される予測結果を得るＢフレームモデル予測ユニットと、を含む、ことを特徴とする請求項５乃至７のうちのいずれか一項に記載の装置。

【請求項9】

プログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、プロセッサは、記憶されたプログラム命令を実行する時に、請求項１乃至４のうちのいずれか一項に記載の方法を実行することを特徴とする記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１７年４月２１日にて中国特許庁へ出願した、出願番号が２０１７１０２６６７９８８で、発明の名称が「符号化ユニットの深さ特定方法及び装置」である中国特許出願の優先権を主張し、その内容を全て参照により本願に組み込むものとする。

【0002】

本願は、ビデオ符号化の技術分野に関し、より具体的には、符号化ユニットの深さ特定方法及び装置に関する。

【背景技術】

【0003】

近年来、デジタルビデオは、多くの消費者向けアプリケーションで主流のメディアコンテンツとなっており、より高い解像度とより良いビデオ品質に対する需要が高まっている。この需要に応えて、次世代のビデオ符号化の国際規格ＨＥＶＣ(Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高効率ビデオ符号化規格)が策定され始めた。Ｈ．２６４／ＡＶＣ規格に比べ、ＨＥＶＣはより高い符号化圧縮性能を得た。

【0004】

図１を参照しながらＨＥＶＣ符号化規格による符号化過程を紹介する。元ビデオシーケンスにおける１フレームの画像をキャッシュされた参照フレームとともにフレーム内予測又はフレーム間予測した後、予測値を得て、予測値を入力されたビデオフレームから減算して残差を得て、残差に対してＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、離散サイコン変換)及び量化を施した後、残差係数を得て、そしてエントロピー符号化モジュールで符号化し、ビデオコードストリームを出力する。同時に、残差係数に対して逆量化及び逆変換を繰り返した後、再構築画像の残差値を得て、再構築画像の残差値とフレーム内又はフレーム間予測値とを加算して、再構築画像を得て、再構築画像に対してデブロッキングフィルタリング、ループフィルタリングを施した後、再構築フレームを得て、再構築フレームは、次のフレームの入力画像の参照フレームとして、参照フレームシーケンスに追加される。

【0005】

ＨＥＶＣ規格において、入力されたビデオフレームは、一連の符号化ツリーユニットＣＴＵ(Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ)に分割される。フレーム内又はフレーム間予測の時、各ＣＴＵは、最大符号化ユニットＬＣＵ(Ｌａｒｇｅｓｔ Ｃｏｄｅ Ｕｎｉｔ)から、１レイヤーごとに、四分木の形で異なるサイズの符号化ユニットＣＵ(Ｃｏｄｉｎｇ Ｕｎｉｔ)に分割される。深さが０である階層はＬＣＵであり、そのサイズは、一般的には６４＊６４であり、深さが１〜３である階層のサイズはそれぞれ３２＊３２、１６＊１６、８＊８である。最適な符号化性能を達成するために、従来のＨＥＶＣでは、符号化ユニットＣＵブロックの深さ分割において最適モードを選択する時、完全トラバース方式を採用し、ＣＵブロックの異なる深さの全てのモードについてレート歪みコストを算出し、そして１レイヤーずつに比較し、さらに、レート歪みコストが最小のモードを選択する。図２を参照し、最適モードのＣＵ分割状況が示され、図２において、左側の図は具体的な分割方式であり、右側の図は左側の図の分割方式に対応する四分木であり、四分木におけるリーフノードは、左側の図における矢印で示される分割順に従って、各レイヤーにおける４つのＣＵブロックをさらに分割する必要があるか否かを示し、ただし、１は、必要があることを示し、０は、必要がないことを示す。

【0006】

上記図２から分かるように、一部のＣＵブロックは、１レイヤー分割された後、最適モードを見つけ、更なる下向き分割、レート歪みコストの算出や比較を必要としない。図２に示すように、四分木のうち第１レイヤーにおける２つ目のＣＵブロックのノードの数値は０であり、更なる分割を必要としないことを示す。明らかに、従来の完全トラバースアルゴリズムによれば、その符号化予測過程はかなり時間がかかり、かつ多くの計算リソースを消費する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0007】

これに鑑みて、本願は、従来の完全トラバース方法によれば、符号化ユニットの深さを特定する方法は符号化予測時間が長く、多くの計算リソースを消費する問題があることを解決するために、符号化ユニットの深さ特定方法及び装置を提供する。

【課題を解決するための手段】

【0008】

本願の第１態様によれば、符号化ユニットの深さ特定方法であって、
処理対象符号化ユニットの現在の最適モードの残差係数を特定することと、
前記残差係数が０でない場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成することと、
前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示すための予測結果を得ることと、を含み、
前記予測モデルは、分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む方法を提供する。

【0009】

本願の第２態様によれば、符号化ユニットの深さ特定装置であって、
処理対象符号化ユニットの現在の最適モードの残差係数を特定する残差係数特定ユニットと、
前記残差係数が０でない場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成する特徴取得ユニットと、
前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示すための予測結果を得るモデル予測ユニットと、を備え、
前記予測モデルは、分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む装置をさらに提供する。

【0010】

本願の実施例の第３態様によれば、プログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、プロセッサは、記憶されたプログラム命令を実行する時に、上記いずれかの方法を実行する記憶媒体をさらに提供する。

【発明の効果】

【0011】

本願の実施例に提供される符号化ユニットの深さ特定方法によれば、分類結果で標識されたトレーニングサンプルを用いて予測モデルを予めトレーニングし、このトレーニングサンプルは、所定タイプの符号化情報特徴を含み、さらに、処理対象符号化ユニットの現在の最適モードの残差係数が０でないと特定された場合に、処理対象符号化ユニットがｓkｉｐ符号化ユニットではなく、符号化深さの予測を行う必要があることが示唆され、さらに、処理対象符号化ユニット及びその存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴を取得し、予測特徴ベクトルサンプルを構成し、予測モデルに入力し、機械学習予測モデルを用いて処理対象符号化ユニットの深さ分割を行う必要があるか否かを予測する。本願では、予測結果から、処理対象符号化ユニットの深さ分割を行う必要がないことが示唆される場合に、処理対象符号化ユニットの深さ分割及びレート歪みコストの算出や比較を行う必要がなく、従来技術に比べその符号化予測時間が大幅に削減されるとともに、計算リソースが低減され、計算の複雑さが軽減される。

【図面の簡単な説明】

【0012】

本発明の実施例の技術的構成をより明瞭に説明するために、以下、実施例の説明に必要な図面を簡単に紹介する。以下に説明される図面は本発明の一部の実施例に過ぎず、当業者であれば、これらの図面に基づいて他の附図を得ることができることは、明らかである。

【0013】

【図1】ＨＥＶＣによる符号化フレームワーク模式図である。

【図2】最適モードのＣＵ分割模式図を示している。

【図3】本願の実施例に開示されるサーバハードウェア構造模式図である。

【図4】本願の実施例に開示される符号化ユニットの深さ特定方法のフローチャートである。

【図5】本願の実施例に開示される他の符号化ユニットの深さ特定方法のフローチャートである。

【図6】本願の実施例に開示される更なる符号化ユニットの深さ特定方法のフローチャートである。

【図7】本願の実施例に開示される第１平均コストの特定方法のフローチャートである。

【図8】Ｃｕｒｒｅｎｔ ＣＴＵの各近隣符号化ツリーユニットのＣＵ分割模式図を示している。

【図9】本願の実施例に開示される処理対象符号化ユニットの深さ分割を行う必要があるか否かを特定する方法のフローチャートである。

【図10】本願の実施例に開示される符号化ユニットの深さ特定装置の構造模式図である。

【発明を実施するための形態】

【0014】

以下、本願の実施例の図面を結合して本願の実施例中の技術的構成を明瞭かつ完全に説明する。説明する実施例は本願の実施例の一部に過ぎず、全部でないことは、言うまでもないことである。当業者が本願の実施例に基づいて、創造的な労働無しに得られた他の実施例も、全て本願の保護範囲内に含まれる。

【0015】

本願の実施例は、サーバに基づいて実現されるビデオエンコーダに適用可能な符号化ユニットの深さ特定ソリューションを提供する。このサーバのハードウェア構造は、コンピュータ、ノートパソコン等の処理装置であることができ、本願の符号化ユニットの深さ特定方法の紹介に先立って、まずサーバのハードウェア構造を紹介する。図３に示すように、このサーバは、
プロセッサ１と、通信インターフェース２と、メモリ３と、通信バス４と、ディスプレイ５とを備えることができる。

【0016】

プロセッサ１、通信インターフェース２、メモリ３およびディスプレイ５は通信バス４を介して相互間の通信を達成する。

【0017】

次に、サーバのハードウェア構造を結合して、本願の符号化ユニットの深さ特定方法を紹介し、図４に示すように、この方法は、以下のステップＳ１００〜ステップＳ１２０を含む。

【0018】

ステップＳ１００：処理対象符号化ユニットの現在の最適モードの残差係数を特定する。

【0019】

具体的には、処理対象符号化ユニットについて、標準プロトコルに基づいて候補ｍｖ(ｍｏｔｉｏｎ ｖｅｃｔｏｒ、動きベクトル)リストを構築し、そして、リストにおける各ｍｖをトラバースし、做動き補償を行い、予測値を得て、その後、予測値と処理対象符号化ユニットの原画素との差分の二乗和(ＳＳＤ、Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ)を算出し、対応するｍｖのインデックスでトラバースされたビット数ｂｉｔｓを推定し、レート歪みコストｒｄｃｏｓｔの最小値に対応するｍｖを見つけ、最適モードのｍｖになる。ここで、
ｒｄｃｏｓｔ＝ＳＳＤ＋λ＊ｂｉｔ(λは定数である)。

【0020】

さらに、最適なｍｖに対応するＳＳＤを算出した結果を変換し量化して、残差係数を得る。残差係数が０であれば、処理対象符号化ユニットがｓkｉｐブロックであることが示され、そうでなければ、ｍｅｒｇｅブロックである。

【0021】

なお、残差係数が０であれば、処理対象符号化ユニットがｓkｉｐブロックであることが示され、ＣＵ分割を直接終了してもよく、そうでなければ、処理対象符号化ユニットＣＵの分割予測を行う必要があることが示唆される。

【0022】

具体的な実施にあたり、予め通信インターフェース２によって処理対象ビデオフレーム画像をメモリ３に記憶することができる。符号化時に、プロセッサ１は、通信バス４を介して、メモリに記憶された処理対象ビデオフレーム画像を取得し、複数の符号化ユニットに分割し、その中から処理対象符号化ユニットを特定し、処理対象符号化ユニットの現在の最適モードの残差係数を特定する。

【0023】

オプションとして、通信インターフェース２は通信モジュールのインターフェース、例えば、ＧＳＭ（登録商標）モジュールのインターフェースであってもよい。

【0024】

オプションとして、プロセッサ１は、中央処理装置ＣＰＵ又は特定用途向け集積回路ＡＳＩＣ(Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Iｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ)であるか、或いは、本願の実施例を実施する１つ又は複数の集積回路として構成されてもよい。

【0025】

ステップＳ１１０：前記残差係数が０でない場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成する。

【0026】

具体的には、本ステップで取得された符号化情報特徴のタイプと、予測モデルのトレーニング過程に使用されるトレーニングサンプルのタイプとが同じである。本願では、各タイプの符号化情報特徴テンプレートを予め設定することができ、さらに、符号化情報特徴テンプレートに従って、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから符号化情報特徴を取得し、取得された符号化情報特徴によって予測特徴ベクトルサンプルが構成される。符号化情報特徴の取得対象は、処理対象符号化ユニットＣＵ、および、処理対象符号化ユニットＣＵの存在する符号化ツリーユニットＣＴＵの近隣符号化ツリーユニットＣＴＵである。

【0027】

具体的な実施にあたり、メモリ３に各タイプの符号化情報特徴テンプレートを予め記憶することができ、さらに、プロセッサ１は符号化情報特徴テンプレートに従って、処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから符号化情報特徴を取得して、予測特徴ベクトルサンプルを構成することができる。

【0028】

ステップＳ１２０：前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される予測結果を得て、前記予測結果は、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示すためである。

【0029】

前記予測モデルは、分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む。

【0030】

具体的な実施にあたり、予測モデルをメモリ３に予め記憶することができる。予測時に、プロセッサ１は、前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される予測結果を得て、ディスプレイ５を介して出力し表示する。

【0031】

予測モデルは、ＳＶＭ(Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Mａｃｈｉｎｅ、サポートベクトルマシン)モデル、又は、ニューラルネットワークモデル機械学習モデル等であることができる。

【0032】

本願の実施例に提供される符号化ユニットの深さ特定方法によれば、分類結果で標識されたトレーニングサンプルを用いて予測モデルを予めトレーニングし、このトレーニングサンプルは、所定タイプの符号化情報特徴を含み、さらに、処理対象符号化ユニットの現在の最適モードの残差係数が０でないと特定された場合に、処理対象符号化ユニットがｓkｉｐ符号化ユニットではなく、符号化深さの予測を行う必要があることが示唆され、さらに、処理対象符号化ユニット及びその存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴を取得して、予測特徴ベクトルサンプルを構成し、予測モデルに入力し、機械学習予測モデルを用いて処理対象符号化ユニットの深さ分割を行う必要があるか否かを予測する。本願では、予測結果から、処理対象符号化ユニットの深さ分割を行う必要がないことが示唆される場合に、処理対象符号化ユニットの深さ分割及びレート歪みコストの算出や比較を行う必要がなく、従来技術に比べその符号化予測時間が大幅に削減されるとともに、計算リソースが低減され、計算の複雑さが軽減される。

【0033】

オプションとして、符号化全過程においてＩフレームの占める比率が小さいため、本願では、非Ｉフレームビデオ画像に属する処理対象符号化ユニットのみについて深さ特定を行ってもよく、つまり、上記処理対象符号化ユニットは非Ｉフレームビデオ画像に属する。

【0034】

本願の他の実施例において、他の符号化ユニットの深さ特定方法を紹介し、図５に示すように、この方法は、以下のステップＳ２００〜ステップＳ２３０を含む。

【0035】

ステップＳ２００：処理対象符号化ユニットの現在の最適モードの残差係数を特定する。

【0036】

ステップＳ２１０：前記残差係数が０でない場合に、前記処理対象符号化ユニットの符号化深さが０であるか否かを判断し、ＹＥＳであれば、ステップＳ２２０を実行する。

【0037】

具体的には、処理対象符号化ユニットの符号化深さが０であれば、処理対象符号化ユニットが最大符号化ユニットＬＣＵであることが示され、つまり、符号化ツリーユニットＣＴＵの分割を行っていない。

【0038】

本実施例において、処理対象符号化ユニットの符号化深さが０であると特定された場合に、後述する予測モデルを用いて処理対象符号化ユニットの深さ分割を行う必要があるか否かを予測する操作を実行する。

【0039】

なお、符号化深さが０でない処理対象符号化ユニットについて、予測モデルを用いて予測する中、その算出過程も複雑であり、本願では、他の方式で予測することができ、詳しくは、明細書の後述する関連紹介を参照する。

【0040】

ステップＳ２２０：前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成する。

【0041】

ステップＳ２３０：前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される予測結果を得て、前記予測結果は、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示すためである。

【0042】

前記予測モデルは、分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む。

【0043】

前の実施例に比べ、本実施例において、予測モデルを用いて符号化深さの予測を行う判断条件が追加され、即ち、処理対象符号化ユニットの符号化深さが０であると特定された場合に、モデル予測過程を実行する。符号化深さが０でない処理対象符号化ユニットについて、予測モデルを用いて予測する中、その算出過程も複雑であり、本願では、他の方式で予測することができ、詳しくは、明細書の後述する関連紹介を参照する。

【0044】

本願の他の実施例において、予測モデルを紹介する。

【0045】

ビデオコードストリームにおけるＢフレームとＰフレームの誤差積算周期が異なるため、予測モデルの予測結果をより正確にするために、本願では、予測モデルがＰフレーム予測モデルとＢフレーム予測モデルを含むとしてもよい。

【0046】

ただし、
Ｐフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｐフレームビデオ画像に属する符号化ユニットから抽出した所定タイプの符号化情報特徴である。

【0047】

Ｂフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｂフレームビデオ画像に属する符号化ユニットから抽出した前記所定タイプの符号化情報特徴である。

【0048】

上記ステップＳ２３０において、前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される予測結果を得る過程は、具体的には、以下のステップにより実現される。

【0049】

Ｓ１：前記処理対象符号化ユニットの属するビデオフレーム画像のタイプがＰフレームかそれともＢフレームかを特定する。

【0050】

Ｓ２：Ｐフレームであれば、前記予測特徴ベクトルサンプルを前記Ｐフレーム予測モデルに入力し、前記Ｐフレーム予測モデルから出力される予測結果を得る。

【0051】

Ｓ３：Ｂフレームであれば、前記予測特徴ベクトルサンプルを前記Ｂフレーム予測モデルに入力し、前記Ｂフレーム予測モデルから出力される予測結果を得る。

【0052】

本願では、Ｂフレーム及びＰフレームビデオ画像に含まれる処理対象符号化ユニットに対して異なる予測モデルを用いて予測することで、予測結果の正確度を向上させている。

【0053】

次に、本願の予測モデルの確立過程を紹介する。

【0054】

一、トレーニング特徴の取得
まず、予測モデルのトレーニング時に使用されるトレーニングサンプルを紹介する。処理対象符号化ユニットを現在符号化ユニットとして定義し、処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットを現在符号化ユニットの近隣符号化ツリーユニットとして定義すれば、本願では、予測モデルのトレーニング時に使用される所定タイプの符号化情報特徴は、
１、現在符号化ユニットのコスト(ｃｕｒｒ＿ｍｅｒｇｅ＿ｒｄｃｏｓｔ)
２、現在符号化ユニットの歪み(ｃｕｒｒ＿ｍｅｒｇｅ＿ｄｉｓｔｏｒｔｉｏｎ)
３、現在符号化ユニットの量化係数(ｃｕｒｒ＿ｑｐ)
４、現在符号化ユニットの分散(ｃｕｒｒ＿ｖａｒ)
５、現在符号化ユニットの近隣符号化ツリーユニットのコスト(ａｒｏｕｎｄ＿ｒｄｃｏｓｔ)
６、現在符号化ユニットの近隣符号化ツリーユニットの深さ情報(ａｒｏｕｎｄ＿ｄｅｐｔｈ)、を含むことができる。

【0055】

現在符号化ユニットの近隣符号化ツリーユニットは、現在符号化ユニットの存在する符号化ツリーユニットの上側の近隣符号化ツリーユニット及び左側の近隣符号化ツリーユニットであることができ、上記符号化情報特徴５は、具体的には、
５１、現在符号化ユニットの左側の近隣符号化ツリーユニットのコスト(ｌｅｆｔ＿ｒｄｃｏｓｔ)
５２、現在符号化ユニットの上側の近隣符号化ツリーユニットのコスト(ａｂｏｖｅ＿ｒｄｃｏｓｔ)、を含むことができる。

【0056】

上記符号化情報特徴６は、具体的には、
６１、現在符号化ユニットの左側の近隣符号化ツリーユニットの深さ情報(ｌｅｆｔ＿ｄｅｐｔｈ)
６２、現在符号化ユニットの上側の近隣符号化ツリーユニットの深さ情報(ａｂｏｖｅ＿ｄｅｐｔｈ)、を含むことができる。

【0057】

なお、予測モデルのトレーニング時に使用される符号化情報特徴のタイプと、処理対象符号化ユニットがモデル予測を行う時に取得した符号化情報特徴のタイプとは一致しなければならない。

【0058】

これに基づいて、本願では、異なる場面でのビデオコードストリームシーケンスを選択することができ、シーケンスに含まれるトレーニングされる符号化ユニットごとに、上記各タイプの符号化情報特徴をオフラインで抽出し、実際の符号化過程において、トレーニングされる符号化ユニットの深さ分割を行ったか否かを記録し、ＹＥＳであれば、トレーニングされる符号化ユニットの分類結果を第１標識値として標識し、ＮＯであれば、トレーニングされる符号化ユニットの分類結果を第２標識値として標識する。第１標識値は１であることができ、第２標識値は−１であることができる。

【0059】

トレーニングされる符号化ユニットで取得された各タイプの符号化情報特徴からトレーニング特徴ベクトルを構成し、トレーニング特徴ベクトル及びトレーニングされる符号化ユニットの分類結果からトレーニングサンプルを構成する。

【0060】

なお、Ｂフレーム予測モデルとＰフレーム予測モデルとは個別にトレーニングされるため、ＢフレームとＰフレームの符号化情報特徴も個別に抽出されるべきである。そして、本実施例では、符号化深さが０であるトレーニングされる符号化ユニットのみを抽出してもよく、トレーニングした予測モデルは、符号化深さが０である処理対象符号化ユニットのみについて予測する。

【0061】

二、モデルのトレーニング
本実施例では、ＳＶＭモデルでトレーニングすることができ、サードパーティによるオープンソースソフトウェアを用いて、オフラインでトレーニングする。

【0062】

Ｓ１：トレーニングサンプルの組み合わせ。１：１の割合で、分類結果がそれぞれ深さ分割を必要とすること及び深さ分割を必要としないことであるトレーニングサンプルを取得し、そして入れ替えて全トレーニングサンプルセットになる。

【0063】

Ｓ２：トレーニングサンプルの標準化。整理しておくトレーニングサンプルを標準化し、トレーニングサンプルを区間［−１，１］にマッピングする。

【0064】

本ステップにおいて、トレーニングサンプルの標準化操作を行うのは、データ形式を統一するためであり、予測の正確度を向上させることができる。

【0065】

Ｓ３：モデルのトレーニング。サードパーティによるオープンソースソフトウェアを呼び出し、ＲＢＦカーネルを用いて、Ｂフレームに属するトレーニングサンプル、Ｐフレームに属するトレーニングサンプルを個別にトレーニングし、最後にＢフレーム予測モデル及びＰフレーム予測モデルをそれぞれ得て、ｍｏｄｅ＿Ｂ＿ｃｕ６４＊６４及びｍｏｄｅ＿Ｐ＿ｃｕ６４＊６４として記する。

【0066】

本願の更なる実施例において、更なる符号化ユニットの深さ特定方法を紹介し、図６に示すように、この方法は、以下のステップＳ３００〜ステップＳ３６０を含む。

【0067】

ステップＳ３００：処理対象符号化ユニットの現在の最適モードの残差係数を特定する。

【0068】

ステップＳ３１０：前記残差係数が０でない場合に、前記処理対象符号化ユニットの符号化深さが０であるか否かを判断し、ＹＥＳであれば、ステップＳ３２０を実行し、ＮＯであれば、ステップＳ３４０を実行する。

【0069】

具体的には、処理対象符号化ユニットの符号化深さが０であれば、処理対象符号化ユニットが最大符号化ユニットＬＣＵであることが示され、つまり、符号化ツリーユニットＣＴＵの分割を行っていない。

【0070】

本実施例において、処理対象符号化ユニットの符号化深さが０であると特定された場合に、後述する予測モデルを用いて処理対象符号化ユニットの深さ分割を行う必要があるか否かを予測する操作を実行する。処理対象符号化ユニットの符号化深さが０でないと特定された場合に、他の方法で符号化深さの予測を行う。

【0071】

ステップＳ３２０：前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成する。

【0072】

ステップＳ３３０：前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される予測結果を得て、前記予測結果は、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示す。

【0073】

前記予測モデルは、分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む。

【0074】

上記ステップＳ３００〜Ｓ３３０は、前の実施例におけるステップＳ２００〜Ｓ２３０と１対１で対応し、ここでは、その詳細な説明を省略する。

【0075】

ステップＳ３４０：前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットのうち、前記処理対象符号化ユニットと同じ符号化深さの符号化ユニットの平均コストを特定し、第１平均コストとする；
ステップＳ３５０：前記処理対象符号化ユニットの存在する符号化ツリーユニットのうち、同じ符号化深さの符号化済みの符号化ユニットの平均コストを特定し、第２平均コストとする。

【0076】

ステップＳ３６０：前記第１平均コスト及び前記第２平均コストに基づいて、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを特定する。

【0077】

上述した各実施例に比べ、本実施例において、処理対象符号化ユニットの符号化深さが０でないと特定された場合に、処理対象符号化ユニットの符号化深さを予測する過程が追加され、即ち、処理対象符号化ユニット及びその存在する符号化ツリーユニットの近隣符号化ツリーユニットのうち同じ符号化深さの符号化ユニットの平均コストに基づいて、処理対象符号化ユニットの深さ分割を行う必要があるか否かを予測する。１フレームのビデオ画像における近隣する符号化ツリーユニットの像素分布に大きな差が出るはずはないため、符号化済みの近隣符号化ツリーのうち同じ符号化深さの符号化ユニットの平均コストに基づいて、処理対象符号化ユニットの深さ分割を行う必要があるか否かを予測することができ、その予測結果の正確率が比較的に高く、かつ処理対象符号化ユニットの深さ分割及びレート歪みコストの算出や比較を行う必要がなく、従来技術に比べその符号化予測時間が大幅に削減されるとともに、計算リソースが低減され、計算の複雑さが軽減される。

【0078】

さらに、上記ステップＳ３４０の実現過程を紹介し、詳しくは図７を参照し、この過程は以下のステップＳ４００〜ステップＳ４２０を含むことができる。

【0079】

ステップＳ４００：前記処理対象符号化ユニットの存在する符号化ツリーユニットの各近隣符号化ツリーユニットから、前記処理対象符号化ユニットと同じ符号化深さの符号化ユニットの平均コストを特定する。

【0080】

ステップＳ４１０：各前記近隣符号化ツリーユニットと前記処理対象符号化ユニットの存在する符号化ツリーユニットとの方位関係に従って、各前記近隣符号化ツリーユニットの重み値を特定する。

【0081】

具体的には、説明のために、処理対象符号化ユニットの存在する符号化ツリーユニットをＣｕｒｒｅｎｔ ＣＴＵとして定義し、Ｃｕｒｒｅｎｔ ＣＴＵの近隣符号化ツリーユニットは、左側の近隣符号化ツリーユニットＬｅｆｔ ＣＴＵ、左上隅の近隣符号化ツリーユニットＡｂｏｖｅＬｅｆｔ ＣＴＵ、上側の近隣符号化ツリーユニットＡｂｏｖｅ ＣＴＵ、右上隅の近隣符号化ツリーユニットＡｂｏｖｅＲｉｇｈｔ ＣＴＵを含むことができる。

【0082】

図８には、Ｃｕｒｒｅｎｔ ＣＴＵの各近隣符号化ツリーユニットが示されている。

【0083】

なお、Ｃｕｒｒｅｎｔ ＣＴＵと各近隣ＣＴＵとの方位関係が異なり、さらに、各近隣ＣＴＵの重み値も異なる。

【0084】

オプションとする対応関係において、近隣ＣＴＵの重みの比は、
Ｌｅｆｔ ＣＴＵ：Ａｂｏｖｅ ＣＴＵ：ＡｂｏｖｅＬｅｆｔ ＣＴＵ：ＡｂｏｖｅＲｉｇｈｔ ＣＴＵ＝２：２：１：１である。

【0085】

ステップＳ４２０：各前記近隣符号化ツリーユニットの重み値及びその平均コストに基づいて、各前記近隣符号化ツリーユニットの重み付き平均コストを特定し、第１平均コストとする。

【0086】

具体的には、各近隣符号化ツリーユニットの平均コストと対応する重み値とを乗算し、乗算結果を得て、各乗算結果を加算し、重み付き平均コストを得て、第１平均コストとする。

【0087】

図８に示される場合を例として、第１平均コストの特定過程を説明する。

【0088】

処理対象符号化ユニットの符号化深さを１とする。図８から分かるように、Ｌｅｆｔ ＣＴＵは、４つの符号化深さが１であるＣＵ３２＊３２を含み、ＡｂｏｖｅＬｅｆｔ ＣＴＵは、３つの符号化深さが１であるＣＵ３２＊３２を含み、Ａｂｏｖｅ ＣＴは、０個の符号化深さが１であるＣＵ３２＊３２を含み、ＡｂｏｖｅＲｉｇｈｔ ＣＴＵは、２つの符号化深さが１であるＣＵ３２＊３２を含む。

【0089】

ＣＴＵにおいて符号化深さが１である４つのＣＵ３２＊３２の位置標識は、時計回り方向に左上隅から順に０、１、２、３であると定義される。

【0090】

図８から分かるように、
ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ＝ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ０＋ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ１＋ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ２＋ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ３；
ａｂｏｖｅｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ＝ａｂｏｖｅｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ０＋ａｂｏｖｅｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ２＋ａｂｏｖｅｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ３；
ａｂｏｖｅｒｉｇｈｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ＝ａｂｏｖｅｒｉｇｈｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ１＋ａｂｏｖｅｒｉｇｈｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ２である。

【0091】

式１を例として説明すると、ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔは、左側の近隣ＣＴＵのうち符号化深さが１であるＣＵの平均コストを示し、ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ０は、左側の近隣ＣＴＵのうち符号化深さが１であるＣＵにおける位置標識が０であるＣＵのコストを示す。

【0092】

さらに、全ての近隣ＣＴＵのうち符号化深さが１であるＣＵの重み付き平均コストは、
Ａｖｇ＿ｄｅｐｔｈ１＿ｃｏｓｔ＝(ｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ＊２＋ａｂｏｖｅｌｅｆｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ＊１＋ａｂｏｖｅｒｉｇｈｔ＿ｄｅｐｔｈ１＿ｃｏｓｔ＊１)／(ｌｅｆｔ＿ｄｅｐｔｈ１＿ｎｕｍ＊２＋ａｂｏｖｅｌｅｆｔ＿ｄｅｐｔｈ１＿ｎｕｍ＊１＋ａｂｏｖｅｒｉｇｈｔ＿ｄｅｐｔｈ１＿ｎｕｍ＊１)である。

【0093】

式中、ｌｅｆｔ＿ｄｅｐｔｈ１＿ｎｕｍ、ａｂｏｖｅｌｅｆｔ＿ｄｅｐｔｈ１＿ｎｕｍ、ａｂｏｖｅｒｉｇｈｔ＿ｄｅｐｔｈ１＿ｎｕｍは、それぞれ、左側の近隣、左上の近隣及右上の近隣ＣＴＵのうち、符号化深さが１であるＣＵの数を示す。

【0094】

なお、以上、あくまでも符号化深さが１である場合について説明したが、符号化深さが２、３である場合の算出方式は、上記と同様である。

【0095】

さらに、上記ステップＳ３６０で、前記第１平均コスト及び前記第２平均コストに基づいて、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを特定する実現過程を紹介し、詳しくは図９を参照し、この過程は以下のステップＳ５００〜ステップＳ５３０を含むことができる。

【0096】

ステップＳ５００：前記第１平均コスト及び前記第２平均コストに基づいて、コスト閾値を特定する。

【0097】

具体的には、第１平均コストと第２平均コストについて異なる重み値を設定することができ、さらに、第１平均コスト及び第２平均コストを重み付き加算し、その結果をコスト閾値とすることができる。

【0098】

オプションとして、近隣ＣＴＵはすべて符号化が済んだので、第１平均コストの重み値を第２平均コストの重み値よりも大きく設定してもよい。

【0099】

ステップＳ５１０：前記処理対象符号化ユニットの現在の最適モードのコストが前記コスト閾値よりも小さいか否かを判断し、ＹＥＳであれば、ステップＳ５２０を実行し、ＮＯであれば、ステップＳ５３０を実行する。

【0100】

ステップＳ５２０：前記処理対象符号化ユニットの深さ分割を行う必要がないと特定する。

【0101】

ステップＳ５３０：前記処理対象符号化ユニットの深さ分割を行う必要があると特定する。

【0102】

具体的には、処理対象符号化ユニットの現在の最適モードのコストがコスト閾値よりも小さければ、本願では、処理対象符号化ユニットの深さ分割をこれ以上行う必要がないと認められ、そうでなければ、処理対象符号化ユニットの深さ分割が依然として必要であることが示される。

【0103】

処理対象符号化ユニットの符号化深さを相変わらず１とし、図８に示されるものを結合して説明する。

【0104】

前記処理対象符号化ユニットの存在する符号化ツリーユニットのうち符号化深さが１である符号化済みの符号化ユニットの平均コストは、Ａｖｇ＿ｃｕｒｒ＿ＣＵ＿ｄｅｐｔｈ１で示され、つまり、第２平均コストはＡｖｇ＿ｃｕｒｒ＿ＣＵ＿ｄｅｐｔｈ１で示されることを定義する。

【0105】

第１平均コストと第２平均コストの重み値の比を４：３に設定する。コスト閾値は、
Ｔｈｒｅｓｈｏｌｄ＿ｄｅｐｔｈ１＝(Ａｖｇ＿ｄｅｐｔｈ１＿ｃｏｓｔ＊４＋Ａｖｇ＿ｃｕｒｒ＿ＣＵ＿ｄｅｐｔｈ１＊３)／(３＋４)で示される。

【0106】

処理対象符号化ユニットの現在の最適モードのコストをｃｕｒｒ＿ｃｏｓｔ＿ｄｅｐｔｈ１として定義し、ｃｕｒｒ＿ｃｏｓｔ＿ｄｅｐｔｈ１＜Ｔｈｒｅｓｈｏｌｄ＿ｄｅｐｔｈ１であると特定されていれば、処理対象符号化ユニットの深さ分割をこれ以上行う必要がないと認められ、そうでなければ、深さ分割を行う必要がある。

【0107】

本願に提供される上記方法及び従来技術によって実験検証すると、従来の完全トラバース方法に比べ、本願の方法では符号化速度が９４％増加し、圧縮率が３．１％減少したことが分かり、これにより、本願では、圧縮率が少し減少した割に、符号化速度がかなり増加しているため、ビデオエンコーダの符号化速度が大幅に増加され、算出の複雑さが大幅に軽減される。

【0108】

以下、本願の実施例に提供される符号化ユニットの深さ特定装置を説明し、後述する符号化ユニットの深さ特定装置は、上述した符号化ユニットの深さ特定方法と互いに対応して参照することができる。

【0109】

図１０を参照し、図１０は、本願の実施例に開示される符号化ユニットの深さ特定装置の構造模式図である。

【0110】

図１０に示すように、この装置は、
処理対象符号化ユニットの現在の最適モードの残差係数を特定する残差係数特定ユニット１１と、
前記残差係数が０でない場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ取得して、予測特徴ベクトルサンプルを構成する特徴取得ユニット１２と、
前記予測特徴ベクトルサンプルを事前トレーニングされた予測モデルに入力し、前記予測モデルから出力される、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを示すための予測結果を得るモデル予測ユニット１３と、を備え、
前記予測モデルは、分類結果で標識されたトレーニングサンプルを用いて事前トレーニングしたものであり、前記トレーニングサンプルは、前記所定タイプの符号化情報特徴を含む。

【0111】

本願の実施例に提供される符号化ユニットの深さ特定装置によれば、分類結果で標識されたトレーニングサンプルを用いて予測モデルを予めトレーニングし、このトレーニングサンプルは、所定タイプの符号化情報特徴を含み、さらに、処理対象符号化ユニットの現在の最適モードの残差係数が０でないと特定された場合に、処理対象符号化ユニットがｓkｉｐ符号化ユニットではなく、符号化深さの予測を行う必要があることが示唆され、さらに、処理対象符号化ユニット及びその存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴を取得して、予測特徴ベクトルサンプルを構成し、予測モデルに入力し、機械学習予測モデルを用いて処理対象符号化ユニットの深さ分割を行う必要があるか否かを予測する。本願では、予測結果から、処理対象符号化ユニットの深さ分割を行う必要がないことが示唆される場合に、処理対象符号化ユニットの深さ分割及びレート歪みコストの算出や比較を行う必要がなく、従来技術に比べその符号化予測時間が大幅に削減されるとともに、計算リソースが低減され、計算の複雑さが軽減される。

【0112】

オプションとして、前記残差係数特定ユニットは、具体的には、非Ｉフレームビデオ画像に属する処理対象符号化ユニットの現在の最適モードの残差を特定してもよい。

【0113】

オプションとして、本願の装置は、
前記処理対象符号化ユニットの符号化深さが０であるか否かを判断する符号化深さ判断ユニットをさらに備えてもよい。

【0114】

これに基づいて、前記特徴取得ユニットは、具体的には、前記符号化深さ判断ユニットの判断結果がＹＥＳである場合に、前記処理対象符号化ユニット及び前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットから、所定タイプの符号化情報特徴をそれぞれ抽出する。

【0115】

オプションとして、本願の装置は、
前記処理対象符号化ユニットの符号化深さが０でないと判断された場合に、前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットのうち、前記処理対象符号化ユニットと同じ符号化深さの符号化ユニットの平均コストを特定し、第１平均コストとする近隣平均コスト特定ユニットと、
前記処理対象符号化ユニットの存在する符号化ツリーユニットのうち、同じ符号化深さの符号化済みの符号化ユニットの平均コストを特定し、第２平均コストとする自身平均コスト特定ユニットと、
前記第１平均コスト及び前記第２平均コストに基づいて、前記処理対象符号化ユニットの深さ分割を行う必要があるか否かを特定する深さ分割判断ユニットと、をさらに備えてもよい。

【0116】

オプションとして、前記予測モデルは、Ｐフレーム予測モデル及びＢフレーム予測モデルを含み、前記Ｐフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｐフレームビデオ画像に属する符号化ユニットから抽出した前記所定タイプの符号化情報特徴であり、前記Ｂフレーム予測モデルの事前トレーニング時に使用されるトレーニングサンプルは、Ｂフレームビデオ画像に属する符号化ユニットから抽出した前記所定タイプの符号化情報特徴であるようにしてもよい。これに基づいて、前記モデル予測ユニットは、
前記処理対象符号化ユニットの属するビデオフレーム画像のタイプがＰフレームかそれともＢフレームかを特定するフレームタイプ特定ユニットと、
前記フレームタイプ特定ユニットによってＰフレームであると特定された場合に、前記予測特徴ベクトルサンプルを前記Ｐフレーム予測モデルに入力し、前記Ｐフレーム予測モデルから出力される予測結果を得るＰフレームモデル予測ユニットと、
前記フレームタイプ特定ユニットによってＢフレームであると特定された場合に、前記予測特徴ベクトルサンプルを前記Ｂフレーム予測モデルに入力し、前記Ｂフレーム予測モデルから出力される予測結果を得るＢフレームモデル予測ユニットと、を含んでもよい。

【0117】

オプションとして、前記特徴取得ユニットは、
前記処理対象符号化ユニットのコスト、量化係数、歪み及び分散を取得する第１特徴取得ユニットと、
前記処理対象符号化ユニットの存在する符号化ツリーユニットの近隣符号化ツリーユニットのコスト及び深さ情報を取得する第２特徴取得ユニットと、を含んでもよい。

【0118】

オプションとして、前記近隣平均コスト特定ユニットは、
前記処理対象符号化ユニットの存在する符号化ツリーユニットの各近隣符号化ツリーユニットから、前記処理対象符号化ユニットと同じ符号化深さの符号化ユニットの平均コストを特定する第１近隣平均コスト特定サブユニットと、
各前記近隣符号化ツリーユニットと前記処理対象符号化ユニットの存在する符号化ツリーユニットとの方位関係に従って、各前記近隣符号化ツリーユニットの重み値を特定する第２近隣平均コスト特定サブユニットと、
各前記近隣符号化ツリーユニットの重み値及びその平均コストに基づいて、各前記近隣符号化ツリーユニットの重み付き平均コストを特定し、第１平均コストとする第３近隣平均コスト特定サブユニットと、を含んでもよい。

【0119】

オプションとして、前記深さ分割判断ユニットは、
前記第１平均コスト及び前記第２平均コストに基づいて、コスト閾値を特定するコスト閾値特定ユニットと、
前記処理対象符号化ユニットの現在の最適モードのコストが前記コスト閾値よりも小さいか否かを判断し、ＹＥＳであれば、前記処理対象符号化ユニットの深さ分割を行う必要がないと特定し、ＮＯであれば、前記処理対象符号化ユニットの深さ分割を行う必要があると特定するコスト閾値比較ユニットと、を含んでもよい。

【0120】

本願の実施例にはビデオエンコーダがさらに開示され、このビデオエンコーダは、上述した符号化ユニットの深さ特定装置を備える。

【0121】

さらに、ビデオエンコーダは、以上で紹介した予測モデルをさらに備えてもよい。本願に開示されるビデオエンコーダは、従来のビデオエンコーダに比べ、その符号化速度が大幅に増加され、算出の複雑さも大幅に軽減される。

【0122】

なお、最後に、本文において、第１及び第２のような関係を表す用語は、あくまでもエンティティ又は操作を他のエンティティ又は操作から区別するためであり、これらのエンティティ又は操作間にこのような実際の関係や順番があることを要求するか暗示するとは限らない。また、用語である「含む」、「有する」及びそれらの如何なる変形は、排他的にならずに含まれたものをカバーすることがその意図であり、これにより、一連の要素を含めた過程、方法、製品又は機器は、これらの要素を含むだけでなく、明確にリストアップされていない他の要素をも含むか、或いは、これらの過程、方法、製品又は機器に固有であったりする他の要素をも含む。更なる限定がない場合に、「１つの・・・を含む」という表現で限定された要素は、前記要素を含む過程、方法、製品又は機器には他の同一の要素がさらに含まれていることを排除しない。

【0123】

本明細書において、各実施例を順に説明し、各実施例について重点を置いて説明した部分は他の実施例と異なるものであり、各実施例間で同一の又は類似した部分は互いに参照すればよい。

【0124】

開示された実施例を以上のように説明することで、当業者は本願を実現又は使用することができる。これらの実施例に対する様々な修正は当業者にとって自明なものであり、本文に定義された一般的な原理は本願の思想や範囲から逸脱しない限り、他の実施例にて実現されることができる。このため、本願は本文に示されるこれらの実施例に制限されることなく、本文に開示された原理及び新規特徴と一致する最も広い範囲に合致する。

【符号の説明】

【0125】

１ プロセッサ
２ 通信インターフェース
３ メモリ
４ 通信バス
５ ディスプレイ
１１ 残差係数特定ユニット
１２ 特徴取得ユニット
１３ モデル予測ユニット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】