▶ テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッドの特許一覧
特許7182643画像符号化における予測方向の選択方法、その装置、電子機器及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-24
(45)【発行日】2022-12-02
(54)【発明の名称】画像符号化における予測方向の選択方法、その装置、電子機器及びコンピュータプログラム
(51)【国際特許分類】
H04N 19/11 20140101AFI20221125BHJP
H04N 19/176 20140101ALI20221125BHJP
H04N 19/147 20140101ALI20221125BHJP
H04N 19/593 20140101ALI20221125BHJP
H04N 19/14 20140101ALI20221125BHJP
【ＦＩ】
H04N19/11
H04N19/176
H04N19/147
H04N19/593
H04N19/14
【請求項の数】
20
(21)【出願番号】P 2020558673
(86)(22)【出願日】2018-12-04
(65)【公表番号】
(43)【公表日】2021-04-30
(86)【国際出願番号】 CN2018119185
(87)【国際公開番号】W WO2019141007
(87)【国際公開日】2019-07-25
【審査請求日】2020-08-03
(31)【優先権主張番号】201810038393.3
(32)【優先日】2018-01-16
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】514187420
【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジャン，ホォンシュン
【審査官】鉢呂 健
(56)【参考文献】
【文献】KIM, Jaehwan et al.，Fast intra mode decision of HEVC based on hierarchical structure，2011 8th International Conference on Information, Communications & Signal Processing，米国，IEEE，2012年04月02日，pp. 1-4，<URL: https://ieeexplore.ieee.org/document/6737737>，<DOI: 10.1109/PCS.2013.6737737>
【文献】LEAL DA SILVA, Thaisa et al.，HEVC intra mode decision acceleration based on tree depth levels relationship，2013 Picture Coding Symposium (PCS)，米国，IEEE，2014年02月13日，pp. 277-280，<URL: https://ieeexplore.ieee.org/document/6737737>，<DOI: 10.1109/PCS.2013.6737737>
【文献】ZHANG, Dongdong et al.，Fast intra mode decision for HEVC based on texture characteristic from RMD and MPM，2014 IEEE Visual Communications and Image Processing Conference，米国，IEEE，2015年03月02日，pp. 510-513，<URL: https://ieeexplore.ieee.org/document/7051618>，<DOI: 10.1109/VCIP.2014.7051618>
【文献】LEAL DA SILVA, Thaisa et al.，HEVC intra prediction acceleration based on texture direction and prediction unit modes reuse，SIP (2014)，Cambridge University Press，2014年12月05日，vol. 3, e13，pp. 1-13，<URL: https://www.cambridge.org/core/journals/apsipa-transactions-on-signal-and-information-processing/article/hevc-intra-prediction-acceleration-based-on-texture-direction-and-prediction-unit-modes-reuse/430556D47EE1FFABD2646100FBE85A36>，<DOI: https://doi.org/10.1017/ATSIP.2014.14>
【文献】ZHAO, Liang et al.，Further Encoder Improvement of intra mode decision，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 4th Meeting: Daegu, KR, 20-28 January, 2011, [JCTVC-D283]，JCTVC-D283 (version 3)，ITU-T，2011年01月22日，JCTVC-D283-v3.zip: JCTVC-D283.doc: pp. 1-4
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
画像処理装置が実行する画像符号化における予測方向の選択方法であって、符号化ユニットの予測ユニットに対して開始した符号化予測において、前記予測ユニットに対応する参照方向を決定するステップであって、前記予測ユニットが位置する前記符号化ユニットの上位レイヤの符号化ユニットのテクスチャ特性と前記予測ユニットのテクスチャ特性とが一貫性を有し、前記参照方向は、前記上位レイヤの符号化ユニットに対して実行されたフレーム内予測によって取得した予測方向を含む、ステップと、
前記符号化ユニットについて、予め選択されたフレーム内方向からレート歪みコストに従って選択される予備選択方向ベクトルを取得するステップと、
前記参照方向と、前記予備選択方向ベクトルのうち少なくとも１つとを含む処理候補方向ベクトルを決定するステップと、を含み、
前記処理候補方向ベクトルは、前記符号化ユニットに対して実行されるユニット予測の予測方向として最適コストに対応する方向を選択するために用いられることを特徴とする、画像符号化における予測方向の選択方法。
【請求項2】
前記取得するステップは、ＨＥＶＣ標準で規定された３５個のフレーム内方向の中から、前記予測ユニットにおけるレート歪みコストに従って、レート歪みコストが最も小さい２つ以上のフレーム内方向を選択するステップを含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記参照方向と前記予備選択方向ベクトルとともに前記予測ユニットの前記処理候補方向ベクトルを決定するために用いられる前記予測ユニットのＭＰＭ候補方向を取得するステップと、前記参照方向又は前記ＭＰＭ候補方向と同じ方向を有する予備選択方向ベクトルの存在に基づき、前記処理候補方向ベクトルにおける前記予備選択方向ベクトルの数を修正し、前記修正された数の予備選択方向ベクトルを含む前記処理候補方向ベクトルの調整を行うステップをさらに含むことを特徴とする
請求項１に記載の方法。
【請求項4】
前記参照方向を決定するステップは、符号化ユニットの深度情報を取得するステップと、
前記深度情報に基づき、前記符号化ユニットの上位レイヤの符号化ユニットを位置決めするステップと、
前記上位レイヤの符号化ユニットから、前記上位レイヤの符号化ユニットに存在する予測ユニットに対して完了した予測によって取得された予測方向を抽出するステップと、
前記予測方向を含む、前記予測ユニットに対して符号化予測を実行するための参照方向を決定するステップと、を含むことを特徴とする
請求項３に記載の方法。
【請求項5】
前記抽出するステップは、前記上位レイヤの符号化ユニットの予測ユニットに対して実行した符号化予測によって取得した予測方向を抽出するステップを含むことを特徴とする
請求項４に記載の方法。
【請求項6】
前記抽出するステップは、前記符号化ユニットと同じ深度にありかつ前記上位レイヤの符号化ユニットに対応する隣接符号化ユニットを決定するステップと、
前記隣接符号化ユニットに基づき、取得された予測方向を抽出するステップと、を含むことを特徴とする
請求項４又は５に記載の方法。
【請求項7】
前記隣接符号化ユニットは、前記符号化ユニットの上側に位置する符号化ユニット、前記符号化ユニットの左側に位置する符号化ユニット、及び前記符号化ユニットの左上側に位置する符号化ユニットを含むことを特徴とする請求項６に記載の方法。
【請求項8】
前記取得するステップは、前記フレーム内方向のレート歪みコストに従って、対応するレート歪みコストの昇順に配列された指定数のフレーム内方向を取得するステップを含み、前記指定数は前記予測ユニットに対応するサイズに関連付けられていることを特徴とする
請求項１に記載の方法。
【請求項9】
前記指定数は前記予測ユニットに対応するサイズに応じてそれぞれ特定の値に対応し、前記予測ユニットに対応するサイズが小さくなることにつれて、前記フレーム内方向の前記指定数が最大値になるまで徐々に増加することを特徴とする請求項８に記載の方法。
【請求項10】
前記処理候補方向ベクトルを決定するステップの前に、前記参照方向と前記予備選択方向ベクトルとともに前記予測ユニットの前記処理候補方向ベクトルを決定するために用いられる前記予測ユニットのＭＰＭ候補方向を取得するステップをさらに含むことを特徴とする
請求項１に記載の方法。
【請求項11】
前記処理候補方向ベクトルの調整を行うステップは、前記処理候補方向ベクトルにおける他の候補方向ベクトルと同じ方向を有する予備選択方向ベクトルを含む処理候補方向ベクトルにおいて、前記修正された数の予備選択方向ベクトルを生成し、前記処理候補方向ベクトルの調整に対応する精選調整制御情報を生成するステップと、
前記処理候補方向ベクトルにおいて、前記修正された数の予備選択方向ベクトルに一致しかつレート歪みコストが最も小さい予備選択方向ベクトルの数を保持するステップと、
前記精選調整制御情報に基づき、前記処理候補方向ベクトルにおける他の候補方向ベクトルの保持又は除去を制御し、精選調整後の前記処理候補方向ベクトルを取得するステップと、を含むことを特徴とする
請求項３に記載の方法。
【請求項12】
前記処理候補方向ベクトルにおける他の候補方向ベクトルは参照方向及びＭＰＭ候補方向を含み、前記修正された数の予備選択方向ベクトルを生成し、前記精選調整制御情報を生成するステップは、前記処理候補方向ベクトルにおける前記参照方向及び／又はＭＰＭ候補方向と同じ方向を有する予備選択方向ベクトルを特定するステップと、
特定された前記予備選択方向ベクトルに基づき、前記処理候補方向ベクトルにおける現在の予備選択方向ベクトルの数を減少させ、前記修正された数の予備選択方向ベクトルを取得し、前記修正された数の予備選択方向ベクトルが特定された前記予備選択方向ベクトルに対応するレート歪みコストの昇順の順位に対応しているステップと、
特定された前記予備選択方向ベクトルが前記参照方向及びＭＰＭ候補方向の双方と同じ方向を有する場合、数が修正された予備選択方向ベクトルのみを使用することを示す前記精選調整制御情報を生成するステップ、又は、
特定された前記予備選択方向ベクトルが前記参照方向又はＭＰＭ候補方向と同じ方向を有する場合、前記参照方向、ＭＰＭ候補方向、及び数が修正された予備選択方向ベクトルを使用することを示す前記精選調整制御情報を生成するステップと、を含むことを特徴とする
請求項１１に記載の方法。
【請求項13】
前記他の候補方向ベクトルは参照方向及びＭＰＭ候補方向を含み、前記修正された数の予備選択方向ベクトルを生成し、前記精選調整制御情報を生成するステップは、前記予備選択方向ベクトルのいずれも前記参照方向又はＭＰＭ候補方向と同じ方向を有さない場合、前記参照方向、ＭＰＭ候補方向、及び数が修正されない予備選択方向ベクトルを使用することを示す前記精選調整制御情報を生成するステップをさらに含むことを特徴とする
請求項１２に記載の方法。
【請求項14】
前記精選調整制御情報に基づき、前記処理候補方向ベクトルにおける他の候補方向ベクトルの保持又は除去を制御し、精選調整後の前記処理候補方向ベクトルを取得するステップは、前記精選調整制御情報に基づき、前記処理候補方向ベクトルにおける前記参照方向及びＭＰＭ候補方向を保持又は除去し、精選調整後の前記処理候補方向ベクトルを形成するステップを含むことを特徴とする
請求項１２に記載の方法。
【請求項15】
前記レート歪みコストは、ＳＡＴＤレート歪みコスト関数を用いて取得されることを特徴とする請求項１～１４に記載のいずれかに記載の方法。
【請求項16】
処理回路を含む予測方向の選択装置であって、前記処理回路は、
符号化ユニットの予測ユニットに対して開始した符号化予測において、前記予測ユニットに対応する参照方向を決定し、
前記符号化ユニットについて、レート歪みコストに従ってフレーム内方向から選択される予備選択方向ベクトルを取得し、
前記参照方向と、前記予備選択方向ベクトルのうち少なくとも１つとを含む処理候補方向ベクトルを決定するように構成され、
前記予測ユニットが位置する前記符号化ユニットの上位レイヤの符号化ユニットのテクスチャ特性と前記予測ユニットのテクスチャ特性とが一貫性を有し
、前記参照方向は、前記上位レイヤの符号化ユニットに対して実行されたフレーム内予測によって取得した予測方向を含み、
前記処理候補方向ベクトルは、前記符号化ユニットに対して実行されるユニット予測の予測方向として最適コストに対応する方向を選択するために用いられることを特徴とする
予測方向の選択装置。
【請求項17】
前記処理回路は、前記参照方向と前記予備選択方向ベクトルとともに前記予測ユニットの前記処理候補方向ベクトルを決定するために用いられる前記予測ユニットのＭＰＭ候補方向を取得し、
前記参照方向又は前記ＭＰＭ候補方向と同じ方向を有する予備選択方向ベクトルの存在に基づき、前記処理候補方向ベクトルにおける前記予備選択方向ベクトルの数を修正し、前記修正された数の予備選択方向ベクトルを含む前記処理候補方向ベクトルの調整を行うようにさらに構成されることを特徴とする
請求項１６に記載の装置。
【請求項18】
前記レート歪みコストは、ＳＡＴＤレート歪みコスト関数を用いて取得されることを特徴とする請求項１６又は１７に記載の装置。
【請求項19】
電子機器であって、プロセッサと、
前記プロセッサにより実行されるときに、請求項１～１５のいずれかに記載の方法を実行するコンピュータ可読命令が記憶される記憶装置と、を含むことを特徴とする、電子機器。
【請求項20】
画像処理装置として機能するコンピュータに、請求項１～１５のいずれかに記載の方法を実行させるコンピュータプログラム。【発明の詳細な説明】
【技術分野】
【0001】
［関連出願への相互参照］
本願は、出願日２０１８年０１月１６日、出願番号２０１８１００３８３９３３、発明の名称『画像符号化における予測方向の選択方法及びその装置並びに記憶媒体』である特許出願の優先権を主張する。
本願は、出願日２０１８年０１月１６日、出願番号２０１８１００３８３９３３、発明の名称『画像符号化における予測方向の選択方法及びその装置並びに記憶媒体』である特許出願の優先権を主張する。
【0002】
［技術分野］
本発明はビデオ符号化の技術分野に関し、特に画像符号化における予測方向の選択方法及びその装置並びにコンピュータ可読記憶媒体に関するものである。
本発明はビデオ符号化の技術分野に関し、特に画像符号化における予測方向の選択方法及びその装置並びにコンピュータ可読記憶媒体に関するものである。
【背景技術】
【0003】
日常の仕事や生活の中で、ビデオの画像符号化のニーズが急速に高まっており、より高精細な画像を楽しめることがずっと追求されている。画像符号化の実行により、画像圧縮を実現し、同じネットワーク帯域幅条件において高解像度の表示画面を提供できる。
【0004】
時間の経過に伴って、画像符号化の実装が継続的に変化しており、現在普及しているＨ．２６４（高圧縮デジタルビデオコーデック標準）には、原理としていくつかの制限があり、将来のニーズを満たすことができず、従って、新しい標準、すなわち、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化プロトコルが現れた。
【0005】
しかしながら、実際に実行される画像符号化の実装において、ＨＥＶＣ符号化プロトコルが非常に複雑であり、かつ符号化装置性能への要件が高く、一般的な符号化装置がリアルタイムに符号化する機能を有さない。その結果、画像符号化におけるＨＥＶＣ符号化プロトコルの適用が限定される。
【0006】
具体的には、ＨＥＶＣ符号化プロトコルにより実装される画像符号化は、符号化予測及び符号化圧縮という２つの部分を含む。実行される符号化予測において、符号化ユニット（ＣＵ）の四分木分割をレイヤごとに実行する必要がある。各レイヤにおいて、符号化ユニットは、予測ユニット（ＰＵ）に対してＨＥＶＣ符号化プロトコルが指定した３５個の予測方向をトラバースし、予測の最適方向として３５個の予測方向から予測方向を選択し、それにより、対応する予測モードを取得する。ここで、符号化ユニットは、取得された予測モードで予測ユニットに対して符号化予測を実行する。
【0007】
予測方向の選択はステップ１～２によって実現される。すなわち、ステップ１は、予備選択として機能し、レート歪み関数としてＳＡＴＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）が用いられる。レート歪み関数によって３５個の予測方向をトラバースし、たとえば、各予測方向のレート歪みコストを取得する。予測方向はレート歪みコストの昇順に配列され、そして、いくつかの小さいレート歪みコストに対応する予測方向とＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ、最も可能性が高い）候補方向を新しい候補方向に組み合わせる。ステップ２は、精選として機能し、レート歪み関数としてＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）が用いられる。レート歪み関数によってステップ１で形成される候補方向をトラバース及び計算し、さらに、レート歪みコストが最も小さい方向を予測の最適方向として見つける。予測方向選択の実現は、再構成を実行する必要があるため、複雑さが高く、実行速度が遅い。
【0008】
ＨＥＶＣ符号化プロトコルは単なる標準であり、コードについてＨＭ（ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ）の公式実装及びｘ２６５の非公式実装によって実現される。実行される最適方向の予測において、ＨＭを例として、新しい候補方向を組み合わせる場合、予備選択結果のうちの上位のＮ個の方向を取得し、Ｎの値は符号化ユニットにより予測された予測ユニットのサイズに関連付けられている。たとえば、予測ユニットのサイズが６４×６４ピクセルブロック、３２×３２ピクセルブロック、又は１６×１６ピクセルブロックである場合、Ｎの値は３であり、予測ユニットのサイズが８×８ピクセルブロック又は４×４ピクセルブロックである場合、Ｎの値は８である。ｘ２６５は以上と同様である。
【0009】
したがって、予測ユニットのサイズが８×８ピクセルブロック又は４×４ピクセルブロックである場合、ＭＰＭ候補方向に含まれる左側の隣接予測ユニットにより予測して取得された最適方向及び上側の隣接予測ユニットにより予測して取得された最適方向を加えるとき、符号化ユニットの予測ユニットに対して符号化予測を実行して取得した最適方向は少なくとも１０個であり、後続の符号化圧縮では、数が依然として大きくかつ精度を確保できず、さらに対応する符号化速度が遅く、効果が低い。
【0010】
言い換えれば、ＨＥＶＣ符号化プロトコルにおいて、予測方向の最適選択を実現するために、予測方向選択の実現において、予測して取得した最適方向が正確ではないという制限があり、その結果、画像符号化に深刻なパフォーマンスの欠陥がある。
【発明の概要】
【0011】
関連技術では符号化ユニットによりユニット予測を行うときに、予測方向の選択の精度を保証しにくく、画像符号化に深刻な性能欠陥があるという技術課題を解決するために、本発明は、画像符号化における予測方向の選択方法、装置、及びコンピュータ可読記憶媒体を提供する。
【課題を解決するための手段】
【0012】
一実施例において、画像処理装置が実行する画像符号化における予測方向の選択方法は、符号化ユニットの予測ユニットに対して開始した符号化予測において、前記予測ユニットが位置する前記符号化ユニットの上位レイヤの符号化ユニットに対する前記予測ユニットのテクスチャ一貫性に従って、前記予測ユニットに対応する参照方向を決定するステップを含む。前記方法はまた、前記符号化ユニットについて、レート歪みコストに従ってフレーム内方向から選択される予備選択方向ベクトルを取得するステップと、前記参照方向及び前記予備選択方向ベクトルによって、処理候補方向ベクトルを決定するステップと、を含む。前記処理候補方向ベクトルは、前記符号化ユニットに対して実行されるユニット予測の予測方向として最適コストに対応する方向を選択するために用いられる。
【0013】
一実施例において、前記取得するステップは、ＨＥＶＣ標準で規定された３５個のフレーム内方向の中から、前記予測ユニットにおけるレート歪みコストに従って、レート歪みコストが最も小さい２つ以上のフレーム内方向を選択するステップを含む。
【0014】
一実施例において、前記参照方向及び前記予備選択方向ベクトルによって、前記処理候補方向ベクトルを決定するステップの後、前記方法は、前記参照方向及び前記フレーム内方向に基づき、前記処理候補方向ベクトルにおける前記予備選択方向ベクトルの数を修正し、前記修正された数の予備選択方向ベクトルを含む前記処理候補方向ベクトルの調整を行うステップをさらに含む。
【0015】
一実施例において、前記参照方向を決定するステップは、符号化ユニットの深度情報を取得するステップと、前記深度情報に基づき、前記符号化ユニットの上位レイヤの符号化ユニットを位置決めするステップと、前記上位レイヤの符号化ユニットから、前記上位レイヤの符号化ユニットに存在する予測ユニットに対して完了した予測によって取得された予測方向を抽出するステップと、を含む。前記参照方向を決定するステップはまた、前記予測方向に基づき、前記予測ユニットに対して符号化予測を実行するための参照方向を決定するステップを含む。
【0016】
一実施例において、前記抽出するステップは、前記上位レイヤの符号化ユニットの予測ユニットに対して実行した符号化予測によって取得した予測方向を抽出するステップを含む。
【0017】
一実施例において、前記抽出するステップは、前記符号化ユニットと同じ深度にありかつ前記上位レイヤの符号化ユニットに対応する隣接符号化ユニットを決定するステップと、前記隣接符号化ユニットに基づき、取得された予測方向を抽出するステップと、を含む。
【0018】
一実施例において、前記隣接符号化ユニットは、前記符号化ユニットの上側に位置する符号化ユニット、前記符号化ユニットの左側に位置する符号化ユニット、及び前記符号化ユニットの左上側に位置する符号化ユニットを含む。
【0019】
一実施例において、前記取得するステップは、前記フレーム内方向のレート歪みコストに従って、対応するレート歪みコストの昇順に配列された指定数のフレーム内方向を取得するステップを含み、前記指定数は前記予測ユニットに対応するサイズに関連付けられている。
【0020】
一実施例において、前記指定数は前記予測ユニットに対応するサイズに応じてそれぞれ特定の値に対応し、前記予測ユニットに対応するサイズが小さくなることにつれて、前記フレーム内方向の前記指定数が最大値になるまで徐々に増加する。
【0021】
一実施例において、前記処理候補方向ベクトルを決定するステップの前に、前記参照方向と前記予備選択方向ベクトルとともに前記予測ユニットの前記処理候補方向ベクトルを決定するために用いられる前記予測ユニットのＭＰＭ候補方向を取得するステップをさらに含む。
【0022】
一実施例において、前記処理候補方向ベクトルの調整を行うステップは、前記処理候補方向ベクトルにおける他の候補方向ベクトルと同じ方向を有する予備選択方向ベクトルを含む処理候補方向ベクトルにおいて、前記修正された数の予備選択方向ベクトルを生成し、前記処理候補方向ベクトルの調整に対応する精選調整制御情報を生成するステップを含む。前記処理候補方向ベクトルの調整を行うステップは、前記処理候補方向ベクトルにおいて、前記修正された予備選択方向ベクトルの数に一致しかつレート歪みコストが最も小さい予備選択方向ベクトルの数を保持するステップと、最後に、前記処理候補方向ベクトルの調整を行うステップは、前記精選調整制御情報に基づき、前記処理候補方向ベクトルにおける他の候補方向ベクトルの保持又は除去を制御し、精選調整後の前記処理候補方向ベクトルを取得するステップを含む。
【0023】
一実施例において、前記処理候補方向ベクトルにおける他の候補方向ベクトルは参照方向及びＭＰＭ候補方向を含む。前記修正された数の予備選択方向ベクトルを生成し、前記精選調整制御情報を生成するステップは、前記処理候補方向ベクトルにおける前記参照方向及び／又はＭＰＭ候補方向と同じ方向を有する予備選択方向ベクトルを特定するステップを含む。前記方法は、特定された前記予備選択方向ベクトルに基づき、前記処理候補方向ベクトルにおける現在の予備選択方向ベクトルの数を減少させ、前記修正された数の予備選択方向ベクトルを取得し、前記修正された数の予備選択方向ベクトルが特定された前記予備選択方向ベクトルに対応するレート歪みコストの昇順の順位に対応しているステップをさらに含む。最後に、前記方法は、特定された前記予備選択方向ベクトルが前記参照方向及びＭＰＭ候補方向の双方と同じ方向を有する場合、数が修正された予備選択方向ベクトルのみを使用することを示す前記精選調整制御情報を生成するステップ、又は、特定された前記予備選択方向ベクトルが前記参照方向又はＭＰＭ候補方向と同じ方向を有する場合、前記参照方向、ＭＰＭ候補方向、及び数が修正された予備選択方向ベクトルを使用することを示す前記精選調整制御情報を生成するステップを含む。
【0024】
一実施例において、前記他の候補方向ベクトルは参照方向及びＭＰＭ候補方向を含む。前記修正された数の予備選択方向ベクトルを生成し、前記精選調整制御情報を生成するステップは、前記予備選択方向ベクトルのいずれも前記参照方向又はＭＰＭ候補方向と同じ方向を有さない場合、前記参照方向、ＭＰＭ候補方向、及び数が修正されない予備選択方向ベクトルを使用することを示す前記精選調整制御情報を生成するステップをさらに含む。
【0025】
一実施例において、前記精選調整制御情報に基づき、前記処理候補方向ベクトルにおける他の候補方向ベクトルの保持又は除去を制御し、精選調整後の前記処理候補方向ベクトルを取得するステップは、前記精選調整制御情報に基づき、前記処理候補方向ベクトルにおける前記参照方向及びＭＰＭ候補方向を保持又は除去し、精選調整後の前記処理候補方向ベクトルを形成するステップを含む。
【0026】
一実施例において、前記レート歪みコストは、ＳＡＴＤレート歪みコスト関数を用いて取得される。
【0027】
一実施例において、予測方向の選択装置は処理回路を含み、前記処理回路は、符号化ユニットの予測ユニットに対して開始した符号化予測において、前記予測ユニットが位置する前記符号化ユニットの上位レイヤの符号化ユニットに対する前記予測ユニットのテクスチャ一貫性に従って、前記予測ユニットに対応する参照方向を決定するように構成される。前記処理回路は、前記符号化ユニットについて、レート歪みコストに従ってフレーム内方向から選択される予備選択方向ベクトルを取得するようにさらに構成される。最後に、前記処理回路は、前記参照方向及び前記予備選択方向ベクトルによって、処理候補方向ベクトルを決定するように構成される。前記処理候補方向ベクトルは、前記符号化ユニットに対して実行されるユニット予測の予測方向として最適コストに対応する方向を選択するために用いられる。
【0028】
一実施例において、前記処理回路は、前記参照方向及び前記フレーム内方向に基づき、前記処理候補方向ベクトルにおける前記予備選択方向ベクトルの数を修正し、前記修正された数の予備選択方向ベクトルを含む前記処理候補方向ベクトルの調整を行うようにさらに構成される。
【0029】
一実施例において、前記レート歪みコストは、ＳＡＴＤレート歪みコスト関数を用いて取得される。
【0030】
一実施例において、電子機器は、プロセッサと、前記プロセッサにより実行されるときに、上記のいずれかの方法を実行するコンピュータ可読命令が記憶される記憶装置と、を含む。
【0031】
一実施例において、コンピュータプログラムは、画像処理装置として機能するコンピュータに、上記のいずれかの方法を実行させる。
【発明の効果】
【0032】
本発明の実施形態により提供される技術案は以下の有益な効果を有する。
【0033】
符号化ユニットの予測ユニットに対して開始した符号化予測において、まず、予測ユニットが位置する符号化ユニットの上位レイヤの符号化ユニットに対する予測ユニットのテクスチャ一貫性に従って、予測ユニットに対応する参照方向が決定される。次に、号化ユニットについて、レート歪みコストに従ってフレーム内方向から形成される予備選択方向ベクトルが取得される。最後に、参照方向及び予備選択方向ベクトルによって、精選候補方向ベクトルのフレーム内方向（又は処理候補方向ベクトル）が決定される。精選候補方向ベクトルは、符号化ユニットに対して実行されるユニット予測の予測方向として最も小さいコストに対応する方向を選択するために用いられる。このように、予測ユニットが上位レイヤの符号化ユニットのテクスチャ一貫性に基づき参照方向が得られ、予測ユニットが画像領域として、上位レイヤの符号化ユニット及び隣接予測ユニットに対応する画像領域とほぼ同じテクスチャ方向がある。従って、参照方向の導入により予測方向の選択のために予測方向の選択範囲を効果的に縮め、次の選択（例えば、最適な予測方向の選択）を行う精選候補方向ベクトルの精度を保証し、符号化予測の効率を保証する。また、レート歪みコストに従ってフレーム内方向から形成される、予備選択方向ベクトルを予備選択予測結果として使用することによって、計算の複雑さを効果的に低減する。取得された精選候補方向が上記参照方向の補助で、符号化ユニットのユニット予測に使用するのに選択される予測方向（例えば、最適方向）を含む確率が最も高く、符号化ユニットに対して実行されるユニット予測において、予測方向の選択の精度を保証し、画像符号化の性能を効果的に向上させる。
【0034】
なお、上記の一般的な説明及び以下の詳細な説明は、例示的なものであり、本発明を限定するものではないことが理解されるべきである。
【図面の簡単な説明】
【0035】
添付図面は、本明細書の一部に組み込まれ、本明細書の一部を構成し、本発明に適合する実施形態を示し、明細書とともに本発明の原理を説明する役目を担う。
【図1】例示的な実施例による本発明に係る実装環境を示す模式図である。
【図2】例示的な実施例による装置のブロック図である。
【図3】例示的な実施例による画像符号化における予測方向の選択方法のフローチャートである。
【図6】図３に対応する実施例による、前記参照方向及びフレーム内方向に基づき、前記精選候補方向ベクトルにおける予備選択方向ベクトルの数の修正及び数が修正された予備選択方向ベクトルを含む精選候補方向ベクトルの調整を行うステップの詳細を示すフローチャートである。
【図8】例示的な実施例による、符号化ユニットが４つの符号化サブユニットに分割しない状況を示す模式図である。
【図10】一つの例示的な実施例による画像符号化における予測方向の選択装置のブロック図である。
【発明を実施するための形態】
【0036】
ここで、例示的な実施例を詳細に説明し、その例が図面に示される。以下の説明が図面に関する場合、特に明示しない限り、異なる図面における同じ数字が同じまたは類似する部品を示す。以下に例示的な実施例に説明される実施形態は、本発明と一致するすべての実施形態を表すものではない。逆に、それらは特許請求の範囲に詳述された、本発明のいくつかの方面と一致する装置及び方法の例に過ぎない。
【0037】
【0038】
ビデオサーバ１１０は、ビデオアプリケーションサービスを提供するように構成され、ビデオサーバ１１０にアクセスするユーザ端末装置１３０がビデオアプリケーションサービスを実行することを可能にする。
【0039】
このとき、ビデオサーバ１１０は、本発明により実現される予測方向の選択を通じて符号化予測及び符号化圧縮を実行し、ビデオシーケンスに対応するストリームを取得し、ユーザ端末装置１３０にビデオを伝送し、さらに、高精細度及び高圧縮比のビデオ符号化データを復号した後、ユーザ端末装置１３０が実行するビデオアプリケーションサービスに高精細度の画像画面を表示する。
【0040】
本発明に係る実装環境は、画像符号化を実行するビデオサーバ１１０のほか、このユーザ端末装置１３０にビデオを伝送する装置、たとえば、ほかのユーザ端末装置等をさらに含み、ここでは、列挙しない。
【0041】
【0042】
図２に示すように、該装置２００は、異なる構成又は性能を有してもよく、１つ又は１つ以上の中央プロセッサ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ：ＣＰＵ）２２２（たとえば、１つ又は１つ以上のプロセッサ又は処理回路）及び記憶装置２３２、アプリケーションプログラム２４２又はデータ２４４を記憶する１つ又は１つ以上の記憶媒体２３０（たとえば、１つ又は１つ以上の大容量記憶デバイス）を含んでもよい。記憶装置２３２及び記憶媒体２３０は、一時記憶又は永続的記憶であってもよい。記憶媒体２３０に記憶されるプログラムは、サーバにおける一連の命令を操作する１つ又は１つ以上のモジュール（図示せず）を含んでもよい。さらに、中央プロセッサ２２２は、記憶媒体２３０と通信するように設定され、装置２００において記憶媒体２３０における一連の命令操作を実行する。装置２００は、１つ又は１つ以上の電源２２６、１つ又は１つ以上の有線又は無線ネットワークインターフェース２５０、１つ又は１つ以上の入出力インターフェース２５８、及び／又は、１つ又は１つ以上のオペレーティングシステム２４１、たとえばＷｉｎｄｏｗｓ Ｓｅｒｖｅｒ（登録商標）、Ｍａｃ ＯＳ Ｘ（登録商標）、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤ（登録商標）等を含んでもよい。以下、図３、図４、図５、図６、及び図７に示される実施例に記載のビデオサーバにより実行されるステップは、該図２に示される装置構造に基づいて実行される。
【0043】
図３は、例示的な実施例による画像符号化における予測方向の選択方法のフローチャートである。該画像符号化における予測方向の選択方法は、上記実装環境におけるビデオサーバ１１０、又は他のユーザ端末装置に適用し、１つの例示的な実施例において、ビデオサーバ１１０は図２に示される装置であってもよい。
【0044】
図３に示すように、該画像符号化における予測方向の選択方法は、少なくともステップ３１０、ステップ３３０、及びステップ３５０を含む。
【0045】
ステップ３１０では、符号化ユニットの予測ユニットに対して開始した符号化予測において、予測ユニットが位置するレイヤの上位レイヤの符号化ユニットに対する予測ユニットのテクスチャ一貫性に従って、予測ユニットに対応する参照方向を構築する。１つの例示的な実施例において、ステップ３１０は、符号化ユニットの予測ユニットに対して開始した符号化予測において、予測ユニットが位置する符号化ユニットの上位レイヤの符号化ユニットに対する予測ユニットのテクスチャ一貫性に従って、予測ユニットに対応する参照方向を決定するステップを含んでもよい。
【0046】
なお、予測方向を選択して符号化を完了した画像は、フレーム内符号化フレームとも呼ばれるビデオシーケンスにおけるＩフレーム（Ｉ－ｆｒａｍｅ）であってもよく、画像符号化であってもよく、さらにフレーム内符号化を必要とする画像であってもよく、ここで、限定しない。
【0047】
Ｉフレーム、又は画像符号化によるフレーム内符号化は、画像を参照せずに実行される独立符号化である。ビデオシーケンスにおける第１フレーム画像は、通常ではＩフレームであることが理解されるべきである。ビデオ伝送において、伝送されるストリームが破損すると、Ｉフレームは常にビデオの開始点として用いられる。具体的には、Ｉフレームはビデオ伝送によって実現されるビデオアプリケーションサービスにおいて早送り、再生及びビデオーンの変化監視等に用いられる。しかし、より多くの帯域幅消費をもたらし、従って、本発明によって実行される画像符号化によって帯域幅消費をできるだけ低下させ、それにより、最適な画像効果を取得する必要がある。すなわち、Ｉフレームは全フレーム画像を表し、アーチファクトがなく、そのため、最適な画質が得られる。
【0048】
ＨＥＶＣ符号化プロトコルで、エンコーダはフレーム内又はフレーム間予測を実行する前、画像を相互に独立した符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、略称ＣＵ）に分割する。具体的には、フレーム内予測時、６４×６４ピクセルブロックの最大符号化ユニットに対して四分木分割を実行し、分割深度が設定された深度情報と一致し、さらに、複数層の符号化ユニットを形成する。
【0049】
四分木分割の分割深度が増加することにつれて、分割深度に対応する階層の符号化ユニットのサイズが深度情報に示される最大分割深度になるまで小さくなり、最大分割深度に対応する階層における最小符号化ユニットを取得する。
【0050】
符号化ユニットは関連する予測ユニットを有し、符号化ユニットの符号化予測は関連する予測ユニットに対して実行され、符号化予測が完了した後に実行される符号化圧縮は、この符号化ユニットに関連する変換ユニットに対して実行される。
【0051】
いずれかの階層に対応する符号化ユニットは、関連する予測ユニットに対して符号化予測を開始する必要がある。
【0052】
以上から、符号化ユニットは、最大符号化ユニット及び他のサイズの符号化ユニットを含み、符号化ユニットのサイズの柔軟性を向上させるために、異なる深度に適応するように符号化ユニットを異なるサイズに設定する。画像符号化は、符号化ユニットを単位として実行され、符号化ユニットについて、符号化ユニット自体により分割される予測ユニットに対して符号化予測が実行され、符号化ユニット自体により分割される変換ユニットに対して符号化圧縮が実行される。例えば、符号化予測は、符号化ユニットを構成する予測ユニットに対して実行され、符号化圧縮は、符号化ユニットを構成する変換ユニットに対して実行される。
【0053】
画像において四分木分割により階層ごとに取得した符号化ユニットは、最大符号化ユニットにとって、その内部テクスチャが非常に複雑であり、直接予測すると、残差が大きくなるため、四分木分割を継続する必要がある。分割が階層ごとに実行されることにつれて、分割して得られた符号化ユニットのサイズが小さくなり、テクスチャが簡単になり、次のステップの予測に適用可能になる。
【0054】
画像にいくつかの符号化ユニットが配置され、これらの符号化ユニットに対して画像符号化が独立して同期して実行され、それにより、符号化速度を保証又は向上する。
【0055】
符号化ユニットが最大符号化ユニット内で階層ごとに分割して取得され、たとえば、下位レイヤの４つの符号化ユニットが符号化ユニットに対して四分木分割を実行することで取得され、従って、下位レイヤの４つの符号化ユニットと上位レイヤの符号化ユニットのテクスチャ特性が一貫性を有し、テクスチャの一貫性に基づき、符号化ユニットに対して実行される符号化予測のために、予測ユニットに対応する参照方向を構築する。
【0056】
テクスチャの一貫性に基づき正確に取得された参照方向は、画像符号化に存在する予測方向として、最適方向で後の予測を実行するための補助及び参照を提供し、後の予測方向の選択において、最適方向の選択の基礎となる。
【0057】
ステップ３３０において、参照方向を構築する符号化ユニットについて、レート歪みコストに従って予め選択されたフレーム内方向から形成される、予備選択方向ベクトルを取得する。１つの例示的な実施例において、ステップ３３０は、符号化ユニットについて、レート歪みコストに従ってフレーム内方向から選択される予備選択方向ベクトルを取得するステップを含んでもよい。
【0058】
予備選択方向ベクトルは、レート歪みコストに従って、ＨＥＶＣ符号化プロトコルでの３５個の予め選択されたフレーム内方向に対して予備選択して得られた方向であり、その数が予測ユニットのサイズに応じて決められる。１つの例示的な実施例において、用いるレート歪みコストがＳＡＴＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ）レート歪みコスト関数によって計算される。予め選択されたフレーム内方向について、対応するレート歪みコストが小さいほど、この予め選択されたフレーム内方向が予測される最適方向となる可能性が高くなることが理解されるべきである。
【0059】
符号化ユニットに対して実行される符号化予測において、ＨＥＶＣ符号化プロトコルでの３５個の予め選択されたフレーム内方向にそれぞれ対応する予測ユニットのレート歪みコストに従って、レート歪みコストが最も小さいいくつかの予め選択されたフレーム内方向を含む予備選択方向ベクトルを形成する。
【0060】
この例示的な実施例によって、画像において符号化ユニットの予測ユニットに対して符号化予測を実行する必要がある予測方向の予備選択を実現する。
【0061】
ステップ３５０において、参照方向、及びレート歪みコストに従って予め選択されたフレーム内方向から形成される、予備選択方向ベクトルによって、符号化ユニットに対してユニット予測が実行されるときに、最適コストに対応する方向を予測方向として適用するための精選候補方向ベクトル（又は処理候補方向ベクトル）を構築する。１つの例示的な実施例において、ステップ３５０は、情報処理装置の処理回路が、参照方向及び予備選択方向ベクトルによって、精選候補方向ベクトルを決定するステップを含んでもよい。
【0062】
予測ユニットの符号化予測において、ステップ３１０で構築された参照方向及び予備選択方向ベクトルによって、予測ユニットに対応する精選候補方向ベクトルを決定し、参照方向及び予備選択方向ベクトルを含む精選候補方向ベクトルを取得する。
【0063】
精選候補方向ベクトルはいくつかの方向で構成され、予測ユニットの符号化予測の最適結果に含まれる方向の方向候補集合となり、符号化予測に必要な最適方向が精選候補方向ベクトルに存在する。
【0064】
勿論、精選候補方向ベクトルは、参照方向及び予備選択方向ベクトルを含む以外に、この予測ユニットに対応するＭＰＭ候補方向をさらに含んでもよい。
【0065】
これに対応して、別の例示的な実施例において、ステップ３３０の前、該画像符号化における予測方向の選択方法は、
参照方向と予備選択方向ベクトルとともに予測ユニットの精選候補方向ベクトルを構築する予測ユニットのＭＰＭ候補方向を取得するステップをさらに含む。１つの例示的な実施例において、このステップは、参照方向と予備選択方向ベクトルとともに予測ユニットの精選候補方向ベクトルを決定するために用いられる予測ユニットのＭＰＭ候補方向を取得するステップを含んでもよい。
参照方向と予備選択方向ベクトルとともに予測ユニットの精選候補方向ベクトルを構築する予測ユニットのＭＰＭ候補方向を取得するステップをさらに含む。１つの例示的な実施例において、このステップは、参照方向と予備選択方向ベクトルとともに予測ユニットの精選候補方向ベクトルを決定するために用いられる予測ユニットのＭＰＭ候補方向を取得するステップを含んでもよい。
【0066】
このように、精選候補方向ベクトルを決定するときに、予測ユニットのＭＰＭ候補方向が上記参照方向、予備選択方向ベクトルとともに精選候補方向ベクトルを形成する。
【0067】
具体的には、ＭＰＭ候補方向は、最も可能性の高い候補方向とも呼ばれ、予測ユニットにおける符号化予測に３つの最も可能性の高い予め選択されたフレーム内方向、すなわち、上側、左側、及び左上側を提供する。精選候補方向ベクトルの決定をＭＰＭ候補方向に拡張し、さらに符号化予測における要素を拡張し、精選候補方向ベクトルの方向を漏らすことを避ける。
【0068】
別の１つの例示的な実施例において、ステップ３５０の後、該画像符号化における予測方向の選択方法は、
参照方向及び予め選択されたフレーム内方向に基づき、精選候補方向ベクトルにおける予備選択方向ベクトルの数を修正し、数が修正された予備選択方向ベクトルを含む精選候補方向ベクトルの調整を行うステップをさらに含む。１つの例示的な実施例において、このステップは、参照方向及びフレーム内方向に基づき、精選候補方向ベクトルにおける予備選択方向ベクトルの数を修正し、修正された数の予備選択方向ベクトルを含む精選候補方向ベクトルの調整を行うステップを含む。
参照方向及び予め選択されたフレーム内方向に基づき、精選候補方向ベクトルにおける予備選択方向ベクトルの数を修正し、数が修正された予備選択方向ベクトルを含む精選候補方向ベクトルの調整を行うステップをさらに含む。１つの例示的な実施例において、このステップは、参照方向及びフレーム内方向に基づき、精選候補方向ベクトルにおける予備選択方向ベクトルの数を修正し、修正された数の予備選択方向ベクトルを含む精選候補方向ベクトルの調整を行うステップを含む。
【0069】
上記したように、ステップ３１０～ステップ３５０によって精選候補方向ベクトルを構成し、この後、精選候補方向ベクトルに含まれる予備選択方向ベクトルの数を修正する必要があり、含まれる予備選択方向ベクトルに基づき他のタイプの方向を調整し、それにより、最適方向が精選候補方向ベクトルに含まれかつ精選候補方向ベクトルの数が減少することを保証するとともに、符号化速度を保証する。
【0070】
精選候補方向ベクトルは異なる次元、例えばテクスチャの一貫性による参照方向、予備選択方向ベクトル又はＭＰＭ候補方向に基づき、構築して得られることが理解されるべきである。構成された精選候補方向ベクトルにおいて、各方向が異なる次元に対応するが、参照方向及びＭＰＭ候補方向の補助により予備選択方向ベクトルを修正する必要がある。これに対応して、修正された予備選択方向ベクトルを用いて精選候補方向ベクトルにおける参照方向及びＭＰＭ候補方向を調整し、さらに、後の符号化予測の最適方向の選択範囲を狭め、予測方向の選択効率及び精度を向上させる。
【0071】
たとえば、予備選択方向ベクトルにおいて、レート歪みコストの最も小さいｔｏｐ１が予め選択されたフレーム内方向に対応し、精選候補方向ベクトルの参照方向及び／又はＭＰＭ候補方向にはｔｏｐ１に対応する予め選択されたフレーム内方向と同じ方向が存在する。このとき、これを基礎として、精選候補方向ベクトルに含まれる予備選択方向ベクトルを修正する。さらに、参照方向及び／又はＭＰＭ候補方向におけるｔｏｐ１に対応する予め選択されたフレーム内方向の存在状況は、たとえば、参照方向及びＭＰＭ候補方向にいずれも同じ方向が存在することを意味してもよく、参照方向、ＭＰＭ候補方向及び予備選択方向ベクトルのいずれもｔｏｐ１に対応する予め選択されたフレーム内方向を最適方向として示すことを意味してもよい。つまり、ｔｏｐ１に対応する予め選択されたフレーム内方向が最適方向である可能性が非常に高い。このとき、精選候補方向ベクトルの調整において、ｔｏｐ１に対応する予め選択されたフレーム内方向のみを保持すればよい。
【0072】
また、たとえば、参照方向又はＭＰＭ候補方向のみに同じ方向が存在する場合、予備選択方向ベクトルに対する修正において、修正後に精選候補方向ベクトルに存在する予備選択方向ベクトルは、参照方向と、ＭＰＭ候補方向とともに調整後の精選候補方向ベクトルを構成する。
【0073】
重複方向の存在３による精選候補方向ベクトルの方向の処理は、予備選択方向ベクトルの数の修正して精選候補方向ベクトルにおける予備選択方向ベクトルの数を制御することを含み、また、精選候補方向ベクトルにおける他のタイプの方向（たとえば、参照方向及びＭＰＭ候補方向）を調整するか、及び、如何に調整するかを指定する精選調整制御情報を生成することをさらに含む。
【0074】
修正及び調整が完了すると、予測方向の最適選択の方向選択範囲を狭め、精選候補方向ベクトルに含まれる方向の数及び最適方向予測の精度、信頼性を制御可能にし、符号化速度及び画像効果を両立でき、いずれかが低下する状況を回避する。
【0075】
画像における各階層の符号化ユニットにおいて、予測ユニットの予測方向選択が実行され、符号化予測プロセス全体がさらに完了し、従って、画像全体の符号化予測が完了する。
【0076】
実際に実行される画像符号化の実装において、ＨＥＶＣ符号化プロトコルが複雑であり、符号化装置の性能に対する要件が高いので、一般的な符号化装置がリアルタイムに符号化する機能を実現できない。その結果、画像符号化におけるＨＥＶＣ符号化プロトコルの適用が大きく制限される。
【0077】
上記例示的な実施例により、最適方向に対する予測の精度の向上とともに、符号化予測により取得される最適結果に含まれる方向の数を大幅に減少させ、さらに符号化速度を向上させる。予測の精度を確保するとともに、符号化速度を大幅に向上させ、それにより、一般的な符号化装置においてリアルタイムに符号化でき、画像符号化におけるＨＥＶＣ符号化プロトコルの適用が制限される原因が解消される。
【0078】
このように、上記例示的な実施例により、ユーザのために、リアルタイムな符号化及び高精細度のビデオアプリケーションサービスを実現し、記憶及び配信コストの削減を示し、高精細度のコンテンツを消費者のレベルに提供する基礎となる。
【0079】
【0080】
ステップ３１１において、符号化ユニットの深度情報を取得する。
【0081】
上記したように、符号化ユニットは画像において実行される四分木分割により得られる。画像について、各深度に対応する符号化ユニットが存在する。従って、符号化ユニットを単位として実行される画像符号化において、予測方向の選択を実現するために、対応する深度情報を取得する。
【0082】
取得される符号化ユニットの深度情報は、この符号化ユニットが配置される深度を示す。
【0083】
ステップ３１３において、深度情報に基づき、符号化ユニットの上位レイヤの符号化ユニットを位置決めする。
【0084】
深度情報は具体的な数値、たとえば、０～３の間の数値を示し、各符号化ユニットは一意に対応する深度情報を有する。予測ユニットの符号化予測を開始する符号化ユニットについて、符号化ユニット自体に対応する深度情報、他の符号化ユニットに対応する深度情報、及び、画像におけるそれぞれの位置マッピングに基づき、この符号化ユニットの上位レイヤの符号化ユニットを決定する。
【0085】
ステップ３１５において、符号化予測の完了によって、存在する予測ユニットで取得された予測方向を、上位レイヤの符号化ユニットから抽出する。１つの例示的な実施例において、ステップ３１５は、上位レイヤの符号化ユニットから、上位レイヤの符号化ユニットに存在する予測ユニットに対して完了した予測によって取得された予測方向を抽出するステップを含む。
【0086】
予測ユニットの符号化予測を開始する符号化ユニットは、上位レイヤの符号化ユニットにおける分割によって得られ、上位レイヤの符号化ユニットにより実行される四分木分割については、現在の符号化ユニットのほか、上位レイヤの符号化ユニットに対する分割によって他の符号化ユニットも得られることが理解されるべきである。
【0087】
従って、上位レイヤの符号化ユニット及び他の符号化ユニットに基づき、予測ユニットの符号化ユニットにおいて実行される符号化予測に対応する予測方向が取得される。
【0088】
このプロセスの実行は、テクスチャの一貫性という次元で、予測ユニットにおける符号化予測の実行を可能する符号化ユニットの最適予測方向を提供する。
【0089】
符号化予測を開始する予測ユニットは、上位レイヤの符号化ユニットとのテクスチャの一貫性を有し、この予測ユニットが位置する符号化ユニットは、上位レイヤの符号化ユニットに対応する。予測ユニットは上位レイヤの符号化ユニットに対して四分木分割を実行して得られる符号化ユニットの一部であり、この符号化ユニットは上位レイヤの符号化ユニットに属するため、上位レイヤの符号化ユニットとのテクスチャの一貫性を有する。
【0090】
上位レイヤの符号化ユニットに対して実行される四分木分割によって、現在の符号化ユニットのほか、他の符号化ユニットも得られる。現在の符号化ユニットは他の符号化ユニットと同様に上位レイヤの符号化ユニットに属するため、テクスチャの一貫性を有する。
【0091】
これにより、上位レイヤの符号化ユニットに関連する予測ユニット及び／又は他の符号化ユニットに関連する予測ユニットについて、符号化予測を完了して決定した方向を、現在の予測ユニットについて予測される最適方向とし、これを参照して、予測方向を正確に選択し、予測ユニットについて符号化予測を実行するための最適結果を形成する。
【0092】
１つの例示的な実施例において、ステップ３１５は、上位レイヤの符号化ユニットの予測ユニットに対して予測を完了して取得した予測方向を抽出するステップを少なくとも含む。
【0093】
符号化ユニットは階層に関係なく、それに関連する予測ユニットを有する。符号化ユニットは深度が徐々に増加する四分木分割によって上位レイヤの符号化ユニットに基づき取得され、符号化ユニットに関連する予測ユニットは、上位レイヤの符号化ユニットに関連する予測ユニットを参照として、上位レイヤの符号化ユニットを利用してこの符号化ユニットに関連する予測ユニットの最適方向を予測する。
【0094】
つまり、上位レイヤの符号化ユニットに関連する予測ユニットの最適方向の予測の完了によって得られた方向を、最適方向として選択され得る、符号化ユニットに関連する予測ユニットの予測方向とする。
【0095】
別の例示的な実施例において、ステップ３１５において、予測ユニットの隣接予測ユニットに基づき、この予測ユニット自体の最適方向も予測する。具体的には、図５は図４に対応する実施例に示されるステップ３１５の詳細を示すフローチャートである。該ステップ３１５は、図５に示すように、少なくともステップ３１５１、ステップ３１５３を含む。
【0096】
ステップ３１５１において、符号化ユニットと同じ深度でかつ同じ上位レイヤの符号化ユニットに対応する隣接符号化ユニットを決定する。
【0097】
ステップ３１５３において、予測を完了した隣接符号化ユニットに基づき、取得された予測方向を抽出する。１つの例示的な実施例において、ステップ３１５３は、隣接符号化ユニットに基づき、取得された予測方向を抽出するステップを含む。
【0098】
上記したように、符号化ユニット及びその隣接符号化ユニットは、同じ上位レイヤの符号化ユニットに対応するため、テクスチャの一貫性を有し、また、両者が隣接するため、非常に高い類似性を有する。従って、同じ上位レイヤの符号化ユニットに属する隣接するものは、現在の符号化ユニットにおける最適方向の予測の実行に用いられてもよい。
【0099】
ステップ３１５において取得される予測方向は、現在の符号化ユニットで予測ユニットにおける符号化予測を実行する可能な方向となるとともに、予測方向となる可能性もある。
【0100】
ステップ３１７において、予測方向に基づき、予測ユニットに対して符号化予測を実行するために符号化ユニットで使用される参照方向を構築する。１つの例示的な実施例において、ステップ３１７は、予測方向に基づき、予測ユニットに対して符号化予測を実行するための参照方向を決定するステップを含む。
【0101】
上位レイヤの符号化ユニット及び／又は隣接符号化ユニットによって取得される予測方向は、現在の符号化ユニットで予測ユニットにおける符号化予測を実行して予測される可能な方向であり、また、他の次元で取得される予測方向が予測される最適方向であるか否かを決定する根拠となり、他の最適方向の予測精度をさらに向上させる。
【0102】
具体的には、ＨＥＶＣ符号化プロトコルの下で、現在の符号化ユニットに対応する隣接符号化ユニットは、上側に位置する符号化ユニット、左側に位置する符号化ユニット、及び左上側に位置する符号化ユニットを含む。すべてのＨＥＶＣ予測モードはいずれも隣接符号化ユニットによって予測され、これに対応して、対応する最適方向の予測も隣接符号化ユニットに基づき実行される。
【0103】
上記した例示的な実施例により、画像符号化における最適方向の予測の参照が提供され、それにより、実行される最適方向の予測が予備選択方向ベクトル等から容易に直接取得されなくなり、後の方向の最適選択において分析される必要がある方向を効果的で正確に減少させる。従って、実行される符号化予測に非常に高い指向性を持たせ、画像符号化における符号化速度が遅いという制限を直接緩和させることができる。
【0104】
別の例示的な実施例において、該画像符号化における予測方向の選択方法は、ステップ３３０を実行する前、さらに以下のステップを含む。
【0105】
各予め選択されたフレーム内方向でのレート歪みコストに従って、対応するレート歪みコストの昇順に配列された指定数の予め選択されたフレーム内方向を取得し、取得される予め選択されたフレーム内方向が予測ユニットに対応する予備選択方向ベクトルであり、指定数が予測ユニットに対応するサイズに関連付けられている。１つの例示的な実施例において、このステップは、フレーム内方向のレート歪みコストに従って、対応するレート歪みコストの昇順に配列された指定数のフレーム内方向を取得するステップを含み、指定数は前記予測ユニットに対応するサイズに関連付けられている。
【0106】
上記したように、ＨＥＶＣ符号化プロトコルの下で、３５個の予め選択されたフレーム内方向が指定され、予測ユニットに対して符号化ユニットにおいて実行される符号化予測では、この３５個の予め選択されたフレーム内方向において予測される最適方向の予備選択を実行する。
【0107】
該画像符号化における予測方向選択は、２つの部分の予測方向の選択実現を含むことが理解されるべきである。一方の部分は、上位レイヤの符号化ユニット及び隣接符号化ユニットに関連する予測方向の選択を実行し、このときに取得される予測方向が最適方向の優先選択方向とされ、他方の部分は予め選択されたフレーム内方向の予備選択である。
【0108】
レート歪みコストに基づき実行される予め選択されたフレーム内方向の選択は、レート歪み関数を導入することで構築される評価関数によって、３５個の予め選択されたフレーム内方向、たとえば、０～３４の３５個の各予測方向に対して、予備選択予測計算を行い、たとえば、各予め選択されたフレーム内方向に対応するレート歪みコストを取得することを含む。
【0109】
予備選択予測により得られるレート歪みコストを昇順に配列し、取得されるレート歪みコストの配列順に応じて、昇順での対応する予め選択されたフレーム内方向がレート歪みコストに応じて取得される。対応するレート歪みコストの昇順に配列される予め選択されたフレーム内方向に基づき、指定数の予め選択されたフレーム内方向を抽出し、それにより、指定数のレート歪みコストが最も小さい予め選択されたフレーム内方向を取得し、そして、予測ユニットに対応する予備選択方向ベクトルを形成する。
【0110】
予備選択方向ベクトルを形成する予め選択されたフレーム内方向の数は、指定数であり、予測ユニットのサイズに対応する。予測ユニットのサイズが小さくなることにつれて、対応する予め選択されたフレーム内方向の数が最大数値になるまで徐々に増加する。予め選択されたフレーム内方向の中からの選択において、サイズの大きい予測ユニットに対応する予め選択されたフレーム内方向を選択する確率が低いため、サイズの大きい予測ユニットに対応する予め選択されたフレーム内方向の数が最も小さく、さらに不必要な符号化プロセスを回避する。予測ユニットのサイズが小さくなることにつれて、予め選択されたフレーム内方向が最適方向となる確率が高くなる。従って、予備選択方向ベクトルにおける予め選択されたフレーム内方向の数を増加させる。
【0111】
１つの例示的な実施例の具体的な実現において、予測ユニットのサイズが６４×６４ピクセルブロック又は３２×３２ピクセルブロックである場合、指定数に対応する数値は１であり、予測ユニットのサイズが１６×１６ピクセルブロックである場合、指定数に対応する数値が２であり、予測ユニットのサイズがより小さい場合、指定数に対応する数値は３である。
【0112】
このように、予備選択予測計算の実行に伴って、予め選択されたフレーム内方向の中で予備選択が実現され、最適方向となる可能性があるすべての予め選択されたフレーム内方向が落とされないように選別される。それにより、後の精選プロセスが最適方向となる可能性があるすべての予備選択方向ベクトルにおいて実行され、選択の精度及び信頼性を保証する。
【0113】
図６は図３に対応する実施例による、前記参照方向及びフレーム内予備選択方向ベクトルに基づき、前記精選候補方向ベクトルにおける予備選択方向ベクトルの数の修正及び数が修正された予備選択方向ベクトルを含む精選候補方向ベクトルの調整を行うステップの詳細を示すフローチャートである。該ステップは、図６に示すように、少なくとも以下のステップを含む。
【0114】
ステップ４０１において、精選候補方向ベクトルにおいて、他のタイプの方向に存在する予備選択方向ベクトルの同じ方向に基づき、精選調整後の方向に対応する修正された予備選択方向ベクトルの数及び精選調整制御情報を取得する。１つの例示的な実施例において、ステップ４０１は、精選候補方向ベクトルにおける他の候補方向ベクトル（すなわち、参照方向及び／又はＭＰＭ候補方向）と同じ方向を有する予備選択方向ベクトルを含む精選候補方向ベクトルにおいて、修正された数の予備選択方向ベクトルを生成するステップを含む。ステップ４０１は、精選候補方向ベクトルの調整に対応する精選調整制御情報を生成するステップも含む。
【0115】
ステップ３１０～ステップ３５０の実行により、取得される参照方向、予備選択方向ベクトル、又はＭＰＭ候補方向によって精選候補方向ベクトルを構築して得ると、予備選択方向ベクトルの修正及び他のタイプの方向に対する調整を実行できる。
【0116】
１つの例示的な実施例において、予備選択方向ベクトルの数の修正は、既存の予備選択方向ベクトルが参照方向及び／又はＭＰＭ候補方向と同じである場合と、レート歪みコストに関する予備選択方向ベクトルと他の予備選択方向ベクトルとの間のサイズに対応する関係とに関連付けられている。
【0117】
ステップ４０３において、精選候補方向ベクトルのうち、修正された予備選択方向ベクトルの数を満たし、レート歪みコストが最も小さい予備選択方向ベクトルを保持する。１つの例示的な実施例において、ステップ４０３は、精選候補方向ベクトルにおいて、修正された予備選択方向ベクトルの数に一致しかつレート歪みコストが最も小さい予備選択方向ベクトルの数を保持するステップを含む。
【0118】
精選候補方向ベクトルに対応する修正された予備選択方向ベクトルの数を取得すると、精選候補方向ベクトルにおいてレート歪みコストの昇順に応じて、修正された予備選択方向ベクトルの数と一致する予備選択方向ベクトルを保持してもよい。すなわち、レート歪みコストが最も小さい修正された数の予備選択方向ベクトルを保持し、他の予備選択方向ベクトルを除去する。
【0119】
ステップ４０５において、精選調整制御情報に基づき、精選候補方向ベクトルにおける他のタイプの方向の保持又は除去を制御し、精選調整後の精選候補方向ベクトルを取得する。１つの実施形態において、ステップ４０５は、精選調整制御情報に基づき、精選候補方向ベクトルにおける他の候補方向ベクトルの保持又は除去を制御し、精選調整後の精選候補方向ベクトルを取得するステップを含む。
【0120】
精選候補方向ベクトルにおける予備選択方向ベクトルの数の修正が完了すると、精選調整制御情報の制御で精選候補方向ベクトルに存在する他のタイプの方向を保持又は除去処理し、最適方向の可能性が最も高い予測方向を保持するとともに、含まれる方向数をできるだけ減らす。
【0121】
ステップ４０５において取得される精選候補方向ベクトルは予測ユニットで実行される符号化予測の最適方向を含む。さらに、変換ユニットにおける予測ユニットに関連する符号化ユニットの符号化圧縮を考慮し、符号化速度を向上させ、非常に高い圧縮率及び解像度を保証する。
【0122】
図７は図６に対応する実施例による、ステップ４０１の詳細を示すフローチャートである。１つの例示的な実施例において、他のタイプの方向は参照方向及びＭＰＭ候補方向を含み、図７に示すように、ステップ４０１は、以下のステップ４０１１～ステップ４０１７を含む。
【0123】
ステップ４０１１において、参照方向及び／又はＭＰＭ候補方向に属する精選候補方向ベクトルにおける予備選択方向ベクトルを決定する。１つの例示的な実施例において、ステップ４０１１は、精選候補方向ベクトルにおける参照方向及び／又はＭＰＭ候補方向と同じ方向を有する予備選択方向ベクトルを特定するステップを含む。
【0124】
ステップ４０１３において、決定された予備選択方向ベクトルに基づき、精選候補方向ベクトルにおける予備選択方向ベクトルの数を減少させ、修正された数の予備選択方向ベクトルを取得し、修正された数の予備選択方向ベクトルが、決定された予備選択方向ベクトルに対応するレート歪みコストの昇順の順位に対応する。１つの例示的な実施例において、ステップ４０１３は、特定された予備選択方向ベクトルに基づき、精選候補方向ベクトルにおける現在の予備選択方向ベクトルの数を減少させ、修正された数の予備選択方向ベクトルを取得するステップを含む。修正された数の予備選択方向ベクトルが特定された予備選択方向ベクトルに対応するレート歪みコストの昇順の順位に対応している。
【0125】
ステップ４０１５において、決定された予備選択方向ベクトルが参照方向及びＭＰＭ候補方向に同時に属する場合、数が修正された予備選択方向ベクトルのみでベクトルを構成するための精選調整制御情報を生成する。１つの例示的な実施例において、ステップ４０１５は、特定された予備選択方向ベクトルが参照方向及びＭＰＭ候補方向の双方と同じ方向を有する場合、数が修正された予備選択方向ベクトルのみを使用することを示す精選調整制御情報を生成するステップを含む。
【0126】
ステップ４０１７において、決定された予備選択方向ベクトルが参照方向又はＭＰＭ候補方向に属する場合、参照方向、ＭＰＭ候補方向、及び数が修正された予備選択方向ベクトルでベクトルを構成するための精選調整制御情報を生成する。１つの例示的な実施例において、ステップ４０１７は、特定された予備選択方向ベクトルが参照方向又はＭＰＭ候補方向と同じ方向を有する場合、参照方向、ＭＰＭ候補方向、及び数が修正された予備選択方向ベクトルを使用することを示す精選調整制御情報を生成するステップを含む。
【0127】
ここで、ステップ３３０の実行によって、少なくとも予測ユニットの予備選択のために予備選択方向ベクトルとなる１つ又はいくつかの予め選択されたフレーム内方向が得られ、各予備選択方向ベクトルに対して、参照方向及び／又はＭＰＭ候補方向と同じ方向が存在するか否かをさらに判断する。
【0128】
参照方向及びＭＰＭ候補方向の双方にこの予備選択方向ベクトルが存在する場合、この予備選択方向ベクトルに対応するレート歪みコストのサイズに基づき、出力される精選候補方向ベクトルに含まれる予備選択方向ベクトルの数を修正する。たとえば、この予備選択方向ベクトルに対応するレート歪みコストが最も小さい場合、又はこの予備選択方向ベクトルに対応するレート歪みコストが次に小さい場合、修正された数の予備選択方向ベクトルを取得する。
【0129】
予備選択方向ベクトルの数の修正は、予備選択方向ベクトルの数を減少させる操作であり、たとえば、実行される予備選択方向ベクトルの数の修正は、予備選択方向ベクトルの数を１つ減少させ、それにより、レート歪みコストが最も大きい予備選択方向ベクトルが除去される。
【0130】
具体的には、たとえば、すべての予め選択されたフレーム内方向に対してそれぞれ予備選択予測計算を実行してレート歪みコストを取得し、昇順に配列され、対応する配列位置１、２、…、３５はそれぞれｔｏｐ１、ｔｏｐ２、…、ｔｏｐ３５で表され、レート歪みコストに対応する予め選択されたフレーム内方向はそれぞれｍｏｄｅ＿ｔｏｐ１、ｍｏｄｅ＿ｔｏｐ２、…、ｍｏｄｅ＿ｔｏｐ３５で表される。
【0131】
このとき、ｔｏｐ１に対応する方向ｍｏｄｅ＿ｔｏｐ１が参照方向及びＭＰＭ候補方向に同時に存在する場合、修正された予備選択方向ベクトルの数を１として構成し、ｍｏｄｅ＿ｔｏｐ１を精選候補方向ベクトルに唯一に含まれる予測方向として指定する。すなわち、精選候補方向ベクトルｍｏｄｅ＿ｃａｎｄｉｄａｔｅ＝｛ｍｏｄｅ＿ｔｏｐ１｝が、修正して調整することで得られる。
【0132】
ｔｏｐ２に対応する方向ｍｏｄｅ＿ｔｏｐ２が参照方向及びＭＰＭ候補方向に同時に存在する場合、修正された予備選択方向ベクトルの数を２として構成し、ｍｏｄｅ＿ｔｏｐ２及びｍｏｄｅ＿ｔｏｐ２に対して小さいレート歪みコストを有する方向ｍｏｄｅ＿ｔｏｐ１を、調整された精選候補方向ベクトルにおける２つの予測方向として指定する。すなわち、精選候補方向ベクトルｍｏｄｅ＿ｃａｎｄｉｄａｔｅ＝｛ｍｏｄｅ＿ｔｏｐ１、ｍｏｄｅ＿ｔｏｐ２｝が、修正して調整することで得られる。
【0133】
このように、精選候補方向ベクトルを最終的に決定するために、制御可能でかつ正確な修正された数の予備選択方向ベクトル及び精選調整制御情報は、候補方向ベクトルの最も効果的な集合を提供し、それにより、予測ユニットの予測のための最適予測方向の選択が最高の確率となる。
【0134】
さらに、ステップ４０１は、決定された予備選択方向ベクトルのいずれも参照方向又はＭＰＭ候補方向と同じでない場合、参照方向、ＭＰＭ候補方向、及び数が修正されない予備選択方向ベクトルでベクトルを構築する精選調整制御情報を生成するステップをさらに含む。
【0135】
構成される精選候補方向ベクトルに対する精選調整において、予備選択方向ベクトルのいずれも参照方向又はＭＰＭ候補方向と同じでない場合がある可能性がある。このとき、予備選択方向ベクトルの数の修正について、その数の修正の根拠がなくなり、対応して実行される他のタイプの方向の調整の根拠もなくなる。従って、精選調整を実行せず、参照方向、ＭＰＭ候補方向、及び数が修正されない予備選択方向ベクトルで構成される精選候補方向ベクトルを直接適用する。
【0136】
これに対応して、ステップ４０５は、精選調整制御情報に基づき、精選候補方向ベクトルにおける参照方向及びＭＰＭ候補方向を保持又は除去し、調整によって得られた精選候補方向ベクトルを形成することをさらに含む。
【0137】
上記したように、予め選択されたフレーム内方向の予備選択は、３５個の予め選択されたフレーム内方向に対して実行され、予め選択されたフレーム内方向に対応するレート歪みコストが、予測ユニットに対応するサイズに関連付けられている指定数に基づいて実行される。たとえば、上記したように、予測ユニットのサイズが６４×６４ピクセルブロック又は３２×３２ピクセルブロックである場合、精選候補方向ベクトルにおける予備選択方向ベクトルの数は１であり、予測ユニットのサイズが１６×１６ピクセルブロックである場合、精選候補方向ベクトルにおける予備選択方向ベクトルの数は２であり、予測ユニットのサイズがより小さい場合、精選候補方向ベクトルにおける予備選択方向ベクトルの数は３である。
【0138】
このように、予備選択方向ベクトルの数の修正は、上記に基づいて実行される。この予備選択方向ベクトルの数の修正の実現において、修正の精度を考慮する必要がある。すなわち、除去された予備選択方向ベクトルが最適方向として予測される確率が最も低く、修正された予備選択方向ベクトルの数が予測ユニットのサイズ及び元の予備選択方向ベクトルの数に基づいている。
【0139】
従って、実行される予備選択方向ベクトルの修正は予測ユニットのサイズに適合し、精選候補方向ベクトルに存在する予備選択方向ベクトルの最小化を制御し、精選して修正された予備選択方向ベクトルの数を細分化し、予備選択方向ベクトルの数の修正の精度を保証する。
【0140】
たとえば、第１指定サイズの制限値は数値３２として設定され、第２指定サイズの制限値は数値１６として設定される。
【0141】
参照方向又はＭＰＭ候補方向と同じ方向を有する予備選択方向ベクトルの存在に基づき、予備選択方向ベクトルの数を修正するか否かを示す具体的な数値を決定し、この数値は予測ユニットに対応するサイズに適合する。
【0142】
予備選択方向ベクトルの数を修正すると、取得された、修正された予備選択方向ベクトルの数に基づき、精選候補方向ベクトルにおいて修正された数の予備選択方向ベクトルを有しており最小レート歪みコストに対応する予備選択方向ベクトルを保持する。
【0143】
さらに詳しく説明すると、サイズの大きい予測ユニット、たとえば、サイズが３２×３２ピクセルブロックより小さくかつ１６×１６ピクセルブロックより大きい予測ユニットに対して、対応する予備選択方向ベクトルを最適方向として選択する可能性がレート歪みコストの増大に伴って急激に減少する。さらに、その予備選択方向ベクトルの数を、たとえば６４×６４ピクセルブロックの最大サイズの予測ユニットの数に修正する。すなわち、修正された予備選択方向ベクトルの数が１であり、コンピューティングリソースの消費及び符号化速度の減少を避ける。
【0144】
サイズの小さい予測ユニット、たとえば、サイズが１６×１６ピクセルブロックより小さい予測ユニットに対して、精選候補方向ベクトルに存在する予備選択方向ベクトルがまだ多すぎるため、数をできるだけ削減し、符号化速度の向上を制御する。
【0145】
これに対応して、このように、サイズが３２×３２ピクセルブロックより小さくかつ１６×１６ピクセルブロックより大きい予測ユニットに対して、取得された、修正された予備選択方向ベクトルの数は１であり、サイズが１６×１６ピクセルブロックより小さい予測ユニットに対して、取得された、修正された予備選択方向ベクトルの数は２である。
【0146】
修正された予備選択方向ベクトルの数を取得した後、精選候補方向ベクトルにおいて、取得された、修正された予備選択方向ベクトルの数と一致する数を有しており最小レート歪みコストに対応する予備選択方向ベクトルを保持する。
【0147】
たとえば、予測ユニットに対して、参照方向及び／又はＭＰＭ候補方向にｍｏｄｅ＿ｔｏｐ１と同じ方向が存在する場合、取得された、修正された予備選択方向ベクトルの数は１であり、このとき、精選候補方向ベクトルにおいて最小レート歪みコストに対応する予備選択方向ベクトルを保持し、すなわち、上記挙げられたｍｏｄｅ＿ｔｏｐ１が保持される。
【0148】
別の予測ユニットに対して、参照方向及び／又はＭＰＭ候補方向にｍｏｄｅ＿ｔｏｐ２と同じ方向が存在する場合、取得された、修正された予備選択方向ベクトルの数は２であり、このとき、精選候補方向ベクトルにおいて２つの最小レート歪みコストに対応する予備選択方向ベクトル、すなわち、上記挙げられたｍｏｄｅ＿ｔｏｐ１及びｍｏｄｅ＿ｔｏｐ２を保持する。
【0149】
このように、予備選択方向ベクトルが参照方向又はＭＰＭ候補方向の２つの方向のうちのいずれかと同じ方向を有する場合、保持される予備選択方向ベクトルが参照方向及びＭＰＭ候補方向とともに調整された精選候補方向ベクトルを形成する。
【0150】
予備選択方向ベクトルが参照方向及びＭＰＭ候補方向の２つの方向と同じ方向を有する場合、精選候補方向ベクトルにおいて予備選択方向ベクトルのみを保持し、参照方向及びＭＰＭ候補方向を除去する。
【0151】
この例示的な実施例により、実行される必要のある計算回数を大幅に低下させ、さらに符号化速度を大幅に向上させる。
【0152】
上記例示的な実施例により、画像符号化における予測方向の選択を実現する。すなわち、予測ユニットの参照方向、隣接するブロックから得られた候補方向、すなわちＭＰＭ候補方向、及び予備選択方向ベクトルに基づき、精選に関与する現在の予測ユニットの候補方向ベクトルを構成し、それにより、取得された精選候補方向ベクトルの数が少なくなる。
【0153】
上記例示的な実施例により、圧縮率が低下するとき、符号化速度を著しく向上させることができる。
【0154】
Ｉフレームに対応する画像符号化を例として、Ｉフレームを参照して上記画像符号化における予測方向選択実現プロセスを説明する。Ｉフレームの画像符号化はＨＭエンコーダにおいて実行され、それに関する符号化予測は、本発明の実施により行われる。
【0155】
符号化予測は、画像における符号化ユニットの予測ユニットに対して実行される。ここで、予測ユニットの予測方向の選択が実行される。選択された予測方向に対応する予測モードがこの予測ユニットの符号化予測に用いられる。このようにして、画像全体の符号化予測を完了する。
【0156】
具体的には、ＨＥＶＣ符号化プロトコルによって実行される画像符号化プロセスは、１フレームの画像をエンコーダに送り、エンコーダがこのフレーム画像に対応する入力データを取得し、予測して予測値を得て、入力データと予測値との間の差を取得して残差が得られ、次に変換して量子化して残差係数が得られ、最後に、エントロピー符号化を実行してストリームを出力することを含む。この時点で、画像の符号化を実現し、さらに、出力されたストリームをユーザ側に伝送し、ユーザに対応する画像アプリケーションサービスを提供する。
【0157】
また、残差係数を繰り返して逆量子化して逆変換した後に再構成画像の残差値が得られ、さらに予測値と加算し、再構成画像が得られる。再構成画像に対してループ内フィルタリングを実行した後、フレームキューを参照し、次のフレームの参照画像として用い、それにより、１フレームずつ符号化する。
【0158】
Ｉフレームは全フレーム圧縮符号化フレームであり、全フレーム画像情報に対して符号化圧縮が実行された後に伝送される。従って、実行される予測はフレーム内予測によって実現される。
【0159】
Ｉフレームに対して実行される予測方向選択は、参照方向の構成という第一の部分、精選候補方向ベクトルの構成という第二の部分、精選候補方向ベクトルの修正及び調整という第三の部分を含む３つの部分を含む。
【0160】
（一）参照方向の構成
現在の符号化ユニットの深度情報に基づき、上位レイヤの符号化ユニット又はこの上位レイヤの符号化ユニットに対応する隣接符号化ユニットを適応的に選択し、その予測方向を記録し、予測ユニットの予測を実行するときの現在の符号化ユニットの参照方向とする。
現在の符号化ユニットの深度情報に基づき、上位レイヤの符号化ユニット又はこの上位レイヤの符号化ユニットに対応する隣接符号化ユニットを適応的に選択し、その予測方向を記録し、予測ユニットの予測を実行するときの現在の符号化ユニットの参照方向とする。
【0161】
現在の予測ユニットの参照方向をｍｏｄｅ＿ｒｅｆとして記録する。
【0162】
さらに詳しく説明すると、図８は例示的な実施例による４つの符号化サブユニットに分割されない符号化ユニットを示す模式図であり、図８に示すように、まず、符号化ユニットが４つのサブブロックに分割される前、すなわち四分木の分割の前の符号化ユニットの関連する予測の最終予測方向を記録し、ｍｏｄｅ＿ｕｐとして記録する。
【0163】
６４×６４ピクセルブロックの符号化ユニットに対して、この符号化ユニットは最上位層であるため、上位レイヤの符号化ユニットがなく、符号化ユニットに関連付けられる予測ユニット、すなわち６４×６４ピクセルブロックの予測ユニットを最終的に最適選択する確率が低い。従って、後に構成される精選候補方向ベクトルは、ＭＰＭ候補方向及び予備選択方向ベクトルのみで構成される。
【0164】
３２×３２ピクセルブロックの符号化ユニットから開始して、上位レイヤの符号化ユニットに関連する情報及び同じ上位レイヤの符号化ユニットに属する隣接符号化サブユニットに関連する情報を取得できる。従って、参照方向を構成するときに、ステップ１において上位レイヤの符号化ユニットで実行される予測ユニットの予測の最終予測方向、すなわちｍｏｄｅ＿ｕｐを取得する。
【0165】
図９は図８に対応する実施例による、同じ上位レイヤの符号化ユニットに属する４つの符号化サブユニットの相対位置のインデックスを示す案内図である。現在の符号化ユニットは、４つのサブ符号化ユニットのうちの１つであり、図９に示される数値は、符号化サブユニットのインデックスとも呼ばれる符号化サブユニットの位置座標を示すために用いられる。
【0166】
ステップ１で上位レイヤの符号化ユニットのｍｏｄｅ＿ｕｐを取得した後、図８に示される位置座標に基づき、隣接符号化サブユニットの予測ユニットの予測を実行した最終予測方向を取得し、この４つの符号化サブユニットで予測ユニットの予測を完了して取得した最終予測方向をｍｏｄｅ＿０、ｍｏｄｅ＿１、ｍｏｄｅ＿２、及びｍｏｄｅ＿３として記録する。
【0167】
具体的には、現在の符号化サブユニットのインデックスが０である場合、参照方向は、上位レイヤの符号化ユニットに対して実行された予測ユニットの予測の最終予測方向のみであり、すなわち、ｍｏｄｅ＿ｒｅｆ＝｛ｍｏｄｅ＿ｕｐ｝である。
【0168】
現在の符号化サブユニットのインデックスが１である場合、参照方向は、上位レイヤの符号化ユニットに対して実行された予測ユニットの予測の最終予測方向と、インデックスが０の符号化サブユニットに対して実行された予測ユニットの予測の最終予測方向である。すなわち、ｍｏｄｅ＿ｒｅｆ＝｛ｍｏｄｅ＿ｕｐ、ｍｏｄｅ＿０｝である。
【0169】
現在の符号化サブユニットのインデックスが２である場合、参照方向は、上位レイヤの符号化ユニットに対して実行された予測ユニットの予測の最終予測方向と、隣接符号化サブユニットとして用いられる、インデックスが０の符号化サブユニットに対して実行された予測ユニットの予測の最終予測方向と、インデックスが１の符号化サブユニットに対して実行された予測ユニットの予測の最終予測方向である。すなわち、ｍｏｄｅ＿ｒｅｆ＝｛ｍｏｄｅ＿ｕｐ、ｍｏｄｅ＿０、ｍｏｄｅ＿１｝である。
【0170】
現在の符号化サブユニットのインデックスが３である場合、参照方向は、上位レイヤの符号化ユニットに対して実行された予測ユニットの予測の最終予測方向と、インデックスが０の符号化サブユニットに対して実行された予測ユニットの予測の最終予測方向と、インデックスが１の符号化サブユニットに対して実行された予測ユニットの予測の最終予測方向と、インデックスが２の符号化サブユニットに対して実行された予測ユニットの予測の最終予測方向である。すなわち、ｍｏｄｅ＿ｒｅｆ＝｛ｍｏｄｅ＿ｕｐ、ｍｏｄｅ＿０、ｍｏｄｅ＿１、ｍｏｄｅ＿２｝である。
【0171】
（二）精選候補方向ベクトルの構成
上記したように、Ｉフレームの画像について、深度が異なる四分木分割によって符号化ユニットを取得し、各符号化ユニットはいずれも関連する予測ユニット（ＰＵ、Ｐｒｅｄｉｃｔ Ｕｎｉｔ）及び変換ユニット（ＴＵ、Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）を有する。
上記したように、Ｉフレームの画像について、深度が異なる四分木分割によって符号化ユニットを取得し、各符号化ユニットはいずれも関連する予測ユニット（ＰＵ、Ｐｒｅｄｉｃｔ Ｕｎｉｔ）及び変換ユニット（ＴＵ、Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）を有する。
【0172】
さらに、符号化ユニットに対して再帰分割を実行し、ＨＭエンコーダが予測ユニットの区分モード及び対応する深度情報を抽出し、符号化ユニットの分割プロセスを実行する。
【0173】
符号化ユニットは１つ又は４つの予測ユニット、及び複数の変換ユニットに分割される。符号化ユニットの再帰分割、すなわち四分木分割の実行に対して、符号化ユニットのデフォルトの深度が０～３であり、サイズがそれぞれ６４×６４ピクセルブロック、３２×３２ピクセルブロック、１６×１６ピクセルブロック、及び８×８ピクセルブロックである。四分木構造によってサイズの大きい符号化ユニットがサイズの小さい符号化ユニットに分割される。精選候補方向ベクトルの構成は、一般的に以下の３つのステップに分けられる。
【0174】
Ｓｔｅｐ１において、ＳＡＴＤをレート歪み関数として用い、評価関数によって、たとえば、０～３４の３５個の各予め選択されたフレーム内方向に対して予備選択予測計算を実行する。
【0175】
評価関数は、ＲＤｃｏｓｔ＝ＳＡＴＤ＋λ＊ｂｉｔである。
【0176】
ＲＤｃｏｓｔはレート歪みコストであり、ＳＡＴＤは用いるレート歪みコスト関数を表し、対応する数値は残差に対してアダマール変換を実行した後の係数の絶対合計であり、λはラグランジュ乗数であり、重みに相当し、ｂｉｔは符号化された実際のビットストリームであり、符号化ビットレートを表し、実行されるフレーム内予測は、モード、残差等のビット総和を含む。Ｓｔｅｐ２、ＲＤｃｏｓｔを昇順に並べ替え、取得された予備選択方向ベクトルをｍｏｄｅ＿ｆｉｒｓｔとする。
【0177】
ＲＤｃｏｓｔを昇順に並べ替えた後、対応する位置１、２、…、３５、をそれぞれｔｏｐ１、ｔｏｐ２、…、ｔｏｐ３５で表し、対応する方向をそれぞれｍｏｄｅ＿ｔｏｐ１、ｍｏｄｅ＿ｔｏｐ２、…、ｍｏｄｅ＿ｔｏｐ３５で表す。
【0178】
設定された予備選択方向ベクトルの数、すなわち指定数に応じて、予備選択方向ベクトルを抽出する開始点として、ｍｏｄｅ＿ｔｏｐ１を取得する。
【0179】
Ｓｔｅｐ３において、参照方向、ＭＰＭ候補方向、及び予備選択方向ベクトルに基づき、精選候補方向ベクトルを構成し、精選候補方向ベクトルをｍｏｄｅ＿ｃａｎｄｉｄａｔｅとする。
【0180】
ＨＥＶＣ符号化プロトコルに規定されたＭＰＭ候補方向は、左側及び上側の予測ユニットの最終予測方向であり、現在の予測ユニットのインデックスに基づいて取得される。左側及び上側がいずれも利用できず又は存在しない場合、ＭＰＭ候補方向の数は０であり、１つが利用できる場合、数は１であり、いずれも利用できる場合、数は２である。ＭＰＭ候補方向をｍｏｄｅ＿ｍｐｍとする。
【0181】
予測ユニットのサイズが６４×６４ピクセルブロック又は３２×３２ピクセルブロックである場合、指定数に対応する数値は１であり、予測ユニットのサイズが１６×１６ピクセルブロックである場合、指定数に対応する数値は２であり、予測ユニットのサイズがより小さい場合、指定数に対応する数値は３である。指定数は予備選択方向ベクトルの数である。
【0182】
このとき、６４×６４ピクセルブロックの予測ユニットに対して、ｍｏｄｅ＿ｃａｎｄｉｄａｔｅ＝｛ｍｏｄｅ＿ｍｐｍ、ｍｏｄｅ＿ｔｏｐ１｝を取得し、３２×３２ピクセルブロックの予測ユニットに対して、ｍｏｄｅ＿ｃａｎｄｉｄａｔｅ＝｛ｍｏｄｅ＿ｒｅｆ、ｍｏｄｅ＿ｍｐｍ、ｍｏｄｅ＿ｔｏｐ１｝を取得する。
【0183】
１６×１６ピクセルブロックの予測ユニットに対して、ｍｏｄｅ＿ｃａｎｄｉｄａｔｅ＝｛ｍｏｄｅ＿ｒｅｆ、ｍｏｄｅ＿ｍｐｍ、ｍｏｄｅ＿ｔｏｐ１、ｍｏｄｅ＿ｔｏｐ２｝を取得する。
【0184】
８×８ピクセルブロックの予測ユニットに対して、ｍｏｄｅ＿ｃａｎｄｉｄａｔｅ＝｛ｍｏｄｅ＿ｒｅｆ、ｍｏｄｅ＿ｍｐｍ、ｍｏｄｅ＿ｔｏｐ１、ｍｏｄｅ＿ｔｏｐ２、ｍｏｄｅ＿ｔｏｐ３｝を取得する。
【0185】
４×４ピクセルブロックの予測ユニットに対して、ｍｏｄｅ＿ｃａｎｄｉｄａｔｅ＝｛ｍｏｄｅ＿ｒｅｆ、ｍｏｄｅ＿ｍｐｍ、ｍｏｄｅ＿ｔｏｐ１、ｍｏｄｅ＿ｔｏｐ２、ｍｏｄｅ＿ｔｏｐ３｝を取得する。
【0186】
（三）精選候補方向ベクトルの修正及び調整。
【0187】
具体的には、ｔｏｐ１に対応する方向（ｍｏｄｅ＿ｔｏｐ１）が参照方向及びＭＰＭ候補方向の双方と同じである場合、１つのみの方向、すなわちｍｏｄｅ＿ｃａｎｄｉｄａｔｅ＝｛ｍｏｄｅ＿ｔｏｐ１｝が精選される。
【0188】
また、ｔｏｐ２に対応する方向が参照方向及びＭＰＭ候補方向の双方と同じである場合、２つの方向、すなわちｍｏｄｅ＿ｃａｎｄｉｄａｔｅ＝｛ｍｏｄｅ＿ｔｏｐ１、ｍｏｄｅ＿ｔｏｐ２｝が精選される。
【0189】
また、現在の予測ユニットに対応するサイズが３２ピクセルブロックより小さくかつｔｏｐ１に対応する方向が参照方向又はＭＰＭ候補方向の１つのみと同じである場合、予備選択方向ベクトルの数を１に修正する。すなわち参照方向、ＭＰＭ候補方向、及びｔｏｐ１に対応する方向として精選される。
【0190】
また、現在の予測ユニットに対応するサイズが１６ピクセルブロックより小さく、かつｔｏｐ２に対応する方向が参照方向又はＭＰＭ候補方向の１つのみと同じである場合、予備選択方向ベクトルの数を２に修正する。すなわち参照方向、ＭＰＭ候補方向、ｔｏｐ１及びｔｏｐ２に対応する方向が精選される。
【0191】
それにより、現在の符号化ユニットにおいて実行される予測ユニットの予測の精選候補方向ベクトルが、最適方向を含む確率を高くすることができる。
【0192】
このように、複数のビデオシーケンスに対するテストにおいて、Ｉフレームを符号化する場合、最適化の前と比較して、符号化速度を４５％向上させ、圧縮比損失０．４％となる。速度向上は主に最適結果に含まれる方向数の減少にあり、たとえば、１０数個の方向から１つ又は２つまで減少し、それに対応して計算回数を減少させる。
【0193】
以下は本発明の装置実施例であり、本発明の上記画像符号化における予測方向の選択方法を実行する実施例である。本発明の装置実施例に開示されていない詳細は、本発明の画像符号化における予測方向の選択方法の実施例を参照する。
【0194】
図１０は１つの例示的な実施例に示される画像符号化における予測方向の選択装置を示すブロック図である。該画像符号化における予測方向の選択装置は、図１０に示すように、参照方向構築モジュール５１０、予備選択取得モジュール５３０、及び精選処理モジュール５５０を含むが、それらに限定されるものではない。
【0195】
参照方向構築モジュール５１０は、符号化ユニットの予測ユニットに対して開始した符号化予測において、予測ユニットが位置するレイヤの上位レイヤの符号化ユニットに対する予測ユニットのテクスチャ一貫性に従って、予測ユニットに対応する参照方向を構築するように構成される。１つの例示的な実施例において、参照方向構築モジュール５１０は、符号化ユニットの予測ユニットに対して開始した符号化予測において、予測ユニットが位置する符号化ユニットの上位レイヤの符号化ユニットに対する予測ユニットのテクスチャ一貫性に従って、予測ユニットに対応する参照方向を決定するように構成される。
【0196】
予備選択取得モジュール５３０は、参照方向を構築する符号化ユニットについて、レート歪みコストに従って予め選択されたフレーム内方向から形成される、予備選択方向ベクトルを取得するように構成される。１つの例示的な実施例において、予備選択取得モジュール５３０は、符号化ユニットについて、レート歪みコストに従ってフレーム内方向から選択される予備選択方向ベクトルを取得するように構成される。
【0197】
精選処理モジュール５５０は、参照方向及び予備選択方向ベクトルによって精選候補方向ベクトルを構築するように構成される。
【0198】
精選候補方向ベクトルは符号化ユニットのユニット予測を実行するとき、最適コストに対応する方向を予測方向として適用するために用いられる。１つの例示的な実施例において、精選処理モジュール５５０は、参照方向及び予備選択方向ベクトルによって、精選候補方向ベクトルを決定するように構成される。精選候補方向ベクトルは、符号化ユニットに対して実行されるユニット予測の予測方向として最適コストに対応する方向を選択するために用いられる。
【0199】
別の例示的な実施例において、該画像符号化における予測方向の選択装置は精選調整モジュールをさらに含む。
【0200】
この精選調整モジュールは、参照方向及び予め選択されたフレーム内方向に基づき、精選候補方向ベクトルにおける予備選択方向ベクトルの数を修正し、数が修正された予備選択方向ベクトルを含む精選候補方向ベクトルを調整するように構成される。１つの例示的な実施例において、精選調整モジュールは、参照方向及びフレーム内方向に基づき、精選候補方向ベクトルにおける予備選択方向ベクトルの数を修正し、修正された数の予備選択方向ベクトルを含む精選候補方向ベクトルの調整を行うように構成される。
【0201】
図１１は図１０に対応する実施例による参照方向構築モジュールの詳細を示すブロック図である。図１１に示すように、該参照方向構築モジュール５１０は、深度取得ユニット５１１、上位レイヤユニットの位置決めユニット５１３、予測ユニット５１５、及び参照構築ユニット５１７を含むが、それらに限定されるものではない。
【0202】
深度取得ユニット５１１は、符号化ユニットの深度情報を取得するように構成される。
【0203】
上位レイヤユニットの位置決めユニット５１３は、深度情報に基づき、符号化ユニットの上位レイヤの符号化ユニットを位置決めするように構成される。
【0204】
予測ユニット５１５は、予測の完了によって、存在する予測ユニットで取得された予測方向を、上位レイヤの符号化ユニットから抽出するように構成される。
【0205】
参照構築ユニット５１７は、予測方向に基づき、予測ユニットに対して符号化予測を実行するために符号化ユニットで使用する参照方向を構築するように構成される。
【0206】
別の例示的な実施例において、予測ユニット５１５は、さらに、上位レイヤの符号化ユニットで完了した上位レイヤの符号化ユニットの予測ユニットに対して実行された符号化予測によって取得した予測方向を抽出するように構成される。１つの例示的な実施例において、予測ユニット５１５は、上位レイヤの符号化ユニットの予測ユニットに対して実行された符号化予測によって取得された予測方向を抽出するように構成される。
【0207】
図１２は図１１に対応する実施例による予測ユニット５１０の詳細を示すブロック図である。図１２に示すとおり該予測ユニット５１５は、隣接ユニットの位置決めサブユニット５１５１及び抽出サブユニット５１５３を含むが、それらに限定されるものではない。
【0208】
隣接ユニットの位置決めサブユニット５１５１は、符号化ユニットと同じ深度でかつ同じ上位レイヤの符号化ユニットに対応する隣接符号化ユニットを決定するように構成される。
【0209】
抽出サブユニット５１５３は、予測を完了した隣接符号化ユニットに基づき、取得された予測方向を抽出するように構成される。
【0210】
別の例示的な実施例において、予備選択取得モジュールは、さらに、各予め選択されたフレーム内方向でのレート歪みコストに従って、対応するレート歪みコストの昇順に配列された指定数の予め選択されたフレーム内方向を取得するように構成され、取得された予め選択されたフレーム内方向が予測ユニットに対応する予備選択方向ベクトルであり、指定数が予測ユニットに対応するサイズに関連付けられている。１つの例示的な実施例において、予備選択取得モジュールは、フレーム内方向のレート歪みコストに従って、対応するレート歪みコストの昇順に配列された指定数のフレーム内方向を取得するように構成され、指定数は予測ユニットに対応するサイズに関連付けられている。
【0211】
別の例示的な実施例において、該画像符号化における予測方向の選択装置はＭＰＭ候補方向取得モジュールをさらに含む。
【0212】
ＭＰＭ候補方向取得モジュールは、参照方向と予備選択方向ベクトルとともに予測ユニットの精選候補方向ベクトルを構築する予測ユニットのＭＰＭ候補方向を取得するように構成される。
【0213】
図１３は図１０に対応する実施例による精選調整モジュールの詳細を示すブロック図である。図１３に示すように、該修正調整モジュール６００は、修正調整制御ユニット６０１、予備選択修正ユニット６０３、及び調整実行ユニット６０５を含むが、それらに限定されるものではない。
【0214】
修正調整制御ユニット６０１は、精選候補方向ベクトルにおいて他のタイプの方向における予備選択方向ベクトルと同じ方向に基づき、精選調整後の方向に対応する修正された予備選択方向ベクトルの数及び精選調整制御情報を取得するように構成される。１つの例示的な実施例において、修正調整制御ユニット６０１は、精選候補方向ベクトルにおける他の候補方向ベクトルと同じ方向を有する予備選択方向ベクトルを含む精選候補方向ベクトルにおいて、修正された数の予備選択方向ベクトルを生成するように構成される。修正調整制御ユニット６０１は、さらに、精選候補方向ベクトルの調整に対応する精選調整制御情報を生成するように構成される。
【0215】
予備選択修正ユニット６０３は、前記精選候補方向ベクトルにおいて修正された予備選択方向ベクトルの数に一致し、レート歪みコストが最も小さい予備選択方向ベクトルを保持するように構成される。１つの例示的な実施例において、予備選択修正ユニット６０３は、精選候補方向ベクトルにおいて、修正された予備選択方向ベクトルの数に一致しかつレート歪みコストが最も小さい予備選択方向ベクトルの数を保持するように構成される。
【0216】
調整実行ユニット６０５は、精選調整制御情報に基づき、精選候補方向ベクトルの他のタイプの方向の保持又は除去を制御し、精選調整された精選候補方向ベクトルを取得するように構成される。１つの例示的な実施例において、調整実行ユニット６０５は、精選調整制御情報に基づき、精選候補方向ベクトルにおける他の候補方向ベクトルの保持又は除去を制御し、精選調整後の精選候補方向ベクトルを取得するように構成される。
【0217】
図１４は図１０に対応する実施例による修正調整制御ユニットの詳細を示すブロック図である。１つの例示的な実施例において、他のタイプの方向は参照方向及びＭＰＭ候補方向を含み、図１４に示すように、該修正調整制御ユニット５５１は、少なくとも、同一方向決定ユニット５５１１、修正数取得ユニット５５１３、及び制御情報生成ユニット５５１５を含む。
【0218】
同一方向決定ユニット５５１１は、前記精選候補方向ベクトルにおける前記参照方向及び／又はＭＰＭ候補方向に属する予備選択方向ベクトルを決定するように構成される。１つの例示的な実施例において、同一方向決定ユニット５５１１は、精選候補方向ベクトルにおける参照方向及び／又はＭＰＭ候補方向と同じ方向を有する予備選択方向ベクトルを特定するように構成される。
【0219】
修正数取得ユニット５５１３は、決定された予備選択方向ベクトルに基づき、精選候補方向ベクトルにおける予備選択方向ベクトルの数を減少させ、修正された予備選択方向ベクトルの数を取得するように構成され、修正された予備選択方向ベクトルの数が決定された予備選択方向ベクトルに対応するレート歪みコストの昇順の順位に対応する。１つの例示的な実施例において、修正数取得ユニット５５１３は、特定された前記予備選択方向ベクトルに基づき、精選候補方向ベクトルにおける現在の予備選択方向ベクトルの数を減少させ、修正された数の予備選択方向ベクトルを取得するように構成される。修正された数の予備選択方向ベクトルが特定された予備選択方向ベクトルに対応するレート歪みコストの昇順の順位に対応している。
【0220】
制御情報生成ユニット５５１５は、決定された予備選択方向ベクトルが参照方向及びＭＰＭ候補方向に同時に属する場合、数が修正された予備選択方向ベクトルのみでベクトルを構成するための精選調整制御情報を生成するように構成される。１つの例示的な実施例において、制御情報生成ユニット５５１５は、特定された予備選択方向ベクトルが参照方向及びＭＰＭ候補方向の双方と同じ方向を有する場合、数が修正された予備選択方向ベクトルのみを使用することを示す精選調整制御情報を生成するように構成される。
【0221】
制御情報生成ユニット５５１５は、さらに、決定された予備選択方向ベクトルが前記参照方向又はＭＰＭ候補方向に属する場合、参照方向、ＭＰＭ候補方向、及び数が修正された予備選択方向ベクトルでベクトルを構成するための精選調整制御情報を生成するように構成される。１つの例示的な実施例において、制御情報生成ユニット５５１５は、特定された予備選択方向ベクトルが参照方向又はＭＰＭ候補方向と同じ方向を有する場合、参照方向、ＭＰＭ候補方向、及び数が修正された予備選択方向ベクトルを使用することを示す精選調整制御情報を生成するように構成される。
【0222】
別の例示的な実施例において、制御情報生成ユニット５５１５は、さらに、決定された予備選択方向ベクトルのいずれも参照方向又はＭＰＭ候補方向と同じでない場合、参照方向、ＭＰＭ候補方向、及び数が修正されない予備選択方向ベクトルでベクトルを構成するための精選調整制御情報を生成するように構成される。１つの例示的な実施例において、制御情報生成ユニット５５１５は、予備選択方向ベクトルのいずれも参照方向又はＭＰＭ候補方向と同じ方向を有さない場合、参照方向、ＭＰＭ候補方向、及び数が修正されない予備選択方向ベクトルを使用することを示す精選調整制御情報を生成するように構成される。
【0223】
別の例示的な実施例において、調整実行ユニット６０５は、さらに、精選調整制御情報に基づき、精選候補方向ベクトルにおける参照方向及びＭＰＭ候補方向を保持又は除去し、調整して得られた精選候補方向ベクトルを形成するように構成される。１つの例示的な実施例において、調整実行ユニット６０５は、精選調整制御情報に基づき、精選候補方向ベクトルにおける参照方向及びＭＰＭ候補方向を保持又は除去し、精選調整後の精選候補方向ベクトルを形成するように構成される。
【0224】
本発明は、上記実装環境に使用可能であり、図３、図４、図５、図６、及び図７のいずれかに示される方法のすべて又は一部のステップを実行する電子機器をさらに提供する。前記装置は、
プロセッサと、
プロセッサにより実行可能な命令を記憶する記憶装置と、を含み、
コンピュータ可読命令は前記プロセッサにより実行されるときに、前記方法を実現する。
プロセッサと、
プロセッサにより実行可能な命令を記憶する記憶装置と、を含み、
コンピュータ可読命令は前記プロセッサにより実行されるときに、前記方法を実現する。
【0225】
該実施例における装置のプロセッサ実行操作の具体的な方法は上記方法の実施例において詳細に説明されており、ここで、詳細な説明は省略する。
【0226】
例示的な実施例において、たとえば、命令を含む一時的及び非一時的コンピュータ可読記憶媒体であってもよいコンピュータ可読記憶媒体である記憶媒体をさらに提供する。該記憶媒体は、たとえば上記方法を完了するために装置のプロセッサにより実行される命令を含む記憶装置を含む。
【0227】
本発明は上記において説明し、図面に示された正確な構造に限定されず、その範囲から逸脱することなく、様々な修正及び変更を行うことができることが理解されるべきである。本発明の範囲は添付の特許請求の範囲によってのみ限定される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
