IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッドの特許一覧

特許7046219ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム
<>
  • 特許-ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム 図1
  • 特許-ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム 図2
  • 特許-ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム 図3
  • 特許-ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム 図4
  • 特許-ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム 図5
  • 特許-ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム 図6
  • 特許-ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム 図7
  • 特許-ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム 図8
  • 特許-ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム 図9
  • 特許-ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム 図10
  • 特許-ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム 図11
  • 特許-ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム 図12
  • 特許-ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム 図13
  • 特許-ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム 図14
  • 特許-ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-24
(45)【発行日】2022-04-01
(54)【発明の名称】ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム
(51)【国際特許分類】
   H04N 19/11 20140101AFI20220325BHJP
   H04N 19/147 20140101ALI20220325BHJP
   H04N 19/176 20140101ALI20220325BHJP
   H04N 19/192 20140101ALI20220325BHJP
   H04N 19/593 20140101ALI20220325BHJP
【FI】
H04N19/11
H04N19/147
H04N19/176
H04N19/192
H04N19/593
【請求項の数】 13
(21)【出願番号】P 2020555773
(86)(22)【出願日】2019-04-03
(65)【公表番号】
(43)【公表日】2021-08-05
(86)【国際出願番号】 CN2019081239
(87)【国際公開番号】W WO2019210760
(87)【国際公開日】2019-11-07
【審査請求日】2020-10-21
(31)【優先権主張番号】201810413949.2
(32)【優先日】2018-05-03
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】514187420
【氏名又は名称】テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジャン,ホォンシュン
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第2016/205712(WO,A1)
【文献】特開2016-092458(JP,A)
【文献】特開2015-035659(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
電子機器が実行するビデオ符号化方法であって、

ビデオ画像フレームを受信するとともに、前記ビデオ画像フレームの少なくとも1つの符号化ツリー単位を取得するステップと、
異なるビデオ予測単位分割ルールに従って、前記符号化ツリー単位を分割することにより、前記符号化ツリー単位の異なるサイズのビデオ予測単位を取得するステップと、
第1のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得るステップと、
第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るステップと、
前記第2のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得るステップと、
異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ符号化単位に対してイントラ予測符号化を行うステップと、を含み、
前記ビデオ予測単位が64*64のビデオ予測単位である場合、
第1のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る前記ステップは、
33個の角度モード予測輝度方向を5つの予測輝度方向領域に分割するとともに、予選レート歪みコストが最も小さい中心予測輝度方向に対応する予測輝度方向領域における7つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、64*64のビデオ予測単位における9つのイントラ予測予選輝度方向に設定するステップを含む、
ことを特徴とするビデオ符号化方法。
【請求項2】
異なるビデオ予測単位分割ルールに従って、前記符号化ツリー単位を分割することにより、前記符号化ツリー単位の異なるサイズのビデオ予測単位を取得する前記ステップは、
異なるビデオ予測単位分割ルールに従って前記符号化ツリー単位を分割することにより、前記符号化ツリー単位の64*64のビデオ予測単位、32*32のビデオ予測単位、16*16のビデオ予測単位、8*8のビデオ予測単位、および4*4のビデオ予測単位を取得するステップを含む、
ことを特徴とする請求項に記載のビデオ符号化方法。
【請求項3】
前記ビデオ予測単位が32*32のビデオ予測単位である場合、
第1のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る前記ステップは、
3個の角度モード予測輝度方向を11つの予測輝度方向領域に分割するとともに、予選レート歪みコストが最も小さい中心予測輝度方向に対応する予測輝度方向領域における3つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、32*32のビデオ予測単位における5つのイントラ予測予選輝度方向に設定するステップを含む、
ことを特徴とする請求項1または2に記載のビデオ符号化方法。
【請求項4】
前記ビデオ予測単位が16*16のビデオ予測単位である場合、
第1のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る前記ステップは、
3個の角度モード予測輝度方向を11つの予測輝度方向領域に分割するとともに、予選レート歪みコストが最も小さい中心予測輝度方向に対応する予測輝度方向領域における3つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、16*16のビデオ予測単位における5つのイントラ予測予選輝度方向に設定するステップを含む、
ことを特徴とする請求項1または2に記載のビデオ符号化方法。
【請求項5】
前記ビデオ予測単位が8*8のビデオ予測単位である場合、
第1のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る前記ステップは、
3個の角度モード予測輝度方向を7つの予測輝度方向領域に分割するとともに、予選レート歪みコストが最も小さい中心予測輝度方向に対応する予測輝度方向領域における5つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、8*8のビデオ予測単位における7つのイントラ予測予選輝度方向に設定するステップを含む、
ことを特徴とする請求項1または2に記載のビデオ符号化方法。
【請求項6】
前記ビデオ予測単位が4*4のビデオ予測単位である場合、
前記第1のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る前記ステップは、
3個の角度モード予測輝度方向を5つの予測輝度方向領域に分割するとともに、予選レート歪みコストが最も小さい中心予測輝度方向に対応する予測輝度方向領域における7つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、4*4のビデオ予測単位における9つのイントラ予測予選輝度方向に設定するステップを含む、
ことを特徴とする請求項1または2に記載のビデオ符号化方法。
【請求項7】
前記第2のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得る前記ステップは、
前記第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適色度方向、および現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向を精選することにより、精選レート歪みコストが最も小さい色度方向を現在サイズのビデオ予測単位のイントラ予測最適色度方向とするステップを含む、
ことを特徴とする請求項1乃至のいずれか1項に記載のビデオ符号化方法。
【請求項8】
前記ビデオ予測単位が8*8のビデオ予測単位である場合、
ビデオ画像フレームが双方向予測符号化フレームまたはインター予測符号化フレームである場合、第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る前記ステップは、
前記第2のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るステップを含む、
ことを特徴とする請求項1に記載のビデオ符号化方法。
【請求項9】
前記ビデオ予測単位が4*4のビデオ予測単位である場合、
ビデオ画像フレームが双方向予測符号化フレームまたはインター予測符号化フレームである場合、第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る前記ステップは、
前記第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るステップを含む、
ことを特徴とする請求項1に記載のビデオ符号化方法。
【請求項10】
前記ビデオ予測単位が16*16、32*32または64*64のビデオ予測単位である場合、
ビデオ画像フレームが双方向予測符号化フレームまたはインター予測符号化フレームである場合、第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る前記ステップは、
前記第2のレート歪み評価関数に基づいて、下層サイズのビデオ予測単位のイントラ予測精選輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るステップを含む、
ことを特徴とする請求項1に記載のビデオ符号化方法。
【請求項11】
ビデオ画像フレームを受信するとともに、前記ビデオ画像フレームの少なくとも1つの符号化ツリー単位を取得するための符号化ツリー単位取得モジュールと、
異なるビデオ予測単位分割ルールに従って、前記符号化ツリー単位を分割することにより、前記符号化ツリー単位の異なるサイズのビデオ予測単位を取得するためのビデオ予測単位取得モジュールと、
第1のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得るためのイントラ予測予選輝度方向決定モジュールと、
第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るためのイントラ予測最適輝度方向設定モジュールと、
前記第2のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得るためのイントラ予測最適色度方向設定モジュールと、
異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ符号化単位に対してイントラ予測符号化を行うためのイントラ予測符号化モジュールと、を備え、
前記ビデオ予測単位が64*64のビデオ予測単位である場合、
前記イントラ予測予選輝度方向決定モジュールは、33個の角度モード予測輝度方向を5つの予測輝度方向領域に分割するとともに、予選レート歪みコストが最も小さい中心予測輝度方向に対応する予測輝度方向領域における7つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、64*64のビデオ予測単位における9つのイントラ予測予選輝度方向に設定する、
ことを特徴とするビデオ符号化装置。
【請求項12】
コンピュータに請求項1乃至10のいずれか1項に記載のビデオ符号化方法を実現させる、
ことを特徴とするコンピュータプログラム。
【請求項13】
プロセッサと、メモリとを備えており、
前記メモリには、コンピュータプログラムが記憶されており、
前記プロセッサは、前記コンピュータプログラムを呼び出すことにより、請求項1乃至10のいずれか1項に記載のビデオ符号化方法を実行する、
ことを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、2018年5月3日に中国特許庁へ提出した出願番号が201810413949.2、発明名称が「ビデオ符号化方法、ビデオ符号化装置、電子機器および記憶媒体」である中国特許出願に基づき優先権を要求し、その全ての内容は参照により本発明に組み込まれる。
【0002】
本発明は、ビデオ符号化の分野に関し、特に、ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラムに関する。
【背景技術】
【0003】
将来、ビデオの発展として、高精細度、高フレームレートおよび高圧縮率という傾向があり、現在普及されているH.264という圧縮方式は、原理的には一定の限界があり、今後の需要を満足することができない。
【0004】
ビデオ符号化は、イントラブロックとインターブロックとの2つのブロック単位で行われるが、ビデオ符号化の全体において、イントラブロックの重要度が最大である。現在のフレームタイプがIフレーム(全ての情報を自分で持つ独立フレームであって、他の画像を参照することなく独立に復号可能である)である場合、全ての符号化ブロックはいずれもイントラ予測が行われる。現在のフレームタイプがBフレーム(双方向予測符号化フレームであって、自フレームと前後フレームとの差分が記録される画面フレームである)またはPフレーム(インター予測符号化フレームであって、前フレームを参照しなければ符号化が不能な画面フレームである)である場合、一部の符号化ブロックのみが最終的にイントラ予測の対象として選択される。
【0005】
また、インター符号化の際に、インターブロックの参照画素がいずれもイントラブロックの再構成データに基づいたものであるため、イントラブロック符号化の画質が非常に重要となり、イントラブロック符号化の画質が悪い場合、後に参照されるインターブロックの参照画素の画質がより悪くなり、誤差がますます大きくなってしまう。これにより、同じ品質で符号化されたコードストリームが大幅に大きくなり、同じコードストリームでの画質が大幅に劣るという現象が発生する。
【0006】
そのため、符号化ブロックのイントラブロック予測の最適化が良くない場合、符号化速度を顕著に向上させることができなく、かつ圧縮率が大きく低下することが起こりやすくなるため、符号化ブロックのイントラ予測方法を改良して、ビデオ符号化の符号化速度を速くし、ビデオ符号化の符号化圧縮度合いを向上させる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の実施例は、従来のビデオ符号化方法およびビデオ符号化装置に存在している、符号化ブロックのイントラブロック予測の最適化が良くないことにより符号化速度を顕著に向上させることができなく、かつ圧縮率が大きく低下するという技術的課題を解決するために、ビデオ符号化の符号化速度が速く、ビデオ符号化の符号化圧縮度合いが高いビデオ符号化方法およびビデオ符号化装置を提供する。
【課題を解決するための手段】
【0008】
本発明の実施例によれば、電子機器が実行するビデオ符号化方法であって、
ビデオ画像フレームを受信するとともに、前記ビデオ画像フレームの少なくとも1つの符号化ツリー単位を取得するステップと、
異なるビデオ予測単位分割ルールに従って、前記符号化ツリー単位を分割することにより、前記符号化ツリー単位の異なるサイズのビデオ予測単位を取得するステップと、
第1のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得るステップと、
第2のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るステップと、
第2のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得るステップと、
異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ符号化単位に対してイントラ予測符号化を行うステップと、を含むビデオ符号化方法を提供する。
【0009】
本発明の実施例によれば、
ビデオ画像フレームを受信するとともに、前記ビデオ画像フレームの少なくとも1つの符号化ツリー単位を取得するための符号化ツリー単位取得モジュールと、
異なるビデオ予測単位分割ルールに従って、前記符号化ツリー単位を分割することにより、前記符号化ツリー単位の異なるサイズのビデオ予測単位を取得するためのビデオ予測単位取得モジュールと、
第1のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得るためのイントラ予測予選輝度方向決定モジュールと、
第2のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るためのイントラ予測最適輝度方向設定モジュールと、
第2のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得るためのイントラ予測最適色度方向設定モジュールと、
異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ符号化単位に対してイントラ予測符号化を行うためのイントラ予測符号化モジュールと、を備えるビデオ符号化装置をさらに提供する。
【0010】
本発明の実施例によれば、プロセッサが実行可能な指令が記憶され、前記指令が1つまたはそれ以上のプロセッサによって実行される場合に、上記のビデオ符号化方法を実現する記憶媒体をさらに提供する。
【0011】
本発明の実施例によれば、プロセッサと、メモリとを備えており、前記メモリには、コンピュータプログラムが記憶されており、前記プロセッサは、前記コンピュータプログラムを呼び出すことにより、上記のビデオ符号化方法を実行する電子機器をさらに提供する。
【図面の簡単な説明】
【0012】
図1】本発明におけるHEVCの符号化フレームの構造を示す図である。
図2】本発明に係るビデオ符号化方法のフローチャートである。
図3図2に示す本発明の実施例における符号化ツリー単位の構造を示す図である。
図4図2に示す本発明の実施例における33種類の角度モードを示す図である。
図5】本発明に係る別種のビデオ符号化方法のフローチャートである。
図6】本発明に係るビデオ符号化装置の構造を示す図である。
図7図6に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールの構造を示す図である。
図8図6に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールのイントラ予測最適輝度方向設定手段の構造を示す図である。
図9図6に示す本発明の実施例におけるイントラ予測最適色度方向設定モジュールの構造を示す図である。
図10】本発明に係る別種のビデオ符号化装置の構造を示す図である。
図11図10に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールの構造を示す図である。
図12図10に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールの第2のイントラ予測最適輝度方向設定手段の構造を示す図である。
図13】本発明に係るビデオ符号化方法およびビデオ符号化装置による独立ビデオ画像フレームへのイントラ予測符号化処理に関する具体的な実施例のフローチャートである。
図14】本発明に係るビデオ符号化方法およびビデオ符号化装置による双方向予測符号化フレームまたはインター予測符号化フレームへのイントラ予測符号化処理に関する具体的な実施例のフローチャートである。
図15】本発明に係るビデオ符号化装置が搭載される電子機器の動作環境の構造を示す図である。
【発明を実施するための形態】
【0013】
なお、図面を参照して、同一の構成要素には同一の符号が付されており、本発明の原理は、適宜な演算環境において実施されることを例として説明する。以下の説明は、例示された本発明の具体的な実施例に基づいて行われるが、本発明をここで詳細に説明している具体的な実施例に制限すると考えるべきではない。
【0014】
また、以下の説明では、本発明の具体的な実施例は、特に説明しない限り、1つまたは複数のコンピュータが実行する作業のステップおよび符号を参照して説明する。したがって、これらのステップおよび操作は、コンピュータによって実行されることが複数回記載されており、1つの構造化モードにおけるデータの電子信号を代表したコンピュータ処理手段により操作されることを含む。当該操作は、当該データを変換し、または当該コンピュータの内部メモリシステム内の位置に維持し、当該コンピュータの動作を新たに設定したり、当業者が周知している方式によって変化することができる。当該データが維持するデータ構造は、当該内部メモリの実体位置であり、当該データフォーマットによって定義される特定の特性を有する。しかしながら、本発明の原理は、上記のような文字で説明したが、これに限定されるものではなく、当業者であれば、後述する複数のステップおよび操作がハードウェアで実施されてもよいことを理解できる。
【0015】
本発明に係るビデオ符号化方法およびビデオ符号化装置は、任意の電子機器に搭載することができ、各種のビデオ画像フレームに対してイントラ予測符号化処理を行うことにより、ビデオ符号化の符号化速度を速くし、ビデオ符号化の符号化圧縮度合いを向上させるためのものである。当該電子機器は、ウェアラブル機器、頭部装着型機器、医療健康プラットフォーム、パーソナルコンピュータ、サーバコンピュータ、手持ち型またはラップトップ型機器、モバイル機器(例えば、携帯電話、パーソナルデジタルアシスタント(PDA)、メディアプレーヤ等)、マルチプロセッサシステム、消費型電子機器、小型コンピュータ、大型コンピュータ、上記の任意のシステムまたは機器を含む分散型コンピューティング環境等を含むが、これらに限定されるものではない。当該電子機器は、ビデオ符号化サーバまたは端末であって、対応するビデオ符号化の符号化速度を速くするとともにビデオ符号化の符号化圧縮度合を向上させることができる。
【0016】
図1は、本発明の高効率映像符号化(High Efficiency Video Coding、HEVC)の符号化フレーム構造を示す。図1に示すように、1フレームの画像は、エンコーダーに入力されて、イントラ予測またはインター予測によって予測値が得られ、予測値と入力データとを減算して残差が得られ、その後、DCT変換および量子化を行って残差係数が得られた後、エントロピー符号化モジュールに入力してコードストリームを出力するとともに、残差係数に対して逆量子化および逆変換を行って再構成画像の残差値が得られ、さらに、イントラ予測値またはインター予測値と加算して再構成画像が得られ、再構成画像がデブロックフィルタリングおよび自己適応画素補償されて参照フレームキューに進入し、次のフレームの参照画像とされる。
【0017】
図2は、本発明に係るビデオ符号化方法のフローチャートである。本実施例に係るビデオ符号化方法は、上記の電子機器を用いて実施することが可能であり、独立に復号処理が可能な独立ビデオ画像フレームに対してイントラ予測符号化処理を行うためのものである。当該イントラ予測符号化処理は、以下のステップを含む。
【0018】
ステップS201において、ビデオ画像フレームを受信するとともにビデオ画像フレームの少なくとも1つの符号化ツリー単位を取得する。
【0019】
ステップS202において、異なるビデオ予測単位分割ルールに従って符号化ツリー単位を分割することにより、符号化ツリー単位の異なるサイズのビデオ予測単位を取得する。
【0020】
ステップS203において、第1のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る。
【0021】
ステップS204において、第2のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
【0022】
ステップS205において、第2のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得る。
【0023】
ステップS206において、異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ符号化単位に対してイントラ予測符号化を行う。
【0024】
以下、本実施例に係るビデオ符号化方法によるビデオ画像フレームへのイントラ予測符号化のプロセスを詳細に説明する。
【0025】
ステップS201において、ビデオ符号化装置(例えば、ビデオ符号化サーバ等)は、ビデオ符号化処理を必要とするビデオ画像フレームを受信する。そして、ビデオ符号化装置は、ビデオ画像フレーム内の符号化単位を分割することにより、少なくとも1つの符号化ツリー単位を取得する。ここで、各符号化ツリー単位はいずれも複数のビデオ予測単位を含むことができる。本実施例に係るビデオ符号化方法は、各ビデオ予測単位に対してイントラ予測符号化の最適化を行うことにより、現在のビデオ画像フレームのイントラ予測符号化の最適化を図ることができる。
【0026】
ステップS202において、ビデオ符号化装置は、異なるビデオ予測単位分割ルール(例えば、四分木の再帰的分割方式)に従って符号化ツリー単位を分割することにより、当該符号化ツリー単位の異なるサイズのビデオ予測単位を取得する。
【0027】
図3は、図2に示す本発明の実施例における符号化ツリー単位の構造を示す図である。図3に示すように、ビデオ画像フレームの符号化単位の符号化ツリー単位は、1個の64*64のビデオ予測単位(例えば、ビデオ予測単位A)、4個の32*32のビデオ予測単位(例えば、ビデオ予測単位a、ビデオ予測単位b、ビデオ予測単位cおよびビデオ予測単位d等)、16個の16*16のビデオ予測単位(例えば、ビデオ予測単位a1、ビデオ予測単位a2、ビデオ予測単位a3およびビデオ予測単位a4等)、64個の8*8のビデオ予測単位(例えば、ビデオ予測単位a11、ビデオ予測単位a12、ビデオ予測単位a13およびビデオ予測単位a14)、または256個の4*4のビデオ予測単位(図示せず)を含む。
【0028】
ステップS203において、ビデオ符号化装置は、第1のレート歪み評価関数(SATD(Sum of Absolute Transformed Difference、アダマール変換後の絶対値和)レート歪み算出関数を用いる)に基づいて、ステップS202で取得した異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る。
【0029】
ここでのビデオ予測単位のイントラ予測の予測輝度方向は、35種類の予選した予測輝度方向を含み、この35種類の予測輝度方向は、Planarモードと、DCモードと、33種類の角度モードとを含む。
【0030】
そのうち、Planarモードは、水平方向と垂直方向の2つの線形フィルタを使用し、両者の平均値を現在のブロック画素の予測値とする。このようにして、予測画素をなだらかに変化させることができ、他のモードと比べて、ビデオの主観的品質を向上させることができ、画素値が緩やかに変化する領域に適用する。
【0031】
DCモードの現在のブロック画素の予測値は、その左側と上方の参照画素の平均値から得られ、面積が大きい平坦領域に適用する。
【0032】
33種類の角度モードは、図4に示すように、V0とH0がそれぞれ垂直方向と水平方向を示し、その他のモードの予測方向がいずれも垂直方向または水平方向からオフセットしたものであるとみなすことができ、このオフセット角の大きさは、モードの下方の数字から算出し、ビデオコンテンツにおける異なる方向のテクスチャにより良く適用することができる。
【0033】
具体的には、ビデオ予測単位が64*64のビデオ予測単位である場合、上記33種類の角度モード予測輝度方向を、5つの予測輝度方向領域に分割する(そのうちの2つの予測輝度方向領域が重複する2つの角度モード予測輝度方向を有し、すなわち、1つの予測輝度方向領域ごとに7つの予測輝度方向を有する)とともに、レート歪みコストが最も小さい中心予測輝度方向(すなわち、7つの予測輝度方向の中央に位置する予測輝度方向)に対応する予測輝度方向領域における7つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、64*64のビデオ予測単位における9つのイントラ予測予選輝度方向に設定する。
【0034】
また、ビデオ予測単位が32*32のビデオ予測単位である場合、上記33個の角度モード予測輝度方向を11個の予測輝度方向領域に分割する(すなわち、1つの予測輝度方向領域ごとに3つの予測輝度方向を有する)とともに、レート歪みコストが最も小さい中心予測輝度方向(すなわち、3つの予測輝度方向の中央に位置する予測輝度方向)に対応する予測輝度方向領域における3つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、32*32のビデオ予測単位における5つのイントラ予測予選輝度方向に設定する。
【0035】
また、ビデオ予測単位が16*16のビデオ予測単位である場合、上記33個の角度モード予測輝度方向を11個の予測輝度方向領域に分割する(すなわち、1つの予測輝度方向領域ごとに3つの予測輝度方向を有する)とともに、レート歪みコストが最も小さい中心予測輝度方向(すなわち、3つの予測輝度方向の中央に位置する予測輝度方向)に対応する予測輝度方向領域における3つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、16*16のビデオ予測単位における5つのイントラ予測予選輝度方向に設定する。
【0036】
また、ビデオ予測単位が8*8のビデオ予測単位である場合、上記の33種類の角度モード予測輝度方向を、7つの予測輝度方向領域に分割する(そのうちの2つの予測輝度方向領域が重複する2つの角度モード予測輝度方向を有し、すなわち、1つの予測輝度方向領域ごとに5つの予測輝度方向を有する)とともに、レート歪みコストが最も小さい中心予測輝度方向(すなわち、5つの予測輝度方向の中央に位置する予測輝度方向)に対応する予測輝度方向領域における5つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、8*8のビデオ予測単位における7つのイントラ予測予選輝度方向に設定する。
【0037】
また、ビデオ予測単位が4*4のビデオ予測単位である場合、上記の33種類の角度モード予測輝度方向を、5つの予測輝度方向領域に分割する(そのうちの2つの予測輝度方向領域が重複する2つの角度モード予測輝度方向を有し、すなわち、1つの予測輝度方向領域ごとに7つの予測輝度方向を有する)とともに、レート歪みコストが最も小さい中心予測輝度方向(すなわち、7つの予測輝度方向の中央に位置する予測輝度方向)に対応する予測輝度方向領域における7つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、4*4のビデオ予測単位における9つのイントラ予測予選輝度方向に設定する。
【0038】
また、64*64のビデオ予測単位は、サイズが最も大きいビデオ予測単位であるため、下層サイズのビデオ予測単位の予測精度を保証するために、64*64のビデオ予測単位に対して比較的に多いイントラ予測予選輝度方向が設定される。また、4*4および8*8のビデオ予測単位は、サイズが最も小さいビデオ予測単位であり、予測結果の出力方向となる可能性が大きいため、4*4および8*8のビデオ予測単位に対しても比較的に多いイントラ予測予選輝度方向が設定される。また、16*16および32*32のビデオ予測単位は、中間過渡のためのビデオ予測単位であって、予測結果の出力方向とならないため、比較的に少ないイントラ予測予選輝度方向を設定することができる。
【0039】
ここでのレート歪みコストは、以下の式によって算出することができる。
【0040】
J=D+λ*R
ここで、Jはレート歪みコスト、Dは現在のイントラ予測予選輝度方向での画素歪み、Rは現在のイントラ予測予選輝度方向での全ての符号化情報(例えば、変換係数、モード情報、またはマクロブロック分割方式等)に必要なビット数、λはラグランジュ係数である。ここでの画素歪みDは、SATD(Sum of Absolute Transformed Difference、アダマール変換後の絶対値和)によって算出される。
【0041】
ステップS204において、ビデオ符号化装置は、第2のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
【0042】
ここでの関連ビデオ予測単位のイントラ予測最適輝度方向とは、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向である。
【0043】
すなわち、ビデオ符号化装置は、第2のレート歪み評価関数(SSD(Sum of Squared Difference、差分値の二乗和)レート歪み算出関数を用いる)に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
【0044】
具体的には、ビデオ符号化装置は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。例えば、16*16のビデオ予測単位の5つのイントラ予測予選輝度方向のうちのレート歪みコストが最も小さい3つの16*16のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
【0045】
また、ビデオ符号化装置は、ビデオ予測単位が64*64、32*32または16*16のビデオ予測単位である場合、現在サイズの隣接ビデオ予測単位のイントラ予測予選輝度方向がいずれかの現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と同一であるか否かを判定する。
【0046】
同一と判定した場合、ビデオ符号化装置は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第2のレート歪み評価関数(SSD(Sum of Squared Difference、差分値の二乗和)レート歪み算出関数を用いる)に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0047】
同一でないと判定した場合、ビデオ符号化装置は、第2のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0048】
また、ビデオ符号化装置は、ビデオ予測単位が8*8または4*4のビデオ予測単位である場合、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向、および現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
【0049】
ここでのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位は、隣接ビデオ符号化ブロックのビデオ予測単位であり、ビデオ予測単位の隣接ビデオ予測単位は、同一のビデオ符号化ブロックにおける隣接するビデオ予測単位である。
【0050】
同一と判定した場合、ビデオ符号化装置は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第2のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0051】
同一でないと判定した場合、ビデオ符号化装置は、第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0052】
このようにして、各サイズのビデオ予測単位のイントラ予測最適輝度方向の設定が完了した。具体的には、まずは、64*64のビデオ予測単位のイントラ予測最適輝度方向を設定し、その後、32*32、16*16、8*8および4*4のビデオ予測単位のイントラ予測最適輝度方向を順番に設定することができる。
【0053】
また、ビデオ符号化装置は、ビデオ予測単位が4*4のビデオ予測単位である場合、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストと設定係数(例えば、1.05等)との積が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストよりも大きいか否かをさらに判定する。
【0054】
以下であると判定した場合、続いて他の現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを算出する。
【0055】
より大きいと判定した場合、上層サイズのビデオ予測単位のイントラ予測最適輝度方向をそのまま最終に出力する輝度方向とすることができるため、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を予測結果の出力方向に設定し、かつ、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するのを避けるために、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定する。
【0056】
なお、ここでの設定係数の設定は、計算誤差により現在サイズのビデオ予測単位のイントラ予測最適輝度方向のレート歪みコストの計算にエラーが発生するのを回避するために、一般的に1よりもわずかに大きくなるようにする。
【0057】
また、ステップS205において、ビデオ符号化装置は、第2のレート歪み評価関数に基づいて異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得る。
【0058】
ここでのビデオ予測単位のイントラ予測の予測色度方向は、Planarモード、垂直モード、水平モード、DCモード、および対応輝度成分モードを含む。
【0059】
そのうち、PlanarモードおよびDCモードについては、上述した通りであるので、ここでは説明を省略する。
【0060】
また、垂直モードの現在ブロック画素の予測値は、その上方の参照画素の平均値から得られ、垂直ストライプの領域に適用する。
【0061】
また、水平モードの現在ブロック画素の予測値は、その左方の参照画素の平均値から得られ、水平ストライプの領域に適用する。
【0062】
また、対応輝度成分モードにおける予測色度方向は、予測輝度方向と一致する。
【0063】
ここで、ビデオ符号化装置は、8*8および4*4のビデオ予測単位のイントラ予測の上記5つのモードの予測色度方向に対して精選レート歪みコストの算出を行い、精選レート歪みコストが最も小さい予測色度方向を8*8および4*4のビデオ予測単位のイントラ予測最適色度方向とすることができる。
【0064】
具体的には、ビデオ符号化装置は、第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適色度方向、および現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向を精選し、精選レート歪みコストが最も小さい色度方向を現在サイズのビデオ予測単位のイントラ予測最適色度方向とするようにしてもよい。
【0065】
すなわち、上層サイズのビデオ予測単位のイントラ予測最適色度方向または現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向が、現在サイズのビデオ予測単位のイントラ予測予選色度方向と一致する場合、上層サイズのビデオ予測単位のイントラ予測最適色度方向または現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向をそのまま現在サイズのビデオ予測単位のイントラ予測最適色度方向とすることができる。
【0066】
ステップS206において、ビデオ符号化装置は、ステップS204で取得した異なるサイズのビデオ予測単位のイントラ予測最適輝度方向、およびステップS205で取得した異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在の独立ビデオ画像フレームに対して予選、精選またはスキップ符号化を行うことにより、現在の独立ビデオ画像フレームに対する予測符号化を実現し、対応するビデオ符号化の符号化速度を速くするとともに対応するビデオ符号化の符号化圧縮度合いを向上させる。
【0067】
このようにして、本実施例に係るビデオ符号化方法による、独立に復号処理可能な独立ビデオ画像フレームに対するイントラ予測符号化処理のプロセスが完了した。
【0068】
本実施例に係るビデオ符号化方法は、独立ビデオ画像フレームに対して、特定のイントラ予測符号化最適化方法を採用することにより、対応するビデオ符号化の符号化速度を速くするとともに、対応するビデオ符号化の符号化圧縮度合いを向上させた。
【0069】
図5は、本発明に係る別種のビデオ符号化方法のフローチャートである。本実施例に係るビデオ符号化方法は、上記の電子機器を用いて実施することが可能であり、自フレームと前後フレームとの差分が記録される双方向予測符号化フレーム、または自フレームと前フレームとの差分が記録されるインター予測符号化フレームに対してイントラ予測符号化処理を行うことができる。また、当該イントラ予測符号化処理は、以下のようなステップを含む。
【0070】
ステップS501において、ビデオ画像フレームを受信するとともに、ビデオ画像フレームの少なくとも1つの符号化ツリー単位を取得する。
【0071】
ステップS502において、異なるビデオ予測単位分割ルールに従って符号化ツリー単位を分割することにより、符号化ツリー単位の異なるサイズのビデオ予測単位を取得する。
【0072】
ステップS503において、第1のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る。
【0073】
ステップS504において、第2のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
【0074】
ステップS505において、第2のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得る。
【0075】
ステップS506において、異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ画像フレームに対してイントラ予測符号化を行う。
【0076】
以下、本実施例に係るビデオ符号化方法によるビデオ画像フレームへのイントラ予測符号化のプロセスを詳細に説明する。
【0077】
ステップS501において、ビデオ符号化装置は、ビデオ符号化処理を必要とするビデオ画像フレームを受信する。そして、ビデオ符号化装置は、ビデオ画像フレーム内の符号化単位を分割することにより、少なくとも1つの符号化ツリー単位を取得する。ここで、各符号化ツリー単位はいずれも複数のビデオ予測単位を含むことができる。本実施例に係るビデオ符号化方法は、各ビデオ予測単位に対してイントラ予測符号化の最適化を行うことにより、現在のビデオ画像フレームのイントラ予測符号化の最適化を図ることができる。
【0078】
ステップS502において、ビデオ符号化装置は、異なるビデオ予測単位分割ルール(例えば、四分木の再帰的分割方式)に従って符号化ツリー単位を分割することにより、当該符号化ツリー単位の異なるサイズのビデオ予測単位を取得する。
【0079】
ステップS503において、ビデオ符号化装置は、第1のレート歪み評価関数に基づいて、ステップS502で取得した異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る。
【0080】
ここでのビデオ予測単位のイントラ予測の予測輝度方向は、35種類の予選の予測輝度方向を含み、この35種類の予測輝度方向は、Planarモードと、DCモードと、33種類の角度モードとを含む。
【0081】
具体的には、ビデオ予測単位が64*64のビデオ予測単位、32*32のビデオ予測単位、16*16のビデオ予測単位、8*8のビデオ予測単位、4*4のビデオ予測単位である場合の33個の角度モード予測輝度方向は、上述した通りであるので、ここでは説明を省略する。
【0082】
ステップS504において、ビデオ符号化装置は、第2のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
【0083】
ここでの関連ビデオ予測単位のイントラ予測最適輝度方向は、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、上層サイズのビデオ予測単位のイントラ予測最適輝度方向および下層サイズのビデオ予測単位のイントラ予測精選輝度方向のうちの少なくとも1つである。
【0084】
すなわち、ビデオ符号化装置は、ビデオ予測単位が8*8のビデオ予測単位である場合、第2のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
【0085】
具体的には、ビデオ符号化装置は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。例えば、8*8のビデオ予測単位の7つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい4個の8*8のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
【0086】
そして、ビデオ符号化装置は、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、いずれかの現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
【0087】
同一と判定した場合、ビデオ符号化装置は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第2のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0088】
同一でないと判定した場合、ビデオ符号化装置は、第2のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0089】
また、ビデオ符号化装置は、ビデオ予測単位が4*4のビデオ予測単位である場合、第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位(8*8のビデオ予測単位)のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
【0090】
具体的には、ビデオ符号化装置は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。例えば、4*4のビデオ予測単位の9つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい3個の4*4のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
【0091】
ビデオ符号化装置は、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
【0092】
同一と判定した場合、ビデオ符号化装置は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第2のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0093】
同一でないと判定した場合、ビデオ符号化装置は、第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0094】
また、ビデオ符号化装置は、ビデオ予測単位が16*16、32*32または64*64のビデオ予測単位である場合、第2のレート歪み評価関数に基づいて、下層サイズのビデオ予測単位のイントラ予測精選輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
【0095】
具体的には、ビデオ符号化装置は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
【0096】
例えば、16*16および32*32のビデオ予測単位の5つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい2つの16*16のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。64*64のビデオ予測単位の9つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい1つの64*64のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
【0097】
そして、ビデオ符号化装置は、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、下層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
【0098】
同一と判定した場合、ビデオ符号化装置は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第2のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0099】
同一でないと判定した場合、ビデオ符号化装置は、第2のレート歪み評価関数に基づいて、下層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0100】
このようにして、各サイズのビデオ予測単位のイントラ予測最適輝度方向の設定が完了した。具体的には、まずは、8*8のビデオ予測単位のイントラ予測最適輝度方向を設定し、その後、8*8のビデオ予測単位のイントラ予測最適輝度方向に基づいて4*4のビデオ予測単位のイントラ予測最適輝度方向を設定する。
【0101】
その後、8*8のビデオ予測単位のイントラ予測最適輝度方向に基づいて、16*16、32*32および64*64のビデオ予測単位のイントラ予測最適輝度方向を順番に設定することができる。
【0102】
また、ビデオ符号化装置は、ビデオ予測単位が4*4のビデオ予測単位である場合、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストと設定係数(例えば、1.05等)との積が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストよりも大きいか否かをさらに判定する。
【0103】
以下であると判定した場合、続いて他の現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを算出する。
【0104】
より大きいと判定した場合、上層サイズのビデオ予測単位のイントラ予測最適輝度方向をそのまま最終に出力する輝度方向とすることができるため、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を予測結果の出力方向に設定し、かつ、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するのを避けるために、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定する。
【0105】
なお、ここでの設定係数の設定は、計算誤差により現在サイズのビデオ予測単位のイントラ予測最適輝度方向のレート歪みコストの計算にエラーが発生するのを回避するために、一般的に1よりもわずかに大きくなるようにする。
【0106】
例えば、ビデオ符号化装置は、ビデオ予測単位が4*4のビデオ予測単位である場合、現在サイズのビデオ予測単位が属するビデオ符号化ブロックに対応する他のビデオ予測単位のイントラ予測最適輝度方向が上層サイズのビデオ予測単位のイントラ予測精選方向と一致するか否かをさらに判定する。
【0107】
一致していないと判定した場合、続いて現在サイズのビデオ予測単位のイントラ予測最適輝度方向のレート歪みコストを算出する。
【0108】
一致していると判定した場合、上層サイズのビデオ予測単位のイントラ予測最適輝度方向をそのまま最終に出力する輝度方向とすることができるため、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を予測結果の出力方向に設定し、かつ、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するのを避けるために、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定する。
【0109】
ステップS505において、ビデオ符号化装置は、第2のレート歪み評価関数に基づいて異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得る。
【0110】
ここでのビデオ予測単位のイントラ予測の予測色度方向は、Planarモード、垂直モード、水平モード、DCモード、および対応輝度成分モードを含む。
【0111】
ここで、ビデオ符号化装置は、8*8および4*4のビデオ予測単位のイントラ予測の上記5つのモードの予測色度方向に対して精選レート歪みコストの算出を行い、精選レート歪みコストが最も小さい予測色度方向を8*8および4*4のビデオ予測単位のイントラ予測最適色度方向とすることができる。
【0112】
ステップS506において、ビデオ符号化装置は、ステップS504で取得した異なるサイズのビデオ予測単位のイントラ予測最適輝度方向、およびステップS505で取得した異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在の双方向予測符号化フレームまたはインター予測符号化フレームに対して予選、精選またはスキップ符号化を行うことにより、現在の双方向予測符号化フレームまたはインター予測符号化フレームに対する予測符号化を実現し、対応するビデオ符号化の符号化速度を速くするとともに対応するビデオ符号化の符号化圧縮度合いを向上させた。
【0113】
このようにして、本実施例に係るビデオ符号化装置による双方向予測符号化フレームまたはインター予測符号化フレームへのイントラ予測符号化処理のプロセスが完了した。
【0114】
本実施例に係るビデオ符号化方法は、双方向予測符号化フレームまたはインター予測符号化フレームに対して、特定のイントラ予測符号化最適化方法を採用することにより、対応するビデオ符号化の符号化速度を速くするとともに、対応するビデオ符号化の符号化圧縮度合いを向上させることができる。
【0115】
また、本発明は、ビデオ符号化装置をさらに提供する。図6は、本発明に係るビデオ符号化装置の構造を示す図である。本実施例に係るビデオ符号化装置は、図2に示すビデオ符号化方法を実行可能である。また、本実施例に係るビデオ符号化装置60は、符号化ツリー単位取得モジュール61と、ビデオ予測単位取得モジュール62と、イントラ予測予選輝度方向決定モジュール63と、イントラ予測最適輝度方向設定モジュール64と、イントラ予測最適色度方向設定モジュール65と、イントラ予測符号化モジュール66とを備える。
【0116】
符号化ツリー単位取得モジュール61は、ビデオ画像フレームを受信するとともに、ビデオ画像フレームの少なくとも1つの符号化ツリー単位を取得するためのものである。
【0117】
ビデオ予測単位取得モジュール62は、異なるビデオ予測単位分割ルールに従って符号化ツリー単位を分割することにより、符号化ツリー単位の異なるサイズのビデオ予測単位を取得するためのものである。
【0118】
イントラ予測予選輝度方向決定モジュール63は、第1のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得るためのものである。
【0119】
イントラ予測最適輝度方向設定モジュール64は、第2のレートひずみ評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るためのものである。
【0120】
イントラ予測最適色度方向設定モジュール65は、第2のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得るためのものである。
【0121】
イントラ予測符号化モジュール66は、異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ符号化単位に対してイントラ予測符号化を行うためのものである。
【0122】
また、図7は、図6に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールの構造を示す図である。このイントラ予測最適輝度方向設定モジュール64は、イントラ予測予選輝度方向最適化手段71およびイントラ予測最適輝度方向設定手段72を有する。
【0123】
また、図8は、図6に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールのイントラ予測最適輝度方向設定手段の構造を示す図である。このイントラ予測最適輝度方向設定手段72は、イントラ予測精選方向設定サブ手段81を有する。
【0124】
当該イントラ予測精選方向設定サブ手段81は、ビデオ予測単位が4*4のビデオ予測単位である場合、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストと設定係数との積が上層サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストよりも大きいと判定すると、前記現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定するとともに、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するためのものである。
【0125】
また、図9は、図6に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールの構造を示す図である。このイントラ予測最適色度方向設定モジュール65は、イントラ予測最適色度方向設定手段91を有する。このイントラ予測最適色度方向設定手段91は、第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適色度方向、および現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向を精選することにより、精選レート歪みコストが最も小さい色度方向を現在サイズのビデオ予測単位のイントラ予測最適色度方向とするためのものである。
【0126】
また、本実施例に係るビデオ符号化装置60は、独立に復号処理可能な独立ビデオ画像フレームに対してイントラ予測符号化処理を行うためのものである。また、本実施例に係るビデオ符号化装置60を使用する際に、まず、符号化ツリー単位取得モジュール61がビデオ符号化処理を必要とするビデオ画像フレームを受信する。そして、符号化ツリー単位取得モジュール61は、ビデオ画像フレーム内の符号化単位を分割することにより、少なくとも1つの符号化ツリー単位を取得する。ここで、各符号化ツリー単位はいずれも複数のビデオ予測単位を含むことができる。本実施例に係るビデオ符号化装置60は、各ビデオ予測単位に対してイントラ予測符号化の最適化を行うことにより、現在のビデオ画像フレームのイントラ予測符号化の最適化を図ることができる。
【0127】
その後、ビデオ予測単位取得モジュール62は、異なるビデオ予測単位分割ルール(例えば、四分木の再帰的分割方式)に従って符号化ツリー単位を分割することにより、当該符号化ツリー単位の異なるサイズのビデオ予測単位を取得し、例えば、符号化ツリー単位の64*64のビデオ予測単位、32*32のビデオ予測単位、16*16のビデオ予測単位、8*8のビデオ予測単位、および4*4のビデオ予測単位を取得する。
【0128】
その後、イントラ予測予選輝度方向決定モジュール63は、第1のレート歪み評価関数(SATD(Sum of Absolute Transformed Difference、アダマール変換後の絶対値和)レート歪み算出関数を用いる)に基づいて、ビデオ予測単位取得モジュール62が取得した異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る。
【0129】
ここでのビデオ予測単位のイントラ予測の予測輝度方向は、35種類の予選の予測輝度方向を含み、この35種類の予測輝度方向は、Planarモードと、DCモードと、33種類の角度モードとを含む。
【0130】
具体的には、イントラ予測予選輝度方向決定モジュール63は、ビデオ予測単位が64*64のビデオ予測単位である場合、上記33種類の角度モード予測輝度方向を、5つの予測輝度方向領域に分割する(そのうちの2つの予測輝度方向領域が重複する2つの角度モード予測輝度方向を有し、すなわち、1つの予測輝度方向領域ごとに7つの予測輝度方向を有する)とともに、レート歪みコストが最も小さい中心予測輝度方向(すなわち、7つの予測輝度方向の中央に位置する予測輝度方向)に対応する予測輝度方向領域における7つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、64*64のビデオ予測単位における9つのイントラ予測予選輝度方向に設定する。
【0131】
また、イントラ予測予選輝度方向決定モジュール63は、ビデオ予測単位が32*32のビデオ予測単位である場合、上記33個の角度モード予測輝度方向を11個の予測輝度方向領域に分割する(すなわち、1つの予測輝度方向領域ごとに3つの予測輝度方向を有する)とともに、レート歪みコストが最も小さい中心予測輝度方向(すなわち、3つの予測輝度方向の中央に位置する予測輝度方向)に対応する予測輝度方向領域における3つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、32*32のビデオ予測単位における5つのイントラ予測予選輝度方向に設定する。
【0132】
また、イントラ予測予選輝度方向決定モジュール63は、ビデオ予測単位が16*16のビデオ予測単位である場合、上記33個の角度モード予測輝度方向を11個の予測輝度方向領域に分割する(すなわち、1つの予測輝度方向領域ごとに3つの予測輝度方向を有する)とともに、レート歪みコストが最も小さい中心予測輝度方向(すなわち、3つの予測輝度方向の中央に位置する予測輝度方向)に対応する予測輝度方向領域における3つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、16*16のビデオ予測単位における5つのイントラ予測予選輝度方向に設定する。
【0133】
また、イントラ予測予選輝度方向決定モジュール63は、ビデオ予測単位が8*8のビデオ予測単位である場合、上記33種類の角度モード予測輝度方向を、7つの予測輝度方向領域に分割する(そのうちの2つの予測輝度方向領域が重複する2つの角度モード予測輝度方向を有し、すなわち、1つの予測輝度方向領域ごとに5つの予測輝度方向を有する)とともに、レート歪みコストが最も小さい中心予測輝度方向(すなわち、5つの予測輝度方向の中央に位置する予測輝度方向)に対応する予測輝度方向領域における5つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、8*8のビデオ予測単位における7つのイントラ予測予選輝度方向に設定する。
【0134】
また、イントラ予測予選輝度方向決定モジュール63は、ビデオ予測単位が4*4のビデオ予測単位である場合、上記33種類の角度モード予測輝度方向を、5つの予測輝度方向領域に分割する(そのうちの2つの予測輝度方向領域が重複する2つの角度モード予測輝度方向を有し、すなわち、1つの予測輝度方向領域ごとに7つの予測輝度方向を有する)とともに、レート歪みコストが最も小さい中心予測輝度方向(すなわち、7つの予測輝度方向の中央に位置する予測輝度方向)に対応する予測輝度方向領域における7つの予測輝度方向、Planarモード予測輝度方向、およびDCモード予測輝度方向を、4*4のビデオ予測単位における9つのイントラ予測予選輝度方向に設定する。
【0135】
また、64*64のビデオ予測単位は、サイズが最も大きいビデオ予測単位であるため、下層サイズのビデオ予測単位の予測精度を保証するために、64*64のビデオ予測単位に対して比較的に多いイントラ予測予選輝度方向が設定される。また、4*4および8*8のビデオ予測単位は、サイズが最も小さいビデオ予測単位であり、予測結果の出力方向となる可能性が大きいため、4*4および8*8のビデオ予測単位に対しても比較的に多いイントラ予測予選輝度方向が設定される。また、16*16および32*32のビデオ予測単位は、中間過渡のためのビデオ予測単位であって、予測結果の出力方向とならないため、比較的に少ないイントラ予測予選輝度方向を設定することができる。
【0136】
ここでのレート歪みコストは、以下の式によって算出することができる。
【0137】
J=D+λ*R
ここで、Jはレート歪みコスト、Dは現在のイントラ予測予選輝度方向での画素歪み、Rは現在のイントラ予測予選輝度方向での全ての符号化情報(例えば、変換係数、モード情報、またはマクロブロック分割方式等)に必要なビット数、λはラグランジュ係数である。ここでの画素歪みDは、SATD(Sum of Absolute Transformed Difference、アダマール変換後の絶対値和)によって算出される。
【0138】
その後、イントラ予測最適輝度方向設定モジュール64は、第2のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
【0139】
ここでの関連ビデオ予測単位のイントラ予測最適輝度方向とは、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向である。
【0140】
すなわち、ビデオ符号化装置は、第2のレート歪み評価関数(SSD(Sum of Squared Difference、差分値の二乗和)レート歪み算出関数を用いる)に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
【0141】
具体的には、イントラ予測最適輝度方向設定モジュール64のイントラ予測予選輝度方向最適化手段71は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。例えば、16*16のビデオ予測単位の5つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい3個の16*16のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
【0142】
また、イントラ予測最適輝度方向設定モジュール64のイントラ予測最適輝度方向設定手段72は、ビデオ予測単位が64*64、32*32または16*16のビデオ予測単位である場合、現在サイズの隣接ビデオ予測単位のイントラ予測予選輝度方向がいずれかの現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と同一であるか否かを判定する。
【0143】
同一と判定した場合、イントラ予測最適輝度方向設定手段72は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第2のレート歪み評価関数(SSD(Sum of Squared Difference、差分値の二乗和)レート歪み算出関数を用いる)に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0144】
同一でないと判定した場合、イントラ予測最適輝度方向設定手段72は、第2のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、精選レート歪みコストが最小となる輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0145】
また、イントラ予測最適輝度方向設定モジュール64のイントラ予測最適輝度方向設定手段71は、ビデオ予測単位が8*8または4*4のビデオ予測単位である場合、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向、および現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
【0146】
ここでのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位は、隣接ビデオ符号化ブロックのビデオ予測単位であり、ビデオ予測単位の隣接ビデオ予測単位は、同一のビデオ符号化ブロックにおける隣接するビデオ予測単位である。
【0147】
同一と判定した場合、イントラ予測最適輝度方向設定手段72は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第2のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0148】
同一でないと判定した場合、イントラ予測最適輝度方向設定手段72は、第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、精選レート歪みコストが最小となる輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0149】
このようにして、各サイズのビデオ予測単位のイントラ予測最適輝度方向の設定が完了した。具体的には、まずは、64*64のビデオ予測単位のイントラ予測最適輝度方向を設定し、その後、32*32、16*16、8*8および4*4のビデオ予測単位のイントラ予測最適輝度方向を順番に設定することができる。
【0150】
また、イントラ予測最適輝度方向設定手段72のイントラ予測精選方向設定サブ手段81は、ビデオ予測単位が4*4のビデオ予測単位である場合、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストと設定係数(例えば、1.05等)との積が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストよりも大きいか否かをさらに判定する。
【0151】
以下であると判定した場合、続いて他の現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを算出する。
【0152】
より大きいと判定した場合、上層サイズのビデオ予測単位のイントラ予測最適輝度方向をそのまま最終に出力する輝度方向とすることができるため、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を予測結果の出力方向に設定し、かつ、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するのを避けるために、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定する。
【0153】
なお、ここでの設定係数の設定は、計算誤差により現在サイズのビデオ予測単位のイントラ予測最適輝度方向のレート歪みコストの計算にエラーが発生するのを回避するために、一般的に1よりもわずかに大きくなるようにする。
【0154】
その後、イントラ予測最適色度方向設定モジュール65は、第2のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得る。
【0155】
ここでのビデオ予測単位のイントラ予測の予測色度方向は、Planarモード、垂直モード、水平モード、DCモード、および対応輝度成分モードを含む。
【0156】
ここで、ビデオ符号化装置は、8*8および4*4のビデオ予測単位のイントラ予測の上記5つのモードの予測色度方向に対して精選レート歪みコストの算出を行い、精選レート歪みコストが最も小さい予測色度方向を8*8および4*4のビデオ予測単位のイントラ予測最適色度方向とすることができる。
【0157】
具体的には、イントラ予測最適色度方向設定モジュール65のイントラ予測最適色度方向設定手段91は、第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適色度方向、および現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向を精選することにより、精選レート歪みコストが最も小さい色度方向を現在サイズのビデオ予測単位のイントラ予測最適色度方向とするようにしてもよい。
【0158】
すなわち、上層サイズのビデオ予測単位のイントラ予測最適色度方向または現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向が、現在サイズのビデオ予測単位のイントラ予測予選色度方向と一致する場合、イントラ予測最適色度方向設定手段は、上層サイズのビデオ予測単位のイントラ予測最適色度方向または現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向をそのまま現在サイズのビデオ予測単位のイントラ予測最適色度方向とすることができる。
【0159】
最終に、イントラ予測符号化モジュール66は、イントラ予測最適輝度方向設定モジュール64が取得した異なるサイズのビデオ予測単位のイントラ予測最適輝度方向と、イントラ予測最適色度方向設定モジュール65が取得した異なるサイズのビデオ予測単位のイントラ予測最適色度方向とに基づいて、現在の独立ビデオ画像フレームに対して予選、精選またはスキップ符号化を行うことにより、現在の独立ビデオ画像フレームに対する予測符号化を実現し、対応するビデオ符号化の符号化速度を速くするとともに、対応するビデオ符号化の符号化圧縮度合いを向上させる。
【0160】
このようにして、本実施例に係るビデオ符号化装置60による独立に復号処理可能な独立ビデオ画像フレームへのイントラ予測符号化処理のプロセスが完了した。
【0161】
本実施例に係るビデオ符号化装置は、独立ビデオ画像フレームに対して、特定のイントラ予測符号化最適化方法を採用することにより、対応するビデオ符号化の符号化速度を速くするとともに、対応するビデオ符号化の符号化圧縮度合いを向上させた。
【0162】
図10は、本発明に係る別種のビデオ符号化装置の構造を示す図である。本実施例に係るビデオ符号化装置100は、図5に示すビデオ符号化方法を実行可能であって、符号化ツリー単位取得モジュール101と、ビデオ予測単位取得モジュール102と、イントラ予測予選輝度方向決定モジュール103と、イントラ予測最適輝度方向設定モジュール104と、イントラ予測最適色度方向設定モジュール105と、イントラ予測符号化モジュール106とを備える。
【0163】
符号化ツリー単位取得モジュール101は、ビデオ画像フレームを受信するとともに、ビデオ画像フレームの少なくとも1つの符号化ツリー単位を取得するためのものである。
【0164】
ビデオ予測単位取得モジュール102は、異なるビデオ予測単位分割ルールに従って符号化ツリー単位を分割することにより、符号化ツリー単位の異なるサイズのビデオ予測単位を取得するためのものである。イントラ予測予選輝度方向決定モジュール103は、第1のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得るためのものである。イントラ予測最適輝度方向設定モジュール104は、第2のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るためのものである。イントラ予測最適色度方向設定モジュール105は、第2のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得るためのものである。イントラ予測符号化単位106は、異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ画像フレームに対してイントラ予測符号化を行うためのものである。
【0165】
また、図11は、図10に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールの構造を示す図である。このイントラ予測最適輝度方向設定モジュール104は、イントラ予測予選輝度方向最適化手段111と、第1のイントラ予測最適輝度方向設定手段112と、第2のイントラ予測最適輝度方向設定手段113と、第3のイントラ予測最適輝度方向設定手段114とを有する。
【0166】
イントラ予測予選輝度方向最適化手段111は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定するためのものである。
【0167】
第1のイントラ予測最適輝度方向設定手段112は、ビデオ予測単位が8*8のビデオ予測単位である場合、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、いずれかの現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定するためのものである。
【0168】
同一と判定した場合、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第2のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0169】
同一でないと判定した場合、第2のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0170】
第2のイントラ予測最適輝度方向設定手段113は、ビデオ予測単位が4*4のビデオ予測単位である場合、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定するためのものである。
【0171】
同一と判定した場合、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第2のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0172】
同一でないと判定した場合、第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0173】
第3のイントラ予測最適輝度方向設定手段114は、ビデオ予測単位が16*16、32*32または64*64のビデオ予測単位である場合、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、前記下層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定するためのものである。
【0174】
同一と判定した場合、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第2のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0175】
同一でないと判定した場合、第2のレート歪み評価関数に基づいて、下層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0176】
図12は、図10に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールの第2のイントラ予測最適輝度方向設定手段の構造を示す図である。この第2のイントラ予測最適輝度方向設定手段113は、第1のイントラ予測最適輝度方向設定サブ手段121および第2のイントラ予測最適輝度方向設定サブ手段122を有する。
【0177】
第1のイントラ予測最適輝度方向設定サブ手段121は、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストと設定係数との積が上層サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストよりも大きいと判定する場合、現在サイズのビデオ予測単位のイントラ予測最適輝度方向の精選レート歪みコストを予め設定された最大値に設定するとともに、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するためのものである。第2のイントラ予測最適輝度方向設定サブ手段122は、現在サイズのビデオ予測単位が属するビデオ符号化ブロックに対応する他のビデオ予測単位のイントラ予測最適輝度方向が上層サイズのビデオ予測単位のイントラ予測最適輝度方向と一致すると判定する場合、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定するとともに、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するためのものである。
【0178】
また、本実施例に係るビデオ符号化装置100は、自フレームと前後フレームとの差分が記録される双方向予測符号化フレーム、または自フレームと前フレームとの差分が記録されるインター予測符号化フレームに対してイントラ予測符号化処理を行うためのものである。本実施例に係るビデオ符号化装置を使用する際に、まず、符号化ツリー単位取得モジュール101は、ビデオ符号化処理を必要とするビデオ画像フレームを受信する。その後、符号化ツリー単位取得モジュール101は、ビデオ画像フレーム内の符号化単位を分割することにより、少なくとも1つの符号化ツリー単位を取得する。ここで、各符号化ツリー単位はいずれも複数のビデオ予測単位を含むことができる。本実施例に係るビデオ符号化方法は、各ビデオ予測単位に対してイントラ予測符号化の最適化を行うことにより、現在のビデオ画像フレームのイントラ予測符号化の最適化を図ることができる。
【0179】
その後、ビデオ予測単位取得モジュール102は、異なるビデオ予測単位分割ルール(例えば、四分木のような再帰的分割方式)に従って符号化ツリー単位を分割することにより、当該符号化ツリー単位の異なるサイズのビデオ予測単位を取得する。
【0180】
その後、イントラ予測予選輝度方向決定モジュール103は、第1のレート歪み評価関数に基づいて、ビデオ予測単位取得モジュールが取得した異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る。
【0181】
ここでのビデオ予測単位のイントラ予測の予測輝度方向は、35種類の予選の予測輝度方向を含み、この35種類の予測輝度方向は、Planarモードと、DCモードと、33種類の角度モードとを含む。
【0182】
具体的には、ビデオ予測単位が64*64のビデオ予測単位、32*32のビデオ予測単位、16*16のビデオ予測単位、8*8のビデオ予測単位、4*4のビデオ予測単位である場合、イントラ予測予選輝度方向決定モジュール103による上記33個の角度モード予測輝度方向の分割方式は上述した通りであるので、ここでは説明を省略する。
【0183】
その後、イントラ予測最適輝度方向設定モジュール104は、第2のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
【0184】
ここでの関連ビデオ予測単位のイントラ予測最適輝度方向は、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、上層サイズのビデオ予測単位のイントラ予測最適輝度方向および下層サイズのビデオ予測単位のイントラ予測精選輝度方向のうちの少なくとも1つである。
【0185】
すなわち、イントラ予測最適輝度方向設定モジュール104は、ビデオ予測単位が8*8のビデオ予測単位である場合、第2のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
【0186】
具体的には、イントラ予測最適輝度方向設定モジュール104のイントラ予測予選輝度方向最適化手段111は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。例えば、8*8のビデオ予測単位の7つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい4個の8*8のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
【0187】
また、イントラ予測最適輝度方向設定モジュール104の第1のイントラ予測最適輝度方向設定手段112は、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、いずれかの現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
【0188】
同一と判定した場合、第1のイントラ予測最適輝度方向設定手段112は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第2のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0189】
同一でないと判定した場合、第1のイントラ予測最適輝度方向設定手段112は、第2のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0190】
また、イントラ予測最適輝度方向設定モジュール104は、ビデオ予測単位が4*4のビデオ予測単位である場合、第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位(8*8のビデオ予測単位)のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
【0191】
具体的には、イントラ予測最適輝度方向設定モジュール104のイントラ予測予選輝度方向最適化手段111は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。例えば、4*4のビデオ予測単位の5つのイントラ予測予選輝度方向のうちのレート歪みコストが最も小さい3つの4*4のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
【0192】
イントラ予測最適輝度方向設定モジュール104の第2のイントラ予測最適輝度方向設定手段113は、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
【0193】
同一と判定した場合、第2のイントラ予測最適輝度方向設定手段112は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第2のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0194】
同一でないと判定した場合、第2のイントラ予測最適輝度方向設定手段113は、第2のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0195】
また、イントラ予測最適輝度方向設定モジュール104は、ビデオ予測単位が16*16、32*32または64*64のビデオ予測単位である場合、第2のレート歪み評価関数に基づいて、下層サイズのビデオ予測単位のイントラ予測精選輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
【0196】
具体的には、イントラ予測最適輝度方向設定モジュール104のイントラ予測予選輝度方向最適化手段111は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
【0197】
例えば、16*16および32*32のビデオ予測単位の5つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい2つの16*16のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。64*64のビデオ予測単位の9つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい1つの64*64のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
【0198】
また、イントラ予測最適輝度方向設定モジュール104の第3のイントラ予測最適輝度方向設定手段114は、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、下層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
【0199】
同一と判定した場合、第3のイントラ予測最適輝度方向設定手段114は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第2のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0200】
同一でないと判定した場合、第3のイントラ予測最適輝度方向設定手段114は、第2のレート歪み評価関数に基づいて、下層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
【0201】
このようにして、各サイズのビデオ予測単位のイントラ予測最適輝度方向の設定が完了した。具体的には、まずは、8*8のビデオ予測単位のイントラ予測最適輝度方向を設定し、その後、8*8のビデオ予測単位のイントラ予測最適輝度方向に基づいて4*4のビデオ予測単位のイントラ予測最適輝度方向を設定する。その後、8*8のビデオ予測単位のイントラ予測最適輝度方向に基づいて、16*16、32*32および64*64のビデオ予測単位のイントラ予測最適輝度方向を順番に設定する。
【0202】
また、第2のイントラ予測最適輝度方向設定手段113の第1のイントラ予測最適輝度方向設定サブ手段121は、ビデオ予測単位が4*4のビデオ予測単位である場合、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストと設定係数(例えば、1.05等)との積が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストよりも大きいか否かをさらに判定する。
【0203】
以下であると判定した場合、続いて他の現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを算出する。
【0204】
より大きいと判定した場合、上層サイズのビデオ予測単位のイントラ予測最適輝度方向をそのまま最終に出力する輝度方向とすることができるため、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を予測結果の出力方向に設定し、かつ、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するのを避けるために、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定する。
【0205】
なお、ここでの設定係数の設定は、計算誤差により現在サイズのビデオ予測単位のイントラ予測最適輝度方向のレート歪みコストの計算にエラーが発生するのを回避するために、一般的に1よりもわずかに大きくなるようにする。
【0206】
また、第2のイントラ予測最適輝度方向設定手段113の第2のイントラ予測最適輝度方向設定サブ手段122は、ビデオ予測単位が4*4のビデオ予測単位である場合、現在サイズのビデオ予測単位が属するビデオ符号化ブロックに対応する他のビデオ予測単位のイントラ予測最適輝度方向が、上層サイズのビデオ予測単位のイントラ予測精選方向と一致するか否かをさらに判定する。
【0207】
一致していないと判定した場合、続いて現在サイズのビデオ予測単位のイントラ予測最適輝度方向のレート歪みコストを算出する。
【0208】
一致していると判定した場合、上層サイズのビデオ予測単位のイントラ予測最適輝度方向をそのまま最終に出力する輝度方向とすることができるため、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を予測結果の出力方向に設定し、かつ、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するのを避けるために、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定する。
【0209】
その後、イントラ予測最適色度方向設定モジュール105は、第2のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得る。
【0210】
ここでのビデオ予測単位のイントラ予測の予測色度方向は、Planarモード、垂直モード、水平モード、DCモード、および対応輝度成分モードを含む。
【0211】
ここで、ビデオ符号化装置は、8*8および4*4のビデオ予測単位のイントラ予測の上記5つのモードの予測色度方向に対して精選レート歪みコストの算出を行い、精選レート歪みコストが最も小さい予測色度方向を8*8および4*4のビデオ予測単位のイントラ予測最適色度方向とすることができる。
【0212】
最終に、イントラ予測符号化モジュール66は、イントラ予測最適輝度方向設定モジュール64が取得した異なるサイズのビデオ予測単位のイントラ予測最適輝度方向と、イントラ予測最適色度方向設定モジュール65が取得した異なるサイズのビデオ予測単位のイントラ予測最適色度方向とに基づいて、現在の双方向予測符号化フレームまたはインター予測符号化フレームに対して予選、精選またはスキップ符号化を行うことにより、現在の双方向予測符号化フレームまたはインター予測符号化フレームに対する予測符号化を実現し、対応するビデオ符号化の符号化速度を速くするとともに、対応するビデオ符号化の符号化圧縮度合いを向上させる。
【0213】
このようにして、本実施例に係るビデオ符号化装置100による双方向予測符号化フレームまたはインター予測符号化フレームへのイントラ予測符号化処理のプロセスが完了した。
【0214】
本実施例に係るビデオ符号化装置は、双方向予測符号化フレームまたはインター予測符号化フレームに対して、特定のイントラ予測符号化最適化方法を採用することにより、対応するビデオ符号化の符号化速度を速くするとともに、対応するビデオ符号化の符号化圧縮度合いを向上させることができる。
【0215】
以下、1つの具体的な実施例を使用して本発明に係るビデオ符号化方法およびビデオ符号化装置のイントラ予測符号化処理の過程を説明する。本具体的な実施例に係るビデオ符号化方法およびビデオ符号化装置は、ビデオ符号化サーバに搭載することができ、各種のビデオ画像フレームに対してイントラ予測符号化処理を行うことにより、ビデオ符号化の符号化速度を速くし、ビデオ符号化の符号化圧縮度合いを向上させるためのものである。
【0216】
本発明に係るビデオ符号化方法およびビデオ符号化装置が独立に復号処理可能な独立ビデオ画像フレームに対してイントラ予測符号化処理を行う場合、図13を参照することができる。図13は、本発明に係るビデオ符号化方法およびビデオ符号化装置による独立ビデオ画像フレームへのイントラ予測符号化処理に関する具体的な実施例のフローチャートである。当該イントラ予測符号化処理の過程は、以下のステップを含む。
【0217】
ステップS1301において、現在のビデオ画像フレームの符号化ツリー単位(coding tree unit、CTU)を入力する。
【0218】
ステップS1302において、符号化ツリー単位の64*64のビデオ予測単位、32*32のビデオ予測単位、16*16のビデオ予測単位、8*8のビデオ予測単位、および4*4のビデオ予測単位を取得する。
【0219】
ステップS1303において、第1のレート歪み評価関数に基づいて、64*64のビデオ予測単位、32*32のビデオ予測単位、16*16のビデオ予測単位、8*8のビデオ予測単位、および4*4のビデオ予測単位のイントラ予測の予測輝度方向を予選する。
【0220】
ステップS1304において、第2のレート歪み評価関数に基づいて、64*64のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、および隣接する64*64のビデオ予測単位のイントラ予測最適輝度方向とを精選することにより、64*64のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
【0221】
ステップS1305において、第2のレート歪み評価関数に基づいて、32*32のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、および隣接する32*32のビデオ予測単位のイントラ予測最適輝度方向とを精選することにより、32*32のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
【0222】
ステップS1306において、第2のレート歪み評価関数に基づいて、16*16のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、および隣接する16*16のビデオ予測単位のイントラ予測最適輝度方向とを精選することにより、16*16のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
【0223】
ステップS1307において、第2のレート歪み評価関数に基づいて、8*8のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、上層の16*16のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向、および隣接する8*8のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を精選することにより、8*8のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
【0224】
ステップS1308において、第2のレート歪み評価関数に基づいて、4*4のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、上層の8*8のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向、および隣接する4*4のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を精選することにより、4*4のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
【0225】
ステップS1309において、第2のレート歪み評価関数に基づいて、8*8および4*4のビデオ予測単位のイントラ予測の予測色度方向に対して精選レート歪みコストの算出を行い、精選レート歪みコストが最も小さい予測色度方向を8*8および4*4のビデオ予測単位のイントラ予測最適色度方向とする。
【0226】
ステップS1310において、ステップS1304~S1308で取得した異なるサイズのビデオ予測単位のイントラ予測最適輝度方向、およびステップS1309で取得した異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在の独立ビデオ画像フレームに対して予選、精選またはスキップ符号化を行うことにより、現在の独立ビデオ画像フレームに対する予測符号化を実現し、対応するビデオ符号化の符号化速度を速くするとともに対応するビデオ符号化の符号化圧縮度合いを向上させる。
【0227】
このようにして、本具体的な実施例に係るビデオ符号化方法およびビデオ符号化装置による独立に復号処理可能な独立ビデオ画像フレームに対するイントラ予測符号化処理のプロセスが完了した。
【0228】
また、本発明に係るビデオ符号化方法およびビデオ符号化装置が双方向予測符号化フレームまたはインター予測符号化フレームに対してイントラ予測符号化処理を行う場合、図14を参照することができる。図14は、本発明に係るビデオ符号化方法およびビデオ符号化装置による双方向予測符号化フレームまたはインター予測符号化フレームへのイントラ予測符号化処理に関する具体的な実施例のフローチャートである。当該イントラ予測符号化処理の過程は、以下のステップを含む。
【0229】
ステップS1401において、現在のビデオ画像フレームの符号化ツリー単位(coding tree unit、CTU)を入力する。
【0230】
ステップS1402において、符号化ツリー単位の64*64のビデオ予測単位、32*32のビデオ予測単位、16*16のビデオ予測単位、8*8のビデオ予測単位、および4*4のビデオ予測単位を取得する。
【0231】
ステップS1403において、第1のレート歪み評価関数に基づいて、64*64のビデオ予測単位、32*32のビデオ予測単位、16*16のビデオ予測単位、8*8のビデオ予測単位、および4*4のビデオ予測単位のイントラ予測の予測輝度方向を予選する。
【0232】
ステップS1404において、第2のレート歪み評価関数に基づいて、8*8のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、および隣接する8*8のビデオ予測単位のイントラ予測最適輝度方向とを精選することにより、8*8のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
【0233】
ステップS1405において、第2のレート歪み評価関数に基づいて、4*4のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、上層の8*8のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向、および隣接する4*4のビデオ予測単位のイントラ予測最適輝度方向を精選することにより、4*4のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
【0234】
ステップS1406において、第2のレート歪み評価関数に基づいて、16*16のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、下層の8*8のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向、および隣接する16*16のビデオ予測単位のイントラ予測最適輝度方向を精選することにより、16*16のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
【0235】
ステップS1407において、第2のレート歪み評価関数に基づいて、32*32のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、下層の16*16のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向、および隣接する32*32のビデオ予測単位のイントラ予測最適輝度方向を精選することにより、32*32のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
【0236】
ステップS1408において、第2のレート歪み評価関数に基づいて、64*64のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、下層の32*32のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向、および隣接する64*64のビデオ予測単位のイントラ予測最適輝度方向を精選することにより、64*64のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
【0237】
ステップS1409において、第2のレート歪み評価関数に基づいて、8*8および4*4のビデオ予測単位のイントラ予測の予測色度方向に対して精選レート歪みコストの算出を行い、精選レート歪みコストが最も小さい予測色度方向を8*8および4*4のビデオ予測単位のイントラ予測最適色度方向とする。
【0238】
ステップS1410において、ステップS1404~S1408で取得した異なるサイズのビデオ予測単位のイントラ予測最適輝度方向、およびステップS1409で取得した異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在の独立ビデオ画像フレームに対して予選、精選またはスキップ符号化を行うことにより、現在の独立ビデオ画像フレームに対する予測符号化を実現し、対応するビデオ符号化の符号化速度を速くするとともに対応するビデオ符号化の符号化圧縮度合いを向上させる。
【0239】
このようにして、本実施例に係るビデオ符号化方法およびビデオ符号化装置による双方向予測符号化フレームまたはインター予測符号化フレームへのイントラ予測符号化処理のプロセスが完了した。
【0240】
本発明に係るビデオ符号化方法、ビデオ符号化装置および記憶媒体は、独立ビデオ画像フレームと非独立ビデオ画像フレーム(例えば、双方向予測符号化フレームまたはインター予測符号化フレーム)に対して異なるイントラ予測符号化最適化方法を採用することにより、対応するビデオ符号化の符号化速度を速くするとともに、対応するビデオ符号化の符号化圧縮度合いを向上させ、従来のビデオ符号化方法およびビデオ符号化装置における符号化ブロックのイントラ予測最適化が悪いことにより符号化速度を顕著に向上させることができなく、かつ圧縮率が大きく低下するという技術的課題を効果的に解決することができる。
【0241】
本発明において使用される「コンポーネント」、「モジュール」、「システム」、「インタフェース」、「プロセス」などの用語は、一般的に、ハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェアまたは実行中のソフトウェアなどのコンピュータに関する実体を指す。例えば、コンポーネントは、プロセッサで実行されるプロセス、プロセッサ、オブジェクト、実行可能なアプリケーション、実行可能なスレッド、プログラムおよび/またはコンピュータであってもよいが、それらに限定されるものではない。図示するように、コントローラに実行されるアプリケーションと当該コントローラの両方は共にコンポーネントであってもよい。1つまたは複数のコンポーネントは、実行されるプロセスおよび/またはスレッド内に位置することができる。そして、コンポーネントは、1つのコンピュータに位置し、および/または2つまたはそれ以上のコンピュータの間に分布することができる。
【0242】
図15およびこれからの説明は、本発明に記載のビデオ符号化装置が搭載される電子機器の動作環境についての簡単かつ概括的な説明を提供する。図15の動作環境は、適切な動作環境の一例に過ぎず、動作環境の用途や機能に関する範囲を何ら制限するものではない。当該電子機器は、例えばウェアラブル機器、頭部装着型機器、医療健康プラットフォーム、パーソナルコンピュータ、サーバコンピュータ、手持ち型またはラップトップ型機器、モバイル機器(例えば、携帯電話、パーソナルデジタルアシスタント(PDA)、メディアプレーヤ等)、マルチプロセッサシステム、消費型電子機器、小型コンピュータ、大型コンピュータ、上記の任意のシステムまたは機器を含む分散型コンピューティング環境等を含むが、これらに限定されるものではない。
【0243】
また、明記されていないが、「コンピュータ読み取り可能な指令」が1つまたは複数の電子機器によって実行される共通の背景の下で実施例を説明する。コンピュータ読み取り可能な指令は、コンピュータ読取可能な媒体を介して配信することができる(以下に説明する)。コンピュータ読取可能な指令は、例えば特定のタスクを実行したり、特定の抽象データタイプを実現したりする機能、オブジェクト、アプリケーションプログラミングインタフェース(API)、データ構造などのプログラムモジュールとして実現されてもよい。典型的には、当該コンピュータ読み取り可能な指令の機能は、様々な環境において任意に組み合わせたり分布したりすることができる。
【0244】
図15は、本発明に係るビデオ符号化装置の1つまたは複数の実施例を含む電子機器1512の一例を示す図である。1種の配置では、電子機器1512は、少なくとも1つの処理手段1516と、メモリ1518とを備える。メモリ1518は、電子機器の確実な配置や種類に応じて、揮発性メモリ(例えば、RAM)、不揮発性メモリ(例えば、ROM、フラッシュメモリ等)、またはそれらの組み合わせであってもよい。この配置は、図15において破線1514で図示されている。
【0245】
他の実施例では、電子機器1512は、付加的な特徴および/または機能を有していてもよい。例えば、電子機器1512は、付加的な記憶装置(例えば着脱可能なものおよび/または着脱不能なもの)を含んでいてもよく、当該記憶装置は、磁気記憶装置や光記憶装置などを含むが、これらに限定されるものではない。このような付加的な記憶装置は、図15において記憶装置1520として図示されている。また、1つの実施例では、本発明が提供する1つまたは複数の実施例を実現するためのコンピュータ読み取り可能な指令は、記憶装置1520に記憶されてもよい。記憶装置1520は、オペレーティングシステムやアプリケーションプログラム等を実現するための他のコンピュータ読み取り可能な指令を記憶してもよい。コンピュータ読取可能な指令は、メモリ1518にロードされて、例えば処理手段1516により実行されてもよい。
【0246】
本明細書に記載の「コンピュータ読み取り可能な媒体」は、コンピュータ記憶媒体を含む。コンピュータ記憶媒体は、例えばコンピュータ読み取り可能な指令やその他のデータなどの情報を記憶するための任意の方法や技術で実現される揮発性および不揮発性、着脱可能および着脱不能な媒体を含む。メモリ1518および記憶装置1520は、コンピュータ記憶媒体の例示である。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD-ROM、デジタル汎用ディスク(DVD)または他の光学記憶装置、カセットテープ、磁気テープ、磁気ディスク記憶装置または他の磁気記憶装置、または所望の情報を記憶しかつ電子機器1512がアクセス可能な任意の他の媒体を含むが、それらに限定されるものではない。このようなコンピュータ記憶媒体は、いずれも電子機器1512の一部であってもよい。
【0247】
また、電子機器1512は、電子機器1512と他の機器との通信を可能とする通信接続1526を備えていてもよい。通信接続1526は、モデム、ネットワークインタフェースカード(NIC)、集積ネットワークインタフェース、無線周波数送信機/受信機、赤外線ポート、USB接続または電子機器1512を他の電子機器に接続するための他のインタフェースを含むが、それらに限定されるものではない。通信接続1526は、有線接続または無線接続を含む。通信接続1526は、通信媒体を送信および/または受信することができる。
【0248】
「コンピュータ読み取り可能な媒体」とは、通信媒体を含んでいてもよい。通信媒体は、典型的には、コンピュータ読み取り可能な指令や、例えば搬送波またはその他の伝送媒体などの「自己変調データ信号」における他のデータを含み、かつ、任意の情報伝送媒体を含む。「自己変調データ信号」とは、信号特性における1つまたは複数が、情報を信号に符号化させるように設定または変更されるような信号を含んでもよい。
【0249】
電子機器1512は、例えばキーボード、マウス、ペン、音声入力装置、タッチ入力装置、赤外線カメラ、ビデオ入力装置、および/またはその他の入力装置などの入力装置1524を備えていてもよい。電子機器1512は、例えば1つまたは複数のディスプレイ、スピーカ、プリンタおよび/またはその他の任意の出力装置などの出力装置1522を備えていてもよい。入力装置1524と出力装置1522とは、有線接続、無線接続、またはそれらの任意の組み合わせによって電子機器1512に接続される。また、1つの実施例では、別の電子機器からの入力装置または出力装置を、電子機器1512の入力装置1524または出力装置1522として使用してもよい。
【0250】
電子機器1512の構成要素は、各種の相互接続(例えば、バス)によって接続される。このような相互接続は、PCI(Peripheral Component Interconnect)(例えば、快速PCI)、USB(Universal Serial Bus)、ファイヤーワイヤー(IEEE 1394)、光学バス構造などを含む。また、別の実施例では、電子機器1512の構成要素は、ネットワークを介して相互に接続されていてもよい。例えば、メモリ1518は、異なる物理的な位置に位置し、ネットワークを介して相互に接続された複数の物理メモリユニットによって構成されてもよい。
【0251】
当業者であれば、コンピュータ読み取り可能な指令を記憶するための記憶装置は、ネットワークに跨って分布されていてもよいことを理解できる。例えば、ネットワーク1528を介してアクセス可能な電子機器1530は、本発明が提供する1つまたは複数の実施例を実現するためのコンピュータ読み取り可能な指令を記憶することができる。電子機器1512は、電子機器1530にアクセスして、コンピュータ読み取り可能な指令の一部または全部をダウンロードして実行することができる。あるいは、電子機器1512は、必要に応じて複数のコンピュータ読み取り可能な指令をダウンロードしてもよいし、または、幾つかの指令が電子機器1512で実行されるが、幾つかの指令が電子機器1530で実行されてもよい。
【0252】
本発明は、実施例の様々な操作を提供する。1つの実施例では、上記の1つまたは複数の操作は、1つまたは複数のコンピュータ読み取り可能な媒体に記憶されたコンピュータ読み取り可能な指令を構成し、電子機器によって実行されたときに、計算装置に上記操作を実行させる。いくつかまたは全ての操作の順序についての説明は、これらの操作の順序が必ず関連することを示唆するものと解釈されるべきではない。当業者であれば、本明細書の利点を有する代替可能な順序を理解することができる。そして、全ての操作が必ず本明細書に記載の各実施例に存在するものではないと考えられるべきである。
【0253】
以上、1つまたは複数の実施例を示しながら本開示を説明したが、当業者であれば、本明細書および図面に対する閲読および理解に基づいて、等価な変形および修正を実施可能である。本開示は、このようなすべての修正、変形を含み、特許請求の範囲のみによって限定されるものではない。特に、上記の構成要素(例えば、エレメント、資源等)が実行する各種の機能について、そのような構成要素を説明するための用語は、ここに開示される例示的な実施例における機能を実行する構造と異なっても、前記構成要素の指定機能(例えば、機能的に等価なもの)を実行する任意の構成要素(別途指示した場合を除外)に対応するためのものである。また、本開示の特定の特徴は、いくつかの実施形態のうちの1つのみに開示されているが、そのような特徴は、例えば所定または特定のアプリケーションに対して所望および有利な他の実施形態の1つまたは複数の特徴と組み合わせることができる。そして、「含む」、「有する」、「含有」などの用語またはその変形が具体的な実施形態または特許請求の範囲における使用については、このような用語は、「包含」という用語と類似する方式で含むことを説明するためのものである。
【0254】
また、本発明の実施例における各機能ユニットは、1つの処理モジュールに集積されていてもよいし、個々のユニットが個別に物理的に存在していてもよいし、2以上のユニットが1つのモジュールに集積されていてもよい。上記集積されたモジュールは、ハードウェアで実現されてもよいし、ソフトウェア機能モジュールで実現されてもよい。上記集積されたモジュールがソフトウェア機能モジュールで実現されかつ独立した製品として販売または使用される場合、1つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。上記の記憶媒体は、ROM、磁気ディスクまたは光ディスク等であってもよい。上記の各装置またはシステムは、対応する方法の実施例における方法を実行することができる。
【0255】
以上説明したように、本発明は、上記の実施例で以上のように開示されているが、実施例の前の番号は単に説明の便宜上のものであり、本発明の各実施例の順序を制限するものではない。なお、上記実施例は、本発明を制限するものではなく、当業者であれば、本発明の精神と範囲から逸脱することなく、様々な変更および修飾を実施可能であることから、本発明の保護範囲は、特許請求の範囲によって定義される範囲を基準とする。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15