特許 5819985 画像の符号化および復号の方法、画像データの処理方法、およびその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5819985

(24)【登録日】2015年10月9日

(45)【発行日】2015年11月24日

(54)【発明の名称】画像の符号化および復号の方法、画像データの処理方法、およびその装置

(51)【国際特許分類】

   H04N 19/593 20140101AFI20151104BHJP

   H04N 19/11 20140101ALI20151104BHJP

   H04N 19/159 20140101ALI20151104BHJP

   H04N 19/176 20140101ALI20151104BHJP

   H04N 19/182 20140101ALI20151104BHJP

【ＦＩ】

   H04N19/593

   H04N19/11

   H04N19/159

   H04N19/176

   H04N19/182

【請求項の数】18

【全頁数】23

(21)【出願番号】特願2013-548735(P2013-548735)

(86)(22)【出願日】2012年1月16日

(65)【公表番号】特表2014-503156(P2014-503156A)

(43)【公表日】2014年2月6日

(86)【国際出願番号】CN2012070404

(87)【国際公開番号】WO2012095036

(87)【国際公開日】20120719

【審査請求日】2013年8月22日

(31)【優先権主張番号】201110008186.1

(32)【優先日】2011年1月14日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】504277388

【氏名又は名称】▲ホア▼▲ウェイ▼技術有限公司

(74)【代理人】

【識別番号】100146835

【弁理士】

【氏名又は名称】佐伯 義文

(74)【代理人】

【識別番号】100140534

【弁理士】

【氏名又は名称】木内 敬二

(72)【発明者】

【氏名】▲頼▼ 昌材

(72)【発明者】

【氏名】林 永兵

(72)【発明者】

【氏名】▲鄭▼ ▲蕭▼▲ツェン▼

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特表２０１３−５３７７７１（ＪＰ，Ａ）

【文献】 特開２０１０−１６６１３３（ＪＰ，Ａ）

【文献】 特開２００５−３１８４９７（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０９０５０１（ＷＯ，Ａ１）

【文献】 国際公開第２００９／０５１４１９（ＷＯ，Ａ１）

【文献】 国際公開第２００６／１０６９３５（ＷＯ，Ａ１）

【文献】 Viktor Wahadaniah et al.，Constrained Intra Prediction Scheme for Flexible-Sized Prediction Units in HEVC，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，4th Meeting: Daegu, KR，２０１１年 １月１４日，JCTVC-D094，pp.1-8

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

現在の各インター符号化フレームの中で、条件付きイントラ予測方法を用いる現在のイントラ符号化ブロックを判別するステップと、
前記現在のイントラ符号化ブロック近傍の隣接符号化ブロックが、隣接インター符号化ブロックを含んでいると判別するステップと、
すべての前記隣接符号化ブロックが隣接インター符号化ブロックであると判別される場合にのみ、不変値を用いて前記隣接符号化ブロックを更新し、さもなければ前記現在のイントラ符号化ブロック近傍の隣接イントラ符号化ブロックのピクセルデータの1つの行または1つの列から判別された少なくとも1つのピクセルデータに基づいて、前記現在のイントラ符号化ブロック近傍の前記隣接インター符号化ブロックのピクセルデータの1つの行または1つの列の少なくとも1つピクセルデータを更新して、前記隣接インター符号化ブロックの既に更新されたピクセルデータを用いて、更新される必要がある他の隣接インター符号化ブロックの画像データを更新するステップと、
前記隣接インター符号化ブロックの前記更新されたピクセルデータに基づいて、前記現在のイントラ符号化ブロックを復号するステップと
を含む、画像を復号する方法。

【請求項2】

前記現在のイントラ符号化ブロック近傍の隣接イントラ符号化ブロックのピクセルデータの1つの行または1つの列から判別された少なくとも1つのピクセルデータに基づいて、前記現在のイントラ符号化ブロック近傍の前記隣接インター符号化ブロックのピクセルデータの1つの行または1つの列の少なくとも1つピクセルデータを更新する前記ステップが、
前記現在のイントラ符号化ブロック近傍の前記隣接インター符号化ブロックのピクセルデータの1つの行または1つの列だけを更新するステップを含む請求項1に記載の方法。

【請求項3】

前記現在の符号化ブロックが符号化するのにフレーム内符号化方法を用いることが、ビットストリームの中の前記現在のインター符号化フレームの前記現在の符号化ブロックの対応する符号化方法の識別子によって決定される請求項1または2に記載の方法。

【請求項4】

前記現在の符号化ブロックが符号化するのに条件付きイントラ予測方法を用いることが、ビットストリームの中の条件付きイントラ予測フラグによって決定される請求項1から3のいずれか一項に記載の方法。

【請求項5】

前記現在のイントラ符号化ブロック近傍の隣接イントラ符号化ブロックのピクセルデータの1つの行または1つの列から判別された少なくとも1つのピクセルデータに基づいて、前記現在のイントラ符号化ブロック近傍の前記隣接インター符号化ブロックのピクセルデータの1つの行または1つの列の少なくとも1つピクセルデータを更新する前記ステップは、
前記隣接符号化ブロックが少なくとも2つの隣接イントラ符号化ブロックを含むと判別するステップと、
前記隣接インター符号化ブロックの前記画像データを、少なくとも2つの隣接イントラ符号化ブロックの画像データに基づいて、前記少なくとも2つの隣接イントラ符号化ブロックから前記現在のイントラ符号化ブロックまでの距離の重み付き平均によって更新するステップと
を含む請求項1から4のいずれか一項に記載の方法。

【請求項6】

前記現在のイントラ符号化ブロック近傍の隣接イントラ符号化ブロックのピクセルデータの1つの行または1つの列から判別された少なくとも1つのピクセルデータに基づいて、前記現在のイントラ符号化ブロック近傍の前記隣接インター符号化ブロックのピクセルデータの1つの行または1つの列の少なくとも1つピクセルデータを更新する前記ステップは、
前記隣接符号化ブロックが少なくとも2つの隣接イントラ符号化ブロックを含むと判別するステップと、
前記隣接インター符号化ブロックに最も近傍の隣接イントラ符号化ブロックの画像データに基づいて、前記隣接インター符号化ブロックの前記画像データを更新するステップと
を含む請求項1から4のいずれか一項に記載の方法。

【請求項7】

現在の各インター符号化フレームの中で、条件付きイントラ予測方法を用いる現在のイントラ符号化ブロックを判別するステップと、
前記現在のイントラ符号化ブロック近傍の隣接符号化ブロックが、隣接インター符号化ブロックを含んでいると判別するステップと、
すべての前記隣接符号化ブロックが隣接インター符号化ブロックであると判別される場合にのみ、不変値を用いて前記隣接符号化ブロックを更新し、さもなければ前記現在のイントラ符号化ブロック近傍の隣接イントラ符号化ブロックのピクセルデータの1つの行または1つの列から判別された少なくとも1つのピクセルデータに基づいて、前記現在のイントラ符号化ブロック近傍の前記隣接インター符号化ブロックのピクセルデータの1つの行または1つの列の少なくとも1つピクセルデータを更新して、前記隣接インター符号化ブロックの既に更新されたピクセルデータを用いて、更新される必要がある他の隣接インター符号化ブロックの画像データを更新するステップと、
前記隣接インター符号化ブロックの前記更新されたピクセルデータに基づいて、前記現在のイントラ符号化ブロックを符号化するステップと
を含む、画像を符号化する方法。

【請求項8】

前記現在のイントラ符号化ブロック近傍の隣接イントラ符号化ブロックのピクセルデータの1つの行または1つの列から判別された少なくとも1つのピクセルデータに基づいて、前記現在のイントラ符号化ブロック近傍の前記隣接インター符号化ブロックのピクセルデータの1つの行または1つの列の少なくとも1つピクセルデータを更新する前記ステップが、
前記現在のイントラ符号化ブロック近傍の前記隣接インター符号化ブロックのピクセルデータの1つの行または1つの列だけを更新するステップを含む請求項7に記載の方法。

【請求項9】

前記現在のイントラ符号化ブロック近傍の隣接イントラ符号化ブロックのピクセルデータの1つの行または1つの列から判別された少なくとも1つのピクセルデータに基づいて、前記現在のイントラ符号化ブロック近傍の前記隣接インター符号化ブロックのピクセルデータの1つの行または1つの列の少なくとも1つピクセルデータを更新する前記ステップは、
前記隣接符号化ブロックが少なくとも2つの隣接イントラ符号化ブロックを含むと判別するステップと、
前記隣接インター符号化ブロックに最も近傍の隣接イントラ符号化ブロックの画像データに基づいて、前記隣接インター符号化ブロックの前記画像データを更新するステップと
を含む請求項7または8に記載の方法。

【請求項10】

前記現在のイントラ符号化ブロック近傍の隣接イントラ符号化ブロックのピクセルデータの1つの行または1つの列から判別された少なくとも1つのピクセルデータに基づいて、前記現在のイントラ符号化ブロック近傍の前記隣接インター符号化ブロックのピクセルデータの1つの行または1つの列の少なくとも1つピクセルデータを更新する前記ステップは、
前記隣接符号化ブロックが少なくとも2つの隣接イントラ符号化ブロックを含むと判別するステップと、
前記隣接インター符号化ブロックの前記画像データを、前記少なくとも2つの隣接イントラ符号化ブロックの画像データに基づいて、前記少なくとも2つの隣接イントラ符号化ブロックから前記現在のイントラ符号化ブロックまでの距離の重み付き平均によって更新するステップと
を含む請求項7または8に記載の方法。

【請求項11】

前記現在の符号化ブロックが、符号化するのに条件付きイントラ予測方法を用いることを、ビットストリームの中の条件付きイントラ予測フラグによって決定するステップを含む請求項7から10のいずれか一項に記載の方法。

【請求項12】

現在の各インター符号化フレームの中で、条件付きイントラ予測方法を用いる現在のイントラ符号化ブロックを判別するように構成された第1の割出しモジュールと、
前記現在のイントラ符号化ブロック近傍の隣接符号化ブロックが、隣接インター符号化ブロックを備えると判別するように構成された第2の割出しモジュールと、
すべての前記隣接符号化ブロックが隣接インター符号化ブロックであると判別される場合にのみ、不変値を用いて前記隣接符号化ブロックを更新し、さもなければ前記現在のイントラ符号化ブロック近傍の隣接イントラ符号化ブロックのピクセルデータの1つの行または1つの列から判別された少なくとも1つのピクセルデータに基づいて、前記現在のイントラ符号化ブロック近傍の前記隣接インター符号化ブロックのピクセルデータの1つの行または1つの列の少なくとも1つピクセルデータを更新するように構成された更新モジュールであって、前記隣接インター符号化ブロックの既に更新されたピクセルデータを用いて、更新される必要がある他の隣接インター符号化ブロックの画像データを更新するようにさらに構成される、更新モジュールと、
前記隣接インター符号化ブロックの前記更新されたピクセルデータに基づいて、前記現在のイントラ符号化ブロックを符号化するように構成された符号化モジュールと
を備える、画像を符号化するための装置。

【請求項13】

前記更新モジュールは、
前記隣接符号化ブロックが少なくとも2つの隣接イントラ符号化ブロックを備えると判別するように構成された第2の割出しユニットと、
前記隣接インター符号化ブロックの前記画像データを、前記少なくとも2つの隣接イントラ符号化ブロックの画像データに基づいて、前記少なくとも2つの隣接イントラ符号化ブロックから前記現在のイントラ符号化ブロックまでの距離の重み付き平均によって更新するように構成された第2の更新ユニットと
を備える請求項12に記載の装置。

【請求項14】

前記更新モジュールは、
前記隣接符号化ブロックが少なくとも2つの隣接イントラ符号化ブロックを備えると判別するように構成された第1の割出しユニットと、
前記隣接インター符号化ブロックに最も近傍の隣接イントラ符号化ブロックの画像データに基づいて、前記隣接インター符号化ブロックの前記画像データを更新するように構成された第1の更新ユニットと
を備える請求項12に記載の装置。

【請求項15】

現在の各インター符号化フレームの中で、条件付きイントラ予測方法を用いる現在のイントラ符号化ブロックを判別するように構成された第1の割出しモジュールと、
前記現在のイントラ符号化ブロック近傍の隣接符号化ブロックが隣接インター符号化ブロックを備えると判別するように構成された第2の割出しモジュールと、
すべての前記隣接符号化ブロックが隣接インター符号化ブロックであると判別される場合にのみ、不変値を用いて前記隣接符号化ブロックを更新し、さもなければ前記現在のイントラ符号化ブロック近傍の隣接イントラ符号化ブロックのピクセルデータの1つの行または1つの列から判別された少なくとも1つのピクセルデータに基づいて、前記現在のイントラ符号化ブロック近傍の前記隣接インター符号化ブロックのピクセルデータの1つの行または1つの列の少なくとも1つピクセルデータを更新するように構成された更新モジュールであって、前記隣接インター符号化ブロックの既に更新されたピクセルデータを用いて、更新される必要がある他の隣接インター符号化ブロックの画像データを更新するようにさらに構成される、更新モジュールと、
前記隣接インター符号化ブロックの前記更新されたピクセルデータに基づいて、前記現在のイントラ符号化ブロックを復号するように構成された復号モジュールと
を備える、画像を復号するための装置。

【請求項16】

前記更新モジュールは、
前記隣接符号化ブロックが少なくとも2つの隣接イントラ符号化ブロックを備えると判別するように構成された第2の割出しユニットと、
前記隣接インター符号化ブロックの前記画像データを、前記少なくとも2つの隣接イントラ符号化ブロックの画像データに基づいて、前記少なくとも2つの隣接イントラ符号化ブロックから前記現在のイントラ符号化ブロックまでの距離の重み付き平均によって更新するように構成された第2の更新ユニットと
を備える請求項15に記載の装置。

【請求項17】

前記更新モジュールは、
前記隣接符号化ブロックが少なくとも2つの隣接イントラ符号化ブロックを備えると判別するように構成された第1の割出しユニットと、
前記隣接インター符号化ブロックに最も近傍の隣接イントラ符号化ブロックの画像データに基づいて、前記隣接インター符号化ブロックの画像データを更新するように構成された第1の更新ユニットと
を備える請求項15に記載の装置。

【請求項18】

請求項1から11のいずれか一項に記載の方法をコンピュータに実行させるプログラムが記録されているコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通信の分野に関し、詳細には、通信の分野において画像を符号化する方法、画像を復号する方法、画像データを処理する方法、およびその装置に関する。

【背景技術】

【0002】

映像データは、特に無線ネットワークでは、必然的にケーブルネットワークおよび無線ネットワークのビットエラーまたはパケット損失の影響を受ける。可変長符号化などのツールによって効率的に圧縮された後の映像データは、セマンティクスとの関連が大である。そのため、映像データは、ビットエラーおよびパケット損失などのネットワークエラーの影響を非常に受けやすい。一旦映像データにビットエラーが生じると、現在の映像データの回復に影響があるばかりでなく、ビットエラーが時間領域および空間領域に広がる。さらに、映像データの予測符号化により、特定のフレームのエラーが生じ、後続のフレームにエラーが蓄積するという影響がある。したがって、ビットエラーに耐えるように映像データの能力を改善するために、関連する方策を取る必要がある。特に特定の映像フレームが既に伝送エラーを有するとき、できるだけ早く映像コンテンツをエラーから回復する必要があり、それによって、ユーザに、好ましい個人的なエクスペリエンスを提供する。

【0003】

フレーム内リフレッシュ方法は、簡単で効率的なエラー回復方法であり、例えばI-frameリフレッシュ方法、ランダム追跡またはエラー追跡に基づくI-blockリフレッシュ方法、および適応型フレーム内マクロブロックリフレッシュなどがある。I-frameは、符号化するのにフレーム内(INTRA)符号化方法を用い、したがってイントラ符号化フレームとも称され得る。I-frameは、他のフレームを参照する必要がない。このフレームは、ランダムアクセス基準点として、また画像として、適度に圧縮される。全体のI-frameをリフレッシュすると、符号化率の高いフレームがビットストリームに突然生じることになるので、システムに対して、かなり強いビットストリーム衝撃をもたらすことになる。したがって、実際には、フレームは、ほとんどの場合、フレーム内の部分的符号化ブロックをリフレッシュすることによってリフレッシュされる。

【0004】

映像フレームのPフレームは、符号化するのにフレーム間(INTER)符号化方法を用い、したがって、Pフレームは、インター符号化フレームとも称され得る。Pフレームのフレーム間予測は、以前のPフレームを参照する必要がある。したがって、特定のPフレームに伝送エラーがあると、このエラーが次のPフレームに伝達されることになり、それによって、次のPフレームの復号品質がひどく低下する。そのため、復号品質の低下を回避するために、Pフレームにおいて、イントラリフレッシュフレーム(Intra Refresh Frame、略してIRフレーム)が定義されてよい。IRフレームの一部分またはすべての符号化ブロックは、コード化するのにフレーム内符号化方法を用いる。フレーム内符号化を用いる符号化ブロックは、イントラリフレッシュブロックとも称され得る。そのため、IRフレームのイントラ符号化ブロック(イントラリフレッシュブロック)は、コード化のためにIRフレームの前のPフレームを直接参照するのではなく、このフレームの隣接符号化ブロックを参照し、コード化するのにフレーム内符号化方法を用いる。

【0005】

しかし、特定のイントラ符号化ブロックの隣接符号化ブロックがインター符号化ブロックであると、インター符号化ブロックは、依然として以前のPフレームを参照し、インター符号化ブロックは、やはり以前の参照フレームからの特定の伝送エラーを蓄積して、これらのエラーを、リフレッシュのために用いられるイントラ符号化ブロックに渡す可能性があり、その結果、イントラ符号化ブロックにも伝送エラーによる悪影響が及び、それによって、イントラリフレッシュ方法の正当なエラー回復能力が大幅に低下し、映像などの画像データの復号品質に悪影響を及ぼすことになる。

【発明の概要】

【課題を解決するための手段】

【0006】

そのため、本発明の実施形態は、画像を符号化する方法と、画像を復号する方法と、画像データを処理する方法と、その装置とを提供するものであり、これらは、隣接インター符号化ブロックの画像データを更新し、更新された画像データを用いて現行のイントラ符号化ブロックを符号化する、または復号することにより、イントラ符号化ブロックのエラー回復能力を改善し、画像データの復号品質を改善する。

【0007】

一態様では、本発明の一実施形態は、画像を符号化する方法を提供する。この方法は、現行の各インター符号化フレームの中で、条件付きイントラ予測方法を用いる現行のイントラ符号化ブロックを判別するステップと、現行のイントラ符号化ブロック近傍の隣接符号化ブロックが、隣接インター符号化ブロックを含んでいると判別するステップと、不変値または隣接符号化ブロックに含まれている隣接イントラ符号化ブロックの画像データに基づいて、隣接インター符号化ブロックの画像データを更新するステップと、隣接インター符号化ブロックの更新された画像データに基づいて、現行のイントラ符号化ブロックを符号化するステップとを含む。

【0008】

別の態様では、本発明の一実施形態は、画像を復号する方法をさらに提供する。この方法は、現行の各インター符号化フレームの中で、条件付きイントラ予測方法を用いる現行のイントラ符号化ブロックを判別するステップと、現行のイントラ符号化ブロック近傍の隣接符号化ブロックが、隣接インター符号化ブロックを含んでいると判別するステップと、不変値または隣接符号化ブロックに含まれている隣接イントラ符号化ブロックの画像データに基づいて、隣接インター符号化ブロックの画像データを更新するステップと、隣接インター符号化ブロックの更新された画像データに基づいて、現行のイントラ符号化ブロックを復号するステップとを含む。

【0009】

さらに別の態様では、本発明の一実施形態は、画像データを処理する方法をさらに提供する。この方法は、現行の符号化対象のすべての符号化ブロックが、条件付きイントラ予測方法を用いると判別するステップと、現行のイントラ符号化ブロック近傍の各隣接符号化ブロックの中で、現行のイントラ符号化ブロックとは異なる符号化対象に属する特定の隣接符号化ブロックを判別するステップと、この特定の隣接符号化ブロックが、符号化するのにフレーム間符号化方法を用いる隣接インター符号化ブロックであると判別するステップと、不変値または隣接符号化ブロックに含まれている隣接イントラ符号化ブロックの画像データに基づいて、隣接インター符号化ブロックの画像データを更新するステップと、隣接インター符号化ブロックの更新された画像データに基づいて、現行のイントラ符号化ブロックを符号化する、または復号するステップとを含む。

【0010】

さらに別の態様では、本発明の一実施形態は、画像を符号化する装置をさらに提供する。この装置は、現行の各インター符号化フレームの中で、条件付きイントラ予測方法を用いる現行のイントラ符号化ブロックを判別するように構成された第1の割出しモジュールと、現行のイントラ符号化ブロック近傍の隣接符号化ブロックが、隣接インター符号化ブロックを含んでいると判別するように構成された第2の割出しモジュールと、不変値または隣接符号化ブロックに含まれている隣接イントラ符号化ブロックの画像データに基づいて、隣接インター符号化ブロックの画像データを更新するように構成された更新モジュールと、隣接インター符号化ブロックの更新された画像データに基づいて、現行のイントラ符号化ブロックを符号化するように構成された符号化モジュールとを含む。

【0011】

さらに別の態様では、本発明の一実施形態は、画像を復号する装置をさらに提供する。この装置は、現行の各インター符号化フレームの中で、条件付きイントラ予測方法を用いる現行のイントラ符号化ブロックを判別するように構成された第1の割出しモジュールと、現行のイントラ符号化ブロック近傍の隣接符号化ブロックが、隣接インター符号化ブロックを含んでいると判別するように構成された第2の割出しモジュールと、不変値または隣接符号化ブロックに含まれている隣接インター符号化ブロックの画像データに基づいて、隣接イントラ符号化ブロックの画像データを更新するように構成された更新モジュールと、隣接インター符号化ブロックの更新された画像データに基づいて、現行のイントラ符号化ブロックを復号するように構成された復号モジュールとを含む。

【0012】

さらに別の態様では、本発明の一実施形態は、画像データを処理する装置をさらに提供する。この装置は、現行の符号化対象のすべての符号化ブロックが、条件付きイントラ予測方法を用いると判別するように構成された第1の割出しモジュールと、現行のイントラ符号化ブロック近傍の各隣接符号化ブロックの中で、現行のイントラ符号化ブロックとは異なる符号化対象に属する特定の隣接符号化ブロックを判別するように構成された第2の割出しモジュールと、この特定の隣接符号化ブロックが、符号化するのにフレーム間符号化方法を用いる隣接インター符号化ブロックであると判別するように構成された第3の割出しモジュールと、不変値または隣接符号化ブロックに含まれている隣接イントラ符号化ブロックの画像データに基づいて、隣接インター符号化ブロックの画像データを更新するように構成された更新モジュールと、隣接インター符号化ブロックの更新された画像データに基づいて、現行のイントラ符号化ブロックを符号化する、または復号するように構成された符号化/復号モジュールとを含む。

【0013】

本発明の実施形態による方法および装置は、これらの技術的解決策に基づいて、隣接インター符号化ブロックの画像データを更新し、更新された画像データを用いることにより、現行のイントラ符号化ブロックを符号化し、または復号し、その結果、イントラ符号化ブロックによって参照されるインター符号化ブロックが、イントラ符号化ブロックに累積誤差を渡さなくなり、それによってイントラ符号化ブロックのエラー回復能力が改善され、画像データの復号品質が改善される。

【0014】

本発明の実施形態の技術的解決法をより明瞭に説明するために、以下は、本発明の実施形態を説明するのに必要な添付図面について概説する。明らかに、以下の説明における添付図面は、本発明のいくつかの実施形態を示すのみであり、当業者なら、創造的な努力をしなくても、これらの添付図面から他の図面を導出することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態による適用シナリオの概略図である。

【図2】本発明の一実施形態によって画像を符号化する方法の概略図である。

【図3】本発明の別の実施形態による更新処理の概略図である。

【図4】図(a)から図(c)は、本発明のさらに別の実施形態による更新処理の概略図である。

【図5】本発明の一実施形態によって画像を復号する方法の概略図である。

【図6】本発明の一実施形態によって画像データを処理する方法の概略図である。

【図7】本発明の一実施形態によって画像を符号化する装置のブロック図である。

【図8】本発明の別の実施形態によって画像を符号化する装置のブロック図である。

【図9】本発明の一実施形態によって画像を復号する装置のブロック図である。

【図10】本発明の別の実施形態によって画像を復号する装置のブロック図である。

【図11】本発明の一実施形態によって画像データを処理する装置のブロック図である。

【発明を実施するための形態】

【0016】

以下は、本発明の実施形態による技術的解決策を、本発明の実施形態の添付図面を参照しながら、明確に、かつ十分に説明する。明らかに、以下の説明における実施形態は、本発明の実施形態のすべてではなく、単なる一部分である。当業者によって、創造的な努力をすることなく、本発明の実施形態に基づいて達成されるすべての他の実施形態は、本発明の保護範囲に入るものとする。

【0017】

図1は、本発明の一実施形態による適用のシナリオを示す。図1に示されるように、映像フレームは、(図1でI-frameによって示されるような)イントラ符号化フレームおよび(図1でPフレームによって示されるような)インター符号化フレームを含んでよい。次いで、イントラ符号化フレームおよびインター符号化フレームは、複数の符号化ブロックに分割されてよい。イントラ符号化フレームのすべての符号化ブロックはイントラ符号化ブロックであり、インター符号化フレームの符号化ブロックは、イントラ符号化ブロックもインター符号化ブロックも含んでよく、イントラ符号化フレームおよびイントラ符号化ブロックは、符号化する、または復号するのにフレーム内符号化方法を用い、インター符号化フレームおよびインター符号化ブロックは、符号化する、または復号するのにフレーム間符号化方法を用いる。

【0018】

伝送エラーの蓄積を回避して画像データの復号品質を保証するために、インター符号化フレームでは、イントラリフレッシュフレームの特定の符号化ブロックに対して、符号化する、または復号するのにフレーム内符号化方法の使用を強制するように、(図1のIRフレームで示されるような)特定のイントラリフレッシュフレームが定義されてよい。これらの符号化ブロックは、イントラ符号化ブロックに属し、イントラリフレッシュブロックとも称され得る。イントラ符号化ブロックの隣接符号化ブロックがインター符号化ブロックであると、インター符号化ブロックには、特定の伝送エラーが既に蓄積している可能性がある。これらのインター符号化ブロックを直接参照すると、イントラ符号化ブロックにも伝送エラーによる悪影響が及ぶ可能性があり、それによって、イントラ符号化ブロックは、イントラリフレッシュ方法の正当なエラー回復能力を保証するのが困難になる。図1に示されるように、イントラ符号化ブロックEの隣接ブロックAおよびBは、伝送エラーを有するエラーブロックである。伝送エラーの蓄積を回避するために、イントラ符号化ブロックの参照特性を、本発明の実施形態によって限定する必要がある。

【0019】

図2は、本発明の一実施形態によって画像を符号化する方法の概略図である。図2に示されるように、この方法は以下のステップを含む。

【0020】

現行の各インター符号化フレームの中で、条件付きイントラ予測方法を用いる現行のイントラ符号化ブロックを判別するステップS110であって、条件付きイントラ予測方法が意味するのは、イントラ符号化ブロックの符号化、復号、または予測を通じて、イントラ符号化ブロックの参照データは、このイントラ符号化ブロック近傍のイントラ符号化ブロックの画像データまたはデフォルト値(すなわち不変値)からのものでしかあり得ず、隣接インター符号化ブロックの画像データからのものではあり得ないということであるステップS110。

【0021】

現行のイントラ符号化ブロック近傍の隣接符号化ブロックが、隣接インター符号化ブロックを含んでいると判別するステップS120であって、隣接符号化ブロックが、現行のイントラ符号化ブロック近傍の、または現行のイントラ符号化ブロックに接続された符号化ブロックであり、現行のイントラ符号化ブロックに隣接符号化ブロックが、左側の隣接符号化ブロック、上側の隣接符号化ブロック、左下の隣接符号化ブロック、および右上の隣接符号化ブロックを含み得るステップS120。もちろん、当業者なら、隣接符号化ブロックが、右側の隣接符号化ブロック、下側の隣接符号化ブロック、左上の隣接符号化ブロック、および右下の隣接符号化ブロックをさらに含み得ることをさらに考える可能性がある。

【0022】

不変値または隣接符号化ブロックに含まれている隣接イントラ符号化ブロックの画像データに基づいて、隣接インター符号化ブロックの画像データを更新するステップS130。

【0023】

隣接インター符号化ブロックの更新された画像データに基づいて、現行のイントラ符号化ブロックを符号化するステップS140。

【0024】

現行のインター符号化フレームの現行の符号化ブロックに関して、現行の符号化ブロックが、符号化するのにフレーム内符号化方法を用いるイントラ符号化ブロックかどうか、また、現行の符号化ブロックが、予測、符号化、または復号のために、条件付きイントラ予測方法を用いるかどうかが判断される。現行の符号化ブロックが条件付きイントラ予測方法を用いるものであると判断されると、現行のイントラ符号化ブロックの隣接符号化ブロックの符号化方法が、さらに判断される。隣接符号化ブロックがインター符号化ブロックを含んでいると、このインター符号化ブロックは、現行のイントラ符号化ブロックに対する参照符号化ブロックとしての働きをすることができない。すなわち、イントラ予測では、現行のイントラ符号化ブロックを予測するのに、インター符号化ブロックの画像データを用いることができない。そのため、イントラ予測に先立って、隣接インター符号化ブロックの画像データが、不変値または隣接符号化ブロックに含まれている隣接イントラ符号化ブロックの画像データに基づいて更新されてよい。次いで、現行のイントラ符号化ブロックが、隣接インター符号化ブロックの更新された画像データに基づいて符号化されてよい。

【0025】

更新の後に、インター符号化ブロックにおいて参照されるべき画像データが、通常の方法によって参照されてよく、参照されるべき画像データは、現行のイントラ符号化ブロックに対する予測を通じて用いられ得る隣接ブロックのピクセルを示す。インター符号化ブロックの画像データが更新されているので、参照されることになる含まれた画像データは、もはやインター符号化ブロックの伝送エラーを有するピクセルではなく、そのため、現行のイントラ符号化ブロックによって参照されるピクセルとして役立ち得て、それによって、現行のイントラ符号化ブロックが隣接インター符号化ブロックの画像データを参照しなくなることが保証され、これによって、現行のイントラ符号化ブロックに伝送エラーが渡されるのを止めることができる。

【0026】

本発明の実施形態の方法によれば、隣接インター符号化ブロックの画像データが更新され、現行のイントラ符号化ブロックは、更新された画像データを用いて符号化され、または復号され、その結果、イントラ符号化ブロックによって参照されるインター符号化ブロックが、イントラ符号化ブロックに累積誤差を渡さなくなり、それによってイントラ符号化ブロックのエラー回復能力が改善され、画像データの復号品質が改善される。

【0027】

本発明の実施形態では、現行の符号化ブロックがイントラ符号化ブロックかどうかということが、最初に判断されてよい。現行の符号化ブロックがインター符号化ブロックであると、現行の画像データ処理プロシージャが終了され、現行のインター符号化フレームにおける次の符号化ブロックに対する後続の処理が遂行される。現行の符号化ブロックがイントラ符号化ブロックであると判断されると、現行のイントラ符号化ブロックが、予測するのに条件付きイントラ予測方法を用いるかどうかということがさらに判断される。そうでなければ、後続の更新処理は不要であり、現行のプロシージャが終了する。任意選択で、現行のイントラ符号化ブロックが、予測するのに条件付きイントラ予測方法を用いるかどうかということも、最初に判断されてよい。現行の符号化ブロックが条件付きイントラ予測方法を用いると判断されると、現行の符号化ブロックの符号化方法に関する判断がなされる。当業者なら、現行の符号化ブロックの符号化方法の判断と、予測、符号化、または復号のために条件付きイントラ予測方法を用いるかどうかの判断とを、同時に遂行することをさらに考えるであろう。

【0028】

本発明の実施形態では、復号中に、現行の符号化フレームがインター符号化フレームであるかどうか判別するために、現行の符号化フレームの符号化方法を判断するのに、ビットストリームの中の識別子が用いられてよく、また、符号化中に、現行の符号化フレームが、符号化パラメータおよび符号化プロシージャによるインター符号化フレームかどうか判断されてよい。同様に、符号化ブロックの符号化方法を判断するために、各符号化ブロックは、符号化ブロックの符号化方法を示す識別子を有してよい。復号中に、現行の符号化ブロックは、符号化するのにフレーム内符号化方法を用いるかどうかが、ビットストリームの中の現行の符号化ブロックの対応する符号化方法の識別子によって決定されてよく、また、復号中に、現行の符号化ブロックがイントラ符号化ブロックであるかどうかということも、符号化パラメータおよび符号化プロシージャによって判断されてよい。当業者なら、符号化フレームおよび符号化ブロックの符号化方法を判断するのに、当技術分野で周知の他の方法がさらに用いられ得ることを理解するであろう。

【0029】

本発明の実施形態では、現行の符号化ブロックが、符号化または復号のために条件付きイントラ予測方法を用いるかどうかということは、ビットストリームの中の条件付きイントラ予測フラグ(Constrained Intra Prediction Flag)によって決定されてよい。例えば、条件付きイントラ予測フラグが1であると、現行の符号化ブロックが予測、符号化または復号のために条件付きイントラ予測方法を用いることを示し、条件付きイントラ予測フラグが0であると、現行の符号化ブロックが予測、符号化または復号のために条件付きイントラ予測方法を用いないことを示す。当業者なら、条件付きイントラ予測方法を判断するのに、当技術分野で周知の他の方法がさらに用いられ得ることを理解するであろう。

【0030】

図3は、例えば高効率映像符号化(High Efficiency Video Coding、略してHEVC)の階層的ブロックを採用することによる、本発明の一実施形態による更新処理の概略図である。隣接インター符号化ブロックの画像データに対する更新処理中に、隣接インター符号化ブロックの画像データがすべて更新されてよい。任意選択で、現行のイントラ符号化ブロック近傍の隣接インター符号化ブロックのピクセルデータの1つの行または1つの列だけが更新されてよい。当業者なら、隣接インター符号化ブロックのピクセルデータの複数の行または複数の列が更新され得ることを理解するであろう。

【0031】

本発明の実施形態では、隣接インター符号化ブロックの画像データに対する更新処理中に、隣接符号化ブロックが少なくとも1つの隣接イントラ符号化ブロックをさらに含むことを最初に判断してよい。すなわち、現行のイントラ符号化ブロックの隣接符号化ブロックは、インター符号化ブロックおよびイントラ符号化ブロックを同時に含んでいる。少なくとも1つの隣接イントラ符号化ブロックにおいて、現行の隣接インター符号化ブロックに最も近傍の隣接イントラ符号化ブロックが求められてよく、隣接インター符号化ブロックの画像データが、最も隣接イントラ符号化ブロックの画像データに基づいて更新されてよい。任意選択で、隣接インター符号化ブロックに最も近い、最も隣接イントラ符号化ブロックの中のピクセル値が、隣接インター符号化ブロックに満たされてよい。

【0032】

図4の図(a)に示されるように、現行のイントラ符号化ブロックEは、4つの隣接符号化ブロック、すなわち、左上の隣接符号化ブロックA、上の隣接符号化ブロックB、右上の隣接符号化ブロックC、および左の隣接符号化ブロックDを含み、右上の隣接符号化ブロックCのみが、隣接イントラ符号化ブロックと判断される。以下は、隣接インター符号化ブロックBの画像データに対する更新処理を例に取り上げる。4つの隣接符号化ブロックの中で、右上の隣接符号化ブロックCのみがイントラ符号化ブロックである。この場合、隣接インター符号化ブロックBに最も近い、右上の隣接符号化ブロックCの中のピクセル値が、隣接インター符号化ブロックBに満たされてよい。任意選択で、図4の図(a)に示されるように、このピクセル値は、現行のイントラ符号化ブロックE近傍の隣接インター符号化ブロックBのピクセルの行に満たされてよい。

【0033】

図4の図(b)に示されるように、隣接符号化ブロックが複数のイントラ符号化ブロックを含んでいるとき、右上の隣接符号化ブロックCおよび左の隣接符号化ブロックDの両方が、隣接イントラ符号化ブロックである。隣接インター符号化ブロックBの画像データに関する更新処理中に、左の隣接符号化ブロックDが、隣接インター符号化ブロックBに最も近いと判断され得る。そのため、隣接インター符号化ブロックBの画像データは、左の隣接符号化ブロックDの画像データに更新されてよい。

【0034】

本発明の別の実施形態では、隣接符号化ブロックが少なくとも2つの隣接イントラ符号化ブロックを含んでいると判別するとき、隣接インター符号化ブロックの画像データは、少なくとも2つの隣接イントラ符号化ブロックの画像データに基づいて、少なくとも2つの隣接イントラ符号化ブロックから現行のイントラ符号化ブロックまでの距離の重み付き平均によって更新されてよい。

【0035】

以下は、例として図4の図(c)を取り上げる。隣接インター符号化ブロックBの両側に、隣接イントラ符号化ブロック、すなわち左上の隣接符号化ブロックAおよび右上の隣接符号化ブロックCがある。隣接インター符号化ブロックBに最も近い、左上の隣接符号化ブロックAおよび右上の隣接符号化ブロックCについて、ピクセル値がそれぞれPrおよびPlであり、隣接インター符号化ブロックBの現行のピクセルからの最短距離がそれぞれaおよびbであると仮定する。ピクセル値Rが、隣接インター符号化ブロックBの現行のピクセルに満たされてよい。ピクセル値Rは、式(1)で表され得る。
R=(Pr×a+Pl×b)/(a+b) (1)

【0036】

本発明の別の実施形態では、隣接インター符号化ブロックの画像データに関する更新処理中に、すべての隣接符号化ブロックがインター符号化ブロックであると判断されると、隣接インター符号化ブロックの画像データは、例えば128または別の不変値といった不変値に更新されてよい。任意選択で、隣接符号化ブロックが隣接インター符号化ブロックを含んでいると判断された後には、隣接符号化ブロックが隣接イントラ符号化ブロックを含んでいるかどうかにかかわらず、すべての隣接符号化ブロックの画像データが不変値に直接更新されてよい。

【0037】

処理された隣接インター符号化ブロックについては、参照されるその画像データが、不変値または隣接イントラ符号化ブロックからのものであるため、更新処理後の隣接インター符号化ブロックは、現行のイントラ符号化ブロックに対する参照符号化ブロックとして役立ち得る。それに加えて、隣接インター符号化ブロックはイントラ符号化ブロックと見られてよい。別の態様では、他の隣接インター符号化ブロックの画像データに関する更新処理中に、隣接インター符号化ブロックの更新された画像データが、先の方法によって、他の隣接インター符号化ブロックに満たされてよい。

【0038】

本発明の実施形態の方法によれば、隣接インター符号化ブロックの画像データが更新され、現行のイントラ符号化ブロックは、更新された画像データを用いて符号化され、または復号され、その結果、イントラ符号化ブロックによって参照されるインター符号化ブロックが、イントラ符号化ブロックに累積誤差を渡さなくなり、それによってイントラ符号化ブロックのエラー回復能力が改善され、また画像データの復号品質も改善され、それに加えて、イントラ符号化ブロックが、隣接符号化ブロックの画像データを参照し得るので、本発明の実施形態による方法は、イントラ符号化ブロックの符号化効率または復号効率をさらに改善し得る。

【0039】

図5は、本発明の一実施形態によって画像を復号する方法の概略図である。図5に示されるように、この方法は以下のステップを含む。

【0040】

現行の各インター符号化フレームの中で、条件付きイントラ予測方法を用いる現行のイントラ符号化ブロックを判別するステップS210であって、条件付きイントラ予測方法が意味するのは、イントラ符号化ブロックの符号化、復号、または予測を通じて、イントラ符号化ブロックの参照データは、このイントラ符号化ブロック近傍のイントラ符号化ブロックの画像データまたはデフォルト値(すなわち不変値)からのものでしかあり得ず、隣接インター符号化ブロックの画像データからのものではあり得ないということであるステップS210。

【0041】

現行のイントラ符号化ブロック近傍の隣接符号化ブロックが、隣接インター符号化ブロックを含んでいると判別するステップS220であって、隣接符号化ブロックが、現行のイントラ符号化ブロック近傍の、または現行のイントラ符号化ブロックに接続された符号化ブロックであり、現行のイントラ符号化ブロックについてはその隣接符号化ブロックが、左側の隣接符号化ブロック、上側の隣接符号化ブロック、左下の隣接符号化ブロック、および右上の隣接符号化ブロックを含み得るステップS220。もちろん、当業者なら、隣接符号化ブロックが、右側の隣接符号化ブロック、下側の隣接符号化ブロック、左上の隣接符号化ブロック、および右下の隣接符号化ブロックをさらに含み得ることをさらに考える可能性がある。

【0042】

不変値または隣接符号化ブロックに含まれている隣接イントラ符号化ブロックの画像データに基づいて、隣接インター符号化ブロックの画像データを更新するステップS230。

【0043】

隣接インター符号化ブロックの更新された画像データに基づいて、現行のイントラ符号化ブロックを復号するステップS240。

【0044】

本発明の実施形態では、現行の符号化ブロックが、符号化するのにフレーム内符号化方法を用いることは、ビットストリームの中の現行のインター符号化フレームの現行の符号化ブロックの対応する符号化方法の識別子によって決定されてよい。任意選択で、現行の符号化ブロックが、復号するのに条件付きイントラ予測方法を用いることは、ビットストリームの中の条件付きイントラ予測フラグによって決定されてよい。任意選択で、現行のイントラ符号化ブロック近傍の隣接インター符号化ブロックのピクセルデータの1つの行または1つの列だけが更新されてよい。当業者なら、隣接インター符号化ブロックのピクセルデータの複数の行または複数の列が更新され得ることを理解するであろう。

【0045】

本発明の実施形態では、隣接インター符号化ブロックの画像データを更新するのに、図3から図4に示されたすべての更新処理方法が用いられてよく、これらは、簡潔さのために本明細書では説明されない。

【0046】

本発明の実施形態の方法によれば、隣接インター符号化ブロックの画像データが更新され、現行のイントラ符号化ブロックは、更新された画像データを用いて符号化され、または復号され、その結果、イントラ符号化ブロックによって参照されるインター符号化ブロックが、イントラ符号化ブロックに累積誤差を渡さなくなり、それによってイントラ符号化ブロックのエラー回復能力が改善され、画像データの復号の品質および効率が改善される。

【0047】

以下は、本発明の実施形態による方法の符号化プロシージャおよび復号プロシージャを説明する。

【0048】

符号化プロシージャでは、現行の符号化ブロックの符号化方法は、最初に符号化パラメータおよび符号化プロシージャによって判断されてよい。現行の符号化ブロックが、インター符号化フレームにおいて、符号化するのにフレーム内符号化方法を用いるイントラ符号化ブロックであれば、現行のイントラ符号化ブロックが、予測するのに条件付きイントラ予測方法を用いるかどうかについて、例えばビットストリームの中の条件付きイントラ予測フラグによって判断されてよい。条件付きイントラ予測方法を用いる現行のイントラ符号化ブロックについては、次いで、その隣接符号化ブロックの符号化方法が判断される。隣接符号化ブロックが隣接インター符号化ブロックを含んでいると判断されると、インター符号化ブロックの参照されるピクセルデータが、不変値または隣接符号化ブロックに含まれている隣接イントラ符号化ブロックの画像データに基づいて更新されてよい。次いで、残留データを得るために、現行のイントラ符号化ブロックがイントラ予測されてよい。残留データは、量子化係数を得るために、変換されて量子化される。量子化係数は、最終的にエントロピー符号化されてよい。

【0049】

復号プロシージャでは、ビットストリームは、最初に、予測の符号化方法と、現行のインター符号化フレームの復号するブロックの量子化係数とを得るために解析されてよい。例えば、現行の符号化ブロックが、符号化のためのフレーム内符号化方法を用いるかどうかということは、ビットストリームの中の現行の符号化ブロックの対応する符号化方法の識別子によって決定されてよい。現行のブロックがイントラ符号化ブロックであれば、現行のイントラ符号化ブロックが、予測、符号化、または復号に、条件付きイントラ予測方法を用いるかどうかということについて判断される。条件付きイントラ予測を用いる現行のイントラ符号化ブロックについては、次いで、その隣接符号化ブロックの符号化のタイプが判断される。隣接符号化ブロックが隣接インター符号化ブロックを含んでいると判断されると、インター符号化ブロックの参照されるピクセルデータが、不変値または隣接符号化ブロックに含まれている隣接イントラ符号化ブロックの画像データに基づいて更新されてよい。次いで、予測データを得るために、現行のイントラ符号化ブロックがイントラ予測され、量子化係数が逆量子化され、残留データを得るために逆量子化の後の係数が逆量子化される。最後に、得られた残留データおよび予測データによって、最終的に復号画像が再構成して得られてよい。

【0050】

本発明の実施形態による方法は、例えばH.264/MPEG-4 AVC (Advanced Video Coding、略してAVC)規格、およびAVS (Audio Video Standard、略してAVS)規格といったに既存の映像コーデック規格に適用されるばかりでなく、策定中のHEVC規格にも適用され得る。

【0051】

以下は、詳細な説明のための一例として、HEVC規格における、本発明の実施形態によって画像を符号化する方法の用途を取り上げる。HEVC規格における階層的ブロック構造が、図3に示され得る。HEVC規格では、符号化対象の最大の単位は、64×64に到達し得て、より大きな単位にさえ到達し得る。したがって、イントラリフレッシュブロック(INTRAリフレッシュブロック)の左または上の隣接符号化ブロックは、複数の隣接符号化ブロックを含んでよい。複数の隣接符号化ブロックの中には、イントラ符号化ブロックおよびインター符号化ブロックが存在し得て、これはH.264/AVC規格の場合とは異なる。H.264/AVC規格では、H.264/AVC規格における符号化ブロックのタイプが、単位として16×16の符号化ブロックを用いるので、イントラリフレッシュブロックが有するのは、特定の側の隣接符号化ブロックが1つだけである。隣接符号化ブロックは、イントラ符号化ブロックまたはインター符号化ブロックのいずれかでよい。

【0052】

HEVC規格では、イントラリフレッシュは、64×64の最大の単位を有する符号化対象の内部で遂行されてよい。すなわち、64×64の符号化対象の内部で、イントラ符号化のために、部分的符号化ブロックが選択されてよい。例えば、符号化対象の最大の分割が64×64であるとき、現行の符号化対象がリフレッシュされる場合、現行の64×64の符号化対象の符号化ブロックのすべてがフレーム内符号化方法によって符号化される。この場合、64×64の符号化対象のすべての符号化ブロックに関して、現行の符号化ブロックが符号化するのに用いるのは、フレーム間符号化方法なのか、それともフレーム内符号化方法なのか、といったことを識別する必要性はなく、すべての64×64の符号化対象の符号化ブロックが、符号化するのに、デフォルトでフレーム内符号化方法を用いる。そのため、必要なのは、例えば64×64の符号化対象のビットシンボルを用いることにより、現行の64×64の符号化対象が、符号化するのにフレーム内リフレッシュ方法を用いるかどうか識別することのみである。

【0053】

隣接符号化ブロックの参照画像データの処理を通じて、以前の実施形態による方法に類似の方法が、依然として用いられてもよい。唯一の差異は、現行のイントラ符号化ブロックの隣接符号化ブロックが、現行のイントラ符号化ブロックと同一の符号化対象に属するとき、この隣接符号化ブロックが明確にイントラ符号化ブロックであることにある。この場合、参照画像データに対して更新処理を遂行する必要性はなく、隣接符号化ブロックのピクセルデータが参照されてよい。

【0054】

別の態様では、隣接符号化ブロックが現行のイントラ符号化ブロックと同一の符号化対象ではなく、また、隣接符号化ブロックが、符号化または復号のためにフレーム間符号化方法を用いると判断される場合には、隣接インター符号化ブロックの画像データを更新する必要がある。

【0055】

図6に示されるように、HEVC規格において画像データを処理するのに適用される方法は、以下のステップを含む。

【0056】

現行の符号化対象のすべての符号化ブロックが、条件付きイントラ予測方法を用いると決定するステップS310であって、例えば、条件付きイントラ予測フラグが1であるとき、すべての符号化対象のイントラ符号化ブロックが、ビットストリームの条件付きイントラ予測フラグによって符号化する、または復号するのに、条件付きイントラ予測方法を用いると決定され得るステップS310。

【0057】

現行のイントラ符号化ブロック近傍の各隣接符号化ブロックの中で、現行のイントラ符号化ブロックとは異なる符号化対象に属する特定の隣接符号化ブロックを判別するステップS320。

【0058】

この特定の隣接符号化ブロックが、符号化するのにフレーム間符号化方法を用いる隣接インター符号化ブロックであると判別するステップS330。

【0059】

不変値または隣接符号化ブロックに含まれている隣接イントラ符号化ブロックの画像データに基づいて、隣接インター符号化ブロックの画像データを更新するステップS340であって、画像データが、図3および図4に示された方法によって更新され得るステップS340。

【0060】

隣接インター符号化ブロックの更新された画像データに基づいて、現行のイントラ符号化ブロックを符号化する、または復号するステップS350。

【0061】

本発明の実施形態の方法によれば、隣接インター符号化ブロックの画像データが更新され、現行のイントラ符号化ブロックは、更新された画像データを用いて符号化され、または復号され、その結果、イントラ符号化ブロックによって参照されるインター符号化ブロックが、イントラ符号化ブロックに累積誤差を渡さなくなり、それによってイントラ符号化ブロックのエラー回復能力が改善され、画像データの復号の品質および効率が改善される。

【0062】

当業者なら、図2から図5による、すべての置換または変更が、図6に示される方法にも適用され得ることを理解するはずであり、これらは、簡潔さのために本明細書では説明されない。

【0063】

以下は、添付図面を参照しながら、本発明の実施形態による符号化、復号、および画像データ処理に使用される装置を説明する。

【0064】

図7は、本発明の一実施形態によって画像を符号化する装置のブロック図である。図7に示されるように、画像を復号するのに使用される装置500は、第1の割出しモジュール510、第2の割出しモジュール520、更新モジュール530、および符号化モジュール540を含む。

【0065】

第1の割出しモジュール510は、現行の各インター符号化フレームの中で、条件付きイントラ予測方法を用いる現行のイントラ符号化ブロックを判別するように構成されている。

【0066】

第2の割出しモジュール520は、現行のイントラ符号化ブロック近傍の隣接符号化ブロックが、隣接インター符号化ブロックを含んでいると判別するように構成されている。

【0067】

更新モジュール530は、不変値または隣接符号化ブロックに含まれている隣接イントラ符号化ブロックの画像データに基づいて、隣接インター符号化ブロックの画像データを更新するように構成されている。

【0068】

符号化/復号モジュール540は、隣接インター符号化ブロックの更新された画像データに基づいて、現行のイントラ符号化ブロックを符号化するように構成されている。

【0069】

任意選択で、図8に示されるように、画像を復号するのに使用される装置600は、第1の割出しモジュール610、第2の割出しモジュール620、更新モジュール630、および符号化モジュール640を含む。更新モジュール630は、第1の割出しユニット631と第1の更新ユニット632、第2の割出しユニット633と第2の更新ユニット634、第3の更新ユニット635、および第4の更新ユニット636といったユニットまたはユニットの組合せの1つまたは複数をさらに含んでよい。

【0070】

第1の割出しユニット631は、隣接符号化ブロックが少なくとも1つの隣接イントラ符号化ブロックをさらに含むと判別するように構成されている。

【0071】

第1の更新ユニット632は、隣接インター符号化ブロックに最も近傍の隣接イントラ符号化ブロックの画像データに基づいて、隣接インター符号化ブロックの画像データを更新するように構成されている。

【0072】

第2の割出しユニット633は、隣接符号化ブロックが少なくとも2つの隣接イントラ符号化ブロックをさらに含むと判別するように構成されている。

【0073】

第2の更新ユニット634は、隣接インター符号化ブロックの画像データを、少なくとも2つの隣接イントラ符号化ブロックの画像データに基づいて、少なくとも2つの隣接イントラ符号化ブロックから現行のイントラ符号化ブロックまでの距離の重み付き平均によって更新するように構成されている。

【0074】

第3の更新ユニット635は、すべての隣接符号化ブロックがインター符号化ブロックであると判別すると、隣接インター符号化ブロックの画像データを不変値に更新するように構成されている。

【0075】

第4の更新ユニット636は、すべての隣接符号化ブロックの画像データを不変値に更新するように構成されている。

【0076】

画像データを処理するのに使用される装置600の第1の割出しモジュール610、第2の割出しモジュール620、および符号化モジュール640は、画像データを処理するのに使用される装置500の第1の割出しモジュール510、第2の割出しモジュール520、および符号化モジュール540に類似である。画像データを処理するのに使用される装置500および600の、先の動作および/または機能ならびに他の動作および/または機能は、それぞれ、図2から図5のすべての方法の対応するプロシージャを遂行するように意図されており、これらは、簡潔さのために本明細書には説明されない。

【0077】

本発明の実施形態において、画像を復号するのに使用される装置によれば、隣接インター符号化ブロックの画像データが更新され、現行のイントラ符号化ブロックは、更新された画像データを用いて符号化され、または復号され、その結果、イントラ符号化ブロックによって参照されるインター符号化ブロックが、イントラ符号化ブロックに累積誤差を渡さなくなり、それによってイントラ符号化ブロックのエラー回復能力が改善され、画像データの復号の品質および効率が改善される。

【0078】

図9は、本発明の一実施形態による、画像を復号するための装置のブロック図である。図9に示されるように、画像を復号するのに使用される装置700は、第1の割出しモジュール710、第2の割出しモジュール720、更新モジュール730、および復号モジュール740を含む。

【0079】

第1の割出しモジュール710は、現行の各インター符号化フレームの中で、条件付きイントラ予測方法を用いる現行のイントラ符号化ブロックを判別するように構成されている。

【0080】

第2の割出しモジュール720は、現行のイントラ符号化ブロック近傍の隣接符号化ブロックが、隣接インター符号化ブロックを含んでいると判別するように構成されている。

【0081】

更新モジュール730は、不変値または隣接符号化ブロックに含まれている隣接イントラ符号化ブロックの画像データに基づいて、隣接インター符号化ブロックの画像データを更新するように構成されている。

【0082】

符号化モジュール740は、隣接インター符号化ブロックの更新された画像データに基づいて、現行のイントラ符号化ブロックを復号するように構成されている。

【0083】

任意選択で、図10に示されるように、復号するのに使用される装置800は、第1の割出しモジュール810、第2の割出しモジュール820、更新モジュール830、および復号モジュール840を含む。更新モジュール830は、第1の割出しユニット831と第1の更新ユニット832、第2の割出しユニット833と第2の更新ユニット834、第3の更新ユニット835、および第4の更新ユニット836といったユニットまたはユニットの組合せの1つまたは複数をさらに含んでよい。更新モジュール830に含まれているすべてのユニットは、画像を復号するのに使用される装置600の更新モジュール630に類似である。復号するのに使用される装置700および800の、先の動作および/または機能ならびに他の動作および/または機能は、それぞれ、図2から図5のすべての方法の対応するプロシージャを遂行するように意図されており、これらは、簡潔さのために、本明細書には説明されない。

【0084】

本発明の実施形態において、復号するのに使用される装置によれば、隣接インター符号化ブロックの画像データが更新され、現行のイントラ符号化ブロックは、更新された画像データを用いて符号化され、または復号され、その結果、イントラ符号化ブロックによって参照されるインター符号化ブロックが、イントラ符号化ブロックに累積誤差を渡さなくなり、それによってイントラ符号化ブロックのエラー回復能力が改善され、画像データの復号の品質および効率が改善される。

【0085】

図11は、本発明の一実施形態によって画像データを処理する装置のブロック図である。図11に示されるように、画像データを処理するのに使用される装置900は、
現行の符号化対象のすべての符号化ブロックが、条件付きイントラ予測方法を用いると判別するように構成された第1の割出しモジュール910と、
現行のイントラ符号化ブロック近傍の各隣接符号化ブロックの中で、現行のイントラ符号化ブロックとは別の符号化対象に属する特定の隣接符号化ブロックを判別するように構成された第2の割出しモジュール920と、
この特定の隣接符号化ブロックが、符号化するのにフレーム間符号化方法を用いる隣接インター符号化ブロックであると判別するように構成された第3の割出しモジュール930と、
不変値または隣接符号化ブロックに含まれている隣接イントラ符号化ブロックの画像データに基づいて、隣接インター符号化ブロックの画像データを更新するように構成された更新モジュール940と、
隣接インター符号化ブロックの更新された画像データに基づいて、現行のイントラ符号化ブロックを符号化する、または復号するように構成された符号化/復号モジュール950とを含む。

【0086】

あるいは、更新モジュール940は、第1の割出しユニット941と第1の更新ユニット942、第2の割出しユニット943と第2の更新ユニット944、第3の更新ユニット945、および第4の更新ユニット946といったユニットまたはユニットの組合せの1つまたは複数をさらに含んでもよい。これらのユニットは、更新モジュール630または更新モジュール830のすべてのユニットに類似である。画像データを処理するのに使用される装置900は、それぞれ、先の、また他の動作および/または機能が、図6のすべての方法の更新対応するプロシージャを遂行するように意図されており、これらは、簡潔さのために本明細書には説明されない。

【0087】

本発明の実施形態において、画像データを処理するのに使用される装置によれば、隣接インター符号化ブロックの画像データが更新され、現行のイントラ符号化ブロックは、更新された画像データを用いて符号化され、または復号され、その結果、イントラ符号化ブロックによって参照されるインター符号化ブロックが、イントラ符号化ブロックに累積誤差を渡さなくなり、それによってイントラ符号化ブロックのエラー回復能力が改善され、画像データの復号の品質および効率が改善される。

【0088】

当業者なら、本明細書で開示された実施形態と組み合わせて説明された方法の各ステップおよびユニットは、電子式ハードウェア、コンピュータソフトウェア、またはその組合せによって実施され得ることを理解するはずである。ハードウェアとソフトウェアの間の互換性を明確に説明するために、上記のものは、それぞれの実施形態の構成およびステップを、機能によって全般的に説明している。これらの機能が、ハードウェアとソフトウェアのどちらで実行されるかということは、技術的解決策の特定の用途および設計制約条件の状況に依拠する。当業者なら、それぞれの特定の用途向けに、説明された機能を実施するのに異なる方法を用いることができるが、その実装形態が本発明の範囲を越えると考えるべきではない。

【0089】

本明細書に開示された実施形態と組み合わせて説明された方法または各ステップは、ハードウェア、もしくはプロセッサによって実行されるソフトウェアプログラム、またはその組合せを使用することによって実施されてよい。ソフトウェアプログラムは、ランダムアクセスメモリ(RAM)、メモリ、読取り専用メモリ(ROM)、電気的プログラム可能なROM、電気的消去可能なプログラマブルROM、レジスタ、ハードディスク、取外し可能磁気ディスク、CD-ROM、またはこの技術分野で周知のその他の形式の記憶媒体に配置されてよい。

【0090】

本発明が、好ましい実施形態と組み合わせて、添付図面を参照しながら詳細に説明されてきたが、本発明はこれらに限定されない。当業者によって、本発明の実施形態に対して、本発明の趣旨および本質から逸脱することなく行なわれるさまざまな等価な変更または置換は、本発明の範囲内に入るものとする。

【符号の説明】

【0091】

500 装置
510 第1の割出しモジュール
520 第2の割出しモジュール
530 更新モジュール
540 符号化モジュール
600 装置
610 第1の割出しモジュール
620 第2の割出しモジュール
630 更新モジュール
631 第1の割出しユニット
632 第1の更新ユニット
633 第2の割出しユニット
634 第2の更新ユニット
635 第3の更新ユニット
636 第4の更新ユニット
640 符号化モジュール
700 装置
710 第1の割出しモジュール
720 第2の割出しモジュール
730 更新モジュール
730 更新モジュール
800 装置
810 第1の割出しモジュール
820 第2の割出しモジュール
830 更新モジュール
831 第1の割出しユニット
832 第1の更新ユニット
833 第2の割出しユニット
834 第2の更新ユニット
835 第3の更新ユニット
836 第4の更新ユニット
840 復号モジュール
900 装置
910 第1の割出しモジュール
920 第2の割出しモジュール
930 第3の割出しモジュール
940 更新モジュール
941 第1の割出しユニット
942 第1の更新ユニット
943 第2の割出しユニット
944 第2の更新ユニット
945 第3の更新ユニット
946 第4の更新ユニット
950 符号化モジュール

【図2】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図1】

【図3】

【図4】