知財求人 - 知財ポータルサイト「IP Force」
特許7487185少なくとも１つの画像を表すデータストリームを符号化および復号するための方法およびデバイス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-10
(45)【発行日】2024-05-20
(54)【発明の名称】少なくとも１つの画像を表すデータストリームを符号化および復号するための方法およびデバイス
(51)【国際特許分類】
H04N 19/82 20140101AFI20240513BHJP
【ＦＩ】
H04N19/82
【請求項の数】
18
(21)【出願番号】P 2021515568
(86)(22)【出願日】2019-09-03
(65)【公表番号】
(43)【公表日】2022-01-06
(86)【国際出願番号】 FR2019052029
(87)【国際公開番号】W WO2020058595
(87)【国際公開日】2020-03-26
【審査請求日】2022-07-01
(31)【優先権主張番号】1858573
(32)【優先日】2018-09-21
(33)【優先権主張国・地域又は機関】FR
(73)【特許権者】
【識別番号】591034154
【氏名又は名称】オランジュ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】フェリックス・アンリ
(72)【発明者】
【氏名】モーセン・アブドリ
(72)【発明者】
【氏名】ゴルドン・クレール
(72)【発明者】
【氏名】ピエリック・フィリップ
【審査官】間宮 嘉誉
(56)【参考文献】
【文献】特表２０１４－５１６２１９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１３／０１０１０２５（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１２／０２８７９９４（ＵＳ，Ａ１）
【文献】米国特許第９２５３５０８（ＵＳ，Ｂ２）
【文献】特表２０２２－５１２０９０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
少なくとも1つの画像を表すコード化データストリームを復号するための方法であって、前記画像がブロックに分割され、前記復号方法が、現在ブロックと称される、前記画像の少なくとも1つのブロックに対して、- 少なくとも第1のコーディングモードおよび第2のコーディングモードのうちの前記現在ブロックのコーディングモードを示す情報の項目を復号するステップ(E42)であって、前記第2のコーディングモードが、前記現在ブロックの変換された予測残差を逆変換することによらずに、前記現在ブロックのピクセルごとに、
- 以前に復号された別のピクセルから前記ピクセルの予測を取得することであって、前記以前に復号された別のピクセルが、前記現在ブロック、または前記画像の以前に復号されたブロックに属する、こと、
- 前記ピクセルに関連する予測残差を復号すること、および
- 取得された前記ピクセルの前記予測、および前記ピクセルに関連する前記復号された予測残差から、前記ピクセルを再構成すること
によって、前記現在ブロックがそれに従って復号される(E44)コーディングモードである、復号するステップ(E42)と、
- 情報の前記復号された項目によって示される前記コーディングモードに従って前記現在ブロックを復号するステップ(E44，E43)と、
- 前記現在ブロックの前記コーディングモードが、前記第2のコーディングモードとは異なるコーディングモードに対応するとき、前記再構成された現在ブロックに少なくとも1つの処理方法を適用するステップと、
- 前記現在ブロックの前記コーディングモードが前記第2のコーディングモードに対応するとき、前記現在ブロックの少なくとも1つのピクセルに対して、前記再構成された現在ブロックへの前記少なくとも1つの処理方法の前記適用を無効にするステップと
を含む、方法。
【請求項2】
少なくとも1つの画像を表すデータストリームを符号化するための方法であって、前記画像がブロックに分割され、前記符号化方法が、現在ブロックと称される、前記画像の少なくとも1つのブロックに対して、- 少なくとも第1のコーディングモードおよび第2のコーディングモードのうちの前記現在ブロックのコーディングモードを示す情報の項目をコーディングするステップ(E20)であって、前記第2のコーディングモードが、前記現在ブロックの予測残差を変換することによらずに、前記現在ブロックのピクセルごとに、
- 以前に復号された別のピクセルから前記ピクセルの予測を取得すること(E222)であって、前記以前に復号された別のピクセルが、前記現在ブロック、または前記画像の以前に復号されたブロックに属する、こと(E222)、
- 前記ピクセルの前記予測から取得された、前記ピクセルに関連する予測残差をコーディングすること(E223)、および
- 前記ピクセルに関連する前記復号された予測残差、および前記ピクセルの前記予測から、前記ピクセルを再構成すること
によって、前記現在ブロックがそれに従ってコーディングされる(E22)コーディングモードである、コーディングするステップ(E20)と、
- 情報の前記コーディングされる項目によって示される前記コーディングモードに従って前記現在ブロックをコーディングするステップ(E21，E22)と、
- 前記現在ブロックの前記コーディングモードが、前記第2のコーディングモードとは異なるコーディングモードに対応するとき、前記再構成された現在ブロックに少なくとも1つの処理方法を適用するステップと、
- 前記現在ブロックの前記コーディングモードが前記第2のコーディングモードに対応するとき、前記現在ブロックの少なくとも1つのピクセルに対して、前記再構成された現在ブロックへの前記少なくとも1つの処理方法の前記適用を無効にするステップと
を含む、方法。
【請求項3】
前記処理方法が、前記画像の中の再構成された隣接ブロックとの前記再構成された現在ブロックの境界に位置する、前記再構成された現在ブロックの前記ピクセルに適用されるデブロッキングフィルタ処理である、請求項1に記載の方法。
【請求項4】
- 前記現在ブロックが前記第2のコーディングモードに従って復号されるとき、- 前記再構成された現在ブロックへの前記デブロッキングフィルタ処理の前記適用が、前記再構成された現在ブロックのすべてのピクセルに対して無効にされ、
- 前記現在ブロックが、前記第2のコーディングモードとは異なるコーディングモードに従って復号されるとき、
- 前記ピクセルが、前記画像の中の再構成された隣接ブロックとの前記再構成された現在ブロックの境界に位置する場合、かつ前記隣接ブロックが、前記第2のコーディングモードとは異なるコーディングモードに従って復号される場合、前記デブロッキングフィルタ処理が、前記再構成された現在ブロックのピクセルに適用される、請求項3に記載の方法。
【請求項5】
- 前記現在ブロックが前記第2のコーディングモードに従って復号されるとき、- 前記ピクセルが、前記画像の中の隣接ブロックとの前記再構成された現在ブロックの境界に位置する場合、かつ前記隣接ブロックが、前記第2のコーディングモードに従って復号される場合、前記再構成された現在ブロックへの前記デブロッキングフィルタ処理の前記適用が、前記再構成された現在ブロックのピクセルに対して無効にされ、
- 前記ピクセルが、前記画像の中の再構成された隣接ブロックとの前記再構成された現在ブロックの境界に位置する場合、かつ前記隣接ブロックが、前記第2のコーディングモードとは異なるコーディングモードに従って復号される場合、前記デブロッキングフィルタ処理が、前記再構成された現在ブロックのピクセルに適用される、請求項3に記載の方法。
【請求項6】
前記処理方法が、前記データストリームから復号される情報の項目から取得された値を、前記ピクセルの再構成された値に加算することによって、前記再構成された現在ブロックの少なくとも1つのピクセルを修正するための方法である、請求項1に記載の方法。
【請求項7】
前記現在ブロックが前記第2のコーディングモードに従って復号されるとき、前記再構成された現在ブロックへの前記修正方法の前記適用が、前記再構成された現在ブロックのすべてのピクセルに対して無効にされる、請求項6に記載の方法。
【請求項8】
前記処理方法が、前記画像の中の再構成された隣接ブロックとの前記再構成された現在ブロックの境界に位置する、前記再構成された現在ブロックの前記ピクセルに適用されるデブロッキングフィルタ処理である、請求項2に記載の方法。
【請求項9】
- 前記現在ブロックが前記第2のコーディングモードに従ってコーディングされるとき、- 前記再構成された現在ブロックへの前記デブロッキングフィルタ処理の前記適用が、前記再構成された現在ブロックのすべてのピクセルに対して無効にされ、
- 前記現在ブロックが、前記第2のコーディングモードとは異なるコーディングモードに従ってコーディングされるとき、
- 前記ピクセルが、前記画像の中の再構成された隣接ブロックとの前記再構成された現在ブロックの境界に位置する場合、かつ前記隣接ブロックが、前記第2のコーディングモードとは異なるコーディングモードに従ってコーディングされる場合、前記デブロッキングフィルタ処理が、前記再構成された現在ブロックのピクセルに適用される、請求項8に記載の方法。
【請求項10】
- 前記現在ブロックが前記第2のコーディングモードに従って符号化されるとき、- 前記ピクセルが、前記画像の中の隣接ブロックとの前記再構成された現在ブロックの境界に位置する場合、かつ前記隣接ブロックが、前記第2のコーディングモードに従ってコーディングされる場合、前記再構成された現在ブロックへの前記デブロッキングフィルタ処理の前記適用が、前記再構成された現在ブロックのピクセルに対して無効にされ、
- 前記ピクセルが、前記画像の中の再構成された隣接ブロックとの前記再構成された現在ブロックの境界に位置する場合、かつ前記隣接ブロックが、前記第2のコーディングモードとは異なるコーディングモードに従ってコーディングされる場合、前記デブロッキングフィルタ処理が、前記再構成された現在ブロックのピクセルに適用される、請求項8に記載の方法。
【請求項11】
前記処理方法が、前記データストリームの中に符号化される情報の項目から取得された値を、前記ピクセルの再構成された値に加算することによって、前記再構成された現在ブロックの少なくとも1つのピクセルを修正するための方法である、請求項2に記載の方法。
【請求項12】
前記現在ブロックが前記第2のコーディングモードに従って符号化されるとき、前記再構成された現在ブロックへの前記修正方法の前記適用が、前記再構成された現在ブロックのすべてのピクセルに対して無効にされる、請求項11に記載の方法。
【請求項13】
少なくとも1つの画像を表す符号化データストリームを復号するためのデバイスであって、前記画像がブロックに分割され、前記復号デバイスが、現在ブロックと称される、前記画像の少なくとも1つのブロックに対して、- 少なくとも第1のコーディングモードおよび第2のコーディングモードのうちの前記現在ブロックのコーディングモードを示す情報の項目を復号することであって、前記第2のコーディングモードが、前記現在ブロックの変換された予測残差を逆変換することによらずに、前記現在ブロックのピクセルごとに、
- 以前に復号された別のピクセルから前記ピクセルの予測を取得することであって、前記以前に復号された別のピクセルが、前記現在ブロック、または前記画像の以前に復号されたブロックに属する、こと、
- 前記ピクセルに関連する予測残差を復号すること、および
- 取得された前記ピクセルの前記予測、および前記ピクセルに関連する前記復号された予測残差から、前記ピクセルを再構成すること
によって、前記現在ブロックがそれに従って復号されるコーディングモードである、復号することと、
- 情報の前記復号された項目によって示される前記コーディングモードに従って前記現在ブロックを復号することと、
- 前記現在ブロックの前記コーディングモードが、前記第2のコーディングモードとは異なるコーディングモードに対応するとき、前記再構成された現在ブロックに少なくとも1つの処理方法を適用することと、
- 前記現在ブロックの前記コーディングモードが前記第2のコーディングモードに対応するとき、前記現在ブロックの少なくとも1つのピクセルに対して、前記再構成された現在ブロックへの前記少なくとも1つの処理方法の前記適用を無効にすることと
を行うように構成されたプロセッサ(PROC0)を備える、デバイス。
【請求項14】
少なくとも1つの画像を表すデータストリームを符号化するためのデバイスであって、前記画像がブロックに分割され、前記符号化デバイスが、現在ブロックと称される、前記画像の少なくとも1つのブロックに対して、- 少なくとも第1のコーディングモードおよび第2のコーディングモードのうちの前記現在ブロックのコーディングモードを示す情報の項目をコーディングすることであって、前記第2のコーディングモードが、前記現在ブロックの予測残差を変換することによらずに、前記現在ブロックのピクセルごとに、
- 以前に復号された別のピクセルから前記ピクセルの予測を取得すること(E222)であって、前記以前に復号された別のピクセルが、前記現在ブロック、または前記画像の以前に復号されたブロックに属する、こと(E222)、
- 前記ピクセルの前記予測から取得された、前記ピクセルに関連する予測残差をコーディングすること(E223)、および
- 前記ピクセルに関連する前記復号された予測残差、および前記ピクセルの前記予測から、前記ピクセルを再構成すること
によって、前記現在ブロックがそれに従ってコーディングされるコーディングモードである、コーディングすることと、
- 情報の前記コーディングされる項目によって示される前記コーディングモードに従って前記現在ブロックをコーディングすることと、
- 前記現在ブロックの前記コーディングモードが、前記第2のコーディングモードとは異なるコーディングモードに対応するとき、前記再構成された現在ブロックに少なくとも1つの処理方法を適用することと、
- 前記現在ブロックの前記コーディングモードが前記第2のコーディングモードに対応するとき、前記現在ブロックの少なくとも1つのピクセルに対して、前記再構成された現在ブロックへの前記少なくとも1つの処理方法の前記適用を無効にすることと
を行うように構成されたプロセッサ(PROC)を備える、デバイス。
【請求項15】
コンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行されるとき、請求項1または3から7のいずれか一項に記載の復号方法を実施するための命令を含む、コンピュータプログラム。
【請求項16】
請求項15に記載のコンピュータプログラムの命令を格納したコンピュータ可読データ媒体。
【請求項17】
コンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行されるとき、請求項2または8から12のいずれか一項に記載の符号化方法を実施するための命令を含む、コンピュータプログラム。
【請求項18】
請求項17に記載のコンピュータプログラムの命令を格納したコンピュータ可読データ媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の分野は、画像または画像のシーケンスを、詳細には、ビデオストリームを符号化および復号する分野である。
【0002】
より詳細には、本発明は、画像のブロック表現を使用する、画像または画像のシーケンスの圧縮に関する。
【0003】
本発明は、特に、現在または将来のエンコーダ(JPEG、MPEG、H.264、HEVCなど、およびそれらの補正)において実施される画像コーディングまたはビデオコーディング、および対応する復号に適用され得る。
【背景技術】
【0004】
デジタル画像および画像のシーケンスは、メモリに関して多くの空間を占有し、そのことは、これらの画像を送信するとき、この送信のために使用されるネットワーク上での輻輳問題を回避するために、そうした画像を圧縮することを必要とする。
【0005】
ビデオデータを圧縮するための多くの技法がすでに知られている。これらの中で、HEVC圧縮規格(Matthias Wien，「High Efficiency Video Coding, Coding Tools and Specification」，Signals and Communication Technology，2015年)は、同じ画像(イントラ予測)または前もしくは後の画像(インター予測)に属する他のピクセルに対して、現在の画像のピクセルの予測を実施することを提案している。
【0006】
より具体的には、イントラ予測は画像内の空間的な冗長性を使用する。これを行うために、画像はピクセルのブロックに分割される。ピクセルのブロックは、次いで、画像の中のブロックの走査順序に従って、現在の画像の中の以前にコーディング/復号されたブロックに対応する、すでに再構成された情報を使用して予測される。
【0007】
さらに、標準的な方式では、現在ブロックのコーディングは、予測子ブロックと称される、現在ブロックの予測、および現在ブロックと予測子ブロックとの間の差分に対応する、予測残差または「残差ブロック」を使用して実行される。得られた残差ブロックは、次いで、たとえば、DCT(離散コサイン変換)タイプの変換を使用して変換される。変換された残差ブロックの係数は、次いで、量子化され、エントロピーコーディングによってコーディングされ、この残差ブロックを予測子ブロックに加算することによって現在ブロックを再構成できる、デコーダへ送信される。
【0008】
復号は、画像ごとに、かつ各画像に対してブロックごとに行われる。各ブロックに対して、ストリームの対応する要素が読み取られる。残差ブロックの係数の逆量子化および逆変換が実行される。次いで、予測子ブロックを取得するためにブロック予測が計算され、復号された残差ブロックに予測(すなわち、予測子ブロック)を加算することによって現在ブロックが再構成される。
【0009】
米国特許第9253508号では、イントラモードにおいてブロックをコーディングするためのDPCM(差分パルスコード変調)コーディング技法が、HEVCエンコーダの中に統合される。そのような技法は、以前に再構成されている同じブロックのピクセルの別のセットによってイントラブロックのピクセルのセットを予測することにある。米国特許第9253508号では、コーディングされるべきイントラブロックのピクセルのセットは、ブロックの行、もしくは列、または行および列に対応し、ピクセルのセットを予測するために使用されるイントラ予測は、HEVC規格において定義される方向性イントラ予測のうちの1つである。
【0010】
しかしながら、そのような技法は最適ではない。確かに、イントラブロックのピクセルのセットの再構成は、ロスレスコーディングの場合には予測残差の加算に相当し、したがって、かなり小さい圧縮率を示すか、または予測に役立つピクセルの前記他のセットの逆変換および/もしくは逆量子化の後の、予測残差の加算に相当するかの、いずれかである。したがって、そのような技法は、イントラブロックの各ピクセルが、局所的な予測関数を使用して予測されること、および後続のピクセルが予測される前に、予測されたピクセルが再構成されることを可能にしない。確かに、この技法は、ピクセルの別のセットを予測するためにピクセルのあるセット(たとえば、ブロックの行/列)が再構成されることを必要とする。言い換えれば、ブロックの一部の各予測および再構成を用いて、ブロックのいくつかのピクセルが予測および再構成される。
【0011】
その上、米国特許第9253508号では、たとえば、HEVC規格において定義されるように、どのように従来のイントラ予測モードを行い、DPCM予測モードが共存するのか、記載されていない。
【先行技術文献】
【特許文献】
【0012】
【文献】米国特許第9253508号明細書
【非特許文献】
【0013】
【文献】Matthias Wien，「High Efficiency Video Coding, Coding Tools and Specification」，Signals and Communication Technology，2015年
【文献】Andrey Norkinら，「HEVC deblocking filter」，IEEE Transactions on Circuits and Systems for Video Technology (第22巻, 発行: 2012年12月12日)，1746～1754頁，2012年10月5日
【文献】Chih-Ming Fu, Elena Alshina, Alexander Alshin, Yu-Wen Huang, Ching-Yeh Chen, Chia-Yang Tsai, Chih-Wei Hsu, Shaw-Min Lei, Jeong-Hoon Park, Woo-Jin Han，「Sample Adaptive Offset in the HEVC Standard」，IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY，第22巻，第12号，2012年12月，1755
【発明の概要】
【発明が解決しようとする課題】
【0014】
したがって、画像データまたはビデオデータの圧縮を改善するための新たなコーディング方法および復号方法が必要である。
【課題を解決するための手段】
【0015】
本発明は先行技術を改善する。この目的のために、本発明は、ブロックに分割される少なくとも1つの画像を表すコード化データストリームを復号するための方法に関する。そのような復号方法は、現在ブロックと称される、画像の少なくとも1つのブロックに対して、
- 少なくとも第1のコーディングモードおよび第2のコーディングモードのうちの現在ブロックのコーディングモードを示す情報の項目を復号することであって、第2のコーディングモードが、現在ブロックのピクセルごとに、
- 以前に復号された別のピクセルから前記ピクセルの予測を取得することであって、前記以前に復号された別のピクセルが、前記現在ブロック、または画像の以前に復号されたブロックに属する、こと、
- 前記ピクセルに関連する予測残差を復号すること、および
- 取得された前記ピクセルの予測、および前記ピクセルに関連する復号された予測残差から、前記ピクセルを再構成すること
によって、現在ブロックがそれに従って復号されるコーディングモードである、復号することと、
- 情報の復号された項目によって示されるコーディングモードに従って現在ブロックを復号することと、
- 現在ブロックのコーディングモードが、第2のコーディングモードとは異なるコーディングモードに対応するとき、再構成された現在ブロックに少なくとも1つの処理方法を適用することと、
- 現在ブロックのコーディングモードが第2のコーディングモードに対応するとき、前記現在ブロックの少なくとも1つのピクセルに対して、再構成された現在ブロックへの前記少なくとも1つの処理方法の適用を無効にすることと
を含む。
- 少なくとも第1のコーディングモードおよび第2のコーディングモードのうちの現在ブロックのコーディングモードを示す情報の項目を復号することであって、第2のコーディングモードが、現在ブロックのピクセルごとに、
- 以前に復号された別のピクセルから前記ピクセルの予測を取得することであって、前記以前に復号された別のピクセルが、前記現在ブロック、または画像の以前に復号されたブロックに属する、こと、
- 前記ピクセルに関連する予測残差を復号すること、および
- 取得された前記ピクセルの予測、および前記ピクセルに関連する復号された予測残差から、前記ピクセルを再構成すること
によって、現在ブロックがそれに従って復号されるコーディングモードである、復号することと、
- 情報の復号された項目によって示されるコーディングモードに従って現在ブロックを復号することと、
- 現在ブロックのコーディングモードが、第2のコーディングモードとは異なるコーディングモードに対応するとき、再構成された現在ブロックに少なくとも1つの処理方法を適用することと、
- 現在ブロックのコーディングモードが第2のコーディングモードに対応するとき、前記現在ブロックの少なくとも1つのピクセルに対して、再構成された現在ブロックへの前記少なくとも1つの処理方法の適用を無効にすることと
を含む。
【0016】
したがって、本発明によれば、再構成されたブロックに対する処理動作の適用は、同じブロックの以前に再構成されたピクセルからのピクセル予測を使用するコーディングモードに従って復号されたブロックの場合には実行されない。このコーディングモードによれば、各ピクセルに関連する予測残差は変換されない。処理方法は、たとえば、変換を伴う予測残差コーディングに起因するブロック間の不連続性の影響を低減すること(デブロッキングフィルタ)によって、または各ピクセルの個々の値を修正すること(サンプル適応オフセットすなわちSAOとも称される)によって、ピクセルの再構成されたブロックの品質を改善することを目的とする。
【0017】
本発明によれば、各ピクセルに関連する予測残差は、ピクセル再構成のために直ちに利用可能でなければならず、そのため、現在ブロックの後続のピクセルを予測するために使用され得るので、第2のコーディングモードは予測残差変換を使用しない。したがって、現在ブロックが第2のコーディングモードに従って復号されるとき、この現在ブロックの境界における不連続性を低減することは必要でない。同様に、現在ブロックが第2のコーディングモードを使用して復号されるとき、各ピクセルの値は、各ピクセルに関連する予測残差を使用して個別にコーディングされる。したがって、各ピクセルの値を修正することは必要でない。
【0018】
再構成されたブロックに適用される処理方法は、通常、ブロックレベルでのパラメータの送信を必要とする。第2のコーディングモードに従ってコーディングされるブロックに対してこれらの処理方法を無効にすることは、そのようにレートの向上を可能にする。その上、これらの処理方法がこれらのブロックに対して適用されないので、復号プロセスは大幅に加速され得る。
【0019】
本発明はまた、ブロックに分割される少なくとも1つの画像を表すデータストリームをコーディングするための方法に関する。そのようなコーディング方法は、現在ブロックと称される、画像の少なくとも1つのブロックに対して、
- 少なくとも第1のコーディングモードおよび第2のコーディングモードのうちの現在ブロックのコーディングモードを示す情報の項目をコーディングすることであって、第2のコーディングモードが、現在ブロックのピクセルごとに、
- 以前に復号された別のピクセルから前記ピクセルの予測を取得することであって、前記以前に復号された別のピクセルが、前記現在ブロック、または画像の以前に復号されたブロックに属する、こと、
- 前記ピクセルの予測から取得された、前記ピクセルに関連する予測残差をコーディングすること、および
- 前記ピクセルに関連する復号された予測残差、および前記ピクセルの予測から、前記ピクセルを再構成すること
によって、現在ブロックがそれに従ってコーディングされるコーディングモードである、コーディングすることと、
- 情報のコーディングされる項目によって示されるコーディングモードに従って現在ブロックをコーディングすることと、
- 現在ブロックのコーディングモードが、第2のコーディングモードとは異なるコーディングモードに対応するとき、再構成された現在ブロックに少なくとも1つの処理方法を適用することと、
- 現在ブロックのコーディングモードが第2のコーディングモードに対応するとき、前記現在ブロックの少なくとも1つのピクセルに対して、再構成された現在ブロックへの前記少なくとも1つの処理方法の適用を無効にすることと
を含む。
- 少なくとも第1のコーディングモードおよび第2のコーディングモードのうちの現在ブロックのコーディングモードを示す情報の項目をコーディングすることであって、第2のコーディングモードが、現在ブロックのピクセルごとに、
- 以前に復号された別のピクセルから前記ピクセルの予測を取得することであって、前記以前に復号された別のピクセルが、前記現在ブロック、または画像の以前に復号されたブロックに属する、こと、
- 前記ピクセルの予測から取得された、前記ピクセルに関連する予測残差をコーディングすること、および
- 前記ピクセルに関連する復号された予測残差、および前記ピクセルの予測から、前記ピクセルを再構成すること
によって、現在ブロックがそれに従ってコーディングされるコーディングモードである、コーディングすることと、
- 情報のコーディングされる項目によって示されるコーディングモードに従って現在ブロックをコーディングすることと、
- 現在ブロックのコーディングモードが、第2のコーディングモードとは異なるコーディングモードに対応するとき、再構成された現在ブロックに少なくとも1つの処理方法を適用することと、
- 現在ブロックのコーディングモードが第2のコーディングモードに対応するとき、前記現在ブロックの少なくとも1つのピクセルに対して、再構成された現在ブロックへの前記少なくとも1つの処理方法の適用を無効にすることと
を含む。
【0020】
本発明の特定の実施形態によれば、処理方法は、画像の中の再構成された隣接ブロックとの再構成された現在ブロックの境界に位置する、再構成された現在ブロックのピクセルに適用されるデブロッキングフィルタ処理である。本発明のこの特定の実施形態によれば、処理方法は、従来はブロック間の不連続性の影響を低減するためにブロック境界において適用される「デブロッキング」フィルタに相当する。
【0021】
本発明の特定の実施形態によれば、
- 現在ブロックが第2のコーディングモードに従って復号またはコーディングされるとき、
- 再構成された現在ブロックへのデブロッキングフィルタ処理の適用は、再構成された現在ブロックのすべてのピクセルに対して無効にされ、
- 現在ブロックが、第2のコーディングモードとは異なるコーディングモードに従って復号またはコーディングされるとき、
- 前記ピクセルが、画像の中の再構成された隣接ブロックとの前記再構成された現在ブロックの境界に位置する場合、かつ前記隣接ブロックが、第2のコーディングモードとは異なるコーディングモードに従って復号またはコーディングされる場合、デブロッキングフィルタ処理は、再構成された現在ブロックのピクセルに適用される。
- 現在ブロックが第2のコーディングモードに従って復号またはコーディングされるとき、
- 再構成された現在ブロックへのデブロッキングフィルタ処理の適用は、再構成された現在ブロックのすべてのピクセルに対して無効にされ、
- 現在ブロックが、第2のコーディングモードとは異なるコーディングモードに従って復号またはコーディングされるとき、
- 前記ピクセルが、画像の中の再構成された隣接ブロックとの前記再構成された現在ブロックの境界に位置する場合、かつ前記隣接ブロックが、第2のコーディングモードとは異なるコーディングモードに従って復号またはコーディングされる場合、デブロッキングフィルタ処理は、再構成された現在ブロックのピクセルに適用される。
【0022】
本発明のこの特定の実施形態によれば、デブロッキングフィルタ処理は、第2のコーディングモードとは異なるコーディングモードに従ってその両方がコーディングまたは復号される2つのブロックの境界におけるピクセルにしか適用されない。言い換えれば、第2のコーディングモードとは異なるコーディングモードに従ってコーディングまたは復号される現在ブロックの場合、第2のコーディングモードに従ってコーディングまたは復号される隣接ブロックとの境界に位置する、再構成された現在ブロックのピクセルに対して、デブロッキングフィルタ処理は無効にされる。
【0023】
本発明の別の特定の実施形態によれば、現在ブロックが第2のコーディングモードに従って復号またはコーディングされるとき、
- 前記ピクセルが、画像の中の隣接ブロックとの前記再構成された現在ブロックの境界に位置する場合、かつ前記隣接ブロックが、第2のコーディングモードに従って復号またはコーディングされる場合、再構成された現在ブロックへのデブロッキングフィルタ処理の適用は、再構成された現在ブロックのピクセルに対して無効にされ、
- 前記ピクセルが、画像の中の再構成された隣接ブロックとの前記再構成された現在ブロックの境界に位置する場合、かつ前記隣接ブロックが、第2のコーディングモードとは異なるコーディングモードに従って復号またはコーディングされる場合、デブロッキングフィルタ処理は、再構成された現在ブロックのピクセルに適用される。
- 前記ピクセルが、画像の中の隣接ブロックとの前記再構成された現在ブロックの境界に位置する場合、かつ前記隣接ブロックが、第2のコーディングモードに従って復号またはコーディングされる場合、再構成された現在ブロックへのデブロッキングフィルタ処理の適用は、再構成された現在ブロックのピクセルに対して無効にされ、
- 前記ピクセルが、画像の中の再構成された隣接ブロックとの前記再構成された現在ブロックの境界に位置する場合、かつ前記隣接ブロックが、第2のコーディングモードとは異なるコーディングモードに従って復号またはコーディングされる場合、デブロッキングフィルタ処理は、再構成された現在ブロックのピクセルに適用される。
【0024】
本発明のこの他の特定の実施形態によれば、デブロッキングフィルタ処理は、そのブロックのうちの少なくとも一方が第2のコーディングモードとは異なるコーディングモードに従ってコーディングまたは復号される、2つのブロックの境界に位置するピクセルに適用される。しかしながら、第2のコーディングモードに従ってその両方がコーディングまたは復号される2つのブロックの境界に位置するピクセルに対して、デブロッキングフィルタ処理は無効にされる。
【0025】
本発明のこの特定の実施形態は、これらが第2のコーディングモードに従ってコーディングまたは復号された再構成されたブロックの近隣であるときでも、第1のコーディングモード、または第2のコーディングモードとは異なる任意の他のコーディングモードに従ってコーディングまたは復号される、ブロックに対するブロック効果を平滑化する。
【0026】
本発明の別の特定の実施形態によれば、処理方法は、データストリームの中でコーディングされるかまたはデータストリームから復号される、情報の項目から取得された値を、前記ピクセルの再構成された値に加算することによって、再構成された現在ブロックの少なくとも1つのピクセルを修正するための方法である。本発明のこの特定の実施形態によれば、処理方法は、HEVC圧縮規格に統合されているSAO法に相当する。
【0027】
本発明の特定の実施形態によれば、現在ブロックが第2のコーディングモードに従って復号またはコーディングされるとき、再構成された現在ブロックへの前記修正方法の適用は、再構成された現在ブロックのすべてのピクセルに対して無効にされる。
【0028】
本発明はまた、上で規定した特定の実施形態のうちのいずれか1つによる復号方法を実施するように構成された復号デバイスに関する。この復号デバイスは、当然、本発明による復号方法に関係する様々な特性を備えることができる。したがって、この復号デバイスの特性および利点は、復号方法のものと同じであり、これ以上は詳述されない。
【0029】
復号デバイスは、具体的には、現在ブロックと称される、画像の少なくとも1つのブロックに対して、
- 少なくとも第1のコーディングモードおよび第2のコーディングモードのうちの現在ブロックのコーディングモードを示す情報の項目を復号することであって、第2のコーディングモードが、現在ブロックのピクセルごとに、
- 以前に復号された別のピクセルから前記ピクセルの予測を取得することであって、前記以前に復号された別のピクセルが、前記現在ブロック、または画像の以前に復号されたブロックに属する、こと、
- 前記ピクセルに関連する予測残差を復号すること、および
- 取得された前記ピクセルの予測、および前記ピクセルに関連する復号された予測残差から、前記ピクセルを再構成すること
によって、現在ブロックがそれに従って復号されるコーディングモードである、復号することと、
- 情報の復号された項目によって示されるコーディングモードに従って現在ブロックを復号することと、
- 現在ブロックのコーディングモードが、第2のコーディングモードとは異なるコーディングモードに対応するとき、再構成された現在ブロックに少なくとも1つの処理方法を適用することと、
- 現在ブロックのコーディングモードが第2のコーディングモードに対応するとき、前記現在ブロックの少なくとも1つのピクセルに対して、再構成された現在ブロックへの前記少なくとも1つの処理方法の適用を無効にすることと
を行うように構成されたプロセッサを備える。
- 少なくとも第1のコーディングモードおよび第2のコーディングモードのうちの現在ブロックのコーディングモードを示す情報の項目を復号することであって、第2のコーディングモードが、現在ブロックのピクセルごとに、
- 以前に復号された別のピクセルから前記ピクセルの予測を取得することであって、前記以前に復号された別のピクセルが、前記現在ブロック、または画像の以前に復号されたブロックに属する、こと、
- 前記ピクセルに関連する予測残差を復号すること、および
- 取得された前記ピクセルの予測、および前記ピクセルに関連する復号された予測残差から、前記ピクセルを再構成すること
によって、現在ブロックがそれに従って復号されるコーディングモードである、復号することと、
- 情報の復号された項目によって示されるコーディングモードに従って現在ブロックを復号することと、
- 現在ブロックのコーディングモードが、第2のコーディングモードとは異なるコーディングモードに対応するとき、再構成された現在ブロックに少なくとも1つの処理方法を適用することと、
- 現在ブロックのコーディングモードが第2のコーディングモードに対応するとき、前記現在ブロックの少なくとも1つのピクセルに対して、再構成された現在ブロックへの前記少なくとも1つの処理方法の適用を無効にすることと
を行うように構成されたプロセッサを備える。
【0030】
本発明の特定の実施形態によれば、そのような復号デバイスは、端末の中に備えられる。
【0031】
本発明はまた、上で規定した特定の実施形態のうちのいずれか1つによる符号化方法を実施するように構成された符号化デバイスに関する。この符号化デバイスは、当然、本発明による符号化方法に関係する様々な特性を備えることができる。したがって、この符号化デバイスの特性および利点は、符号化方法のものと同じであり、これ以上は詳述されない。
【0032】
符号化デバイスは、具体的には、現在ブロックと称される、画像の少なくとも1つのブロックに対して、
- 少なくとも第1のコーディングモードおよび第2のコーディングモードのうちの現在ブロックのコーディングモードを示す情報の項目をコーディングすることであって、第2のコーディングモードが、現在ブロックのピクセルごとに、
- 以前に復号された別のピクセルから前記ピクセルの予測を取得することであって、前記以前に復号された別のピクセルが、前記現在ブロック、または画像の以前に復号されたブロックに属する、こと、
- 前記ピクセルの予測から取得された、前記ピクセルに関連する予測残差をコーディングすること、および
- 前記ピクセルに関連する復号された予測残差、および前記ピクセルの予測から、前記ピクセルを再構成すること
によって、現在ブロックがそれに従ってコーディングされるコーディングモードである、コーディングすることと、
- 情報のコーディングされる項目によって示されるコーディングモードに従って現在ブロックをコーディングすることと、
- 現在ブロックのコーディングモードが、第2のコーディングモードとは異なるコーディングモードに対応するとき、再構成された現在ブロックに少なくとも1つの処理方法を適用することと、
- 現在ブロックのコーディングモードが第2のコーディングモードに対応するとき、前記現在ブロックの少なくとも1つのピクセルに対して、再構成された現在ブロックへの前記少なくとも1つの処理方法の適用を無効にすることと
を行うように構成されたプロセッサを備える。
- 少なくとも第1のコーディングモードおよび第2のコーディングモードのうちの現在ブロックのコーディングモードを示す情報の項目をコーディングすることであって、第2のコーディングモードが、現在ブロックのピクセルごとに、
- 以前に復号された別のピクセルから前記ピクセルの予測を取得することであって、前記以前に復号された別のピクセルが、前記現在ブロック、または画像の以前に復号されたブロックに属する、こと、
- 前記ピクセルの予測から取得された、前記ピクセルに関連する予測残差をコーディングすること、および
- 前記ピクセルに関連する復号された予測残差、および前記ピクセルの予測から、前記ピクセルを再構成すること
によって、現在ブロックがそれに従ってコーディングされるコーディングモードである、コーディングすることと、
- 情報のコーディングされる項目によって示されるコーディングモードに従って現在ブロックをコーディングすることと、
- 現在ブロックのコーディングモードが、第2のコーディングモードとは異なるコーディングモードに対応するとき、再構成された現在ブロックに少なくとも1つの処理方法を適用することと、
- 現在ブロックのコーディングモードが第2のコーディングモードに対応するとき、前記現在ブロックの少なくとも1つのピクセルに対して、再構成された現在ブロックへの前記少なくとも1つの処理方法の適用を無効にすることと
を行うように構成されたプロセッサを備える。
【0033】
本発明の特定の実施形態によれば、そのような符号化デバイスは、端末またはサーバの中に備えられる。
【0034】
本発明による復号方法、符号化方法はそれぞれ、様々な方法で、特に、配線された形態で、またはソフトウェア形態で、実施され得る。本発明の特定の実施形態によれば、復号方法、符号化方法はそれぞれ、コンピュータプログラムによって実施される。本発明はまた、前記プログラムがプロセッサによって実行されるとき、前に説明した特定の実施形態のうちのいずれか1つによる復号方法または符号化方法を実施するための命令を含むコンピュータプログラムに関する。そのようなプログラムは、任意のプログラミング言語を使用することができる。プログラムは、通信ネットワークからダウンロードされてよく、かつ/またはコンピュータ可読媒体上に記録されてよい。
【0035】
このプログラムは、任意のプログラミング言語を使用することができ、部分的にコンパイルされた形態をなす、または任意の他の望ましい形態をなすなどの、ソースコード、オブジェクトコード、またはソースコードとオブジェクトコードとの間の中間コードの形態をなすことができる。
【0036】
本発明はまた、上述のようなコンピュータプログラムの命令を格納したコンピュータ可読記憶媒体またはデータ媒体に関する。上述の記録媒体は、プログラムを記憶できる任意のエンティティまたはデバイスであり得る。たとえば、媒体はメモリなどの記憶手段を含むことができる。一方、記録媒体は、電気ケーブルもしくは光ケーブルを介して、無線によって、または他の手段によって搬送され得る、電気信号または光信号などの、伝送できる媒体に相当することができる。本発明によるプログラムは、具体的にはインターネットタイプのネットワーク上でダウンロードされ得る。
【0037】
代替として、記録媒体は、プログラムがその中に組み込まれる集積回路に相当することができ、回路は、当該の方法を実行するように、または当該の方法の実行において使用されるように適合される。
【0038】
簡単な例示的非制限的な例として提供される、特定の実施形態の以下の説明、および添付の図面を読むと、本発明の他の特性および利点がより明瞭に判明するであろう。
【図面の簡単な説明】
【0039】
【図1】本発明の特定の実施形態によるコーディング方法のステップを示す図である。
【図2】本発明の特定の実施形態による、イントラ予測モードを決定するための、現在ブロックの隣接ブロックの位置例を示す図である。
【図3】本発明の特定の実施形態による、現在ブロックのピクセルを予測するために使用される参照ピクセルの位置例を示す図である。
【図4】本発明の特定の実施形態による復号方法のステップを示す図である。
【図5A】本発明の特定の実施形態による、ピクセルが属するブロックのコーディングモードに従って後処理動作がそこでピクセルに適用されるかまたは適用されない、ピクセルの再構成されたブロックを示す図である。
【図5B】本発明の特定の実施形態による、ピクセルが属するブロックのコーディングモードに従って後処理動作がそこでピクセルに適用されるかまたは適用されない、ピクセルの再構成されたブロックを示す図である。
【図6】本発明の特定の実施形態のうちのいずれか1つによるコーディング方法を実施するように適合されたコーディングデバイスの簡略化された構造を示す図である。
【図7】本発明の特定の実施形態のうちのいずれか1つによる復号方法を実施するように適合された復号デバイスの簡略化された構造を示す図である。
【発明を実施するための形態】
【0040】
一般原理
後処理動作とも称される、画像を復号した後に実行される処理動作が、再構成される画像の品質を改善するためにビデオコーディング規格に統合される。たとえば、そのような後処理動作は、デブロッキングフィルタ処理の適用、またはSAO(サンプル適応オフセット)後処理動作にあり得る。
後処理動作とも称される、画像を復号した後に実行される処理動作が、再構成される画像の品質を改善するためにビデオコーディング規格に統合される。たとえば、そのような後処理動作は、デブロッキングフィルタ処理の適用、またはSAO(サンプル適応オフセット)後処理動作にあり得る。
【0041】
デブロッキングフィルタ処理により、各ブロックを復号した後、各ブロックの間に存在し、かつ人間の目がそれに対して極めて敏感な、不連続性を消去することが可能になる。一方、SAO処理動作により、復号されたブロックの各ピクセルの値が個別に修正されることが可能になる。
【0042】
これらの2つの後処理方法は、たとえば、HEVC圧縮規格の中に統合されており、圧縮および品質の向上をもたらす。
【0043】
しかしながら、本発明によれば、ILR(ループ内残差)コーディングと称される、画像のブロック用の新たなコーディングモードにより、有利なことにこれらの2つの後処理方法を不要にすることが可能になる。
【0044】
ブロック間の不連続性の影響に関して、そうした影響は主に変換の形態での従来の残差のコーディングに起因する。変換の基本ベクトルはブロック全体であり、ブロックの境界に沿ったピクセル値の個々の制御を可能にしない。しかしながら、ILRコーディングモードは、各ピクセルの強度が互いに独立してコーディングされることを可能にする。したがって、ブロック効果は観測されず、フィルタ処理は無用である。
【0045】
同様に、SAO処理動作は、従来のコーディングの後にいくつかのピクセルの個々の値を修正することを目的とする。しかも、後で説明するILRコーディングモードは、すでに各ピクセルの値が個別にコーディングされることを可能にする。したがって、これらのピクセルにとってSAO処理動作は必要とされない。
【0046】
しかしながら、ビデオシーケンスのコーディングコストを最適化するために、エンコーダが、コーディングされるべきブロックごとに、従来のコーディングモードとILRコーディングモードとの間で選ぶことができることが必要である。
【0047】
したがって、本発明の一般原理は、ブロックがILRコーディングモードに従ってコーディング/復号されたかどうかに応じて、再構成されたブロックへの後処理方法の適用をアクティブ化するか、またはアクティブ化しないことである。
【0048】
従来のコーディング方法、すなわち、ILR以外のコーディングモードによってコーディングされるブロックに対してのみ、デブロッキングおよび/またはSAO処理動作を有効にすることの、いくつかの利点がある。確かに、ILRコーディングモードに従ってコーディング/復号されるブロックに対して、デブロッキングフィルタまたはSAO処理動作に関係するシンタックス要素が送信されないので、このことは送信されるべきレートを低減する。このことはまた、ILRコーディングモードに従ってコーディング/復号されるブロックが、計算およびメモリリソースの観点から実施することが極めて煩雑なデブロッキングおよび/またはSAO処理ステップを適用することを必要としないので、復号を大幅に高速化する。
【0049】
実施形態
図1は、本発明の特定の実施形態によるコーディング方法のステップを示す。たとえば、画像のシーケンスI1、I2、…、INbは、本発明の特定の実施形態によるコード化データストリームSTRの形態をなしてコーディングされる。たとえば、そのようなコーディング方法は、図6に関して後で説明するようなコーディングデバイスによって実施される。
図1は、本発明の特定の実施形態によるコーディング方法のステップを示す。たとえば、画像のシーケンスI1、I2、…、INbは、本発明の特定の実施形態によるコード化データストリームSTRの形態をなしてコーディングされる。たとえば、そのようなコーディング方法は、図6に関して後で説明するようなコーディングデバイスによって実施される。
【0050】
画像のシーケンスI1、I2、…、INbがコーディング方法の入力として提供され、Nbはコーディングされるべきシーケンスの画像の数である。コーディング方法は、入力として提供された画像のシーケンスを表すコード化データストリームSTRを出力する。
【0051】
知られている方式では、画像のシーケンスI1、I2、…、INbのコーディングは、以前に確立されエンコーダに知られているコーディング順序に従って画像ごとに行われる。たとえば、画像は、時間的順序I1、I2、…、INbで、または別の順序、たとえば、I1、I3、I2、…、INbでコーディングされ得る。
【0052】
ステップE0において、画像のシーケンスI1、I2、…、INbのコーディングされるべき画像Ijは、ブロックに、たとえば、サイズ32×32もしくは64×64ピクセル、またはそれを越えるブロックに分割される。そのようなブロックは、正方形または長方形のサブブロック、たとえば、16×16、8×8、4×4、16×8、8×16、…に再分割され得る。
【0053】
ステップE1において、画像Ijのコーディングされるべき最初のブロックまたはサブブロックXbが、画像Ijの所定の走査順序に従って選択される。たとえば、それは画像の辞書式走査順序での最初のブロックであり得る。
【0054】
ステップE2において、エンコーダは、現在ブロックXbをコーディングするためのコーディングモードを選ぶことになる。
【0055】
ここで説明する特定の実施形態によれば、エンコーダは、現在ブロックXbをコーディングするためのコーディングモードを、第1のコーディングモードM1および第2のコーディングモードM2から選択する。追加のコーディングモード(ここでは説明しない)が使用され得る。
【0056】
ここで説明する特定の実施形態によれば、第1のコーディングモードM1は、たとえば、HEVC規格に従って定義されるような、従来のイントラ予測による現在ブロックのコーディングに対応し、第2のコーディングモードM2は、ループ内残差(ILR: In-Loop Residual)予測コーディングに対応する。
【0057】
本発明の原理は、第1のコーディングモードM1用の、他のタイプのコーディングモードに拡張され得る。たとえば、第1のコーディングモードは、予測残差の変換を使用する、任意のタイプのコーディングモード(画像間予測コーディング、テンプレート整合コーディングを伴う空間予測など)に対応することができる。
【0058】
ステップE2において、エンコーダは、現在ブロックをコーディングするための最良のコーディングモードを決定するために、レート/ひずみ最適化を実行することができる。このレート/ひずみ最適化の間、第1および第2のコーディングモードとは異なる追加のコーディングモード、たとえば、インターモードコーディングモードがテストされ得る。このレート/ひずみ最適化の間、エンコーダは、各コーディングモードに関連するレートおよびひずみを決定するために、異なる利用可能なコーディングモードによる現在ブロックXbのコーディングをシミュレートし、かつ最良のレート/ひずみ妥協案を提供するコーディングモードを、たとえば、D+λR関数に従って選択し、ただし、Rは、評価されるコーディングモードに従って現在ブロックをコーディングするのに必要とされるレートであり、Dは、復号されたブロックと元の現在ブロックとの間で測定されるひずみであり、λは、たとえば、ユーザによって入力されるかまたはエンコーダにおいて規定される、ラグランジュ乗数である。
【0059】
ステップE20において、現在ブロックに対して選択されたコーディングモードを示す情報の項目が、データストリームSTRの中でコーディングされる。
【0060】
現在ブロックXbが第1のコーディングモードM1に従ってコーディングされる場合、方法は、M1に従ってブロックをコーディングするためのステップE21に進む。現在ブロックXbが第2のコーディングモードM2に従ってコーディングされる場合、方法は、M2に従ってブロックをコーディングするためのステップE22に進む。
【0061】
本発明の特定の実施形態による、第1のコーディングモードM1に従ってブロックをコーディングするためのステップE21が、以下で説明される。ここで説明する特定のモードによれば、第1のコーディングモードは、HEVC規格において定義されるものなどの、従来のイントラ予測に対応する。
【0062】
ステップE210において、量子化ステップδ1が決定される。たとえば、量子化ステップδ1は、ユーザによって設定され得るか、または圧縮と品質との間の妥協案を設定し、かつユーザによって入力されるかもしくはエンコーダによって規定される、量子化パラメータを使用して計算され得る。したがって、そのような量子化パラメータは、レートひずみコスト関数D+λ.Rにおいて使用されるパラメータλであり得、ただし、Dは、コーディングによって持ち込まれるひずみを表し、Rは、コーディングのために使用されるレートを表す。この関数は、コーディング選択を行うために使用され、通常、この関数を最小化する、画像をコーディングする方法が捜し求められる。
【0063】
一変形形態として、量子化パラメータは、従来はAVC規格またはHEVC規格において使用される量子化パラメータに相当するQPであり得る。したがって、HEVC規格では、量子化ステップδ1は、方程式δ1=levelScale[QP%6]<<(QP/6))によって決定され、ただし、k=0,…,5に対してlevelScale[k]={40,45,51,57,64,72}である。
【0064】
ステップE211において、現在ブロックの予測が、従来のイントラ予測モードを使用して決定される。この従来のイントラ予測によれば、予測される各ピクセルは、現在ブロックの上に、かつ現在ブロックの左に位置する、隣接ブロック(参照ピクセル)から生じる復号されたピクセルのみから計算される。参照ピクセルからピクセルが予測される方法は、デコーダへ送信され、かつエンコーダおよびデコーダに知られているモードの所定のセットからエンコーダによって選ばれる、予測モードに依存する。
【0065】
したがって、HEVCでは、35個の可能な予測モード、すなわち、33個の異なる角度方向で参照ピクセルを補間する33個のモード、ならびに2個の他のモード、すなわち、予測されるブロックの各ピクセルが参照ピクセルの平均から生成されるDCモード、および平面状かつ全方向性の補間を実行するPLANARモードがある。この「従来のイントラ予測」はよく知られており、(9個の異なるモードしかない)ITU-T H.264規格において、またインターネットアドレス(https://jvet.hhi.fraunhofer.de/)において利用可能な、67個の異なる予測モードがある実験的JEMソフトウェアにおいて、同様に使用される。すべての場合において、従来のイントラ予測は、上述の2つの態様(隣接ブロックからのピクセルの予測、およびデコーダへの最適予測モードの送信)を重視する。
【0066】
ステップE211において、エンコーダは、利用可能な予測モードのうちの1つを予測モードの所定のリストからそのように選ぶ。選ぶための1つの方法は、たとえば、すべての予測モードを評価すること、および古典的にはレートひずみコストなどの、コスト関数を最小化する予測モードを保持することにある。
【0067】
ステップE212において、現在ブロックに対して選ばれた予測モードが、現在ブロックの隣接ブロックからコーディングされる。図2は、現在ブロックXbの予測モードをコーディングするための、現在ブロックXbの隣接ブロックAbおよびBbの位置例を示す。
【0068】
ステップE212において、現在ブロックに対して選ばれたイントラ予測モードは、隣接ブロックに関連するイントラ予測モードを使用してコーディングされる。
【0069】
たとえば、現在ブロックの予測モードをコーディングするための、HEVC規格において説明される手法が使用され得る。図2における例では、そのような手法は、現在ブロックの上に位置するブロックAbに関連するイントラ予測モードmA、および現在ブロックのちょうど左に位置するブロックBbに関連するイントラ予測モードmBを識別することにある。mAおよびmBの値に応じて、3個のイントラ予測モードを含む、(最優勢モードを表す)MPMと称されるリスト、および32個の他の予測モードを含む、非MPMと称されるリストが作成される。
【0070】
HEVC規格によれば、現在ブロックのイントラ予測モードをコーディングするために、シンタックス要素、すなわち、
- 現在ブロックに対してコーディングされるべき予測モードがMPMリストの中にあるか否かを示すバイナリインジケータが送信され、
- 現在ブロックの予測モードがMPMリストに属する場合、現在ブロックの予測モードに対応する、MPMリストの中でのインデックスがコーディングされ、
- 現在ブロックの予測モードがMPMリストに属さない場合、現在ブロックの予測モードに対応する、非MPMリストの中でのインデックスがコーディングされる。
- 現在ブロックに対してコーディングされるべき予測モードがMPMリストの中にあるか否かを示すバイナリインジケータが送信され、
- 現在ブロックの予測モードがMPMリストに属する場合、現在ブロックの予測モードに対応する、MPMリストの中でのインデックスがコーディングされ、
- 現在ブロックの予測モードがMPMリストに属さない場合、現在ブロックの予測モードに対応する、非MPMリストの中でのインデックスがコーディングされる。
【0071】
ステップE213において、現在ブロックに対する予測残差Rが構成される。
【0072】
ステップE213において、標準的な方式では、予測されるブロックPは、ステップE211において選ばれた予測モードに従って構成される。次いで、予測されるブロックPと元の現在ブロックとの間の、各ピクセルに対する差分を計算することによって、予測残差Rが取得される。
【0073】
ステップE214において、予測残差RがRTに変換される。
【0074】
ステップE214において、変換係数を有するブロックRTを生成するために、残差ブロックRに周波数変換が適用される。変換は、たとえば、DCTタイプの変換であり得る。使用されるべき変換を変換の所定のセットETから選ぶこと、および使用される変換をデコーダに通知することが可能である。
【0075】
ステップE215において、変換された残差ブロックRTは、たとえば、量子化ステップδ1のスカラー量子化を使用して量子化される。このことは、量子化された変換予測残差ブロックRTQを生成する。
【0076】
ステップE216において、量子化されたブロックRTQの係数が、エントロピーエンコーダによってコーディングされる。たとえば、HEVC規格において指定されるエントロピーコーディングが使用され得る。
【0077】
知られている方式では、現在ブロックは、量子化されたブロックRTQの係数を逆量子化し、次いで、逆量子化された係数に逆変換を適用して、復号された予測残差を取得することによって、復号される。次いで、現在ブロックを再構成するとともにその復号されたバージョンを取得するために、復号された予測残差に予測が加算される。現在ブロックの復号されたバージョンは、次いで、画像の他の隣接ブロックを空間予測するために、または画像間予測によって他の画像のブロックを予測するために、後で使用され得る。
【0078】
本発明の特定の実施形態による、第2のコーディングモードM2に従ってブロックをコーディングするためのステップE22が、以下で説明される。ここで説明する特定の実施形態によれば、第2のコーディングモードはILR予測コーディングに対応する。
【0079】
ステップE220において、現在ブロック用の局所予測子PLが決定される。ここで説明するコーディングモードに従って、現在ブロックのピクセルが、現在ブロックの隣接ブロックの、または現在ブロック自体の、以前に再構成されたピクセルによって予測される。
【0080】
好ましくは、予測のために、予測されるべきピクセルのできる限り近くのピクセルが選ばれる。このことは、それが局所予測子と称される理由である。局所予測子PLはまた、第2のコーディングモードM2に関連する現在ブロックの予測モードに取り入れられてよい。この解釈によれば、ここで説明する特定の実施形態では、第1のコーディングモードは、イントラ予測モードの第1のグループ、たとえば、HEVC規格によって定義されるイントラ予測モードを使用し、第2のコーディングモード、ここではILRモードは、イントラ予測モードの第1のグループとは異なる、予測モードの第2のグループを使用する。
【0081】
局所予測子PLは一意であり得るか、または所定の局所予測子のセット(予測モードの第2のグループ)から選択され得る。
【0082】
一実施変形形態によれば、4個の局所予測子が規定される。したがって、現在ブロックXbを示す図3において図示するように、現在ブロックから予測されるべき現在ピクセルをXと称する場合、Xのすぐ左に位置するピクセルをAと称し、Xのすぐ左かつ上に位置するピクセルをBと称し、Xのすぐ上に位置するピクセルをCと称する。4個の局所予測子PL1、PL2、PL3、PL4が、次のように規定され得る。
PL1(X)=min(A,B) C≧max(A,B)の場合
max(A,B) C≦min(A,B)の場合
A+B-C 他の場合
PL2(X)=A
PL3(X)=B
PL4(X)=C
ただし、min(A,B)は、Aの値とBの値との間の最小値を戻す関数に相当し、max(A,B)は、Aの値とBの値との間の最大値を戻す関数に相当する。
PL1(X)=min(A,B) C≧max(A,B)の場合
max(A,B) C≦min(A,B)の場合
A+B-C 他の場合
PL2(X)=A
PL3(X)=B
PL4(X)=C
ただし、min(A,B)は、Aの値とBの値との間の最小値を戻す関数に相当し、max(A,B)は、Aの値とBの値との間の最大値を戻す関数に相当する。
【0083】
ステップE220において、現在ブロックに対して使用される局所予測子PLが決定される。言い換えれば、同じ局所予測子、すなわち、同じ予測関数が、現在ブロックのすべてのピクセルに対して使用されることになる。この目的のために、いくつかの実施変形形態が可能である。
【0084】
予測子の各々を用いた現在ブロックのコーディングが、(現在ブロック用のコーディングモードを選ぶための最適化と同様に)シミュレートされてよく、コスト関数を最適化する(たとえば、Rが、ブロックをコーディングするために使用されるレートであり、Dが、元のブロックに対する復号されたブロックのひずみであり、かつλが、ユーザによって設定されるパラメータである、D+λ.R関数を最小化する)局所予測子が選択される。
【0085】
さもなければ、現在ブロック用の局所予測子を選択する複雑度を限定するために、以前にコーディングされたピクセルのテクスチャの方位が分析される。たとえば、現在ブロックの上または左に位置しているブロックの中の、以前にコーディングされたピクセルが、ソーベルタイプ(Sobel-type)の演算子を使用して分析される。
- 方位が水平であることが決定される場合、局所予測子PL2が選択され、
- 方位が垂直であることが決定される場合、局所予測子PL3が選択され、
- 方位が対角であることが決定される場合、局所予測子PL4が選択され、
- 方位が明らかにならない場合、局所予測子PL1が選択される。
- 方位が水平であることが決定される場合、局所予測子PL2が選択され、
- 方位が垂直であることが決定される場合、局所予測子PL3が選択され、
- 方位が対角であることが決定される場合、局所予測子PL4が選択され、
- 方位が明らかにならない場合、局所予測子PL1が選択される。
【0086】
現在ブロックを予測するためにどの局所予測子が使用されたのかをデコーダに示すために、シンタックス要素がデータストリームSTRの中でコーディングされる。
【0087】
ステップE221において、量子化ステップδ2が決定される。たとえば、第1のコーディングモードに従って現在ブロックがコーディングされた場合、量子化ステップδ2は、ステップE210において決定されることになる量子化ステップδ1と同じ量子化パラメータに依存する。
【0088】
ステップE222において、現在ブロックに対して予測残差R1が計算される。この目的のために、局所予測子が選ばれると、現在ブロックの各現在ピクセルに対して、
- 予測値PREDを取得するために、ブロックの外側のすでに再構成された(したがって、それらの復号された値を用いて利用可能な)ピクセル、もしくは現在ブロックの中の以前に再構成されたピクセルのいずれか、または両方を使用して、選択された局所予測子PLによって現在ブロックの現在ピクセルXが予測される。すべての場合において、予測子PLは、以前に再構成されたピクセルを使用する。図3において、現在ブロックの最初の行および/または最初の列に位置する現在ブロックのピクセルが、ブロックの外側のすでに再構成されたピクセル(図3の中の灰色でのピクセル)、および場合によっては現在ブロックのすでに再構成されたピクセルを、(予測値PREDを構成するための)参照ピクセルとして使用することになることが理解され得る。現在ブロックの他のピクセルの場合、予測値PREDを構成するために使用される参照ピクセルは、現在ブロックの内側に位置する。
- PREDとXとの間の差分DIFFが、Q(X)=ScalarQuant(DIFF)=ScalarQuant(δ2,X-PRED)により、量子化ステップスカラー量子化器δ2によって、値Q(X)に量子化され、スカラー量子化器は、たとえば、
- 予測値PREDを取得するために、ブロックの外側のすでに再構成された(したがって、それらの復号された値を用いて利用可能な)ピクセル、もしくは現在ブロックの中の以前に再構成されたピクセルのいずれか、または両方を使用して、選択された局所予測子PLによって現在ブロックの現在ピクセルXが予測される。すべての場合において、予測子PLは、以前に再構成されたピクセルを使用する。図3において、現在ブロックの最初の行および/または最初の列に位置する現在ブロックのピクセルが、ブロックの外側のすでに再構成されたピクセル(図3の中の灰色でのピクセル)、および場合によっては現在ブロックのすでに再構成されたピクセルを、(予測値PREDを構成するための)参照ピクセルとして使用することになることが理解され得る。現在ブロックの他のピクセルの場合、予測値PREDを構成するために使用される参照ピクセルは、現在ブロックの内側に位置する。
- PREDとXとの間の差分DIFFが、Q(X)=ScalarQuant(DIFF)=ScalarQuant(δ2,X-PRED)により、量子化ステップスカラー量子化器δ2によって、値Q(X)に量子化され、スカラー量子化器は、たとえば、
【0089】
【数1】
【0090】
などの、最近傍スカラー量子化器である。Q(X)は、Xに関連する量子化残差である。Q(X)は、空間領域において計算され、すなわち、ピクセルXの予測値PREDとXの元の値との間の差分から直接計算される。ピクセルXに対するそのような量子化残差Q(X)は、後でコーディングされることになる量子化予測残差ブロックR1Qの中に記憶される。
- Xの復号された予測値P1(X)は、量子化残差Q(X)の逆量子化された値を予測値PREDに加算することによって計算される。Xの復号された予測値P1(X)は、P1(X)=PRED+ScalarDequant(δ2,Q(X))によってそのように取得される。たとえば、最も近いスカラー量子化逆関数は、ScalarDequant(Δ,x)=Δ×xによって与えられる。
- Xの復号された予測値P1(X)は、量子化残差Q(X)の逆量子化された値を予測値PREDに加算することによって計算される。Xの復号された予測値P1(X)は、P1(X)=PRED+ScalarDequant(δ2,Q(X))によってそのように取得される。たとえば、最も近いスカラー量子化逆関数は、ScalarDequant(Δ,x)=Δ×xによって与えられる。
【0091】
復号された予測値P1(X)は、現在ブロックの中の依然として処理されるべき可能なピクセルを予測することをそのように可能にする。その上、現在ブロックのピクセルの復号/再構成された値を有するブロックP1は、現在ブロックの(従来のイントラ予測子ではなく)ILR予測子である。
【0092】
上で説明したサブステップは、PL1、…、PL4から選ばれる、予測のために使用されるピクセルが利用可能であることを保証する走査順序で、現在ブロックのすべてのピクセルに対して実行される。
【0093】
一実施変形形態によれば、現在ブロックの走査順序は、辞書式順序、すなわち、左から右、かつ上から下までである。
【0094】
別の実施変形形態によれば、現在ブロックのいくつかの走査順序、たとえば、
- 辞書式順序、または
- 最初の列を上から下まで、次いで、そのちょうど右の列などの走査、または
- 交互に対角の走査が、使用され得る。
- 辞書式順序、または
- 最初の列を上から下まで、次いで、そのちょうど右の列などの走査、または
- 交互に対角の走査が、使用され得る。
【0095】
この他の変形形態によれば、走査順序の各々に関連するコーディングコストをシミュレートすること、および現在ブロック用の最良の走査順序をレート/ひずみの観点から選び、次いで、選ばれた走査順序を表す情報の項目を現在ブロックに対してコーディングすることが可能である。
【0096】
ステップE222の終わりにおいて、量子化残差ブロックR1Qが決定された。この量子化残差ブロックR1Qは、デコーダへの送信のためにコーディングされなければならない。現在ブロックの予測子P1も決定された。
【0097】
ステップE223において、量子化残差ブロックR1Qが、デコーダへの送信のためにコーディングされる。HEVCにおいて説明される方法などの任意の知られている手法が、従来の予測残差の量子化係数をコーディングするために使用され得る。
【0098】
ここで説明する本発明の特定の実施形態によれば、量子化残差ブロックR1Qの値は、データストリームSTRからエントロピーエンコーダを使用してコーディングされる。
【0099】
本発明の特定の実施形態によれば、現在ブロックに対して取得されるILR予測子から追加の予測残差R2を決定しコーディングすることが可能である。ただし、追加の予測残差R2のコーディングは随意である。単に、その予測されたバージョンP1および量子化残差R1Qによって現在ブロックをコーディングすることが、実際に可能である。
【0100】
現在ブロックに対する追加の予測残差R2をコーディングするために、以下のステップが実施される。
【0101】
ステップE224において、予測子P1と元の現在ブロックXbとの間の差分R2が計算されて追加の残差R2:R2=Xb-P1を形成する。以下のステップは、この残差R2のための従来のコーディングステップに相当する。
【0102】
ステップE225において、係数R2Tのブロックを生成するために、周波数変換を使用して残差R2が変換される。
【0103】
変換は、たとえば、DCTタイプの変換であり得る。使用されるべき変換を変換の所定のセットET2から選ぶこと、および使用される変換をデコーダに通知することが可能である。この場合、残差R2の特定の統計値に適合するために、セットET2はセットETとは異なってよい。
【0104】
ステップE226において、係数R2Tのブロックが、たとえば、量子化ステップスカラー量子化δを使用して量子化される。このことは、ブロックR2TQを生成する。
【0105】
量子化ステップδは、ユーザによって設定され得る。量子化ステップδはまた、圧縮と品質との間の妥協案を設定し、かつユーザまたはエンコーダによって入力される、別のパラメータλを使用して計算され得る。たとえば、量子化ステップδは、量子化ステップδ1に対応することができるか、または量子化ステップδ1と同様に決定され得る。
【0106】
ステップE227において、量子化ブロックR2TQの係数が、次いで、コーディングされた方式で送信される。たとえば、HEVC規格において指定されるコーディングが使用され得る。
【0107】
知られている方式で、量子化ブロックR2TQの係数を逆量子化し、次いで、逆量子化係数に逆変換を適用して、復号された予測残差を取得することによって、現在ブロックが復号される。予測P1は、次いで、現在ブロックを再構成するとともにその復号されたバージョンXrecを取得するために、復号された予測残差に加算される。現在ブロックの復号されたバージョンXrecは、次いで、画像の他の隣接ブロックを空間予測するために、または画像間予測によって他の画像のブロックを予測するために、後で使用され得る。
【0108】
ステップE23において、以前に規定された走査順序を考慮に入れて、現在ブロックが、そのコーディング方法によって処理されるべき画像の最後のブロックであるかどうかがチェックされる。現在ブロックが、処理されるべき画像の最後のブロックでない場合、ステップE24において、処理されるべき画像の後続のブロックが、画像の以前に規定された走査順序に従って選択され、コーディング方法はステップE2に進み、ここで、選択されたブロックは、処理されるべき現在ブロックになる。
【0109】
画像のすべてのブロックがコーディングされている場合、プロセスは、ステップE231において、再構成された画像に適用されるべき後処理方法の適用に進む。上で説明したように、これらの後処理方法は、デブロッキングフィルタ処理および/またはSAO法であり得る。後処理動作の適用がエンコーダおよびデコーダにおいて同様に行われるので、ステップE231は後で説明する。
【0110】
少なくとも1つの後処理方法を適用した後、方法は、もしあれば、ビデオの次の画像のコーディング(ステップE25)に進む。
【0111】
図4は、本発明の特定の実施形態による、復号されるべき画像のシーケンスI1、I2、…、INbを表すコード化データのストリームSTRを復号するための方法のステップを示す。
【0112】
【0113】
復号方法は画像ごとにストリームを復号し、各画像はブロックごとに復号される。
【0114】
ステップE40において、復号されるべき画像Ijがブロックに再分割される。各ブロックは、後で詳述される一連のステップにある復号動作を受けることになる。ブロックは、同じサイズまたは異なるサイズであり得る。
【0115】
ステップE41において、画像Ijの復号されるべき最初のブロックまたはサブブロックXbが、画像Ijの所定の走査順序に従って現在ブロックとして選択される。たとえば、それは画像の辞書式走査順序での最初のブロックであり得る。
【0116】
ステップE42において、現在ブロック用のコーディングモードを示す情報の項目が、データストリームSTRから読み取られる。ここで説明する特定の実施形態によれば、情報のこの項目は、現在ブロックが第1のコーディングモードM1に従ってコーディングされるのか、第2のコーディングモードM2に従ってコーディングされるのかを示す。ここで説明する特定の実施形態によれば、第1のコーディングモードM1は、たとえば、HEVC規格に従って定義されるような、現在ブロックの従来のイントラ予測コーディングに対応し、第2のコーディングモードM2は、ループ内残差(ILR)予測コーディングに対応する。
【0117】
他の特定の実施形態では、ストリームSTRから読み取られる情報の項目はまた、現在ブロックをコーディングするための他のコーディングモードの使用を示すことができる(ここでは説明しない)。
【0118】
現在ブロックが第1のコーディングモードM1に従ってコーディングされるときに現在ブロックを復号するためのステップE43が、以下で説明される。
【0119】
ステップE430において、量子化ステップδ1が決定される。たとえば、量子化ステップδ1は、ステップE401において読み取られた量子化パラメータQPから、またはエンコーダにおいて行われたのと同様に、決定される。たとえば、量子化ステップδ1は、ステップE401において読み取られた量子化パラメータQPを使用して計算され得る。たとえば、量子化パラメータQPは、従来はAVC規格またはHEVC規格において使用される量子化パラメータであり得る。したがって、HEVC規格では、量子化ステップδ1は、方程式δ1=levelScale[QP%6]<<(QP/6))によって決定され、ただし、k=0,…,5に対してlevelScale[k]={40,45,51,57,64,72}である。
【0120】
ステップE431において、現在ブロックをコーディングするために選ばれた予測モードが、隣接ブロックから復号される。この目的のために、現在ブロックに対して選ばれたイントラ予測モードは、エンコーダにおいて行われたように、現在ブロックの隣接ブロックに関連するイントラ予測モードを使用してコーディングされる。
【0121】
MPMリストと非MPMリストの両方の構成は、コーディングの間に行われたものと厳密に類似している。HEVC規格によれば、以下のタイプのシンタックス要素、すなわち、
- 現在ブロックに対してコーディングされるべき予測モードがMPMリストの中にあるか否かを示すバイナリインジケータが復号され、
- 現在ブロックの予測モードがMPMリストに属する場合、コーディングされる現在ブロックの予測モードに対応する、MPMリストの中でのインデックス、
- 現在ブロックの予測モードがMPMリストに属さない場合、コーディングされる現在ブロックの予測モードに対応する、非MPMリストの中でのインデックス。
- 現在ブロックに対してコーディングされるべき予測モードがMPMリストの中にあるか否かを示すバイナリインジケータが復号され、
- 現在ブロックの予測モードがMPMリストに属する場合、コーディングされる現在ブロックの予測モードに対応する、MPMリストの中でのインデックス、
- 現在ブロックの予測モードがMPMリストに属さない場合、コーディングされる現在ブロックの予測モードに対応する、非MPMリストの中でのインデックス。
【0122】
バイナリインジケータおよび予測モードインデックスは、現在ブロックのイントラ予測モードを復号するために、データストリームSTRから現在ブロックに対してそのように読み取られる。
【0123】
ステップE432において、デコーダは、復号された予測モードから現在ブロックに対して予測ブロックPを構成する。
【0124】
ステップE433において、デコーダは、たとえば、HEVC規格において指定される復号を使用して、データストリームSTRから量子化ブロックRTQの係数を復号する。
【0125】
ステップE434において、復号されたブロックRTQは、たとえば、δ1量子化ステップスカラー逆量子化を使用して、逆量子化される。このことは、逆量子化された係数RTQDのブロックを生成する。
【0126】
ステップE435において、復号された予測残差ブロックRTQDIを生成するために、逆量子化された係数RTQDのブロックに逆周波数変換が適用される。変換は、たとえば、逆DCTタイプの変換であり得る。データストリームSTRからインジケータを復号することによって、使用されるべき変換を変換の所定のセットETIから選ぶことが可能である。
【0127】
ステップE436において、復号された現在ブロックXrecを、Xrec=P+RTQDIによって生成するために、ステップE432において取得された予測ブロックP、およびステップE435において取得された復号残差ブロックRTQDIから、現在ブロックが再構成される。
【0128】
現在ブロックが第2のコーディングモードM2に従ってコーディングされるときに現在ブロックを復号するためのステップE44が、以下で説明される。
【0129】
ステップE440において、現在ブロックのピクセルを予測するために使用される局所予測子PLが決定される。1つの予測子しか利用可能でない場合には、局所予測子は、たとえば、デコーダレベルにおいてデフォルトで設定され、シンタックス要素は、それを決定するためにストリームSTRから読み取られることを必要とするものはない。
【0130】
いくつかの局所予測子、たとえば、上で説明した予測子PL1～PL4が利用可能である場合には、現在ブロックを予測するためにどの局所予測子が使用されたのかを識別するために、データストリームSTRからシンタックス要素が復号される。局所予測子は、その復号されたシンタックス要素からそのように決定される。
【0131】
ステップE441において、量子化ステップδ2が、エンコーダにおいて行われたものと同様に決定される。
【0132】
ステップE442において、データストリームSTRから量子化残差R1Qが復号される。HEVCにおいて説明される方法などの任意の知られている手法が、従来の予測残差の量子化係数を復号するために使用され得る。
【0133】
ステップE443において、逆量子化された残差ブロックR1QDを生成するために、量子化ステップδ2を使用して量子化残差ブロックR1Qが逆量子化される。
【0134】
ステップE444において、逆量子化された残差ブロックR1QDが取得されると、ステップE440において決定された局所予測子PLを使用して予測ブロックP1が構成される。
【0135】
ステップE444において、現在ブロックの各ピクセルが、次のように予測および再構成される。
- 予測値PREDを取得するために、ブロックの外側のすでに再構成されたピクセル、もしくは現在ブロックの以前に再構成されたピクセルのいずれか、または両方を使用して、選択された予測子PLによって現在ブロックの現在ピクセルXが予測される。すべての場合において、予測子PLは、以前に復号されたピクセルを使用する。
- 現在ピクセルXの復号された予測値P1(X)が、P1(X)=PRED+R1QD(X)のように、予測残差の逆量子化された値R1QDを予測値PREDに加算することによって計算される。
- 予測値PREDを取得するために、ブロックの外側のすでに再構成されたピクセル、もしくは現在ブロックの以前に再構成されたピクセルのいずれか、または両方を使用して、選択された予測子PLによって現在ブロックの現在ピクセルXが予測される。すべての場合において、予測子PLは、以前に復号されたピクセルを使用する。
- 現在ピクセルXの復号された予測値P1(X)が、P1(X)=PRED+R1QD(X)のように、予測残差の逆量子化された値R1QDを予測値PREDに加算することによって計算される。
【0136】
これらのステップは、PL1、…、PL4から選ばれる、予測のために使用されるピクセルが利用可能であることを保証する走査順序で、現在ブロックのすべてのピクセルに対して実施される。
【0137】
たとえば、走査順序は辞書式順序(左から右、次いで、行を上から下まで)である。
【0138】
本発明の特定の実施形態によれば、現在ブロックの各ピクセルの復号された予測値P1(X)を有する予測ブロックP1が、復号された現在ブロックXrecをここで形成する。
【0139】
本発明の別の特定の実施形態によれば、現在ブロックに対して追加の予測残差がコーディングされたことがここで考慮される。したがって、現在ブロックXrecの復号されたバージョンを再構成するために、この追加の予測残差を復号することが必要である。
【0140】
たとえば、この他の特定の実施形態は、エンコーダレベルおよびデコーダレベルにおいてアクティブ化されることまたはデフォルトでされないことがある。さもなければ、ILRコーディングモードに従ってコーディングされた各ブロックに対して、追加の予測残差がコーディングされるかどうかを示すために、ブロックレベルの情報とともに、インジケータがデータストリームの中でコーディングされ得る。さもなければ、さらに、ILRコーディングモードに従ってコーディングされた画像または画像のシーケンスのすべてのブロックに対して、追加の予測残差がコーディングされるかどうかを示すために、画像または画像のシーケンスレベルの情報とともに、インジケータがデータストリームの中でコーディングされ得る。
【0141】
現在ブロックに対して追加の予測残差がコーディングされるとき、ステップE445において、量子化された予測残差R2TQの係数が、エンコーダにおいて実施されるものに適合された手段、たとえば、HEVCデコーダにおいて実施される手段を使用して、データストリームSTRから復号される。
【0142】
ステップE446において、量子化係数R2TQのブロックは、たとえば、量子化ステップδ1のスカラー逆量子化を使用して、逆量子化される。このことは、逆量子化係数R2TQDのブロックを生成する。
【0143】
ステップE447において、復号された予測残差ブロックR2TQDIを生成するために、ブロックR2TQDに逆周波数変換が適用される。
【0144】
逆変換は、たとえば、逆DCTタイプの変換であり得る。
【0145】
使用されるべき変換を変換の所定のセットET2から選ぶこと、および使用されるべき変換をデコーダに通知する情報の項目を復号することが可能である。この場合、残差R2の特定の統計値に適合するために、セットET2はセットETとは異なる。
【0146】
ステップE448において、ステップE444において取得された予測ブロックP1を復号された予測残差R2TQDIに加算することによって、現在ブロックが再構成される。
【0147】
ステップE45において、以前に規定された走査順序を考慮に入れて、現在ブロックが、その復号方法によって処理されるべき画像の最後のブロックであるかどうかがチェックされる。現在ブロックが、処理されるべき画像の最後のブロックでない場合、ステップE46において、処理されるべき画像の後続のブロックが、画像の以前に規定された走査順序に従って選択され、復号方法はステップE42に進み、選択されたブロックは、処理されるべき現在ブロックになる。
【0148】
画像のすべてのブロックが復号されている場合、プロセスは、ステップE451において、再構成された画像に適用されるべき少なくとも1つの後処理方法の適用に進む。上で説明したように、これらの後処理方法は、デブロッキングフィルタ処理および/またはSAO法であり得る。
【0149】
少なくとも1つの後処理方法を適用した後、方法は、もしあれば、ビデオの次の画像の復号(ステップE47)に進む。
【0150】
それぞれ、本発明によるエンコーダおよびデコーダにおいて、少なくとも1つの後処理方法を適用するためのステップE231およびE451が、以下で説明される。
【0151】
後処理動作は、概して、エンコーダおよびデコーダにおいて使用される、画像の中のブロックの走査順序に従って、「将来の」すなわちまだ再構成されていないブロックを含む、処理されるべき現在ブロックの隣接ブロックの中に含まれるデータへのアクセスを必要とする。したがって、後処理動作は、概して、画像のすべての再構成されたブロックに対して第2の完全なループを行うことによって実行される。したがって、エンコーダおよびデコーダにおいて、画像のすべてのブロックに対する第1のループは、ブロックに対するコーディングされた情報から、ブロックの再構成されたバージョンを構成し、次いで、それらの再構成を改善するために、再構成されたブロックを通じて再び後処理ループが動作する。2つの拡張例が上で与えられ、本発明の一般原理は、当然、他の後処理方法に適用される。
【0152】
デブロッキングフィルタ処理
この処理動作の間、画像の再構成されたブロックに「デブロッキング」フィルタ処理が適用される。このフィルタ処理は、概して、再構成されたブロックの境界にあるピクセルに低域フィルタを適用することにある。そのようなフィルタは、Andrey Norkinら，「HEVC deblocking filter」，IEEE Transactions on Circuits and Systems for Video Technology (第22巻, 発行: 2012年12月12日)，1746～1754頁，2012年10月5日という論文の中で、概括的な言葉で記載されている。
この処理動作の間、画像の再構成されたブロックに「デブロッキング」フィルタ処理が適用される。このフィルタ処理は、概して、再構成されたブロックの境界にあるピクセルに低域フィルタを適用することにある。そのようなフィルタは、Andrey Norkinら，「HEVC deblocking filter」，IEEE Transactions on Circuits and Systems for Video Technology (第22巻, 発行: 2012年12月12日)，1746～1754頁，2012年10月5日という論文の中で、概括的な言葉で記載されている。
【0153】
本発明の特定の実施形態によれば、デブロッキングフィルタ処理は、従来のコーディングモード、すなわち、ILR以外によって以前にコーディングされた、2つの再構成されたブロックの境界においてのみ適用される。
【0154】
本発明のこの特定の実施形態は、たとえば、以下のものを示す図5Aに示される。
- コーディングモードM2(ILR)に従って復号されたピクセルの再構成されたブロック80、
- ブロック80に隣接する、コーディングモードM1(非ILR)に従って復号されたピクセルの再構成されたブロック81、
- ブロック81に隣接する、コーディングモードM1(非ILR)に従って復号されたピクセルの再構成されたブロック82。
- コーディングモードM2(ILR)に従って復号されたピクセルの再構成されたブロック80、
- ブロック80に隣接する、コーディングモードM1(非ILR)に従って復号されたピクセルの再構成されたブロック81、
- ブロック81に隣接する、コーディングモードM1(非ILR)に従って復号されたピクセルの再構成されたブロック82。
【0155】
図5Aにおいて、
- 斜線付きピクセルは、デブロッキングフィルタ処理の適用がそれに対して無効にされるピクセルに対応し、
- ドットで埋められたピクセルは、再構成されたブロックの中でのそれらのロケーションに起因して、デブロッキングフィルタ処理に関係しないピクセルであり、
- 白色のピクセルは、デブロッキングフィルタ処理が適用されるピクセルである。
- 斜線付きピクセルは、デブロッキングフィルタ処理の適用がそれに対して無効にされるピクセルに対応し、
- ドットで埋められたピクセルは、再構成されたブロックの中でのそれらのロケーションに起因して、デブロッキングフィルタ処理に関係しないピクセルであり、
- 白色のピクセルは、デブロッキングフィルタ処理が適用されるピクセルである。
【0156】
したがって、説明する本発明の特定の実施形態によれば、現在ブロック、たとえば、ブロック80が、コーディングモードM2に従って復号またはコーディングされるとき、現在ブロックのすべてのピクセルに対して、再構成された現在ブロックへのデブロッキングフィルタ処理の適用が無効にされる。このことは図5Aに示され、ここで、ブロック80の境界におけるすべてのピクセルは斜線が付けられている。
【0157】
その上、現在ブロック、たとえば、ブロック81が、従来すなわち非ILRのコーディングモードに従って復号またはコーディングされるとき、デブロッキングフィルタ処理は、ピクセルが隣接ブロックとの再構成された現在ブロックの境界に位置する場合、かつ隣接ブロックが、従来すなわち非ILRのコーディングモードに従って復号またはコーディングされた場合、再構成された現在ブロックのピクセルに適用される。このことは図5Aに示され、ここで、ブロック80との境界に位置する、ブロック81のすべてのピクセルは斜線が付けられており、ブロック82との境界に位置する、ブロック81のすべてのピクセルは白色である。
【0158】
本発明の特定の実施形態によれば、デブロッキングフィルタ処理は、その2つのブロックのうちの少なくとも一方が従来のコーディングモード(たとえば、図2および図4に関して説明する例におけるM1)に従ってコーディング/復号されるブロックである、2つのブロックの境界においてのみ適用される。
【0159】
本発明のこの特定の実施形態は、たとえば、以下のものを示す図5Bに示される。
- コーディングモードM1(非ILR)に従って復号されたピクセルの再構成されたブロック83、
- ブロック83に隣接する、コーディングモードM2(ILR)に従って復号されたピクセルの再構成されたブロック84、
- ブロック84に隣接する、コーディングモードM2(ILR)に従って復号されたピクセルの再構成されたブロック85。
- コーディングモードM1(非ILR)に従って復号されたピクセルの再構成されたブロック83、
- ブロック83に隣接する、コーディングモードM2(ILR)に従って復号されたピクセルの再構成されたブロック84、
- ブロック84に隣接する、コーディングモードM2(ILR)に従って復号されたピクセルの再構成されたブロック85。
【0160】
図5Bにおいて、
- 斜線付きピクセルは、デブロッキングフィルタ処理の適用がそれに対して無効にされるピクセルに対応する、
- ドットで埋められたピクセルは、ブロックの中でのそれらのロケーションに起因して、デブロッキングフィルタ処理に関係しないピクセルである、
- 白色のピクセルは、デブロッキングフィルタ処理が適用されるピクセルである。
- 斜線付きピクセルは、デブロッキングフィルタ処理の適用がそれに対して無効にされるピクセルに対応する、
- ドットで埋められたピクセルは、ブロックの中でのそれらのロケーションに起因して、デブロッキングフィルタ処理に関係しないピクセルである、
- 白色のピクセルは、デブロッキングフィルタ処理が適用されるピクセルである。
【0161】
したがって、説明する本発明の特定の実施形態によれば、現在ブロック、たとえば、ブロック84が、コーディングモードM2(ILR)に従って復号またはコーディングされたとき、ピクセルが隣接ブロックとの再構成された現在ブロック84の境界に位置する場合、かつ前記隣接ブロックがコーディングモードM2(ILR)に従って復号またはコーディングされた場合、再構成された現在ブロック84のピクセルに対して、デブロッキングフィルタ処理の適用が無効にされる。このことは図5Bに示され、ここで、ブロック85との境界に位置する、ブロック84のすべてのピクセルは斜線が付けられている。
【0162】
その上、本発明のこの特定の実施形態によれば、デブロッキングフィルタ処理は、ピクセルが隣接ブロックとの再構成された現在ブロックの境界に位置する場合、かつ隣接ブロックがコーディングモードM2とは異なるコーディングモードに従って復号またはコーディングされた場合、再構成された現在ブロック(84)のピクセルに適用される。このことは図5Bに示され、ここで、ブロック83との境界に位置する、ブロック84のすべてのピクセルは白色である。
【0163】
SAO処理動作
通常、SAO処理動作は、再構成されたブロックのすべてのピクセルに適用される。そのようなSAO処理動作は、前記ピクセルの周囲の状況に応じて、ブロックの各ピクセルの復号された値を、明示的にデコーダへ送信された値だけシフトすることにある。SAO処理動作は、Chih-Ming Fu, Elena Alshina, Alexander Alshin, Yu-Wen Huang, Ching-Yeh Chen, Chia-Yang Tsai, Chih-Wei Hsu, Shaw-Min Lei, Jeong-Hoon Park, Woo-Jin Han，「Sample Adaptive Offset in the HEVC Standard」，IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY，第22巻，第12号，2012年12月，1755に記載されている。
通常、SAO処理動作は、再構成されたブロックのすべてのピクセルに適用される。そのようなSAO処理動作は、前記ピクセルの周囲の状況に応じて、ブロックの各ピクセルの復号された値を、明示的にデコーダへ送信された値だけシフトすることにある。SAO処理動作は、Chih-Ming Fu, Elena Alshina, Alexander Alshin, Yu-Wen Huang, Ching-Yeh Chen, Chia-Yang Tsai, Chih-Wei Hsu, Shaw-Min Lei, Jeong-Hoon Park, Woo-Jin Han，「Sample Adaptive Offset in the HEVC Standard」，IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY，第22巻，第12号，2012年12月，1755に記載されている。
【0164】
本発明の特定の実施形態によれば、SAO処理動作は、従来すなわち非ILRのコーディングモードによってコーディングされた再構成されたブロックに対してのみ適用される。言い換えれば、現在ブロックが、ILRコーディングモード(前に説明した例ではM2)に従って復号またはコーディングされるとき、再構成された現在ブロックのすべてのピクセルに対して、再構成された現在ブロックへのSAO法の適用は無効にされる。
【0165】
図6は、本発明の特定の実施形態のうちのいずれか1つによるコーディング方法を実施するように適合されたコーディングデバイスCODの簡略化された構造を示す。
【0166】
本発明の特定の実施形態によれば、コーディング方法のステップは、コンピュータプログラム命令によって実施される。この目的のために、コーディングデバイスCODは、標準アーキテクチャのコンピュータを有し、メモリMEM、たとえば、プロセッサPROCを用いて装備され、かつメモリMEMの中に記憶されたコンピュータプログラムPGによって駆動される、処理ユニットUTを特に備える。コンピュータプログラムPGは、プログラムがプロセッサPROCによって実行されるとき、上で説明したようなコーディング方法のステップを実施するための命令を含む。
【0167】
初期化において、コンピュータプログラムPGのコード命令は、たとえば、プロセッサPROCによって実行される前にRAMメモリ(図示せず)の中にロードされる。具体的には、処理ユニットUTのプロセッサPROCが、コンピュータプログラムPGの命令に従って、上で説明したコーディング方法のステップを実施する。
【0168】
図7は、本発明の特定の実施形態のうちのいずれか1つによる復号方法を実施するように適合された復号デバイスDECの簡略化された構造を示す。
【0169】
本発明の特定の実施形態によれば、復号デバイスDECは、標準アーキテクチャのコンピュータを有し、メモリMEM0、たとえば、プロセッサPROC0を用いて装備され、かつメモリMEM0の中に記憶されたコンピュータプログラムPG0によって駆動される、処理ユニットUT0を特に備える。コンピュータプログラムPG0は、プログラムがプロセッサPROC0によって実行されるとき、上で説明したような復号方法のステップを実施するための命令を含む。
【0170】
初期化において、コンピュータプログラムPG0のコード命令は、たとえば、プロセッサPROC0によって実行される前にRAMメモリ(図示せず)の中にロードされる。具体的には、処理ユニットUT0のプロセッサPROC0が、コンピュータプログラムPG0の命令に従って、上で説明した復号方法のステップを実施する。
【符号の説明】
【0171】
Ij 画像
M1 第1のコーディングモード
M2 第2のコーディングモード
STR データストリーム
Xb 現在ブロック
Ab，Bb 隣接ブロック
COD コーディングデバイス
DEC 復号デバイス
MEM，MEM0 メモリ
PG，PG0 コンピュータプログラム
UT，UT0 処理ユニット
PROC，PROC0 プロセッサ
80，81，82，83，84，85 ブロック
M1 第1のコーディングモード
M2 第2のコーディングモード
STR データストリーム
Xb 現在ブロック
Ab，Bb 隣接ブロック
COD コーディングデバイス
DEC 復号デバイス
MEM，MEM0 メモリ
PG，PG0 コンピュータプログラム
UT，UT0 処理ユニット
PROC，PROC0 プロセッサ
80，81，82，83，84，85 ブロック
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】