(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-11
(45)【発行日】2023-10-19
(54)【発明の名称】基準サンプルが欠落している場合、イントラ予測を改善する方法
(51)【国際特許分類】
H04N 19/105 20140101AFI20231012BHJP
H04N 19/136 20140101ALI20231012BHJP
H04N 19/176 20140101ALI20231012BHJP
H04N 19/593 20140101ALI20231012BHJP
【FI】
H04N19/105
H04N19/136
H04N19/176
H04N19/593
(21)【出願番号】P 2019515624
(86)(22)【出願日】2017-09-18
(86)【国際出願番号】 EP2017073494
(87)【国際公開番号】W WO2018059992
(87)【国際公開日】2018-04-05
【審査請求日】2020-09-15
(32)【優先日】2016-09-27
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】518338149
【氏名又は名称】インターデジタル ヴイシー ホールディングス, インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】ラケイプ,ファビアン
(72)【発明者】
【氏名】ギャルピン,フランク
(72)【発明者】
【氏名】ポワリエ,タンギ
【審査官】鉢呂 健
(56)【参考文献】
【文献】特表2014-503155(JP,A)
【文献】韓国公開特許第10-2016-0101041(KR,A)
【文献】特表2014-512129(JP,A)
【文献】LIN, Yongbing et al.,CE4 Subset2: Report of Intra Coding Improvements for Slice Boundary Blocks,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, 16-23 March, 2011, [JCTVC-E283],JCTVC-E283 (version 2),2011年03月16日,JCTVC-E283-v2.zip: JCTVC-E283_r1.docx: pp. 1-6
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法であって、前記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含み、
前記フレーム内予測は、
特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部の端の境界を示す線上で利用可能ではないかどうか、又は欠落しているかどうかを判断することと、
1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが前記予測ユニットの別の端の境界を示す別の線で利用可能であり、且つ前記別の線の方向に沿って前記別の端を超えて伸びているかどうかを判断することであって、前記別の線は、前記特定の方向モードに関して、前記予測ユニットの反対側にある、ことと、
1つ又は複数の基準サンプルが前記別の線で利用可能であると判断される場合、前記特定の方向モードを前記特定の方向モードの逆向きのカウンターパート方向モードで置換することと、
前記カウンターパート方向モードを使用して、前記別の線の前記利用可能な基準サンプルで前記予測ユニットのサンプルを埋めることと、
を含み、
前記埋めることは、
前記予測ユニットの1つの連続領域のピクセルが、前記カウンターパート方向モードを使用して、前記別の線の利用可能な全ての基準サンプルで埋められたときに、前記1つの連続領域を除く前記予測ユニットの未充填領域の中の前記予測ユニットのピクセルを、前記カウンターパート方向モードを使用して、前記別の線の上のエリアを埋めるときに使用された利用可能な基準サンプルの平均として導出される値で、埋めることを含む、方法。
【請求項2】
フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法であって、前記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含み、
前記フレーム内予測は、
特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部の端の境界を示す線上で利用可能ではないかどうか、又は欠落しているかどうかを判断することと、
1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが前記予測ユニットの別の端の境界を示す別の線で利用可能であり、且つ前記別の線の方向に沿って前記別の端を超えて伸びているかどうかを判断することであって、前記別の線は、前記特定の方向モードに関して、前記予測ユニットの反対側にある、ことと、
1つ又は複数の基準サンプルが前記別の線で利用可能であると判断される場合、前記特定の方向モードを前記特定の方向モードの逆向きのカウンターパート方向モードで置換することと、
前記カウンターパート方向モードを使用して、前記別の線の前記利用可能な基準サンプルで前記予測ユニットのサンプルを埋めることと、
を含み、
前記埋めることは、
前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記カウンターパート方向モードの法線方向に沿って生じる前記基準サンプルの変化の関数として決定される、計算された基準サンプルで、前記1つの連続領域外の前記予測ユニットの領域を埋めること、
を更に含む、方法。
【請求項3】
前記埋めることは、
前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記1つの連続領域を埋めるのに使用された前記利用可能な基準サンプルの平均として値が計算される同じ基準サンプルで、前記1つの連続領域以外の前記予測ユニットの領域を埋めること
を更に含む、請求項1に記載の方法。
【請求項4】
デジタルビデオ画像を圧縮する装置であって、前記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含み、前記装置は、
複数の命令を記憶するメモリと、
前記メモリに結合され、フレーム内予測の動作を含む前記ビデオ画像圧縮を実行するように構成されるプロセッサと、
を含み、前記プロセッサは、
特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部の端の境界を示す線上で利用可能ではないかどうか、又は欠落しているかどうかを判断することと、
1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが前記予測ユニットの別の端の境界を示す別の線で利用可能であり、且つ前記別の線の方向に沿って前記別の端を超えて伸びているかどうかを判断することであって、前記別の線は、前記特定の方向モードに関して、前記予測ユニットの反対側にある、ことと、
1つ又は複数の基準サンプルが前記別の線で利用可能であると判断される場合、前記特定の方向モードを前記特定の方向モードの逆向きのカウンターパート方向モードで置換することと、
前記カウンターパート方向モードを使用して、前記別の線の前記利用可能な基準サンプルで前記予測ユニットのサンプルを埋めることと、
を行うことにより、前記フレーム内予測を実行するように構成され、
前記埋めることは、
前記予測ユニットの1つの連続領域のピクセルが、前記カウンターパート方向モードを使用して、前記別の線の利用可能な全ての基準サンプルで埋められたときに、前記1つの連続領域を除く前記予測ユニットの未充填領域の中の前記予測ユニットのピクセルを、前記カウンターパート方向モードを使用して、前記別の線の上のエリアを埋めるときに使用された利用可能な基準サンプルの平均として導出される値で、埋めることを含む、装置。
【請求項5】
デジタルビデオ画像を圧縮する装置であって、前記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含み、前記装置は、
複数の命令を記憶するメモリと、
前記メモリに結合され、フレーム内予測の動作を含む前記ビデオ画像圧縮を実行するように構成されるプロセッサと、
を含み、前記プロセッサは、
特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部の端の境界を示す線上で利用可能ではないかどうか、又は欠落しているかどうかを判断することと、
1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが前記予測ユニットの別の端の境界を示す別の線で利用可能であり、且つ前記別の線の方向に沿って前記別の端を超えて伸びているかどうかを判断することであって、前記別の線は、前記特定の方向モードに関して、前記予測ユニットの反対側にある、ことと、
1つ又は複数の基準サンプルが前記別の線で利用可能であると判断される場合、前記特定の方向モードを前記特定の方向モードの逆向きのカウンターパート方向モードで置換することと、
前記カウンターパート方向モードを使用して、前記別の線の前記利用可能な基準サンプルで前記予測ユニットのサンプルを埋めることと、
を行うことにより、前記フレーム内予測を実行するように構成され、
前記埋めることは、
前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記カウンターパート方向モードの法線方向に沿って生じる前記基準サンプルの変化の関数として決定される、計算された基準サンプルで、前記1つの連続領域外の前記予測ユニットの領域を埋めること
を更に含む、装置。
【請求項6】
前記埋めることは、
前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記1つの連続領域を埋めるのに使用された前記利用可能な基準サンプルの平均として値が計算される同じ基準サンプルで、前記1つの連続領域以外の前記予測ユニットの領域を埋めること
を更に含む、請求項4に記載の装置。
【請求項7】
1つ又は複数の実行可能な命令が記憶された非一時的コンピュータ可読媒体であって、前記実行可能な命令は、プロセッサによって実行されると、前記プロセッサに、フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法を実行させ、前記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含み、
前記フレーム内予測は、
特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部の端の境界を示す線上で利用可能ではないかどうか、又は欠落しているかどうかを判断することと、
1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが前記予測ユニットの別の端の境界を示す別の線で利用可能であり、且つ前記別の線の方向に沿って前記別の端を超えて伸びているかどうかを判断することであって、前記別の線は、前記特定の方向モードに関して、前記予測ユニットの反対側にある、ことと、
1つ又は複数の基準サンプルが前記別の線で利用可能であると判断される場合、前記特定の方向モードを前記特定の方向モードの逆向きのカウンターパート方向モードで置換することと、
前記カウンターパート方向モードを使用して、前記別の線の前記利用可能な基準サンプルで前記予測ユニットのサンプルを埋めることと、
を含み、
前記埋めることは、
前記予測ユニットの1つの連続領域のピクセルが、前記カウンターパート方向モードを使用して、前記別の線の利用可能な全ての基準サンプルで埋められたときに、前記1つの連続領域を除く前記予測ユニットの未充填領域の中の前記予測ユニットのピクセルを、前記カウンターパート方向モードを使用して、前記別の線の上のエリアを埋めるときに使用された利用可能な基準サンプルの平均として導出される値で、埋めることを含む、非一時的コンピュータ可読媒体。
【請求項8】
ビデオ画像ブロックを送信する装置であって、
メモリと、
フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法を実行するように構成されるプロセッサであって、前記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含む、プロセッサと、
を含み、
前記フレーム内予測は、
特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部の端の境界を示す線上で利用可能ではないかどうか、又は欠落しているかどうかを判断することと、
1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが前記予測ユニットの別の端の境界を示す別の線で利用可能であり、且つ前記別の線の方向に沿って前記別の端を超えて伸びているかどうかを判断することであって、前記別の線は、前記特定の方向モードに関して、前記予測ユニットの反対側にある、ことと、
1つ又は複数の基準サンプルが前記別の線で利用可能であると判断される場合、前記特定の方向モードを前記特定の方向モードの逆向きのカウンターパート方向モードで置換することと、
前記カウンターパート方向モードを使用して、前記別の線の前記利用可能な基準サンプルで前記予測ユニットのサンプルを埋めることと、
を含み、
前記埋めることは、
前記予測ユニットの1つの連続領域のピクセルが、前記カウンターパート方向モードを使用して、前記別の線の利用可能な全ての基準サンプルで埋められたときに、前記1つの連続領域を除く前記予測ユニットの未充填領域の中の前記予測ユニットのピクセルを、前記カウンターパート方向モードを使用して、前記別の線の上のエリアを埋めるときに使用された利用可能な基準サンプルの平均として導出される値で、埋めることを含む、装置。
【発明の詳細な説明】
【技術分野】
【0001】
発明の分野
本発明は、デジタルビデオ圧縮に関し、より詳細には、イントラ予測に必要な近傍基準サンプルがない場合、イントラ予測を改善する方法に関する。
【背景技術】
【0002】
発明の背景
デジタルビデオ圧縮技術には、幾つかの技術規格及び競合する技法が豊富にある。例えば、以下の例示的な技法がある。
・ITU-T、高効率ビデオ符号化(HEVC)、推奨ITU-T H.265|国際規格ISO/IEC23008-2として2014年に公開されたH.265及びMPEG-Hパート2としても知られる高効率ビデオ符号化(HEVC)、
・ITU-T、Rec.H264|ISO/IEC14496-10AVC(MPEG-4)として2002年に公開されたH.264又はMPEG-4パート10としても知られる高度動画圧縮符号化(AVC)、並びに
・「A VP9 Bitstream Overview draft-grange-vp9-bitstream-00」という名称であり、2013年2月18日にIETF Network Working Groupに対して行われたA.Grangeらによる提出(XP015090122)において記載された、Googleパートナーシップによって現在開発中のオープンビデオ圧縮フォーマットであると言えるVP9。
各デジタルビデオ圧縮技法は、一般にイントラ予測と表現されるフレーム内予測の使用を含む。イントラ予測は、現在利用可能な、前に復号若しくは再構築されたサンプル、又は復号/再構築されたサンプルが利用不可能な場合、パディングされたサンプルのいずれかである基準サンプルの近傍形状を埋め、次に、使用中のイントラ予測方向モードに従って近傍形状内でこれらの基準サンプルを伝播させることを含むものとしてかなり一般的な表現で説明することができる。そのような予測プロセスでは、イントラ予測方向モードは近傍ピクセルを伝播して、予測ユニット(PU)としても知られている現在ブロックを予測する。
【0003】
イントラフレーム予測は、現在ブロックの周囲の前に復号されたサンプル(ピクセル)に依拠するため、近傍からの幾つかのサンプルは、基準サンプルとしての使用に利用可能ではないことがある。そのようなサンプルの不在又は利用不可能性は、特に、画像の境界、四分木構造、及びブロックのスキャン順序によって生じ得る。一般に、ピクセルパディングが実行されて、サンプルが利用可能ではないブロックロケーションを埋める。例えば、HEVCにおいて、予期される基準サンプルが利用可能ではない場合、予測プロセスは、予期される基準サンプルが欠落しているか、又は利用不可能なロケーションに、利用可能な最も近い基準サンプルの値をコピーすることによって続けられる。基準ピクセルゾーン全体が前に復号されたピクセル及びパディングされたピクセルで埋められるため、このようにして、全てのイントラ方向モードが利用可能である。
【0004】
図1の左の画像に示されるように、基準サンプルの側部全体が欠落している場合、全ての基準サンプルは同じ値を有する定めにある。そしてこれは、無駄な方向モードを有するイントラ予測プロセスに繋がる。
【0005】
図1は、左側のピクセルが欠落しているブロック(すなわち、予測ユニットPU)での予測の段階を示す。この場合、それらの全てのピクセルには、
図1の右側に示されるように、左下から右上にL字形に基準ピクセルをスキャンする際に利用可能な最初のピクセルの値が割り当てられる。HEVC規格の場合、
図1に示されている2~9の範囲の方向モードは、利用される全ての基準ピクセルが同じ値を有するため、実質的に無駄になる。モード2~9でも同じように、
図1に示される方向モード27~34は、上の近傍が利用可能ではない場合、実質的に無駄になる。
【0006】
予測プロセスにおいて、万が一、任意の上記識別した方向モードを利用する場合、現在ブロック(又はPU)内の全てのピクセルには同じ基準値が割り当てられることになるため、これらのピクセルに割り当てられた値が、1組の基準ピクセルからの平均値ではなく、その代わり、
図1に示されるようにパディングされた値であることを除き、ある意味で実質的にDCモードの使用と同様である。それにも関わらず、これらの方向モードのいずれの適用も同じ結果、すなわち、いずれも無駄になり、正確なイントラ予測には役に立たないという結果に繋がる。
【発明の概要】
【0007】
発明の概要
本明細書に開示される方法の教示を利用することにより、従来のパディングプロセスに起因して、普通ならば無駄になる幾つかのイントラ方向モードを回復させることが可能である。本発明の一態様によれば、方向モードは、使用できるサンプルを有すると判断されたユニットの部分からのサンプルで、予測ユニット内のピクセルロケーションを埋めることによって回復する。特定の場合、基準サンプルはそれでもなお欠落しているか、又は使用できないことがあるが、本方法の原理によるパディングは、考慮されるイントラ方向モードに対応するよりよいピクセル値を利用する。
【0008】
基準サンプルが、特定の方向モードを所与として、特定の予測ユニット又はその一部の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、予測ユニットの別の部分に沿った基準サンプル(ピクセル)が利用可能であるかどうかについて判断され、ここで、別の部分とは、特定の方向モードの逆端部における予測ユニットの側である。そのような基準サンプルが利用可能であると判断される場合、無駄になる(基準サンプルが利用可能ではないことにより)特定の方向モードを逆向きのカウンターパート方向モードで置換することにより、イントラ方向モードの数を拡張することが可能である。
【0009】
別の実施形態では、特定の方向モードからその逆向きのカウンターパート方向モードに切り替える必要性を推測するために、側部全体の基準サンプルの不在を検出することにより、追加のシンタックス等からのデータオーバーヘッドの増大を回避することが可能である。
【0010】
別の実施形態では、フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法が提供され、上記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含み、上記フレーム内予測は、特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することを含む。1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、本方法は、1つ又は複数の基準サンプルが予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、予測ユニットの別の部分は、特定の方向モードの逆端部における予測ユニットの側に沿う、判断することを更に含む。1つ又は複数の基準サンプルが特定の方向モードの逆端部において利用可能であると判断される場合、本方法は、特定の方向モードを特定の方向モードの逆向きのカウンターパート方向モードで置換することと、カウンターパート方向モードを使用して利用可能な基準サンプルで予測ユニットを埋めることとを更に含む。
【0011】
別の実施形態では、デジタルビデオ画像を圧縮する装置であって、上記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含み、本装置は、複数の命令を記憶するメモリと、メモリに結合され、フレーム内予測の動作を含む上記ビデオ画像圧縮を実行するように構成されるプロセッサとを含む、装置が提供される。プロセッサは、特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することにより、上記フレーム内予測を実行するように構成される。1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、予測ユニットの別の部分は、特定の方向モードの逆端部における予測ユニットの側に沿う、判断すること。1つ又は複数の基準サンプルが特定の方向モードの逆端部において利用可能であると判断される場合、特定の方向モードを特定の方向モードの逆向きのカウンターパート方向モードで置換すること及びカウンターパート方向モードを使用して利用可能な基準サンプルで予測ユニットを埋めること。
【0012】
別の実施形態では、1つ又は複数の実行可能な命令が記憶された非一時的コンピュータ可読媒体であって、実行可能な命令は、プロセッサによって実行されると、プロセッサに、フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法を実行させ、上記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含む、非一時的コンピュータ可読媒体が提供される。フレーム内予測は、特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することを含む。1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、予測ユニットの別の部分は、特定の方向モードの逆端部における予測ユニットの側に沿う、判断すること。1つ又は複数の基準サンプルが特定の方向モードの逆端部において利用可能であると判断される場合、特定の方向モードを特定の方向モードの逆向きのカウンターパート方向モードで置換すること及びカウンターパート方向モードを使用して利用可能な基準サンプルで予測ユニットを埋めること。
【0013】
別の実施形態では、メモリ及びプロセッサを含む、ビデオ画像ブロックを送信する装置が提供される。プロセッサは、フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法を実行するように構成され、上記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含む。フレーム内予測は、特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することを含む。1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、予測ユニットの別の部分は、特定の方向モードの逆端部における予測ユニットの側に沿う、判断すること。1つ又は複数の基準サンプルが特定の方向モードの逆端部において利用可能であると判断される場合、特定の方向モードを特定の方向モードの逆向きのカウンターパート方向モードで置換すること及びカウンターパート方向モードを使用して利用可能な基準サンプルで予測ユニットを埋めること。
【0014】
本方法が、基準サンプルが欠落しているか、又は使用に利用不可能であり、予測ユニットの最良の伝播方向モードが、利用不可能なサンプルの従来のパディングによってカバーされない場合、従来技術による技法を超えてイントラ予測を改善することが当業者には理解されよう。
【0015】
図面の簡単な説明
本発明の教示は、添付図面と併せて以下の詳細な説明を考慮することによって容易に理解することができる。
【図面の簡単な説明】
【0016】
【
図1】特定の基準サンプルが欠落しているか、又は予測での使用に利用不可能である現在予測ユニット(PU)又はブロックを示す。
【
図2】本方法の原理による無駄な方向モードの存在及びそれらの置換を示す例示的な状況を示す。
【
図3】本方法の原理による無駄な方向モードの存在及びそれらの置換を示す例示的な状況を示す。
【
図4】本方法の原理による無駄な方向モードの存在及びそれらの置換を示す例示的な状況を示す。
【
図5】本方法の原理による無駄な方向モードの存在及びそれらの置換を示す例示的な状況を示す。
【
図6】本方法の原理による無駄な方向モードの存在及びそれらの置換を示す例示的な状況を示す。
【発明を実施するための形態】
【0017】
図面が、本発明の概念を示すことを目的としており、必ずしも、本発明を示すための唯一の可能な構成ではないことを理解されたい。理解を促進するために、可能な場合、図に共通の同一要素を示すために、同一参照番号が使用されている。
【0018】
詳細な説明
本明細書に開示される趣旨は、基準サンプルが欠落しているか、又は利用不可能な場合、デジタルビデオ圧縮でのフレーム内予測を改善する方法を記載する。本発明は時折、特定のデジタルビデオ圧縮技法の状況内で主に説明され得るが、本発明による方法の特定の実施形態は、本発明の趣旨の範囲を限定するものとして扱われるべきではない。本発明の概念が、有利なことに、デジタルビデオ画像を圧縮するための略あらゆるフレーム内予測の改善に適用可能なことが当業者には理解され、本明細書における教示によって情報が与えられよう。
【0019】
「基準サンプル」及び「基準ピクセル」なる用語は、意味に限定されずに同義で使用されることが意図される。一貫性及び理解の容易さのために、「基準サンプル」なる用語のみが、以下の説明において専ら使用される。
【0020】
上述したように、基準サンプルの側部全体が欠落し、ひいては、
図1の左側に示されるように、使用に利用不可能であることは希ではない。この側の全ての基準サンプルは同じ値を有する。この場合、予測ユニットにおけるそれらの全てのピクセルには、
図1の右側に示されるように、左下から右上にL字形に基準ピクセルをスキャンする際に最初の基準ピクセルの値が割り当てられる。そしてこれは、
図1における方向モード2~9を事実上、無駄にし、予測ユニットの予測プロセスの有効性及び正確性を弱める。
【0021】
フレーム内予測プロセスの正確性及び有効性は、
図1に関連して説明した従来のパディングプロセスに起因して、本明細書を用いない場合には無駄になる幾つかのイントラ方向モードを回復することが可能であるため、本明細書に開示される方法の教示に従って改善する。幾つかのイントラ方向モードの回復は、特定の方向モードで、予測ユニットの別の部分-上記別の部分は、特定の方向モードの逆端部における予測ユニットの側に沿う-に沿って、使用に利用可能な基準サンプルが存在するかどうかを判断し、次に、無駄になる(基準サンプルが利用不可能なことにより)特定の方向モードを逆向きのカウンターパート方向モードで置換することによって実現される。
【0022】
方法が、まず、特定の方向モードを所与として、特定の予測ユニット又はその一部の基準サンプルが利用不可能であるかどうか、又は欠落しているかどうかを判断することを含むことができることが意図される。
図1(及び後続図)に示される予測ユニットの例では、この初期判断は、基準サンプルが全て予測ユニットの左側に沿って欠落しているか、又は利用不可能であることを識別する。これらの欠落した基準サンプルは、例えば、イントラ方向モード2~9に沿って実行されるスキャンにおいて使用される。しかし、基準サンプルは欠落しており、利用不可能であるため、上記識別された方向モード2~9は事実上、無駄になり、それにより、フレーム内予測プロセスの正確性及び有効性を損なう。
【0023】
HEVCの場合、予測ユニットの左側部分及び上側部分に沿って図に示される基準サンプルL字形が、s=2b+1として定義されるサイズsを有することが当業者には理解され、式中、bは現在予測ユニットのサイズを示す。予測ユニットはイントラモードでは正方形であるため、予測ユニットのサイズは一般に、同じ高さ及び幅である。これらの寸法を所与として、当分野における従来の充填技術に反して、現在予測ユニットのピクセルの全てが、これらの方向モードを使用して正確な基準サンプルで埋めることができるわけではないことを理解することができる。より一般には、多数の基準サンプルが予測ユニットの左上で利用可能である場合であっても、
図2に示されるこれらの新しい方向の幾つかは、有意味なサンプルで予測ユニット全体をカバーすることができないであろう。例えば、予測ユニットを横切る実線及びユニットの右側にある左向きの矢印により
図2に示されるように、HEVCの方向モード6とは逆向きのモードは、有効予測のために全てのピクセルをカバーすることができるわけではなく、実線の傾斜線の下の予測ユニットの問題となっているエリアをカバーしないまま残す。
【0024】
実行可能な基準サンプルが欠落しているか、又は利用不可能であることが分かると、予測ユニットの別の部分に沿って1つ又は複数の基準サンプルが利用可能であるかどうかについての更なる判断をなすことができる。特に、この判断は、特定の方向モードの逆端部における予測ユニットの側にフォーカスされる。換言すれば、元の方向モードがモード2~9であった場合、この判断は、サンプルが方向モード2~9の逆又は遠端部にあると言える予測ユニットの上縁部に沿った実行可能な基準サンプルの利用可能性を探る-ここでも、これらの方向モードの近端部には実行可能な基準サンプルがないことを理解されたい。
【0025】
そのような基準サンプルが、元の方向モードの逆端部で利用可能であると判断される場合、方法は、基準サンプルが不在又は利用可能ではないことにより無駄になる元の特定の方向モードを元の特定の方向モードとは逆向きのカウンターパート方向モードで置換することにより、イントラ方向モードの数を拡張することによって進む。このようにして、カウンターパート方向モードにより、新たに決定された利用可能な基準サンプルをフレーム内予測プロセスで使用することが可能になる。
図4に示されるように、例えば、方向モード6は、予測ユニットの右側に示されている逆向きのカウンターパート方向モードで置換される。これにより、予測プロセスは、予測ユニットの上縁部に沿って存在する基準サンプルを使用して進むことができる。
【0026】
このようにして、本方法は、基準サンプルが欠落しているか、又は使用に利用不可能であり、予測ユニットの最良の伝播方向モードが、利用不可能なサンプルの従来のパディングによってカバーされない場合、従来技術による技法を超えてフレーム内予測を改善する。改善は、元の方向モードの逆端部で見つけられる、欠落した又は利用不可能なサンプルよりも良好な基準サンプルの使用から実現される。
【0027】
関連する利用可能なサンプル値を用いた予測ブロック(すなわち、予測ユニット)の充填動作を実行する幾つかの実施形態が意図され、以下に開示される。
【0028】
図4は、上述した方法により埋められた予測ユニットを示す。予測ユニットの左縁部に沿って使用するための基準サンプルは利用可能でなかった。開示される方法の原理によれば、ユニットの右側に示されているカウンターパート方向モードが、事実上無駄になる元の方向モードの代わりになった-すなわち、置換した。予測ユニットの未充填エリアから予測ユニットの充填エリアを分ける、カウンターパート方向モードと平行する外挿された実線が示されている。実験の実施から、利用可能な全ての基準ピクセルが、外挿された実線の上のエリアにおいてカウンターパート方向モードの考慮される方向に沿って伝播した場合、残っている未充填領域を最後の基準サンプルの値で埋めることにより、方法を強化することができることが分かった。この基準サンプルの値は、未充填領域を区切る外挿線の遠端部における枠として示されている。予測ユニットが、利用可能な基準サンプルの値で完全に埋められると、フレーム内予測プロセスを進めることができる。
【0029】
図5は、上述した方法により埋められた予測ユニットを示す。予測ユニットの左縁部に沿って使用するための基準サンプルは利用可能でなかった。開示される方法の原理によれば、ユニットの右側に示されているカウンターパート方向モードは、欠落している基準サンプルによって事実上、無駄になる元の方向モードを置換した。予測ユニットの未充填エリアから予測ユニットの充填エリアを分ける、カウンターパート方向モードと平行する外挿された実線が示されている。実験の実施から、利用可能な全ての基準ピクセルが、外挿された実線の上のエリアにおいてカウンターパート方向モードの考慮される方向に沿って伝播した場合、外挿線の法線方向において生じるサンプル値の変化を考慮に入れるサンプル値で残りの未充填領域を埋めることにより、方法を強化することができることが分かった。
図5に示されるように、外挿線の下のエリアへの予測ユニットのピクセルに割り当てられる値は、計算され、外挿線に直交して示されている方向に沿った陰影の連続した減少を反映する。外挿線の下のエリアが埋められるにつれて、ピクセルのサンプル値は、法線方向に沿って観測される変化に従って変更される。サンプル値が外挿によって計算されるか、又は幾つかの他の形態のモデリングによって計算されるかに関係なく、外挿線の下のピクセル値は、利用可能な基準サンプルに基づく。予測ユニットが、利用可能な基準サンプルの値で完全に埋められると、フレーム内予測プロセスを進めることができる。
【0030】
図6は、上述した方法により埋められた予測ユニットを示す。予測ユニットの左縁部に沿って使用するための基準サンプルは利用可能でなかった。開示される方法の原理によれば、ユニットの右側に示されているカウンターパート方向モードは、欠落している基準サンプルによって事実上、無駄になる元の方向モードを置換した。予測ユニットの未充填エリアから予測ユニットの充填エリアを分ける、カウンターパート方向モードと平行する外挿された実線が示されている。実験の実施から、利用可能な全ての基準ピクセルが、外挿された実線の上のエリアにおいてカウンターパート方向モードの考慮される方向に沿って伝播した場合、カウンターパート方向モードを使用して外挿線の上のエリアを埋める際に使用される利用可能な基準サンプルの平均として導出される同じサンプル値で残りの未充填領域を埋めることにより、方法を強化することができることが分かった。これは、線の下のエリアにDC様モードを使用することに対応する。予測ユニットが利用可能な基準サンプルの値で完全に埋められる場合、フレーム内予測プロセスを進めることができる。
【0031】
図7は、フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法700の一実施形態を示す。方法は、開始ブロック701において開始され、ブロック710に進み、特定の方向モードを所与として、予測ユニット又はその一部の1つ又は複数の基準サンプルが利用不可能であるかどうか、又は欠落しているかどうかを判断する。これらのサンプルが利用不可能な場合、制御はブロック720に進み、予測ユニットの別の部分に沿って1つ又は複数の基準サンプルが利用可能であるかどうかを判断し、ここで、予測ユニットの別の部分は、特定の方向モードの逆端部における予測ユニットの側に沿う。これらのサンプルが利用可能な場合、制御は開始ブロック701に戻る。ブロック720において、予測ユニットの別の部分に沿って1つ又は複数の基準サンプルが利用可能であると判断される場合、制御はブロック730に進み、特定の方向モードとは逆向きのカウンターパート方向モードで特定の方向モードを置換する。予測ユニットの別の部分に沿って1つ又は複数の基準サンプルが利用可能であると判断されない場合、制御は開始ブロック701に戻る。ブロック730後、制御はブロック740に進み、カウンターパート方向モードを使用して利用可能な基準サンプルで予測ユニットを埋める。
【0032】
図8は、フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する装置800の一実施形態を示す。装置800は、ビデオ画像データを含む少なくとも1つの入力を受信し、出力ポートも利用可能であり得るメモリ820と信号通信するプロセッサ810を含む。プロセッサ810は、少なくとも1つの出力ポートを含むこともできる。プロセッサ810は、
図7の方法を実行するように構成される。
【0033】
特定の方向モードからその逆向きのカウンターパート方向モードに切り替える必要性を推測するために、側部全体の基準サンプルの不在を検出することにより、追加のシンタックス等からのデータオーバーヘッドの増大を回避することが可能である。
【0034】
図に示される様々な要素の機能は、専用ハードウェア及び適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアの使用を通して提供することができる。プロセッサによって提供される場合、機能は、1つの専用プロセッサにより、1つの共有プロセッサにより、又は幾つかを共有することができる複数の個々のプロセッサにより提供することができる。さらに、「プロセッサ」又は「コントローラ」なる用語の明示的な使用は、ソフトウェアを実行可能なハードウェアを専ら指すものとして解釈されるべきではなく、限定ではなく、デジタル信号プロセッサ(「DSP」)ハードウェア、ソフトウェアを記憶する読み取り専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、及び不揮発性記憶装置を暗黙的に含むことができる。さらに、本発明の原理、態様、及び実施形態並びにその具体例を記載した本明細書における全ての文章は、その構造的均等物及び機能的均等物の両方を包含するものである。さらに、そのような均等物は、現在既知の均等物及び将来開発される均等物(すなわち、構造に関係なく、同じ機能を実行する、開発されるあらゆる要素)の両方を含むものである。
【0035】
したがって、例えば、本明細書に提示されるブロック図が、本発明の原理を実施する例示的なシステム構成要素及び/又は回路の概念図を表すことが当業者には理解されよう。同様に、任意のフローチャート、流れ図、状態遷移図、疑似コード等が、コンピュータ可読媒体において実質的に表し得、したがって、コンピュータ又はプロセッサが明示的に示されるかどうかに関係なく、そのようなコンピュータ又はプロセッサによって実行し得る様々なプロセスを表すことが理解されよう。
【0036】
基準サンプルが欠落しているか、又は利用可能ではない場合、デジタルビデオ圧縮においてフレーム内予測を改善する方法の様々な実施形態を説明したが、上記教示に鑑みて当業者により方法の変更及び変形を行うことができることに留意する。したがって、開示される本発明の特定の実施形態に変更を行うことが可能であり、変更が本発明の範囲内であることを理解されたい。上記は本発明の様々な実施形態に関するが、本発明の基本範囲から逸脱せずに、本発明の他の更なる実施形態を考案し得る。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
(付記1)
フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法であって、前記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含み、前記フレーム内予測は、
特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することと、
1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが前記予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、前記予測ユニットの前記別の部分は、前記特定の方向モードの逆端部における前記予測ユニットの側に沿う、判断することと、
1つ又は複数の基準サンプルが前記特定の方向モードの前記逆端部において利用可能であると判断される場合、前記特定の方向モードを前記特定の方向モードの逆向きのカウンターパート方向モードで置換することと、
前記カウンターパート方向モードを使用して前記利用可能な基準サンプルで前記予測ユニットを埋めることと、
を含む、方法。
(付記2)
前記埋めることは、
前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記1つの連続領域で使用された最後の基準サンプルと略同一である基準サンプルで、前記1つの連続領域以外の前記予測ユニットの領域を埋めること
を更に含む、付記1に記載の方法。
(付記3)
前記埋めることは、
前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記カウンターパート方向モードの法線方向に沿って生じる前記基準サンプルの変化の関数として決定される、計算された基準サンプルで、前記1つの連続領域外の前記予測ユニットの領域を埋めること
を更に含む、付記1に記載の方法。
(付記4)
前記埋めることは、
前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記1つの連続領域を埋めるのに使用された前記利用可能な基準サンプルの平均として値が計算される同じ基準サンプルで、前記1つの連続領域以外の前記予測ユニットの領域を埋めること
を更に含む、付記1に記載の方法。
(付記5)
前記埋めることは、
前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記デジタルビデオ画像と共にデータとして値が送信される同じ基準サンプルで、前記1つの連続領域以外の前記予測ユニットの領域を埋めること
を更に含む、付記1に記載の方法。
(付記6)
デジタルビデオ画像を圧縮する装置であって、前記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含み、前記装置は、
複数の命令を記憶するメモリと、
前記メモリに結合され、フレーム内予測の動作を含む前記ビデオ画像圧縮を実行するように構成されるプロセッサと、
を含み、前記プロセッサは、
特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することと、
1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが前記予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、前記予測ユニットの前記別の部分は、前記特定の方向モードの逆端部における前記予測ユニットの側に沿う、判断することと、
1つ又は複数の基準サンプルが前記特定の方向モードの前記逆端部において利用可能であると判断される場合、前記特定の方向モードを前記特定の方向モードの逆向きのカウンターパート方向モードで置換することと、
前記カウンターパート方向モードを使用して前記利用可能な基準サンプルで前記予測ユニットを埋めることと、
を行うことにより、前記フレーム内予測を実行するように構成される、装置。
(付記7)
前記埋めることは、
前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記1つの連続領域で使用された最後の基準サンプルと略同一である基準サンプルで、前記1つの連続領域以外の前記予測ユニットの領域を埋めること
を更に含む、付記6に記載の装置。
(付記8)
前記埋めることは、
前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記カウンターパート方向モードの法線方向に沿って生じる前記基準サンプルの変化の関数として決定される、計算された基準サンプルで、前記1つの連続領域外の前記予測ユニットの領域を埋めること
を更に含む、付記6に記載の装置。
(付記9)
前記埋めることは、
前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記1つの連続領域を埋めるのに使用された前記利用可能な基準サンプルの平均として値が計算される同じ基準サンプルで、前記1つの連続領域以外の前記予測ユニットの領域を埋めること
を更に含む、付記6に記載の装置。
(付記10)
前記埋めることは、
前記利用可能な基準サンプルが全て、前記予測ユニットの1つの連続領域において前記カウンターパート方向モードを使用して伝播された場合、前記デジタルビデオ画像と共にデータとして値が送信される同じ基準サンプルで、前記1つの連続領域以外の前記予測ユニットの領域を埋めること
を更に含む、付記6に記載の装置。
(付記11)
1つ又は複数の実行可能な命令が記憶された非一時的コンピュータ可読媒体であって、前記実行可能な命令は、プロセッサによって実行されると、前記プロセッサに、フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法を実行させ、前記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含み、前記フレーム内予測は、
特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することと、
1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが前記予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、前記予測ユニットの前記別の部分は、前記特定の方向モードの逆端部における前記予測ユニットの側に沿う、判断することと、
1つ又は複数の基準サンプルが前記特定の方向モードの前記逆端部において利用可能であると判断される場合、前記特定の方向モードを前記特定の方向モードの逆向きのカウンターパート方向モードで置換することと、
前記カウンターパート方向モードを使用して前記利用可能な基準サンプルで前記予測ユニットを埋めることと、
を含む、非一時的コンピュータ可読媒体。
(付記12)
ビデオ画像ブロックを送信する装置であって、
メモリと、
フレーム内予測の動作を含む、デジタルビデオ画像を圧縮する方法を実行するように構成されるプロセッサであって、前記デジタルビデオ画像はそれぞれ、1つ又は複数の予測ユニットを含む、プロセッサと、
を含み、前記フレーム内予測は、
特定の方向モードを所与として、1つ又は複数の基準サンプルが、予測ユニット又はその一部で利用可能ではないかどうか、又は欠落しているかどうかを判断することと、
1つ又は複数の基準サンプルが利用可能ではないか、又は欠落していると判断される場合、1つ又は複数の基準サンプルが前記予測ユニットの別の部分に沿って利用可能であるかどうかを判断することであって、前記予測ユニットの前記別の部分は、前記特定の方向モードの逆端部における前記予測ユニットの側に沿う、判断することと、
1つ又は複数の基準サンプルが前記特定の方向モードの前記逆端部において利用可能であると判断される場合、前記特定の方向モードを前記特定の方向モードの逆向きのカウンターパート方向モードで置換することと、
前記カウンターパート方向モードを使用して前記利用可能な基準サンプルで前記予測ユニットを埋めることと、
を含む、装置。