特表2019-520001(P2019-520001A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ インターデジタル ヴイシー ホールディングス, インコーポレイテッドの特許一覧

特表2019-520001簡単なローカル予測子を用いる改善された重要度フラグ符号化の方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2019-520001(P2019-520001A)
(43)【公表日】2019年7月11日
(54)【発明の名称】簡単なローカル予測子を用いる改善された重要度フラグ符号化の方法及び装置
(51)【国際特許分類】
   H04N 19/91 20140101AFI20190621BHJP
   H04N 19/93 20140101ALI20190621BHJP
   H04N 19/46 20140101ALI20190621BHJP
【FI】
   H04N19/91
   H04N19/93
   H04N19/46
【審査請求】未請求
【予備審査請求】未請求
【全頁数】25
(21)【出願番号】特願2018-568268(P2018-568268)
(86)(22)【出願日】2017年6月27日
(85)【翻訳文提出日】2019年2月25日
(86)【国際出願番号】EP2017065859
(87)【国際公開番号】WO2018002052
(87)【国際公開日】20180104
(31)【優先権主張番号】16305799.5
(32)【優先日】2016年6月29日
(33)【優先権主張国】EP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】518338149
【氏名又は名称】インターデジタル ヴイシー ホールディングス, インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】ラセール,セバスチャン
(72)【発明者】
【氏名】アンドリフォン,ピエール
(72)【発明者】
【氏名】ボルデ,フィリップ
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159KK08
5C159MC02
5C159ME05
5C159ME11
5C159PP16
5C159RC11
5C159UA02
5C159UA05
(57)【要約】
高度ビデオ圧縮システムにおける重要度フラグは、走査順に取られて符号化される最後のN個の重要度フラグに適応するコンテキストを用いて符号化される。一実施形態は、後続の重要度フラグを符号化するために複数の重要度フラグコンテキストセットのどれを使用すべきかを決定するために、走査順における最後のN個の重要度フラグを予測子として用いる。第2の実施形態は、将来の符号化用に重要度フラグを符号化するために用いられる重要度フラグコンテキストに関連する確率値を変調するために、走査順における最後のN個の重要度フラグを予測子として用いる。
【特許請求の範囲】
【請求項1】
ビデオ符号化の方法であって、
画像の一部の走査順に対応する複数の最後のN個の重要度フラグに基づいて重要度フラグコンテキストを修正することと、
前記修正された重要度フラグコンテキストを用いて後続の重要度フラグを符号化することと、を含む方法。
【請求項2】
ビデオ復号の方法であって、
画像の一部の走査順に対応する複数の最後のN個の重要度フラグに基づいて重要度フラグコンテキストを修正することと、
前記修正された重要度フラグコンテキストを用いて後続の重要度フラグを復号することと、を含む方法。
【請求項3】
ビデオ符号化の装置であって、
画像の一部の走査順に対応する複数の最後のN個の重要度フラグに基づいて重要度フラグコンテキストを修正するように構成されたプロセッサと、
画像の一部のためのビデオを符号化する際に、前記修正された重要度フラグコンテキストを用いる符号器と、を含む装置。
【請求項4】
ビデオ復号の装置
画像の一部の走査順に対応する複数の最後のN個の重要度フラグに基づいて重要度フラグコンテキストを修正するように構成されたプロセッサと、
画像の一部のためのビデオを復号する際に、前記修正された重要度フラグコンテキストを用いる復号器と、を含む装置。
【請求項5】
前記重要度フラグコンテキストが、前記重要度フラグコンテキストに関連する確率値を更新することによって修正される、請求項1若しくは2に記載の方法又は請求項3若しくは4に記載の装置。
【請求項6】
前記重要度フラグコンテキストが、後続の重要度フラグを符号化するために用いる重要度フラグコンテキストの代替セットを選択することによって修正される、請求項1若しくは2に記載の方法又は請求項3若しくは4に記載の装置。
【請求項7】
前記重要度フラグコンテキストが、前記ベクトルの要素の機能に基づいて修正される、請求項1若しくは2に記載の方法又は請求項3若しくは4に記載の装置。
【請求項8】
前記重要度フラグコンテキストが、真である前記ベクトルの複数の要素に基づいて修正される、請求項1若しくは2に記載の方法又は請求項3若しくは4に記載の装置。
【請求項9】
前記走査順が、ジグザグ走査である、請求項1若しくは2に記載の方法又は請求項3若しくは4に記載の装置。
【請求項10】
Nの値が4である、請求項1若しくは2に記載の方法又は請求項3若しくは4に記載の装置。
【請求項11】
実行された場合に請求項1、2又は5〜10のいずれか一項に記載の方法を実施するための、ビデオ符号化又は復号のための命令を格納した非一時的なコンピュータ可読記憶媒体。
【請求項12】
請求項1又は5〜10のいずれか一項に従って生成されたビットストリームを格納した非一時的なコンピュータ可読記憶媒体。
【請求項13】
請求項1の方法に従って生成されたビットストリーム。
【発明の詳細な説明】
【技術分野】
【0001】
本原理は、一般にビデオ圧縮及び圧縮解除システムに関し、特にそれらのシステムにおける重要度フラグ予測に関する。
【背景技術】
【0002】
デジタルビデオ圧縮システムは、一般に、送信の前に圧縮するために、より小さなサイズの画素ユニットへとデジタル画像を分割する。幾つかの圧縮標準において、それらのより小さなサイズのユニットは、マクロブロック及びブロックである。ブロックは、画素値を表す輝度値及びクロミナンス値のアレイである。
【0003】
ビデオ符号化システムはまた、イントラ/インターフレーム相関における冗長性を活用し、高圧縮効率を達成するために、予測変換及びブロックベースの変換を用いる。時間冗長性は、前のフレームにおける画素値から現フレームにおける画素値を予測することによって、ビデオシーケンスから除去される。空間冗長性は、前に符号化された空間的に近傍のブロックにおける画素値から現ブロックにおける画素値を予測することによって、デジタルビデオ画像から除去される。予測から生じる残差値を変換した後で、変換係数のエネルギは、一般に、周波数領域において、より低い数の係数を取る。これらの変換係数は、それらが、幾つかの圧縮システムでエントロピー符号化され得るようにする順序で、量子化され走査される。エントロピー符号化は、符号化されたビットストリームにそのエントロピー境界を実現させ、符号化効率を更に改善する。
【0004】
ビデオ符号化システムにおけるエントロピー符号化の重要な使用法は、ブロックの量子化された変換係数の符号化であり、このブロックは、イントラ/インター予測、ブロック変換、及び量子化の後の残差データブロックである。かかるデータ用に、ハフマン符号化などの可変長符号化から算術符号化に及ぶエントロピー符号化ツールが開発されている。ハフマン符号は、コンポーネントシンボル用にコードを用いるが、しかし算術符号化は、全メッセージ用にコードを用いることができる。
【0005】
HEVC/H.265ビデオ圧縮標準において、算術符号化に基づく、2進データを符号化するための新しいツール、即ちコンテキスト適応型2値算術符号化(又はCABAC)が提案された。CABACは、2値シンボルを符号化する。2値シンボルsは、値0又は1を取るが、符号化され、1である確率p及び0である1−pが後に続く。この確率は、コンテキストから推定され、且つ各シンボル符号化後に、より優れた確率のモデル化を可能にするように適応される。
【0006】
CABACはまた、国際標準化機構/国際電気標準会議(ISO/IEC)動画像符号化専門家会合−4(MPEG−4)パート10高度ビデオ符号化(AVC)標準/国際電気通信連合、電気通信セクタ(ITU−T)H.264推奨(以下では「MPEG−4 AVC標準」と呼ぶ)における量子化された変換係数ブロックのためのエントロピー符号化方法である。CABACは、高い符号化効率を達成するが、しかしCABAC符号化手順の非系統的な実施は、2つの走査パスが、AVC用のデータブロックを符号化するために実行されることに帰着する。第1のパスにおいて、CABACは、前方ジグザグ走査順に従ってブロックの重要度マップを符号化する。第2のパスにおいて、CABACは、逆ジグザグ走査順に非ゼロ値を符号化する。
【0007】
図1を見ると、CABAC符号化の例が、概ね参照符号100によって表されている。重要度マップ符号化パス、即ち第1のパスにおいて、CABACは、非ゼロ係数の位置を表すために、sig_flag及びlast_flagを用いる。
【0008】
非ゼロ値の逆ジグザグ符号化において、2つのサブ符号化プロセスが用いられる。第1のサブ符号化プロセスにおいて、Bin_1(即ち第1のビン)と呼ばれるシンタックスが、非ゼロ係数が1の絶対値を有するかどうかを表すために用いられる。非ゼロ係数が、1の絶対値を有する場合に、Bin_1=1であり、非ゼロ係数の正負符号が送出される。そうでなければ、Bin_1=0であり、符号化は、第2のサブ符号化プロセスに移行する。第2のサブ符号化プロセスにおいて、CABACは、Bin_1=0に対応する、1より大きい絶対値を有する係数を符号化し、次に、それらの係数のそれぞれの正負符号を送出する。
【0009】
加えて、CABACの設計は、主としてより小さなブロックサイズ(例えば4×4及び8×8)用である。CABACは、より大きなブロック(例えば16×16、32×32、及び64×64)用にはそれほど効率的でないことが分かる。
【0010】
HEVC用に、(離散正弦変換(DST)又は離散コサイン変換(DCT)などの)変換を用いて、画素領域から周波数領域に変換ユニット(TU)を変換した後で、変換された係数は、以下の方式を用いて一つずつ符号化される。
・係数が非ゼロであるかどうかを知らせる重要度フラグ
・重要度フラグが真である場合に、符号ビット
・重要度フラグが真である場合に、係数の大きさが1より厳密に高いかどうかを知らせる「1より大」(greater1)フラグ
・greater1フラグが真である場合に、係数の大きさが2より厳密に高いかどうかを知らせる「2より大」(greater2)フラグ
・greater2フラグが真である場合に、係数の大きさの残りは、expGolombコードを用いて符号化される
【0011】
重要度フラグ、greater1フラグ、及びgreater2フラグは、専用コンテキストを備えたCABACを用いて符号化される。以下の実施形態は、CABACのコンテキスト情報を改善することによって、重要度フラグの符号化効率を向上させることに焦点を合わせる。
【発明の概要】
【0012】
先行技術のこれら及び他の欠点及び不都合は、本原理によって取り組まれるが、本原理は、簡単なローカル予測子を用いる改善された重要度フラグ符号化の方法及び装置に関する。
【0013】
2つの実施形態において、画像の一部の走査順に対応する複数の最後のN個の重要度フラグに基づいて重要度フラグコンテキストを修正することと、前記修正された重要度フラグコンテキストを用いて後続の重要度フラグを符号化又は復号することと、を含む方法が提供される。
【0014】
別の実施形態において、装置は、画像の一部の走査順に対応する複数の最後のN個の重要度フラグに基づいて重要度フラグコンテキストを修正するように構成されたプロセッサと、画像の一部のためのビデオを符号化又は復号する際に、修正された重要度フラグコンテキストを用いる符号器又は復号器と、を設けられる。
【0015】
1つの特定の実施形態において、画像の一部の走査順に対応する複数の最後のN個の重要度フラグを表すベクトルを用いて重要度フラグ予測子を決定することを含む方法が提供される。方法は、重要度フラグ予測子を用いて、重要度フラグコンテキストに関連する確率値を更新することを更に含み、且つ重要度フラグコンテキストに関連する更新された確率値を用いて後続の重要度フラグを符号化することを更に含む。
【0016】
別の特定の実施形態において、画像の一部のための第1の重要度フラグを符号化する際に用いられる重要度フラグコンテキストの第1のセットを選択することを含む、且つ画像の一部の走査順に対応する最後のN個の重要度フラグに基づいて、重要度フラグコンテキストの第1のセット又は重要度フラグコンテキストの第2のセットのいずれかを用いて、画像の一部における各後続の重要度フラグを符号化することを更に含む第2の方法が提供される。
【0017】
別の実施形態において、画像の一部の走査順に対応する複数の最後のN個の重要度フラグを表すベクトルを用いて重要度フラグ予測子を決定することを含む第3の方法が提供される。方法は、重要度フラグ予測子を用いて、重要度フラグコンテキストに関連する確率値を更新することと、重要度フラグコンテキストに関連する更新された確率値を用いて後続の重要度フラグを復号することと、を更に含む。
【0018】
更に別の実施形態において、画像の一部のための第1の重要度フラグを符号化する際に用いられる重要度フラグコンテキストの第1のセットを選択することと、画像の一部の走査順に対応する最後のN個の重要度フラグに基づいて、重要度フラグコンテキストの第1のセット又は重要度フラグコンテキストの第2のセットのいずれかを用いて、画像の一部における各後続の重要度フラグを復号することと、を含む第4の方法が提供される。
【0019】
別の実施形態において、走査順に重要度フラグを格納するバッファを実現するように構成されたプロセッサと、次の重要度フラグを符号化するために、格納された重要度フラグに基づいて、複数の重要度フラグコンテキストセットのどの1つのセットを用いるべきかを決定する回路類、及び選択された重要度フラグコンテキストセットが、符号器に送信され得るようにするスイッチと、画像の一部のためのビデオを符号化する際に、選択された重要度フラグコンテキストセットを用いる符号器と、を含む装置が提供される。
【0020】
別の実施形態において、走査順に重要度フラグを格納するバッファを実現するように、且つ重要度フラグコンテキストに関連する確率を更新するために、格納された重要度フラグに基づいて予測子を生成するように構成されたプロセッサと、画像の一部のためのビデオを符号化する際に更新された確率を用いる符号器と、を含む第2の装置が提供される。
【0021】
別の実施形態において、走査順に重要度フラグを格納するバッファを実現するように構成されたプロセッサと、次の重要度フラグを符号化するために、格納された重要度フラグに基づいて、複数の重要度フラグコンテキストセットのどの1つのセットを用いるべきかを決定する回路類、及び選択された重要度フラグコンテキストセットが、符号器に送信され得るようにするスイッチと、画像の一部のためのビデオを復号する際に、選択された重要度フラグコンテキストセットを用いる復号器と、を含む第3の装置が提供される。
【0022】
別の実施形態において、走査順に重要度フラグを格納するバッファを実現するように、且つ重要度フラグコンテキストに関連する確率を更新するために、格納された重要度フラグに基づいて予測子を生成するように構成されたプロセッサと、画像の一部のためのビデオを復号する際に更新された確率を用いる復号器と、を含む第4の装置が提供される。
【0023】
別の実施形態において、実行された場合に上記の方法のいずれか1つによる方法を実施するための、ビデオ符号化又は復号のための命令を自らに格納した非一時的なコンピュータ可読記憶媒体が提供される。
【0024】
別の実施形態において、前述の符号化実施形態のいずれか1つに従って生成されたビットストリームを自らに格納した非一時的なコンピュータ可読記憶媒体が提供される。
【0025】
別の実施形態において、ビデオ符号化方法に従って生成されたビットストリームが提供される。
【図面の簡単な説明】
【0026】
図1】本原理を用いるCABAC符号化の例の一実施形態を示す。
図2】符号化される現在の重要度フラグのコンテキストを適応させる先行方法において用いられる重要度フラグの近傍を示す。
図3】8ビット値として現れるコンテキスト値の例を示す。
図4】コンテキスト値の更新のためのプロセスの例を示す。
図5】16のブロックに分割される16×16変換ユニットを示す。
図6】重要度係数を包含するサブブロックのそれぞれにおけるサブセットを示す変換ユニットの例を示す。
図7】サブブロックの例を示し、係数は、所与の走査順に従って走査される。
図8】輝度変換ブロック用の27の重要度フラグコンテキスト及び彩度変換ブロック用の15の重要度フラグコンテキストを示す。
図9】カラーチャネルにかかわらず、変換ユニットのユニークなサブブロックにおける係数の位置のみに依存するコンテキストインデックスを備えたその4×4搬送ブロックを示す。
図10】底部及び右サブブロック符号化フラグ、並びに現在のサブブロック内の係数の位置を示す。
図11】本原理を用いて重要度フラグを符号化する方法の一実施形態を示す。
図12a】本原理を用いて重要度フラグを符号化する装置の実施形態を示す。
図12b】本原理を用いて重要度フラグを符号化する装置の実施形態を示す。
図13】本原理を用いて重要度フラグを復号する方法の一実施形態を示す。
図14a】本原理を用いて重要度フラグを復号する装置の実施形態を示す。
図14b】本原理を用いて重要度フラグを復号する装置の実施形態を示す。
図15】本原理を用いて重要度フラグを符号化する方法の一実施形態を示す。
図16a】本原理を用いて重要度フラグを符号化する装置の実施形態を示す。
図16b】本原理を用いて重要度フラグを符号化する装置の実施形態を示す。
図17】本原理を用いて重要度フラグを復号する方法の一実施形態を示す。
図18a】本原理を用いて重要度フラグを復号する装置の実施形態を示す。
図18b】本原理を用いて重要度フラグを復号する装置の実施形態を示す。
【発明を実施するための形態】
【0027】
過去においてHEVC標準化プロセス中に、且つ今やHEVC標準の後継の開発中に、より効率的な符号化性能が、近傍の重要度フラグの値にコンテキスト依存性を加えることによって、達成されることが確認された。これは、HEVC標準には受け入れられなかった。何故なら、それが、近傍のフラグを見つけて、関連する予測子を計算する際に、コンテキストの数を増加させて、追加の計算及びメモリ帯域幅消費を加えるからである。しかしながら、これは、次世代コーデック用に再び検討されている。重要度フラグ符号化に用いられる試験済みの近傍の例が、図2に提示されている。図2は、先行方法において用いられる、符号化される現在の重要度フラグ(X)のコンテキストを適応させるために用いられる重要度フラグの近傍(A〜Kにハッシュされている)を示す。
【0028】
提案される解決法は、重要度フラグ用の新しい予測子である。この予測子は、符号化される現在の重要度フラグの空間的近傍に依存しないが、その代わりに例えば走査順において最後の符号化された重要度フラグなどの基準に依存する。
【0029】
先行技術と比較して、下記の利点を有する特定の実装形態が提供される。その実装形態は、先行する符号化された重要度フラグへの追加のメモリアクセスを必要としない。計算コストは無視でき、それは、符号化グループ間の重要度フラグの空間的独立に否定的な影響を与えない。
【0030】
新しい予測子を用いる2つの主な実施形態が提供される。最初に、新しい予測子は、重要度フラグに関連する複写されたコンテキスト間のスイッチとして用いられる。第2に、新しい予測子は、現在の重要度フラグコンテキストから決定された確率の変調として用いられる。
【0031】
第1の実施形態は、より多くの符号化利得を示すが、一方でそれは、より多くのコンテキストを必要とする。第2の実施形態は、第1の方法より少ないけれども、HEVCと比較すると、やはり利得を示すが、しかしそれは、複雑さをHEVCに事実上加えない。
【0032】
HEVCにおいて、コンテキスト値は、図3におけるように8ビット値である。先頭ビットは、優勢確率シンボル(又はMPS)を表現し、次の7ビットは、確率p’(又は状態)を表現し、その確率p’(又は状態)から確率pが推定される。コンテキスト値の更新は、符号化されたシンボルが、MPSと等しいかどうかに依存して、図4に示されているプロセスに続いて行われる。展開は、2つの表、即ち、符号化されたシンボルがMPSである場合のtransldxMPS、及び符号化されたシンボルがMPSでない場合のtransldxLPS(即ちそれは、劣勢確率シンボル(LPS)である)を通して行われる。これらの表は、pStateldxとも呼ばれるエントリp’用の表1に提供される。
【0033】
【表1】
【0034】
MPSであるシンボルsの確率pMPSは、8ビットを用いて0〜127に線形的に量子化される。それは、
MPS=(p’+64)/127=(pStateldx+64)/127
によってコンテキスト値から推定され、1であるシンボルsの確率pは、MPSの値に依存してpMPSから明らかに推定される。
MPS=1の場合、p=pMPS
MPS=0の場合、p=1−pMPS
【0035】
コンテキスト適応符号化は、シンボルが属するチャネルの統計に動的に続くことを可能にする強力なツールである。また、各チャネルは、統計の混合及びプロセスの利益の喪失を回避するために、それ自体のコンテキストを有するべきである。これは多くのチャネルをモデル化するために、数百までの、HEVC/H.265における多くのコンテキストの広範囲な使用につながった。
【0036】
HEVCにおいて、変換ユニット(TU)は、例えば、ブロック間の弱い相互作用で符号化される4×4ブロック(図5において符号化グループ用にCGとラベル付けされる)に分割される。弱い相互作用は、2つのブロック間の係数符号化が、直接には相互作用しないことを意味する。例えば、16×16変換ユニットは、図5に示されているような16ブロックに分割される。
【0037】
変換された変換ユニットは、特定の順序で走査することができる。この順序に依存して、最後の重要度(非ゼロ)係数の位置が、ビットストリームにおいて決定され符号化される。従って、サブブロックのそれぞれにおけるサブセットだけが、図6に示されているように、重要度係数を包含し得る。
【0038】
図5においてCGとラベル付けされた)各サブブロックに付けられるのは、サブブロックに重要度フラグが存在するかどうかを知らせる符号化フラッグである。図6において、「?」を備えたサブブロックだけが、ビットストリームにおいて符号化される、符号化されるフラグを有し、一方で自らのブロックにおいて明示的な「1」又は「2」を備えたサブブロックは、次の規則によって推測されるそれらの符号化フラグを有する。
・もちろん、最後の重要度係数を含むサブブロックの符号化フラグは、1である。
・また、最後の重要度係数を包含するサブブロックの後に来るサブブロックの符号化フラグは、ゼロである。
・重要度係数が、低周波位置にあることが非常にありそうなので、第1の(左上)サブブロックの符号化フラグは、1に自動的に推測される。この推測は、めったに間違うことがなく、従ってゼロへの16の重要度フラグの符号化につながり得る。
【0039】
サブブロックの内部で、係数は、例えば、図7に示されているように、所与の走査順に従って走査される。関連する重要度フラグは、この順序で符号化される。
【0040】
HEVC用に、重要度フラグは、スライスタイプ(I、P又はB)、輝度又は彩度チャネル、変換ブロックサイズ、近傍のサブブロック符号化フラグ、変換ブロックにおけるサブブロックの位置、及びサブブロックにおける係数の位置などのものに依存する多くのコンテキストを備えたCABACを用いて符号化される。
【0041】
HEVC標準文書に規定されているように、各スライスタイプ用に42のコンテキスト、従って合計3*42=126のコンテキストが存在する。関連する表が、表2に示されている。
【0042】
図8は、輝度変換ブロック用の27の重要度フラグコンテキスト及び彩度変換ブロック用の15の重要度フラグコンテキストが存在することを示す。DC係数は、それ自体のコンテキスト、輝度用のインデックス0、及び彩度用のインデックス27を有する。これらのコンテキストは、変換ブロックサイズ(4×4、8×8、又は16×16及びより大)に依存する。8×8以上の輝度変換ブロック用に、コンテキストインデックスはまた、変換ブロックにおけるサブブロック(左上又は別)の位置に依存する。コンテキストの構造は、以下で説明されるように、変換ブロックサイズが4×4かどうかに依存して異なる。
【0043】
【表2】
【0044】
4×4搬送ブロック用に、カラーチャネルにかかわらず、コンテキストインデックスは、変換ユニットのユニークなサブブロックにおける係数の位置にのみ依存する。これは、輝度4×4変換ブロック用に図9に示され、これは、インデックスに27値を加えることによって彩度4×4変換ブロック用についても同様である。
【0045】
8×8以上の変換ブロックサイズ用に、3つのコンテキスト間で1つのコンテキストが選択されることに図8から気付く。変換ブロックサイズ、サブブロック位置、及びカラーチャネルに依存して干渉シフトを適用すると、曖昧さなしに、これらのインデックス0、1及び2にラベルを付けることが可能である。
【0046】
図10は、このラベルが、底部及び右サブブロック符号化フラグの値、及び現在のサブブロック内の係数の位置に依存することを表す。
【0047】
ここで提示される実施形態は、コンテキストインデックスを決定するために用いられる上記の方法を変更しない。代わりに、これらの実施形態は、コンテキストに付けられた確率を洗練するために、又は複数の重要度フラグコンテキストセット間で選択するために用いられる新しい予測子を介して、追加の情報を提供する。前述の確率は、真である現在の重要度フラグの確率を表現する。いずれの場合にも、確率を更新するための、又は重要度フラグコンテキストのどちらのセットを用いるべきかに関する決定のための予測子は、過去の重要度フラグに基づいて、且つ特に走査順に従って過去の重要度フラグを用いて決定される。
【0048】
今、幾つかの例が、新しい予測子を構成する方法を例示するために示される。2つの実施形態が、この予測子の使用を説明する。復号器を符号器と同期させるために、本明細書で提案される予測子は、符号器及び復号器の両方において生成される。
【0049】
提案される予測子は、最後のNの符号化又は復号された重要度フラグのN値を格納するサイズNの循環バッファBである。循環バッファは、以下のように満たされる。
1.初期状態は、全てゼロに設定されるNエントリである
2.最後の係数から開始し、逆の走査順に従ってDC係数に行き、以下のように重要度フラグの符号化又は復号を進める
a.現在の重要度フラグの走査位置posを取得する
b.予測子として循環バッファを用いて、現在の重要度フラグfを符号化又は復号する
c.B[pos mod N]=fによって循環バッファを更新する
好ましい変形において、バッファのサイズは、(I mod N)が、2値マスクを用いて簡単に計算され、且つバッファが、B[pos&3]=fによって更新されるように、N=4である。
【0050】
HEVCにおいて、予測子状態を決定する計算コストが、事実上ゼロであるように、循環バッファの更新だけが、符号化又は復号プロセスに加えられなければならない。「モジュロ」が、複雑な演算であるが、しかし2の累乗であるNの値を用いることによって、マスクを用いてモジュロ演算を実施できるようになり、演算を事実上費用のかからないものにすることに留意されたい。
【0051】
第1の実施形態において、重要度フラグコンテキストの複数のセットの1つが、重要度フラグバッファの内容に基づいて選択され、重要度フラグバッファは、走査順における最後のN個の重要度フラグを格納する。例えば、HEVCにおいて、42の重要度フラグコンテキストは、42コンテキストの2つのセットを得るために複写される。複写されたセットの1つは、「ノーマル」領域用であり、別のセットは、重要度フラグのほとんどが1である「フル」領域用である。2つのセット間のスイッチは、前に説明したような4要素循環バッファ予測子によって駆動される。手順は、各サブブロック用に、「ノーマル」セットが、サブブロックにおける第1の重要度フラグの符号化用に選択されるということである。次に、続く重要度フラグ用に、循環バッファにおける「1」(真)の数が、3以上である場合に、「フル」セットが選択される。循環バッファにおける「1」(真)の数が、1以下である場合に、「ノーマル」セットが選択される。循環バッファにおける「1」(真)の数が、2に等しい場合に、先行する重要度フラグ用に使用されたのと同じセットが選択される。
【0052】
この例示的な実施形態は、4の循環バッファ長を用い、且つ循環バッファにおける1の数に基づいて、どのコンテキストセットを用いるかを決定する。これらの値は、ここでは単に例として用いられ、この概念の範囲を制限しない。この実施形態のための一般化された規則は、Mの相異なるコンテキストセット間のスイッチが、N長さバッファにおける1の数に依存するということである。Mセット間の切り替え用に必要とされる1の正確な数は、この例とは異なることができるか、又は決定は、バッファの内容の或る機能、例えば、重みでバッファにおける相異なる位置を重み付けすることとすることができる。
【0053】
図11は、本原理を用いて重要度フラグを符号化する方法1100の一実施形態を示す。方法は、ブロック1101で開始し、且つ符号化ブロック又はサブブロックにおける第1の重要度フラグを符号化するために用いられる初期重要度フラグコンテキストセットを選択するブロック1110に進む。方法は、ブロック1110からブロック1120に進み、ブロック1120において、後続の重要度フラグは、走査順における最後のN個の重要度フラグを用いて複数の重要度フラグコンテキスト間から選ばれる選択された重要度フラグコンテキストセットを用いて符号化される。決定は、走査順における最後のN個の重要度フラグの1の数か、又はそれらの重要度フラグの或る他の機能に基づくことができる。
【0054】
図12は、本原理を用いて重要度フラグを符号化する装置の2つの実施形態を示す。図12aの装置1200において、バッファ1210は、走査順におけるサブブロック用の重要度フラグを符号器1250から自らの入力部で受信する。バッファ1210は、走査順からの最後のN個の重要度フラグを格納する。バッファ1210の出力部は、コンテキスト決定回路1220の入力部と信号接続し、コンテキスト決定回路1220は、複数の重要度フラグコンテキストセットのどれが、次の重要度フラグを符号化するために用いられるべきであるかを決定するために用いられる制御信号を、バッファ1210に格納された重要度フラグから決定する。制御信号は、走査順における最後のN個の重要度フラグにおける1の数に、又はそれらの重要度フラグの或る他の機能に基づくことができる。
【0055】
制御信号は、回路1220からスイッチ1240の第1の入力部に出力される。スイッチ1240はまた、その入力ポートにおいて、重要度フラグコンテキストセット1〜N1230を表現するN入力を受信する。回路1220からの制御信号は、重要度フラグコンテキストのNセットの1つを選択し、且つ出力ポートにおいて、選択された重要度フラグコンテキストを符号器1250に出力する。次に、符号器1250は、追加のサブブロック用に後続の重要度フラグを符号化するために、選択された重要度フラグコンテキストセットを用いる。
【0056】
図12bは、プロセッサを使用する本原理を用いて重要度フラグを符号化する装置1255の実施形態を示す。プロセッサ1260は、その入力部において、走査順におけるサブブロック用の重要度フラグを符号器1270から受信する。プロセッサ1260は、多数の格納された重要度フラグコンテキストセットのどれを将来のサブブロック用の追加の重要度フラグの後続の符号化用に符号器1270の入力部へと出力ポートにおいて出力するかを決定する。プロセッサ1260は、走査順における最後のN個の重要度フラグにおける1の数に、又はそれらの重要度フラグの或る他の機能に、この決定を基づかせることができる。
【0057】
図13は、本原理を用いて重要度フラグを復号する方法1300の一実施形態を示す。方法は、ブロック1101で開始し、且つ符号化ブロック又はサブブロックにおける第1の重要度フラグを復号するために用いる初期重要度フラグコンテキストセットを選択するブロック1110に進む。方法は、ブロック1110からブロック1120に進み、ブロック1120において、後続の重要度フラグは、走査順における最後のN個の重要度フラグを用いて複数の重要度フラグコンテキストセットの間から選ばれる、選択された重要度フラグコンテキストセットを用いて復号される。決定は、最後のN個の重要度フラグの1の数に、又はそれらの重要度フラグの或る他の機能に基づくことができる。
【0058】
図14は、本原理を用いて重要度フラグを復号する装置の2つの実施形態を示す。図14aの装置1400において、バッファ1410は、その入力部において、走査順におけるサブブロック用の重要度フラグを復号器1450から受信する。バッファ1410は、走査順からの最後のN個の重要度フラグを格納する。バッファ1410の出力部は、複数の重要度フラグコンテキストセットのどれが、次の重要度フラグを復号するために用いられるべきかを決定するために用いられる制御信号を、バッファ1410に格納された重要度フラグから決定するコンテキスト決定回路1420の入力部と信号接続する。制御信号は、走査順における最後のN個の重要度フラグにおける1の数、又はそれらの重要度フラグの或る他の機能に基づくことができる。制御信号は、回路1420からスイッチ1440の第1の入力部に出力される。スイッチ1440はまた、その入力ポートにおいて、重要度フラグコンテキストセット1〜N1430を表現するN入力を受信する。回路1420からの制御信号は、重要度フラグコンテキストのNセットの1つを選択し、且つ選択された重要度フラグコンテキストを出力ポートにおいて復号器1450に出力する。次に、復号器1450は、追加のサブブロック用の後続の重要度フラグを復号するために、選択された重要度フラグコンテキストセットを用いる。
【0059】
図14bは、プロセッサを使用する本原理を用いて重要度フラグを復号する装置1455の実施形態を示す。プロセッサ1460は、その入力部において、走査順におけるサブブロック用の重要度フラグを復号器1470から受信する。プロセッサ1460は、多数の格納された重要度フラグコンテキストセットのどれを将来のサブブロック用の追加の重要度フラグの後続の符号化用に符号器1470の入力部へと出力ポートにおいて出力するかを決定する。プロセッサ1460は、走査順における最後のN個の重要度フラグにおける1の数に、又はそれらの重要度フラグの或る他の機能に、この決定を基づかせることができる。
【0060】
第2の実施形態は、コンテキスト確率を変調するための提案される予測子の適用である。この実施形態は、「ビデオ符号化のための適応確率を備えたコンテキスト(Context with Adaptive Probability for Video Coding)」なる欧州特許出願第16305554.4における以前に開示された概念の特定の変形である。その出願は、コンテキストが付けられるチャネルを、この共通コンテキストを共有するサブチャネルに細分する或る情報によって、コンテキストに付けられる確率を変調する概念を開示する。
【0061】
ここで、第2の実施形態において、重要度フラグが、重要度フラグコンテキストの1である確率pは、次のように予測子に依存してpに修正される。
=p+Δ
式中、Δは、予測子状態に依存する変調値である。
【0062】
この第2の実施形態の変形において、変調値Δは、次のプロセスによって計算される。各サブブロック用に、初期値Δ=0が、第1の重要度フラグの符号化用に選択される。それから、次の重要度フラグ用に、循環バッファにおける「1」の数が、3以上である場合に、値Δ=Δが選択される。循環バッファにおける「1」の数が、1以下である場合に、値Δ=Δが選択される。循環バッファ「1」の数が、2に等しい場合に、値Δ=0が選択される。値Δ及びΔは、それぞれ正及び負である2つのパラメータである。第2の実施形態のこの変形は、変調値が、循環バッファにおける「1」の数によって決定されると言明することによって容易に一般化される。
【0063】
別の変形において、変調値は、循環バッファエントリの加重和である。
【数1】

式中、wは、走査位置に依存し得る重みである。
【0064】
図15は、本原理を用いて重要度フラグを符号化する方法1500の一実施形態を示す。方法は、ブロック1501で開始し、且つ走査順における前の重要度フラグから重要度フラグ予測子を決定するブロック1510に進む。予測子は、走査順における最後のN個の重要度フラグにおける1の数を数えることによって、又はそれらの重要度フラグの或る他の機能に基づいて決定することができる。制御は、ブロック1510からブロック1520、即ち、ブロック1510からの決定された予測子に基づいて、重要度フラグコンテキストに関連する確率を更新するブロック1520に進む。その確率は、例えば、現在の予測子、即ちデフォルト値又は用いられる最後の予測子値のいずれかに予測子を加えることによって更新することができる。例えば、符号化順で最後の4つの重要度フラグを格納する4要素バッファを用いると、次の重要度フラグコンテキスト確率用の予測子は、その時のバッファにおける1の数が3以上である場合に、正の予測子を選択することと、その時のバッファにおける1の数が1以下である場合に、負の予測子を選択することと、バッファにおける1の数が2である場合に、重要度フラグコンテキスト確率にどのような予測子も加えないことと、によって決定することができる。次に、制御は、ブロック1520からブロック1530、即ち、ブロック1520において計算された更新された確率を用いて、次の重要度フラグを符号化するブロック1530に進む。
【0065】
図16は、本原理を用いて重要度フラグを符号化する装置の2つの実施形態を示す。図16aは、符号器1640によって符号化されている走査順にサブブロック用の重要度フラグを格納する長さNのバッファを含む装置1600を示す。重要度フラグは、バッファ1610の入力ポートに入力され、且つバッファ1610の出力ポートから予測子生成回路1620の入力部に送信され、予測子生成回路1620は、バッファ1610と信号接続し、且つ予測子生成回路1620の入力ポートにおいて重要度フラグを受信する。予測子生成回路1620は、走査順における最後のN個の重要度フラグにおける1の数を数えることによって、又はそれらの重要度フラグの或る他の機能に基づいて、確率予測を形成することができる。確率予測は、予測子生成器1620の出力ポートにおいて、加算器1630の第1の入力ポートに出力され、加算器1630は、加算器1630への第2の入力ポートにおいて、確率の前バージョンに確率予測を加える。加算器1630の出力部は、符号器1640の入力ポートと信号接続し、符号器1640は、符号器1640から出力される次の符号化される重要度フラグに用いられる重要度フラグコンテキストに関連する更新された確率を用いる。
【0066】
図16bは、図16aにおけるのと同様の実施形態を示すが、しかし装置1650は、図16bにおけるバッファ1610、予測子生成回路1620、及び加算器1630の機能を実行するプロセッサ1660を含む。次に、符号器1670は、プロセッサ1660から出力された、且つ符号器1670から出力される次の符号化される重要度フラグ用に用いられる重要度フラグコンテキストに関連する更新された確率を用いる。
【0067】
図17は、本原理を用いて重要度フラグを復号する方法1700の一実施形態を示す。方法は、ブロック1701で開始し、且つ走査順における前の重要度フラグからの重要度フラグ予測子を決定するブロック1710に進む。予測子は、走査順における最後のN個の重要度フラグにおける1の数を数えることによって、又はそれらの重要度フラグの或る他の機能に基づいて決定することができる。制御は、ブロック1710から、ブロック1710からの決定された予測子に基づいて、重要度フラグコンテキストに関連する確率を更新するブロック1720に進む。その確率は、例えば、現在の予測子、即ちデフォルト値又は用いられる最後の予測子値のいずれかに予測子を加えることによって更新することができる。例えば、符号化順で最後の4つの重要度フラグを格納する4要素バッファを用いると、次の重要度フラグコンテキスト確率用の予測子は、その時のバッファにおける1の数が3以上である場合に、正の予測子を選択することと、その時のバッファにおける1の数が1以下である場合に、負の予測子を選択することと、バッファにおける1の数が2である場合に、重要度フラグコンテキスト確率にどのような予測子も加えないことと、によって決定することができる。次に、制御は、ブロック1720から1730に、即ち、ブロック1720において計算された更新された確率を用いて、次の重要度フラグを復号するブロック1730に進む。
【0068】
図18は、本原理を用いて重要度フラグを復号する装置の2つの実施形態を示す。図18aは、復号器1840によって復号されている走査順にサブブロック用の重要度フラグを格納する長さNのバッファを含む装置1800を示す。重要度フラグは、バッファ1810の入力ポートに入力され、且つバッファ1810の出力ポートから予測子生成回路1820の入力部に送信され、予測子生成回路1820は、バッファ1810と信号接続し、且つ予測子生成回路1820の入力ポートにおいて重要度フラグを受信する。予測子生成回路1820は、走査順における最後のN個の重要度フラグにおける1の数を数えることによって、又はそれらの重要度フラグの或る他の機能に基づいて、確率予測を形成することができる。確率予測は、予測子生成器1820の出力ポートにおいて、加算器1830の第1の入力ポートに出力され、加算器1830は、加算器1830への第2の入力ポートにおいて、確率予測を確率の前バージョンに加える。加算器1830の出力部は、復号器1840の入力ポートと信号接続し、復号器1840は、復号器1640から出力される次の符号化される重要度フラグに用いられる重要度フラグコンテキストに関連する更新された確率を用いる。
【0069】
図18bは、図18aにおけるのと同様の実施形態を示すが、しかし装置1850は、図18bにおけるバッファ1810、予測子生成回路1820、及び加算器1830の機能を実行するプロセッサ1860を含む。次に、符号器1870は、プロセッサ1860から出力された、且つ符号器1870から出力される次の符号化された重要度フラグ用に用いられる重要度フラグコンテキストに関連する更新された確率を用いる。
【0070】
これらの2つの実施形態及びそれらの変形において、現在の重要度フラグを予測するために用いられる幾つかの数の先行する重要度フラグは、空間的な近傍ではなく、最後のNの符号化された重要度フラグである。最後に、それは、係数の走査順に関係すると理解される。N循環バッファを備えた変形は、2の累乗であるNの値のための複雑さが、非常に低い。
【0071】
これらの実施形態の特定の利点は、それらが、符号器又は復号器のいずれかに著しい複雑さを加えずに、HEVC後継などのビデオ圧縮技術の圧縮効率を改善するということである。
【0072】
前述の実施形態は、セットトップボックス(STB)、モデム、ゲートウェイ、又はビデオ符号化若しくは復号を実行する他のデバイスにおいて実施することができる。
【0073】
図に示されている様々な要素の機能は、専用ハードウエアと同様に、適切なソフトウエアと共同してソフトウエアを実行できるハードウエアの使用を通して提供することができる。プロセッサによって提供される場合に、機能は、単一の専用プロセッサによってか、単一の共有プロセッサによってか、又は複数の個別のプロセッサ(それらの幾つかが共有されてもよい)によって提供されてもよい。更に、「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウエアを実行できるハードウエアを排他的に指すように解釈されるべきではなく、限定するわけではないが、デジタル信号プロセッサ(DSP)ハードウエア、ソフトウエアを格納するための読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、及び不揮発性記憶装置を暗に含み得る。
【0074】
また、従来的な及び/又はカスタムの他のハードウエアが含まれてもよい。同様に、図に示されたどのスイッチも、概念的なものに過ぎない。それらの機能は、プログラム論理の動作を介して、専用論理を介して、プログラム制御及び専用論理の相互作用を介して、又は手動でさえ実行されてもよく、特定の技術は、コンテキストからより具体的に理解されるように、実施者によって選択可能である。
【0075】
本説明は、本発明の原理を例示する。従って、本明細書において明示的に説明又は図示されていなくとも、当業者が、本原理を具体化する、且つ本原理の範囲に含まれる様々な構成を考案できることが認識されよう。
【0076】
本明細書で挙げられた全ての例及び条件付きの文言は、読者が本原理、及び技術を発展させるために発明者によって寄与された概念を理解するのを助けるための教示目的のために意図されており、且つかかる特に挙げられた例及び条件への限定がないように解釈されるべきである。
【0077】
更に、原理、態様、及び本原理の実施形態を挙げる本明細書の全ての言明と同様に、それらの特定の例は、その構造的及び機能的な均等物の双方を包含するように意図されている。加えて、かかる均等物が、現在周知の均等物と同様に、将来において開発される均等物の両方、即ち構造にかかわらず同一の機能を実行する開発される全ての要素を含むことが意図されている。
【0078】
従って、例えば、本明細書で提示されたブロック図が、本発明の原理を具体化する回路を例示する概念図を表現することが、当業者によって認識されよう。同様に、いずれのフローチャート、フロー図、状態遷移図、擬似コード等も、様々なプロセスを表現し、これらのプロセスが、コンピュータ可読媒体において実質的に表現され得、且つコンピュータ又はプロセッサが明示的に示されているかどうかによらず、かかるコンピュータ又はプロセッサによってそのように実行され得ることが認識されよう。
【0079】
本出願の特許請求の範囲において、特定の機能を実行するための手段として表現されたいずれの要素も、その機能を実行する任意の手法、即ち、例えばa)その機能を実行する回路要素の組み合わせ、又はb)任意の形態のソフトウエアであって、従って、機能を実行するそのソフトウエアを実行するための適切な回路と組み合わされたファームウエア、マイクロコード等を含むソフトウエアを含む任意の手法を包含するように意図されている。かかる請求項によって定義される本発明の原理は、様々な列挙された手段によって提供される機能が、請求項が求める手法で組み合わされてまとめられるという事実に存在する。従って、それらの機能を提供できるどのような手段も、本明細書で示されているものと均等であると見なされる。
【0080】
明細書において、本原理の「一実施形態」又は「実施形態」と同様に、それらの他のバリエーションへの言及は、実施形態に関連して説明される特定の特徴、構造、特性などが、本原理の少なくとも1つの実施形態に含まれることを意味する。従って、明細書全体に渡って様々な箇所に現れる語句「一実施形態において」又は「実施形態において」と同様に、任意の他のバリエーションの出現は、必ずしも、全て同一の実施形態を指すのではない。
図1
図2(A)】
図2(B)】
図2(C)】
図2(D)】
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12a
図12b
図13
図14a
図14b
図15
図16a
図16b
図17
図18a
図18b
【国際調査報告】