特開 2018-82453 ビデオ符号化のサンプル適応オフセット処理の方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-82453(P2018-82453A)

(43)【公開日】2018年5月24日

(54)【発明の名称】ビデオ符号化のサンプル適応オフセット処理の方法

(51)【国際特許分類】

   H04N 19/82 20140101AFI20180420BHJP

   H04N 19/70 20140101ALI20180420BHJP

【ＦＩ】

   H04N19/82

   H04N19/70

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

【全頁数】17

(21)【出願番号】特願2017-246468(P2017-246468)

(22)【出願日】2017年12月22日

(62)【分割の表示】特願2016-526429(P2016-526429)の分割

【原出願日】2014年7月15日

(31)【優先権主張番号】61/846,130

(32)【優先日】2013年7月15日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】516251901

【氏名又は名称】寰發股▲ふん▼有限公司

【氏名又は名称原語表記】ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ．

(74)【代理人】

【識別番号】110001494

【氏名又は名称】前田・鈴木国際特許業務法人

(72)【発明者】

【氏名】シャン， シン−タ

(72)【発明者】

【氏名】ファン， ユ−ウェン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME00

5C159NN01

5C159RB09

5C159UA02

5C159UA05

5C159UA16

5C159UA33

(57)【要約】      （修正有）

【課題】ビデオ符号化のサンプル適応オフセット（ＡＳＯ）処理の方法を提供する。
【解決手段】再構成ピクチャのデータを受信し、再構成画素のＥＯ分類インデックス又はＢＯ開始バンド位置を決定し、第１、第２カラーコンポーネントの第１、第２ＳＡＯ−ビット−シフト値を生成し、ＳＡＯ−オフセットサイン、ＳＡＯ−オフセット絶対値、第１、第２ＳＡＯ−ビット−シフト値に従いＳＡＯ−オフセット値を決定し、再構成画素が第１カラーコンポーネントに対応するか第２カラーコンポーネントに対応するかに応じて、第１、第２ＳＡＯ−ビット−シフト値をＳＡＯ−オフセット絶対値に左方移動させることによる結果によりＳＡＯ−オフセットサインを増加させることによりＳＡＯ−オフセット値を生成し、ＥＯ分類インデックス又はＢＯ開始バンド位置に関連するＳＡＯ−オフセット値を現在の再構成画素に加えることにより現在の再構成画素を補償する。
【選択図】図１１

【特許請求の範囲】

【請求項1】

ビデオ符号化システムＳＡＯ（sample-adaptive offset）処理の方法であって、前記方法は、
再構成ピクチャに関連する入力データを受信する工程と、
前記現在の再構成画素、および、隣接再構成画素に基づいて、現在の再構成画素のＥＯ分類インデックス、または、ＢＯ開始バンド位置を決定する工程と、
第１のカラーコンポーネントに関連する第１のＳＡＯ−ビット−シフト値、および、第２のカラーコンポーネントに関連する第２のＳＡＯ−ビット−シフト値を生成する工程であって、前記第１のＳＡＯ−ビット−シフト値および前記第２のＳＡＯ−ビット−シフト値の各々は、ビットストリームの異なるレベルにおける少なくとも２つの構文要素に対応する工程と、
ＳＡＯ−オフセットサイン、ＳＡＯ−オフセット絶対値、前記第１のＳＡＯ−ビット−シフト値、および、前記第２のＳＡＯ−ビット−シフト値にしたがって、前記現在の再構成画素の前記ＥＯ分類インデックス、または、前記ＢＯ開始バンド位置に関連するＳＡＯ−オフセット値を決定する工程と、
前記現在の再構成画素が前記第１のカラーコンポーネントに対応するとき、前記ＳＡＯ−オフセット値は、前記第１のＳＡＯ−ビット−シフト値を、前記ＳＡＯ−オフセット絶対値に左方移動させることによる結果により、前記ＳＡＯ−オフセットサインを増加させることにより生成される工程と、
前記現在の再構成画素が前記第２のカラーコンポーネントに対応するとき、前記ＳＡＯ−オフセット値は、前記第２のＳＡＯ−ビット−シフト値を、前記ＳＡＯ−オフセット絶対値に左方移動させることによる結果により、前記ＳＡＯ−オフセットサインを増加させることにより生成される工程と、
前記現在の再構成画素が前記第１のカラーコンポーネントに対応するか、あるいは、前記第２のカラーコンポーネントに対応するかに従って、前記ＥＯ分類インデックス、または、前記ＢＯ開始バンド位置に関連する前記ＳＡＯ−オフセット値を、前記現在の再構成画素に加えることにより、前記現在の再構成画素を補償する工程と、を有することを特徴とする方法。

【請求項2】

前記第１のＳＡＯ−ビット−シフト値は、前記ビットストリームの第１のレベルにおける第１の構文要素に対応し、前記第２のＳＡＯ−ビット−シフト値は、前記ビットストリームの前記第１のレベルにおける第２の構文要素に対応し、前期第１の構文要素と前記第２の構文要素は異なることを特徴とする請求項１に記載の方法。

【請求項3】

前記第１の構文要素の値の範囲は、ビデオデータの画素深さによって決まることを特徴とする請求項２に記載の方法。

【請求項4】

前記第２の構文要素の値の範囲は、ビデオデータの画素深さによって決まることを特徴とする請求項２に記載の方法。

【請求項5】

ビデオ符号化システムＳＡＯ（sample-adaptive offset）処理の装置であって、前記装置は、
再構成ピクチャに関連する入力データを受信する処理、
前記現在の再構成画素、および、隣接再構成画素に基づいて、現在の再構成画素のＥＯ分類インデックス、または、ＢＯ開始バンド位置を決定する処理、
第１のカラーコンポーネントに関連する第１のＳＡＯ−ビット−シフト値、および、第２のカラーコンポーネントに関連する第２のＳＡＯ−ビット−シフト値を生成する処理であって、前記第１のＳＡＯ−ビット−シフト値および前記第２のＳＡＯ−ビット−シフト値の各々は、ビットストリームの異なるレベルにおける少なくとも２つの構文要素に対応する処理、
ＳＡＯ−オフセットサイン、ＳＡＯ−オフセット絶対値、前記第１のＳＡＯ−ビット−シフト値、および、前記第２のＳＡＯ−ビット−シフト値にしたがって、前記現在の再構成画素の前記ＥＯ分類インデックス、または、前記ＢＯ開始バンド位置に関連するＳＡＯ−オフセット値を決定する処理、
前記現在の再構成画素が前記第１のカラーコンポーネントに対応するとき、前記ＳＡＯ−オフセット値は、前記第１のＳＡＯ−ビット−シフト値を、前記ＳＡＯ−オフセット絶対値に左方移動させることによる結果により、前記ＳＡＯ−オフセットサインを増加させることにより生成される処理、
前記現在の再構成画素が前記第２のカラーコンポーネントに対応するとき、前記ＳＡＯ−オフセット値は、前記第２のＳＡＯ−ビット−シフト値を、前記ＳＡＯ−オフセット絶対値に左方移動させることによる結果により、前記ＳＡＯ−オフセットサインを増加させることにより生成される処理、および
前記現在の再構成画素が前記第１のカラーコンポーネントに対応するか、あるいは、前記第２のカラーコンポーネントに対応するかに従って、前記ＥＯ分類インデックス、または、前記ＢＯ開始バンド位置に関連する前記ＳＡＯ−オフセット値を、前記現在の再構成画素に加えることにより、前記現在の再構成画素を補償する処理、
のために構成された１またはそれ以上の回路を有することを特徴とする装置。

【請求項6】

前記第１のＳＡＯ−ビット−シフト値は、前記ビットストリームの第１のレベルにおける第１の構文要素に対応し、前記第２のＳＡＯ−ビット−シフト値は、前記ビットストリームの前記第１のレベルにおける第２の構文要素に対応し、前期第１の構文要素と前記第２の構文要素は異なることを特徴とする請求項５に記載の装置。

【請求項7】

前記第１の構文要素の値の範囲は、ビデオデータの画素深さによって決まることを特徴とする請求項６に記載の装置。

【請求項8】

前記第２の構文要素の値の範囲は、ビデオデータの画素深さによって決まることを特徴とする請求項６に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

この出願は、２０１３年７月１５日に出願された“Method and Apparatus for Image and Video Coding with Modified Sample-Adaptive Offset Processing”と題された米国仮出願番号６１／８４６１３０から、優先権を主張するものであり、その内容は引用によって本願に援用される。

【0002】

本発明は、サンプル適応オフセット（ＳＡＯ）処理に関するものである。特に、本発明は、ＳＡＯ処理のパフォーマンスを改善する修正されたＳＡＯ処理に関するものである。

【背景技術】

【0003】

動き推定は、ビデオシーケンスにおいて、時間冗長性を有効に活かす効果的なインターフレーム符号化技術である。動き補償インターフレーム符号化は、すでに幅広く、各種国際ビデオ符号化標準に用いられている。各種符号化標準に採用される動き測定は、通常、ブロックベースの技術で、動き情報、たとえば、符号化モードと動きベクトルは、各マクロブロック、または、類似のブロック設定に対して決定される。このほか、イントラ符号化も適応的に適用され、ピクチャは、その他のピクチャの参照なしに処理される。インター予測、または、イントラ予測の剰余は、通常、さらに、変換、量子化、および、エントロピー符号化により処理されて、圧縮ビデオビットストリームを生成する。符号化処理の期間、符号化アーチファクト（符号化歪み）が、特に、量子化プロセスにおいて導入される。符号化アーチファクトを軽減するため、最新の符号化システムにおいては、追加処理が、再構成されたビデオに適用されて、ピクチャ品質を向上させている。追加処理は、しばしば、ループ内操作で構成されるので、エンコーダー、および、デコーダーは、同一リファレンス画像を生成して、システム性能の改善を達成する。高効率ビデオコーディング（ＨＥＶＣ）は、映像符号化国際標準のＨＥＶＣ標準化の共同チーム（ＪＣＴ−ＶＣ）で発展される新世代国際ビデオ符号化標準である。

【0004】

図１は、適応インター／イントラ予測を用いた高効率ビデオコーディングシステム（ＨＥＶＣ）に基づいたビデオエンコーダーのシステムブロック図である。このシステムにおいて、ピクチャは、複数の非重複の最大符号化ユニット、符号化ツリーブロック（ＣＴＢ）に分割される。インター予測において、動き推定（ＭＥ）／動き補正（ＭＣ、１１２）は、その他のピクチャ、または、ピクチャからのビデオデータに基づいて、予測データを提供するのに用いられる。スイッチ１１４は、イントラ予測１１０からイントラ予測データ、または、ＭＥ／ＭＣ１１２からインター予測データを選択する。選択された予測データ（１３６）は、加算器１１６に供給されて入力ビデオデータから取り除かれ、剰余とも称される予測誤差を形成する。その後、予測誤差は、変換（Ｔ）１１８、次に、量子化（Ｑ）１２０により処理される。その後、変換、および、量子化された剰余が、エントロピーエンコーダー１２２により符号化されて、圧縮ビデオデータに対応するビデオビットストリームを形成する。その後、変換係数に関連するビットストリーム変換係数は、サイド情報、たとえば、動き、モード、および、イメージ領域に関連するその他の情報とともにパックされる。サイド情報は、さらに、エントロピー符号化により、必要なバンド幅を減少させる。したがって、図１に示されるように、サイド情報に関連するデータがエントロピーエンコーダー１２２に提供される。インター予測モードが用いられるとき、リファレンス画像、または、ピクチャは、終端のエンコーダーで再構築なれなければならない。よって、変換、および、量子化された剰余は、逆量子化（ＩＱ）１２４と逆変換（ＩＴ）１２６により処理されて、剰余をリカバーする。その後、剰余は、再構成（ＲＥＣ）１２８で、予測データ１３６を加えて、ビデオデータを再構成する。再構成のビデオデータは、リファレンス画像バッファ１３４中に保存されると共に、別のフレームの予測に用いられる。

【0005】

図１に示されるように、入ってくるビデオデータは、符号化システムで、一連の処理を受ける。ＲＥＣ１２８からの再構成のビデオデータは、一連の処理によって、各種障害に見舞われる。したがって、再構成のビデオデータがリファレンス画像バッファ１３４に保存される前、各種ループ内処理が再構成のビデオデータに適用され、ビデオ品質を改善する。発展中の高効率ビデオコーディング（ＨＥＶＣ）標準化において、非ブロック化フィルター（ＤＦ）１３０、および、サンプル適応オフセット（ＳＡＯ）１３１が発展して、ピクチャ品質を向上させている。インループフィルタ情報が、ビットストリーム中に組み込まれて、デコーダーが、必要な情報を適切にリカバーすることができる。よって、ＳＡＯからのインループフィルタ情報がエントロピーエンコーダー１２２に提供されて、ビットストリーム中に組み込まれる。

【0006】

現在のＨＥＶＣ標準化は、各カラーコンポーネントの８ビット、または、１０ビットに等しい画素深さを有する４：０：０と４：２：０ピクチャサンプリングフォーマットだけをサポートすることができる。しかし、ＨＥＶＣの範囲拡張が開発されて、高い忠実度レベル、たとえば、ＵＨＤＴＶ（Ultra-High Definition Television）で、ビデオ符号化アプリケーションが現れた。拡張されたＨＥＶＣ標準化は、ＹＵＶ４：２：２，ＹＵＶ４：４：４とＲＧＢ４：４：４ピクチャフォーマットをさらにサポートすることが期待され、且つ、画素深さは、さらに、各カラーコンポーネントの１２ビットと１６ビットをサポートすることができる。

【0007】

ＨＥＶＣ標準化において、サンプル適応オフセット（ＳＡＯ）処理が用いられて、再構成ピクチャの歪みを減少させる。非ブロック化フィルタリング（ＤＦ）後、ＳＡＯ処理が実行され、且つ、それは、非ブロック解除フィルタリング（ＮＤＦｓ）操作の一部である。図２は、非ブロック化フィルター（ＤＦ）とＳＡＯを含むＨＥＶＣ−ベースデコーダーのシステムブロック図である。エンコーダーは、また、ローカルデコーダーを含んで、ビデオデータを再構成するので、いくつかのデコーダーコンポーネントも、エンコーダー中で用いられる。デコーダーにおいて、エントロピーデコーダー２２２が、剰余、動き情報に関連する符号化された構文要素、および、その他の制御データを構文解析、および、リカバーするのに用いられる。スイッチ２１４は、イントラ予測、または、インター予測を選択すると共に、選択された予測データは、リカバーされた剰余と結合される再構成（ＲＥＣ）２２８に供給される。圧縮されたビデオデータで、エントロピー復号が実行される以外に、エントロピー復号２２２は、サイド情報のエントロピー復号に対して責任を負い、サイド情報を各自ブロックに提供する。たとえば、イントラモード情報がイントラ予測２１０に提供され、インターモード情報が動き補正２１２に提供され、サンプル適応オフセット情報がＳＡＯ２３２に提供され、剰余が逆量子化２２４に提供される。剰余は、ＩＱ２２４、ＩＴ２２６、および、後続の再構成プロセスにより処理されて、ビデオデータを再構成する。再び、図２に示されるように、ＲＥＣ２２８からの再構成のビデオデータは、ＩＱ２２４とＩＴ２２６を含む一連の処理を受け、且つ、激しいシフトが発生する。再構成のビデオデータは、さらに、非ブロック化フィルター（ＤＦ）２３０、および、サンプル適応オフセット（ＳＡＯ）２３２により処理される。

【0008】

ＳＡＯのコンセプトは、それらの隣接画素値にしたがって、再構成画素をカテゴリに分類する。各カテゴリーは、その後、ビットストリームで符号化されたオフセット値が割り当てられ、各カテゴリーで、オフセットを再構成画素に加えることにより、再構成信号の歪みが減少する。ＨＥＶＣ標準化において、ＳＡＯツールは、二種の画素分類方法：バンドオフセット（ＢＯ）とエッジオフセット（ＥＯ）をサポートする。

【0009】

ＢＯにおいて、図３に示されるように、画素大きさを量子化することにより、再構成画素が複数のバンドに分類される。その後、オフセット値が各バンドに生成されて、バンド中の再構成画素の歪みを減少させる。開始バンド位置により識別される一群のオフセットが選択されると共に、ビットストリームで符号化される。各カラーコンポーネント（luma またはchroma）において、ＳＡＯアルゴリズムは、一ピクチャを非重複領域に分割することができ、各領域は、Ｂ０（開始バンド位置を有する）、４個のＥＯタイプ（クラス）、および、非処理（ＯＦＦ）の中から１つのＳＡＯタイプを選択することができる。ＳＡＯ分割はＣＴＢ境界と配列されて、ＣＴＢ−ベース処理を促す。一ピクチャ中のオフセット値の総数は、領域分割と各領域により選択されるＳＡＯタイプの数量に基づく。

【0010】

図４に示されるように、ＥＯにおいて、ＥＯタイプにより識別される方向に沿って、現在の画素とその隣接画素を比較することにより、再構成画素がカテゴリーに分類される。表１は、ＨＥＶＣによるＥＯ画素分類の決定をリストし、“c”は、分類された現在の画素を表す。現在の画素“c”の既存のＨＥＶＣ標準化によるカテゴリーインデックス，cat_idxは以下により決定される：

【0011】

【数1】

【0012】

【数2】

【0013】

式中、“c₁”と“c_-1”は、図４に示される所定のＥＯタイプに対応する隣接画素である。異なる配向の隣接画素の選択による４個のＥＯタイプが図４でも示される。オフセット値が、各カテゴリー中の全画素に生成される。カテゴリーに対応する４個のオフセット値インデックス１から４は、それぞれ、ＨＥＶＣで、一符号化ツリーブロック（ＣＴＢ）に符号化される。

【0014】

【表1】

【0015】

ＥＯ分類のカテゴリーは、３個の連続サンプルに関連する物理的意味を有する。図５に示されるように、３個の隣接画素の状況が対応するカテゴリに示される。たとえば、カテゴリー１は谷に対応し、カテゴリー４は山に対応する。

【0016】

ＨＥＶＣにおいて、ピクチャは、複数の非重複符号化ツリーユニット（ＣＴＵ）に分割され、各ＣＴＵは、複数のＣＴＢから構成され、各ＣＴＢはカラーコンポーネントに対応する。各ＣＴＢは非処理（ＳＡＯ−ＯＦＦ）を選択する、または、ＳＡＯタイプ、または、クラスのひとつを適用することができる（すなわち、開始バンド位置インデックスを有するＢＯ、０度ＥＯ、９０度ＥＯ、１３５度ＥＯ、および、４５度ＥＯ）。サイド情報をさらに減少させるため、図６に示されるマージ構文を用いることにより、現在のＣＴＢのＳＡＯパラメータは、その上、または、左ＣＴＢのそれらを再利用することができる。ＳＡＯ構文は、sao_merge_left_flag，sao_merge_up_flag，sao_type_idx_luma，sao_type_idx_chroma，sao_eo_class_luma，sao_eo_class_chroma，sao_band_position，sao_offset_absとsao_offset_signから構成される。構文sao_merge_left_flagは、現在のＣＴＢが、左ＣＴＢのパラメータを再利用することを示す。構文sao_merge_up_flagは、現在のＣＴＢが、上ＣＴＢのパラメータを再利用することを示す。構文sao_type_idxは、選択されたＳＡＯタイプ（すなわち、それぞれ、lumaコンポーネントとchromaコンポーネントのsao_type_idx_lumaとsao_type_idx_chroma）を表す。構文sao_eo_class_lumaとsao_eo_class_chromaは、それぞれ、lumaとchromaに選択されたＥＯタイプを表す。構文sao_band_positionは、選択されたバンドの開始バンド位置を表す。cIdxは、３個のカラーコンポーネントのひとつを表す。さらに、ＳＡＯ処理は、別々に、ビデオデータの異なるカラーコンポーネントに適用される。カラーコンポーネントは、（Ｙ，Ｃｂ，Ｃｒ）、（Ｙ，Ｕ，Ｖ）または（Ｒ，Ｇ，Ｂ）に対応する。

【0017】

構文sao_offset_absはオフセット大きさを表し、構文sao_offset_signはオフセットサインを表す。オフセット値SaoOffsetValは以下にしたがって決定される：

【0018】

【数3】

【0019】

式中、bitDepthは、ロウ画素の各コンポーネントに用いられるビットの数量で、sao_offset_signが１であるとき、offsetSignは−１に等しく、そうでなければ、１に等しい。以下により与えられたパラメータを有するトランケーティドライス（ＴＲ）二進化プロセスを用いて、既存のＨＥＶＣ標準化にしたがって、構文sao_offset_absがエントロピー符号化される

【0020】

【数4】

【0021】

Riceパラメータにより、cRiceParamは０に等しい。トランケーティドライスコードは、ビデオ符号化の分野で広く知られている。ＴＲコードは、トランケーテッドユーナリ（ＴＵ）コードにより表されるプレフィックス部分、および、固定長のコード名により表される切り捨てられない残りの部分を有する。

【0022】

図７は、現在のＣＴＵが、左、または、上ＣＴＵと合併しないときのＣＴＵレベルのＳＡＯ情報の符号化プロセスを示す図である。注意すべきことは、ＥＯクラスとバンド位置は、一種のサブクラス、または、サブタイプで、ＳＡＯタイプ情報を記述することである。

【0023】

図７に示されるように、ステップ７１０において、ＳＡＯタイプ決定が行われる。それが、ＥＯタイプである場合、符号なしのlumaオフセット（７１２）とlumaＥＯクラス（７１４）は、ビットストリームで符号化される。ＳＡＯタイプがＢＯである場合、符号つきのlumaオフセット（７１６）とlumaバンド位置（７１８）は、ビットストリームで符号化される。ＳＡＯタイプがオフである場合、その他のＳＡＯ情報はシグナリングされず、ステップ７２０に進む。クロマコンポーネンツの類似するＳＡＯ情報は以下である。クロマコンポーネンツがＥＯを選択する場合、符号なしのＣｂオフセット（７２２）、彩度ＥＯクラス（７２４）、および、符号なしのＣｒオフセット（７２６）がシグナリングされる。クロマコンポーネンツがＢＯを選択する場合、符号つきのＣｂオフセット（７３２）、Ｃｂバンド位置（７３４）、符号つきのＣｒオフセット（７３６）、および、Ｃｂバンド位置（７３８）がシグナリングされる。ＳＡＯタイプは、クロマコンポーネンツのためにオフで、シグナリングされるその他のＳＡＯ情報はなく、プロセスはステップ７４０に進む。

【0024】

既存のＨＥＶＣ標準化におけるＳＡＯプロセスは、適応的に、局部的に強いオフセットを補償することにより、パフォーマンスを改善することができ、可能ならいつでも、パフォーマンスをさらに改善し、効率的ターゲット全体を達成することが望まれる。

【発明の概要】

【発明が解決しようとする課題】

【0025】

ビデオ符号化システムにおける再構成ピクチャのパフォーマンスを改善する修正されたＳＡＯ（sample-adaptive offset）の方法を提供することを目的とする。

【課題を解決するための手段】

【0026】

ビデオ符号化システムにおける再構成ピクチャのパフォーマンスを改善する修正されたＳＡＯ(sample-adaptive offset）の方法を提供する。一実施態様において、ＳＡＯ−サインスレショルドが導入されて、現在の再構成画素と隣接再構成画素間の差異のサインを決定する。負のＳＡＯ−サインスレショルドより大きく、正のＳＡＯ−サインスレショルドより小さい差分値の範囲が割り当てられて、０のサイン値を有する。二個のＳＡＯサインが、現在の再構成画素と二個の対応する隣接再構成画素間の二個の差に決定される。その後、現在の再構成画素のＥＯ分類インデックスは、二個のＳＡＯサインに基づいて決定される。その後、現在の再構成画素がＳＡＯ補償される。現在の再構成画素、および、二個の対応する隣接再構成画素は、水平方向、垂直方向、４５度斜めの方向、または、１３５度斜めの方向で、３個の連続画素に対応する。ＳＡＯ−サインスレショルドに対応する構文要素は、ビットストリーム、たとえば、スライスヘッダーでシグナリングされる。ＳＡＯ−サインスレショルドは、レート歪み最適化（ＲＤＯ）工程にしたがって、ビデオ符号化システムのエンコーダー側で決定される。

【0027】

別の実施態様において、現在の再構成画素のＥＯ分類インデックス、または、ＢＯ開始バンド位置に関連するＳＡＯ−オフセット値は、ＳＡＯ−オフセットサイン、ＳＡＯ−オフセット絶対値、および、ＳＡＯ−ビット−シフト値にしたがって決定され、ＳＡＯ−オフセット値は、ＳＡＯ−ビット−シフト値を、ＳＡＯ−オフセット絶対値に左方移動させることによる結果により、ＳＡＯ−オフセットサインを増加させることにより生成される。現在の再構成画素に関連する量子化パラメータ（ＱＰ）が第一スレショルドより小さく、且つ、第一スレショルドがビデオデータのビット深度に基づくとき、ＳＡＯ−ビット−シフト値は０に設定される。ＳＡＯ−ビット−シフト値に対応する構文要素は、ビットストリーム、たとえば、スライスヘッダーでシグナリングされる。

【0028】

さらにその他の実施態様において、ＳＡＯ−オフセット絶対値は、トランケーティドライス（ＴＲ）コードにより符号化され、最大ＴＲ値が構文要素により示される。別々の最大ＴＲ値は、ビデオ符号化システムのビデオデータの異なるカラーコンポーネントに用いられる。最大ＴＲ値の構文要素は、ビットストリームのピクチャレベル、または、スライスレベルでシグナリングされる。最大ＴＲ値は、レート歪み最適化（ＲＤＯ）工程にしたがって、ビデオ符号化システムのエンコーダー側で決定される。

【0029】

上記の個別の修正ＳＡＯ処理も結合できる。

【図面の簡単な説明】

【0030】

【図1】図１は、サンプル適応オフセット（ＳＡＯ）処理を組み込んだ高効率ビデオコーディング（ＨＥＶＣ）標準に基づいたビデオ符号化システムのブロック図である。

【図2】図２は、サンプル適応オフセット（ＳＡＯ）処理を組み込んだ高効率ビデオコーディング（ＨＥＶＣ）標準に基づいたビデオ復号システムのブロック図である。

【図3】図３は、高効率ビデオコーディング（ＨＥＶＣ）標準により用いられるバンドオフセット（ＢＯ）による、強度を複数のバンドに分割することによるサンプル適応オフセット（ＳＡＯ）処理を示す図である。

【図4】図４は、高効率ビデオコーディング（ＨＥＶＣ）標準により用いられる０度、９０度、１３５度と４５度に対応する４個のエッジオフセット（ＥＯ）タイプを示す図である。

【図5】図５は、各種ＥＯカテゴリーに対応する隣接画素特徴を示す図である。

【図6】図６は、隣接ブロックとシェアされるＳＡＯ情報で、現在のＣＴＵ（coding tree unit）は、左、または、上ＣＴＵのＳＡＯパラメータを再利用することができることを示す図である。

【図7】図７は、現在のＣＴＵが、左、または、上ＣＴＵと合併しないとき、符号化プロセスがＣＴＵ−レベルのＳＡＯ情報を送信することを示す図である。

【図8】図８は、本発明の一実施態様による配列レベルで、ＳＡＯビットシフトフラグを組み込む構文設計を示す図である。

【図9】図９は、本発明の一実施態様によるルマとクロマコンポーネンツのＳＡＯビットシフト値をスライスヘッダーに組み込む構文設計を示す図である。

【図10】図１０は、本発明の一実施態様による配列レベルで、ルマとクロマコンポーネンツのＳＡＯビットシフト値を組み込む構文設計を示す図である。

【図11】図１１は、本発明の一実施態様によるＳＡＯ−サインスレショルドを組み込んだ修正ＳＡＯ処理のフローチャートである。

【図12】図１２は、本発明の一実施態様による修正ＳＡＯ処理を組み込んだ修正ＳＡＯ修理のフローチャートで、ＳＡＯ−オフセット値は、ＳＡＯ−ビット−シフト値を、ＳＡＯ−オフセット絶対値に左方移動させることによる結果により、ＳＡＯ−オフセットサインを増加させることにより生成される。

【図13】図１３は、本発明の一実施態様による修正ＳＡＯ処理を組み込んだ修正ＳＡＯ処理のフローチャートで、ＳＡＯ−オフセット絶対値はトランケーティドライス（ＴＲ）コードにより符号化され、最大ＴＲ値は構文要素により示される。

【発明を実施するための形態】

【0031】

既存の高効率ビデオコーディング（ＨＥＶＣ）標準におけるＳＡＯ処理のパフォーマンスを改善するため、修正ＳＡＯ処理が開示される。新しい構文要素の導入により、修正ＳＡＯ処理は修正処理を含む。

【0032】

本発明による一実施態様において、修正されたＳＡＯサイン決定が導入される。等式（１）と（２）に示されるように、既存のＨＥＶＣ標準化によるＳＡＯサインは、現在のサンプル（c）と隣接サンプル（c₁またはc_-1）間の基本的差異のサインである。よって、ゼロ値の基本的差異だけが、０値が割り当てられるその対応するsao_signを有する。本発明の実施態様は、ＳＡＯ−サインスレショルドsao_sign_threを導入することにより、０値が割り当てられる基本的差異のデータ範囲を拡大する。本発明の実施態様による基本的差異のＳＡＯサインは、以下の等式にしたがって決定される：

【0033】

【数5】

【0034】

可変saoSignThreは、構文要素sao_sign_threにより特定される。

【0035】

したがって、saoSignThreより大きく、saoSignThreより小さい値を有する基本的差異は、０値が割り当てられるsao_signを有する。同時に、sao_sign値１と−１に関連するデータ範囲が減少する。構文要素sao_sign_threが、ＥＯタイプの画素分類の修正ＳＡＯ処理中に用いられる。適切なsao_sign_thre値が、一シーケンス、ピクチャ、スライス、または、その他のピクチャユニットに選択されて、パフォーマンス改善を達成する。たとえば、エンコーダーは、レート歪み工程を用いて、最高のパフォーマンスを達成するsao_sign_thre値を決定する。修正ＳＡＯ処理にしたがった現在の画素“c”のカテゴリーインデックスcat_idxは、ＨＥＶＣ標準化と同じ方式で決定され、すなわち：

【0036】

【数6】

【0037】

別の実施態様において、既存のＨＥＶＣ標準化のＳＡＯ処理の第二修正が関係して、ＳＡＯオフセット値SaoOffsetValを表す。構文要素sao_bit_shiftが、修正ＳＡＯ処理に用いられて、以下のように、オフセット値SaoOffsetValを表す：

【0038】

【数7】

【0039】

可変saoBITShiftは、構文要素sao_bit_shiftにより特定される。一方、既存のＨＥＶＣ標準化により、SaoOffsetValを得る左方移動操作の値は（bitDepth-Min(bitDepth,10）である。新しい構文要素sao_bit_shiftと一緒に、ＳＡＯオフセット値を得る修正されたＳＡＯ操作は、パフォーマンス改善、特に、高サンプルビット深度の改善を助けることができる。ＳＡＯ処理に対するこの第二修正は、エッジオフセット（ＥＯ）、バンドオフセット（ＢＯ）、または、両方に適用される。

【0040】

本発明の一実施態様によるsao_bit_shiftをシグナリングするサンプル構文設計が、図８と図９で示される。図８において、ＳＡＯ有効フラグsample_adaptive_offset_enabled_flagにより示されるように、ＳＡＯが有効であるとき、ＳＡＯビットシフトフラグadaptive_sao_bit_shift_active_flagが、シーケンスパラメータセットＲＢＳＰ（raw byte sequence payload）構文に組み込まれる。関連する構文要素は、図８中で、参照符号８１０により示される。ＳＡＯビットシフトフラグが１の値を有する場合、それは、sao_luma_bit_shiftとsao_chroma_bit_shiftが、スライスセグメントヘッダー中に提示されることを意味する。ＳＡＯビットシフトフラグが０値を有する場合、それは、sao_luma_bit_shiftとsao_chroma_bit_shiftが、スライスセグメントヘッダー中に提示されないことを意味する。提示されない場合、ＳＡＯビットシフトフラグの値は０であると推定される。構文要素sao_luma_bit_shiftは、サンプルのＳＡＯオフセット値を生成するのに用いられるパラメータを特定する。一実施態様において、sao_luma_bit_shiftの値は、０からBITDepth_Y-6を含めた範囲にある。提示されない場合、sao_luma_bit_shiftの値は、bitDepth_Y - Min(bitDepth_Y,10）であると推定される。構文要素sao_chroma_bit_shiftは、chromaサンプルのＳＡＯオフセット値を生成するのに用いられるパラメータを特定する。sao_chroma_bit_shiftの値は、０からBITDepth_C-6を含めた範囲にある。提示されない場合、sao_chroma_bit_shiftの値は、bitDepth_C -Min(bitDepth _C,10）であると推定される。図９において、サンプル構文設計を説明し、参照符号９１０に示されるように、スライスセグメントヘッダー中にsao_luma_bit_shiftとsao_chroma_bit_shiftを組み込む。

【0041】

図１０は、本発明の一実施態様を組み込んだその他のサンプル構文設計を示す図で、参照符号１０１０により示されるように、sao_luma_bit_shiftとsao_chroma_bit_shiftは、ピクチャパラメータセットＲＢＳＰ中に組み込まれる。ＳＡＯビットシフトも、ビデオビットストリームのその他の位置、たとえば、配列レベルに組み込まれる。

【0042】

ＨＥＶＣ標準化において、絶対的オフセット値は、等式（４）と０に設定されるＲｉｃｅパラメータ（cRiceParam）セットにしたがって、最大可能値（ｃＭａｘ）セットを有するトランケーティドライス（ＴＲ）コードを用いて符号化される。本発明の一実施態様による修正ＳＡＯ処理は、新しい構文要素sao_offset_maxを用いて、最大オフセット値（ｃＭａｘ）を直接示す。特定されるｃＭａｘとｃＲｉｃｅＰａｒａｍは以下で示され、構文要素sao_offset_absは、トランケーティドライス（ＴＲ）二進化プロセスを用いて、エントロピー符号化される。

【0043】

cMax = saoOffsetMax, and cRiceParam = 0
可変saoOffsetMaxは、構文要素sao_offset_maxにより特定される。

【0044】

現在の再構成画素に関連する量子化パラメータ（ＱＰ）がスレショルドより小さいとき、ＳＡＯ−ビット−シフト値は０に設定される。たとえば、スレショルドは、ビデオデータのビット深度に基づき、小さいスレショルドは大きいビット深度に用いられる。

【0045】

修正ＳＡＯ処理による本発明の一実施態様を組み込んだビデオ符号化システムのパフォーマンスは、それぞれ、各種符号化段（主、高、および、超高段）で、全イントラ、ランダムアクセス、および、低遅延Bピクチャ符号化設定の表２−４に示されるＨＴＭ−１０．０に基づいて、従来のシステムパフォーマンスと比較される。ＢＤレート差は、個別のビデオコンポーネント（Ｙ，ＵとＶ）に示される。ＢＤレートの負の値は、本発明がよいパフォーマンスを有することを示す。表２−４に示されるように、本発明の一実施態様を組み込んだ個別のコンポーネント（Ｙ，ＵとＶ）のＢＤレートは、０．１％から１．６％に減少する。

【0046】

【表2】

【0047】

【表3】

【0048】

【表4】

【0049】

sao_luma_bit_shiftとsao_chroma_bit_shiftを用いた本発明の一実施態様を組み込んだ１６ビットと１２ビットで、高ビット深度を有するビデオ符号化システムのパフォーマンスが、それぞれ、全イントラ、および、低遅延符号化設定の表５と表６で示されるように、ＨＴＭ−１０．０に基づいた従来のパフォーマンスと比較される。パフォーマンス比較は、第一カラムでリストされた異なる組のテストデータに基づく。表５に示されるように、本発明の一実施態様を組み込んだ個別のコンポーネント（Ｙ／Ｇ，Ｃｂ／ＢとＣｒ／Ｒ）のＢＤレートは、全イントラ設定において、従来のＨＥＶＣとほぼ同じである。しかし、表６に示されるように、本発明の一実施態様を組み込んだ個別のコンポーネント（Ｙ／Ｇ，Ｃｂ／ＢとＣｒ／Ｒ）のＢＤレートは、低遅延Bピクチャ設定において、０．１％から３．３％減少する。

【0050】

【表5】

【0051】

【表6】

【0052】

図１１は、本発明の一実施態様によるＳＡＯサインスレショルドを用いたＳＡＯ処理のフローチャートである。ステップ１１０において、システムは、再構成ピクチャに関連する入力データを受信する。再構成ピクチャは、メモリから回収されるか、または、プロセッサから受信される。ステップ１１２０において、現在の再構成画素と第一隣接再構成画素間の第一差異、および、現在の再構成画素と第二隣接再構成画素間の第二差異が決定される。ステップ１１３０に示されるように、第一差異とＳＡＯ−サインスレショルドに基づく第一ＳＡＯサインが決定され、第一差異が、ＳＡＯ−サインスレショルド以上である場合、第一ＳＡＯサインは１に等しい、および、第一差異が、負のＳＡＯ−サインスレショルド以下である、第一ＳＡＯサインはー１に等しい、および、第一差異の絶対値が、ＳＡＯ−サインスレショルドより小さい場合、第一ＳＡＯサインは０に等しい。第二差異に基づいた第二ＳＡＯサインとＳＡＯ−サインスレショルドが、ステップ１１４０において決定され、第二差異が、ＳＡＯ−サインスレショルド以上である場合、第二ＳＡＯサインは１に等しい；第二差異が、負のＳＡＯ−サインスレショルド以下である場合、第二ＳＡＯサインはー１に等しい、および、第二差異の絶対値が、ＳＡＯ−サインスレショルドより小さい場合、第二ＳＡＯサインは０に等しい。ステップ１１５０に示されるように、第一ＳＡＯサインと第二ＳＡＯサインにしたがって、現在の再構成画素のＥＯ分類インデックスが決定される。その後、ステップ１１１６において、ＥＯ分類インデックスに関連するＳＡＯ−オフセット値を、現在の再構成画素に加えることにより、現在の再構成画素が補償される（ステップ１１６０）。

【0053】

図１２は、本発明の一実施態様による修正ＳＡＯ処理を組み込んだ修正ＳＡＯ処理のフローチャートで、ＳＡＯ−オフセット値は、ＳＡＯ−ビット−シフト値を、ＳＡＯ−オフセット絶対値に左方移動させることによる結果により、ＳＡＯ−オフセットサインを増加させることにより生成される。再構成ピクチャに関連する入力データがステップ１２１０で受信される。ステップ１２２０において、現在の再構成画素のＢＯのＥＯ分類インデックス、または、開始バンド位置は、現在の再構成画素、および、隣接再構成画素に基づいて決定される。ステップ１２３０において、ＳＡＯ−オフセットサイン、ＳＡＯ−オフセット絶対値、および、ＳＡＯ−ビット−シフト値にしたがって、現在の再構成画素のＥＯ分類インデックス、または、ＢＯ開始バンド位置に関連するＳＡＯ−オフセット値が決定される。ＳＡＯ−オフセット値は、ＳＡＯ−ビット−シフト値を、ＳＡＯ−オフセット絶対値に左方移動させることによる結果により、ＳＡＯ−オフセットサインを増加させることにより生成される。その後、ステップ１２４０に示されるように、ＥＯ分類インデックス、または、ＢＯ開始バンド位置に関連するＳＡＯ−オフセット値を、現在の再構成画素に加えることにより、現在の再構成画素が補償される。

【0054】

図１３は、本発明の一実施態様による修正ＳＡＯ処理を組み込んだ修正ＳＡＯ処理のフローチャートであり、ＳＡＯ−オフセット絶対値は、トランケーティドライス（ＴＲ）コードにより符号化され、最大ＴＲ値は構文要素により表される。ステップ１３１０において、再構成ピクチャに関連する入力データが受信される。ステップ１３２０において、ＥＯ分類インデックスに関連するＳＡＯ−オフセット値が決定され、各ＳＡＯ−オフセット値の絶対値は、トランケーティドライス（ＴＲ）コードにより符号化され、最大ＴＲ値は構文要素により示される。ステップ１３３０に示されるように、現在の再構成画素、および、隣接再構成画素に基づいて、現在の再構成画素の現在のＥＯ分類インデックスが決定される。その後、ステップ１３４０に示されるように、ＥＯ分類インデックスに関連するＳＡＯ−オフセット値を、現在の再構成画素に加えることにより、現在の再構成画素が補償される。

【0055】

上述のフローチャートは、本発明による修正ＳＡＯ処理の例を説明することが目的である。当業者は、精神と領域を脱しない範囲内で、本発明の各ステップを修正、ステップを再アレンジ、ステップを分割、または、ステップを組み合わせて、本発明を実行することができる。

【0056】

上の記述が提示されて、当業者が、特定のアプリケーションとその要求の文脈で提供されるように、本発明を実施できるようにする。当業者なら、上記実施態様に対する各種修正が理解でき、ここで定義される一般定義は、その他の実施態様に適用される。よって、本発明は、示される特定の実施態様や記述に限定されるものではなく、原理と新規特徴と一致する幅広い領域が認められる。上述の詳細な記述において、各種特定の詳細が説明されて、本発明の十分な理解を提供する。それでもなお、当業者なら、本発明が実行できることが理解できる。

【0057】

上記の本発明の実施態様は、各種ハードウェア、ソフトウェアコード、または、それらの組み合わせで実行される。たとえば、本発明の一実施態様は、ビデオ圧縮チップに整合される回路、または、ビデオ圧縮ソフトウェア中に整合されるプログラムコードで、記述される処理を実行する。本発明の一実施態様は、また、デジタルシグナルプロセッサ（ＤＳＰ）で実行されるプログラムコードで、記述される処理を実行する。本発明は、さらに、コンピュータプロセッサ、デジタルシグナルプロセッサ、マイクロプロセッサ、または、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）により実行される複数の機能を含む。これらのプロセッサは、本発明により具体化される特定の方法を定義する機械可読ソフトウェアコード、または、ファームウェアコードを実行することにより、本発明による特定のタスクを実行するように設定される。ソフトウェアコード、または、ファームウェアコードは、異なるプログラミング言語と異なるフォーマットやスタイルで開発される。ソフトウェアコードは、さらに、異なる標的プラットフォームにコンパイルされる。しかし、本発明によるソフトウェアコードの異なる符号化フォーマット、スタイル、および、言語、および、コードを設定して、タスクを実行するその他の手段は、本発明の精神と領域を脱しない。

【0058】

本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】