特許 6029984 分類ベースのループ・フィルタのための方法と装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6029984

(24)【登録日】2016年10月28日

(45)【発行日】2016年11月24日

(54)【発明の名称】分類ベースのループ・フィルタのための方法と装置

(51)【国際特許分類】

   H04N 19/117 20140101AFI20161114BHJP

   H04N 19/136 20140101ALI20161114BHJP

   H04N 19/176 20140101ALI20161114BHJP

   H04N 19/82 20140101ALI20161114BHJP

【ＦＩ】

   H04N19/117

   H04N19/136

   H04N19/176

   H04N19/82

【請求項の数】28

【全頁数】23

(21)【出願番号】特願2012-557038(P2012-557038)

(86)(22)【出願日】2011年3月2日

(65)【公表番号】特表2013-522956(P2013-522956A)

(43)【公表日】2013年6月13日

(86)【国際出願番号】US2011000394

(87)【国際公開番号】WO2011112237

(87)【国際公開日】20110915

【審査請求日】2014年2月24日

(31)【優先権主張番号】61/312,063

(32)【優先日】2010年3月9日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】シユウ，チヤン

(72)【発明者】

【氏名】ジエン，ユンフエイ

(72)【発明者】

【氏名】イン，ペン

(72)【発明者】

【氏名】ルウ，シヤオアン

(72)【発明者】

【氏名】ソレ，ジヨエル

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２００６−０３２９９９（ＪＰ，Ａ）

【文献】 特開２００３−１７９９３３（ＪＰ，Ａ）

【文献】 国際公開第２００９／１３３８４４（ＷＯ，Ａ１）

【文献】 国際公開第２００９／１１０５５９（ＷＯ，Ａ１）

【文献】 国際公開第２００９／１１０１６０（ＷＯ，Ａ１）

【文献】 国際公開第２００９／０７４１１７（ＷＯ，Ａ１）

【文献】 国際公開第２００８／０８４７４５（ＷＯ，Ａ１）

【文献】 国際公開第２００８／０７５２４７（ＷＯ，Ａ１）

【文献】 国際公開第２００７／１１１２９２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

入力画像の残差を変換し量子化して量子化変換係数を得、前記量子化変換係数を逆量子化し逆変換して前記残差の再構成バージョンを得、前記残差の前記再構成バージョンと少なくとも１つの参照画像とを合成して前記入力画像の再構成バージョンを得ることによって前記入力画像を処理するビデオ符号器を有し、
前記ビデオ符号器は、局所的な幾何学的特徴に応じた複数のカテゴリのうちのそれぞれのカテゴリ内で前記入力画像の前記再構成バージョン内の画素を分類し、少なくとも１つの選択された画素を、前記複数のカテゴリについて、前記少なくとも１つの画素の対応する分類に応じてフィルタ処理する第１のフィルタを含み、
前記第１のフィルタによる前記フィルタ処理が、ブロック適応ループ・フィルタ処理、あるいは、クアッドツリー（四分木）適応ループ・フィルタ処理と共に行われ、
エッジ検出が前記入力画像の再構成バージョンに適用され、検出された非オブジェクト・ベースのエッジの画素が、方向、大きさ、または、傾度、および前記エッジが異方性であるか等方性であるかを含む前記局所的な幾何学的特徴に基づいて異なるグループあるいはカテゴリに分類され、前記画素に対し、特定のグループに分類される全ての画素に対して選択されている係数を有するフィルタによってフィルタ処理が行われる、装置。

【請求項2】

フィルタ係数が、適応的であり、前記複数のカテゴリのうちの少なくとも１つのカテゴリ内でのフィルタ処理の改善パフォーマンスの提供に応じて選択される、請求項１に記載の装置。

【請求項3】

前記改善パフォーマンスが、前記入力画像と前記入力画像の前記再構成バージョンとの間の歪み測度を最小にすることによって提供される、請求項２に記載の装置。

【請求項4】

前記少なくとも１つの画素の前記分類が、前記少なくとも１つの画素に対応する、方向、大きさ、異方性／等方性、コントラスト、及び、傾度のうちの少なくとも１つに応じて決定される、請求項１に記載の装置。

【請求項5】

フィルタ係数が、画像毎に適応的に調整されて、１つ以上の高レベルのシンタックス要素を使用して示される、請求項１に記載の装置。

【請求項6】

フィルタ係数が、オフラインで調整されて、前記ビデオ符号器と対応するビデオ復号器との双方に記憶される、請求項１に記載の装置。

【請求項7】

前記フィルタ処理が、ブロック適応ループ・フィルタ処理、あるいは、クアッドツリー（四分木）適応ループ・フィルタ処理と共に行われる、請求項１に記載の装置。

【請求項8】

ビデオ符号器における方法であって、
入力画像を符号化するステップを含み
前記符号化するステップは、
前記入力画像の残差を変換し量子化して量子化変換係数を得るステップと、
前記量子化変換係数を逆量子化し逆変換して前記残差の再構成バージョンを得るステップと、
前記残差の前記再構成バージョンと少なくとも１つの参照画像とを合成して前記入力画像の再構成バージョンを得るステップと、
局所的な幾何学的特徴に応じた複数のカテゴリのうちのそれぞれのカテゴリ内で前記入力画像の前記再構成バージョン内の画素を分類するステップと、
少なくとも１つの選択された画素に対し、前記複数のカテゴリについて、前記少なくとも１つの画素の対応する分類に応じて第１のフィルタ処理を行うステップと、を含み、
前記第１のフィルタ処理が、ブロック適応ループ・フィルタ処理、あるいは、クアッドツリー（四分木）適応ループ・フィルタ処理と共に行われ、
エッジ検出が前記入力画像の再構成バージョンに適用され、検出された非オブジェクト・ベースのエッジの画素が、方向、大きさ、または、傾度、および前記エッジが異方性であるか等方性であるかを含む前記局所的な幾何学的特徴に基づいて異なるグループあるいはカテゴリに分類され、前記画素に対し、特定のグループに分類される全ての画素に対して選択されている係数を有するフィルタによってフィルタ処理が行われる、前記方法。

【請求項9】

フィルタ係数が、適応的であり、前記複数のカテゴリのうちの少なくとも１つのカテゴリ内でのフィルタ処理の改善パフォーマンスの提供に応じて選択される、請求項８に記載の方法。

【請求項10】

前記改善パフォーマンスが、前記入力画像と前記入力画像の前記再構成バージョンとの間の歪み測度を最小にすることによって提供される、請求項９に記載の方法。

【請求項11】

前記少なくとも１つの画素の前記分類が、前記少なくとも１つの画素に対応する、方向、大きさ、異方性／等方性、コントラスト、及び、傾度のうちの少なくとも１つに応じて決定される、請求項８に記載の方法。

【請求項12】

フィルタ係数が、画像毎に適応的に調整されて、１つ以上の高レベルのシンタックス要素を使用して示される、請求項８に記載の方法。

【請求項13】

フィルタ係数が、オフラインで調整されて、前記ビデオ符号器と対応するビデオ復号器との双方に記憶される、請求項８に記載の方法。

【請求項14】

前記フィルタ処理が、ブロック適応ループ・フィルタ処理、あるいは、クアッドツリー（四分木）適応ループ・フィルタ処理と共に行われる、請求項８に記載の方法。

【請求項15】

量子化変換係数を受信し、前記量子化変換係数を逆量子化し逆変換して残差の再構成バージョンを得、前記残差の前記再構成バージョンと少なくとも１つの参照画像とを合成して当該画像の再構成バージョンを得ることによって前記画像を処理するビデオ復号器を有し、
前記ビデオ復号器は、局所的な幾何学的特徴に応じた複数のカテゴリのうちのそれぞれのカテゴリ内で前記画像の前記再構成バージョン内の画素を分類し、少なくとも１つの選択された画素を、前記複数のカテゴリについて、前記少なくとも１つの画素の対応する分類に応じてフィルタ処理する第１のフィルタを含み、
前記第１のフィルタによる前記フィルタ処理が、ブロック適応ループ・フィルタ処理、あるいは、クアッドツリー（四分木）適応ループ・フィルタ処理と共に行われ、
エッジ検出が入力画像の再構成バージョンに適用され、検出された非オブジェクト・ベースのエッジの画素が、方向、大きさ、または、傾度、および前記エッジが異方性であるか等方性であるかを含む前記局所的な幾何学的特徴に基づいて異なるグループあるいはカテゴリに分類され、前記画素に対し、特定のグループに分類される全ての画素に対して選択されている係数を有するフィルタによってフィルタ処理が行われる、装置。

【請求項16】

フィルタ係数が、適応的であり、前記複数のカテゴリのうちの少なくとも１つのカテゴリ内でのフィルタ処理の改善パフォーマンスの提供に応じて選択される、請求項１５に記載の装置。

【請求項17】

前記改善パフォーマンスが、前記画像と前記画像の前記再構成バージョンとの間の歪み測度を最小にすることによって提供される、請求項１６に記載の装置。

【請求項18】

前記少なくとも１つの画素の前記分類が、前記少なくとも１つの画素に対応する、方向、大きさ、異方性／等方性、コントラスト、及び、傾度のうちの少なくとも１つに応じて決定される、請求項１５に記載の装置。

【請求項19】

フィルタ係数が、画像毎に適応的に調整されて、１つ以上の高レベルのシンタックス要素を使用して示される、請求項１５に記載の装置。

【請求項20】

フィルタ係数が、オフラインで調整されて、ビデオ符号器と対応する前記ビデオ復号器との双方に記憶される、請求項１５に記載の装置。

【請求項21】

前記フィルタ処理が、ブロック適応ループ・フィルタ処理、あるいは、クアッドツリー（四分木）適応ループ・フィルタ処理と共に行われる、請求項１５に記載の装置。

【請求項22】

ビデオ復号器における方法であって、
画像を復号するステップを含み、
前記復号するステップは、
量子化変換係数を受信するステップと、
前記量子化変換係数を逆量子化し逆変換して残差の再構成バージョンを得るステップと、
前記残差の前記再構成バージョンと少なくとも１つの参照画像とを合成して当該画像の再構成バージョンを得るステップと、
局所的な幾何学的特徴に応じた複数のカテゴリのうちのそれぞれのカテゴリ内で前記画像の前記再構成バージョン内の画素を分類するステップと、
少なくとも１つの選択された画素に対し、前記複数のカテゴリについて、前記少なくとも１つの画素の対応する分類に応じて第１のフィルタ処理を行うステップと、を含み、
前記第１のフィルタ処理が、ブロック適応ループ・フィルタ処理、あるいは、クアッドツリー（四分木）適応ループ・フィルタ処理と共に行われ、
エッジ検出が入力画像の再構成バージョンに適用され、検出された非オブジェクト・ベースのエッジの画素が、方向、大きさ、または、傾度、および前記エッジが異方性であるか等方性であるかを含む前記局所的な幾何学的特徴に基づいて複数の異なるグループあるいはカテゴリに分類され、前記画素に対し、特定のグループに分類される全ての画素に対して選択されている係数を有するフィルタによってフィルタ処理が行われる、前記方法。

【請求項23】

フィルタ係数が、適応的であり、前記複数のカテゴリのうちの少なくとも１つのカテゴリ内でのフィルタ処理の改善パフォーマンスの提供に応じて選択される、請求項２２に記載の方法。

【請求項24】

前記改善パフォーマンスが、前記画像と前記画像の前記再構成バージョンとの間の歪み測度を最小にすることによって提供される、請求項２３に記載の方法。

【請求項25】

前記少なくとも１つの画素の前記分類が、前記少なくとも１つの画素に対応する、方向、大きさ、異方性／等方性、コントラスト、及び、傾度のうちの少なくとも１つに応じて決定される、請求項２２に記載の方法。

【請求項26】

フィルタ係数が、画像毎に適応的に調整されて、１つ以上の高レベルのシンタックス要素を使用して示される、請求項２２に記載の方法。

【請求項27】

フィルタ係数が、オフラインで調整されて、ビデオ符号器と対応する前記ビデオ復号器との双方に記憶される、請求項２２に記載の方法。

【請求項28】

前記フィルタ処理が、ブロック適応ループ・フィルタ処理、あるいは、クアッドツリー（四分木）適応ループ・フィルタ処理と共に行われる、請求項２２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願のクロスリファレンス）
本出願は、２０１０年３月９日に提出された米国仮出願第６１/３１２０６３号の利益を主張し、この米国仮出願の全体はこの参照によって本明細書に組み込まれる。

【0002】

本原理は、概して、ビデオ符号化とビデオ復号に関し、更に詳しくは、分類ベースの（分類に基づく）ループ・フィルタのための方法と装置に関する。

【背景技術】

【0003】

現行のビデオ符号化規格は、ブロック・ベースの（ブロックに基づく）変換（例えば、離散コサイン変換（ＤＣＴ））と動き補償とを採用して圧縮効率を上げている。フレームワーク内に於ける圧縮は損失が大きいという性質があるので、再構成されたビデオの品質は必ず劣化し、決して完全には元の映像に復元できない。従って、損失が大きいビデオ圧縮と効率改善との間でトレードオフが為されている。

【0004】

国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）ムービング・ピクチャー・エクスパーツ・グループ４（ＭＰＥＧ４） Ｐａｒｔ１０ アドバンスド・ビデオ・コーディング（ＡＶＣ）規格／国際電気通信連合電気通信部門（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以下、「ＭＰＥＧ４ＡＶＣ規格」という）に於いて、濃淡むらのあるアーティファクトを取り除く目的で、非ブロック化フィルタを復号化画像に適用している。ＭＰＥＧ４ＡＶＣ規格のキー・テクノロジー・エリア（ＫＴＡ）では、ウィーナ・フィルタ（Ｗｉｅｎｅｒ ｆｉｌｔｅｒ）をインループ（ｉｎ−ｌｏｏｐ）、或いは、アウトループ（ｏｕｔ−ｌｏｏｐ）で使用して、復号化画像の品質を向上させている。

【0005】

時間的適応性を実現する為に、ウィーナ・フィルタは、通常、画像毎に、元の画像と復号化画像との間の二乗平均誤差を最小にすることによって推定される。フィルタ係数が、画像毎にオーバヘッドとして復号器に送られる。また、空間的適応性を実現する為に、１つの画像が、コンテンツ、或いは、レート−歪み（ＲＤ）コストに基づいて、複数の領域に分割される。各々の領域に於いて、スイッチがフィルタ処理をオン・オフ制御する。領域分割情報とスイッチ制御メッセージとが、副情報として復号器に送られる。

【0006】

この手法は、基本的な特性が、時間とともに（フレーム相互間で）あまり大きく変化しないビデオ映像については、良好に機能する。第１の従来技術の手法では、各領域部分は、通常、同じサイズのブロックであり、第２の従来技術の手法では、各領域部分は、通常、サイズが可変のブロックである。しかしながら、これらのブロック・ベースの方法は、当然に変化している（通常の）ビデオ内では、空間的な変動の特性を事実上示すことができない。例えば、ビデオ・シーケンスの視覚的な品質は縁端部の鮮鋭度に大きく依存しているが、画像内の縁端部はブロック・ベースとは程遠い。更に重要なこととして、種々の方向の縁端部は、その鮮鋭度を保持する為に、種々の組のウィーナ・フィルタを必要とする。

【0007】

ＭＰＥＧ４ＡＶＣ規格のキー・テクノロジー・エリアでは、第３の従来技術の手法に於いて、適応ポスト・フィルタが提案されている。この基本的な考え方は、ウィーナ・フィルタを、復号化画像に、表示の前に適用することである。ウィーナ・フィルタは、符号器に於いて、画像毎に、元の画像と復号化画像との間の二乗平均誤差（ＭＳＥ）を最小にすることによって推定できる。この場合、推定されたフィルタ係数が、復号器にオーバヘッドとして送られる。画像全体が、推定されたフィルタによってフィルタ処理される。もう１つ別の場合、一組のウィーナ・フィルタが、オフラインで調整されて、復号器に伝えられるか、或いは、復号器に記憶されている。復号化の際、画像が、画素単位で、フィルタ処理される。各々の画素に於いて、１つのフィルタが、周囲の画素の統計量に基づいて、フィルタ組から選択される。この技術に於いて、フィルタリング・インジケータは、オーバヘッドを要しない。フィルタリング・インジケータは、復号化画像コンテンツによって、導き出せる。しかしながら、フィルタリング・インジケータと画像コンテンツとの間のモデルは、構成することが難しい。第３の従来技術の手法では、オフライン調整スキームを使用して、フィルタリング・インジケータと局所的な変化との間の対応するモデルを見出す。この調整は、調整セット（ｔｒａｉｎｉｎｇ ｓｅｔ）に依存する度合いが高いので、限られたデータで調整されたモデルは、より一般的なビデオ信号について不正確になる。

【0008】

第１の従来技術の手法では、ブロック・ベースの適応ループ・フィルタが提案されている。この提案に於いては、再構成フレームが、ウィーナ・フィルタによって元のフレームに向けて復元される。ウィーナ・フィルタ係数が、符号器に於いて推定されて、復号器に副情報として送られる。ウィーナ・フィルタは再構成フレームを元のフレームに全体的に復元できるが、局所的に劣化した画素が存在する。劣化した領域によって、画素の忠実性とその後に符号化するフレームについての予測効率性とが低下するので、これらの領域をフィルタ処理しないことによって、符号化のパフォーマンスが改善される。ブロック適応ループ・フィルタ（ＢＡＬＦ）では、フレームを同じサイズのブロックに分割し、スイッチ・フラグを各々のブロックに使用して、ブロックをフィルタ処理するか否かを制御する。第２の従来技術の手法では、クアッド・ツリー（四部木）適応ループ・フィルタ（ＱＡＬＦ）が導入されて、フレームの、可変サイズのブロックをフィルタ処理するか否かを示している。可変サイズのブロックのスキームを使用する場合、同サイズのブロックのスキームに比べてフィルタ・パフォーマンスは良いが、ブロックのサイズと位置を符号化するオーバヘッドは要求が厳しい。しかしながら、クアッド・ツリー・ベースのフィルタ処理であっても、２次元（２Ｄ）データの空間的特徴を捕捉することが出来ないので、圧縮アーティファクトを効率的には取り除けない。

【発明の概要】

【0009】

本原理は、従来技術の上述の、及び、その他の欠点と不利な点に取り組むものであって、分類ベースのループ・フィルタのための方法と装置に関する。

【0010】

本原理の一態様によれば、装置が提供される。この装置は、入力画像の残差を変換し量子化して量子化変換係数を得、量子化変換係数を逆量子化し逆変換して残差の再構成バージョンを得、残差の再構成バージョンと少なくとも１つの参照画像とを合成して入力画像の再構成バージョンを得ることによって入力画像を符号化するビデオ符号器を有する。このビデオ符号器は、局所的な幾何学的特徴に応じた複数のカテゴリのうちのそれぞれのカテゴリ内で入力画像の再構成バージョン内の画素を分類し、少なくとも１つの選択された画素を、複数のカテゴリについて、少なくとも１つの画素の対応する分類に応じてフィルタ処理するフィルタを含んでいる。

【0011】

本原理の他の態様によれば、ビデオ符号器に於ける方法が提供される。この方法は、入力画像を符号化するステップを含む。符号化するステップは、入力画像の残差を変換し量子化して量子化変換係数を得るステップと、量子化変換係数を逆量子化し逆変換して残差の再構成バージョンを得るステップと、残差の再構成バージョンと少なくとも１つの参照画像とを合成して入力画像の再構成バージョンを得るステップと、局所的な幾何学的特徴に応じた複数のカテゴリのうちのそれぞれのカテゴリ内で入力画像の再構成バージョン内の画素を分類するステップと、少なくとも１つの選択された画素を、複数のカテゴリについて、少なくとも１つの画素の対応する分類に応じてフィルタ処理するステップと、を含む。

【0012】

本原理の更に他の態様によれば、装置が提供される。この装置は、量子化変換係数を受信し、量子化変換係数を逆量子化し逆変換して残差の再構成バージョンを得、残差の再構成バージョンと少なくとも１つの参照画像とを合成して画像の再構成バージョンを得るビデオ復号器を有する。ビデオ復号器は、局所的な幾何学的特徴に応じた複数のカテゴリのうちのそれぞれのカテゴリ内で画像の再構成バージョン内の画素を分類し、少なくとも１つの選択された画素を、複数のカテゴリについて、少なくとも１つの画素の対応する分類に応じてフィルタ処理するフィルタを含んでいる。

【0013】

本原理の更に他の態様によれば、ビデオ復号器に於ける方法が提供される。この方法は、画像を復号するステップを含む。復号するステップは、量子化変換係数を受信することと、量子化変換係数を逆量子化し逆変換して残差の再構成バージョンを得ることと、残差の再構成バージョンと少なくとも１つの参照画像とを合成して画像の再構成バージョンを得ることと、局所的な幾何学的特徴に応じた複数のカテゴリのうちのそれぞれのカテゴリ内で画像の再構成バージョン内の画素を分類することと、少なくとも１つの選択された画素を、複数のカテゴリについて、少なくとも１つの画素の対応する分類に応じてフィルタ処理するステップと、を含む。

【0014】

本原理の上述の、及び、その他の各態様、各特徴、並びに、各利点は、添付図面の参照と共に、以下の代表的な実施形態の詳細な説明から明らかになるであろう。

【図面の簡単な説明】

【0015】

本原理は、以下の代表的な図に従って、より良く理解できるであろう。

【0016】

【図1】図１は、本原理の一実施形態に従って、本原理を適用できる例示的なビデオ符号器を示すブロック図である。

【図2】図２は、本原理の一実施形態に従って、本原理を適用できる例示的なビデオ復号器を示すブロック図である。

【図3】図３は、本原理の一実施形態に従って、分類ベースのループ・フィルタを用いて、入力画像についての画像データを符号化する例示的な方法を示す流れ図である。

【図4】図４は、本原理の一実施形態に従って、分類ベースのループ・フィルタを用いて、画像についての画像データを復号する例示的な方法を示す流れ図である。

【図5】図５は、本原理の一実施形態に従って、分類ベースのループ・フィルタを用いて、入力画像についての画像データを符号化する他の例示的な方法を示す流れ図である。

【図6】図６は、本原理の一実施形態に従って、分類ベースのループ・フィルタを用いて、画像についての画像データを復号する他の例示的な方法を示す流れ図である。

【図7】図７は、本原理の一実施形態に従って、分類ベースのループ・フィルタを用いて、入力画像についての画像データを符号化する更に他の例示的な方法を示す流れ図である。

【図8】図８は、本原理の一実施形態に従って、分類ベースのループ・フィルタを用いて、画像についての画像データを復号する更に他の例示的な方法を示す流れ図である。

【発明を実施するための形態】

【0017】

本原理は、分類ベースのループ・フィルタのための方法と装置に関する。

【0018】

本説明は、本原理を例示するものである。従って、当業者であれば、ここに明示的に説明または示されていないが、本原理を具体化し、且つ、その意図と権利範囲内にある種々の構成を考案できるであろう。

【0019】

ここに列挙する全ての例と条件を表す用語とは、本発明者が、技術の進歩のために提供した本原理と概念とを読み手が理解するための助けとなるべく教授目的のために意図されたものであり、本原理と概念とが、そのように具体的に説明された例と条件には限定されないと解釈すべきである。

【0020】

更に、本原理、本原理の態様、本原理の実施形態、並びに、それらの各具体例を列挙した全て記載は、それらの構造的及び機能的な均等物の両方を包含するように意図されている。更に、そのような均等物には、現在周知の均等物と、将来開発される均等物、即ち、構造に関わらず同一機能を果たすように開発された任意の要素とが含まれる。

【0021】

従って、例えば、ここに提示した各ブロック図が本原理を具体化する回路例の概念的な図を表していることが当業者に理解されるであろう。同様に、任意のフロー・チャート、流れ図、状態遷移図、擬似コード等が、コンピュータ可読媒体に実質的に表されて、従って、コンピュータ或いはプロセッサによって（そのようなコンピュータ或いはプロセッサが明示されているか否かに関わらず）実行され得る種々のプロセスを表していることが理解されるであろう。

【0022】

各図に示す種々の要素の各機能は、専用ハードウェアの使用や適切なソフトウェアと共同してソフトウェアを実行できるハードウェアの使用によって提供できる。機能がプロセッサによって提供される場合、１つの専用プロセッサ、１つの共用プロセッサ、或いは、複数の個別のプロセッサ（その一部は、共用されてもよい）によって提供され得る。更に、「プロセッサ」或いは「コントローラ（制御器）」という用語の明示的な使用は、ソフトウェアを実行できるハードウェアを専ら意味すると解釈すべきではなく、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するリードオンリ・メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）、及び、不揮発性記憶装置を制限なく暗示的に含み得る。

【0023】

その他の従来技術のハードウェア、及び／又は、オーダーメイドのハードウェアも含み得る。同様に、各図に示された任意のスイッチは、単に、概念的なものである。それらの機能は、プログラム論理の動作を介して、専用論理を介して、プログラム論理と専用論理との対話処理を介して、或いは、手動で、行うことができ、また、個々の技術は実施者によって選択できることが、詳細な説明から更に具体的に理解できるであろう。

【0024】

特許請求の範囲の各請求項に於いて、特定の機能を果たす手段として表現された任意の要素は、例えば、ａ）当該機能を果たす各回路要素の組み合わせ、或いは、ｂ）任意の形態、従って、ファームウェア又はマイクロコード等を含む形態のソフトウェアであり、当該機能を果たす当該ソフトウェアを実行する適切な回路網と組み合わされるソフトウェアを含む機能を果たす任意のものを包含することが意図されている。このような各請求項によって規定された本原理は、種々の列挙された各手段によって提供される各機能が各請求項に記載された態様で組み合わされて統合されることにある。従って、それらの機能を提供できる任意の各手段は、ここに記載の各手段に等しいと考えられる。

【0025】

本明細書に於いて、本原理の「一実施形態」或いは「ある実施形態」という表現、及び、その表現の異形は、当該実施形態に関連して説明された特定の特徴、構造、及び、特性等が、本原理の少なくとも一実施形態に含まれていることを意味している。従って、「一実施形態に於いて」或いは「ある実施形態に於いて」という語句、及び、その語句の異形が記載されている場合は、必ずしも同一の実施形態を意味している訳ではない。

【0026】

例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」、及び、「ＡとＢの少なくとも１つ」の場合の「／」、「及び／又は」、及び、「・・・の少なくとも１つ」の何れかの使用は、１番目に記載のオプション（Ａ）のみの選択、２番目に記載のオプション（Ｂ）のみの選択、或いは、両方のオプション（ＡとＢ）の選択を包含することを意図している。更なる例として、「Ａ、Ｂ、及び／又は、Ｃ」と「Ａ、Ｂ、及び、Ｃの少なくとも１つ」の場合、そのような記載は、１番目に記載のオプション（Ａ）のみの選択、２番目に記載のオプション（Ｂ）のみの選択、３番目に記載のオプション（Ｃ）のみの選択、１番目と２番目に記載のオプション（ＡとＢ）のみの選択、１番目と３番目に記載のオプション（ＡとＣ）のみの選択、２番目と３番目に記載のオプション（ＢとＣ）のみの選択、或いは、３つのオプション（ＡとＢとＣ）の選択を包含することを意図している。このことは、当業者に直ちに明らかなように、多数の項目が記載される場合にも拡張できる。

【0027】

更に、ここで使用されているように、「画像」という用語と「映像」という用語とは、互換可能に使用され、静止画、或いは、ビデオ・シーケンスから得られる画像を意味する。周知のように、１画像は、１フレーム又は１フィールドである場合もある。

【0028】

更に、ここで使用されているように、「高レベル・シンタックス」は、階層的にマイクロブロック層の上に存在するビットストリーム内にあるシンタックスを意味する。例えば、ここで使用されているように、高レベル・シンタックスは、スライス・ヘッダ・レベルのシンタックス、サプリメンタル・エンハンスメント・インフォメーション（ＳＥＩ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）レベル、シーケンス・パラメータ・セット（ＳＰＳ）レベル、及び、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダ・レベルのシンタックスを意味することが出来、また、これらに限定される訳ではない。

【0029】

また、ここで使用されているように、「フィルタ係数が、画像毎に適応的に調整される」という表現は、フィルタ係数を、分類ベースのループ・フィルタについて、画像単位で、調整することを意味する。即ち、このような係数は、画像全体の特性が考慮され、そして、複数の画像が考慮される一方で、調整される。

【0030】

更に、ここで使用されているように、「フィルタ係数が、オフラインで調整される」という表現は、フィルタ係数を、分類ベースのループ・フィルタについて、フィルタが特定の画素の特定の画素に適用されている期間と異なる時点で、調整することを意味する。従って、オフラインは、その画像が属する特定のビデオ・シーケンスを処理する前の期間を意味する場合がある。

【0031】

例示と説明のため、各例を、ここでは、ＭＰＥＧ４ＡＶＣ規格の改善について説明し、
ＭＰＥＧ４ＡＶＣ規格を説明のベースライン（基準）として使用し、ＭＰＥＧ４ＡＶＣ規格の改善と拡張を説明する。しかしながら、本原理がＭＰＥＧ４ＡＶＣ規格とその拡張とだけに限定される訳ではないことが理解されるであろう。当業者であれば、ここに記載の本原理の各開示事項から、本原理が、その他の規格の拡張に適用される場合、或いは、未だ開発されていない規格に適用、及び／又は、組み込まれる場合、等しく適用可能であり、少なくとも同様の効果をもたらすことを容易に理解できるであろう。更に、本原理が、規格に適合するのではなく、寧ろ、独自の定義に適合するビデオ符号器とビデオ復号器とにも適用できることが理解できるであろう。

【0032】

また、例示と説明のため、各例を、ここでは、周知のウィーナ・フィルタを背景にして説明する。しかしながら、本原理が１つ以上の画素及び／又は画素データに適用できる任意のタイプのフィルタに適用できることは理解されるべきである。例えば、本原理の幾つかの実施形態に於いて、あるグループに分類される画素について、あるフィルタ・タイプ（例えば、ウィーナ・フィルタ）が選択され、係数が決定され、別のあるグループに分類される画素について、別のあるフィルタ・タイプ（例えば、非ウィーナ・フィルタ）が選択され、係数が決定されることが理解できるであろう。当業者であれば、ここに記載された本原理の各開示事項から、ここに記載された本原理の上述の、及び、その他の変形を容易に求めることが出来る。

【0033】

図１を参照すると、本原理を適用できるビデオ符号器の代表例の全体が、参照番号１００によって示されている。ビデオ符号器１００には、フレーム順序付けバッファ１１０が含まれており、合成器１８５の非反転入力部と信号通信可能な出力部を有している。合成器１８５の出力部が、変換器と量子化器１２５の第１の入力部と信号通信可能に接続されている。変換器と量子化器１２５の出力部が、エントロピ符号器１４５の第１の入力部と、逆変換器と逆量子化器１５０の第１の入力部とに信号通信可能に接続されている。エントロピ符号器１４５の出力部が、合成器１９０の第１の非反転入力部と信号通信可能に接続されている。合成器１９０の出力部が、出力バッファ１３５の第１の入力部と信号通信可能に接続されている。

【0034】

符号器制御装置１０５の第１の出力部が、フレーム順序付けバッファ１１０の第２の入力部、逆変換器と逆量子化器１５０の第２の入力部、画像タイプ決定モジュール１１５の入力部、マイクロブロック・タイプ（ＭＢタイプ）決定モジュール１２０の第１の入力部、イントラ予測モジュール１６０の第２の入力部、非ブロック化フィルタ１６５の第２の入力部、動き補償器１７０の第１の入力部、動き推定器１７５の第１の入力部、及び、参照画像バッファ１８０の第２の入力部と信号通信可能に接続されている。

【0035】

符号器制御装置１０５の第２の出力部が、サプリメンタル・エンハンスメント・インフォメーション（付加拡張情報）（ＳＥＩ）挿入器１３０の第１の入力部、変換器と量子化器１２５の第２の入力部、エントロピ符号器１４５の第２の入力部、出力バッファ１３５の第２の入力部、及び、シーケンス・パラメータ・セット（ＳＰＳ）と画像パラメータ・セット（ＰＰＳ）挿入器１４０の入力部と信号通信可能に接続されている。

【0036】

ＳＥＩ挿入器１３０の出力部が、合成器１９０の第２の非反転入力部と信号通信可能に接続されている。

【0037】

画像タイプ決定モジュール１１５の第１の出力部が、フレーム順序付けバッファ１１０の第３の入力部と信号通信可能に接続されている。画像タイプ決定モジュール１１５の第２の出力部が、マイクロブロック・タイプ決定モジュール１２０の第２の入力部と信号通信可能に接続されている。

【0038】

シーケンス・パラメータ・セット（ＳＰＳ）と画像パラメータ・セット（ＰＰＳ）挿入器１４０の出力部が、合成器１９０の第３の非反転入力部と信号通信可能に接続されている。

【0039】

逆量子化器と逆変換器１５０の出力部が、合成器１１９の第１の非反転入力部と信号通信可能に接続されている。合成器１１９の出力部が、イントラ予測モジュール１６０の第１の入力部、及び、非ブロック化フィルタ１６５の第１の入力部と信号通信可能に接続されている。非ブロック化フィルタ１６５の出力部が、適応ループ・フィルタ１３３の入力部と信号通信可能に接続されている。適応ループ・フィルタの出力部が、参照画像バッファ１８０の第１の入力部と信号通信可能に接続されている。参照画像バッファ１８０の出力部が、動き推定器１７５の第２の入力部、及び、動き補償器１７０の第３の入力部と信号通信可能に接続されている。動き推定器１７５の第１の出力部が、動き補償器１７０の第２の入力部と信号通信可能に接続されている。動き推定器１７５の第２の出力部が、エントロピ符号器１４５の第３の入力部と信号通信可能に接続されている。

【0040】

動き補償器１７０の出力部が、スイッチ１９７の第１の入力部と信号通信可能に接続されている。イントラ予測モジュール１６０の出力部が、スイッチ１９７の第２の入力部と信号通信可能に接続されている。マイクロブロック・タイプ決定モジュール１２０の出力部が、スイッチ１９７の第３の入力部と信号通信可能に接続されている。スイッチ１９７の第３の入力によって、スイッチの「データ」入力（これは、制御入力、即ち、第３の入力と対比される）が、動き補償器１７０か、或いは、イントラ予測モジュール１６０かによって提供されるべきか否かが決定される。スイッチ１９７の出力部は、合成器１１９の第２の非反転入力部、及び、合成器１８５の反転入力部と信号通信可能に接続されている。

【0041】

フレーム順序付けバッファ１１０の第１の入力部と符号器制御装置１０５の入力部とが、入力画像を受信するための符号器１００の入力部として、使用できる。更に、サプリメンタル・エンハンスメント・インフォメーション（付加拡張情報）（ＳＥＩ）挿入器１３０の第２の入力部が、メタデータを受信するための符号器１００の入力部として、使用できる。出力バッファ１３５の出力部が、ビットストリームを出力するための符号器１００の出力部として、使用できる。

【0042】

図２を参照すると、本原理を適用できるビデオ復号器の代表例の全体が、参照番号２００によって示されている。ビデオ復号器２００には入力バッファ２１０が含まれており、エントロピ復号器２４５の第１の入力部と信号通信可能に接続された出力部を有している。エントロピ復号器２４５の第１の出力部が、逆変換器と逆量子化器２５０の第１の入力部と信号通信可能に接続されている。逆変換器と逆量子化器２５０の出力部が、合成器２２５の第２の非反転入力部と信号通信可能に接続されている。合成器２２５の出力部が、非ブロック化フィルタ２６５の第２の入力部、及び、イントラ予測モジュール２６０の第１の入力部と信号通信可能に接続されている。非ブロック化フィルタ２６５の第２の出力部が、適応ループ・フィルタ２３３の入力部と信号通信可能に接続されている。適応ループ・フィルタ２３３の出力部が、参照画像バッファ２８０の第１の入力部と信号通信可能に接続されている。参照画像バッファ２８０の出力部が、動き補償器２７０の第２の入力部と信号通信可能に接続されている。

【0043】

エントロピ復号器２４５の第２の出力部が、動き補償器２７０の第３の入力部、非ブロック化フィルタ２６５の第１の入力部、及び、イントラ予測器２６０の第３の入力部と信号通信可能に接続されている。エントロピ復号器２４５の第３の出力部が、復号器制御装置２０５の入力部と信号通信可能に接続されている。復号器制御装置２０５の第１の出力部が、エントロピ復号器２４５の第２の入力部と信号通信可能に接続されている。復号器制御装置２０５の第２の出力部が、逆変換器と逆量子化器２５０の第２の入力部と信号通信可能に接続されている。復号器制御装置２０５の第３の出力部が、非ブロック化フィルタ２６５の第３の入力部と信号通信可能に接続されている。復号器制御装置２０５の第４の出力部が、イントラ予測モジュール２６０の第２の入力部、動き補償器２７０の第１の入力部、及び、参照画像バッファ２８０の第２の入力部と信号通信可能に接続されている。

【0044】

動き補償器２７０の出力部が、スイッチ２９７の第１の入力部と信号通信可能に接続されている。イントラ予測モジュール２６０の出力部が、スイッチ２９７の第２の入力部と信号通信可能に接続されている。スイッチ２９７の出力部が、合成器２２５の第１の非反転入力部と信号通信可能に接続されている。

【0045】

入力バッファ２１０の入力部が、入力ビットストリームを受信するための復号器２００の入力部として使用できる。非ブロック化フィルタ２６５の第１の出力部が、出力画像を出力するための復号器２００の出力部として使用できる。

【0046】

上述のように、本原理は、分類ベースのループ・フィルタのための方法と装置に関する。前述のように、従来技術のフィルタ処理の各手法は、変化しない（普通ではない）ビデオ信号については、良好に機能する傾向がある。更に、前述のように、従来技術の各方法は、通常、サイズが等しい、或いは、可変的なブロックである分割部分を使用する。しかしながら、ブロック・ベースの方法は、普通の（標準的な）映像、及び、ビデオ内の空間の変化を効果的に特徴付けることはない。例えば、ビデオ・シーケンスの視覚的な品質は、縁端部の鮮鋭度に大きく依存しているが、画像内の縁端部は、ブロック・ベースでは殆ど対応できない。更に重要なこととして、相異なる方向の縁端部は、その鮮鋭度を保持する為に、相異なる組のウィーナ・フィルタを必要とする。これらの問題を解決する為に、フィルタを改善する分類ベースの方式を提案する。

【0047】

本原理の一実施形態によるビデオ符号器に於いて、映像の予測誤差が先ず変換係数に変換されるビデオ符号化のための方法と装置を開示し、説明する。変換係数は、次に量子化される。量子化された変換係数（量子化変換係数）は、逆量子化され、逆変換されて、その結果、再構成された予測誤差映像が得られる。この再構成された予測誤差映像と予測映像とを合成することによって、再構成映像が生成される。次に、縁端部の方位、異方性／等方性、方向、大きさ、コントラスト、傾度等のような局所的な幾何学的特徴に応じたグループ或いはカテゴリ内で、画素が分類される。例えば、分類が方位に基づく一実施形態に於いて、再構成映像の縁端部検出が行われ、そして、縁端部に於ける画素が、方位に基づくグループ或いはカテゴリ内で、分類される。あるフィルタが、特定の画素に適用される。その際、そのフィルタは、グループ或いはカテゴリ内での画素の分類に応じて選択される。

【0048】

本原理の一実施形態によるビデオ復号器に於いて、エントロピ符号化された量子化変換係数が受信されて、次に逆量子化され、逆変換されて、その結果、再構成された予測誤差映像が得られるビデオ復号のための方法と装置を開示し、説明する。この再構成された予測誤差映像と予測映像とを合成することによって、再構成映像が生成される。次に、縁端部の方位、異方性／等方性、方向、大きさ、コントラスト、傾度等のような局所的な幾何学的特徴に応じたグループ或いはカテゴリ内で、画素が分類される。例えば、分類が方位に基づく一実施形態に於いて、再構成映像の縁端部検出が行われ、そして、縁端部に於ける画素が、方位に基づくグループ或いはカテゴリ内で、分類される。あるフィルタが、特定の画素に適用される。その際、そのフィルタは、グループ或いはカテゴリ内での画素の分類に応じて選択される。

【0049】

グループ内で類別された全ての画素について選択された構造（係数）を有するフィルタによって、画素がフィルタ処理される。各フィルタは、相異なるグループ／カテゴリに属する画素について、互いに異なるように構成される。

【0050】

現行のビデオ符号化のフレームワークに於いて、フィルタ処理技術は、通常、圧縮アーティファクトを取り除くことに、或いは、アンチ・エイリアシングに使用されている。このようなフィルタ処理技術は、多くのビデオ圧縮アプリケーションに於いて、インループ、或いは、アウトループとして使用できる。ビデオ信号の特性は変化するので、フィルタ処理は、空間領域と時間領域の両方に於いて適応できることが期待される。圧縮アーティファクトを取り除く際に空間的適応性を実現する多くのブロック・ベースの適応フィルタが提案されている。本原理に従って、画素特性ベースの（画素特性に基づく）適応性を有する適応フィルタを使用する点でパフォーマンスを改善する方法と装置とを開示し、説明する。具体的には、ビデオ・フレームが縁端部検出され、検出された縁端部に於ける画素が、ある画素分類に基づく相異なるグループ又はカテゴリに分類される（このような各画素は、方向、大きさ、傾度、及び／又は、その他の検出可能な何らかの特性に基づいて、選択されて、グループ化、或いは、類別されてもよい）。次に、特定のグループ内で類別された全ての画素について選択された構造（各係数）を有するフィルタによって、画素がフィルタ処理される。各フィルタは、相異なるグループ／カテゴリに属する画素について、互いに異なるように構成される。フィルタ係数はフレーム毎に適応的に選択でき、係数は、符号器から復号器に送信できる（伝えることが出来る）。別の一実施形態では、各々のカテゴリについてのフィルタ係数は、オフラインで選択でき、符号器と復号器の双方で記憶できる。

【0051】

一実施形態に於いて、縁端部検出が、フィルタ処理すべき入力画像について行われる。縁端部であると確認された各画素は、更に、縁端部方位に基づく相異なるカテゴリに分類される。各々のカテゴリについて、一組のウィーナ・フィルタ係数（或いは、他のタイプのフィルタ係数）が、このカテゴリ内の画素について、元の画像と処理すべき入力画像との間の平均２乗誤差（ＭＳＥ）を最小にすることによって計算される。各々のカテゴリについてのフィルタ係数は、フレーム毎に適応的に調整でき、高レベルのシンタックスによって送信できる（伝えることが出来る）。

【0052】

縁端部として確認されない残りの画像部分に於ける画素については、別の一組のフィルタ係数がフィルタ処理の前に計算される。復号器に於いて、その画像について同様の縁端部検出と分類処理とが行なわれ、その後、カテゴリによる縁端部画素のフィルタ処理と残りの画像部分のフィルタ処理とが行われる。

【0053】

別の一実施形態に於いて、画素レベルでの分類処理を行なう代わりに、基本単位をブロック、例えば、８×８のブロック・サイズを有するブロックとしてもよい。

【0054】

図３を参照すると、分類ベースのループ・フィルタを用いて、入力画像についての画像データを符号化する代表的な方法の全体が、参照番号３００によって示されている。方法３００には開始ブロック３０５が含まれており、制御を機能ブロック３１０に送る。機能ブロック３１０は、符号化セットアップを行い、制御を機能ブロック３１５に送る。
機能ブロック３１５は、入力画像の残差を変換し量子化して量子化変換係数を得、量子化変換係数を逆量子化し逆変換して残差の再構成バージョンを得、この残差の再構成バージョンと少なくとも１つの参照画像とを合成して入力画像の再構成バージョンを得、制御を機能ブロック３３０に送る。機能ブロック３３０は、入力画像の再構成バージョン内の縁端部の画素、或いは、ブロックを、局所的な幾何学的特徴に基づくｎ個のカテゴリに分類し、制御をループ端ブロック３４０に送る。ループ端ブロック３４０は、カテゴリ毎にループして、制御を機能ブロック３５０に送る。機能ブロック３５０は、ウィーナ・フィルタ係数を計算し、ループ・インデックスによって示された特定のクラス（分類）内の縁端部の画素、或いは、ブロックにフィルタを適用し、制御を機能ブロック３６０に送る。機能ブロック３６０は、フィルタ係数を符号化し、制御をループ端ブロック３７０に送る。ループ端ブロック３７０は、各々のカテゴリについてのループを終了し、制御を機能ブロック３８０に送る。機能ブロック３８０は、その他の（即ち、非縁端部の）画素について、ウィーナ・フィルタ係数を計算して適用し、制御を機能ブロック３９０に送る。機能ブロック３９０は、（その他の画素について）このフィルタ係数を符号化し、制御を終了ブロック３９９に送る。

【0055】

図４を参照すると、分類ベースのループ・フィルタを用いて、画像についての画像データを復号する代表的な方法の全体が、参照番号４００によって示されている。方法４００には開始ブロック４０５が含まれており、制御を機能ブロック４１５に送る。機能ブロック４１５は、量子化変換係数を受信し、量子化変換係数を逆量子化し逆変換して残差の再構成バージョンを得、この残差の再構成バージョンと少なくとも１つの参照画像とを合成して当該画像の再構成バージョンを得、制御を機能ブロック４２０に送る。機能ブロック４２０は、当該画像の再構成バージョン内の縁端部の画素、或いは、ブロックを、局所的な幾何学的特徴に基づくｎ個のカテゴリに分類し、制御をループ端ブロック４３０に送る。ループ端ブロック４３０は、各々のカテゴリについてのループを開始し、制御を機能ブロック４４０に送る。機能ブロック４４０は、ウィーナ・フィルタ係数を解析し、制御を機能ブロック４５０に送る。機能ブロック４５０は、ループ・インデックスによって示された特定のクラス（分類）内の縁端部の画素、或いは、ブロックにウィーナ・フィルタを適用し、制御をループ端ブロック４６０に送る。ループ端ブロック４６０は、カテゴリについてのループを終了し、制御を機能ブロック４７０に送る。機能ブロック４７０は、その他の（即ち、非縁端部の）画素について、ウィーナ・フィルタ係数を解析し、制御を機能ブロック４８０に送る。機能ブロック４８０は、（その他の画素について）このウィーナ・フィルタを適用し、制御を終了ブロック４９９に送る。

【0056】

別の一実施形態に於いて、送信オーバヘッドは回避できる。そのような場合、一組のシーケンスによってフィルタをオフラインで調整でき、符号器と復号器の双方で記憶できる。

【0057】

図５を参照すると、分類ベースのループ・フィルタを用いて、入力画像についての画像データを符号化するもう１つの代表的な方法の全体が、参照番号５００によって示されている。方法５００には、開始ブロック５０５が含まれており、制御を機能ブロック５１０に送る。機能ブロック５１０は、符号化セットアップを行い、制御を機能ブロック５３０に送る。明示的に示されていないが、当業者には直ちに明らかなように、方法５００には、機能ブロック５３０によって行なわれる分類処理の前に、図３の機能ブロック３１５について示された各ステップと同様の各ステップも含まれている。機能ブロック５３０は、入力画像の再構成バージョン内の縁端部の画素、或いは、ブロックを、局所的な幾何学的特徴に基づくｎ個のカテゴリに分類し、制御をループ端ブロック５４０に送る。ループ端ブロック５４０は、カテゴリ毎にループを開始し、制御を機能ブロック５５０に送る。機能ブロック５５０は、当該クラス（分類）について、予め調整された係数で縁端部の画素、或いは、ブロックをフィルタ処理し、制御をループ端ブロック５６０に送る。ループ端ブロック５６０は、カテゴリについてのループを終了し、制御を機能ブロック５７０に送る。機能ブロック５７０は、その他の（即ち、非縁端部の）画素について、ウィーナ・フィルタ係数を計算して適用し、制御を機能ブロック５８０に送る。機能ブロック５８０は、フィルタ係数を符号化し、制御を終了ブロック５９９に送る。

【0058】

図６を参照すると、分類ベースのループ・フィルタを用いて、画像についての画像データを復号するもう１つの代表的な方法の全体が、参照番号６００によって示されている。方法６００には開始ブロック６０５が含まれており、制御を機能ブロック６２０に送る。明示的に示されていないが、当業者には直ちに明らかなように、方法６００には、機能ブロック６２０によって行なわれる分類処理の前に、図４の機能ブロック４１５について示された各ステップと同様の各ステップも含まれている。機能ブロック６２０は、当該画像の再構成バージョン内の縁端部の画素、或いは、ブロックを、局所的な幾何学的特徴に基づくｎ個のカテゴリに分類し、制御をループ端ブロック６３０に送る。ループ端ブロック６３０は、各々のカテゴリについてのループを開始し、制御をループ端ブロック６４０に送る。ループ端ブロック６４０は、当該クラス（分類）について、予め調整された係数で縁端部の画素、或いは、ブロックをフィルタ処理し、制御をループ端ブロック６５０に送る。ループ端ブロック６５０は、カテゴリについてのループを終了し、制御を機能ブロック６６０に送る。機能ブロック６６０は、その他の（即ち、非縁端部の）画素について、ウィーナ・フィルタ係数を解析し、制御を機能ブロック６７０に送る。機能ブロック６７０は、（その他の画素について）ウィーナ・フィルタを適用し、制御を終了ブロック６９９に送る。

【0059】

別の一実施形態に於いて、分類ベースのウィーナ・フィルタ処理は、画素毎に、フィルタ処理を行うか否かを決定するＢＡＬＦ又はＱＡＬＦと組み合わされる。ＢＡＬＦ又はＱＡＬＦがあるブロックをフィルタ処理することを決定した場合、縁端部として検出された画素が、その画素が属するカテゴリについて、個別に調整されたフィルタによって、フィルタ処理される。

【0060】

図７を参照すると、分類ベースのループ・フィルタを用いて、入力画像についての画像データを符号化する更にもう１つの代表的な方法の全体が、参照番号７００によって示されている。方法７００には、開始ブロック７０５が含まれており、制御を機能ブロック７１０に送る。機能ブロック７１０は、符号化セットアップを行い、制御を機能ブロック７２０に送る。明示的に示されていないが、当業者には直ちに明らかなように、方法７００には、機能ブロック７２０によって行なわれる分類処理の前に、図３の機能ブロック３１５について示された各ステップと同様の各ステップも含まれている。機能ブロック７２０は、入力画像の再構成バージョン内の縁端部の画素、或いは、ブロックを、局所的な幾何学的特徴に基づくｎ個のカテゴリに分類し、制御をループ端ブロック７２５に送る。ループ端ブロック７２５は、カテゴリ毎にループし、制御を機能ブロック７３０に送る。機能ブロック７３０は、各々のカテゴリについてウィーナ・フィルタ係数を計算し、制御をループ端ブロック７３５に送る。ループ端ブロック７３５は、カテゴリについてのループを終了し、制御を機能ブロック７４０に送る。機能ブロック７４０は、ブロック適応ループ・フィルタについてフィルタ係数とフィルタ制御フラグとを計算し、制御をループ端ブロック７４５に送る。ループ端ブロック７４５は、各々のブロックについてのループを終了し、制御を決定ブロック７５０に送る。決定ブロック７５０は、当該（現在の）ブロックをフィルタ処理すべきか否かを判定する。当該（現在の）ブロックをフィルタ処理すべきであると判定した場合、制御をループ端ブロック７５５に送る。当該（現在の）ブロックをフィルタ処理すべきでないと判定した場合、制御をループ端ブロック７８０に送る。ループ端ブロック７５５は、現在のブロック内の各々の画素についてのループを開始し、制御を決定ブロック７６０に送る。決定ブロック７６０は、現在の画素が縁端部の画素であるか否かを判定する。現在の画素が縁端部の画素であると判定した場合、制御を機能ブロック７６５に送る。現在の画素が縁端部の画素でないと判定した場合、制御を機能ブロック７７０に送る。機能ブロック７６５は、当該画素が属するカテゴリについて調整されたフィルタを適用し、制御をループ端ブロック７７５に送る。機能ブロック７７０は、ＢＡＬＦ又はＱＡＬＦによって調整されたフィルタを適用し、制御をループ端ブロック７７５に送る。ループ端ブロック７７５は、画素についてのループを終了し、制御をループ端ブロック７８０に送る。ループ端ブロック７８０は、ブロックについてのループを終了し、制御を機能ブロック７９０に送る。機能ブロック７９０は、フィルタ係数と制御フラグとを符号化し、制御を終了ブロック７９９に送る。

【0061】

図８を参照すると、分類ベースのループ・フィルタを用いて、画像についての画像データを復号する更にもう１つの代表的な方法の全体が、参照番号８００によって示されている。方法８００には開始ブロック８０５が含まれており、制御を機能ブロック８１０に送る。機能ブロック８１０は、フィルタ係数と制御フラグとを解析し、制御を機能ブロック８２０に送る。明示的に示されていないが、当業者には直ちに明らかなように、方法８００には、機能ブロック８２０によって行なわれる分類処理の前に、図４の機能ブロック４１５について示された各ステップと同様の各ステップも含まれている。機能ブロック８２０は、当該画像の再構成バージョン内の縁端部の画素、或いは、ブロックを、局所的な幾何学的特徴に基づくｎ個のカテゴリに分類し、制御をループ端ブロック８３０に送る。ループ端ブロック８３０は、各々のブロックについてループを開始し、制御を決定ブロック８３５に送る。決定ブロック８３５は、当該（現在の）ブロックをフィルタ処理すべきか否かを判定する。当該（現在の）ブロックをフィルタ処理すべきであると判定した場合、制御をループ端ブロック８４０に送る。当該（現在の）ブロックをフィルタ処理すべきでないと判定した場合、制御をループ端ブロック８７０に送る。ループ端ブロック８４０は、現在のブロック内の各々の画素についてのループを開始し、制御を決定ブロック８４５に送る。決定ブロック８４５は、現在の画素が縁端部の画素であるか否かを判定する。現在の画素が縁端部の画素であると判定した場合、制御を機能ブロック８５０に送る。現在の画素が縁端部の画素でないと判定した場合、制御を機能ブロック８５５に送る。機能ブロック８５０は、当該画素が属するカテゴリについて調整されたフィルタを適用し、制御をループ端ブロック８６０に送る。機能ブロック８５５は、ＢＡＬＦ又はＱＡＬＦによって調整されたフィルタを適用し、制御をループ端ブロック８６０に送る。ループ端ブロック８６０は、画素についてのループを終了し、制御をループ端ブロック８７０に送る。ループ端ブロック８７０は、ブロックについてのループを終了し、制御を終了ブロック８９９に送る。
シンタックス

【0062】

表１には、本原理の一実施形態に従う代表的なスライス・ヘッダ・シンタックスが示されている。

【0063】

表１に於ける各シンタックス要素のセマンティックスは、次の通りである。
・１に等しい「edge_filter_flag」は、縁端部の方位ベースのフィルタ処理を使用することを指定する。０に等しい「edge_filter_flag」は、縁端部の方位ベースのフィルタ処理を使用しないことを指定し、このことは、スライス内の全画素について同一のフィルタが使用されることを意味する。
・「num_edge_dir」は、縁端部の方向の総数を指定する。
・１に等しい「edge_dir_used_flag[i]」は、ｉ番目の方向のフィルタを使用することを指定し、０に等しい「edge_dir_used_flag[i]」は、ｉ番目の方向のフィルタを使用しないことを指定する。
・「filter_coeff[i]」は、ｉ番目の方向のフィルタについての係数を指定する。

【表1】

【0064】

本発明に伴う多数の利点／特徴の一部は既に説明したが、次に、その他の一部を説明する。例えば、ある利点／特徴は、入力画像の残差を変換し量子化して量子化変換係数を得、量子化変換係数を逆量子化し逆変換して残差の再構成バージョンを得、この残差の再構成バージョンと少なくとも１つの参照画像とを合成して入力画像の再構成バージョンを得ることによって入力画像を符号化するビデオ符号器を有する装置である。ビデオ符号器は、局所的な幾何学的特徴に応じた複数のカテゴリのうちのそれぞれのカテゴリ内で入力画像の再構成バージョン内の画素を分類し、少なくとも１つの選択された画素を、複数のカテゴリについて、少なくとも１つの画素の対応する分類に応じてフィルタ処理するフィルタを含んでいる。

【0065】

別の利点／特徴は、上述のビデオ符号器を有する装置であって、フィルタ係数が、適応的であり、複数のカテゴリのうちの少なくとも１つのカテゴリ内でのフィルタ処理の改善パフォーマンスの提供に応じて選択される装置である。

【0066】

更に別の利点／特徴は、上述のビデオ符号器を有する装置であって、フィルタ係数が、適応的であり、複数のカテゴリのうちの少なくとも１つのカテゴリ内でのフィルタ処理の改善パフォーマンスの提供に応じて選択され、且つ、改善パフォーマンスが、入力画像と入力画像の再構成バージョンとの間の歪み測度を最小にすることによって提供される装置である。

【0067】

更に別の利点／特徴は、上述のビデオ符号器を有する装置であって、少なくとも１つの画素の分類が、少なくとも１つの画素に対応する、方向、大きさ、異方性／等方性、コントラスト、及び、傾度のうちの少なくとも１つに応じて決定される装置である。

【0068】

更に別の利点／特徴は、上述のビデオ符号器を有する装置であって、フィルタ係数が、画像毎に適応的に調整されて、１つ以上の高レベルのシンタックス要素を使用して示される装置である。

【0069】

更に別の利点／特徴は、上述のビデオ符号器を有する装置であって、フィルタ係数が、オフラインで調整されて、符号器と対応する復号器との双方に記憶される装置である。

【0070】

更に別の利点／特徴は、上述のビデオ符号器を有する装置であって、フィルタ処理が、ブロック適応ループ・フィルタ処理、或いは、クアッドツリー（四部木）適応ループ・フィルタ処理と共に行われる装置である。

【0071】

当業者であれば、ここに記載された開示事項から、本原理の上述の特徴と利点、及び、その他の特徴と利点を容易に把握できるであろう。また、本原理の開示事項が、ハードウェア、ソフトウェア、ファームウェア、特定用途のプロセッサ、或いは、それらの各組み合わせの種々の形態で実施できることも理解できるであろう。

【0072】

最も望ましくは、本発明の開示事項は、ハードウェアとソフトウェアの組み合わせとして実施される。更に、そのソフトウェアは、プログラム記憶装置に具体的に組み入れられるアプリケーション・プログラムとして実施できる。そのアプリケーション・プログラムは、任意の適当なアーキテクチャから成るマシンにアップロードされて、実行されてもよい。望ましくは、そのマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、及び、入力 / 出力（Ｉ／Ｏ）インタフェースのようなハードウェアを有するコンピュータ・プラットフォーム上で実施される。このコンピュータ・プラットフォームには、オペレーティング・システムとマイクロ命令コードも含まれてもよい。ここで説明した種々のプロセスと機能は、ＣＰＵによって実行され得るマイクロ命令コードの一部、或いは、アプリケーション・プログラムの一部、或いは、それらの任意の組み合わせであってもよい。更に、種々の他の周辺装置、例えば、追加のデータ記憶装置や印刷装置等をコンピュータ・プラットフォームに接続してもよい。

【0073】

更に、添付図面に描写された各システム構成要素及び各方法の一部はソフトウェアで実施されることが望ましいので、各システム構成要素、或いは、各処理機能ブロックの相互間の実際の接続関係は、本原理がプログラムされる様態に従って異なる場合がある。当業者であれば、ここに記載された開示事項から、本原理のこれらの実施形態或いは構成と同様の実施形態或いは構成を考案できるであろう。

【0074】

また、添付図面を参照して、各実施例を説明したが、本原理は、これらの厳密な実施例に限定される訳ではなく、当業者であれば、本原理の権利範囲と意図とから逸脱することなく、種々の変更と修正を行うことが出来るであろう。そのような全ての変更と修正は、特許請求の範囲の各請求項に記載した本原理の権利範囲内に含まれるものである。
以下、本願により教示される形態を例示的に列挙する。
（付記１）
入力画像の残差を変換し量子化して量子化変換係数を得、前記量子化変換係数を逆量子化し逆変換して前記残差の再構成バージョンを得、前記残差の前記再構成バージョンと少なくとも１つの参照画像とを合成して前記入力画像の再構成バージョンを得ることによって前記入力画像を符号化するビデオ符号器（１００）を有し、
前記ビデオ符号器は、局所的な幾何学的特徴に応じた複数のカテゴリのうちのそれぞれのカテゴリ内で前記入力画像の前記再構成バージョン内の画素を分類し、少なくとも１つの選択された画素を、前記複数のカテゴリについて、前記少なくとも１つの画素の対応する分類に応じてフィルタ処理するフィルタ（１３３）を含んでいる、
装置。
（付記２）
フィルタ係数が、適応的であり、前記複数のカテゴリのうちの少なくとも１つのカテゴリ内でのフィルタ処理の改善パフォーマンスの提供に応じて選択される、付記１に記載の装置。
（付記３）
前記改善パフォーマンスが、前記入力画像と前記入力画像の前記再構成バージョンとの間の歪み測度を最小にすることによって提供される、付記２に記載の装置。
（付記４）
前記少なくとも１つの画素の前記分類が、前記少なくとも１つの画素に対応する、方向、大きさ、異方性／等方性、コントラスト、及び、傾度のうちの少なくとも１つに応じて決定される、付記１に記載の装置。
（付記５）
フィルタ係数が、画像毎に適応的に調整されて、１つ以上の高レベルのシンタックス要素を使用して示される、付記１に記載の装置。
（付記６）
フィルタ係数が、オフラインで調整されて、前記符号器と対応する復号器との双方に記憶される、付記１に記載の装置。
（付記７）
前記フィルタ処理が、ブロック適応ループ・フィルタ処理、或いは、クアッドツリー（四部木）適応ループ・フィルタ処理と共に行われる、付記１に記載の装置。
（付記８）
ビデオ符号器に於ける方法であって、
入力画像を符号化するステップを含み、
前記符号化するステップは、
前記入力画像の残差を変換し量子化して量子化変換係数を得るステップ（３１５）と、
前記量子化変換係数を逆量子化し逆変換して前記残差の再構成バージョンを得るステップ（３１５）と、
前記残差の前記再構成バージョンと少なくとも１つの参照画像とを合成して前記入力画像の再構成バージョンを得るステップ（３１５）と、
局所的な幾何学的特徴に応じた複数のカテゴリのうちのそれぞれのカテゴリ内で前記入力画像の前記再構成バージョン内の画素を分類するステップ（３３０，５３０，７２０）と、
少なくとも１つの選択された画素を、前記複数のカテゴリについて、前記少なくとも１つの画素の対応する分類に応じてフィルタ処理するステップ（３５０，５５０，７６５）と、を含む前記方法。
（付記９）
フィルタ係数が、適応的であり、前記複数のカテゴリのうちの少なくとも１つのカテゴリ内でのフィルタ処理の改善パフォーマンスの提供に応じて選択される、付記８に記載の方法。
（付記１０）
前記改善パフォーマンスが、前記入力画像と前記入力画像の前記再構成バージョンとの間の歪み測度を最小にすることによって提供される、付記９に記載の方法。
（付記１１）
前記少なくとも１つの画素の前記分類が、前記少なくとも１つの画素に対応する、方向、大きさ、異方性／等方性、コントラスト、及び、傾度のうちの少なくとも１つに応じて決定される、付記８に記載の方法。
（付記１２）
フィルタ係数が、画像毎に適応的に調整されて、１つ以上の高レベルのシンタックス要素を使用して示される、付記８に記載の方法。
（付記１３）
フィルタ係数が、オフラインで調整されて、前記符号器と対応する復号器との双方に記憶される、付記８に記載の方法。
（付記１４）
前記フィルタ処理が、ブロック適応ループ・フィルタ処理、或いは、クアッドツリー（四部木）適応ループ・フィルタ処理と共に行われる（７７０）、付記８に記載の方法。
（付記１５）
量子化変換係数を受信し、前記量子化変換係数を逆量子化し逆変換して残差の再構成バージョンを得、前記残差の前記再構成バージョンと少なくとも１つの参照画像とを合成して当該画像の再構成バージョンを得るビデオ復号器（２００）を有し、
前記ビデオ復号器は、局所的な幾何学的特徴に応じた複数のカテゴリのうちのそれぞれのカテゴリ内で前記画像の前記再構成バージョン内の画素を分類し、少なくとも１つの選択された画素を、前記複数のカテゴリについて、前記少なくとも１つの画素の対応する分類に応じてフィルタ処理するフィルタ（２３３）を含んでいる、
装置。
（付記１６）
フィルタ係数が、適応的であり、前記複数のカテゴリのうちの少なくとも１つのカテゴリ内でのフィルタ処理の改善パフォーマンスの提供に応じて選択される、付記１５に記載の装置。
（付記１７）
前記改善パフォーマンスが、前記画像と前記画像の前記再構成バージョンとの間の歪み測度を最小にすることによって提供される、付記１６に記載の装置。
（付記１８）
前記少なくとも１つの画素の前記分類が、前記少なくとも１つの画素に対応する、方向、大きさ、異方性／等方性、コントラスト、及び、傾度のうちの少なくとも１つに応じて決定される、付記１５に記載の装置。
（付記１９）
フィルタ係数が、画像毎に適応的に調整されて、１つ以上の高レベルのシンタックス要素を使用して示される、付記１５に記載の装置。
（付記２０）
フィルタ係数が、オフラインで調整されて、前記符号器と対応する復号器との双方に記憶される、付記１５に記載の装置。
（付記２１）
前記フィルタ処理が、ブロック適応ループ・フィルタ処理、或いは、クアッドツリー（四部木）適応ループ・フィルタ処理と共に行われる、付記１５に記載の装置。
（付記２２）
ビデオ復号器に於ける方法であって、
画像を復号するステップを含み、
前記復号するステップは、
量子化変換係数を受信するステップ（４１５）と、 前記量子化変換係数を逆量子化し逆変換して残差の再構成バージョンを得るステップ（４１５）と、
前記残差の前記再構成バージョンと少なくとも１つの参照画像とを合成して当該画像の再構成バージョンを得るステップ（４１５）と、
局所的な幾何学的特徴に応じた複数のカテゴリのうちのそれぞれのカテゴリ内で前記画像の前記再構成バージョン内の画素を分類するステップ（４２０，６２０，８２０）と、
少なくとも１つの選択された画素を、前記複数のカテゴリについて、前記少なくとも１つの画素の対応する分類に応じてフィルタ処理するステップ（４５０，６４０，８５０）と、を含む前記方法。
（付記２３）
フィルタ係数が、適応的であり、前記複数のカテゴリのうちの少なくとも１つのカテゴリ内でのフィルタ処理の改善パフォーマンスの提供に応じて選択される、付記２２に記載の方法。
（付記２４）
前記改善パフォーマンスが、前記画像と前記画像の前記再構成バージョンとの間の歪み測度を最小にすることによって提供される、付記２３に記載の方法。
（付記２５）
前記少なくとも１つの画素の前記分類が、前記少なくとも１つの画素に対応する、方向、大きさ、異方性／等方性、コントラスト、及び、傾度のうちの少なくとも１つに応じて決定される、付記２２に記載の方法。
（付記２６）
フィルタ係数が、画像毎に適応的に調整されて、１つ以上の高レベルのシンタックス要素を使用して示される、付記２２に記載の方法。
（付記２７）
フィルタ係数が、オフラインで調整されて、前記符号器と対応する復号器との双方に記憶される、付記２２に記載の方法。
（付記２８）
前記フィルタ処理が、ブロック適応ループ・フィルタ処理、或いは、クアッドツリー（四部木）適応ループ・フィルタ処理と共に行われる（８５５）、付記２２に記載の方法。
（付記２９）
符号化されたビデオ信号データを有するコンピュータ読み取り可能な非一時的な記憶媒体であって、
入力画像の残差を変換し量子化して量子化変換係数を得、前記量子化変換係数を逆量子化し逆変換して前記残差の再構成バージョンを得、前記残差の前記再構成バージョンと少なくとも１つの参照画像とを合成して前記入力画像の再構成バージョンを得、局所的な幾何学的特徴に応じた複数のカテゴリのうちのそれぞれのカテゴリ内で前記入力画像の前記再構成バージョン内の画素を分類し、少なくとも１つの選択された画素を、前記複数のカテゴリについて、前記少なくとも１つの画素の対応する分類に応じてフィルタ処理することによって符号化された前記入力画像を含む、前記記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】