特許 5663093 参照ピクチャー処理のための最適化されたフィルタ選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5663093

(24)【登録日】2014年12月12日

(45)【発行日】2015年2月4日

(54)【発明の名称】参照ピクチャー処理のための最適化されたフィルタ選択

(51)【国際特許分類】

   H04N 19/30 20140101AFI20150115BHJP

   H04N 19/117 20140101ALI20150115BHJP

   H04N 19/147 20140101ALI20150115BHJP

   H04N 19/154 20140101ALI20150115BHJP

   H04N 19/19 20140101ALI20150115BHJP

【ＦＩ】

   H04N19/30

   H04N19/117

   H04N19/147

   H04N19/154

   H04N19/19

【請求項の数】26

【全頁数】28

(21)【出願番号】特願2013-531643(P2013-531643)

(86)(22)【出願日】2011年9月19日

(65)【公表番号】特表2014-504459(P2014-504459A)

(43)【公表日】2014年2月20日

(86)【国際出願番号】US2011052210

(87)【国際公開番号】WO2012044487

(87)【国際公開日】20120405

【審査請求日】2013年3月29日

(31)【優先権主張番号】61/389,180

(32)【優先日】2010年10月1日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】パハラワッタ，ペシャラ ヴィ

(72)【発明者】

【氏名】ヘ，ユーウェン

(72)【発明者】

【氏名】トゥーラピス，アレクサンドロス

【審査官】 川崎 優

(56)【参考文献】

【文献】 特表２０１０−５０７９６１（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０７５３４８（ＷＯ，Ａ１）

【文献】 特開２００６−２９５９１３（ＪＰ，Ａ）

【文献】 特表２０１３−５４２６４８（ＪＰ，Ａ）

【文献】 特表２０１３−５３８４８７（ＪＰ，Ａ）

【文献】 特表２０１３−５３５９０１（ＪＰ，Ａ）

【文献】 特表２０１３−５３４１１７（ＪＰ，Ａ）

【文献】 特表２０１３−５１８４６５（ＪＰ，Ａ）

【文献】 特表２０１２−５２１７３５（ＪＰ，Ａ）

【文献】 特表２０１２−５２１７３４（ＪＰ，Ａ）

【文献】 特表２０１２−５１６６５７（ＪＰ，Ａ）

【文献】 特表２０１２−５０３９４１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−９８

(57)【特許請求の範囲】

【請求項1】

複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択する方法であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該方法は：
ａ）参照ピクチャーおよび向上層源ピクチャーを提供する段階と；
前記参照ピクチャーを領域に分割する段階とを含み、
領域サイズおよび領域形状が、前記参照ピクチャーに対してエッジ検出を実行することに基づいて決定され．
当該方法がさらに、前記参照ピクチャーの領域に対して実行される以下の段階、すなわち：
ｂ）前記複数のフィルタからの少なくとも一つのフィルタを使って前記参照ピクチャーのコピーをフィルタリングして少なくとも一つのフィルタリングされた参照ピクチャーを得る段階であって、各フィルタは前記参照ピクチャーの対応するコピーに適用される、段階と；
ｃ）前記向上層源ピクチャーと前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットとに基づいて不一致推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；
ｄ）前記不一致情報に基づいて歪み情報を取得する段階と；
ｄ）歪み情報を得る段階ｄ）において生成された歪み情報を比較することに基づいて、かつ各フィルタリングされた参照ピクチャーの分割された領域に基づいて前記特定のフィルタを選択する段階とを含み、
前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数を含む、方法。

【請求項2】

前記参照ピクチャーは前記フィルタリングのあとにエンコードされる、請求項１記載の方法。

【請求項3】

前記参照ピクチャーは基本層参照ピクチャーまたは向上層参照ピクチャーを含み、中間層は前記一つまたは複数の向上層のうちからの層を含む、請求項１記載の方法。

【請求項4】

前記参照ピクチャーは空間的参照ピクチャーまたは前記向上層からの時間的参照ピクチャーを含む、請求項１記載の方法。

【請求項5】

前記提供する段階がさらに、前記向上層源ピクチャーを処理することを含み、前記処理が前記向上層源ピクチャー中のノイズを除去する、請求項１記載の方法。

【請求項6】

前記提供する段階がさらに、前記向上層源ピクチャーを処理することを含み、前記処理がフィルタリング、動き変換、動き補償、照明補償、スケーリング、逆および順方向トーン・マッピング、色フォーマット変換およびガンマ補正のうちの少なくとも一つを適用することを含む、請求項１記載の方法。

【請求項7】

前記フィルタリングされた参照ピクチャーの少なくとも一つが前記参照ピクチャーを含む、請求項１記載の方法。

【請求項8】

請求項１記載の方法であって、不一致推定を実行する段階がさらに、前記フィルタリングの段階において使われる前記複数のフィルタのうちからの前記少なくとも一つのフィルタについてのコスト情報を得ることを含み、前記選択する段階がさらに前記コスト情報に基づき、
前記コスト情報は、前記不一致情報、各フィルタのフィルタ・パラメータを信号伝達するのに使われるビット数、各フィルタリングされた参照ピクチャーに対応する動きベクトルを信号伝達するのに使われるビット数、各フィルタリングされた参照ピクチャーに対応する予測歪みを信号伝達するのに使われるビット数、各フィルタを適用する際の計算上の複雑さおよび各フィルタの電力消費の関数である、
方法。

【請求項9】

請求項１記載の方法であって、不一致推定を実行する段階と選択する段階の間に、前記向上層源ピクチャーに対して不一致補償を実行して最終的な再構成されたピクチャーを得る段階をさらに含み、前記不一致補償は前記不一致推定の段階に基づく、方法。

【請求項10】

前記不一致推定がブロック・ベースの動き推定を含む、請求項１記載の方法。

【請求項11】

特定のブロックに対応する動きベクトルが前記特定のブロックの近隣のブロックの動きベクトルによって予測されるよう適応される、請求項１０記載の方法。

【請求項12】

ブロック・サイズが前記参照ピクチャーの画像特性に基づき、前記画像特性は、前記参照ピクチャーのルーマ成分、クロマ成分およびエッジ特性ならびに前記参照ピクチャー内の要素のテクスチャー、色、形およびサイズのうちの少なくとも一つの関数である、請求項１０記載の方法。

【請求項13】

不一致推定を実行する段階または歪み情報を得る段階がまた、ブロック・サイズおよびブロック形状の少なくとも一方を決定する、請求項１０記載の方法。

【請求項14】

前記不一致推定が整数ピクセルの動き推定を含む、請求項１記載の方法。

【請求項15】

前記不一致推定がサブピクセル精度の動き推定を含む、請求項１記載の方法。

【請求項16】

不一致推定を実行する段階がさらに、向上層参照ピクチャー・バッファからの時間的参照ピクチャーに基づく、請求項１記載の方法。

【請求項17】

前記不一致推定がさらに、一つまたは複数のルーマおよびクロマ成分に基づく、請求項１記載の方法。

【請求項18】

前記不一致推定がさらに、ルーマおよびクロマ成分のサブセットに基づき、残りのルーマおよびクロマ成分の歪みはルーマおよびクロマ成分の前記サブセットから得られた不一致情報に基づいて計算される、請求項１７記載の方法。

【請求項19】

複数の重み付け因子をさらに有する請求項１８記載の方法であって、各ルーマ成分および各クロマ成分に一つの重み因子が適用される、方法。

【請求項20】

請求項１記載の方法であって、提供する段階が複数の参照ピクチャーを提供することを含み、前記フィルタリングの段階が前記複数の参照ピクチャーのフル・セットまたはサブセットに対して実行されて少なくとも一つのフィルタリングされた参照ピクチャーを得て、各フィルタは前記複数の参照ピクチャーの前記フル・セットまたはサブセットの各参照ピクチャーに対して適用される、方法。

【請求項21】

複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択するシステムであって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該システムは：
ａ）参照ピクチャーおよび向上層源ピクチャーを提供する手段と；
前記参照ピクチャーを領域に分割する手段とを有しており、
領域サイズおよび領域形状が、前記参照ピクチャーに対してエッジ検出を実行することに基づいて決定され．
当該システムがさらに、前記参照ピクチャーの領域に対してそれぞれの動作を実行するよう構成された以下の手段、すなわち：
ｂ）前記複数のフィルタからの少なくとも一つのフィルタを使って前記参照ピクチャーのコピーをフィルタリングして少なくとも一つのフィルタリングされた参照ピクチャーを得る手段であって、各フィルタは前記参照ピクチャーの対応するコピーに適用される、手段と；
ｃ）前記向上層源ピクチャーと前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットとに基づいて不一致推定を実行する手段であって、前記不一致推定は不一致情報を生成するよう適応されている、手段と；
ｄ）前記不一致情報に基づいて歪み情報を取得する段階と；
ｅ）歪み情報を取得する手段ｄ）により生成された歪み情報を比較することに基づいて、かつ各フィルタリングされた参照ピクチャーの分割された領域に基づいて前記特定のフィルタを選択する手段とを有しており、
前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数を含む、システム。

【請求項22】

命令を記憶したコンピュータ可読記憶媒体であって、前記命令はプロセッサに、複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択するプロセスを少なくとも部分的に引き起こす、制御する、プログラムするまたは構成設定することをさせるものであり、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、前記プロセスは：
ａ）参照ピクチャーおよび向上層源ピクチャーを提供する段階と；
前記参照ピクチャーを領域に分割する段階とを含み、
領域サイズおよび領域形状が、前記参照ピクチャーに対してエッジ検出を実行することに基づいて決定され．
前記プロセスがさらに、前記参照ピクチャーの領域に対して実行される以下の段階、すなわち：
ｂ）前記複数のフィルタからの少なくとも一つのフィルタを使って前記参照ピクチャーのコピーをフィルタリングして少なくとも一つのフィルタリングされた参照ピクチャーを得る段階であって、各フィルタは前記参照ピクチャーの対応するコピーに適用される、段階と；
ｃ）前記向上層源ピクチャーと前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットとに基づいて不一致推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；
ｄ）前記不一致情報に基づいて歪み情報を取得する段階と；
ｅ）歪みを得る段階ｄ）において生成された歪み情報を比較することに基づいて、かつ各フィルタリングされた参照ピクチャーの分割された領域に基づいて前記特定のフィルタを選択する段階とを含み、
前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数を含む、コンピュータ可読記憶媒体。

【請求項23】

複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択する方法であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該方法は：
ａ）参照ピクチャーおよび向上層源ピクチャーを提供する段階と；
ｂ）前記複数のフィルタからの少なくとも一つのフィルタを使って前記参照ピクチャーのコピーをフィルタリングして少なくとも一つのフィルタリングされた参照ピクチャーを得る段階であって、各フィルタは前記参照ピクチャーの対応するコピーに適用される、段階と；
ｃ）前記向上層源ピクチャーと前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットとに基づいて不一致推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；
ｄ）前記不一致情報に基づいて歪み情報を得る段階と；
ｅ）歪み情報を得る段階ｄ）において生成された歪み情報を比較することに基づいて前記特定のフィルタを選択する段階とを含み、
前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数を含む、方法。

【請求項24】

複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択する方法であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該方法は：
ａ）向上層源ピクチャーを提供する段階と；
ｂ）前記向上層源ピクチャーおよび特定の層からの動き情報に基づいて不一致推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；
ｃ）前記向上層源ピクチャーおよび前記特定の層からの動き情報に基づいて歪み情報を得る段階と；
ｄ）歪み情報を得る段階ｃ）において得られた歪み情報を比較することに基づいて前記特定のフィルタを選択する段階とを含み、
前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数を含み、前記特定の層からの前記動き情報は前記特定の層の時間的参照ピクチャーに基づく、方法。

【請求項25】

複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択する方法であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該方法は：
ａ）参照ピクチャーおよび向上層源ピクチャーを提供する段階と；
ｂ）前記複数のフィルタからの少なくとも一つのフィルタを使って前記参照ピクチャーのコピーをフィルタリングして少なくとも一つのフィルタリングされた参照ピクチャーを得る段階であって、各フィルタは前記参照ピクチャーの対応するコピーに適用される、段階と；
ｃ）前記向上層源ピクチャー、前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットおよび特定の層からの動き情報に基づいて不一致推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；
ｄ）前記向上層源ピクチャー、前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットおよび前記特定の層からの動き情報に基づいて歪み情報を得る段階と；
ｅ）歪み情報を得る段階ｄ）において得られた歪み情報を比較することに基づいて前記特定のフィルタを選択する段階とを含み、
前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数を含み、前記動き情報は前記特定の層の時間的参照ピクチャーに基づく、方法。

【請求項26】

複数のフィルタのうちから、ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択する方法であって、前記符号化システムはある層を含み、当該方法は：
ａ）参照ピクチャーおよび源ピクチャーを提供する段階であって、前記参照ピクチャーおよび前記源ピクチャーはいずれも同じ層からのものである、段階と；
ｂ）前記複数のフィルタからの少なくとも一つのフィルタを使って前記参照ピクチャーのコピーをフィルタリングして少なくとも一つのフィルタリングされた参照ピクチャーを得る段階であって、各フィルタは前記参照ピクチャーの対応するコピーに適用される、段階と；
ｃ）前記源ピクチャーと前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットとに基づいて不一致推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；
ｄ）前記不一致情報に基づいて歪み情報を得る段階と；
ｅ）歪み情報を得る段階ｄ）において生成された歪み情報を比較することに基づいて前記特定のフィルタを選択する段階とを含み、
前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は2010年10月1日に出願された米国仮特許出願第61/389,180号の優先権を主張するものである。本願は2009年4月20日に出願された米国仮出願第61/170,995号、2009年7月4日に出願された米国仮出願第61/223,027号、2010年2月1日に出願された米国仮出願第61/300,427号に関係することがありうる。これらはみなここに参照によってその全体において組み込まれる。

【0002】

技術
本発明は概括的にはビデオ処理に関する。より詳細には、本発明のある実施形態は、最適化された参照処理フィルタ選択方法に関する。

【背景技術】

【0003】

複数層ビデオ・コーデックはたとえば、空間的および時間的分解能、ビット深さ、色範囲および品質におけるスケーラビリティーを提供する。いくつかの複数層ビデオ・コーデックがビデオ符号化業界において標準化されている。標準化された複数層ビデオ・コーデックには、MPEG-4 AVC/H.264規格のマルチビュー・ビデオ符号化（Multiview Video Coding）拡張（MVC）およびスケーラブル・ビデオ符号化（SVC: Scalable Video Coding）拡張がある。H.264規格を紹介する例示的な文献は非特許文献１に見出すことができ、ここに参照によってその全体において組み込まれる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】2009年4月20日に出願された「Directed Interpolation and Post-Processing」という名称の米国仮出願第61/170,995号

【特許文献2】2010年2月1日に出願された「Adaptive Interpolation Filters for Multi-layered Video Delivery」という名称の米国仮出願第61/300,427号

【非特許文献】

【0005】

【非特許文献1】Advanced video coding for generic audiovisual services、http://www.itu.int/rec/T-REC-H.264/e、2010年3月

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来技術の課題を解決する。

【課題を解決するための手段】

【0007】

請求項記載の手段によって解決する。

【図面の簡単な説明】

【0008】

【図1】複数層ビデオ・コーデック・システムのある実装を示す図である。

【図2】参照処理を利用する複数層ビデオ・コーデック・システムのある実装を示す図である。

【図3】フレーム互換なコーデック・システムのある実装を示す図である。

【図4A】フレーム互換エンコーダのある実装を示す図の一部である。

【図4B】フレーム互換エンコーダのある実装を示す図の一部である。

【図5】フィルタ選択方法のある実施形態を示す図である。

【図6】単一パス・エンコードに関わるフィルタ選択方法のある実施形態を示す図である。

【図7】時間的参照からの情報を利用するフィルタ選択方法のある実施形態を示す図である。

【図8】基本層からの動き情報を利用するフィルタ選択方法のある実施形態を示す図である。

【発明を実施するための形態】

【0009】

本開示の第一の側面によれば、複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択する方法であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該方法は：ａ）参照ピクチャーおよび向上層源ピクチャーを提供する段階と；ｂ）前記複数のフィルタからの少なくとも一つのフィルタを使って前記参照ピクチャーの諸コピーをフィルタリングして少なくとも一つのフィルタリングされた参照ピクチャーを得る段階であって、各フィルタは前記参照ピクチャーの対応するコピーに適用される、段階と；ｃ）前記向上層源ピクチャーと前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットとに基づいて不一致（disparity）推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；ｄ）段階ｃ）において生成された不一致情報を比較することに基づいて前記特定のフィルタを選択する段階とを含み、前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数である、方法が提供される。

【0010】

本開示の第二の側面によれば、複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択する方法であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該方法は：ａ）参照ピクチャーおよび向上層源ピクチャーを提供する段階と；ｂ）前記複数のフィルタからの少なくとも一つのフィルタを使って前記参照ピクチャーの諸コピーをフィルタリングして少なくとも一つのフィルタリングされた参照ピクチャーを得る段階であって、各フィルタは前記参照ピクチャーの対応するコピーに適用される、段階と；ｃ）前記向上層源ピクチャーと前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットとに基づいて不一致推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；ｄ）前記不一致情報に基づいて歪み情報を得る段階と；ｅ）段階ｄ）において生成された歪み情報を比較することに基づいて前記特定のフィルタを選択する段階とを含み、前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数である、方法が提供される。

【0011】

本開示の第三の側面によれば、複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択する方法であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該方法は：ａ）向上層源ピクチャーを提供する段階と；ｂ）前記向上層源ピクチャーおよび特定の層からの動き情報に基づいて不一致推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；ｃ）前記向上層源ピクチャーおよび前記特定の層からの動き情報に基づいて歪み情報を得る段階と；ｄ）段階ｃ）において得られた歪み情報を比較することに基づいて前記特定のフィルタを選択する段階とを含み、前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数であり、前記特定の層からの前記動き情報は前記特定の層の時間的参照ピクチャーに基づく、方法が提供される。

【0012】

本開示の第四の側面によれば、複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択する方法であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該方法は：ａ）参照ピクチャーおよび向上層源ピクチャーを提供する段階と；ｂ）前記複数のフィルタからの少なくとも一つのフィルタを使って前記参照ピクチャーの諸コピーをフィルタリングして少なくとも一つのフィルタリングされた参照ピクチャーを得る段階であって、各フィルタは前記参照ピクチャーの対応するコピーに適用される、段階と；ｃ）前記向上層源ピクチャー、前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットおよび特定の層からの動き情報に基づいて不一致推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；ｄ）前記向上層源ピクチャー、前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットおよび前記特定の層からの動き情報に基づいて歪み情報を得る段階と；ｅ）段階ｄ）において得られた歪み情報を比較することに基づいて前記特定のフィルタを選択する段階とを含み、前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数であり、前記動き情報は前記特定の層の時間的参照ピクチャに基づく、方法が提供される。

【0013】

本開示の第五の側面によれば、複数のフィルタのうちから、ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択する方法であって、前記符号化システムはある層を含み、当該方法は：ａ）参照ピクチャーおよび源ピクチャーを提供する段階であって、前記参照ピクチャーおよび前記源ピクチャーはいずれも同じ層からのものである、段階と；ｂ）前記複数のフィルタからの少なくとも一つのフィルタを使って前記参照ピクチャーの諸コピーをフィルタリングして少なくとも一つのフィルタリングされた参照ピクチャーを得る段階であって、各フィルタは前記参照ピクチャーの対応するコピーに適用される、段階と；ｃ）前記源ピクチャーと前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットとに基づいて不一致推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；ｄ）前記不一致情報に基づいて歪み情報を得る段階と；ｅ）段階ｄ）において生成された歪み情報を比較することに基づいて前記特定のフィルタを選択する段階とを含み、前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数である、方法が提供される。

【0014】

本開示の第六の側面によれば、複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照処理ユニットにおいて使うために適応された特定のフィルタを選択するよう適応されたフィルタ選択器であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該フィルタ選択器は：参照ピクチャーまたは該参照ピクチャーのある領域を処理して一つまたは複数の処理された参照ピクチャーを得るための前記複数のフィルタのフル・セットまたはサブセットと；向上層源ピクチャーおよび前記一つまたは複数の処理された参照ピクチャーからの少なくとも一つの処理された参照ピクチャーに基づいて不一致情報を生成するよう適応された不一致推定器とを有しており、前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数であり、前記特定のフィルタは前記不一致情報に基づいて選択可能である、フィルタ選択器が提供される。

【0015】

本開示の第七の側面によれば、複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照処理ユニットにおいて使うために適応された特定のフィルタを選択するよう適応されたフィルタ選択器であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該フィルタ選択器は：参照ピクチャーまたは該参照ピクチャーのある領域を処理して一つまたは複数の処理された参照ピクチャーを得るための前記複数のフィルタのフル・セットまたはサブセットと；向上層源ピクチャーおよび前記一つまたは複数の処理された参照ピクチャーからの少なくとも一つの処理された参照ピクチャーに基づいて不一致情報を生成するよう適応された不一致推定器とを有しており、前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数であり、当該フィルタ選択器はさらに、前記向上層源ピクチャーおよび前記複数の処理された参照ピクチャーからの前記少なくとも一つの処理された参照ピクチャーに基づいて歪み情報を生成するよう適応された歪み情報計算モジュールを有しており、前記特定のフィルタは前記歪み情報に基づいて選択可能である、フィルタ選択器が提供される。

【0016】

本開示の第八の側面によれば、複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照処理ユニットにおいて使うために適応された特定のフィルタを選択するよう適応されたフィルタ選択器であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該フィルタ選択器は：向上層源ピクチャーおよび特定の層からの動き情報に基づいて不一致情報を生成するよう適応された不一致推定器であって、前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータ、イントラ予測情報、照明パラメータおよびトーン・マッピング・パラメータのうちの少なくとも一つの関数である、不一致推定器と；前記向上層源ピクチャーおよび前記特定の層からの動き情報に基づいて歪み情報を生成するよう適応された歪み情報計算モジュールとを有しており、前記特定のフィルタは前記歪み情報に基づいて選択される、フィルタ選択器が提供される。

【0017】

MVCのような複数層ビデオ・コーデックでは、ビューの数に依存して、基本層およびいくつかの向上層の画像シーケンスをエンコード／デコードするために、いくつかのエンコード／デコード・プロセスが使用されることがある。ここで、各向上層は通例異なるビューに対応する。たとえば、異なるビューをエンコード／デコードするためにいくつかの独立および従属的なエンコード／デコード・プロセスが組み合わせて使用されることがある。独立して符号化されるビューは典型的には基本層ビューと呼ばれる。一方、従属的に符号化されるビューは向上層ビューと呼ばれる。

【0018】

図１は、少なくとも基本層（１００）および向上層（１１０）をサポートするビデオ・コーデック・システムのある実装を示している。ある個別的な実装では、基本層エンコーダ（１０２）および基本層デコーダ（１０４）の再構成された出力ピクチャー（１２０、１２２）は、向上層（１１０）における対応するピクチャー（１２０、１２２）のエンコード／デコードに先立って、各層（１００、１１０）の時間的参照（１０６、１１６）とともに、それぞれ向上層エンコーダ（１１２）および向上層デコーダ（１１４）の参照ピクチャー・バッファに挿入される。この個別的な実装は、向上層（１１０）が、前にデコードされた層からの参照（１０６）および自分自身の時間的参照（１１６）の両方を、動き推定や動き補償といった目的のために使うことができるようにする。理論上は、各層（１００、１１０）においてエンコードされた画像（１０６、１１６）の間の高い相関があれば、前の層（１００）からの参照（１０６）は、向上層（１１０）の符号化効率を改善できる。

【0019】

図１のビデオ・コーデック・システム実装は追加的な層（１５２、１５４）をサポートすることもできることを注意しておくべきである。ここで、追加的な層も対応するエンコーダおよびデコーダを有する。換言すれば、図１に示される向上層（１１０）は、そのような複数層実装では、（複数の他の中間層のうちの）中間層（inter-layer）と呼ばれてもよく、その後の向上層（１５２、１５４）において使うための向上層参照を提供してもよい。

【0020】

図２は、少なくとも基本層（２００）および向上層（２１０）をサポートするシステムの第二の実装を示している。この実装では、向上層（２１０）の参照ピクチャー・バッファへの挿入に先立って、前の層の参照（２０６、２２０、２２２）は参照処理ユニット（RPU: Reference Processing Unit）（２３０、２４０）を使って処理される。RPU（２３０、２４０）は、各対応する層について新しい参照ピクチャー（２３２、２４２）を導出し、該新しい参照ピクチャーは一般に、図１に示した実装のようなRPU（２３０、２４０）なしの場合よりも、エンコードされる向上層源画像（２１６）とよく相関している。このよりよい相関は一般に、向上層（２１０）についてのよりよい圧縮効率を与える。

【0021】

図１と同様に、向上層（２１０）は、その後の向上層（２５２、２５４）のための中間層のはたらきをしてもよく、よってその後の向上層（２５２、２５４）のための中間層参照を提供してもよい。結果として、RPUは、ある層からの参照および前の諸層からの参照に基づいて新たな参照ピクチャーを導出するために使用されてもよい。

【0022】

RPU（２３０）によって提供される追加的な処理は、限定ではなく例として、線形／非線形フィルタリング、動き変換、動き補償、照明補償、スケーリング、逆および順方向トーン・マッピング、色フォーマット変換およびガンマ補正を含んでいてもよい。処理は、参照ピクチャーに対して領域レベルで適用されてもよい。それにより、参照ピクチャーの異なる部分について異なる特性の方法による処理を使うことが可能になる。処理パラメータは、利用可能な帯域幅およびコンピューティング・パワーならびに出力ビデオの最終的な再構成された品質を考慮に入れて、エンコーダ（２０２、２１２）において導出され、次いでデコーダ（２０４、２１４）に信号伝達されることができる。本開示で使うところの用語「処理」は用語「フィルタリング」と等価であることを注意しておくべきである。結果として、参照ピクチャーに対する処理は該参照ピクチャーにフィルタを適用することによって実行されてもよい。

【0023】

参照ピクチャーの異なる部分について異なる特性の方法によるフィルタを使うことを可能にすることを紹介している例示的な文献は特許文献１である。コンテンツ特性に基づいてそのようなフィルタを適応的に導出する方法を紹介する二つの例示的な文献は特許文献１および特許文献２である。これらの文献はいずれもここに参照によってその全体において組み込まれる。

【0024】

図２に示されるような参照処理に基づくアーキテクチャのある応用は、3D両眼視ビデオのフレーム互換なフル解像度送達のものである。フレーム互換な両眼視3D送達は、もとの左眼および右眼の画像がまず、フィルタリングありまたはフィルタリングなしで、より低解像度（典型的にはもとの解像度の半分）にダウンサンプリングされて、次いでまとめて単一の画像フレーム（典型的にはもとの解像度の）にパッキングされてからエンコードにかけられる、両眼視用コンテンツの送達をいう。多くのサブサンプリング（たとえば水平方向、垂直方向および五の目形）およびパッキング（たとえば、隣り合わせ、上下、行ごと、市松模様）法がフレーム互換な両眼視用ビデオ送達のために使われる。

【0025】

図３は、フレーム互換なフル解像度の3D送達アーキテクチャの実装を示している。この実装は、基本層（３００）または中間層をフレーム互換ビットストリーム（３０８）としてエンコードする。次いで、参照処理ユニット（３３０）が基本層（３０６）または中間層参照を処理し、向上層（３１０）のための予測（３３２）を生成するために使われる。向上層は、基本層のデコードされた画像（３２２）や他の層からのデコードされた画像（図示せず）と組み合わされるときに、一般に、最終的なデコードされた左眼ビュー（３５０）および右眼ビュー（３６０）の解像度を改善する情報を含む。

【0026】

本開示の多くの実施形態は、一般にエンコーダの参照処理ユニット内で使うための、図２および図３に呈示されるアーキテクチャに合致する参照処理フィルタの導出に関わる。エンコーダは一般に、該エンコーダにおいて使用されるRPUフィルタに関する情報を対応するデコーダに信号伝達することを注意しておくべきである。デコーダは一般に信号伝達された情報を使ってそのRPUフィルタを選択する。信号伝達は必ずしも特定のフィルタ係数を含む必要はないことを注意しておくべきである。代わりに、エンコーダは、デコーダがフィルタ係数を導出する方法を信号伝達してもよい。

【0027】

両眼視用ビデオにおける応用に関する実施形態では、参照処理フィルタは、図４に示されるように導出できる。図４では、基本層参照ピクチャー・バッファ（４２０）からの基本層参照ピクチャーが入力としてPRU（４３０）に与えられる。これまでの諸図面と同様、RPU（４３０）への入力は、基本層参照ピクチャーに加えてまたは基本層参照ピクチャーの代わりに、他の層からの参照ピクチャーであることもでき、他の層からの参照ピクチャーを含むこともできる。さらに、左眼および右眼の源画像（４００、４１０）もRPU（４３０）に入力される。RPU（４３０）内の最適化されたフィルタ選択（図示せず）は、各フィルタからの参照処理された画像または処理された画像領域を源向上層画像（４００、４１０）と比較し、最適なコスト‐歪みトレードオフを提供するフィルタを選ぶことを含む。

【0028】

ある実施形態では、フィルタ選択は、ラグランジュ最適化技法を使って得られてもよい。限定ではなく例として、下記の式(1)に示されるラグランジュ最適化技法は、コスト‐歪み基準に基づいてフィルタを導出するために使用できる：

【数1】

ここで、fは考えている特定のフィルタを同定するフィルタ指数〔インデックス〕を表し、D_fは源向上層画像と比較したときの参照処理された画像における歪みを表し、C_fはフィルタfの使用に起因して被るフィルタ・コストを表す。

【0029】

歪みD_fは、ピクセル間の誤差の絶対値または平方の和、平均平方誤差、PSNR、変換された誤差平方の重み付けされた和、変換された誤差絶対値の和、SSIM、マルチスケールSSIMおよび他の知覚的画像／ビデオ品質メトリックを含む多様な技法を使って計算できる。コストC_fは一般に、フィルタ・パラメータを信号伝達するために使われるビット数の関数である。しかしながら、コストは他の因子の関数でもあってもよい。たとえば、パワー／複雑さが制約された用途では、コストは、フィルタを適用することの計算上の複雑さおよびパワー要求を考慮してもよい。コストが、これに限られないがビット数、計算量および電力要求を含む複数の因子を含む場合には、全体的なコストに対する各因子の影響を別個に調整するために、複数のラムダ・パラメータが使用されてもよい。

【0030】

図４に示した実施形態では、上記で与えられるフィルタ選択プロセスは、向上層エンコーダの動き／不一致推定およびモード決定プロセスとは独立である。モード決定プロセスは一般に、向上層エンコーダによって使用される、ブロックまたはマクロブロックについてのエンコード・モード（インター、イントラおよびスキップ・ブロックなどの）を選択することに関わる。図４では、モード決定プロセスはレート‐歪み最適化（４４６）に基づく。他の実施形態では、モード決定プロセスはたとえば、レート‐歪み‐複雑さ最適化を含んでいてもよい。向上層エンコーダは、動き補償器（４４２）、動き推定器（４４４）およびレート歪み最適化モジュール（４４６）を有し、これらは対応する動き補償（４４２）、動き推定（４４４）およびレート歪み最適化（４４６）プロセスを実行する。

【0031】

具体的には、向上層エンコーダの動き補償（４４２）、動き推定（４４４）およびレート歪み最適化（４４６）プロセスは、向上層参照ピクチャー・バッファ（４４０）からの参照ピクチャーに基づいて適用される。よって、これらのプロセス（４４２、４４４、４４６）は基本層または前の向上層からの処理された画像および向上層参照ピクチャー・バッファ（４４０）からの時間的参照ピクチャーを使って適用される。この実施形態では、向上層におけるRPUフィルタ（図示せず）の符号化効率は、動き補償（４４２）、動き推定（４４４）およびレート歪み最適化（４４６）のプロセスを考慮しない。

【0032】

図５は、向上層エンコーダの動き推定（５２５）およびレート歪み最適化（５３０）プロセスを考慮するフィルタ選択プロセスのある実施形態を示している。動き推定（５２５）およびレート歪み最適化（５３０）プロセスはそれぞれ動き推定器（５２５）およびレート歪み最適化モジュール（５３０）を使って実行される。ある実施形態では、基本層参照ピクチャーとも称される前にエンコードされた基本層ピクチャー（５００）の各領域（５０５）が、RPU（図示せず）内の可能なフィルタ（５１０）のそれぞれを使ってフィルタリングされて、フィルタリングされた基本層参照ピクチャー（５１５）が得られる。具体的に基本層に言及しているものの、参照または参照の領域は前の中間層に由来してもよく、RPU内のフィルタによってフィルタリングされてフィルタリングされた中間層参照ピクチャーが得られてもよい。フィルタリングされたピクチャー（５１５）（単数または複数）は次いで、向上層参照ピクチャー・バッファ（５２０）に挿入される。向上層エンコーダは次いで、フィルタリングされたピクチャー（５１５）に対して、フィルタリングされた基本層参照ピクチャー（５１５）および向上層源画像（５４５）に基づいて、動き／不一致推定（５２５）およびレート歪み最適化（５３０）を実行する。

【0033】

この実施形態では、向上層エンコーダの、動き推定（５２５）およびレート歪み最適化（５３０）とともに行われるモード決定は、他の時間的参照ピクチャーに加えて、潜在的な参照として、フィルタリングされた基本層ピクチャー（５１５）を使い、特定のRPUフィルタ（５１０）を使うことの歪みおよびコストの推定値を生成する。潜在的な参照が参照ピクチャーとして実際に使われるかどうかを決定する因子は、たとえば、その潜在的な参照の利用から帰結する歪みコストおよび計算上の複雑さに依存してもよい。

【0034】

コスト推定値はたとえば、フィルタ・コストに加えて、各参照ピクチャーを参照する動きベクトルの信号伝達のためのコストといった動きコストおよび予測残差をエンコードするためのコストを含んでいてもよい。フィルタ・コストは、フィルタ型、フィルタ係数などといったフィルタ・パラメータを信号伝達するコストを含んでいてもよい。

【0035】

ある実施形態では、歪みは、向上層源画像の動き補償および符号化後の最終的な再構成されたピクセル値を使って計算されてもよい。可能なフィルタ（５１０）のそれぞれについて動き推定（５２５）およびレート‐歪み最適化（５３０）プロセスを実行したのち、レート‐歪み最適化（５３０）はレート‐歪みコストをフィルタ選択器（５５０）に対して出力し、フィルタ選択器がそのレート‐歪みコストに基づいて一つまたは複数のフィルタを選択する。いくつかの実施形態では、基本層参照ピクチャー（５００）の各領域について一つのフィルタが選択されることができる。さらに、向上層ピクチャーについて符号化モードが選ばれることができる。該符号化モードはブロック、マクロブロックおよび／または領域を向上層ピクチャーに符号化するために向上層エンコーダによって使用される。

【0036】

レート‐歪み最適化プロセス（５３０）ののち、フィルタリングされた基本層ピクチャー（５１５）は向上層参照バッファ（５２０）から除去されてもよい（５３５）。ある種の実施形態では、同じフィルタリングされた基本層ピクチャー（５１５）がその後、マルチパス・エンコードの場合には再使用されてもよく、あるいは異なる基準を使って再評価されてもよい。

【0037】

図５は、レート‐歪み最適化（５３０）プロセスのために単一の向上層ピクチャー・バッファ（５２０）が使用される逐次方式を記述していることを注意しておく。別の実施形態では、動き推定およびレート‐歪み最適化（５３０）に基づくモード選択のようなモード選択に先立って可能な各RPUフィルタリングされたピクチャー（５１５）を記憶するために複数の向上層参照ピクチャー・バッファが生成される並列方式も可能である。可能な各RPUフィルタリングされたピクチャー（５１５）が他の向上層参照ピクチャー・バッファに由来することもできることを注意しておくべきである。

【0038】

さらに、図５に示した実施形態では、フィルタ選択は再構成された基本層ピクチャー（５１５）に基づく。もう一つの実施形態では、フィルタ選択は、もとのエンコードされていない基本層または代替的に中間層の画像（５００）を使って実行されることもできる。同様に、フィルタ選択プロセスにおいて入力源画像（５４５）として使われるもとのエンコードされていない向上層の画像は、処理（５４０）されてもされなくてもよい。処理（５４０）はたとえば、ノイズを除去して動き推定プロセス（５２５）を改善するために、もとのエンコードされていない向上層画像に対して実行されてもよい。

【0039】

本開示の他の実施形態によれば、フィルタ選択プロセスは単一パスのエンコードを実行し、フィルタ選択の決定をフィルタリングされた画像（５００）と源画像（５４５）の間の歪みおよび動き推定およびモード決定のコストに基づかせることができる。さらに、計算量を減らすため、動き推定はサブサンプリングされた画像または該画像内のより小さな領域に対して実行されてもよい。

【0040】

図５はマルチパス・エンコードに関することがあることを注意しておくべきである。特に、さまざまな実施形態において、レート‐歪み最適化プロセス（５３０）はループ・フィルタリングのほかに変換および／またはエントロピー符号化に関わることがある。結果として、フィルタリングされた参照（５１５）は、フィルタ選択プロセスの間、複数回エンコードされたものであってもよい。

【0041】

動き推定（５２５）およびレート歪み最適化（５３０）が図５に示されるこの個別的な実施形態において使われていることを注意しておくべきである。他の実施形態では、動き推定（５２５）は、不一致推定器によって実行される不一致推定プロセスで置換されてもよく、一方、レート歪み最適化（５３０）はたとえばレート‐歪み‐コスト最適化で置換されてもよい。不一致情報は、限定ではなく例として、動き情報（たとえば動きベクトルおよび予測歪み）、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータを含んでいてもよい。また、下記の図６〜図８で与えられる動き推定およびレート歪み最適化プロセスのそれぞれは、たとえば、不一致推定およびレート‐歪み‐コスト最適化プロセスで置換されてもよい。

【0042】

図６は、単一パス・エンコードに関わるフィルタ選択方法のある実施形態を示している。この実施形態は、RPUの全体的なパフォーマンスに対する動き推定／補償の効果を捉える。基本層参照ピクチャー・バッファ（６００）からの基本層参照ピクチャー（６７０）が複数のフィルタ（６１０）への入力として利用される。各フィルタ（６１０）はフィルタリングされた基本層参照ピクチャー（６１２）を出力する。先述したように、本実施形態は基本層に関わる必要はなく、その代わり中間層に関わることもできる。この場合、対応する中間層参照ピクチャー・バッファからの中間層参照ピクチャーがフィルタリングされて、フィルタリングされた中間層参照ピクチャーを出力してもよい。

【0043】

図６に示される実施形態では、向上層のための予測を得るために、フィルタリングされた各基本層または中間層参照（６１２）に対して動き推定（６２０）が実行される。動き推定（６２０）は動き推定器（６２０）を使って実行される。各フィルタ（６１０）を適用する歪みおよびコストが次いで計算される。いくつかの実施形態では、たとえば歪みは、たとえば動き補償プロセスに起因する損失を定量化し、コストは、そのフィルタの計算上の複雑さのほか、たとえば動きベクトルを信号伝達するおよび／またはフィルタ・パラメータを信号伝達するためのビット数を考慮に入れる。各フィルタの歪みおよびコストは、それぞれ歪み計算モジュール（６２２）およびコスト計算モジュール（６２２）を使って計算されてもよい。

【0044】

動きベクトルの信号伝達のような動き推定プロセス（６２０）に関連するコストの生成において、特定のブロックの動きベクトルが近隣ブロックの動きベクトルから予測されうる可能性を考慮してもよい。ある実施形態では、動き推定プロセス（６２０）のために使われるブロック・サイズは一定となるよう選ばれてもよい。別の実施形態では、ブロック・サイズは、考察対象の画像中の要素のエッジ特徴、テクスチャー、色、形およびサイズといった画像特性に基づいて選ばれることができる。さらに別の実施形態では、各ブロックについてのブロックのサイズおよび型、照明パラメータ、変換パラメータ、量子化パラメータなどを決定するために、動き推定プロセス（６２０）に加えて、モード決定プロセス（図示せず）も実行されてもよい。

【0045】

また、ある実施形態では、動き推定はルーマおよび／またはクロマ成分に関わってもよい。その場合、歪みは、一つまたは複数の成分の歪みに基づいて計算されてもよいし、または前記一つまたは複数の成分の動き推定された歪みおよび（ルーマ成分であれ他の色成分であれ）他の成分についてゼロの動きを仮定した歪みの組み合わせを含んでいてもよい。別の実施形態では、動き推定は成分のサブセットのみを使って実行されてもよい。成分のサブセットから導出される動きベクトルは、他の成分の動き推定された歪みを決定するために使われてもよい。異なる成分から得られる歪みは、全成分にわたる組み合わされた歪みを得るときに各成分について異なる重みをかけられてもよい。

【0046】

図７は、ビデオ・コーデック・システムの符号化プロセスに対するRPUのパフォーマンス・インパクトに対する時間的参照の効果を捉えるフィルタ選択方法のある実施形態を示している。この実施形態では、向上層源ピクチャー（７５０）におけるすべてのエンコードされたブロックがフィルタリングされた基本層参照ピクチャー（７１２）または中間層からのフィルタリングされた参照ピクチャー（図示せず）を参照として使うのではない。ブロックのいくつかは、その代わり、向上層ピクチャー・バッファ（７０２）からの時間的参照を使ってもよく、一方、他のブロックはイントラ符号化されてもよい。この実施形態では、フィルタリングされた基本層または中間層（図示せず）の参照ピクチャー（７１２）に加えて、向上層エンコーダにおいて、向上層時間的参照（７３０）もRPUに対して利用可能にされる。動き推定器（７２０）として、RPUは、利用可能な参照（７１２、７３０）の全部または一部を使って動き推定（７２０）を実行することができ、参照選択器（７６０）は、エンコードされるピクチャー（７５０）の各ブロックについて、向上層エンコーダによって使用される可能性が高い参照ピクチャー（７１２、７３０）を決定する。さらに、参照選択器（７６０）は選択された参照ピクチャー（７１２、７３０）とエンコードされたピクチャーとの間の動きベクトルを決定するとともに、モード決定を行う。

【0047】

動き推定（７２０）およびモード決定プロセスを単純化するために、向上層ピクチャー・バッファ（７０２）からの時間的参照（７３０）の、エンコーダに対して実際に利用可能なものよりも小さな集合が時間的領域選択器（７４０）において選択されてもよい。ある実施形態では、時間的参照（７３０）の重要性は、エンコードされるべき現在の向上層ピクチャー（７５０）からの時間的距離に基づいて決定されてもよい。

【0048】

たとえば、現在ピクチャー（７５０）が時刻tにあるとすると、時間t−1およびt＋1からの利用可能な参照のみが使用されてもよい。別の実施形態では、時間的参照（７３０）の重要性は、参照ピクチャー・バッファ（７０２）中の時間的参照（７３０）のそれぞれと、エンコードされるべき現在ピクチャー（７５０）との間の相関を決定する相関メトリックに基づいて決定されてもよく、最も相関しているM個の時間的参照だけがRPUフィルタ決定プロセスにおいて使用される。ここで、Mは任意の数である。上記の諸実施形態において、その後の向上層ピクチャーのより正確な予測を生成するために、基本層フィルタリングされた参照（７１２）と時間的参照（７３０）との間で、双方向予測または複数仮説探索が実行されてもよいことを注意しておく。

【0049】

図８は、基本層または中間層からの動き情報が、向上層時間的参照の代わりにまたは向上層時間的参照と関連して使われる場合についての実施形態を示している。何度も述べたように、基本層に言及しているものの、基本層は複数の中間層の一つであることもできる。基本層からの動き情報が向上層時間的参照の代わりに利用されるためには、一般に、基本層の動き情報と向上層ピクチャーが高度に相関しているという暗黙の想定がある。高い相関の場合、基本層または中間層について使われる動きベクトルおよび／またはモード決定は、向上層についても使われてもよい。異なる層が同様の動き特性を共有するからである。したがって、向上層において基本層または関係した中間層参照が存在しなかった場合には、基本層または中間層と現在の向上層との間の時間的動きベクトルおよび／またはモード決定の間に高い相関があるであろうと期待することは合理的である。この想定を与えられれば、向上層について時間的歪みおよび動きベクトルを予測しモード決定を行うためのコストの推定を生成するために、向上層における時間的歪み／コスト推定器は基本層からのモード決定および動きベクトルを再使用することができる。

【0050】

基本層と向上層の画像の間に、たとえば空間的もしくは時間的分解能における変化、回転、並進などといった既知の関係または変換が存在する場合、動きベクトルおよびモード決定といった基本層情報（８８０）は、向上層についての推定を生成するために、基本層からの動きベクトルの使用およびモード決定に先立って、同様に変換されることができる。

【0051】

もう一つの実施形態では、向上層についての推定された動きベクトルを導出するために基本層（または中間層）の動きベクトルに対して適用される関係または変換は、向上層についての前に符号化されたピクチャーまたは領域において導出される動きベクトルに基づいて決定されてもよい。前に符号化されたピクチャーにおける各層の動きベクトルの間の差を、動き推定における信頼レベルを決定するためのガイドとして使うこともできる。同様に、動きベクトルを再使用することによって得られる歪み推定値は、歪み推定値の信頼レベルによって重み付けされてもよい。フィルタリングされた基本層参照（８１２）（または中間層参照）からの動き推定結果のほか時間的歪みおよびコスト推定値を与えられると、必ずしもフィルタ選択プロセスの計算上の複雑さを増すことなく、時間的参照（８３０）およびフィルタリングされた基本層参照（８１２）（または中間層参照）の両方を考慮に入れる参照選択（８６０）およびモード決定（８９０）プロセスが実行されることができる。

【0052】

引き続き図８を参照するに、フィルタ選択方法は、動き推定プロセス（８２０）をより低い計算量の方式に制約することによって単純化することができる。たとえば、ある実施形態では、整数ピクセルの動き推定のみが、基本層参照ピクチャー（８３０）または中間層参照ピクチャー（図示せず）および向上層時間的参照（８７０）を含む参照ピクチャー（８３０、８７０）に対して実行される。もう一つの実施形態では、サブピクセル精度の動き推定（たとえば、整数動き推定に続いてサブピクセルの洗練を行うもの）が、複数のフィルタ（８１０）のサブセットまたは時間的参照（８３０）のサブセットを使って生成された参照ピクチャー（８３０、８７０）に対して実行されてもよく、一方、整数ピクセルの動き推定が残りの参照（８３０、８７０）に対して実行される。そのような単純化は、向上層エンコーダについての、計算量のほかメモリ要求をも軽減することができる。

【0053】

もう一つの実施形態では、フィルタ型に基づいて動き探索範囲が適応されてもよい。動き推定の計算量は、動き探索が実行されるあたりの動きベクトルから導出されうる、より正確な動きベクトル予測子を提供することによって軽減されることもできる。動きベクトルは基本層、中間層から、または向上層自身から時間的に、抽出されることができる。空間的（イントラ予測）も使用されてもよい。たとえば、先の図７および図８の実施形態を参照するに、時間的参照ピクチャー（図７では７３０、図８では８３０）の動き推定（図７では７２０、図８では８２０）は、対応するピクチャーのエンコードされた基本層における動きベクトルまたはイントラ予測のような他の予測モード情報から導出される動きベクトル予測子を提供することによって助けられることができる。この場合、これらの予測子をそのまま使うこと、または小探索範囲推定を実行するなどこれらの予測子の追加的な簡単な洗練を実行することは、計算量を下げるのに十分であることがある。

【0054】

基本層のフィルタリングされた参照ピクチャー（７１２、８１２）の場合、動きベクトル予測子は、その参照ピクチャー（７１２、８１２）を生成するのに使われたフィルタ型に基づいて導出されることもできる。たとえば、RPUにおいて使用できる一つの可能な「フィルタ」は、何の追加的なフィルタリングなしに基本層参照ピクチャーを単にコピーするものである。この場合、基本層および向上層の画像の間の既知の位相オフセットがあるとすれば、位相オフセットを説明する動きベクトル予測子が使用されることができる。前に符号化されたピクチャーからの情報を再使用することによって、計算量のさらなる削減が得られる。ここで、前に符号化されたピクチャーは時間的ピクチャーおよびさまざまな層からのピクチャーを含むことができる。この場合、フィルタ選択のために前に符号化されたピクチャーからの情報を再使用するためのいくつかの技法が適用できる。

【0055】

図７および図８に示したいくつかの実施形態によれば、向上層においてエンコードされるべき各ピクチャーについて、RPUフィルタ決定プロセスは、各RPU処理された画像（７１２、８１２）を参照として使うことの歪みおよびコストならびに時間的参照（７３０、８３０）を使うことの歪みおよびコストのマップを提供する。このマップは、RPUにおいて使うフィルタを選択するために使用されてもよい。さらに、このマップは、向上層の符号化効率をさらに改善するいくつかの他のエンコーダ最適化を実行するために使用されてもよい。

【0056】

たとえば、一般にRPUによってなされるエンコード決定は、基本層参照ピクチャー（８７０）がフィルタリングに先立って分割される領域の数および形を決定することを含んでいてもよい。フィルタ・パラメータを信号伝達するコストは領域の数とともに増大するので、RPUにおける領域サイズは一般に、動き推定／補償のために使われるブロック・サイズより大きいよう割り当てられる。

【0057】

ある実施形態では、フィルタ歪みおよびコストならびに時間的歪みおよびコストのマップを使うことによって、フィルタ選択プロセスは、選択されるフィルタが同じままである最小の連続したブロックの集合のサイズに等しくなるよう領域サイズを選ぶことができる。

【0058】

もう一つの実施形態では、フィルタ歪みおよびフィルタ・コストの両方について、種々の領域サイズおよび形がフィルタ選択器（８９０）において試験されてもよく、所与の歪みおよび／またはコスト基準について最も性能のよい形およびサイズが選ばれてもよい。さらに、向上層エンコーダによって使用される可能性の高い領域の数および形を決定するために、エッジ検出が基本層参照ピクチャー（７７０、８７０）に対して実行されてもよい。

【0059】

もう一つの実施形態では、RPUは、時間的参照（７３０、８３０）の使用が、ピクチャー全体または該ピクチャーのあるスライスについて歪みとコストの間のより望ましいトレードオフを提供すると判別してもよい。あるいはまた、RPUは、基本層のフィルタリングされた参照（７７０、８７０）の使用がより望ましいトレードオフを提供すると判別してもよい。いずれにせよ、より望ましい歪み／コスト・トレードオフを提供する参照（７３０、７７０、８３０、８７０）によって与えられるより重要な参照が、それほど重要でない参照よりも少数のビットを使って信号伝達されることができるよう、RPUは向上層エンコーダに対して、参照ピクチャー・バッファ（７００、７０２、８００、８０２）内の参照ピクチャー（７３０、７７０、８３０、８７０）の順序を修正するよう信号伝達しもよい。換言すれば、前記より重要な参照は、前記それほど重要でない参照よりも予測目的のためにより頻繁に使われ、一般に、前記より重要な参照が前記それほど重要でない参照よりも信号伝達するためにより少数のビットを使うよう、エンコードされる。もう一つの実施形態では、時間的参照（８３０）のみが十分であると見なされる場合には、RPUはエンコードされるべき現在ピクチャーについて無効にされることができる。それにより計算時間およびメモリの両方が節約される。

【0060】

まとめると、本開示の諸実施形態は、複数層コーデックにおいて参照処理において使うためのフィルタのフィルタ選択を達成するための一組の方式を提供する。具体的には、選択されたフィルタは、向上層のための参照ピクチャーとして使われる、フィルタリングされた前に符号化された層のピクチャーを提供するために使われてもよい。しかしながら、同様の原理は、単一層のコーデックの場合にも適用できることを注意しておくべきある。たとえば、単一層のコーデックは、単一層における予測のために使用されてもよい時間的参照を使うことができる。予測に先立ち、時間的参照は、グローバルなまたは領域の動き補償、前置フィルタリングなどを利用して処理されてもよい。

【0061】

本開示において記述される方法およびシステムはハードウェア、ソフトウェア、ファームウェアまたはそれらの組み合わせにおいて実装されてもよい。ブロック、モジュールまたはコンポーネントとして記述された特徴は、一緒に（たとえば集積論理デバイスのような論理デバイスにおいて）または別個に（たとえば別個の接続された論理デバイスとして）実装されてもよい。本開示の方法のソフトウェア部分は、実行されたときに少なくとも部分的に記述される方法を実行する命令を含むコンピュータ可読媒体を含んでいてもよい。コンピュータ可読媒体は、たとえば、ランダム・アクセス・メモリ（RAM）および／または読み出し専用メモリ（ROM）を有していてもよい。命令はプロセッサ（デジタル信号プロセッサ（DSP: digital signal processor）、特定用途向け集積回路（ASIC: application specific integrated circuit）またはフィールド・プログラム可能な論理アレイ（FPGA: field programmable logic array））によって実行されてもよい。

【0062】

本稿で述べたように、本発明のある実施形態は、下記の表１に列挙される実施例の一つまたは複数に関係しうる。よって、本発明は、これに限られないが以下の付番実施例（EEE: Enumerated Example Embodiment）を含む、本稿に記載される形の任意のものにおいて具現されうる。付番実施例は、本発明のいくつかの部分の構造、特徴および機能を記述したものである。

【0063】

表１
付番実施例
〔ＥＥＥ１〕複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択する方法であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該方法は：
ａ）参照ピクチャーおよび向上層源ピクチャーを提供する段階と；
ｂ）前記複数のフィルタからの少なくとも一つのフィルタを使って前記参照ピクチャーのコピーをフィルタリングして少なくとも一つのフィルタリングされた参照ピクチャーを得る段階であって、各フィルタは前記参照ピクチャーの対応するコピーに適用される、段階と；
ｃ）前記向上層源ピクチャーと前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットとに基づいて不一致（disparity）推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；
ｄ）段階ｃ）において生成された不一致情報を比較することに基づいて前記特定のフィルタを選択する段階とを含み、
前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数である、方法。
〔ＥＥＥ２〕複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択する方法であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該方法は：
ａ）参照ピクチャーおよび向上層源ピクチャーを提供する段階と；
ｂ）前記複数のフィルタからの少なくとも一つのフィルタを使って前記参照ピクチャーのコピーをフィルタリングして少なくとも一つのフィルタリングされた参照ピクチャーを得る段階であって、各フィルタは前記参照ピクチャーの対応するコピーに適用される、段階と；
ｃ）前記向上層源ピクチャーと前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットとに基づいて不一致推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；
ｄ）前記不一致情報に基づいて歪み情報を得る段階と；
ｅ）段階ｄ）において生成された歪み情報を比較することに基づいて前記特定のフィルタを選択する段階とを含み、
前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数である、方法。
〔ＥＥＥ３〕複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択する方法であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該方法は：
ａ）向上層源ピクチャーを提供する段階と；
ｂ）前記向上層源ピクチャーおよび特定の層からの動き情報に基づいて不一致推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；
ｃ）前記向上層源ピクチャーおよび前記特定の層からの動き情報に基づいて歪み情報を得る段階と；
ｄ）段階ｃ）において得られた歪み情報を比較することに基づいて前記特定のフィルタを選択する段階とを含み、
前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数であり、前記特定の層からの前記動き情報は前記特定の層の時間的参照ピクチャーに基づく、方法。
〔ＥＥＥ４〕複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択する方法であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該方法は：
ａ）参照ピクチャーおよび向上層源ピクチャーを提供する段階と；
ｂ）前記複数のフィルタからの少なくとも一つのフィルタを使って前記参照ピクチャーのコピーをフィルタリングして少なくとも一つのフィルタリングされた参照ピクチャーを得る段階であって、各フィルタは前記参照ピクチャーの対応するコピーに適用される、段階と；
ｃ）前記向上層源ピクチャー、前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットおよび特定の層からの動き情報に基づいて不一致推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；
ｄ）前記向上層源ピクチャー、前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットおよび前記特定の層からの動き情報に基づいて歪み情報を得る段階と；
ｅ）段階ｄ）において得られた歪み情報を比較することに基づいて前記特定のフィルタを選択する段階とを含み、
前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数であり、前記動き情報は前記特定の層の時間的参照ピクチャーに基づく、方法。
〔ＥＥＥ５〕複数のフィルタのうちから、ビデオ符号化システムにおいて参照ピクチャー処理ユニットにおいて使うために適応された特定のフィルタを選択する方法であって、前記符号化システムはある層を含み、当該方法は：
ａ）参照ピクチャーおよび源ピクチャーを提供する段階であって、前記参照ピクチャーおよび前記源ピクチャーはいずれも同じ層からのものである、段階と；
ｂ）前記複数のフィルタからの少なくとも一つのフィルタを使って前記参照ピクチャーのコピーをフィルタリングして少なくとも一つのフィルタリングされた参照ピクチャーを得る段階であって、各フィルタは前記参照ピクチャーの対応するコピーに適用される、段階と；
ｃ）前記源ピクチャーと前記少なくとも一つのフィルタリングされた参照ピクチャーのフル・セットまたはサブセットとに基づいて不一致推定を実行する段階であって、前記不一致推定は不一致情報を生成するよう適応されている、段階と；
ｄ）前記不一致情報に基づいて歪み情報を得る段階と；
ｅ）段階ｄ）において生成された歪み情報を比較することに基づいて前記特定のフィルタを選択する段階とを含み、
前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数である、方法。
〔ＥＥＥ６〕前記参照ピクチャーは前記フィルタリングの段階に先立って前にエンコードされていない、付番実施例１ないし２または４ないし５のうちいずれか一項記載の方法。
〔ＥＥＥ７〕前記参照ピクチャーは基本層参照ピクチャーまたは向上層参照ピクチャーであり、中間層は前記一つまたは複数の向上層のうちからの層である、付番実施例１ないし２または４のうちいずれか一項記載の方法。
〔ＥＥＥ８〕前記参照ピクチャーは空間的参照ピクチャーまたは前記向上層からの時間的参照ピクチャーである、付番実施例１ないし２または４のうちいずれか一項記載の方法。
〔ＥＥＥ９〕前記提供する段階がさらに、前記向上層源ピクチャーを処理することを含み、前記処理が前記向上層源ピクチャー中のノイズを除去する、付番実施例１ないし４、６または７のうちいずれか一項記載の方法。
〔ＥＥＥ１０〕前記提供する段階がさらに、前記源ピクチャーを処理することを含み、前記処理が前記源ピクチャー中のノイズを除去する、付番実施例５記載の方法。
〔ＥＥＥ１１〕前記提供する段階がさらに、前記向上層源ピクチャーを処理することを含み、前記処理がフィルタリング、動き変換、動き補償、照明補償、スケーリング、逆および順方向トーン・マッピング、色フォーマット変換およびガンマ補正のうちの少なくとも一つを適用することを含む、付番実施例１ないし４または６ないし９のうちいずれか一項記載の方法。
〔ＥＥＥ１２〕前記提供する段階がさらに、前記向上層源ピクチャーを処理することを含み、前記処理がフィルタリング、動き変換、動き補償、照明補償、スケーリング、逆および順方向トーン・マッピング、色フォーマット変換およびガンマ補正のうちの少なくとも一つを適用することを含む、付番実施例５または１０記載の方法。
〔ＥＥＥ１３〕前記フィルタリングされた参照ピクチャーの少なくとも一つが前記参照ピクチャーである、付番実施例１ないし１２のうちいずれか一項記載の方法。
〔ＥＥＥ１４〕付番実施例１記載の方法であって、不一致推定を実行する段階がさらに、前記フィルタリングの段階において使われる前記複数のフィルタのうちからの前記少なくとも一つのフィルタについてのコスト情報を得ることを含み、前記選択する段階がさらに前記コスト情報に基づき、
前記コスト情報は、前記不一致情報、各フィルタのフィルタ・パラメータを信号伝達するのに使われるビット数、各フィルタリングされた参照ピクチャーに対応する動きベクトルを信号伝達するのに使われるビット数、各フィルタリングされた参照ピクチャーに対応する予測歪みを信号伝達するのに使われるビット数、各フィルタを適用する際の計算上の複雑さおよび各フィルタの電力消費の関数である、
方法。
〔ＥＥＥ１５〕付番実施例２記載の方法であって、不一致推定を実行する段階がさらに、段階ｂ）において使われる前記複数のフィルタのうちからの前記少なくとも一つのフィルタについてのコスト情報を得ることを含み、前記選択する段階がさらに前記コスト情報に基づき、
前記コスト情報は、前記不一致情報、前記向上層源ピクチャーと各フィルタリングされた参照ピクチャーとの間の歪み、各フィルタのフィルタ・パラメータを信号伝達するのに使われるビット数、各フィルタリングされた参照ピクチャーに対応する動きベクトルを信号伝達するのに使われるビット数、各フィルタリングされた参照ピクチャーに対応する予測歪みを信号伝達するのに使われるビット数、各フィルタを適用する際の計算上の複雑さおよびそのフィルタの電力消費のうちの少なくとも一つの関数である、
方法。
〔ＥＥＥ１６〕付番実施例３または４記載の方法であって、歪み情報を得る段階がさらにコスト情報を得ることを含み、前記選択する段階がさらに前記コスト情報に基づき、
前記コスト情報は、前記複数のフィルタのうちのフィルタのフル・セットまたはサブセットのフィルタ・パラメータを信号伝達するのに使われるビット数、前記特定の層からの動き情報を信号伝達するのに使われるビット数および前記複数のフィルタのうちのフィルタのフル・セットまたはサブセットの電力消費のうちの少なくとも一つの関数である、
方法。
〔ＥＥＥ１７〕付番実施例２ないし４のうちいずれか一項記載の方法であって、歪み情報を得る段階が、ピクセル間の誤差の絶対値または平方の和、平均平方誤差、PSNR、変換された誤差平方の重み付けされた和、変換された誤差絶対値の和、SSIMおよびマルチスケールSSIMからなる群から計算される、方法。
〔ＥＥＥ１８〕付番実施例１記載の方法であって、不一致推定を実行する段階と選択する段階の間に、前記向上層源ピクチャーに対して不一致補償を実行して最終的な再構成されたピクチャーを得る段階をさらに含み、前記不一致補償は前記不一致推定の段階に基づく、方法。
〔ＥＥＥ１９〕付番実施例２ないし４のうちいずれか一項記載の方法であって、不一致推定の段階と歪み情報の段階の間に、前記向上層源ピクチャーに対して不一致補償を実行して最終的な再構成されたピクチャーを得る段階をさらに含み、前記動き補償は前記不一致推定の段階に基づく、方法。
〔ＥＥＥ２０〕前記歪み情報を得る段階がさらに、前記最終的な再構成されたピクチャーに基づく、付番実施例１９記載の方法。
〔ＥＥＥ２１〕各段階が前記参照ピクチャーの諸領域に対して実行される、付番実施例１ないし２０のうちいずれか一項記載の方法。
〔ＥＥＥ２２〕前記参照ピクチャーが複数の領域サイズおよび領域形状を使って分解されて複数の再構成された参照ピクチャーを得て、各段階が前記複数の再構成された参照ピクチャーに対して実行される、付番実施例２１記載の方法。
〔ＥＥＥ２３〕前記領域サイズおよび領域形状が、前記参照ピクチャーに対してエッジ検出を実行することに基づいて決定される、付番実施例２２記載の方法。
〔ＥＥＥ２４〕前記不一致推定がブロック・ベースの動き推定を含む、付番実施例１ないし２３のうちいずれか一項記載の方法。
〔ＥＥＥ２５〕特定のブロックに対応する動きベクトルが前記特定のブロックの近隣のブロックの動きベクトルによって予測されるよう適応される、付番実施例２４記載の方法。
〔ＥＥＥ２６〕ブロック・サイズが前記参照ピクチャーの画像特性に基づき、前記画像特性は、前記参照ピクチャーのルーマ成分、クロマ成分およびエッジ特性ならびに前記参照ピクチャー内の要素のテクスチャー、色、形およびサイズのうちの少なくとも一つの関数である、付番実施例２４または２５記載の方法。
〔ＥＥＥ２７〕不一致推定を実行する段階または歪み情報を得る段階がまた、ブロック・サイズおよびブロック形状の少なくとも一方を決定する、付番実施例２４ないし２６のうちいずれか一項記載の方法。
〔ＥＥＥ２８〕不一致推定を実行する段階が整数ピクセルの動き推定を含む、付番実施例１ないし２７のうちいずれか一項記載の方法。
〔ＥＥＥ２９〕不一致推定を実行する段階がサブピクセル精度の動き推定を含む、付番実施例１ないし２７のうちいずれか一項記載の方法。
〔ＥＥＥ３０〕不一致推定を実行する段階がさらに、向上層参照ピクチャー・バッファからの時間的参照ピクチャーに基づく、付番実施例１記載の方法。
〔ＥＥＥ３１〕不一致推定を実行する段階がさらに、向上層参照ピクチャー・バッファからの時間的参照ピクチャーに基づく、付番実施例２ないし４のうちいずれか一項記載の方法。
〔ＥＥＥ３２〕付番実施例３１記載の方法であって、不一致推定を実行する段階と歪み情報を得る段階の間に、歪み情報を得る段階において使われる時間的参照ピクチャーを選択する段階をさらに含む、方法。
〔ＥＥＥ３３〕時間的参照ピクチャーを選択する段階が、前記時間的参照ピクチャーと前記向上層源ピクチャーとの間の時間差に基づく、付番実施例３２記載の方法。
〔ＥＥＥ３４〕時間的参照ピクチャーを選択する段階が、各時間的参照ピクチャーと前記向上層源ピクチャーとの間の相関に基づく、付番実施例３３記載の方法。
〔ＥＥＥ３５〕前記参照ピクチャー間のコスト関数および歪み情報を比較することに基づいて、参照ピクチャーの重要性を高重要性から低重要性に向けて優先順位付けして、優先順位付けされた参照ピクチャーの集合を得る段階をさらに含み、付番実施例３１ないし３４のうちいずれか一項記載の方法。
〔ＥＥＥ３６〕前記優先順位付けされた参照ピクチャーの集合におけるより低い重要性のピクチャーについてよりも、前記優先順位付けされた参照ピクチャーの集合におけるより高い重要性のピクチャーを信号伝達するためにより少数のビットが使われる、付番実施例３５記載の方法。
〔ＥＥＥ３７〕前記少なくとも一つのフィルタリングされた参照ピクチャーのサブセットおよび前記時間的参照ピクチャーのサブセットに対してサブピクセル精度の動き推定が実行され、残りのフィルタリングされたピクチャーおよび残りの時間的参照ピクチャーに対しては整数ピクセルの動き推定が実行される、付番実施例３１ないし３６のうちいずれか一項記載の方法。
〔ＥＥＥ３８〕所定の閾値より低い重要性の参照ピクチャーは歪み情報を得る段階において使用されない、付番実施例３５または３６記載の方法。
〔ＥＥＥ３９〕前記不一致推定が、より高い重要性の参照ピクチャーについてはより高い精度で実行され、前記不一致推定が、より低い重要性の参照ピクチャーについてはより低い精度で実行される、付番実施例３５または３６記載の方法。
〔ＥＥＥ４０〕付番実施例３または４記載の方法であって、
前記向上層の動き情報が前記特定の層からの前記動き情報に基づき、
前記向上層の動き情報と前記特定の層の動き情報の間の差が信頼レベルを計算するために使われ、
動き情報は動きベクトルおよび予測歪みを含む、
方法。
〔ＥＥＥ４１〕前記歪み情報が、前記向上層の動き情報と前記特定の層の動き情報の間の差に基づき、前記歪み情報が前記信頼レベルによって重み付けされる、付番実施例４０記載の方法。
〔ＥＥＥ４２〕前記不一致推定がさらに、一つまたは複数のルーマおよびクロマ成分に基づく、付番実施例１ないし４１のうちいずれか一項記載の方法。
〔ＥＥＥ４３〕前記不一致推定がさらに、ルーマおよびクロマ成分のサブセットに基づき、残りのルーマおよびクロマ成分の歪みはルーマおよびクロマ成分の前記サブセットから得られた不一致情報に基づいて計算される、付番実施例４２記載の方法。
〔ＥＥＥ４４〕複数の重み付け因子をさらに有する付番実施例４３記載の方法であって、各ルーマ成分および各クロマ成分に一つの重み因子が適用される、方法。
〔ＥＥＥ４５〕付番実施例３または４記載の方法であって、前記動き情報は、前記特定の層から得られた動きベクトル、前記特定の層において使われる動きモデルおよび前記特定の層の前に符号化されたピクチャーもしくは前記特定の層の前記前に符号化されたピクチャーの領域からの動きベクトルのうちの少なくとも一つに基づく、方法。
〔ＥＥＥ４６〕付番実施例１ないし２または４ないし５のうちいずれか一項記載の方法であって、提供する段階が複数の参照ピクチャーを提供することを含み、前記フィルタリングの段階が前記複数の参照ピクチャーのフル・セットまたはサブセットに対して実行されて少なくとも一つのフィルタリングされた参照ピクチャーを得て、各フィルタは前記複数の参照ピクチャーの前記フル・セットまたはサブセットの各参照ピクチャーに対して適用される、方法。
〔ＥＥＥ４７〕複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照処理ユニットにおいて使うために適応された特定のフィルタを選択するよう適応されたフィルタ選択器であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該フィルタ選択器は：
参照ピクチャーまたは該参照ピクチャーのある領域を処理して一つまたは複数の処理された参照ピクチャーを得るための前記複数のフィルタのフル・セットまたはサブセットと；
向上層源ピクチャーおよび前記一つまたは複数の処理された参照ピクチャーからの少なくとも一つの処理された参照ピクチャーに基づいて不一致情報を生成するよう適応された不一致推定器とを有しており、前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数であり、
前記特定のフィルタは前記不一致情報に基づいて選択可能である、
フィルタ選択器。
〔ＥＥＥ４８〕複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照処理ユニットにおいて使うために適応された特定のフィルタを選択するよう適応されたフィルタ選択器であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該フィルタ選択器は：
参照ピクチャーまたは該参照ピクチャーのある領域を処理して一つまたは複数の処理された参照ピクチャーを得るための前記複数のフィルタのフル・セットまたはサブセットと；
向上層源ピクチャーおよび前記一つまたは複数の処理された参照ピクチャーからの少なくとも一つの処理された参照ピクチャーに基づいて不一致情報を生成するよう適応された不一致推定器であって、前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータのうちの少なくとも一つの関数である、不一致推定器と、
前記向上層源ピクチャーおよび前記複数の処理された参照ピクチャーからの前記少なくとも一つの処理された参照ピクチャーに基づいて歪み情報を生成するよう適応された歪み情報計算モジュールとを有しており、
前記特定のフィルタは前記歪み情報に基づいて選択可能である、
フィルタ選択器。
〔ＥＥＥ４９〕付番実施例４７または４８記載のフィルタ選択器であって、コスト情報を生成するよう適応されたコスト情報計算モジュールをさらに有し、前記コスト情報は、前記向上層源ピクチャーと前記少なくとも一つのフィルタリングされた参照ピクチャーとの間の歪み、各フィルタのフィルタ・パラメータを信号伝達するのに使われるビット数、各フィルタリングされた参照ピクチャーに対応する動きベクトルを信号伝達するのに使われるビット数、各フィルタリングされた参照ピクチャーに対応する予測歪みを信号伝達するのに使われるビット数、各フィルタを適用する際の計算上の複雑さおよびそのフィルタの電力消費のうちの少なくとも一つの関数である、
方法。
〔ＥＥＥ５０〕複数のフィルタのうちから、複数層ビデオ符号化システムにおいて参照処理ユニットにおいて使うために適応された特定のフィルタを選択するよう適応されたフィルタ選択器であって、前記複数層ビデオ符号化システムは基本層および一つまたは複数の向上層を含み、当該フィルタ選択器は：
向上層源ピクチャーおよび特定の層からの動き情報に基づいて不一致情報を生成するよう適応された不一致推定器であって、前記不一致情報は動きベクトル、予測歪み、イントラ予測情報、照明パラメータ、ルーマ成分、クロマ成分およびトーン・マッピング・パラメータ、イントラ予測情報、照明パラメータおよびトーン・マッピング・パラメータのうちの少なくとも一つの関数である、不一致推定器と；
前記向上層源ピクチャーおよび前記特定の層からの前記動き情報に基づいて歪み情報を生成するよう適応された歪み情報計算モジュールとを有しており、
前記特定のフィルタは前記歪み情報に基づいて選択される、
フィルタ選択器。
〔ＥＥＥ５１〕付番実施例４７ないし５０のうちいずれか一項記載のフィルタ選択器であって、前記特定のフィルタが、前記不一致情報および向上層参照ピクチャー・バッファからの時間的参照ピクチャーに基づいて選択される、フィルタ選択器。
〔ＥＥＥ５２〕前記特定のフィルタを選択する際に使う前記時間的参照ピクチャーを選択する参照選択器をさらに有する、付番実施例５１記載のフィルタ選択器。
〔ＥＥＥ５３〕前記参照選択器は、前記不一致情報および前記時間的参照ピクチャーの前記コスト情報を比較することに基づいて前記時間的参照ピクチャーに優先順位付けする、付番実施例５２記載のフィルタ選択器。
〔ＥＥＥ５４〕付番実施例４８または５０記載のフィルタ選択器であって、前記歪み情報計算モジュールが、ピクセル間の誤差の絶対値または平方の和、平均平方誤差、PSNR、変換された誤差平方の重み付けされた和、変換された誤差絶対値の和、SSIMおよびマルチスケールSSIMからなる群を使って前記歪み情報を計算する、フィルタ選択器。
〔ＥＥＥ５５〕付番実施例１ないし５４のうちいずれか一項記載の方法に従って、複数のフィルタのうちから、参照処理ユニットにおいて使うために適応された特定のフィルタを選択するよう適応されたフィルタ選択器。
〔ＥＥＥ５６〕複数のフィルタおよび付番実施例５５記載のフィルタ選択器を有する参照処理ユニットであって、前記フィルタ選択器は前記参照処理ユニットにおいて使うために前記複数のフィルタのうちから特定のフィルタを選択する、参照処理ユニット。
〔ＥＥＥ５７〕コンピュータに付番実施例１ないし４６のうちいずれか一項記載の方法を実行させる一組の命令を含むコンピュータ可読記憶媒体。
〔ＥＥＥ５８〕付番実施例１ないし４６のうちいずれか一項記載の方法に基づいてフィルタを選択する参照処理ユニットを有する、ビデオ信号をエンコードするエンコーダ。
−−−−−
さらに、本明細書において言及されるあらゆる特許および刊行物は、本開示が関係する当業者のレベルを示すことがありうる。本開示において引用されるあらゆる文献は、各文献が個々にその全体において参照によって組み込まれているかと同じように参照によって組み込まれる。

【0064】

上記の例は、本開示の参照処理フィルタ選択方法の実施形態をいかにして作成し、利用するかの完全な開示および記述を当業者に与えるために提供されており、発明者がその開示と見なすものの範囲を限定することを意図したものではない。本開示を実行するための上記の態様の修正がビデオ技術の当業者によって使用されてもよく、以下の請求項の範囲内であることが意図されている。

【0065】

本開示が特定の方法またはシステムに限定されないことは理解しておくべきである。具体的な方法やシステムが変わりうることはもちろんである。また、本稿で使われる用語は単に個別的な実施形態を説明するためのものであり、限定することは意図していないことも理解しておくべきである。本明細書および付属の請求項での用法では、単数形の表現は、内容が明確にそうでないことを指定するのでない限り、複数の参照物をも含む。特段の定義がされていない限り、本稿で使われるすべての科学技術用語は当業者によって普通に理解されるのと同じ意味をもつ。

【0066】

本開示のいくつかの実施形態を記載してきたが、本開示の精神および範囲から外れることなくさまざまな修正がなされうることは理解されるであろう。よって、他の実施形態も以下の請求項の範囲内である。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】