特許 6152421 符号化規格スケーラビリティーのための層間参照ピクチャー処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6152421

(24)【登録日】2017年6月2日

(45)【発行日】2017年6月21日

(54)【発明の名称】符号化規格スケーラビリティーのための層間参照ピクチャー処理

(51)【国際特許分類】

   H04N 19/70 20140101AFI20170612BHJP

   H04N 19/33 20140101ALI20170612BHJP

【ＦＩ】

   H04N19/70

   H04N19/33

【請求項の数】18

【全頁数】26

(21)【出願番号】特願2015-534595(P2015-534595)

(86)(22)【出願日】2013年9月24日

(65)【公表番号】特表2015-537409(P2015-537409A)

(43)【公表日】2015年12月24日

(86)【国際出願番号】US2013061352

(87)【国際公開番号】WO2014052292

(87)【国際公開日】20140403

【審査請求日】2015年4月1日

(31)【優先権主張番号】61/706,480

(32)【優先日】2012年9月27日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】イン，ペング

(72)【発明者】

【氏名】ルー，タオラン

(72)【発明者】

【氏名】チェン，タオ

【審査官】 長谷川 素直

(56)【参考文献】

【文献】 特表２００８−５３６４３８（ＪＰ，Ａ）

【文献】 特表２００７−５１３５６５（ＪＰ，Ａ）

【文献】 国際公開第２００３／０３６９８４（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

デコーダによってビデオ・ストリームをデコードする方法であって：
基本層ピクチャーにアクセスする段階と；
前記ビデオ・ストリーム中の、オフセット・クロッピング・パラメータが存在することを示すピクチャー・クロッピング・フラグを受領する段階と；
前記オフセット・クロッピング・パラメータが存在することを示す前記ピクチャー・クロッピング・フラグを受領するのに応答して：
前記オフセット・クロッピング・パラメータにアクセスし；
アクセスされた前記オフセット・クロッピング・パラメータに従って前記基本層ピクチャーの一つまたは複数の領域をクロッピングしてクロッピングされた参照ピクチャーを生成し；
前記クロッピングされた参照ピクチャーに従って向上層のための参照ピクチャーを生成する段階とを含み、
前記基本層ピクチャーは第一の符号化規格に従ってエンコードされており、前記向上層は第二の符号化規格に準拠し、
前記向上層のための参照ピクチャーの前記生成がさらに、層間予測のための受領された補足処理パラメータに従って、
（ｉ）前記第二の符号化規格に準拠するいくつかのフィルタリング強さのうちのあるブロック除去フィルタ強さを選択し、選択されたフィルタ強さをもつループ内ブロック除去フィルタを適用すること；
（ｉｉ）受領されたSAOパラメータに従って前記第二の符号化規格のサンプル適応オフセット（SAO）プロセスを適用すること；
（ｉｉｉ）受領されたALFパラメータに従って前記第二の符号化規格のALF処理を適用すること；および
（ｉｖ）前記第一の符号化規格の信号エンコード・モデルの逆を適用し、その後、前記第二の符号化規格の信号エンコード・モデルを適用すること、
のうちの一つまたは複数を実行することを含む、
方法。

【請求項2】

前記基本層ピクチャーが第一の空間解像度にあり、
前記参照ピクチャーを生成することが、前記クロッピングされた参照ピクチャーを前記第一の空間解像度から第二の空間解像度にスケーリングして、前記向上層のための前記参照ピクチャーが前記第二の空間解像度になるようにすることを含む、
請求項１記載の方法。

【請求項3】

前記オフセット・クロッピング・パラメータが前記ビデオ・ストリームにおいてフレームごとに更新される、請求項１記載の方法。

【請求項4】

前記ピクチャー・クロッピング・フラグが所定の値に設定されていることを検出する段階をさらに含む、請求項１記載の方法。

【請求項5】

前記所定の値が1である、請求項４記載の方法。

【請求項6】

前記オフセット・クロッピング・パラメータが左オフセット、右オフセット、上オフセットおよび下オフセットを含む、請求項１記載の方法。

【請求項7】

ビデオ・ストリームをデコードするデコーダであって：
基本層ピクチャーにアクセスする段階と；
前記ビデオ・ストリーム中の、オフセット・クロッピング・パラメータが存在することを示すピクチャー・クロッピング・フラグを受領する段階と；
前記オフセット・クロッピング・パラメータが存在することを示す前記ピクチャー・クロッピング・フラグを受領するのに応答して：
前記オフセット・クロッピング・パラメータにアクセスし；
アクセスされた前記オフセット・クロッピング・パラメータに従って前記基本層ピクチャーの一つまたは複数の領域をクロッピングしてクロッピングされた参照ピクチャーを生成し；
前記クロッピングされた参照ピクチャーに従って向上層のための参照ピクチャーを生成する段階とを実行するよう構成された一つまたは複数のプロセッサを有しており、
前記基本層ピクチャーは第一の符号化規格に従ってエンコードされており、前記向上層は第二の符号化規格に準拠し、
前記向上層のための参照ピクチャーの前記生成がさらに、層間予測のための受領された補足処理パラメータに従って、
（ｉ）前記第二の符号化規格に準拠するいくつかのフィルタリング強さのうちのあるブロック除去フィルタ強さを選択し、選択されたフィルタ強さをもつループ内ブロック除去フィルタを適用すること；
（ｉｉ）受領されたSAOパラメータに従って前記第二の符号化規格のサンプル適応オフセット（SAO）プロセスを適用すること；
（ｉｉｉ）受領されたALFパラメータに従って前記第二の符号化規格のALF処理を適用すること；および
（ｉｖ）前記第一の符号化規格の信号エンコード・モデルの逆を適用し、その後、前記第二の符号化規格の信号エンコード・モデルを適用すること、
のうちの一つまたは複数を実行することを含む、
デコーダ。

【請求項8】

前記基本層ピクチャーが第一の空間解像度にあり、
前記参照ピクチャーを生成することが、前記クロッピングされた参照ピクチャーを前記第一の空間解像度から第二の空間解像度にスケーリングして、前記向上層のための前記参照ピクチャーが前記第二の空間解像度になるようにすることを含む、
請求項７記載のデコーダ。

【請求項9】

前記オフセット・クロッピング・パラメータが前記ビデオ・ストリームにおいてフレームごとに更新される、請求項７記載のデコーダ。

【請求項10】

前記ピクチャー・クロッピング・フラグが所定の値に設定されていることを検出する段階をさらに含む、請求項７記載のデコーダ。

【請求項11】

前記所定の値が1である、請求項１０記載のデコーダ。

【請求項12】

前記オフセット・クロッピング・パラメータが左オフセット、右オフセット、上オフセットおよび下オフセットを含む、請求項７記載のデコーダ。

【請求項13】

命令が記憶されている、一つまたは複数のプロセッサに結合されたコンピュータ可読媒体であって、前記命令は、前記一つまたは複数のプロセッサによって実行されたときに、前記一つまたは複数のプロセッサに：
基本層ピクチャーにアクセスする段階と；
ビデオ・ストリーム中の、オフセット・クロッピング・パラメータが存在することを示すピクチャー・クロッピング・フラグを受領する段階と；
前記オフセット・クロッピング・パラメータが存在することを示す前記ピクチャー・クロッピング・フラグを受領するのに応答して：
前記オフセット・クロッピング・パラメータにアクセスし；
アクセスされた前記オフセット・クロッピング・パラメータに従って前記基本層ピクチャーの一つまたは複数の領域をクロッピングしてクロッピングされた参照ピクチャーを生成し；
前記クロッピングされた参照ピクチャーに従って向上層のための参照ピクチャーを生成する段階とを含む動作を実行させるものであり、
前記基本層ピクチャーは第一の符号化規格に従ってエンコードされており、前記向上層は第二の符号化規格に準拠し、
前記向上層のための参照ピクチャーの前記生成がさらに、層間予測のための受領された補足処理パラメータに従って、
（ｉ）前記第二の符号化規格に準拠するいくつかのフィルタリング強さのうちのあるブロック除去フィルタ強さを選択し、選択されたフィルタ強さをもつループ内ブロック除去フィルタを適用すること；
（ｉｉ）受領されたSAOパラメータに従って前記第二の符号化規格のサンプル適応オフセット（SAO）プロセスを適用すること；
（ｉｉｉ）受領されたALFパラメータに従って前記第二の符号化規格のALF処理を適用すること；および
（ｉｖ）前記第一の符号化規格の信号エンコード・モデルの逆を適用し、その後、前記第二の符号化規格の信号エンコード・モデルを適用すること、
のうちの一つまたは複数を実行することを含む、
コンピュータ可読媒体。

【請求項14】

前記基本層ピクチャーが第一の空間解像度にあり、
前記参照ピクチャーを生成することが、前記クロッピングされた参照ピクチャーを前記第一の空間解像度から第二の空間解像度にスケーリングして、前記向上層のための前記参照ピクチャーが前記第二の空間解像度になるようにすることを含む、
請求項１３記載のコンピュータ可読媒体。

【請求項15】

前記オフセット・クロッピング・パラメータが前記ビデオ・ストリームにおいてフレームごとに更新される、請求項１３記載のコンピュータ可読媒体。

【請求項16】

前記ピクチャー・クロッピング・フラグが所定の値に設定されていることを検出する段階をさらに含む、請求項１３記載のコンピュータ可読媒体。

【請求項17】

前記所定の値が1である、請求項１６記載のコンピュータ可読媒体。

【請求項18】

前記オフセット・クロッピング・パラメータが左オフセット、右オフセット、上オフセットおよび下オフセットを含む、請求項１３記載のコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は2012年9月27日に出願された米国仮特許出願第61/706,480号の優先権を主張するものである。該出願の内容はここに参照によってその全体において組み込まれる。

【0002】

技術
本発明は概括的には画像に関する。より詳細には、本発明のある実施形態は、符号化規格スケーラビリティーのための層間参照ピクチャー処理に関する。

【背景技術】

【0003】

オーディオおよびビデオ圧縮は、マルチメディア・コンテンツの開発、記憶、頒布および消費における主要な構成要素である。圧縮方法の選択は、符号化効率、符号化複雑さおよび遅延の間のトレードオフに関わる。コンピューティング・コストに対する処理パワーの比が増すにつれて、より効率的な圧縮を許容するより複雑な圧縮技法の開発が許容される。たとえば、ビデオ圧縮では、国際標準機構（ISO）からの動画像専門家グループ（MPEG）は、当初のMPEG-1ビデオ標準に対して改善を続け、MPEG-2、MPEG-4（パート2）およびH.264/AVC（またはMPEG-4、パート10）符号化規格をリリースしてきた。

【0004】

H.264の圧縮効率および成功にもかかわらず、高効率ビデオ符号化（HEVC: High Efficiency Video Coding）として知られる新たな世代のビデオ圧縮技術が現在開発中である。ここに参照によりその全体において組み込まれる非特許文献１において草稿が入手できるHEVCは、ここに参照によりその全体において組み込まれる非特許文献２として公表されている既存のH.264に対して改善された圧縮機能を提供すると期待されている。本願の発明者の認識では、次の数年の間はH.264はいまだデジタル・ビデオの頒布のために世界的に使用される主要なビデオ符号化規格であろう。さらに、HEVCのようなより新しい標準が既存の標準との上位互換性を許容するべきであることが認識される。

【0005】

本稿での用法では、「符号化規格」という用語は、標準ベースの、オープンソースの、または権利で保護されたもののどちらであってもよい圧縮（符号化）および圧縮解除（復号）アルゴリズムを表わす。たとえば、MPEG規格、ウィンドウズ・メディア・ビデオ（WMV）、フラッシュ・ビデオ、VP8などである。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第2011/005624号、2010年6月30日出願、Tourapis et al.、"Encoding and decoding architecture for format compatible 3D video delivery", PCT出願第PCT/US2010/040545号

【非特許文献】

【0007】

【非特許文献1】B.Bross, W.-J.Han, G.J.Sullivan, J.-R.Ohm, and T.Wiegand、"High efficiency video coding (HEVC) text specification draft 8"、ITU-T/ISO/IEC Joint Collaborative Team on Video Coding (JCT-VC) document JCTVC-J1003, July 2012

【非特許文献2】"Advanced Video Coding for generic audio-visual services", ITU T Rec. H.264およびISO/IEC14496-10

【非特許文献3】B.Bross, W.-J.Han, G.J.Sullivan, J.-R.Ohm, and T.Wiegand、"High efficiency video coding (HEVC) text specification draft 7"、ITU-T/ISO/IEC Joint Collaborative Team on Video Coding (JCT-VC) document JCTVC-J1003, May 2012

【非特許文献4】Craig Todd、"Parameter values for UHDTV"、SG6 WP 6Cへの提出物、WP6C/USA002

【発明の概要】

【発明が解決しようとする課題】

【0008】

上記のセクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、該セクションにおいて記述されるアプローチはいずれも、該セクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、該セクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。

【課題を解決するための手段】

【0009】

本発明の実施形態が、限定ではなく例として、付属の図面において示される。図面において、同様の参照符号は同様の要素を指す。

【図面の簡単な説明】

【0010】

【図1】本発明のある実施形態に基づく符号化規格スケーラビリティーをサポートする符号化システムの例示的な実装を描く図である。

【図2】ＡおよびＢは、本発明のある実施形態に基づくAVC/H.264およびHEVCコーデックのスケーラビリティーをサポートする符号化システムの例示的な実装を描く図である。

【図3】本発明のある実施形態に基づく、クロッピング窓をもつ層状にされた符号化の例を描く図である。

【図4】本発明のある実施形態に基づく、インターレースされたピクチャーのための層間処理の例を描く図である。

【図5】ＡおよびＢは、本発明のある実施形態に基づく符号化規格スケーラビリティーをサポートする層間処理の例を描く図である。

【図6】本発明のある実施形態に基づく、信号エンコード・モデル・スケーラビリティーのためのRPU処理の例を描く図である。

【図7】本発明のある実施形態に基づく、例示的なエンコード・プロセスを描く図である。

【図8】本発明のある実施形態に基づく、例示的なデコード・プロセスを描く図である。

【図9】本発明のある実施形態に基づく、例示的なデコードRPUプロセスを描く図である。

【発明を実施するための形態】

【0011】

本稿では符号化規格スケーラビリティーのための層間参照ピクチャー処理が記述される。第一の符号化規格（たとえばH.264）に準拠する基本層（BL: base layer）エンコーダによって符号化されている基本層信号を与えられて、参照処理ユニット（RPU: reference processing unit）プロセスは、基本層および一つまたは複数の向上層における入力信号の特性に従って、参照ピクチャーおよびRPUパラメータを生成する。これらの層間参照フレームは、第二の符号化規格（たとえばHEVC）に準拠する向上層（EL: enhancement layer）エンコーダによって、一つまたは複数の向上層信号を圧縮（エンコード）して、それを基本層と組み合わせてスケーラブルなビットストリームを形成するために使用されてもよい。受領器では、第一の符号化規格に準拠するBLデコーダを用いてBLストリームをデコードしたのち、デコーダRPUは、受領されたRPUパラメータを適用して、デコードされたBLストリームから層間参照フレームを生成してもよい。これらの参照フレームは、第二の符号化規格に準拠するELデコーダによって、符号化されたELストリームをデコードするために使用されてもよい。

【0012】

下記の記述では、本発明の十全な理解を提供するために、数多くの個別的詳細が記載される。しかしながら、本発明はそうした個別的詳細なしでも実施されうることは明白であろう。他方、本発明を無用に埋没させるのを避けるために、よく知られた構造および装置は網羅的な詳細さでは記述されない。

【0013】

〈概観〉
本稿に記載される例示的な実施形態は、符号化規格スケーラビリティーのための層間参照ピクチャー処理に関する。ある実施形態では、ビデオ・データは符号化規格の層状の（layered）ビットストリームにおいて符号化される。基本層（BL）および向上層（EL）信号を与えられて、BL信号は、第一の符号化規格に準拠するBLエンコーダを使ってBLストリーム中に符号化される。BL信号およびEL信号に応答して、参照処理ユニット（RPU）がRPU処理パラメータを決定する。RPU処理パラメータおよびBL信号に応答して、RPUは層間参照信号を生成する。第二の符号化規格に準拠するELエンコーダを使って、EL信号は符号化されたELストリームに符号化される。ここで、EL信号のエンコードは、少なくとも部分的には層間参照信号に基づく。

【0014】

もう一つの実施形態では、受領器が受領されたスケーラブル・ビットストリームを多重分離して符号化されたBLストリームと、符号化されたELストリームと、RPUデータ・ストリームとを生成する。第一の符号化規格に準拠するBLデコーダが符号化されたBLストリームを復号して、復号されたBL信号を生成する。RPUをもつ受領器は、RPUデータ・ストリームをも復号して、RPUプロセス・パラメータを決定する。RPU処理パラメータおよびBL信号に応答して、RPUは層間参照信号を生成しうる。第二の符号化規格に準拠するELデコーダは、符号化されたELストリームをデコードして、デコードされたEL信号を生成してもよい。ここで、符号化されたELストリームのデコードは、少なくとも部分的には、層間参照信号に基づく。

【0015】

〈層状ベースの符号化規格スケーラビリティー〉
MPEG-2、MPEG-4（パート2）、H.264、フラッシュなどといった圧縮規格は、DVDディスクまたはブルーレイ・ディスクといった多様な媒体を通じてデジタル・コンテンツを送達するために、あるいは無線、ケーブルまたはブロードバンドを通じてブロードキャストするために、世界中で使われている。HEVCのような新しいビデオ符号化規格が開発される際、既存の規格との何らかの後方互換性をサポートすれば新しい規格の採用を増やすことができる。

【0016】

図１は、符号化規格スケーラビリティーをサポートするシステムの例示的な実装のある実施形態を描いている。エンコーダは、基本層（BL）エンコーダ（１１０）および向上層（EL）エンコーダ（１２０）を有する。ある実施形態では、BLエンコーダ１１０はMPEG-2またはH.264エンコーダのようなレガシー・エンコーダであり、ELエンコーダ１２０はHEVCエンコーダのような新しい規格のエンコーダである。しかしながら、このシステムは、標準ベースであれ権利で保護されたものであれ既知のまたは将来のエンコーダのいずれでもよい任意の組み合わせに適用可能である。システムは、三つ以上の符号化規格またはアルゴリズムをサポートするよう拡張されることもできる。

【0017】

図１によれば、入力信号は二つ以上の信号を含んでいてもよい。たとえば、基本層（BL）信号１０２および一つまたは複数の向上層（EL）信号、たとえばEL １０４である。信号BL １０２はBLエンコーダ１１０を用いて圧縮（または符号化）されて、符号化されたBLストリーム１１２を生成する。信号EL １０４はELエンコーダ１２０によって圧縮されて、符号化されたELストリーム１２２を生成する。二つのストリームは（たとえばMUX １２５によって）多重化されて、符号化されたスケーラブル・ビットストリーム１２７を生成する。受領器では、デマルチプレクサ（DEMUX １３０）が二つの符号化されたビットストリームを分離してもよい。レガシー・デコーダ（たとえばBLデコーダ１４０）は基本層１３２のみをデコードして、BL出力信号１４２を生成してもよい。しかしながら、新しいエンコード方法（ELエンコーダ１２０）をサポートするデコーダは、符号化されたELストリーム１３４によって与えられる追加的情報をもデコードして、EL出力信号１４４を生成してもよい。BLデコーダ１４０（たとえばMPEG-2またはH.264デコーダ）はBLエンコーダ１１０に対応する。ELデコーダ１５０（たとえばHEVCデコーダ）はELエンコーダ１２０に対応する。

【0018】

そのようなスケーラブルなシステムは、適正に層間予測を活用することによって、すなわちより低位の層（たとえば１０２）から得られる情報を考慮に入れることによって向上層信号（たとえば１０４）を符号化することによって、サイマルキャスト・システムに比べて符号化効率を改善できる。BLエンコーダおよびELエンコーダは異なる符号化規格に準拠するので、ある実施形態では、別個の処理ユニット、エンコード参照処理ユニット（RPU）１１５を通じて、符号化規格スケーラビリティーが達成されうる。

【0019】

RPU １１５は、あらゆる目的についてここに参照によって組み込まれる特許文献１に記載されているRPU設計の拡張と考えてもよい。RPUの以下の記述は、特にそうでないことが明記されるのでない限り、エンコーダのRPUおよびデコーダのRPUの両方に当てはまる。ビデオ符号化に関係する分野の当業者はその差を理解し、本開示を読めば、エンコーダ固有、デコーダ固有および一般的なRPUの記述、機能およびプロセスを区別できるであろう。図１に描かれるようなビデオ符号化システムのコンテキスト内では、RPU（１１５）は、種々のRPUフィルタおよびプロセスを選択する一組の規則に従って、BLエンコーダ１１０からのデコードされた画像に基づいて層間参照フレームを生成する。

【0020】

RPU １１５は、処理が領域レベルで適応的であることを可能にする。ここで、ピクチャー／シーケンスの各領域はその領域の特性に従って処理される。RPU １１５は、水平方向、垂直方向または二次元（2D）フィルタ、エッジ適応式または周波数ベースの領域依存フィルタおよび／またはピクセル複製フィルタまたはインターレース、デインターレース、フィルタリング、アップサンプリングおよび他の画像処理のための他の方法または手段を使うことができる。

【0021】

エンコーダは、RPUプロセスを選択してもよく、領域的な処理信号を出力する。その出力はデコーダRPU（たとえば１３５）に入力データとして与えられる。信号伝達（たとえば１１７）が、領域ごとに処理方法を指定してもよい。たとえば、数、サイズ、形および他の特性といった領域属性に関係するパラメータがRPUデータに関係したデータ・ヘッダにおいて指定されてもよい。フィルタのいくつかは、固定したフィルタ係数を有していてもよく、その場合、フィルタ係数はRPUによって明示的に信号伝達される必要はない。他の処理モードは、係数値などの処理パラメータが明示的に信号伝達される明示モードを含みうる。RPUプロセスは、各色成分ごとに指定されてもよい。

【0022】

RPUデータ信号伝達１１７は、エンコードされたビットストリーム（たとえば１２７）に埋め込まれることも、あるいはデコーダに別個に伝送されることもできる。RPUデータは、RPU処理が実行される層とともに信号伝達されてもよい。追加的または代替的に、すべての層のRPUデータが一つのRPUデータ・パケット内で信号伝達されてもよく、該パケットはELエンコードされたデータを埋め込む前または後にビットストリームに埋め込まれる。RPUデータの提供は、所与の層については任意的であってもよい。RPUデータが利用可能でない場合には、デフォルトの方式がその層の上方変換〔アップコンバージョン〕のために使用されてもよい。似ていなくもないが、向上層エンコードされたビットストリームの提供も任意的である。

【0023】

ある実施形態は、RPU内の処理ステップを選択する複数の可能な方法を許容する。いくつかの基準が、RPU処理を決定することにおいて、別個にまたは関連して使用されてもよい。RPU選択基準は、基本層ビットストリームのデコードされた品質、向上層ビットストリームのデコードされた品質、RPUデータを含む各層のエンコードのために必要とされるビットレートおよび／またはデータのデコードおよびRPU処理の複雑さを含みうる。

【0024】

RPU １１５は、BLエンコーダ１１０からの情報を、該情報をELエンコーダ１２０における向上層のための潜在的な予測子として利用する前に処理する前処理段のはたらきをしてもよい。RPU処理に関係した情報は、RPU層ストリーム１３６を使って、図１に描かれているようなデコーダに（たとえばメタデータとして）通信されてもよい。RPU処理は、色空間変換、非線形量子化、ルーマおよびクロマ・アップサンプリングおよびフィルタリングといった多様な画像処理動作を含みうる。ある典型的な実装では、EL １２２、BL １１２およびRPUデータ １１７信号は単一の符号化されたビットストリーム（１２７）に多重化される。

【0025】

デコーダRPU １３５はエンコーダRPU １１５に対応し、RPUデータ入力１３６からのガイダンスにより、エンコーダRPU １１５によって実行される動作に対応する動作を実行することによってEL層１３４のデコードにおいて支援してもよい。

【0026】

図１に描かれた実施形態は、三つ以上の層をサポートするよう簡単に拡張できる。さらに、時間的、空間的、SNR、クロマ、ビット深さおよびマルチビュー・スケーラビリティーを含む追加的なスケーラビリティー・フィーチャーをサポートするよう拡張されてもよい。

【0027】

〈H.264およびHEVC符号化規格スケーラビリティー〉
ある例示的な実施形態では、図２のＡおよびＢは、HEVCおよびH.264規格に適用されうる層ベースの符号化規格スケーラビリティーについての例示的な実施形態を描いている。一般性を失うことなく、図２のＡおよびＢは、二つの層だけを描いているが、方法は複数の向上層をサポートするシステムに簡単に拡張できる。

【0028】

図２のＡに描かれるように、H.264エンコーダ１１０およびHEVCエンコーダ１２０はいずれも、イントラ予測、インター予測、順変換および量子化（FT）、逆変換および量子化（IFT）、エントロピー符号化（EC）、ブロック除去フィルタ（DF: deblocking filter）および復号ピクチャー・バッファ（DPB: Decoded Picture Buffer）を含む。さらに、HEVCエンコーダは、サンプル適応オフセット（SAO: Sample Adaptive Offset）ブロックをも含む。ある実施形態では、のちに説明するように、RPU １１５がBLデータにアクセスするのは、ブロック除去フィルタ（DF）前であっても、あるいはDPBからであってもよい。同様に、複数規格デコーダ（図２のＢ参照）でも、デコーダRPU １３５がBLデータにアクセスするのは、ブロック除去フィルタ（DF）前であっても、あるいはDPBからであってもよい。

【0029】

スケーラブル・ビデオ符号化では、用語「マルチループ解決策」は、向上層におけるピクチャーが、同じ層および他の諸サブ層の両方によって抽出される参照ピクチャーに基づいて復号される、層状のデコーダを表わす。基本層／参照層のピクチャーは再構成され、復号ピクチャー・バッファ（DPB）に記憶される。層間参照ピクチャーと呼ばれるこれらの基本層ピクチャーは、向上層を復号する際に、追加的な参照ピクチャーのはたらきをすることができる。すると、向上層は、時間的参照ピクチャーまたは層間参照ピクチャーのいずれかを使うオプションをもつ。一般に、層間予測は、スケーラブル・システムにおいてEL符号化効率を改善する助けとなる。AVCおよびHEVCは二つの異なる符号化規格であり、異なるエンコード・プロセスを使うので、AVC符号化されたピクチャーが有効なHEVC参照ピクチャーと考えられることを保証するには、追加的な層間処理が必要とされることがある。ある実施形態では、そのような処理はRPU １１５によって実行されてもよい。それについては、興味深いさまざまな場合について次に説明する。符号化規格スケーラビリティーのためには、RPU １１５の使用は、二つの異なる規格を使うことから生じる相違または衝突を、高いシンタックス・レベルおよび符号化ツール・レベルの両方において、解決することをねらいとするものである。

【0030】

〈ピクチャー順カウント（POC: Picture Order Count）〉
HEVCとAVCは高レベルのシンタックスにおいていくつかの違いがある。さらに、同じシンタックスが各規格において異なる意味をもつことがある。RPUは、基本層と向上層の間の高レベルのシンタックス「翻訳機」として機能することができる。一つのそのような例は、ピクチャー順カウント（POC）に関係したシンタックスである。層間予測では、基本層からの層間参照ピクチャーを、向上層においてエンコードされているピクチャーと同期させることが重要である。そのような同期は、基本層と向上層が異なるピクチャー符号化構造を使うときに一層重要になる。AVC規格およびHEVC規格の両方について、用語ピクチャー順カウント（POC）は、符号化されたピクチャーの表示順を示すために使われる。しかしながら、AVCでは、POC情報を信号伝達するために三つの方法（変数pic_order_cnt_typeによって指示される）があるのに対して、HEVCでは、AVCの場合のpic_order_cnt_type==0と同じである一つの方法しか許容されない。ある実施形態では、pic_order_cnt_typeがAVCビットストリームにおいて0に等しくないとき、RPU（１３５）は、それをHEVCシンタックスに準拠するPOC値に変換する必要があることになる。ある実施形態では、エンコーダRPU（１１５）が、表１に示されるような新しいpic_order_cnt_lsb変数を使うことによって追加的なPOC関係のデータを信号伝達してもよい。別の実施形態では、エンコーダRPUは単に、pic_order_cnt_type==0のみを使うよう基本層AVCエンコーダを強制してもよい。

【0031】

【表1】

表１において、pic_order_cnt_lsbは、現在の層間参照ピクチャーについて、MaxPicOrderCntLsbを法としてピクチャー順カウントを指定する。pic_order_cnt_lsbシンタックス要素の長さはlog2_max_pic_order_cnt_lsb_minus4+4ビットである。pic_order_cnt_lsbの値は、0からMaxPicOrderCntLsb−1までの範囲内である。pic_order_cnt_lsbが存在しない場合、pic_order_cnt_lsbは0に等しいと推定される。

【0032】

〈クロッピング窓〉
AVC符号化では、ピクチャー解像度は16の倍数でなければならない。HEVCでは、解像度は8の倍数であることができる。RPUにおいて層間参照ピクチャーを処理するとき、AVCにおけるパディングされたピクセルを除くために、クロッピング窓が使用されてもよい。基本層および向上層が異なる空間解像度をもつ場合（たとえば基本層が1920×1080で、向上層が4K）、あるいはピクチャー・アスペクト比（PAR: picture aspect ratio）が異なる場合（たとえば向上層については16:9のPAR、基本層については4:3のPAR）、画像はクロッピングされる必要があり、しかるべくサイズ変更されることがある。クロッピング窓に関係したRPUシンタックスの例は表２に示される。

【0033】

【表2】

表２において、1に等しいpic_cropping_flagはピクチャー・クロッピング・オフセット・パラメータが次に続くことを示す。pic_cropping_flag=0であれば、ピクチャー・クロッピング・オフセット・パラメータは存在せず、クロッピングは必要とされない。

【0034】

pic_crop_left_offset、pic_crop_right_offset、pic_crop_top_offsetおよびpic_crop_bottom_offsetは、RPUデコード・プロセスに入力される、符号化されたビデオ・シーケンスのピクチャーにおけるサンプルの数を、RPU入力のためのピクチャー座標において指定される長方形領域を用いて指定する。

【0035】

RPUプロセスは各層間参照について実行されるので、クロッピング窓パラメータはフレームごとに変わりうることを注意しておく。こうして、パン‐（ズーム）‐スキャン・アプローチを使って、適応的な関心領域ベースのビデオ再ターゲット決めがサポートされる。

【0036】

図３は、層状符号化の例を描いている。ここで、HD（たとえば1920×1080）基本層はH.264を使って符号化され、すべてのレガシーHDデコーダによって復号できるピクチャーを与える。より低い解像度（たとえば640×480）の向上層が、「ズーム」フィーチャーの任意的なサポートを提供するために使われてもよい。該EL層はBLより小さな解像度をもつが、全体的なビットレートを低下させるためにHEVCでエンコードされてもよい。本稿に記載されるような層間符号化はさらに、このEL層の符号化効率を改善しうる。

【0037】

〈ループ内ブロック除去フィルタ〉
AVCおよびHEVCはいずれも符号化および復号プロセスにおいてブロック除去フィルタ（DF: deblocking filter）を用いる。ブロック除去フィルタは、ブロック・ベースの符号化に起因するブロッキング・アーチファクトを軽減するために意図されている。だが各規格におけるその設計は全く異なっている。AVCではブロック除去フィルタは4×4のサンプル格子ベースで適用されるが、HEVCではブロック除去フィルタは8×8のサンプル格子上に整列されるエッジに適用されるのみである。HEVCでは、ブロック除去フィルタの強さは、AVCと同様のいくつかのシンタックス要素の値によって制御されるが、AVCは5つの強さをサポートする一方、HEVCは3つの強さをサポートするだけである。HEVCでは、AVCに比べてフィルタリングの場合の数が少ない。たとえば、ルーマについて、3つの場合のうちの一つが選ばれる：フィルタリングなし、強いフィルタリングおよび弱いフィルタリング。クロマについては、2つの場合しかない：フィルタリングなしおよび通常のフィルタリング。基本層参照ピクチャーと向上層からの時間的参照ピクチャーとの間でブロック除去フィルタ動作を整列させるために、いくつかのアプローチが適用されることができる。

【0038】

ある実施形態では、AVCブロック除去なしの参照ピクチャーは、さらなる後処理なしでRPUによって直接アクセスされてもよい。もう一つの実施形態では、RPUは、層間参照ピクチャーにHEVCブロック除去フィルタを適用してもよい。HEVCにおけるフィルタ決定は、変換係数、参照インデックスおよび動きベクトルといったいくつかのシンタックス要素の値に基づく。RPUがフィルタ決定をするためにすべての情報を解析する必要があるとしたら、実に込み入ったことになりうる。その代わり、8×8ブロック・レベル、CU（Coding Unit［符号化単位］）レベル、LCU/CTU（Largest Coding Unit［最大符号化単位］またはCoded Tree Unit［符号化木単位］）レベル、複数LCUレベル、スライス・レベルまたはピクチャー・レベルで、フィルタ・インデックスを明示的に信号伝達することができる。ルーマおよびクロマ・フィルタ・インデックスを別個に信号伝達することもできるし、両者が同じシンタックスを共有することもできる。表３は、ブロック除去フィルタ決定がどのようにRPUデータ・ストリームの一部として指示されることができるかの例を示している。

【0039】

【表3】

表３において、filter_idxはルーマおよびクロマ成分についてのフィルタ・インデックスを指定する。ルーマについては、0に等しいfilter_idxはフィルタリングなしを指定し、1に等しいfilter_idxは弱いフィルタリングを指定し、2に等しいfilter_idxは強いフィルタリングを指定する。クロマについては、0または1に等しいfilter_idxはフィルタリングなしを指定し、2に等しいfilter_idxは通常のフィルタリングを指定する。

【0040】

〈サンプル適応オフセット（SAO: Sample Adaptive Offset）〉
SAOは、ブロック除去フィルタ（DF）後にルックアップテーブルを通じてサンプルを修正するプロセスである。図２のＡおよびＢに描かれるように、これはHEVC規格の一部であるだけである。SAOの目標は、エンコーダ側でヒストグラム解析によって決定できる少数の追加的パラメータによって記述されるルックアップテーブルを使うことによって、もとの信号振幅をよりよく再構成することである。ある実施形態では、RPUは、HEVCに記載される厳密なSAOプロセスを使ってAVC基本層からのブロック除去／非ブロック除去（deblocking/non-deblocking）層間参照ピクチャーを処理することができる。信号伝達は領域ベースであって、CTU（LCU）レベル、複数LCUレベル、スライス・レベルまたはピクチャー・レベルで適応されることができる。表４は、SAOパラメータを通信するための例示的なシンタックスを示している。表４では、記法シンタックスはHEVC仕様において記述されているのと同じである。

【0041】

【表4】

〈適応ループ・フィルタ（ALF: Adaptive Loop Filter）〉
HEVCの開発中、適応ループ・フィルタ（ALF）もSAOに続く処理ブロックとして評価されたが、ALFはHEVCの最初の版の一部ではない。ALF処理は層間符号化を改善できるので、将来のエンコーダによって実装されれば、これもRPUによって実装されることができるもう一つの処理段階となる。ALFの適応は領域ベースであって、CTU（LCU）レベル、複数LCUレベル、スライス・レベルまたはピクチャー・レベルで適応されることができる。ALFパラメータの例は、ここに参照によってその全体において組み込まれる非特許文献３におけるalf_picture_info()によって記述される。

【0042】

〈インターレースおよびプログレッシブ走査〉
AVCは、プログレッシブ・コンテンツおよびインターレース・コンテンツの両方についての符号化ツールをサポートする。インターレースされたシーケンスについて、AVCはフレーム符号化およびフィールド符号化の両方を許容する。HEVCでは、インターレース走査の使用をサポートするための明示的な符号化ツールは存在しない。HEVCは、インターレースされたコンテンツがどのように符号化されたかをエンコーダが指示できるようにするメタデータ・シンタックス（フィールド指示（Field Indication）SEIメッセージ・シンタックスおよびVUI）を提供するのみである。以下のシナリオが考えられる。

【0043】

シナリオ１：基本層および向上層の両方がインターレース
このシナリオについては、いくつかの方法が考えられる。第一の実施形態では、エンコーダは、フレームまたはフィールド・モードにおける基本層エンコードをシーケンス毎に変更できるのみであるよう制約されることがある。向上層は、基本層からの符号化決定に従う。すなわち、AVC基本層があるシーケンスにおいてフィールド符号化を使うなら、HEVC向上層も対応するシーケンスにおいてフィールド符号化を使う。同様に、AVC基本層があるシーケンスにおいてフレーム符号化を使うなら、HEVC向上層も対応するシーケンスにおいてフレーム符号化を使う。フィールド符号化のために、AVCシンタックスにおいては信号伝達される垂直解像度はフレーム高さであるが、HEVCでは、シンタックスにおいて信号伝達される垂直解像度はフィールド高さであることを注意しておく。特にクロッピング窓が使われる場合には、ビットストリームにおいてこの情報を通信することにおいて特別な注意を払う必要がある。

【0044】

もう一つの実施形態では、HEVCエンコーダがシーケンス・レベルの適応的なフレームまたはフィールド符号化を実行する一方、AVCエンコーダはピクチャー・レベルの適応的なフレームまたはフィールド符号化を使ってもよい。いずれの場合にも、RPUは次のうちの一つの仕方で層間参照フレームを処理することができる：ａ）RPUは、AVC基本層におけるフレームまたはフィールド符号化決定に関わりなく、層間参照ピクチャーをフィールドとして処理してもよい；あるいはｂ）RPUは、AVC基本層におけるフレーム／フィールド符号化決定に基づいて層間参照ピクチャーの処理を適応させてもよい。すなわち、AVC基本層がフレーム符号化される場合には、RPUは層間参照ピクチャーをフレームとして処理し、そうでない場合には、RPUは層間参照ピクチャーをフィールドとして処理する。

【0045】

図４は、シナリオ１の例を描いている。記法DiまたはDpはフレーム・レートおよびフォーマットがインターレースであるかプログレッシブであるかを表わす。よって、Diは毎秒D枚のインターレースされたフレーム（あるいは毎秒2D枚のフィールド）を表わし、Dpは毎秒D枚のプログレッシブ・フレームを表わす。この例において、基本層はAVCを使って符号化される標準精細度（SD）の720×480、30iシーケンスを有する。向上層は、HEVCを使って符号化される、高精細度（HD）の1920×1080、60iのシーケンスである。この例は、コーデック・スケーラビリティー、時間的スケーラビリティーおよび空間的スケーラビリティーを組み込んでいる。時間的スケーラビリティーは、時間的な予測のみをもつ階層的な構造を使って向上層HEVCデコーダによって扱われる（このモードは、単一の層においてHEVCによってサポートされる）。空間的スケーラビリティーは、層間参照フィールド／フレームのスライスを調整し、向上層における対応するフィールド／フレーム・スライスと同期させるRPUによって扱われる。

【0046】

シナリオ２：基本層がインターレースで、向上層がプログレッシブ
このシナリオでは、AVC基本層はインターレースされたシーケンスであり、HEVC向上層はプログレッシブ・シーケンスである。図５のＡが描く例示的実施形態では、入力の4K 120p信号（５０２）は三つの層としてエンコードされている：1080 30i BLストリーム（５３２）、1080 60pとして符号化された第一の向上層（EL0）ストリーム（５３７）および4K 120pとして符号化された第二の向上層ストリーム（EL1）（５３８）である。BLおよびEL0信号はH.264/AVCエンコーダを使って符号化され、EL1信号はHEVCを使って符号化される。エンコーダでは、高解像度、高フレーム4K、120p信号（５０２）で出発して、エンコーダは時間的および空間的ダウンサンプリング（５１０）を適用してプログレッシブ1080 60p信号５１２を生成する。相補的なプログレッシブからデインターレース技法（５２０）を使って、エンコーダは二つの相補的な1080 30iのインターレースされた信号BL ５２２−１およびEL0 ５２２−２を生成してもよい。本稿での用法では、「相補的なプログレッシブからデインターレース技法」は、同じプログレッシブ入力から二つのインターレースされた信号を生成するものであって、両方のインターレースされた信号が同じ解像度をもつが、一方のインターレースされた信号が第二のインターレースされた信号の一部ではないプログレッシブ信号からのフィールドを含むものを表わす。たとえば、時刻T_i、i＝0,1,…,nにおける入力信号が上下のインターレースされたフィールド（上T_i、下T_i）に分割されていれば、第一のインターレースされた信号は（上T₀、下T₁）、（上T₂、下T₃）などを使って構築されてもよく、一方、第二のインターレースされた信号は残りのフィールドを使って、すなわち（上T₁、下T₀）、（上T₃、下T₂）など構築されてもよい。

【0047】

この例では、BL信号５２２−１は、レガシー・デコーダによってデコードされることのできる後方互換のインターレースされた信号である。一方、EL0信号５２２−２はもとのプログレッシブ信号からの相補的なサンプルを表わす。フル・フレーム・レートの最終的なピクチャー組成については、BL信号からのすべての再構成されたフィールド・ピクチャーが、同じアクセス単位内だが逆のフィールド・パリティーのフィールド・ピクチャーと組み合わされる必要がある。エンコーダ５３０は、二つのAVCエンコーダ（５３０−１および５３０−２）およびRPUプロセッサ５３０−３を有するAVCエンコーダであってもよい。エンコーダ５３０は、BLおよびEL0信号両方からの参照フレームを使って信号EL0を圧縮するよう層間処理を使ってもよい。RPU ５３０−３は、５３０−２エンコーダによって使用されるBL参照フレームを準備するために使われてもよい。RPU ５３０−３は、EL1エンコーダ５１５によってEL1信号５０２の符号化のために使用されるプログレッシブ信号５３７を生成するためにも使われてもよい。

【0048】

ある実施形態では、RPU（５３５）におけるアップサンプリング・プロセスが、RPU ５３０−３からの1080 60p出力（５３７）を、層間予測の際にHEVCエンコーダ５１５によって使用される4K 60p信号に変換するために使われる。EL1信号５０２は、圧縮された4K 120pストリーム５１７を生成するために時間的および空間的スケーラビリティーを使ってエンコードされてもよい。デコーダは、1080 30i信号、1080 60p信号または4K 120p信号をデコードするために同様のプロセスを適用することができる。

【0049】

図５のＢは、ある実施形態に基づくインターレース／プログレッシブ・システムのもう一つの例示的な実装を描いている。これは二層システムであって、1080 30i基本層信号（５２２）がAVCエンコーダ（５４０）を使ってエンコードされて符号化されたBLストリーム５４２を生成し、4K 120p向上層信号（５０２）がHEVCエンコーダ（５１５）を使ってエンコードされて符号化されたELストリーム５５２を生成する。これら二つのストリームは、符号化されたスケーラブル・ビットストリーム５７２を形成するよう多重化されてもよい。

【0050】

図５のＢに描かれるように、RPU ５６０は二つのプロセスを含んでいてもよい：BL ５２２を1080 60p信号に変換するデインターレース・プロセスと、1080 60p信号をもとの4K 60p信号に変換するアップサンプリング・プロセスである。よって、RPUの出力は、エンコーダ５１５において層間予測の際に参照信号として使用されうる。

【0051】

シナリオ３：基本層がプログレッシブで、向上層がインターレース
このシナリオでは、ある実施形態では、RPUはプログレッシブ層間参照ピクチャーをインターレースされたピクチャーに変換してもよい。これらインターレースされたピクチャーはRPUによって、ａ）HEVCエンコーダがシーケンス・ベースのフレームまたはフィールド符号化のどちらを使うかに関わりなく常にフィールドとして、あるいはｂ）HEVCエンコーダによって使用されるモードに依存してフィールドまたはフレームとして、処理されることができる。表５は、エンコーダ・プロセスについてデコーダRPUを案内するために使用できる例示的なシンタックスを描いている。

【0052】

【表5】

表５において、1に等しいbase_field_seq_flagは基本層の符号化されたビデオ・シーケンスがフィールドを表わすピクチャーを伝えることを示す。0に等しいbase_field_seq_flagは基本層の符号化されたビデオ・シーケンスがフレームを表わすピクチャーを伝えることを示す。

【0053】

1に等しいenh_field_seq_flagは、向上層の符号化されたビデオ・シーケンスがフィールドを表わすピクチャーを伝えることを示す。0に等しいenh_field_seq_flagは向上層の符号化されたビデオ・シーケンスがフレームを表わすピクチャーを伝えることを示す。

【0054】

表６は、RPUがどのようにしてbase_field_seq_flagまたはenh_field_seq_flagのフラグに基づいて参照ピクチャーを処理しうるかを示す。

【0055】

【表6】

〈信号エンコード・モデル・スケーラビリティー〉
ガンマ・エンコードは、標準ダイナミックレンジ（SDR: standard dynamic range）画像を表わすためのその効率のため、最も広く使われる信号エンコード・モデルとも言われている。高ダイナミックレンジ（HDR: high dynamic range）イメージングのための近年の研究では、いくつかの型の画像について、いずれもここに参照によってその全体において組み込まれる非特許文献４または2012年7月23日に出願された、「Perceptual luminance nonlinearity-based image data exchange across different display capabilities」という名称のJon S. Millerらによる米国仮特許出願第61/674,503号に記載される知覚的量子化器（QP: Perceptual Quantizer）のような他の信号エンコード・モデルがより効率的に該データを表現できることが見出された。したがって、スケーラブル・システムは、ガンマ符号化されるSDRコンテンツの一つの層と、他の信号エンコード・モデルを使って符号化される高ダイナミックレンジ・コンテンツのもう一つの層とを有しうることが可能である。

【0056】

図６は、RPU ６１０（たとえば図１のRPU １１５）が基本層の信号量子化器を調整するよう設定されていてもよい実施形態を描いている。BL信号１０２（たとえば4:2:0 709勧告でガンマ・エンコードされた8ビット、SDRビデオ信号）およびEL信号１０４（たとえばP3色空間で4:4:4でPQエンコードされた12ビットHDRビデオ信号）が与えられて、RPU ６１０における処理は：ガンマ・デコード、他の逆マッピング（たとえば色空間変換、ビット深さ変換、クロマ・サンプリングなど）およびSDRからHDRへの知覚的量子化（PQ: perceptual quantization）を含んでいてもよい。信号デコードおよびエンコード方法（たとえばガンマおよびPQ）ならびに関係したパラメータは、符号化されるビットストリームと一緒に伝送されるメタデータの一部であってもよく、あるいは将来のHEVCシンタックスの一部であることができる。そのようなRPU処理は、ビット深さ、クロマ・フォーマットおよび色空間スケーラビリティーのような他の型のスケーラビリティーに関係した他のRPU処理と組み合わされてもよい。図１に描かれるように、同様のRPU処理は、スケーラブル・ビットストリーム１２７の復号の間にデコーダRPUによって実行されてもよい。

【0057】

スケーラビリティー拡張は、空間的またはSNRスケーラビリティー、時間的スケーラビリティー、ビット深さスケーラビリティーおよびクロマ解像度スケーラビリティーといった、いくつかの他のカテゴリーを含むことができる。よって、RPUは、多様な符号化シナリオのもとで層間参照ピクチャーを処理するよう構成されることができる。よりよいエンコーダ‐デコーダ互換性のために、エンコーダは、対応するRPUデコーダを案内するための特別なRPU関係のビットストリーム・シンタックスを組み込んでいてもよい。該シンタックスは、スライス・レベル、ピクチャー・レベル、GOPレベル、シーン・レベルまたはシーケンス・レベルを含む多様な符号化レベルにおいて更新されることができる。該シンタックスはまた、NALユニット・ヘッダ、シーケンス・パラメータ・セット（SPS: Sequence Parameter Set）およびその拡張、SubSPS、ピクチャー・パラメータ・セット（PPS: Picture Parameter Set）、スライサー・ヘッダ、SEIメッセージまたは新しいNALユニット・ヘッダといった、多様な補助データに含まれることができる。多数のRPU関係の処理ツールがありうるので、実装の最大限の柔軟性および容易さのため、ある実施形態では、我々は、RPUを別個のビットストリームとするために、RPUのための新たなNALユニット型をリザーブすることを提案する。そのような実装のもとでは、別個のRPUモジュールがエンコーダおよびデコーダ・モジュールに加えられ、基本層および一つまたは複数の向上層と相互作用する。表７は、新たなNALユニットにおける、rpu_header_data()（表８に示される）およびrpu_payload_data()（表９に示される）を含むRPUデータ・シンタックスの例を示している。この例では、領域ベースのブロック除去およびSAO決定を許容するよう複数のパーティションが可能にされている。

【0058】

【表7】

【0059】

【表8】

【0060】

【表9】

表８において、rpu_typeは、RPU信号のための予測型目的を指定する。これは、種々のスケーラビリティーを指定するために使用されることができる。たとえば、0に等しいrpu_typeは空間的スケーラビリティーを指定してもよく、1に等しいrpu_typeはビット深さスケーラビリティーを指定してもよい。種々のスケーラビリティー・モードを組み合わせるために、rpu_maskのようなマスキング変数をも使ってもよい。たとえば、rpu_mask＝0x01（二進00000001）は空間的スケーラビリティーのみが有効にされることを表わしてもよい。rpu_mask＝0x02（二進00000010）はビット深さスケーラビリティーのみが有効にされることを表わしてもよい。rpu_mask＝0x03（二進00000011）は空間的スケーラビリティーおよびビット深さスケーラビリティーの両方が有効にされることを表わしてもよい。

【0061】

deblocking_present_flagは、ブロック除去フィルタに関係したシンタックスがRPUデータに存在することを示す。

【0062】

sao_present_flagは、SAOに関係したシンタックスがRPUデータに存在することを示す。

【0063】

alf_present_flagは、ALFフィルタに関係したシンタックスがRPUデータに存在することを示す。

【0064】

num_x_partitions_minus1は、RPUにおいて水平方向次元において、処理されるピクチャーを細分するために使われるパーティションの数を信号伝達する。

【0065】

num_y_partitions_minus1は、RPUにおいて垂直方向次元において、処理されるピクチャーを細分するために使われるパーティションの数を信号伝達する。

【0066】

他の実施形態では、基本層および向上層ピクチャーを同期させるためにPOCを使う代わりに、RPUシンタックスはピクチャー・レベルで信号伝達され、それにより複数のピクチャーが同じRPUシンタックスを再使用することができ、そのことはより低いビット・オーバーヘッドにつながり、可能性としてはいくつかの実装では処理オーバーヘッドを低減する。この実装のもとでは、rpu_idがRPUシンタックスに加えられる。slice_header()においては、RPUシンタックスを現在スライスと同期させるために常にrpu_idを参照する。ここで、rpu_id変数は、スライス・ヘッダにおいて参照されるrpu_data()を同定する。

【0067】

図７は、ある実施形態に基づく例示的なエンコード・プロセスを描いている。一連のピクチャー（またはフレーム）を与えられたとき、エンコーダは、第一の圧縮規格（たとえばAVC）を使ってBLエンコーダを用いて基本層をエンコードする（７１５）。次に（７２０、７２５）、図２のＡおよびＢに描かれているように、RPUプロセス１１５が、ブロック除去フィルタ（DF）の前または後で基本層ピクチャーにアクセスしてもよい。その決定は、RD（rate-distortion［レート‐歪み］）最適化またはRPUが実行する処理に基づいてなされることができる。たとえば、RPUが、ブロック境界をブロック除去する際にも使用されうるアップサンプリングを実行する場合には、RPUは単にブロック除去フィルタ前のデコードされた基本層を使ってもよく、アップサンプリング・プロセスはより多くの詳細を保持しうる。RPU １１５はBLおよびEL符号化パラメータに基づいてRPU処理パラメータを決定してもよい。必要なら、RPUプロセスは、EL入力からのデータにもアクセスしうる。次いで、ステップ７３０において、RPUは、決定されたRPUプロセス・パラメータに従って層間参照ピクチャーを処理する。生成された層間ピクチャー（７３５）は今や、第二の圧縮規格を使うELエンコーダ（たとえばHEVCエンコーダ）によって、向上層信号を圧縮するために使用されうる。

【0068】

図８は、ある実施形態に基づく例示的な復号プロセスを描いている。まず（８１０）、デコーダは入力ビットストリームの高レベル・シンタックスをパースして、シーケンス・パラメータおよびRPU関係の情報を抽出する。次に（８２０）、デコーダは、第一の圧縮規格に基づくBLデコーダ（たとえばAVCデコーダ）を用いて基本層をデコードする。RPUプロセス関係のパラメータをデコード（８２５）したのち、RPUプロセスはこれらのパラメータに従って層間参照ピクチャーを生成する（８３０および８３５）。最後に、デコーダは、第二の圧縮規格に準拠するELデコーダ（たとえばHEVCデコーダ）を使って向上層をデコードする（８４０）
表１〜表９において定義される例示的なRPUパラメータを与えられて、図９は、ある実施形態に基づく例示的なデコードRPUプロセスを描いている。まず（９１０）、デコーダは、RPU型（たとえば表８のrpu_type）、POC()およびpic_cropping()のような高レベルのRPU関係のデータをビットストリーム・シンタックスから抽出する。用語「RPU型」は、先に論じたように、符号化規格スケーラビリティー、空間的スケーラビリティー、ビット深さスケーラビリティーなどといった、考える必要のあるRPU関係のサブプロセスを指す。BLフレームを与えられて、クロッピングおよびALF関係の動作がまず処理されてもよい（たとえば９１５、９２０）。次に、要求されるインターレースされたまたはデインターレースされたモード（９３０）を抽出したのち、各パーティションについて、RPUはブロック除去およびSAO関係の動作を実行する（たとえば９３５、９４０）。追加的なRPU処理が実行される必要がある場合（９４５）、RPUは適切なパラメータをデコードし（９５０）、次いでこれらのパラメータに従って動作を実行する。このプロセスの終わりに、層間フレームのシーケンスが、ELストリームをデコードするELデコーダに対して利用可能となる。

【0069】

〈例示的なコンピュータ・システム実装〉
本発明の実施形態は、コンピュータ・システム、電子回路およびコンポーネントにおいて構成されたシステム、マイクロコントローラ、フィールド・プログラム可能なゲート・アレイ（FPGA）または他の構成設定可能もしくはプログラム可能な論理デバイス（PLD）、離散時間またはデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）のような集積回路（IC）装置および／またはそのようなシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されてもよい。コンピュータおよび／またはICは、本稿に記載したようなRPU処理に関係する命令を実行、制御または執行してもよい。コンピュータおよび／またはICは、本稿に記載したようなRPU処理に関係する多様なパラメータまたは値の任意のものを計算してもよい。RPU関係の実施形態は、ハードウェア、ソフトウェア、ファームウェアおよびそれらのさまざまな組み合わせにおいて実装されうる。

【0070】

本発明のある種の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータ・プロセッサを有する。たとえば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどにおける一つまたは複数のプロセッサが、該プロセッサにとってアクセス可能なプログラム・メモリ中のソフトウェア命令を実行することによって、上記に記載したような方法RPU処理を実装してもよい。本発明は、プログラム・プロダクトの形で提供されてもよい。プログラム・プロダクトは、データ・プロセッサによって実行されたときに該データ・プロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを担持する任意の媒体を含みうる。本発明に基づくプログラム・プロダクトは、幅広い多様な形のいかなるものであってもよい。プログラム・プロダクトは、たとえば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD-ROM、DVDを含む光データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体などのような物理的な媒体であってもよい。プログラム・プロダクト上のコンピュータ可読信号は任意的に圧縮または暗号化されていてもよい。

【0071】

上記でコンポーネント（たとえば、ソフトウェア・モジュール、プロセッサ、組立体、装置、回路など）が言及されるとき、特に断わりのない限り、そのコンポーネントへの言及（「手段」への言及を含む）は、本発明の例示した実施例における機能を実行する開示される構造と構造的に等価ではないコンポーネントも含め、記載されるコンポーネントの機能を実行する（すなわち機能的に等価な）任意のコンポーネントをそのコンポーネントの等価物として含むと解釈されるべきである。

【0072】

〈等価物、拡張、代替その他〉
このように、RPU処理および標準ベースのコーデック・スケーラビリティーに関係する例示的な実施形態について述べてきた。以上の明細書では、本発明の諸実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であるか、何が出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。
いくつかの態様を記載しておく。
〔態様１〕
符号化規格の層状のストリームにおいて入力データをエンコードする方法であって：
基本層（BL）信号を、第一の符号化規格に準拠するBLエンコーダを使って、符号化されたBLストリームにエンコードする段階と；
前記BL信号および向上層（EL）信号に応答して、参照処理ユニット（RPU）を使って、RPU処理パラメータを決定する段階と；
前記RPU処理パラメータおよび前記BL信号に応答して、前記RPUを使って、層間参照信号を生成する段階と；
第二の符号化規格に準拠するELエンコーダを使って前記EL信号をエンコードして符号化ELストリームにする段階であって、前記EL信号の前記エンコードは少なくとも部分的には、前記層間参照信号に基づく、段階とを含む、
方法。
〔態様２〕
前記第一の符号化規格がH.264規格に基づくエンコードを含み、前記第二の符号化規格がHEVC規格に基づくエンコードを含む、態様１記載の方法。
〔態様３〕
前記RPU処理パラメータを決定する段階がさらに、前記第一および第二の符号化規格の間の一つまたは複数の相違を前記RPUを用いて解決することを含み、前記相違が高レベルのシンタックスまたは符号化ツールに関係する、態様１記載の方法。
〔態様４〕
前記RPU処理パラメータが、ピクチャー順カウント（POC）、クロッピング窓、ループ内ブロック除去フィルタ、サンプル適応オフセット（SAO）、適応ループ・フィルタ（ALF）、インターレースおよびプログレッシブ走査または信号エンコード・モデルに関係する一つまたは複数のパラメータを含む、態様３記載の方法。
〔態様５〕
クロッピング窓に関係する前記RPU処理パラメータが、一つまたは複数のクロッピング・オフセット・パラメータが次に続くことを示す変数と、それに続く前記一つまたは複数のピクチャー・クロッピング・オフセット・パラメータとを含む、態様４記載の方法。
〔態様６〕
前記ループ内ブロック除去フィルタに関係する前記RPU処理パラメータが、フィルタリングを実行しない、弱いフィルタリングを実行するまたは強いフィルタリングを実行するのいずれであるかを示す変数を含む、態様４記載の方法。
〔態様７〕
前記RPUが、ピクチャー順カウント（POC）変数のシンタックスにおける相違を解決し、前記POC変数のシンタックスを、前記符号化されたBLストリームにおいて定義されている第一の値から前記第二の符号化規格に準拠する第二の値に変換する、態様３記載の方法。
〔態様８〕
前記RPUがインターレースおよびプログレッシブ・ピクチャーの符号化に関係する前記符号化ツールにおける相違を解決する、態様３記載の方法。
〔態様９〕
インターレースおよびプログレッシブ・ピクチャーの符号化に関係する前記RPU処理パラメータが、前記基本層信号がインターレース信号であるかプログレッシブ信号であるかを示す第一の変数と、前記EL信号がインターレース信号であるかプログレッシブ信号であるかを示す第二の変数とを含む、態様８記載の方法。
〔態様１０〕
前記RPUが、内側ループ・ブロック除去フィルタリングに関係する前記符号化ツールへの相違を解決する、態様３記載の方法。
〔態様１１〕
符号化規格の層状のストリームをデコードする方法であって：
符号化されたBLストリーム、符号化されたELストリームおよびRPUデータ・ストリームを受領する段階と；
第一の符号化規格に準拠するBLデコーダを使って、前記符号化されたBLストリームをデコードして、デコードされたBL信号を生成する段階と；
RPUを用いて前記RPUデータ・ストリームをデコードしてRPUプロセス・パラメータを決定する段階と；
前記RPU処理パラメータおよび前記BL信号に応答して、前記RPUを使って層間参照信号を生成する段階と；
第二の符号化規格に準拠するELデコーダを使って、前記符号化されたELストリームをデコードして、デコードされたEL信号を生成する段階であって、前記EL信号の前記デコードは、少なくとも部分的には、前記層間参照信号に基づく、段階とを含む、
方法。
〔態様１２〕
前記第一の符号化規格がH.264規格に基づくデコードを含み、前記第二の符号化規格がHEVC規格に基づくデコードを含む、態様１１記載の方法。
〔態様１３〕
前記RPU処理パラメータが、ピクチャー順カウント（POC）、クロッピング窓、ループ内ブロック除去フィルタ、サンプル適応オフセット（SAO）、適応ループ・フィルタ（ALF）、インターレースおよびプログレッシブ走査または信号エンコード・モデルに関係する一つまたは複数のパラメータを含む、態様１１記載の方法。
〔態様１４〕
クロッピング窓に関係する前記RPU処理パラメータが、クロッピング・オフセット・パラメータが次に続くことを示す変数と、それに続く、長方形領域を決定する一つまたは複数の変数とを含む、態様１１記載の方法。
〔態様１５〕
前記ループ内ブロック除去フィルタに関係する前記RPU処理パラメータが、フィルタリングを実行しない、弱いフィルタリングを実行するまたは強いフィルタリングを実行するのいずれであるかを示す変数を含む、態様１１記載の方法。
〔態様１６〕
インターレースおよびプログレッシブ走査に関係する前記RPU処理パラメータが、前記基本層信号がインターレース信号であるかプログレッシブ信号であるかを示す第一の変数と、前記EL信号がインターレース信号であるかプログレッシブ信号であるかを示す第二の変数とを含む、態様１１記載の方法。
〔態様１７〕
プロセッサを有し、態様１または１１記載の方法のいずれかを実行するよう構成された装置。
〔態様１８〕
態様１または１１記載の方法を実行するためのコンピュータ実行可能命令を記憶している、非一時的なコンピュータ可読記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】