特許 6034983 高ビット深さビデオのスケーラブル符号化における高精度アップサンプリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6034983

(24)【登録日】2016年11月4日

(45)【発行日】2016年11月30日

(54)【発明の名称】高ビット深さビデオのスケーラブル符号化における高精度アップサンプリング

(51)【国際特許分類】

   H04N 19/80 20140101AFI20161121BHJP

   H04N 19/59 20140101ALI20161121BHJP

   H04N 19/33 20140101ALI20161121BHJP

【ＦＩ】

   H04N19/80

   H04N19/59

   H04N19/33

【請求項の数】13

【全頁数】14

(21)【出願番号】特願2015-549434(P2015-549434)

(86)(22)【出願日】2013年12月4日

(65)【公表番号】特表2016-507947(P2016-507947A)

(43)【公表日】2016年3月10日

(86)【国際出願番号】US2013073006

(87)【国際公開番号】WO2014099370

(87)【国際公開日】20140626

【審査請求日】2015年6月18日

(31)【優先権主張番号】61/745,050

(32)【優先日】2012年12月21日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】イン，ペング

(72)【発明者】

【氏名】ルー，タオラン

(72)【発明者】

【氏名】チェン，タオ

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 特表２００９−５２２９３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

スケーラブル・ビデオ・システムにおいて、第一の層からの画像データを第二の層にアップサンプリングする方法であって：
プロセッサにより、前記スケーラブル・ビデオ・システムのビット深さ要求に応答してスケーリングおよび丸めパラメータを決定する段階であって、前記スケーラブル・ビデオ・システムの前記ビット深さ要求は、中間値ビット深さ、内部入力ビット深さおよびフィルタリング係数精度ビット深さを含む、段階と；
前記第一の層からの前記画像データをフィルタリングすることによって第一のアップサンプリングされたデータを生成する段階であって、前記画像データの前記フィルタリングは第一の丸めパラメータを使って第一の空間方向にわたって実行される、段階と；
前記第一のアップサンプリングされたデータを第一のシフト・パラメータを用いてスケーリングすることによって第一の中間データを生成する段階と；
前記第一の中間データをフィルタリングすることによって第二のアップサンプリングされたデータを生成する段階であって、前記第一の中間データの前記フィルタリングは第二の丸めパラメータを使って第二の空間方向にわたって実行される、段階と；
前記第二のアップサンプリングされたデータを第二のシフト・パラメータを用いてスケーリングすることによって第二の中間データを生成する段階と；
前記第二の中間データをクリッピングすることによって前記第二の層のための出力アップサンプリングされたデータを生成する段階とを含み、
前記第一のシフト・パラメータは、前記内部入力ビット深さのビット深さ値を前記フィルタリング係数精度ビット深さと加算し、それらの和から前記中間値ビット深さを減算することによって決定され、
前記第二のシフト・パラメータを決定することが、前記フィルタリング係数精度ビット深さの二倍から前記第一のシフト・パラメータを減算することを含む、
方法。

【請求項2】

前記スケーラブル・ビデオ・システムはビデオ・エンコーダを有する、請求項１記載の方法。

【請求項3】

前記スケーラブル・ビデオ・システムはビデオ・デコーダを有する、請求項１記載の方法。

【請求項4】

前記第一および第二の丸めパラメータを決定することが、
iOffset1＝1<<(nShift1−1)および
iOffset2＝1<<(nShift2−1)
を計算することを含み、ここで、iOffset1は前記第一の丸めパラメータであり、iOffset2は前記第二の丸めパラメータであり、nShift1は前記第一のシフト・パラメータであり、nShift2は前記第二のシフト・パラメータである、請求項１記載の方法。

【請求項5】

前記第一および第二の丸めパラメータは0に等しいと決定される、請求項１記載の方法。

【請求項6】

前記第一および第二の丸めパラメータを決定することが、
iOffset1＝1<<(nShift1−1)および
iOffset2＝0
を計算することを含み、ここで、iOffset1は前記第一の丸めパラメータであり、iOffset2は前記第二の丸めパラメータであり、nShift1は前記第一のシフト・パラメータである、請求項１記載の方法。

【請求項7】

前記第一および第二の丸めパラメータを決定することが、
iOffset1＝0および
iOffset2＝1<<(nShift2−1)
を計算することを含み、ここで、iOffset1は前記第一の丸めパラメータであり、iOffset2は前記第二の丸めパラメータであり、nShift2は前記第二のシフト・パラメータである、請求項１記載の方法。

【請求項8】

前記第一の空間方向が水平方向であり、前記第二の空間方向が垂直方向である、請求項１記載の方法。

【請求項9】

前記第一の空間方向が垂直方向であり、前記第二の空間方向が水平方向である、請求項１記載の方法。

【請求項10】

前記第一の空間方向が固定されており、ビデオ復号規格の仕様によってあらかじめ決定されている、請求項１記載の方法。

【請求項11】

前記第一の空間方向がエンコーダによって決定されて、該エンコーダによってデコーダに通信される、請求項１記載の方法。

【請求項12】

請求項１ないし１１のうちいずれか一項記載の方法を実行するよう構成された、プロセッサを有する装置。

【請求項13】

請求項１ないし１１のうちいずれか一項記載の方法を実行するためのコンピュータ実行可能命令を記憶している非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は2012年12月21日に出願された米国仮特許出願第61/745,050号の優先権を主張するものである。同出願の内容はここに参照によってその全体において組み込まれる。

【0002】

技術
本発明は概括的には画像に関する。より詳細には、本発明のある実施形態は、高ビット深さビデオについてのスケーラブルなビデオ・コーデックにおける高精度アップサンプリングに関する。

【背景技術】

【0003】

オーディオおよびビデオ圧縮は、マルチメディア・コンテンツの開発、記憶、配送および消費における主要な構成要素である。圧縮方法の選択は、符号化効率、符号化複雑さおよび遅延の間のトレードオフに関わる。コンピューティング・コストに対する処理パワーの比が増すにつれて、より効率的な圧縮を許容するより複雑な圧縮技法の開発が許容されるようになる。例として、ビデオ圧縮において、国際標準機関（ISO）からの動画像専門家グループ（MPEG）は、もとのMPEG-1ビデオ規格に対して、MPEG-2、MPEG-4（パート2）およびH.264/AVC（またはMPEG-4パート10）符号化規格をリリースすることによって改良を続けてきている。

【0004】

H.264の圧縮効率および成功にもかかわらず、高効率ビデオ符号化（HEVC: High Efficiency Video Coding）として知られる新世代のビデオ圧縮技術が現在開発中である。ここに参照によりその全体において組み込まれる非特許文献１において草稿が入手できるHEVCは、ここに参照によりその全体において組み込まれる非特許文献２として公表されている既存のH.264（AVCとしても知られる）規格に対して改善された圧縮機能を提供すると期待されている。

【0005】

ビデオ信号は、ビット深さ、色空間、色域および解像度といった複数のパラメータによって特徴付けることができる。現代のテレビジョンおよびビデオ再生装置（たとえばブルーレイ・プレーヤー）は、標準精細度（たとえば720×480i）および高精細度（HD）（たとえば1090×1080p）を含む多様な解像度をサポートしている。超高精細度（UHD: Ultra high-definition）は、少なくとも3840×2160の解像度をもつ次世代の解像度フォーマットである。超高精細度は、ウルトラHD、UHDTVまたはスーパーハイビジョンとも称されることがある。本稿での用法では、UHDはHD解像度より高い任意の解像度を表わす。

【0006】

ビデオ信号の特性のもう一つの側面は、ダイナミックレンジである。ダイナミックレンジ（DR）は、画像における、たとえば最も暗い暗部から最も明るい明部までの、強度（たとえば、ルミナンス、ルーマ）の範囲である。本稿での用法では、用語「ダイナミックレンジ」（DR）は、人間の視覚心理学系（HVS）の、たとえば最も暗い暗部から最も明るい明部までの、画像における強度（たとえば、ルミナンス、ルーマ）の範囲を知覚する能力に関係しうる。この意味で、DRは「シーン基準の（scene-referred）」強度に関係する。DRは、特定の幅の強度範囲を十分にまたは近似的にレンダリングする表示装置の能力にも関係する。この意味で、DRは「ディスプレイ基準の（display-referred）」強度に関係する。本稿の記述における任意の点において特定の意味が特に有意であることが明示的に指定されるのでない限り、上記用語はどちらの意味でも、たとえば交換可能に使用されうると推定されるべきである。

【0007】

本稿での用法では、高ダイナミックレンジ（HDR: high dynamic range）という用語は人間の視覚系（HVS: human visual system）の14〜15桁ほどにまたがるDR幅に関係する。たとえば、本質的に正常な（たとえば統計的、バイオメトリックまたは眼科的な意味のうちの一つまたは複数の意味で）、よく順応した人間は約15桁にまたがる強度範囲をもつ。順応した人間は、ほんの一握りの光子ほどの弱い光源を知覚しうる。しかしながら、これらの同じ人間が、砂漠、海または雪における白昼の太陽のほとんど痛々しいほどの明るい強度を感知することがある（あるいは、傷害を防ぐため短時間とはいえ、太陽を見ることさえある）。ただし、この幅は「順応した」人間に利用可能である。たとえばそのような人間のHVSは、リセットし調整するためのある時間期間をもつ。

【0008】

対照的に、人間が強度範囲の広範な幅を同時に知覚しうるDRは、HDRに対してある程度打ち切られていることがある。本稿での用法では、「向上ダイナミックレンジ」（EDR）、「視覚的ダイナミックレンジ」または「可変ダイナミックレンジ」（VDR）は、個々にまたは交換可能に、HVSによって同時に知覚可能なDRに関係する。本稿での用法では、EDRは5〜6桁にまたがるDRに関しうる。よって、真のシーン基準のHDRに比べるといくぶん狭いかもしれないが、それでもEDRは幅広いDR幅を表す。本稿での用法では、用語「同時ダイナミックレンジ」はEDRに関係しうる。

【0009】

本稿での用法では、画像またはビデオの「ビット深さ（bit-depth）」という用語は、画像またはビデオ信号の色成分のピクセル値を表現するまたは記憶するために使われるビット数を表わす。たとえば、Nビット・ビデオという用語（たとえばN＝8）は、そのビデオ信号における色成分（たとえばR、GまたはB）のピクセル値が0から2^N−1の範囲内の値を取り得ることを表わす。

【0010】

本稿での用法では、「高ビット深さ」という用語は、8ビットより大きい任意のビット深さ値を表わす（たとえばN＝10ビット）。HDR画像およびビデオ信号は典型的には高ビット深さに関連するが、高ビット深さ画像は必ずしも高ダイナミックレンジをもつとは限らないことがあることを注意しておく。よって、本稿での用法では、高ビット深さイメージングは、HDRおよびSDR画像の両方と関連しうる。

【0011】

新たなディスプレイ技術のほかにレガシーの再生装置との後方互換性をサポートするために、上流の装置から下流の装置にUHDおよびHDR（またはSDR）ビデオ・データを送達するために、複数の層が使用されてもよい。そのような複数層ストリームが与えられると、レガシー・デコーダは基本層を使って、当該コンテンツのHD SDRバージョンを再構成しうる。進んだデコーダは、基本層および向上層の両方を使って、当該コンテンツのUHD EDRバージョンを、より高機能なディスプレイ上でレンダリングするために、再構成しうる。

【先行技術文献】

【非特許文献】

【0012】

【非特許文献1】B.Bross, W.-J.Han, G.J.Sullivan, J.-R.Ohm, and T.Wiegand、"High efficiency video coding (HEVC) text specification draft 9"、ITU-T/ISO/IEC Joint Collaborative Team on Video Coding (JCT-VC) document JCTVC-K1003, Oct 2012

【非特許文献2】ITU-T and ISO/IEC JTC 1、"Advanced Video Coding for generic audio-visual services", ITU T Rec. H.264およびISO/IEC14496-10（AVC）

【非特許文献3】SMuC0.1.1 software for SHVC (scalable extension of HEVC): https://hevc.hhi.fraunhofer.de/svn/svn_SMuCSoftware/tags/0.1.1/

【発明の概要】

【発明が解決しようとする課題】

【0013】

ここで本発明者らが認識したところでは、高ビット深さビデオの符号化についての改善された技法が望ましい。

【0014】

上記のセクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、該セクションにおいて記述されるアプローチはいずれも、該セクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、該セクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。

【課題を解決するための手段】

【0015】

本発明の実施形態が、限定ではなく例として、付属の図面において示される。図面において、同様の参照符号は同様の要素を指す。

【図面の簡単な説明】

【0016】

【図1】本発明のある実施形態に基づくスケーラブル符号化システムの例示的な実装を描く図である。

【図2】本発明のある実施形態に基づくスケーラブル復号システムの例示的な実装を描く図である。

【図3】本発明のある実施形態に基づく画像データ・アップサンプリングのための例示的なプロセスを描く図である。

【発明を実施するための形態】

【0017】

高ビット深さをもつビデオ入力のスケーラブル符号化における高精度アップサンプリングが本稿で記述される。中間結果のビット深さ、内部的な入力ビット深さおよびフィルタ精度ビット深さに関係するパラメータを与えられて、演算の正確さを保持し、オーバーフローを防ぐために、スケーリングおよび丸め因子が決定される。

【0018】

下記の記述では、本発明の十全な理解を提供するために、説明の目的で数多くの個別的詳細が記載される。しかしながら、本発明がそうした個別的詳細なしでも実施されうることは明白であろう。他方、本発明を無用に埋没させるのを避けるために、よく知られた構造および装置は網羅的な詳細さでは記述されない。

【0019】

〈概観〉
本稿に記載される例示的な実施形態は、高ビット深さをもつビデオ信号の層構成にされた（layered）符号化および復号における高精度アップサンプリングに関する。ビデオ符号化または復号システムのビット深さ要求、入力データおよびフィルタリング係数に応じて、分離可能なアップスケーリング・フィルタのために、スケーリングおよび丸めパラメータが決定される。入力データはまず、第一の丸めパラメータを使って第一の空間方向にわたってフィルタリングされて、第一のアップサンプリングされたデータを生成する。第一のアップサンプリングされたデータを第一のシフト・パラメータを使ってスケーリングすることによって第一の中間データが生成される。次いで、中間データは第二の丸めパラメータを使って第二の空間方向にわたってフィルタリングされて、第二のアップサンプリングされたデータを生成する。第二のアップサンプリングされたデータを第二のシフト・パラメータを使ってスケーリングすることによって第二の中間データが生成される。この第二の中間データをクリッピングすることによって、最終的なアップサンプリングされたデータが生成されうる。

【0020】

〈高精度の分離可能なアップサンプリング〉
HDTV、セットトップボックスまたはブルーレイ・プレーヤーのような既存の表示および再生装置は典型的には1080p HD解像度（たとえば60フレーム毎秒で1920×1080）までの信号をサポートする。消費者用途のためには、そのような信号は現在、典型的には、ルーマ‐クロマ・カラー・フォーマットにおける色成分毎、ピクセル毎に8ビットのビット深さを使って圧縮される。ここで、典型的にはクロマ成分はルーマ成分より低い解像度をもつ（たとえば、YCbCrまたはYUV 4:2:0カラー・フォーマット）。8ビット深さおよび対応する低いダイナミックレンジのため、そのような信号は典型的には、標準ダイナミックレンジ（SDR）の信号と称される。

【0021】

超高精細度（UHD）のような新たなテレビジョン規格が開発されつつあるので、向上した解像度および／またはより高いビット深さをもつ信号を、スケーラブルなフォーマットでエンコードすることが望ましいことがある。

【0022】

図１は、スケーラブル・エンコーディング・システムの例示的な実装の実施形態を描いている。ある例示的な実施形態では、基本層（BL）入力信号１０４はHD SDR信号を表わしていてもよく、向上層（EL）入力１０２は高ビット深さでのUHD HDR（またはSDR）を表わしていてもよい。BL入力１０４は、BLエンコーダ１０５を使って圧縮（またはエンコード）されて、符号化されたBLビットストリーム１０７を生成する。BLエンコーダ１０５は、MPEG-2、MPEG-4パート2、H.264、HEVC、VP8などといった既知のまたは将来のビデオ圧縮アルゴリズムの任意のものを使ってBL入力信号１０４を圧縮またはエンコードしうる。

【0023】

BL入力１０４が与えられると、エンコード・システム１００は、符号化されたBLビットストリーム１０７だけでなく、対応する受信器によってBL信号１０７が復号される際にそうなるような、BL信号１０７を表わすBL信号１１２をも生成する。いくつかの実施形態では、信号１１２は、BLエンコーダ１０５に続く別個のBLデコーダ（１１０）によって生成されてもよい。他のいくつかの実施形態では、BLエンコーダ１０５において動き補償を実行するために使われる信号１１２がフィードバック・ループから生成されてもよい。図１に描かれるように、信号１１２は層間処理ユニット１１５によって処理されて、層間予測プロセス１２０によって使用されるのに好適な信号を生成してもよい。いくつかの実施形態では、層間処理ユニット１１５は、EL入力１０２の空間分解能にマッチするよう信号１１２をアップスケーリングしてもよい（たとえばHD解像度からUHD解像度へ）。層間予測１２０に続いて、残差１２７が計算され、これがその後ELエンコーダ１３２によって符号化されて、符号化されたELビットストリーム１３２を生成する。BLビットストリーム１０７およびELビットストリーム１３２は典型的には、好適な受信器に伝送される単一の符号化されたビットストリームに多重化される。

【0024】

用語SHVCは、既存のAVC（非特許文献２）より実質的に高い圧縮機能を可能にする高効率ビデオ符号化（HEVC）（非特許文献１）として知られる新世代のビデオ圧縮技術のスケーラブル拡張を表わす。SHVCは現在、ISO/IEC MPEGおよびITU-T WP3/16グループによって合同で開発されているところである。SHVCの主要な側面の一つは、層間テクスチャー予測（たとえば１２０または２１０）が最も著しい利得を提供する空間的スケーラビリティーである。SHVCデコーダの例が図２に示されている。層間予測の一部として、アップサンプリング・プロセス（２２０）は、基本層（２１５）からのピクセルデータを、向上層（たとえば２０２または２３０）において受領されるデータのピクセル解像度に合うよう、アップサンプリングまたはアップコンバートする。ある実施形態では、アップサンプリング・プロセスは、アップサンプリングまたは補間フィルタを適用することによって実行されてもよい。H.264のスケーラブル拡張（SVC）またはSHVC SmuC0.1.1ソフトウェア（非特許文献３）では、分離可能なポリフェーズ・アップサンプリング／補間フィルタが適用される。そのようなフィルタは、標準的なビット深さをもつ入力データ（たとえばピクセル毎、色成分毎に8ビットを使う画像）ではよく機能するものの、高ビット深さをもつ入力データ（たとえば、ピクセル毎、色成分毎に10ビット以上を使う画像）についてはオーバーフローすることがある。

【0025】

2Dアップサンプリングまたは補間プロセスにおいて、共通の慣行は、処理の複雑さを軽減するために分離可能フィルタ（separable filter）を適用することである。そのようなフィルタは画像をまずある空間方向（たとえば水平または垂直）に、次いで他方の方向（たとえば垂直または水平）にアップサンプリングする。一般性を失うことなく、以下の記述では、水平方向のアップサンプリングのあとに垂直方向のアップサンプリングがくるとする。すると、フィルタリング・プロセスは次のように記述できる。

【0026】

水平アップサンプリング：
tempArray[x,y]=Σ_i,j(eF[xPhase,
i]*refSampleArray[xRef+j,y])
(1)
垂直アップサンプリング
predArray[x,y]=Clip((Σ_i,j(eF[yPhase,i]*tempArray[x,yRef+j])+offset)>>nshift)
(2)
ここで、eFはポリフェーズ・アップサンプリング・フィルタ係数を格納しており、refSampleArrayは再構成された基本層からの参照サンプル値を含んでおり、tempArrayは第一の1Dフィルタリング後の中間値を格納し、predArrayは第二の1Dフィルタリング後の最終的な値を格納し、xRefおよびyRefはアップサンプリングのための相対ピクセル位置に対応し、nshiftはスケーリングまたは規格化パラメータを表わし、offsetは丸めパラメータを表わし、Clip()はクリッピング関数を表わす。たとえば、データxおよび閾値AおよびBが与えられて、ある例示的な実施形態では、y＝Clip(x,A,B)は
y＝x A＜x＜Bの場合
A x≦Aの場合
B x≧Bの場合
を表わす。たとえば、Nビット画像データについて、AおよびBの例示的な値はA＝0およびB＝2^N−1であってもよい。

【0027】

式(2)において、演算a＝b>>cは、bの二進表現を右側にcビットだけシフトすることによって、bが2^cで除算されることを表わす（たとえば、a＝b/2^c）。第一段のフィルタリングについての式(1)においてはクリッピングもシフト演算も適用されないことを注意しておく。この実装のもとでは水平フィルタリングおよび垂直フィルタリングの順序は問題ではないことも注意しておく。まず垂直フィルタリング、次いで水平フィルタリングを適用することは、まず水平フィルタリング、次いで垂直フィルタリングを適用することと同じ結果を与える。

【0028】

SMuC0.01（非特許文献３）では、eFのフィルタ精度（US_FILTER_PRECと表わされる）は6ビットに設定される。refSampleArrayの内部ビット深さが8ビットであれば、tempArrayは目標実装ビット深さ（たとえば、14または16ビット）以内に保たれうる。だが、refSampleArrayの内部ビット深さが8ビットより大きい場合（たとえば10ビット）には、式(1)の出力はオーバーフローすることがありうる。

【0029】

ある実施形態では、そのようなオーバーフローは、（ａ）アップサンプリング・プロセスにおける演算の順序を固定することによっておよび（ｂ）中間的なスケーリング演算を組み込むことによって防止されうる。ある実施形態では、水平フィルタリングのあとに垂直フィルタリングが行なわれ、アップサンプリングは次のように実装されてもよい。

【0030】

水平アップサンプリング
tempArray[x,y]=(Σ_i,j
(eF[xPhase,i]*refSampleArray[xRef+j,y]+iOffset1))>>
nShift1 (3)
垂直アップサンプリング
predArray[x,y]=Clip((Σ_i,j(eF[yPhase,
i]*tempArray[x,yRef+j])+iOffset2)>>nShift2)
(4)。

【0031】

一般性を失うことなく、INTERM_BITDEPTHは中間的なフィルタ処理についてのビット深さ（またはビット分解能）要求を表わすものとする。つまり、いかなる結果もINTERM_BITDEPTHより多くのビットで表現されることはできない（たとえばINTERM_BITDEPTH＝16）。INTERNAL_INPUT_BITDEPTHがプロセッサにおいて入力ビデオ信号を表現するために使われるビット深さを表わすものとする。INTERNAL_INPUT_BITDEPTHは入力信号のもとのビット深さに等しいまたはより大きいことがありうることを注意しておく。たとえば、いくつかの実施形態では、8ビットの入力ビデオ・データがINTERNAL_INPUT_BITDEPTH＝10を使って内部的に表現されてもよい。あるいはまた、別の例において、14ビット入力ビデオがINTERNAL_INPUT_BITDEPTH＝14で表現されてもよい。

【0032】

ある実施形態では、式(3)および(4)におけるスケーリング・パラメータは次のように計算されうる。

【0033】

nShift1＝(US_FILTER_PREC＋INTERNAL_INPUT_BITDEPTH)−INTERM_BITDEPTH (5)
nShift2＝2*US_FILTER_PREC−nShift1 (6)
ある実施形態では、nShift1およびnShift2の値は負になることは許容されなくてもよい。たとえば、nShift1についての負の値は、中間結果について許容されるビット解像度がオーバーフローを防ぐために十分以上であることを示す。よって、負のときは、nShift1は0に設定されてもよい。

【0034】

(3)および(4)の両方において丸めが使われる場合（最高の複雑さ、最高の精度）には、
iOffset1＝1<<(nShift1−1) (7)
iOffset2＝1<<(nShift2−1) (8)
となる。ここで、a＝1<<cは、「1」をcビットだけバイナリーで左にシフトすることを表わす。すなわち、a＝2^cである。

【0035】

あるいはまた、(3)および(4)の両方において丸めが使われない場合（最低の複雑さ、最低の精度）には、
iOffset1＝0 (9)
iOffset2＝0 (10)
。

【0036】

あるいはまた、丸めが(3)では使われるが(4)では使われない場合には、
iOffset1＝1<<(nShift1−1) (11)
iOffset2＝0 (12)。

【0037】

あるいはまた、丸めが(4)では使われるが(3)では使われない場合（これは一般的である）には、
iOffset1＝0 (13)
iOffset2＝1<<(nShift2−1) (14)。

【0038】

ある例示的な実施形態では、INTERM_BITDEPTH＝14、US_FILTER_PREC＝6、INTERNAL_INPUT_BITDEPTH＝8とすると、式(5)および(6)からnShift1＝0およびnShift2＝12となる。US_FILTER_PREC＝6についての別の例では、INTERNAL_INPUT_BITDEPTH＝10およびINTERM_BITDEPTH＝14であれば、nShift1＝2であり、選択された丸めモードに依存してiOffset1＝0または2である。加えて、nShift2＝10であり、選択された丸めモードに依存してiOffset2＝0または2⁹である。

【0039】

式(3)および(4)に描かれる実装を使うと、垂直フィルタリングのあとに水平フィルタリングを行なうことは、水平フィルタリングのあとに垂直フィルタリングを行なうこととは異なる結果を与えることがあり、よって、デコーダにおいて、適正なフィルタリングが固定であってすべてのデコーダによって（たとえば復号規格または仕様によって）あらかじめ決定されていてもよく、あるいは実施形態によっては適正な順序がエンコーダによってデコーダにメタデータ中の適切なフラグを使って信号伝達されてもよいことを注意しておく。

【0040】

図３は、本発明のある実施形態に基づく画像データ・アップサンプリングのための例示的なプロセスを描いている。まず（３０５）、層構成にされた符号化システムにおけるエンコーダまたはデコーダが適正なフィルタリング順序（たとえば水平フィルタリングのあとに垂直フィルタリング）ならびにスケーリングおよび丸めパラメータを決定する。ある実施形態では、スケーリングおよび丸めパラメータは、式(5)〜(14)に従って、中間的な記憶（たとえばINTERM_BITDEPTH）、フィルタ係数（たとえばUS_FILTER_PREC）および内部入力表現（たとえばINTERNAL_INPUT_BITDEPTH）のための必要とされるビット深さに基づいて決定されてもよい。ステップ３１０では、画像データは第一の方向（たとえば水平）においてアップサンプリングされる。この段の出力結果は、第一のシフト・パラメータ（たとえばnShift1）および第一の丸めパラメータ（たとえばiOffset1）を使って、中間的な記憶の前に丸められ、スケーリングされる。次に（３１５）中間的な結果は第二の方向（たとえば垂直）においてアップサンプリングされる。この段の出力結果は、第二のシフト・パラメータ（たとえばnShift2）および第二の丸めパラメータ（たとえばiOffset2）を使って、丸められ、スケーリングされる。最後に（３２０）、第二段の出力データが、最終的な出力または記憶の前にクリッピングされる。

【0041】

本稿に記載される方法は、ダウンスケーリング、ノイズ・フィルタリングまたは周波数変換といった、高ビット深さ画像データの分離可能フィルタリングを用いる他のイメージング・アプリケーションにも適用可能でありうる。

【0042】

〈例示的なコンピュータ・システム実装〉
本発明の実施形態は、コンピュータ・システム、電子回路およびコンポーネントにおいて構成されたシステム、マイクロコントローラ、フィールド・プログラム可能なゲート・アレイ（FPGA）または他の構成設定可能もしくはプログラム可能な論理デバイス（PLD）、離散時間またはデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）のような集積回路（IC）装置および／またはそのようなシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されてもよい。コンピュータおよび／またはICは、本稿に記載したような高精度アップサンプリングに関係する命令を実行、制御または執行してもよい。コンピュータおよび／またはICは、本稿に記載したような高精度アップサンプリングに関係する多様なパラメータまたは値の任意のものを計算してもよい。エンコードおよびデコード実施形態は、ハードウェア、ソフトウェア、ファームウェアおよびそれらのさまざまな組み合わせにおいて実装されうる。

【0043】

本発明のある種の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータ・プロセッサを有する。たとえば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどにおける一つまたは複数のプロセッサが、該プロセッサにとってアクセス可能なプログラム・メモリ中のソフトウェア命令を実行することによって、上記に記載したような高精度アップサンプリングに関係する方法を実装してもよい。本発明は、プログラム・プロダクトの形で提供されてもよい。プログラム・プロダクトは、データ・プロセッサによって実行されたときに該データ・プロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを担持する任意の媒体を含みうる。本発明に基づくプログラム・プロダクトは、幅広い多様な形のいかなるものであってもよい。プログラム・プロダクトは、たとえば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD-ROM、DVDを含む光データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体などのような物理的な媒体であってもよい。プログラム・プロダクト上のコンピュータ可読信号は任意的に圧縮または暗号化されていてもよい。

【0044】

上記でコンポーネント（たとえば、ソフトウェア・モジュール、プロセッサ、組立体、装置、回路など）が言及されるとき、特に断わりのない限り、そのコンポーネントへの言及（「手段」への言及を含む）は、本発明の例示した実施例における機能を実行する開示される構造と構造的に等価ではないコンポーネントも含め、記載されるコンポーネントの機能を実行する（たとえば機能的に等価な）任意のコンポーネントをそのコンポーネントの等価物として含むと解釈されるべきである。

【0045】

〈等価物、拡張、代替その他〉
このように、高ビット深さビデオのスケーラブル符号化における高精度アップサンプリングに関係する例示的な実施形態が記載されている。以上の明細書では、本発明の諸実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であるか、何が出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。
いくつかの態様を記載しておく。
〔態様１〕
スケーラブル・ビデオ・システムにおいて、第一の層からの画像データを第二の層にアップサンプリングする方法であって：
プロセッサにより、前記スケーラブル・ビデオ・システムのビット深さ要求に応答してスケーリングおよび丸めパラメータを決定する段階と；
前記第一の層からの前記画像データをフィルタリングすることによって第一のアップサンプリングされたデータを生成する段階であって、前記画像データの前記フィルタリングは第一の丸めパラメータを使って第一の空間方向にわたって実行される、段階と；
前記第一のアップサンプリングされたデータを第一のシフト・パラメータを用いてスケーリングすることによって第一の中間データを生成する段階と；
前記第一の中間データをフィルタリングすることによって第二のアップサンプリングされたデータを生成する段階であって、前記第一の中間データの前記フィルタリングは第二の丸めパラメータを使って第二の空間方向にわたって実行される、段階と；
前記第二のアップサンプリングされたデータを第二のシフト・パラメータを用いてスケーリングすることによって第二の中間データを生成する段階と；
前記第二の中間データをクリッピングすることによって前記第二の層のための出力アップサンプリングされたデータを生成する段階とを含む、
方法。
〔態様２〕
前記スケーラブル・ビデオ・システムはビデオ・エンコーダを有する、態様１記載の方法。
〔態様３〕
前記スケーラブル・ビデオ・システムはビデオ・デコーダを有する、態様１記載の方法。〔態様４〕
前記スケーラブル・ビデオ・システムの前記ビット深さ要求は、中間値ビット深さ、内部入力ビット深さおよびフィルタリング係数精度ビット深さのうちの少なくとも一つを含む、態様１記載の方法。
〔態様５〕
前記第一のシフト・パラメータを決定することが、前記内部入力ビット深さのビット深さ値を前記フィルタリング係数精度ビット深さと加算し、それらの和から前記中間値ビット深さを減算することを含む、態様４記載の方法。
〔態様６〕
前記第二のシフト・パラメータを決定することが、前記フィルタリング係数精度ビット深さの二倍から前記第一のシフト・パラメータを減算することを含む、態様４記載の方法。
〔態様７〕
前記第一および第二の丸めパラメータを決定することが、
iOffset1＝1<<(nShift1−1)および
iOffset2＝1<<(nShift2−1)
を計算することを含み、ここで、iOffset1は前記第一の丸めパラメータであり、iOffset2は前記第二の丸めパラメータであり、nShift1は前記第一のシフト・パラメータであり、nShift2は前記第二のシフト・パラメータである、態様１記載の方法。
〔態様８〕
前記第一および第二の丸めパラメータは0に等しいと決定される、態様１記載の方法。
〔態様９〕
前記第一および第二の丸めパラメータを決定することが、
iOffset1＝1<<(nShift1−1)および
iOffset2＝0
を計算することを含み、ここで、iOffset1は前記第一の丸めパラメータであり、iOffset2は前記第二の丸めパラメータであり、nShift1は前記第一のシフト・パラメータである、態様１記載の方法。
〔態様１０〕
前記第一および第二の丸めパラメータを決定することが、
iOffset1＝0および
iOffset2＝1<<(nShift2−1)
を計算することを含み、ここで、iOffset1は前記第一の丸めパラメータであり、iOffset2は前記第二の丸めパラメータであり、nShift2は前記第二のシフト・パラメータである、態様１記載の方法。
〔態様１１〕
前記第一の空間方向が水平方向であり、前記第二の空間方向が垂直方向である、態様１記載の方法。
〔態様１２〕
前記第一の空間方向が垂直方向であり、前記第二の空間方向が水平方向である、態様１記載の方法。
〔態様１３〕
前記第一の空間方向が固定されており、ビデオ復号規格の仕様によってあらかじめ決定されている、態様１記載の方法。
〔態様１４〕
前記第一の空間方向がエンコーダによって決定されて、該エンコーダによってデコーダに通信される、態様１記載の方法。
〔態様１５〕
態様１記載の方法を実行するよう構成された、プロセッサを有する装置。
〔態様１６〕
態様１記載の方法を実行するためのコンピュータ実行可能命令を記憶している非一時的なコンピュータ可読記憶媒体。

【図1】

【図2】

【図3】