特許第5918332号(P5918332)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トムソン ライセンシングの特許一覧

特許5918332ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置
<>
  • 特許5918332-ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置 図000002
  • 特許5918332-ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置 図000003
  • 特許5918332-ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置 図000004
  • 特許5918332-ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置 図000005
  • 特許5918332-ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置 図000006
  • 特許5918332-ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置 図000007
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5918332
(24)【登録日】2016年4月15日
(45)【発行日】2016年5月18日
(54)【発明の名称】ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置
(51)【国際特許分類】
   H04N 19/33 20140101AFI20160428BHJP
【FI】
   H04N19/33
【請求項の数】10
【外国語出願】
【全頁数】16
(21)【出願番号】特願2014-214124(P2014-214124)
(22)【出願日】2014年10月21日
(62)【分割の表示】特願2011-547887(P2011-547887)の分割
【原出願日】2009年12月11日
(65)【公開番号】特開2015-39225(P2015-39225A)
(43)【公開日】2015年2月26日
【審査請求日】2014年10月22日
(31)【優先権主張番号】61/149,495
(32)【優先日】2009年2月3日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】501263810
【氏名又は名称】トムソン ライセンシング
【氏名又は名称原語表記】Thomson Licensing
(74)【代理人】
【識別番号】100134094
【弁理士】
【氏名又は名称】倉持 誠
(74)【代理人】
【識別番号】100121175
【弁理士】
【氏名又は名称】石井 たかし
(74)【代理人】
【識別番号】100123629
【弁理士】
【氏名又は名称】吹田 礼子
(74)【代理人】
【識別番号】100191824
【弁理士】
【氏名又は名称】西谷 明子
(72)【発明者】
【氏名】マ,ジヤン
(72)【発明者】
【氏名】ルオ,ジアンコン
(72)【発明者】
【氏名】イン,ペン
【審査官】 岩井 健二
(56)【参考文献】
【文献】 特開2009−010943(JP,A)
【文献】 特開2007−243942(JP,A)
【文献】 国際公開第2009/051692(WO,A2)
【文献】 国際公開第2009/003499(WO,A1)
【文献】 国際公開第2009/000110(WO,A1)
【文献】 国際公開第2008/086377(WO,A1)
【文献】 国際公開第2008/049446(WO,A1)
【文献】 Martin Winken et al.,SVC bit depth scalability,Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6),2nd Meeting: Marrakech, Morocco,2007年 1月,JVT-V078r1,pp.1-11
【文献】 Andrew Segall and Yeping Su,System for Bit-Depth Scalable Coding,Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6),23rd Meeting: San Jose, California, USA,2007年 4月,JVT-W113,pp.1-4
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 − 19/98
(57)【特許請求の範囲】
【請求項1】
ベース・レイヤ動きベクトルを復号することと、
前記ベース・レイヤ動きベクトルをアップサンプリングすることと、
前記アップサンプリングされたベース・レイヤ動きベクトルをエンハンスメント・レイヤ・リファレンスに適用することによって動き補償を実行して、エンハンスメント・レイヤ予測を生成することと、
前記エンハンスメント・レイヤ予測をベース・レイヤ・リファレンスにトーン・マッピングしてトーン・マッピングしたインターレイヤ残差予測を生成することと、
ベース・レイヤ残差を復号することと、
ピクチャの少なくとも一部分の前記復号されたベース・レイヤ残差を前記トーン・マッピングしたインターレイヤ残差予測に結合して平滑ベース・レイヤ・リファレンスを取得することと、
平滑リファレンス・フラグが真である場合に、平滑化フィルタを前記平滑ベース・レイヤ・リファレンスに適用することと、
前記平滑ベース・レイヤ・リファレンスを逆トーン・マッピングして逆トーン・マッピングした予測を生成することであって、前記逆トーン・マッピング演算が行われる領域が残差領域からピクセル領域にシフトされる、該生成することと、
エンハンスメント・レイヤ動きベクトルとエンハンスメント・レイヤ残差とをエントロピー復号することと、
前記復号されたエンハンスメント・レイヤ動きベクトルを前記逆トーン・マッピングした予測に適用することによって動き補償を実行して、動き補償ブロックを取得することと、
前記動き補償ブロック及び前記エンハンスメント・レイヤ残差に基づいて前記ピクチャの少なくとも一部分の再構築バージョンを生成することと、
によって、ピクチャの少なくとも一部分のピクチャ・データを復号するデコーダを有する装置。
【請求項2】
記エンハンスメント・レイヤ・リファレンスは前記ベース・レイヤ・リファレンスと同じビット深度を有する、請求項1に記載の装置。
【請求項3】
前記ベース・レイヤ残差を空間的にアップサンプリングして、空間的にアップサンプリングされたベース・レイヤ残差を取得し、前記空間的にアップサンプリングされたベース・レイヤ残差を前記トーン・マッピングしたインターレイヤ残差予測に結合して前記平滑ベース・レイヤ・リファレンスを取得する、請求項1に記載の装置。
【請求項4】
マクロブロック・レベル・シンタックスのフラグを使用して、前記インターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードを使用していることを示す、請求項1に記載の装置。
【請求項5】
前記平滑ベース・レイヤ・リファレンスを指すエントリが前記エンハンスメント・レイヤの既存のリファレンス・リストに追加されるように、前記インターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードを既存のインター・モードに埋め込んだ状態で受信する、請求項1に記載の装置。
【請求項6】
ベース・レイヤ動きベクトルを復号することと、
前記ベース・レイヤ動きベクトルをアップサンプリングすることと、
前記アップサンプリングされたベース・レイヤ動きベクトルをエンハンスメント・レイヤ・リファレンスに適用することによって動き補償を実行して、エンハンスメント・レイヤ予測を生成することと、
前記エンハンスメント・レイヤ予測をベース・レイヤ・リファレンスにトーン・マッピングして、トーン・マッピングしたインターレイヤ残差予測を生成することと、
ベース・レイヤ残差を復号することと、
ピクチャの少なくとも一部分の前記復号されたベース・レイヤ残差を前記トーン・マッピングしたインターレイヤ残差予測に結合して平滑ベース・レイヤ・リファレンスを取得することと、
平滑リファレンス・フラグが真である場合に、平滑化フィルタを前記平滑ベース・レイヤ・リファレンスに適用することと、
前記平滑ベース・レイヤ・リファレンスを逆トーン・マッピングして逆トーン・マッピングした予測を生成することであって、前記逆トーン・マッピング演算が行われる領域が残差領域からピクセル領域にシフトされる、該生成することと、
エンハンスメント・レイヤ動きベクトルとエンハンスメント・レイヤ残差とをエントロピー復号することと、
前記復号されたエンハンスメント・レイヤ動きベクトルを前記逆トーン・マッピングした予測に適用することによって動き補償を実行して、動き補償ブロックを取得することと、
前記動き補償ブロック及び前記エンハンスメント・レイヤ残差に基づいて前記ピクチャの少なくとも一部分の再構築バージョンを生成することと、
を含む方法。
【請求項7】
記エンハンスメント・レイヤ・リファレンスは前記ベース・レイヤ・リファレンスと同じビット深度を有する、請求項に記載の方法。
【請求項8】
前記ベース・レイヤ残差を空間的にアップサンプリングして、空間的にアップサンプリングされたベース・レイヤ残差を取得し、前記空間的にアップサンプリングされたベース・レイヤ残差を前記トーン・マッピングしたインターレイヤ残差予測に結合して前記平滑ベース・レイヤ・リファレンスを取得する、請求項に記載の方法。
【請求項9】
マクロブロック・レベル・シンタックスのフラグを使用して、前記逆トーン・マッピングしたインターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードを使用していることを示す、請求項に記載の方法。
【請求項10】
前記平滑ベース・レイヤ・リファレンスを指すエントリが前記エンハンスメント・レイヤの既存のリファレンス・リストに追加されるように、前記逆トーン・マッピングしたインターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードが、既存のインター・モードに埋め込んだ状態で受信される、請求項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、2009年2月3日出願の米国仮出願第61/149495号の利益を主張するものであり、これを参照することによりその開示内容全体が本明細書中に組み込まれる。
【0002】
本発明の原理は、一般にビデオの符号化および復号に関し、さらに詳細には、ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置に関する。
【背景技術】
【0003】
近年、例えば医療用画像処理、プロダクションおよびポストプロダクションにおけるディジタル映画ワークフロー、ホーム・シアター関連分野など、多くの応用分野において、8より大きいビット深度を有するディジタル画像/ビデオがますます望ましくなっている。将来の何れかの時点で従来の8ビット深度と高ビット深度のディジタル撮像システムとが共存するようになることを考えると、ビット深度のスケーラビリティが有用である可能性がある。8ビット・ビデオと10ビット・ビデオとの共存に対処する方法はいくつかある。第1の従来の解決策では、10ビット符号化ビット・ストリームのみを伝送し、10ビット・プレゼンテーションにトーン・マッピング方法を適用することにより、標準的な8ビット表示装置用の8ビット表現を得る。第2の従来技術の解決策では、8ビット符号化プレゼンテーションと10ビット符号化プレゼンテーションとを含む同時放送ビット・ストリームを伝送する。どちらのビット深度を選んで復号するかは、デコーダの選好による。例えば、10ビット対応デコーダは10ビット・ビデオを復号して出力することができるが、8ビットにしか対応していない通常のデコーダは、8ビット・ビデオしか出力することができない。第1の従来技術の解決策は、本質的に、国際標準化機構国際電気標準会議(ISO/IEC)MPEG−4(Moving Picture Experts Group−4) Part10 AVC(Advanced Video Coding)標準、国際電気通信連合電気通信標準化セクター(ITU−T)H.264勧告(以下「MPEG−4 AVC標準」)の8ビット・プロファイルに準拠していない。第2の従来技術の解決策は、現行の全ての標準に準拠しているが、必要なオーバヘッドが多くなる。しかしながら、ビット削減と後方標準互換性との間の良好な兼ね合いが、スケーラブルな解決策となる可能性がある。MPEG−4 AVC標準のスケーラブルな拡張とも呼ばれるスケーラブル・ビデオ符号化(SVC)は、ビット深度スケーラビリティのサポートを考慮している。ビット深度スケーラブル符号化には、後処理(post−processing)や同時放送(simulcast)に優る利点が少なくとも3つある。1つの利点は、ビット深度スケーラブル符号化では、MPEG−4 AVC標準のハイ・プロファイルとの後方互換性を維持した状態で、10ビット・ビデオが可能であることである。第2の利点は、ビット深度スケーラブル符号化では、様々なネットワーク帯域幅または装置の機能への適応が可能であることである。第3の利点は、ビット深度スケーラブル符号化は、複雑でなく、効率が高く、柔軟性が高いことである。
【0004】
MPEG−4 AVC SVC拡張
MPEG−4 AVC標準のSVC拡張の現在のバージョンでは、単一ループ復号をサポートして、復号の複雑さを軽減している。動き補償予測およびデブロッキングも含めたインター符号化マクロブロックの完全な復号は、現在の空間的または粗粒子スケーラビリティ(CGS;coarse−grain scalability)レイヤに必要なだけである。これは、インターレイヤ・イントラ・テクスチャ予測を、低レイヤ・ピクチャのイントラ・マクロブロックで符号化された部分に制限することによって行われる。ビット深度スケーラビリティのためにインターレイヤ・イントラ・テクスチャ予測を拡張するためには、逆トーン・マッピングが使用される。SVCも、インターレイヤ残差予測をサポートしている。トーン・マッピングは、通常はピクセル領域で使用されるので、残差領域における対応する逆トーン・マッピングを見つけるのは極めて困難である。第3および第4の従来技術の手法では、インターレイヤ残差予測のためにビット・シフトを使用している。
【0005】
MPEG−4 AVC標準のスケーラブル・ビデオ符号化(SVC)拡張のジョイント・ドラフト8(JD8)では、以下では第3の従来技術の手法とも呼ぶ、平滑参照予測(SRP;smooth reference prediction)と呼ばれる技術を提案している。シンタックス要素residual_prediction_flagおよびbase_mode_flagの両方が設定されたときに、1ビット・シンタックス要素smoothed_reference_flagが送信される。smoothed_reference_flag=1であるときには、デコーダにおいて以下のステップを行い、再構築されたビデオ・ブロックを取得する。
1.エンハンスメント・レイヤ・リファレンスフレームおよびベース・レイヤからのアップサンプリング動きベクトルを用いて、予測ブロックPを取得する。
2.対応するベース・レイヤ残差ブロックrをアップサンプリングし、U(r)をPに付加してP+U(r)を形成する。
3.タップ[1,2,1]の平滑化フィルタを、最初に水平方向に、次いで垂直方向に適用して、S(P+U(r))を取得する。
4.直前のステップ(3)の結果にエンハンスメント・レイヤ残差ブロックを付加して、再構築ブロックR=S(P+U(r))+rを取得する。
【0006】
さらに、第4の従来技術の手法は、BDS(ビット深度スケーラビリティ)のためのインターレイヤ残差予測の技術を提案するものである。この第4の従来技術の手法では、インターレイヤ残差予測のために逆トーン・マッピングの問題を残差領域からピクセル領域に変換する。インターレイヤ残差予測を用いる場合には、トーン・マッピング補償済み予測とベース・レイヤからのアップサンプリング残差の合計に逆トーン・マッピングを適用する。インターレイヤ残差予測を用いるときには、デコーダにおいて以下のステップを行い、再構築されたビデオ・ブロックを取得する。
1.エンハンスメント・レイヤ・リファレンスフレームを用いて予測ブロックPを取得し、次いでPをベース・レイヤ・ビット深度にトーン・マッピングしてT(P)を取得する。
2.対応するベース・レイヤ残差ブロックrを空間的にアップサンプリングし、U(r)をPに付加してT(P)+U(r)を形成する。
3.フィルタを使用して、S(T(P)+U(r))を取得する。
4.次いで、逆トーン・マッピングを適用して、T−1(S(T(P)+U(r)))を取得する。
5.直前のステップ(4)の結果にエンハンスメント・レイヤ残差ブロックを付加して、再構築ブロックR=T−1(S(T(P)+U(r)))+rを取得する。
【0007】
しかしながら、上述の従来技術の解決策は全て不十分である。例えば、第3の従来技術の手法では、トーン・マッピング演算および逆トーン・マッピング演算が欠けているために、エンハンスメント・レイヤとベース・レイヤとにおいて異なるビット深度を扱うことができない。さらに、第4の従来技術の手法に関しては、エンハンスメント・レイヤ予測の正確さにおいて改善の余地がある。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の原理は、従来技術の上記その他の欠点および不都合に対処するものであり、ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置を対象とするものである。
【課題を解決するための手段】
【0009】
本発明の原理の一態様によれば、装置が提供される。この装置は、ビット深度スケーラビリティのためにピクセル領域において実行される逆トーン・マッピング演算を用いてピクチャの少なくとも一部分のインターレイヤ残差予測を生成することによってピクチャの当該部分のピクチャ・データを符号化するエンコーダを有する。逆トーン・マッピング演算は、残差領域からピクセル領域にシフトされる。
【0010】
本発明の原理の他の一態様によれば、方法が提供される。この方法は、ビット深度スケーラビリティのためにピクセル領域において実行される逆トーン・マッピング演算を用いてピクチャの少なくとも一部分のインターレイヤ残差予測を生成することによってピクチャの当該部分のピクチャ・データを符号化するステップを含む。逆トーン・マッピング演算は、残差領域からピクセル領域にシフトされる。
【0011】
本発明の原理のさらに他の一態様によれば、装置が提供される。この装置は、ビット深度スケーラビリティのためにピクセル領域において実行される逆トーン・マッピング演算を用いてピクチャの少なくとも一部分のインターレイヤ残差予測を生成することによってピクチャの当該部分のピクチャ・データを復号するデコーダを有する。逆トーン・マッピング演算は、残差領域からピクセル領域にシフトされる。
【0012】
本発明の原理のさらに他の一態様によれば、方法が提供される。この方法は、ビット深度スケーラビリティのためにピクセル領域において実行される逆トーン・マッピング演算を用いてピクチャの少なくとも一部分のインターレイヤ残差予測を生成することによってピクチャの当該部分のピクチャ・データを復号するステップを含む。ここで逆トーン・マッピング演算は、残差領域からピクセル領域にシフトされる。
【0013】
本発明の原理の上記その他の特徴、特性および利点は、以下の例示的な実施例の詳細な説明を添付の図面と関連付けて読むことにより明らかになるであろう。
【0014】
本発明の原理は、以下の例示的な図面によってより理解することができる。
【図面の簡単な説明】
【0015】
図1】本発明の原理の実施例による、ビット深度スケーラビリティのためにインターレイヤ残差予測を用いる例示的なビデオ・エンコーダを示すブロック図である。
図2】本発明の原理の実施例による、ビット深度スケーラビリティのためにインターレイヤ残差予測を用いる例示的なビデオ・デコーダを示すブロック図である。
図3】本発明の原理の実施例による、オリジナル・リファレンスおよびベース・レイヤ残差情報を用いる平滑リファレンス生成の一例を示すハイレベル・ブロック図である。
図4】本発明の原理の実施例による、ビデオ・エンコーダにおけるビット深度スケーラビリティのためのインターレイヤ残差予測の例示的な方法を示す流れ図である。
図5】本発明の原理の実施例による、平滑参照復号の一例を示すハイレベル・ブロック図である。
図6】本発明の原理の実施例による、ビデオ・デコーダにおけるビット深度スケーラビリティのためのインターレイヤ残差予測の例示的な方法を示す流れ図である。
【発明を実施するための形態】
【0016】
本発明の原理は、ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置を対象とするものである。
【0017】
本明細書は、本発明の原理を例示するものである。従って、本明細書に明示的には記述または図示していなくても、本発明の趣旨および範囲に含まれる本発明の原理を実現する様々な構成を、当業者なら考案することができることを理解されたい。
【0018】
本明細書に記載する全ての例および条件に関する表現は、本発明の原理と、当技術分野をさらに進歩させるために発明者(等)が与える概念とを、読者が理解するのを助けるという教育的な目的を有するものであって、これらの具体的に列挙した例および条件に限定されるわけではないものと解釈されたい。
【0019】
さらに、本発明の原理、特徴および実施例ならびに本発明の具体的な例について本明細書で述べる全ての記述は、その構造的な均等物および機能的な均等物の両方を含むものとする。さらに、これらの均等物には、現在既知の均等物だけでなく、将来開発されるであろう均等物も含まれる、すなわち、その構造に関わらず、同じ機能を実行する将来開発される任意の要素も含まれるものとする。
【0020】
従って、例えば、当業者なら、本明細書に示すブロック図が本発明の原理を実施する例示的な回路の概念図を表していることを理解するであろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどが、コンピュータ可読媒体中に実質的に表現され、明示してある場合もしていない場合もあるコンピュータまたはプロセッサによって実質的に実行される様々なプロセスを表すことも理解されたい。
【0021】
図面に示す様々な要素の機能は、専用のハードウェアを使用することによって、またソフトウェアを実行することができるハードウェアを適当なソフトウェアと関連付けて使用することによって、実現することができる。プロセッサによってそれらの機能を実現するときには、単一の専用プロセッサで実現することも、単一の共用プロセッサで実現することも、あるいはその一部を共用することもできる複数の個別プロセッサで実現することもできる。さらに、「プロセッサ」または「制御装置(コントローラ)」という用語を明示的に用いていても、ソフトウェアを実行することができるハードウェアのみを指していると解釈すべきではなく、ディジタル信号プロセッサ(DSP)ハードウェア、ソフトウェアを記憶するための読取り専用メモリ(ROM)、ランダム・アクセス・メモリ(RAM)および不揮発性記憶装置(ただしこれらに限定されない)を黙示的に含むことがある。
【0022】
従来の、かつ/または特注のその他ハードウェアも含まれることがある。同様に、図面に示す任意のスイッチも、概念的なものに過ぎない。それらの機能は、プログラム論理の動作によっても、専用論理によっても、プログラム制御と専用論理との相互作用によっても、あるいは手作業でも実施することができ、インプリメンタ(implementer)が、前後関係から適宜判断して特定の技術を選択することができる。
【0023】
本明細書の特許請求の範囲において、特定の機能を実行する手段として表現されている任意の要素は、当該機能を実行する任意の方法を含むものとする。例えば、(a)当該機能を実行する回路素子の組合せや、(b)ファームウェアやマイクロコードなども含めた任意の形態のソフトウェアを、当該ソフトウェアを実行して当該機能を実行する適当な回路と組み合わせたものなども含むものとする。特許請求の範囲によって定義される本発明の原理は、記載した様々な手段が実施する機能を、特許請求の範囲が要求する仕方で組み合わせ、まとめることにある。従って、これらの機能を実施することができる任意の手段を、本明細書に示す手段の均等物とみなすものとする。
【0024】
本明細書において、本発明の原理の「一実施例」または「実施例」あるいはその変形例と述べている場合、それは、当該実施例に関連して述べられる特定の特性、構造、特徴などが、本発明の原理の少なくとも1つの実施例に含まれるという意味である。従って、本明細書の様々な箇所に見られる「一実施例において」または「実施例において」という表現、あるいはそうした表現の変形表現は、その全てが必ずしも同じ実施例のことを指しているわけではない。
【0025】
例えば「A/B」、「Aおよび/またはB」ならびに「AおよびBの少なくとも1つ」の場合など、「/」、「および/または」ならびに「の少なくとも1つ」の何れかを使用している場合、それは、最初に挙げた選択肢(A)のみを選択すること、2番目に挙げた選択肢(B)のみを選択すること、または両方の選択肢(AおよびB)を選択することを含むものであることを理解されたい。さらに別の例として、「A、Bおよび/またはC」ならびに「A、BおよびCの少なくとも1つ」の場合には、この表現は、最初に挙げた選択肢(A)のみを選択すること、2番目に挙げた選択肢(B)のみを選択すること、3番目に挙げた選択肢(C)のみを選択すること、最初と2番目の選択肢(AおよびB)のみを選択すること、最初と3番目の選択肢(AおよびC)のみを選択すること、2番目と3番目の選択肢(BおよびC)のみを選択すること、または3つ全ての選択肢(AおよびBおよびC)を選択することを含むものである。当技術分野および関連技術分野の当業者には容易に分かるように、このことは、列挙されている項目の数に応じて拡張することができる。
【0026】
本発明の原理および従来技術を説明するために、本明細書では低ビット深度および高ビット深度という用語を使用する。これらの用語は、2つの異なるレベルのビット深度定義を定義するためのものである。高ビット深度は、低ビット深度より高いビット深度であることを特徴とするので、相対的な用語である。説明および例示のために、低ビット深度は8ビット、高ビット深度は10ビットであるものと仮定する。低ビット深度および高ビット深度という、これらの用語の相対的な性質から容易に分かるように、ここで求められる要件は、低ビット深度が高ビット深度未満であるということであり、それ以外の点に関しては、この用語は任意である。従って、例えば、低ビット深度は、4ビットでも6ビットでも、さらには12ビットでも良い。想定する高ビット深度が低ビット深度より大きいことが唯一の要件であるからである。従って、12ビットのビット深度を低ビット深度として定義すると仮定した場合には、高ビット深度は、14ビットや16ビットなど、12より大きいその他の任意のビット深度であると考えることができる。ここで、本発明の原理の説明および例示において低ビット深度が8ビットに等しいと仮定する場合には、高ビット深度の要件は、8ビットを超えていれば何ビットでも良いということになる(ここでは説明のために10ビットを仮定するが、12ビットや14ビットのビット深度など、8より大きいその他の任意のビット深度を含むことができる)。低ビット深度と高ビット深度の比較を説明する別の方法は、ベース・レイヤ・ビット深度と、ベース・レイヤ・ビット深度より大きいエンハンスト・レイヤ・ビット深度である。従って、本発明の原理の1つまたは複数の実施例では10ビット・ピクチャを高ビット深度の例として使用するが、本発明の原理はこれに限定されるわけではなく、従って、本発明の原理で使用する高ビット深度は、12ビットや14ビットなど(ただしこれらに限定されない)を含む8より大きいその他の値(10以外の値)を取ることもできることを、理解されたい。
【0027】
さらに、本明細書で使用する「ピクチャ」および「画像」という用語は入れ替えて使用しても良く、ビデオ・シーケンスに含まれる静止画像またはピクチャを指している。既知の通り、ピクチャは、フレームであってもフィールドであっても良い。
【0028】
さらに、本明細書では、MPEG−4 AVC標準のスケーラブル・ビデオ符号化(SVC)拡張に関連して本発明の原理の1つまたは複数の実施例について述べるが、本発明の原理は、この拡張および/またはこの標準のみに限定されるわけではなく、従って、本発明の原理の趣旨を維持しながら、その他のビデオ符号化標準および勧告、ならびにそれらの拡張について利用することもできる。
【0029】
図1を参照すると、ビット深度スケーラビリティのためにインターレイヤ残差予測を用いた例示的なビデオ・エンコーダの全体が、参照番号100で示されている。ビデオ・エンコーダ100は、変換器110の入力部と信号通信する出力部を有する結合器105を含む。変換器110の出力部は、量子化器115の入力部に信号通信するように接続されている。量子化器115の出力部は、エントロピ符号化器120の第1の入力部および逆量子化器/逆変換器125の入力部に信号通信するように接続されている。逆量子化器/逆変換器125の出力部は、結合器130の第1の非反転入力部に信号通信するように接続されている。結合器130の出力部は、ループ・フィルタ135の入力部に信号通信するように接続されている。ループ・フィルタ135の出力は、インターレイヤ動き推定またはインターレイヤ動き予測決定を行う装置140の入力部に信号通信するように接続されている。装置140の出力部は、エントロピ符号化器120の第2の入力部および動き補償器145の入力部に信号通信するように接続されている。動き補償器145の出力部は、結合器130の第2の非反転入力部および結合器105の反転入力部に信号通信するように接続されている。装置140および動き補償器145は、装置133に含まれる。リファレンス・プロバイダ(reference provider)222は、平滑リファレンス・プロバイダ150およびオリジナル・リファレンス・プロバイダ155を含む。オリジナル・リファレンス・プロバイダ155の出力部は、スイッチ160の第1の入力部に信号通信するように接続されている。平滑リファレンス・プロバイダ150の出力部は、スイッチ160の第2の入力部に信号通信するように接続されている。スイッチ160の出力部は装置133に信号通信するように接続されており、スイッチ160の出力は装置140および/または動き補償器145に供給されることが可能である。結合器105の非反転入力部は、高ビット深度信号を受信するための、ビデオ・エンコーダ100の入力部として利用することができる。エントロピ符号化器120の出力部は、高ビット深度ビット・ストリームを出力するための、ビデオ・エンコーダ100の出力部として利用することができる。
【0030】
図2を参照すると、ビット深度スケーラビリティのためにインターレイヤ残差予測を使用する例示的なビデオ・デコーダの全体が、参照番号200で示されている。ビデオ・デコーダ200は、逆変換器および逆量子化器210の入力部と信号通信するように接続されている第1の出力部を有するエントロピ・デコーダ205を含んでいる。逆変換器および逆量子化器210の出力部は、結合器215の第1の非反転入力部に信号通信するように接続されている。結合器215の出力部は、ループ・フィルタ220の入力部に信号通信するように接続されている。ループ・フィルタ220の第1の出力部は、リファレンス・プロバイダ222の入力部に信号通信するように接続されている。リファレンス・プロバイダ222は、オリジナル・リファレンス・プロバイダ230および平滑リファレンス・プロバイダ225を含んでいる。オリジナル・リファレンス・プロバイダ230の出力部は、スイッチ235の第1の入力部に信号通信するように接続されている。平滑リファレンス・プロバイダ225の出力部は、スイッチ235の第2の入力部に信号通信するように接続されている。スイッチの出力部は、動き補償器240の第1の入力部に接続されている。動き補償器240の出力部は、結合器215の第2の非反転入力部に信号連絡で接続されている。エントロピ・デコーダ205の第2の出力部は、動き補償器240の第2の入力部に信号通信するように接続されている。エントロピ・デコーダ205の入力部は、高ビット深度ビット・ストリームを受信するための、ビデオ・デコーダ200の入力部として利用することができる。ループ・フィルタ220の第2の出力部は、高ビット深度ピクチャを出力するための、ビデオ・デコーダ200の出力部として利用することができる。
【0031】
本発明の原理に従って、発明者等は、逆トーン・マッピングした平滑参照を動き補償の参照フレームとして使用することを提案する。一実施例では、発明者等は、逆トーン・マッピング問題を、インターレイヤ残差予測のために残差領域からピクセル領域に変換する。例示のために、本明細書では、ビット深度スケーラビリティのみを含み、単一ループ復号アーキテクチャを使用する1つまたは複数の実施例について説明する。しかし、本発明の原理はこれらに限定されるわけではなく、従って、本明細書に与える本発明の原理の教示があれば、当技術分野および関連技術分野の当業者なら、本発明の原理の趣旨を維持したまま、ビット深度スケーラビリティと空間的スケーラビリティなどのスケーラビリティの組合せ、および複数ループ復号アーキテクチャを含むように、本発明の原理を容易に拡張することができることを理解されたい。
【0032】
発明者等は、代替の平滑参照を動き補償に使用する符号化モードを追加することも提案する。この代替の平滑参照は、エンハンスメント・レイヤの参照フレーム、ならびにベース・レイヤの動きデータおよび残差データを用いて構築される。
【0033】
図3を参照すると、オリジナル・リファレンスおよびベース・レイヤ残差情報を用いた平滑リファレンスの作成の一例の全体が、参照番号300で示されている。オリジナル・フレーム・バッファからのエンハンスメント・レイヤ予測p305をトーン・マッピングして、p=T(p)310を取得する。トーン・マッピング・フレームp310は、結合器315の第1の非反転入力部に入力される。ベース・レイヤ残差r320は、結合器315の第2の非反転入力部に入力される。結合器315の出力は、平滑ベース・レイヤ・フレームp+r325を含む。平滑ベース・レイヤ・フレームp+r325を逆トーン・マッピングして、Pe,smooth=T−1(p+r)330を得る。
【0034】
本発明の原理の一実施例によるビデオ符号化手順は、以下の通りである。
1.以下のサブステップを用いて、各ブロックごとに代替の参照フレームREFaltを作成する。
a.配列(collocated)ベース・レイヤ・ブロックがイントラ符号化されている場合には、逆トーン・マッピング復号ブロックをコピーする。そうでない場合には、以下のサブステップbまたはcの一方を実行する。
b.一実施例では、10ビット・エンハンスメント・レイヤ・リファレンスピクチャおよびベース・レイヤ・アップサンプリング動きデータを使用して動き補償を実行して、予測ブロックPを作成する。次いで、Pを8ビット・バージョン画像T(P)にトーン・マッピングする。
c.他の実施例では、エンハンスメント・レイヤからの8ビット・トーン・マッピング参照ピクチャおよびベース・レイヤからのアップサンプリング動きデータを使用して動き補償を実行して、予測ブロックT(P)を形成する。
d.対応するベース・レイヤ残差フレームrを、U(r)まで空間的にアップサンプリングする。次いで、U(r)をT(P)に付加して、T(P)+U(r)を形成する。
e.フィルタを使用して、S(T(P)+U(r))を取得する。
f.次いで、逆トーン・マッピングを適用して、T−1(S(T(P)+U(r)))を取得する。
2.次いで、REFaltを参照フレームとして使用して、動き推定を適用する。動きベクトルmvおよび残差rを符号化して伝送する。
【0035】
マクロブロック(MB)レベル・シンタックスにおけるフラグsmooth_ref_flagは、この符号化モードを使用していることを示すために使用される。
【0036】
他の実施例では、この符号化モードをINTER符号化プロセスに埋め込み、代替のリファレンスを示すエントリが、エンハンスメント・レイヤのリファレンス・リストにもう1つ追加されるようにすることができる。この実施例では、この符号化モードを使用していることを示すフラグは必要ない。
【0037】
図4を参照すると、ビデオ・エンコーダにおいてビット深度スケーラビリティのためのインターレイヤ残差予測を行う例示的な方法の全体が、参照番号400で示されている。この方法400は、機能ブロック415に制御をパスする開始ブロック405を含んでいる。機能ブロック415は、ベース・レイヤ動きベクトル(mv)を使用し、制御を機能ブロック420にパスする。機能ブロック420は、ベース・レイヤ動きベクトルをアップサンプリングし、制御を機能ブロック425にパスする。機能ブロック425は、現在のブロックに対応する動き補償済みブロックPを取得し、制御を機能ブロック430にパスする。機能ブロック430は、動き補償済みブロックに対してトーン・マッピングを実行して低ビット深度予測T(P)を取得して、制御を機能ブロック435にパスする。機能ブロック435は、ベース・レイヤ・テクスチャ残差rを読み取り、制御を機能ブロック440にパスする。機能ブロック440は、ベース・レイヤ・テクスチャ残差rを低ビット深度予測T(P)に結合して、平滑参照ピクチャ、すなわちP’=T(P)+rを取得して、制御を決定ブロック445にパスする。決定ブロック445は、平滑参照を適用するか否かを判定する。適用する場合には、制御は機能ブロック450に移る。そうでない場合には、制御は機能ブロック455に移る。
【0038】
機能ブロック450は、平滑参照ピクチャP’に平滑フィルタを適用し、制御を機能ブロック455にパスする。
【0039】
機能ブロック455は、P’に対して逆トーン・マッピングを実行して高ビット深度予測T−1(P’)を取得して、制御を機能ブロック460にパスする。機能ブロック460は、T’(P’)をリファレンス(参照)として使用して動き推定を実行して動きベクトル(mv)およびエンハンスメント残差rを取得して、制御を終了ブロック499にパスする。
【0040】
図5を参照すると、平滑参照復号の一例の全体が、参照番号500で示されている。オリジナル・フレーム・バッファ505の出力部および平滑フレーム・バッファ510の出力部が、結合器515の第1の非反転入力部に信号通信するように接続されている。結合器515の出力部は、動き補償器520の第1の入力部に信号通信するように接続されている。動き補償器520の出力部は、結合器525の第1の非反転入力部に信号通信するように接続されている。結合器515の第2の非反転入力部は、smooth_ref_flagを受信するための、平滑参照復号500の入力部として利用することができる。動き補償器520の第2の入力部は、動きベクトルを受信するための、平滑参照復号500の入力部として利用することができる。結合器525の第2の非反転入力部は、エンハンスメント・レイヤ残差を受信するための、平滑参照復号500の入力部として利用することができる。結合器525の出力部は、再構築ブロックRを出力するための、平滑参照復号500の出力部として利用することができる。オリジナル・フレーム・バッファ505および平滑フレーム・バッファ510は、メモリ577に含まれる。オリジナル・フレーム・バッファ505および平滑フレーム・バッファ510の両方を単一のメモリ577に関して示しているが、これらのバッファ505および510は、別個のメモリに記憶することもできる。このような変形形態およびその他の変形形態は、本発明の原理の趣旨に含まれる。
【0041】
本発明の原理の一実施例によるビデオ復号手順は、以下の通りである。
1.以下のサブステップを用いて、各ブロックごとに代替の参照フレームREFaltを作成する。
a.配列ベース・レイヤ・ブロックがイントラ符号化されている場合には、逆トーン・マッピング復号ブロックをコピーする。そうでない場合には、以下のサブステップbまたはcの一方を実行する。
b.一実施例では、10ビット・エンハンスメント・レイヤ・リファレンスピクチャおよびベース・レイヤ・アップサンプリング動きデータを使用して動き補償を実行して、予測ブロックPを作成する。次いで、Pを8ビット・バージョン画像T(P)にトーン・マッピングする。
c.他の実施例では、エンハンスメント・レイヤからの8ビット・トーン・マッピング参照ピクチャおよびベース・レイヤからのアップサンプリング動きデータを使用して動き補償を実行して、予測ブロックT(P)を形成する。
d.対応するベース・レイヤ残差フレームrを、U(r)まで空間的にアップサンプリングする。次いで、U(r)をT(P)に付加して、T(P)+U(r)を形成する。
e.フィルタを使用して、S(T(P)+U(r))を取得する。
f.次いで、逆トーン・マッピングを適用して、T−1(S(T(P)+U(r)))を取得する。
2.次いで、動き補償を適用してMC(REFalt,mv)を取得する。ここで、mvは動きベクトルである。
3.直前のステップ(2)の結果にエンハンスメント・レイヤ残差ブロックを付加して、再構築ブロックR=MC(REFalt,mv)+rを取得する。
【0042】
図6を参照すると、ビデオ・デコーダにおいてビット深度スケーラビリティのためにインターレイヤ残差予測を行う例示的な方法の全体が、参照番号600で示されている。この方法600は、制御を機能ブロック615にパスする開始ブロック605を含んでいる。機能ブロック615は、ベース・レイヤ動きベクトル(mv)を読み取り、エントロピ復号して、制御を機能ブロック620にパスする。機能ブロック620は、ベース・レイヤ動きベクトル(mv)をアップサンプリングして、制御を機能ブロック625にパスする。機能ブロック625は、動き補償済みブロックPを取得して、制御を機能ブロック630にパスする。機能ブロック630は、Pに対してトーン・マッピングを実行して低ビット深度予測T(P)を取得して、制御を機能ブロック635にパスする。機能ブロック635は、ベース・レイヤ・テクスチャ残差rを読み取り、エントロピ復号し、制御を機能ブロック640にパスする。機能ブロック640は、ベース・レイヤ・テクスチャ残差rを低ビット深度予測T(P)に結合して平滑参照ピクチャすなわちP’=T(P)+rを取得して、制御を決定ブロック645にパスする。決定ブロック645は、平滑参照フラグが真であるか否かを判定する。真である場合には、制御は機能ブロック650にパスされる。そうでない場合には、制御は機能ブロック655にパスされる。
【0043】
機能ブロック650は、平滑参照ピクチャP’に平滑フィルタを適用し、制御を機能ブロック655にパスする。
【0044】
機能ブロック655は、P’に逆トーン・マッピングを実行して高ビット深度予測T−1(P’)を取得して、制御を機能ブロック660にパスする。機能ブロック660は、動きベクトル(mv)およびエンハンスメント・レイヤ残差rを読み取り、エントロピ復号し、制御を機能ブロック665にパスする。機能ブロック665は、動き補償を実行してブロックR’を取得して、機能ブロック670に移行する。機能ブロック670は、高ビット深度予測T−1(P’)をエンハンスメント・レイヤ残差rに結合することによって得られた現在のブロックの再構築ブロックR、すなわちR=T−1(P’)+rを生成し、制御を終了ブロック699にパスする。
【0045】
一部については上記で述べたが、本発明に付属する多数の利点/特性の一部を次に説明する。例えば、1つの利点/特性は、ビット深度スケーラビリティのためにピクセル領域において実行される逆トーン・マッピング演算を用いてピクチャの少なくとも一部分のインターレイヤ残差予測を生成することによってピクチャの当該部分のピクチャ・データを符号化するエンコーダを有する装置である。逆トーン・マッピング演算は、残差領域からピクセル領域にシフトされる。
【0046】
他の利点/特性は、上述のエンコーダを有する装置であって、このエンコーダは、エンハンスメント・レイヤ・リファレンスを用いた動き補償を実行してエンハンスメント・レイヤ予測を生成し、エンハンスメント・レイヤ予測をベース・レイヤ・リファレンスにトーン・マッピングしてトーン・マッピング予測を生成し、上記部分のベース・レイヤ残差をトーン・マッピング予測に結合して平滑ベース・レイヤ・リファレンスを取得し、平滑ベース・レイヤ・リファレンスを逆トーン・マッピングして逆トーン・マッピング予測を生成することによって、上記インターレイヤ残差予測を生成する装置である。エンコーダは、逆トーン・マッピング予測を用いた動き推定および動き補償を実行して動きベクトルを取得し、動きベクトルならびに逆トーン・マッピング予測と入力ピクチャとの間の誤差を符号化して伝送する。
【0047】
さらに他の利点/特性は、少なくとも上述のように動き補償を実行するエンコーダを有する装置であって、この動き補償をエンハンスメント・レイヤ・リファレンスおよびベース・レイヤ・アップサンプリング動きデータを用いて実行してエンハンスメント・レイヤ予測を生成する装置である。このエンハンスメント・レイヤ・リファレンスはベース・レイヤ・リファレンスと同じビット深度を有する。
【0048】
さらに他の利点/特性は、少なくとも上述のように動き補償を実行するエンコーダを有する装置であって、この動き補償をエンハンスメント・レイヤ・リファレンスおよびベース・レイヤ・アップサンプリング動きデータを用いて実行してエンハンスメント・レイヤ予測を生成する装置である。このエンハンスメント・レイヤ・リファレンスはベース・レイヤ・リファレンスより大きいビット深度を有する。
【0049】
さらに、他の利点/特性は、少なくとも上述のように動き補償を実行するエンコーダを有する装置であって、ベース・レイヤ残差を空間的にアップサンプリングして、空間的にアップサンプリングされたベース・レイヤ残差を取得し、空間的にアップサンプリングされたベース・レイヤ残差をトーン・マッピング予測に結合して平滑ベース・レイヤ・リファレンスを取得する装置である。
【0050】
さらに、他の利点/特性は、少なくとも上述のように動き補償を実行するエンコーダを有する装置であって、マクロブロック・レベル・シンタックスのフラグを使用して、インターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードを使用していることを示す装置である。
【0051】
また、他の利点/特性は、少なくとも上述のように動き補償を実行するエンコーダを有する装置であって、平滑ベース・レイヤ・リファレンスを指すエントリがエンハンスメント・レイヤの既存のリファレンス・リストに追加されるように、インターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードを既存のインター・モードに埋め込んだ状態で送信する装置である。
【0052】
本発明の原理の上記その他の特性および利点は、本明細書の教示に基づいて、当業者であれば容易に確かめることができる。これらの本発明の原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサ、またはそれらの様々な組合せの形態で実施することができる。
【0053】
本発明の原理の教示は、ハードウェアとソフトウェアの組合せとして実施されることが最も好ましい。さらに、ソフトウェアは、プログラム記憶装置に実装されたアプリケーション・プログラムとして実施することができる。アプリケーション・プログラムは、任意の適当なアーキテクチャを備える機械にアップロードして実行することができる。この機械は、1つまたは複数の中央処理装置(CPU)、ランダム・アクセス・メモリ(RAM)、および入出力(I/O)インタフェースなどのハードウェアを有するコンピュータ・プラットフォームで実施されることが好ましい。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードも備えることができる。本明細書に記載する様々なプロセスおよび機能は、CPUによって実行することができる、マイクロ命令コードの一部またはアプリケーション・プログラムの一部あるいはそれらの組合せの何れかにすることができる。さらに、追加のデータ記憶装置や印刷装置など、その他の様々な周辺装置をコンピュータ・プラットフォームに接続することもできる。
【0054】
さらに、添付の図面に示す構成要素となるシステム構成要素および方法の一部は、ソフトウェアで実施することが好ましいので、システム構成要素間またはプロセス機能ブロック間の実際の接続は、本発明の原理をプログラミングする方法によって異なっていてもよいことも理解されたい。本明細書の教示があれば、当業者なら、本発明の原理の上記の実施態様または構成およびそれと同様の実施態様または構成を思いつくことができるであろう。
【0055】
本明細書では、添付の図面を参照して例示的な実施例について述べたが、本発明の原理は、これらの具体的な実施例に限定されるわけではなく、当業者なら、本発明の原理の範囲または趣旨を逸脱することなく様々な変更および修正をそれらの実施例に加えることができることを理解されたい。そうした変更および修正は全て、添付の特許請求の範囲に記載する本発明の原理の範囲に含まれる。
図1
図2
図3
図4
図5
図6