特許 7548479 複数の色成分の同時変換コーディング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】複数の色成分の同時変換コーディング

(51)【国際特許分類】

   H04N 19/597 20140101AFI20240903BHJP

   H04N 19/70 20140101ALI20240903BHJP

【ＦＩ】

H04N19/597

H04N19/70

【請求項の数】 20

(21)【出願番号】P 2022516378

(86)(22)【出願日】2021-02-24

(65)【公表番号】

(43)【公表日】2022-11-16

(86)【国際出願番号】 US2021019371

(87)【国際公開番号】W WO2021194679

(87)【国際公開日】2021-09-30

【審査請求日】2022-03-14

(31)【優先権主張番号】63/000,109

(32)【優先日】2020-03-26

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/083,662

(32)【優先日】2020-10-29

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】イエア，セフーン

(72)【発明者】

【氏名】ジャオ，シン

(72)【発明者】

【氏名】リィウ，シャン

【審査官】田中 純一

(56)【参考文献】

【文献】特表２０２２－５２４４４０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０４０９７０８（ＵＳ，Ａ１）

【文献】特表２００８－５２７７８２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００６／０１４６１９１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサによって行われるビデオデコーディングの方法であって、当該方法は、
少なくとも２つのクロマ予測残差信号ブロックのデータを含む、ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）形式のビデオデータを受信することと、
前記少なくとも２つのクロマ予測残差信号ブロックの組み合わせ以下のサイズを有する少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間で変換を行うことと、
前記少なくとも２つのクロマ予測残差信号ブロックの組み合わせ以下のサイズを有する前記少なくとも１つの信号ブロックを含む、前記変換の出力に基づいて前記ビデオデータをデコーディングすることと、
を含む、方法。

【請求項2】

前記少なくとも２つのクロマ予測残差信号ブロックは、Ｎ１ｘＮ２ Ｃｂ残差ブロックと、Ｎ１ｘＮ２ Ｃｒ残差ブロックとを含む、請求項１に記載の方法。

【請求項3】

前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間で変換を行うことは、前記少なくとも１つの信号ブロックの係数の伝達されたインデックスを逆量子化することと、該逆量子化された伝達されたインデックスを２ｘＮ１ｘＮ２×ＬｘＭ行列により変換することにより行われ、
２ｘＮ１ｘＮ２は、前記少なくとも２つのクロマ予測残差信号ブロックの組み合わせのサイズであり、
ＬｘＭは、前記少なくとも２つのクロマ予測残差信号ブロックの組み合わせ以下の前記サイズである、請求項２に記載の方法。

【請求項4】

前記逆量子化された伝達されたインデックスを２ｘＮ１ｘＮ２×ＬｘＭ行列により変換することの結果は、再構成された２ｘＮ１ｘＮ２ベクトルを含み、
前記ビデオデータをデコーディングすることは、前記再構成された２ｘＮ１ｘＮ２ベクトルから、前記Ｎ１ｘＮ２ Ｃｂ残差ブロック及び前記Ｎ１ｘＮ２ Ｃｒ残差ブロックを再構成することを含む、請求項３に記載の方法。

【請求項5】

前記少なくとも１つの信号ブロックは、前記少なくとも２つのクロマ予測残差信号ブロックのインターリービングを含む、請求項４に記載の方法。

【請求項6】

前記少なくとも１つの信号ブロックは、２ｘＮ１ｘＮ２三次元（３Ｄ）キュービックを含む、請求項２乃至５のいずれか一項に記載の方法。

【請求項7】

前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間で変換を行うことは、前記３Ｄキュービックのｘ軸に沿ったＮ１ｘ１ベクトルのそれぞれに対する前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間の１点１Ｄ変換と、前記３Ｄキュービックのｙ軸に沿ったＮ２ｘ１ベクトルのそれぞれに対する前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間のＮ２点１Ｄ変換と、前記３Ｄキュービックのｚ軸に沿った２ｘ１ベクトルのそれぞれに対する前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間の２点変換を行うことを含む、請求項６に記載の方法。

【請求項8】

前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間で変換を行うことは、前記３Ｄキュービックのｚ軸に沿った２ｘ１ベクトルのそれぞれに対する前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間の２点１Ｄ変換と、前記３Ｄキュービックのｘｙ平面に対する前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間のＮ１ｘＮ２変換を行うことを含む、請求項６に記載の方法。

【請求項9】

前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間で変換を行うことは、前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間の一次変換及び二次変換を行うことを含む、請求項２乃至８のいずれか一項に記載の方法。

【請求項10】

前記一次変換及び前記二次変換のうちの少なくとも１つは、前記少なくとも２つのクロマ予測残差信号ブロックのうちの少なくとも１つの係数に関連する座標の値が閾値以上である所定の条件を決定することに対応して係数をゼロに設定することを含む、請求項９に記載の方法。

【請求項11】

ビデオデコーディングのための装置であって、当該装置は、
コンピュータプログラムコードを記憶するように構成された少なくとも１つのメモリと、
前記コンピュータプログラムコードにアクセスし、前記コンピュータプログラムコードによって命令されるように動作するように構成された少なくとも１つのプロセッサと、
を含み、
前記コンピュータプログラムコードは、
前記少なくとも１つのプロセッサに、少なくとも２つのクロマ予測残差信号ブロックのデータを含む、ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）形式のビデオデータを受信させるように構成された受信コードと、
前記少なくとも１つのプロセッサに、前記少なくとも２つのクロマ予測残差信号ブロックの組み合わせ以下のサイズを有する少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間で変換を行わせるように構成された実行コードと、
前記少なくとも１つのプロセッサに、前記少なくとも２つのクロマ予測残差信号ブロックの組み合わせ以下のサイズを有する前記少なくとも１つの信号ブロックを含む、前記変換の出力に基づいて前記ビデオデータをデコーディングさせるように構成されたデコーディングコードと、
を含む、装置。

【請求項12】

前記少なくとも２つのクロマ予測残差信号ブロックは、Ｎ１ｘＮ２ Ｃｂ残差ブロックと、Ｎ１ｘＮ２ Ｃｒ残差ブロックとを含む、請求項１１に記載の装置。

【請求項13】

前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間で変換を行うことは、前記少なくとも１つの信号ブロックの係数の伝達されたインデックスを逆量子化することと、該逆量子化された伝達されたインデックスを２ｘＮ１ｘＮ２×ＬｘＭ行列により変換することにより行われ、
２ｘＮ１ｘＮ２は、前記少なくとも２つのクロマ予測残差信号ブロックの組み合わせのサイズであり、
ＬｘＭは、前記少なくとも２つのクロマ予測残差信号ブロックの組み合わせ以下の前記サイズである、請求項１２に記載の装置。

【請求項14】

前記逆量子化された伝達されたインデックスを２ｘＮ１ｘＮ２×ＬｘＭ行列により変換することの結果は、再構成された２ｘＮ１ｘＮ２ベクトルを含み、
前記ビデオデータをデコーディングすることは、前記再構成された２ｘＮ１ｘＮ２ベクトルから、前記Ｎ１ｘＮ２ Ｃｂ残差ブロック及び前記Ｎ１ｘＮ２ Ｃｒ残差ブロックを再構成することを含む、請求項１３に記載の装置。

【請求項15】

前記少なくとも１つの信号ブロックは、前記少なくとも２つのクロマ予測残差信号ブロックのインターリービングを含む、請求項１４に記載の装置。

【請求項16】

前記少なくとも１つの信号ブロックは、２ｘＮ１ｘＮ２三次元（３Ｄ）キュービックを含む、請求項１２乃至１５のいずれか一項に記載の装置。

【請求項17】

前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間で変換を行うことは、前記３Ｄキュービックのｘ軸に沿ったＮ１ｘ１ベクトルのそれぞれに対する前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間の１点１Ｄ変換と、前記３Ｄキュービックのｙ軸に沿ったＮ２ｘ１ベクトルのそれぞれに対する前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間のＮ２点１Ｄ変換と、前記３Ｄキュービックのｚ軸に沿った２ｘ１ベクトルのそれぞれに対する前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間の２点変換を行うことを含む、請求項１６に記載の装置。

【請求項18】

前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間で変換を行うことは、前記３Ｄキュービックのｚ軸に沿った２ｘ１ベクトルのそれぞれに対する前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間の２点１Ｄ変換と、前記３Ｄキュービックのｘｙ平面に対する前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間のＮ１ｘＮ２変換を行うことを含む、請求項１６記載の装置。

【請求項19】

前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間で変換を行うことは、前記少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間の一次変換及び二次変換を行うことを含む、請求項１２至１８のいずれか一項に記載の装置。

【請求項20】

コンピュータにプロセスを実行させるプログラムを記憶する非一時的コンピュータ読み取り可能媒体であって、該プロセスは、
少なくとも２つのクロマ予測残差信号ブロックのデータを含む、ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）形式のビデオデータを受信することと、
前記少なくとも２つのクロマ予測残差信号ブロックの組み合わせ以下のサイズを有する少なくとも１つの信号ブロックと、前記少なくとも２つのクロマ予測残差信号ブロックとの間で変換を行うことと、
前記少なくとも２つのクロマ予測残差信号ブロックの組み合わせ以下のサイズを有する前記少なくとも１つの信号ブロックを含む、前記変換の出力に基づいて前記ビデオデータをデコーディングすることと、
を含む、非一時的コンピュータ読み取り可能媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照／優先権主張
本願は、２０２０年３月２６日に出願された米国仮出願第６３／０００１０９号及び２０２０年１０月２９日に出願された米国仮出願第１７／０８３６６２号の優先権を主張し、それらの全体は参照により本願に明示的に組み込まれている。

【0002】

本開示は、概してデータ処理の分野に関し、より具体的にはビデオエンコーディング及び／又はデコーディングに関する。

【背景技術】

【0003】

ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）は、インターネットを介したビデオ伝送用に設計されたオープンビデオコーディングフォーマットである。それは、半導体企業、ビデオオンデマンドプロバイダー、ビデオコンテンツプロデューサー、ソフトウェア開発企業、ウェブブラウザーベンダーを含む、２０１５年に設立されたコンソーシアムであるAlliance for Open Media（ＡＯＭｅｄｉａ）によってＶＰ９の後継として開発された。ＡＶ１では合計５６の方向角があり、そのうち８つは公称角度（nominal angle）で、残りは公称角度からのデルタとして規定されている。

【0004】

ＡＶ１プロジェクトのコンポーネントの多くは、アライアンスのメンバーによるこれまでの研究努力から提供された。個々の貢献者は何年も前に実験的な技術プラットフォームを開始している。Ｘｉｐ／ＭｏｚｉｌｌａのＤａａｌａは２０１０年に既にコードを公開し、Ｇｏｏｇｌｅの実験的なＶＰ９の進化プロジェクトであるＶＰ１０が２０１４年９月１２日に発表され、ＣｉｓｃｏのＴｈｏｒが２０１５年８月１１日に発表されている。ＶＰ９のコードベースに基づいて、ＡＶ１は追加の技術を組み込み、そのいくつかはこれらの実験的なフォーマットで開発された。ＡＶ１参照コーデックの最初のバージョンである０．１．０は２０１６年４月７日に公表された。アライアンスは２０１８年３月２８日にＡＶ１ビットストリームの仕様のリリースを参照ソフトウェアベースのエンコーダ及びデコーダと共に発表した。２０１８年６月２５日には、仕様の検証済みのバージョン１．０．０がリリースされた。２０１９年１月８日には、Ｅｒｒａｔａ１を含む規格の検証済みバージョン１．０．０がリリースされた。ＡＶ１ビットストリームの仕様は参照ビデオコーデックを含む。

【0005】

ＩＴＵ－Ｔ ＶＣＥＧ（Ｑ６／１６）及びＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ １/ＳＣ ２９/ＷＧ １１）は、２０１３年（バージョン１）、２０１４年（バージョン２）、２０１５年（バージョン３）及び２０１６年（バージョン４）にＨ．２６５／ＨＥＶＣ（高効率ビデオコーディング）規格を公表した。それ以来、彼らは、圧縮能力においてＨＥＶＣを大幅に上回り得る将来のビデオコーディング技術の標準化のための潜在的ニーズを研究してきた。２０１７年１０月には、彼らは、ＨＥＶＣを超える能力のビデオ圧縮に関する提案のための共同提言を発表した（ＣｆＰ）。２０１８年２月１５日までに、標準ダイナミックレンジ（ＳＤＲ）について合計で２２のＣｆＰ回答が、高ダイナミックレンジ（ＨＤＲ）について１２のＣｆＰ回答が、３６０のビデオカテゴリーについて１２のＣｆＰ回答がそれぞれ提出された。２０１８年４月には、１２２ ＭＰＥＧ／１０ｔｈ ＪＶＥＴ（Joint Video Exploration Team － Joint Video
Expert Team）の会合で、受け取った全てのＣｆＰの回答が評価された。慎重な評価により、ＪＶＥＴはＨＥＶＣを越えた次世代ビデオコーディングの標準化、すなわち、いわゆるＶＶＣ（Versatile Video Coding）を正式に開始した。

【0006】

ＡＶ１では、クロマチャネル、例えばＣｂ及びＣｒのために、様々な手段により予測残差信号が生成され、イントラ及びインターコーディングシナリオのそれぞれにおいて適用される。ほとんどの場合、Ｃ及びＣｒチャネルに同じセットの予測方法が適用されるため、結果として得られる異なるクロマチャネルからの残差信号は、分類可能な一定の方法で相関する傾向がある。なお、ＡＶ１は、より良好な圧縮効率のためにそのような冗長性を取り除くコーディングツールを有していない。他方、現在のＶＶＣ設計はそのような傾向を利用する１つの方法を提供するが、それは、２つのコロケートされた（co－located）クロマサンプル間のみの相関を利用するという意味で限定されている。

【発明の概要】

【課題を解決するための手段】

【0007】

本開示は、一連の先進的なビデオコーディング技術を提示する。より具体的には、複数の色成分からの残差、例えば、２つのクロマ成分からの残差のジョイントコーディングするための変換スキームが開示される。

【0008】

コンピュータプログラムコードを記憶するように構成されたメモリと、コンピュータプログラムコードにアクセスして、コンピュータプログラムコードによって命令されるように動作するように構成されたプロセッサとを含む装置及び方法が含まれる。前記コンピュータプログラムは、少なくとも１つのプロセッサに、少なくとも２つのクロマ予測残差信号ブロックのデータを含む、ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）形式のビデオデータを受信させるように構成されたコードを受信することと、少なくとも１つのプロセッサに、クロマ予測残差信号ブロックの組み合わせ以下のサイズを有する少なくとも１つの信号ブロックと、クロマ予測残差信号ブロックとの間で変換を行わせるように構成されたコードを行うことと、少なくとも１つのプロッサに、クロマ予測残差ブロックの組み合わせ以下のサイズを有する少なくとも１つの信号ブロックを含む、変換の出力に基づいてビデオデータをデコーディングさせるように構成されたコードをデコーディングすることと、を含む。

【0009】

例示の実施形態によれば、クロマ予測残差信号ブロックは、Ｎ１ｘＮ２ Ｃｂ残差ブロックと、Ｎ１ｘＮ２ Ｃｒ残差ブロックとを含む。

【0010】

例示の実施形態によれば、変換は、クロマ予測残差信号ブロックの組み合わせ以下のサイズを有する少なくとも１つの信号ブロックの係数の伝達されたインデックスを逆量子化することと、該逆量子化された伝達されたインデックスを２ｘＮ１ｘＮ２×ＬｘＭ行列により変換することとを含み、２ｘＮ１ｘＮ２は、クロマ予測残差ブロックの組み合わせのサイズであり、ＬｘＭは、クロマ予測残差ブロックの組み合わせ以下のサイズである。

【0011】

例示の実施形態によれば、逆量子化された伝達されたインデックスを２ｘＮ１ｘＮ２×ＬｘＭ行列により変換することの結果は、再構成された２ｘＮ１ｘＮ２ベクトルを含み、ビデオデータをデコーディングすることは、再構成された２ｘＮ１ｘＮ２ベクトルから、Ｎ１ｘＮ２ Ｃｂ残差ブロック及びＮ１ｘＮ２ Ｃｒ残差ブロックを再構成することを含む。

【0012】

例示の実施形態によれば、少なくとも１つの信号ブロックは、少なくとも２つのクロマ予測残差信号ブロックのインターリービングを含む。

【0013】

例示の実施形態によれば、少なくとも１つの信号ブロックは、２ｘＮ１ｘＮ２三次元（３Ｄ）キュービックを含む。

【0014】

例示の実施形態によれば、変換は、３Ｄキュービックのｘ軸に沿ったＮ１ｘ１ベクトルのそれぞれに対するＮ１点１Ｄ変換と、３Ｄキュービックのｙ軸に沿ったＮ２ｘ１ベクトルのそれぞれに対するＮ２点１Ｄ変換と、３Ｄキュービックのｚ軸に沿った２ｘ１ベクトルのそれぞれに対する２点変換とを含む。

【0015】

例示の実施形態によれば、変換は、３Ｄキュービックのｚ軸に沿った２ｘ１ベクトルのそれぞれに対する２点１Ｄ変換と、３Ｄキュービックのｘｙ平面に対するＮ１ｘＮ２変換とを含む。

【0016】

例示の実施形態によれば、変換を行うことは、一次変換及び二次変換を行うことを含む。

【0017】

例示の実施形態によれば、一次変換及び二次変換のうちの少なくとも１つは、クロマ予測残差信号ブロックのうちの少なくとも１つの係数に関連する座標の値が閾値以上である所定の条件を決定することに対応して係数をゼロに設定することを含む。

【図面の簡単な説明】

【0018】

これら及び他の目的、特徴及び利点は、添付の図面に関連して読まれる例示の実施形態の以下の詳細な説明から明らかになるであろう。図面は、詳細な説明に関連して当業者の理解を容易にする上で明確にするためのものであるため、図面の様々な特徴は縮尺通りではない。

【図1】図１は、少なくとも１つの実施形態に係るネットワークコンピュータ環境を示す。

【図2】図２は、少なくとも１つの実施形態に係るＡＶ１の公称角度の図である。

【図3】図３は、少なくとも１つの実施形態に係る、ビデオデータをコード化するプログラムによって行われるステップを示す動作フローチャートである。

【図4】図４は、少なくとも１つの実施形態に係る、図１に示すコンピュータ及びサーバの内部及び外部コンポーネントのブロック図である。

【図5】図５は、少なくとも１つの実施形態に係る、図１に示さすコンピュータシステムを含む例示的なクラウドコンピューティング環境のブロック図である。

【図6】図６は、少なくとも１つの実施形態に係る、図５の例示のクラウドコンピューティング環境の機能層のブロック図である。

【図7】図７は、例示の実施形態に係る、ＡＶＩにおける非方向性のスムーズイントラ予測器に関する特徴のブロック図である。

【図8】図８は、例示の実施形態に係る、再帰的イントラフィルタリングモードに関する特徴のブロック図である。

【図9】図９は、例示の実施形態に係る、多層参照フレーム構造に関する特徴のブロック図である。

【図10】図１０は、例示の実施形態に係る、候補動きベクトルリスト構築に関する特徴のブロック図である。

【図11】図１１は、例示の実施形態に係る、動きフィールド推定に関する特徴の線図である。

【図12】図１２は、例示の実施形態に係る、重複ブロック動き補償（ＯＭＢＣ）のための重複領域に関する特徴のブロック図である。

【図13】図１３は、例示の実施形態に係る、歪み動き補償に関する特徴のブロック図である。

【図14】図１４は、例示の実施形態に係る、アドテスト複合予測に関する特徴のブロック図である。

【図15】図１５は、例示の実施形態に係る特徴のフロー図である。

【図16】図１６は、例示の実施形態に係る３Ｄキューブとして一体化された残差に関する特徴の空間図である。

【図17】図１７は、例示の実施形態に係るシステムに関する特徴のブロック図である。

【図18】図１８は、例示の実施形態に係るデコーダに関する特徴のブロック図である。

【図19】図１９は、例示の実施形態に係るエンコーダに関する特徴のブロック図である。

【発明を実施するための形態】

【0019】

本発明の構造及び方法の詳細な実施形態を本明細書で開示するが、開示の実施形態は、様々な形態で実施され得る本発明の構造及び方法の例示にすぎないことが分かる。しかしながら、これらの構造及び方法は多くの異なる形態で実施されてもよく、本明細書に記載の例示の実施形態に限定されるものと解釈すべきではない。むしろ、これらの例示の実施形態は、本開示が徹底的及び完全であり、当業者に範囲を完全に伝えるために提供される。説明では、周知の特徴及び技術の詳細は、提示される実施形態を不要に不明瞭にすることを避けるために省略され得る。

【0020】

実施形態は、概してデータ処理の分野に関し、より具体的にはビデオエンコーディング及びデコーディングに関する。以下で説明する例示の実施形態は、とりわけ、公称角度の値から導出されたデルタ角度（delta angle）の値を用いてビデオデータをエンコード及び／又はデコードするためのシステム、方法及びコンピュータプログラムを提供する。したがって、一部の実施形態は、全てのデルタ角度を伝達することを要さず且つデルタ角度の値のオンザフライ計算を可能にすることにより、計算の分野を改善する能力を有する。

【0021】

前述したように、ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）は、インターネットを介したビデオ伝送のために設計されたオープンビデオコーディングフォーマットである。それは、半導体企業、ビデオオンデマンドプロバイダー、ビデオコンテンツプロデューサー、ソフトウェア開発企業及びウェブブラウザーベンダーを含む、２０１５年に設立されたコンソーシアムであるＡｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ（ＡＯＭｅｄｉａ）によってＶＰ９の後継として開発された。ＡＶ１では合計５６の方向角があり、そのうち８つは公称角度であり、残りは公称角度からのデルタとして規定されている。しかしながら、コロケートされたルーマ予測モードに関係なく、全ての方向モードの公称角度及びデルタ角度の双方がクロマ成分のために伝達される。加えて、デルタ角度はルーマ及びクロマイントラ予測モードの両方で許容されているが、ルーマ及びクロマ成分の間でのデルタ角度の相関は用いられていない。したがって、５６の角度値全てを伝達する代わりに、公称角度に基づいてルーマ成分からクロマ成分のためのデルタ角度値を導出することは有利であり得る。

【0022】

本明細書では、様々な実施形態に係る方法、装置（システム）及びコンピュータ読み取り可能媒体のフローチャート図及び／又はブロック図を参照して態様を説明する。フローチャート図及び／又はブロック図の各ブロック及びフローチャート図及び／又はブロック図のブロックの組み合わせは、コンピュータ読み取り可能プログラム命令によって実施できることが理解されよう。

【0023】

次に図１を参照して、公称角度から導出されたデルタ角度を用いてビデオデータをエンコード及び／又はデコードするためのビデオコーディングシステム１００（以下、「システム」と言う）を示す、ネットワークコンピュータ環境の機能ブロック図である。図１は、１つの実施の説明を提供するだけであり、異なる実施形態が実施され得る環境に関するいかなる限定を含意するものではないことを理解されたい。図示の環境に対して、設計及び実施要件に基づき多くの変更が加えられ得る。

【0024】

システム１００はコンピュータ１０２及びサーバコンピュータ１１４を含み得る。コンピュータ１０２は、通信ネットワーク１１０（以下、「ネットワーク」）を介してサーバコンピュータ１１４と通信し得る。コンピュータ１０２は、プロセッサ１０４と、データ記憶装置１０６に記憶され、ユーザとのやりとり及びサーバコンピュータ１１４との通信を可能にするソフトウェアプログラム１０８とを含み得る。図４を参照して後述するように、コンピュータ１０２は内部コンポーネント８００Ａ及び外部コンポーネント９００Ａのそれぞれを含み、サーバコンピュータ１１４は内部コンポーネント８００Ｂ及び外部コンポーネント９００Ｂをそれぞれ含み得る。コンピュータ１０２は、例えばモバイルデバイス、電話、パーソナルデジタルアシスタント、ネットブック、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ又はプログラムを実行し、ネットワークにアクセスし、データベースにアクセスすることができる任意の種類のコンピュータ装置であり得る。

【0025】

サーバコンピュータ１１４は、図６及び図７に関して後述するように、ソフトウェアアズアサービス（ＳａａＳ）、プラットフォームアズアサービス（ＰａａＳ）又はインフラストラクチャアズアサービス（ＩａａＳ）等のクラウドコンピューティングサービスモデルでも動作し得る。サーバコンピュータ１１４は、プライベートクラウド、コミュニティクラウド、パブリッククラウド又はハイブリッドクラウド等のクラウドコンピューティング展開モデル内に位置し得る。

【0026】

ビデオデータをエンコードするために用いられ得るサーバコンピュータ１１４は、データベース１１２とやりとりし得るビデオエンコーディングプログラム１１６（以下、「プログラム」）を実行することができる。ビデオエンコーディングプログラム方法は、図３に関して以下でより詳細に説明する。一実施形態では、コンピュータ１０２は、ユーザインターフェイスを含む入力装置として動作し得るのに対して、プログラム１１６は主としてサーバコンピュータ１１４上で動作し得る。代替的な実施形態では、プログラム１１６は主として１つ以上のコンピュータ１０２上で動作し得るのに対して、サーバコンピュータ１１４は、プログラム１１６によって用いられるデータの処理及び記憶のために用いられ得る。なお、プログラム１１６はスタンドアロンプログラムであり得るか又はより大きなビデオエンコーディングプログラムに統合され得る。

【0027】

しかしながら、プログラム１１６のための処理は、場合によっては、コンピュータ１０２及びサーバコンピュータ１１４との間で任意の比率で共有され得ることに留意されたい。別の実施形態では、プログラム１１６は、２つ以上のコンピュータ、サーバコンピュータ又はコンピュータ及びサーバコンピュータのいくつかの組み合わせ、例えばネットワーク１１０を介して単一のサーバコンピュータ１１４と通信する複数のコンピュータ１０２で動作し得る。別の実施形態では、例えば、プログラム１１６は、ネットワーク１１０を介して複数のクライアントコンピュータと通信する複数のサーバコンピュータ１１４上で動作し得る。あるいは、プログラムは、ネットワークを介してサーバ及び複数のクライアントコンピュータと通信するネットワークサーバ上で動作し得る。

【0028】

ネットワーク１１０は、有線接続、無線接続、光ファイバ接続又はそれらのいくつかの組み合わせを含み得る。一般に、ネットワーク１１０は、コンピュータ１０２とサーバコンピュータ１１４との通信をサポートする接続及びプロトコルの任意の組み合わせとすることができる。ネットワーク１１０は、例えば、ローカルエリアネットワーク（ＬＡＮ）、インターネット等の広域ネットワーク（ＷＡＮ）、公衆交換電話ネットワーク（ＰＳＴＮ）等の電気通信ネットワーク、無線ネットワーク、公衆交換ネットワーク、衛星ネットワーク、セルラネットワーク（例えば、第５世代（５Ｇ）ネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワーク等)、公衆陸上移動ネットワーク（ＰＬＭＮ）、大都市エリアネットワーク（ＭＡＮ）、専用ネットワーク、アドホックネットワーク、イントラネット、光ファイバベースネットワーク等及び／又はこれらの又は他の種類のネットワークの組み合せといった様々な種類のネットワークを含み得る。

【0029】

図１に示す装置及びネットワークの数及び配置は一例として提供されている。実際には、図１に示すものよりも、追加の装置及び／又はネットワーク、より少ない装置及び／又はネットワーク、異なる装置及び／又はネットワーク又は異なる配置の装置及び／又はネットワークが存在し得る。さらに、図１に示す２つ以上の装置は単一の装置内で実施され得るか又は図１に示す単一の装置は複数の分散装置として実施され得る。加えて又は代替的に、システム１００の装置のセット（例えば、１つ以上の装置）は、システム１００の装置の別のセットによって行われるものとして説明される１つ以上の機能を行い得る。

【0030】

次に図２を参照して、ＡＶ１の公称角度を示す図２００を示す。ＶＰ９は、４５度～２０７度までの角度に対応する８つの方向モードをサポートする。指向性テクスチャにおけるより多様な空間冗長性を利用するために、ＡＶ１では、指向性イントラモードをより細かい粒度の角度セットに拡張されている。ＡＶ１では、Ｖ＿ＰＲＥＤ、Ｈ＿ＰＲＥＤ、Ｄ４５＿ＰＲＥＤ、Ｄ１３５＿ＰＲＥＤ、Ｄ１１３＿ＰＲＥＤ、Ｄ１５７＿ＰＲＥＤ、Ｄ２０３＿ＰＲＥＤ、Ｄ６７＿ＰＲＥＤを含む４５～２０７度の８つの公称角度がある。各公称角度については、ＡＶ１が合計で５６の方向角度を有し得るように、７つのより細かい角度があり得る。予測角度は、公称内角度に加えて角度デルタにより表され、３度のステップサイズに－３～３を乗じたものである。デルタ角度は、クロマ成分によって伝達される必要はなく、対応するルーマイントラ予測モードに従って導出され得る。

【0031】

ＡＶ１では、５つの非角度スムーズモードと共に８つの公称モードが先ず伝達され、次に、現在のモードが角度モードの場合に、インデックスがさらに伝達されて、対応する公称角度に対する角度デルタを示す。一般的な方法を介してＡＶ１における方向予測モードを実施するために、ＡＶ１における５６の方向イントラ予測モードの全てが、各ピクセルを参照サブピクセル位置に投影し、２タップ双線形フィルタにより参照ピクセルを補間する統一された方向予測子を用いて実施される。

【0032】

１つ以上の実施形態では、現在のクロマイントラ予測モードが方向性イントラ予測モードであり、クロマイントラ予測モードの公称角度が対応するルーマイントラ予測モードの公称角度と等しい場合、クロマ成分のデルタ角度は、ルーマイントラ予測モードのデルタ角度と等しく設定され得る。さもなければ、クロマ成分のデルタ角は０と等しく設定され得る。

【0033】

１つ以上の実施形態では、クロマ成分のデルタ角度は、ルーマとクロマとの公称モードが同じか異なるかにかかわらず、ルーマ成分のデルタ角度と等しく設定され得る。

【0034】

１つ以上の実施形態では、現在のクロマイントラ予測モードが方向性イントラ予測モードであり、クロマイントラ予測モードの公称角度が対応するルーマイントラ予測モードの公称角度と等しい場合、クロマ成分のデルタ角度は、ルーマイントラ予測モードのデルタ角度と等しく設定され得る。さもなければ、クロマイントラ予測モードの公称角度が対応するルーマブロックの左／上の隣接モードと等しい場合、クロマ成分のデルタ角度は対応するルーマブロックの左／上の隣接モードのデルタ角度と等しく設定され得る。さもなければ、クロマ成分のデルタ角度は０と等しく設定され得る。

【0035】

１つ以上の実施形態では、セミデカップリング分割が適用される場合に、１つのクロマブロックに関連する複数のルーマブロックが存在し得る。したがって、複数のサンプル位置が予め定義されてもよく、コロケートされた（co－located）ルーマブロックを予測するために、これらの位置に関連するデルタ角度及び公称角度が特定され得る。現在のクロマブロックのデルタ角度を導出するために、これらの特定された公称角度及びデルタ角度のうちの１つ以上が用いられ得る。１つの例では、予め定義されたサンプル位置は、左上及び／又は中央／中間サンプルを含み得る。別の例では、予め定義されたサンプル位置は４つのコーナーサンプル及び中央／中間サンプルを含み得る。別の例では、特定された予測モードの中で最も頻繁に用いられ得るデルタ角度が、クロマ成分のデルタ角度を導出するために用いられ得る。別の例では、予め定義されたサンプル位置は、４つのコーナーサンプル及び１つの中央／中間サンプルのうちの２つの選択された位置を含み得る。別の例では、予め定義されたサンプル位置は、４つのコーナーサンプル及び１つの中央／中間サンプルのうちの３つの選択された位置を含み得る。

【0036】

１つ以上の実施形態では、現在のクロマイントラ予測モードが方向性イントラ予測モードであり、クロマイントラ予測モードの公称角度が対応するルーマイントラ予測モードの公称角度と等しい場合、クロマ成分のデルタ角度はルーマイントラ予測モードのデルタ角度と等しく設定され得る。さもなければ、クロマイントラ予測モードの公称角度が現在のクロマブロックの左／上の隣接モードと等しい場合、クロマ成分のデルタ角度は現在のクロマブロックの左／上の隣接モードのデルタ角度と等しく設定され得る。さもなければ、クロマ成分のデルタ角度は０と等しく設定され得る。

【0037】

対応するルーマブロックのデルタ角度は、クロマイントラ予測モードのデルタ角度のエントロピーコーディングに用いられ得る。１つ以上の実施形態では、コロケートされたルーマブロックのデルタ角度は、クロマ成分のデルタ角度のエントロピーコーディングのためのコンテキストとして用いられ得る。１つ以上の実施形態では、隣接するクロマブロックのデルタ角度は、クロマ成分のデルタ角度のエントロピーコーディングのためのコンテキストとして用いられる。１つ以上の実施形態では、現在のクロマブロックのデルタ角度を伝達する代わりに、クロマブロック及び対応するルーマブロックのデルタ角度間の絶対差がクロマイントラ予測モードのエントロピーコーディングのために伝達され得る。１つ以上の実施形態では、上記の実施形態は、ルーマ及びクロマ間の公称モードが同じであり得るか又はこれらの２つのモード間の予測角度の絶対差が所与の閾値内にある場合にのみ適用される。

【0038】

１つ以上の実施形態によれば、クロマイントラ予測モードのエントロピーコーディングのために、現在のモードがクロマフロムルーマ（chroma from luma）（ＣｆＬ）かどうかを示すために第１のフラグが伝達され得る。ＣｆＬが用いられていないことを示す値として第１のフラグが伝達された場合、現在のモードが対応するルーマブロックの公称モードと等しいかどうかを示すために第２のフラグが伝達され得る。現在のモードが対応するルーマブロックの公称モードと等しい場合に、現在のモードが方向性モードであり、デルタ角度が許容されているならば、デルタ角度のインデックスを示すために第３のフラグが伝達され得る。さもなければ、残りの公称モードのうちのどれが現在のモードであるかを示すために第３のフラグが伝達される。ＣｆＬが用いられていないことを示す値として第１のフラグが伝達される場合、ＣｆＬモードのパラメータがさらに伝達され得る。

【0039】

１つ以上の実施形態によれば、クロマイントラ予測モードのエントロピーコーディングのために、現在のモードが対応するルーマブロックの公称モード又はＣｆＬモードと等しいかを示すために第１のフラグが伝達され得る。現在のモードが対応するルーマブロックの公称モード又はＣｆＬモードに等しいことを示す値として第１のフラグが伝達される場合、２つのモードのうちのどちらが現在のモードであるかを示すために第２のフラグが伝達され得る。現在のモードが対応するルーマブロックの公称モードと等しい場合に、現在のモードが方向性モードであり、デルタ角度が許容されていると、デルタ角度のインデックスがさらに伝達され得る。現在のモードがＣｆＬモードである場合、ＣｆＬモードのパラメータがさらに伝達され得る。現在のモードが対応するルーマブロックの公称モード又はＣｆＬモードと等しくないことを示す値として第１のフラグが伝達される場合、残りの公称モードのうちどれが現在のクロマブロックに適用されるかを示すために第２のフラグが伝達され得る。

【0040】

１つ以上の実施形態では、第１のデルタ角度値は、クロマ成分の公称角度及びルーマ成分の公称角度が同じであるか又は互いに近いことに対応して、コロケートされたルーマブロックのデルタ角度をコンテキストとして用いることに基づいてエントロピーコード化され得る。公称角度間の差が２度以下の場合、公称角度は互いに近いものとしてもよい。デルタ角度値は、コロケートされたルーマブロックのデルタ角度をコンテキストとして用いることに基づいて又は隣接するクロマブロックのデルタ角度をコンテキストとして用いることに基づいてエントロピーコード化され得る。

【0041】

１つ以上の実施形態では、ルーマ及びクロマブロックのデルタ角度は、ルーマ及びクロマブロックのデルタ角度のうちで同じコンテキストを共有する代わりに、エントロピーコーディングのために別々のコンテキストが用いられ得ることが理解されよう。

【0042】

次に、図３を参照して、ビデオデータをエンコード及び／又はデコードするための方法３００のステップを示す動作フローチャートを示す。一部の実施では、図３の１つ以上のプロセスブロックは、コンピュータ１０２（図１）及びサーバコンピュータ１１４（図１）によって行われ得る。一部の実施では、図３の１つ以上のプロセスブロックは、コンピュータ１０２及びサーバコンピュータ１１４とは別個の又は含む、別の装置又は装置のグループによって行われ得る。

【0043】

３０２では、方法３００は、（１）第１の公称角度及び第１のデルタ角度を有するクロマ成分と、（２）第２の公称角度及び第２のデルタ角度を有するルーマ成分とを含むビデオデータを受信することを含む。第１のデルタ角度は第２のデルタ角度に依存する。

【0044】

３０４では、方法３００は、ルーマ成分に関連するイントラ予測モードに少なくとも基づいて、第１のデルタ角度のための第１のデルタ角度値を伝達することを含む。

【0045】

３０６では、方法３００は、第１のデルタ角度に対応する第１のデルタ角度値に基づいてビデオデータをエンコード及び／又はデコードすることを含む。

【0046】

図３は、１つの実施の例示のみを提供し、異なる実施形態がどのように実施され得るかに関する限定を含意するものではないことが理解されよう。設計及び実施要件に基づいて、図示の環境に対して多くの変更が加えられ得る。

【0047】

図４は、例示の実施形態に係る、図１に示すコンピュータの内部及び外部コンポーネントのブロック図４００である。図４は、１つの実施の例示のみを提供し、異なる実施形態がどのように実施され得るかに関する限定を含意するものではないことが理解されよう。設計及び実施要件に基づいて、図示の環境に対して多くの変更が加えられ得る。

【0048】

コンピュータ１０２（図１）及びサーバコンピュータ１１４（図１）は、図４に示す内部コンポーネント８００Ａ、Ｂ及び外部コンポーネント９００Ａ、Ｂのそれぞれのセットを含み得る。内部コンポーネント８００の各セットは、１つ以上のバス８２６上にある１つ以上のプロセッサ８２０、１つ以上のコンピュータ読み取り可能ＲＡＭ８２２及び１つ以上のコンピュータ読み取り可能ＲＯＭ８２４と、１つ以上のオペレーティングシステム８２８と、１つ以上のコンピュータ読み取り可能有形記憶装置８３０を含む。

【0049】

プロセッサ８２０は、ハードウェア、ファームウェア又はハードウェア及びソフトウェアの組み合わせにおいて実施される。プロセッサ８２０は、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳPＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）又は別のタイプの処理コンポーネントである。一部の実施では、プロセッサ８２０は、機能を行うためにプログラム可能な１つ以上のプロセッサを含む。バス８２６は、内部コンポーネント８００Ａ、Ｂ間の通信を可能にするコンポーネントを含む。

【0050】

サーバコンピュータ１１４（図１）上の１つ以上のオペレーティングシステム８２８、ソフトウェアプログラム１０８（図１）及びビデオエンコーディングプログラム１１６（図１）は、（通常はキャッシュメモリを含む）それぞれのＲＡＭ８２２の１つ以上を介したそれぞれのプロセッサ８２０の１つ以上による実行のために、それぞれのコンピュータ読み取り可能有形記憶装置８３０のうちの１つ以上に記憶される。図４に示す実施形態では、コンピュータ読み取り可能有形記憶装置８３０のそれぞれは、内部ハードドライブの磁気ディスク記憶装置である。あるいは、コンピュータ読み取り可能有形記憶装置８３０のそれぞれは、ＲＯＭ８２４、ＥＰＲＯＭ、フラッシュメモリ等の半導体記憶装置、光ディスク、光磁気ディスク、固体ディスク、コンパクトディスク（ＣＤ）、デジタル汎用ディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ及び／又はコンピュータプログラム及びデジタル情報を記憶可能な他の種類の非一時的コンピュータ読み取り可能有形記憶装置等である。

【0051】

内部コンポーネント８００Ａ、Ｂの各セットは、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、磁気テープ、磁気ディスク、光ディスク又は半導体記憶装置等の１つ以上のポータブルコンピュータ読み取り可能有形記憶装置９３６から読み書きするためのＲ／Ｗドライブ又はインターフェイス８３２も含む。ソフトウェアプログラム１０８（図１）及びビデオエンコーディングプログラム１１６（図１）等のソフトウェアプログラムは、それぞれのポータブルコンピュータ読み取り可能有形記憶装置９３６のうちの１つ以上に記憶され、それぞれのＲ／Ｗドライブ又はインターフェイス８３２を介して読み出され、それぞれのハードドライブ８３０にロードすることができる。

【0052】

内部コンポーネント８００Ａ、Ｂの各セットは、ＴＣＰ／ＩＰアダプタカード、無線Ｗｉ－Ｆｉインターフェイスカード又は３Ｇ、４Ｇ若しくは５Ｇ無線インターフェイスカード又は他の有線若しくは無線通信リンク等のネットワークアダプタ又はインターフェイス８３６も含む。サーバコンピュータ１１４(図１)上のソフトウェアプログラム１０８（図１）及びビデオエンコーディングプログラム１１６（図１）は、ネットワーク（例えば、インターネット、ローカルエリアネットワーク又は他のワイドエリアネットワーク）及びそれぞれのネットワークアダプタ又はインターフェイス８３６を介して、外部コンピュータからコンピュータ１０２（図１）及びサーバコンピュータ１１４にダウンロードすることができる。ネットワークアダプタ又はインターフェイス８３６から、サーバコンピュータ１１４上のソフトウェアプログラム１０８及びビデオエンコーディングプログラム１１６がそれぞれのハードドライブ８３０にロードされる。ネットワークは、銅線、光ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含み得る。

【0053】

外部コンポーネント９００Ａ、Ｂの各セットは、コンピュータ表示モニタ９２０、キーボード９３０及びコンピュータマウス９３４を含むことができる。外部コンポーネント９００Ａ、Ｂは、タッチスクリーン、仮想キーボード、タッチパッド、ポインティングデバイス及び他のヒューマンインターフェイスデバイスも含むことができる。内部コンポーネント８００Ａ、Ｂの各セットは、コンピュータ表示モニタ９２０、キーボード９３０及びコンピュータマウス９３４とやりとりするためにデバイスドライバ８４０も含む。デバイスドライバ８４０、Ｒ／Ｗドライブ又はインターフェイス８３２及びネットワークアダプタ又はインターフェイス８３６は、ハードウェア及び（記憶装置８３０及び／又はＲＯＭ８２４に記憶された）ソフトウェアを含む。

【0054】

本開示は、クラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載の教示の実施は、クラウドコンピューティング環境に限定されないことが予め理解される。むしろ、一部の実施形態は現在知られているか又は後に開発される任意の他の種類のコンピューティング環境と共に実施可能である。

【0055】

クラウドコンピューティングは、構成可能なコンピューティングリソースの共有プール（ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン及びサービス）への便利なオンデマンドのネットワークアクセスを可能にするためのサービスデリバリーのモデルであり、最小限の管理努力又はサービス提供者とのやりとりで迅速に提供及びリリース可能である。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル及び少なくとも４つの展開モデルを含み得る。

【0056】

特徴は以下の通りである。

【0057】

オンデマンドセルフサービス：クラウド利用者は、サービスプロバイダとの人的なやりとりを必要とせずに、サーバの時間及びネットワークストレージ等のコンピューティング機能を必要に応じて一方的にセットアップできる。

【0058】

幅広いネットワークアクセス：機能はネットワークを介して利用可能であり、異種の薄型又は厚型のクライアントプラットフォーム（例えば、携帯電話、ラップトップ、及びＰＤＡ）による使用を促進する標準メカニズムを通じてアクセスされる。

【0059】

資源の共有：プロバイダのコンピューティングリソースは、マルチテナントモデルを用いて複数の利用者にサービスを提供するためにプールされ、デマンドに応じて物理リソース及び仮想リソースが動的に割り当て及び再割り当てされる。利用者は、一般に、提供されるリソースの正確な位置に関する知識又は制御を持たないが、より高いレベルの抽象化（例えば、国、州、データセンタ）で位置を特定することができるという点で、場所の独立性の感覚がある。

【0060】

迅速な弾力性：機能を迅速に且つ弾性的に、場合によっては自動で提供して、素早くスケールアウトし、迅速にリリースして素早くスケールインできる。利用者にとって、プロビジョンのために利用可能な機能はしばしば無制限であるように見え、いつでも任意の数を購入できる。

【0061】

計測可能なサービス：クラウドシステムは、サービスの種類（例えば、ストレージ、処理、帯域幅、及びアクティブユーザーアカウント）に適したある抽象化レベルで計測機能を利用することにより、リソースの使用を自動的に制御及び最適化する。リソースの使用を監視、制御及び報告することにより、プロバイダ及び利用サービスの利用者の双方に透明性を提供できる。

【0062】

サービスモデルは次の通りである。

【0063】

ソフトウェアアズアサービス（ＳａａＳ）：利用者に提供される機能は、クラウドインフラ上で動作するプロバイダのアプリケーションを用いることである。アプリケーションは、ウェブブラウザ（例えば、ウェブベースの電子メール）等のシンクライアントインターフェイスを介して様々なクライアント装置からアクセス可能である。利用者は、場合によってはユーザ固有のアプリケーション構成設定を例外として、ネットワーク、サーバ、オペレーティングシステム、ストレージ又は個々のアプリケーション機能を含む根底のクラウドインフラを管理又は制御しない。

【0064】

プラットフォームアズアサービス（ＰａａＳ）：利用者に提供される機能は、プロバイダによってサポートされるプログラミング言語及びツールを用いることにより作成された利用者作成又は取得アプリケーションをクラウドインフラ上に配備することである。利用者は、ネットワーク、サーバ、オペレーティングシステム又はストレージを含む根底のクラウドインフラを管理又は制御しないが、配備されたアプリケーション及び場合によってアプリケーションホスティング環境設定に対する制御を有する。

【0065】

インフラストラクチャアズアサービス（ＩａａＳ）：利用者に提供される機能は、処理、ストレージ、ネットワーク及び他の基本的なコンピューティングリソースを提供することであり、利用者は、オペレーティングシステム及びアプリケーションを含む任意のソフトウェアを配備及び実行できる。利用者は根底のクラウドインフラを管理又は制御しないが、オペレーティングシステム、ストレージ、配備されたアプリケーションに対する制御を有し、場合によってはネットワーキングコンポーネント（例えば、ホストファイヤーウォール）の選択に限定的な制御を有する。

【0066】

配備モデルは以下の通りである
プライベートクラウド：クラウドインフラは組織だけのために運用される。組織又は第三者によって管理され、敷地内又は敷地外に存在し得る。

【0067】

コミュニティクラウド：クラウドインフラはいくつかの組織によって共有され、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシー及びコンプライアンス考慮事項）を有する特定のコミュニティをサポートする。組織又は第三者によって管理され、敷地内又は敷地外に存在し得る。

【0068】

パブリッククラウド：クラウドインフラは一般大衆又は大規模な業界団体が利用可能であり、クラウドサービスを販売する組織によって所有される。

【0069】

ハイブリッドクラウド：クラウドインフラスは、２つ以上のクラウド（プライベート、コミュニティ又はパブリック）から構成され、ユニークなエンティティとして留まるが、データ及びアプリケーションポータビリティを可能にする標準化された又は独自の技術（例えば、クラウド間の負荷分散のためのクラウドバースト）によって結合されている。

【0070】

クラウドコンピューティング環境は、無国籍状態、低連結性、モジュール性及び意味論的相互運用性に焦点を当てたサービス指向である。クラウドコンピューティングの核心は、相互接続されたノードのネットワークからなるインフラである。

【0071】

図５を参照して、例示のクラウドコンピューティング環境５００を示す。図示のように、クラウドコンピューティング環境５００は、例えば、パーソナルデジタルアシスタント（ＰＤＡ）又は携帯電話５４Ａ、デスクトップコンピュータ５４Ｂ、ラップトップコンピュータ５４Ｃ及び／又は自動車コンピュータシステム５４Ｎ等のクラウド利用者によって用いられるローカルコンピュータ装置が通信し得る１つ以上のクラウドコンピューティングノード１０を含む。クラウドコンピューティングノード１０は互いに通信し得る。それらは、上述したプライベート、コミュニティ、パブリック又はハイブリッドクラウド等の１つ以上のネットワーク又はそれらの組み合わせに物理的又は仮想的にグループ化され得る。これにより、クラウドコンピューティング環境６００は、クラウド利用者がローカルコンピュータ装置上でリソースを維持する必要のないインフラストラクチャ、プラットフォーム及び／又はソフトウェアアズアサービスを提供できる。図５に示す種類のコンピュータ装置５４Ａ～５４Ｎは例示に過ぎず、クラウドコンピューティングノード１０及びクラウドコンピューティング環境５００は、任意のタイプのネットワーク及び／又はネットワークアドレス可能接続を介して（例えば、ウェブブラウザを用いて）任意の種類のコンピュータ装置と通信できることが分かる。

【0072】

図６を参照して、クラウドコンピューティング環境５００（図５）によって提供される一式の機能抽象化層６００を示す。図６に示す構成要素、層及び機能は例示に過ぎず、実施形態はそれに限定されないことを予め理解されたい。図示のように、以下の層及び対応する機能が提供される。

【0073】

ハードウェア及びソフトウェア層６０はハードウェア及びソフトウェアコンポーネントを含む。ハードウェアコンポーネントの例としては、メインフレーム６１、ＲＩＳＣ（最小命令セットコンピュータ）アーキテクチャベースサーバ６２、サーバ６３、ブレードサーバ６４、ストレージデバイス６５及びネットワーク及びネットワーキングコンポーネント６６を含む。一部の実施形態では、ソフトウェアコンポーネントはネットワークアプリケーションサーバーソフトウェア６７及びデータベースソフトウェア６８を含む。

【0074】

仮想化層７０は、例えば、仮想サーバ７１、仮想ストレージ７２、仮想プライベートネットワークを含む仮想ネットワーク７３、仮想アプリケーション及びオペレーティングシステム７４及び仮想クライアント７５等の仮想エンティティが提供され得る抽象化層を提供する。

【0075】

１つの例では、管理層８０は以下で説明する機能を提供し得る。リソースプロビジョニング８１は、クラウドコンピューティング環境内でタスクを行うために利用されるコンピューティングリソース及びその他のリソースの動的な調達を提供する。計測及びプライシング８２は、クラウドコンピューティング環境内でリソースが利用されるときのコストを追跡し、これらのリソースの消費に対する課金又は請求を提供する。１つの例では、これらのリソースはアプリケーションソフトウェアライセンスを含み得る。セキュリティは、クラウド利用者及びタスクのための身元確認と、データ及びその他のリソースの保護を提供する。ユーザポータル８３は、利用者及びシステム管理者にクラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理８４は、要求されるサービスレベルが満たされるように、クラウドコンピューティングリソース割り当て及び管理を提供する。サービスレベルアグリーメント（ＳＬＡ）プランニング及びフルフィルメント８５は、ＳＬＡに従って将来の要件が予測されるクラウドコンピューティングリソースの事前の取り決め及び調達を提供します。

【0076】

ワークロード層９０は、クラウドコンピューティング環境が利用され得る機能の例を提供する。この層から提供されるワークロード及び機能の例は、マッピング及びナビゲーション９１、ソフトウェア開発及びライフサイクル管理９２、仮想教室教育配信９３、データ分析処理９４、トランザクション処理９５及びビデオエンコーディング／デコーディング９６を含む。ビデオエンコーディング／デコーディング９６は、公称角度から導出されたデルタ角度を用いてビデオデータをエンコード／デコードし得る。

【0077】

図７は、例示の実施形態に係る、ＡＶＩにおける非方向性のスムーズイントラ予測子に関する特徴のブロック図７００である。例えば、ＡＶ１では、ＤＣ、ＰＡＥＴＨ、ＳＭＯＯＴＨ、ＳＭＯＯＴＨ＿Ｖ、ＳＭＯＯＴＨ＿Ｈの５つの非方向性のスムーズイントラ予測モードがある。ＤＣ予測の場合、予測すべきブロックの予測子として左及び上の隣接するサンプルの平均が用いられる。ＰＡＥＴＨの予測子のために、上、左、左上の参照サンプルが先ず取り出され、次に（上＋左－左上）に最も近い値が予測すべきピクセルの予測子として設定される。図７は、現在のブロックにおける１つのピクセルのための上、左及び左上のサンプルの位置を示す。ＳＭＯＯＴＨ、ＳＭＯＯＴＨ＿Ｖ、ＳＭＯＯＴＨ＿Ｈのモードでは、それらは垂直又は水平方向の２次補間又は両方向の平均を用いてブロックを予測する。

【0078】

図８は、例示の実施形態に係る、再帰的イントラフィルタリングモードに関する特徴のブロック図８００である。例えば、エッジを参照して減衰空間相関を捉えるために、ＦＩＬＴＥＲ ＩＮＴＲＡモードはルーマブロックのために設計されている。５つのフィルタイントラモードがＡＶ１のためにあらかじめ設計され、それぞれは、４ｘ２パッチ内のピクセルと、それと隣り合う７つ隣接ピクセルとの間の相関を反映する８つの７タップフィルタのセットによって表される。すなわち、７タップフィルタの重み付け係数は位置に依存する。８ｘ８ブロックを一例にとると、それが図８に示す８つの４ｘ２パッチに分割される。これらのパッチは、図８においてＢ０、Ｂ１、Ｂ１、Ｂ３、Ｂ４、Ｂ５、Ｂ６及びＢ７によって示される。各パッチについて、Ｒ０～Ｒ７によって示される７つの隣接ピクセルが現在のパッチ内のピクセルを予測するために用いられる。パッチＢ０の場合、全ての隣接ピクセルは既に再構成されている。しかし、他のパッチの場合には、隣接ピクセルのうちの一部は再構成されておらず、直ぐに隣接したピクセルの予測値が参照として用いられる。例えば、パッチＢ７の全ての隣接ピクセルは再構成されていないため、隣接ピクセルの予測サンプルが代わりに用いられる。

【0079】

クロマフロムルーマ（ＣｆＬ）は、クロマピクセルを、同時再構成ルーマピクセルの線形関数としてモデル化するクロマのみのイントラ予測子である。ＣｆＬ予測は次のように表される(「式１」)。
ＣｆＬ(α)＝α×Ｌ^ＡＣ＋ＤＣ 式(１)
ここで、Ｌ^ＡＣはルーマ成分のＡＣ寄与度（AC contribution）であり、αは線形モデルのパラメータであり、ＤＣはクロマ成分のＤＣ寄与度（DC contribution）を表す。具体的には、再構成されたルーマピクセルがクロマ解像度にサブサンプルされ、次に平均値を差し引いてＡＣ寄与度が形成される。クロマＡＣ成分をＡＣ寄与度から近似するために、一部の先行技術のようにデコーダにスケーリングパラメータを算出することを要求する代わりに、ＡＶ１ ＣｆＬは、元のクロマピクセルに基づいてパラメータαを求め、それらをビットストリームで伝達する。これは、デコーダの複雑さを低減し、より正確な予測をもたらす。クロマ成分のＤＣ寄与度に関しては、イントラＤＣモードを用いて計算され、ほとんどのクロマコンテンツにとって十分であり、成熟した高速実施を有する。

【0080】

図９は、例示の実施形態に係る、多層参照フレーム構造に関する特徴のブロック図９００である。例えば、ＶＰ９の３つの参照フレーム、すなわちＬＡＳＴ（最も近い過去）、ＧＯＬＤＥＮ（遠い過去）、ＡＬＴＲＥＦ(一時的にフィルタリングされた将来)フレームに加えて、以下の４つの種類の参照フレームがある拡張された参照フレームがあり得る。
・ＬＡＳＴ２及びＬＡＳＴ３：２つの近い過去のフレーム
・ＢＷＤＲＥＦ、ＡＬＴＲＥＦ２：２つの将来フレーム
・ＢＷＤＲＥＦは、時間的フィルタリングなしでコード化された先読みフレームであり、比較的短距離の後方参照としてより有用である。
・ＡＬＴＲＥＦ２は、ＧＯＬＤＥＮとＡＬＴＲＥＦとの間のフィルタリングされた中間将来参照である。

【0081】

図１０は、例示の実施形態に係る、候補動きベクトルリスト構築に関する特徴のブロック図１０００である。例えば、動的な空間的及び時間的動きベクトル参照では、ＡＶ１は動きベクトルを効率的にコード化するために動きベクトル参照選択方式を組み込む。時間的動きベクトル参照候補を見つけるために、それは、その前任のＶＰ９よりも広い空間的隣接に加えて動きフィールド推定プロセスを用いる。

【0082】

図１１は、例示の実施形態に係る、動きフィールド推定に関する特徴の直線図１１００である。例えば、動きフィールド推定プロセスは、各６４×６４処理ユニットを通過する８×８ブロック解像度における全ての動き軌道について、コロケーションされた１２８×１２８領域を検索する。例えば、図１１では、動きベクトルＭＶ_Ｒｅｆ２は、前述のプロセスに続いて探索され、ＭＶ_０及びＭＶ_１等の予測動きベクトルが導出される。全ての候補動きベクトルが見つかると、それらはソートされ、マージされ、ランク付けされて４つの最終候補が築かれる。次いで、ＡＶ１は、リストから選択された参照動きベクトルのインデックスを伝達し、任意で動きベクトル差をコード化する。

【0083】

図１２は、例示の実施形態に係る、オーバーラップブロック動き補償（ＯＭＢＣ）のためのオーバーラップ領域に関する特徴のブロック図１２００である。例えば、隣接する動きベクトルから得られた予測を組み合わせることによりブロック境界の周りでの予測誤差を低減するために、ＡＶ１は、垂直及び水平方向のそれぞれに一次元フィルタを適用することにより、ブロックベース予測と、上端及び左端からの二次予測子を漸進的に組み合わせる。一例として、図１２において、予測ブロック０の影付き領域は、一次元二乗余弦フィルタを介して再帰的に混合予測サンプルを生成することによって予測される。図１２は、上側隣接ブロック２及び左側隣接ブロック４をそれぞれ用いて予測される影付き領域を示す。

【0084】

図１３は、例示的実施形態による、例示の実施形態に係る、歪曲動き補償（warped motion compensation）に関する特徴のブロック図１３００である。例えば、ＡＶ１は、２つのアフィン予測モデル、すなわち、グローバル及び局所歪曲動き補償を導入する。前者はフレームとその参照との間のフレームレベルアフィンモデルを伝達するのに対して、後者は、局所的な動きの変化を最小のオーバヘッドで暗黙的に処理する。局所的な動きパラメータを、原因隣接からの２Ｄ動きベクトルを用いてブロックレベルで導出される。このアフィンモデルは、１／６４ピクセル精度での８タップ補間フィルタに基づく連続水平及び垂直剪断動作を介して実現される。図１３は、水平せん断と、それに続く垂直方向の２段階のワーピングプロセスを示す。

【0085】

図１４は、例示の実施形態に係る、アドバンストコンパウンド予測に関する特徴のブロック図１４００である。例えば、実施形態によれば、ＡＶ１は、各ピクセル位置（ｉ，ｊ）で以下のようなより汎用的な予測を可能にし得る（「定義１」）。

【0086】

【数1】

ｐ_１及びｐ_２は２つの予測であり、ｍ（ｉ，ｊ）は予め定義されたテーブルからルックアップされた［０、１］における重み付け係数である。

【0087】

コンパウンドウェッジ予測の場合、ＡＶ１では１６の可能なウェッジパーティションの予め定義されたセットが提供され、その選択されたウェッジインデックスが伝達される。その方向は水平方、垂直及び正方形ブロック及び長方形ブロックの両方のための傾斜が±２又は±０．５の斜めを含む。スプリアスアーチファクトを軽減するために、ソフトクリフ状の２Ｄウェッジマスクが用いられる。

【0088】

差分変調マスク予測（difference modulated masked prediction）の場合、実施形態によれば、ＡＶ１は、予測の一部の領域が、１つの予測から他方の予測よりも大きくなることを可能にし得る。より具体的には、以下の形態のマスクが用いられる(「定義２」)。

【0089】

【数2】

ｂは第１の予測子の影響を制御し、ａはスムーズな変調を保証する。

【0090】

フレーム距離ベースのコンパウンド予測の場合、実施形態によれば、ＡＶ１は、２つのフレームのタイムスタンプ間の絶対差として定義される、フレーム距離を説明する修正重み付けスキームを含み得る。時間的距離だけでなく、複数の参照の効果の平均化を介した量子化ノイズの低減を考慮するために、ＡＶ１は、以下のように、遠隔予測子にやや重みをつけながら、フレーム距離に基づくスキーム用いる（「定義３」及び「定義４」）。

【0091】

【数3】

【0092】

【数4】

ｐはフレーム距離に基づく予測であり、ｐ_１とｐ_２は２つの参照フレームからの予測値である。重み（ｗ_１、ｗ_２）は上記のように決定され、ｄ_１及びｄ_２は、２つの参照からの現在のフレームの距離を表す。

【0093】

コンパウンドインターイントラ予測の場合、実施形態によれば、ＡＶ１はイントラ及びインター予測を組み合わせることができ、イントラ部分のために４つの頻繁に用いられるイントラモードがサポートされる。このモードに関連するマスクは（ｉ）インターインターモードに用いられるものと同様のスムーズウェッジマスク、（ｉｉ）イントラモードの主方向に沿って減衰するモード依存マスクの２種類である。

【0094】

例示の実施形態によれば、各変換ユニットについて、ＡＶ１係数コーディングは、スキップサインを伝達することから始まり、スキップサインがゼロの場合に変換カーネルタイプ及びエンドオブブロック（ｅｏｂ）位置の伝達が後に続く。次に、各係数値が複数レベルのマップ及びサインにマップされる。

【0095】

ｅｏｂ位置がコード化された後、下位レベルマップ及び中位レベルマップが逆スキャン順序でコード化され、前者は、係数の大きさが０から２の間であるかを示し、後者は範囲が３から１４の間であるかを示す。次のステップは、順走査順序で、係数のサインと、１４よりも大きい係数の残差値をＥｘｐ－Ｇｏｌｏｍｂコードでコード化する。

【0096】

コンテキストモデリングの使用に関して、下位レベルマップコーディングは、変換サイズ及び方向に加えて、最大で５つの隣接係数情報を組み込む。他方、中位レベルマップコーディングは、隣接係数の数が２つに減少することを除いて、下位レベルマップコーディングと同様のアプローチをとる。残差レベルのためのＥｘｐ―Ｇｏｌｏｍｂコードに加えてＡＣ係数のサインはコンテキストモデルなしでコード化され、ＤＣ係数のサインは隣接変換ユニットのＤＣサインを用いてコード化される。

【0097】

ＶＶＣドラフト６は、クロマ残差が一緒にコード化されるモードをサポートする。ジョイントクロマコーディングモードの使用（起動）はＴＵレベルフラグｔｕ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇで示され、選択されたモードはクロマＣＢＦによって暗黙的に示される。フラグｔｕ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇは、ＴＵのためのクロマＣＢＦのいずれか又は両方が１と等しい場合に存在する。ＰＰＳ及びスライスヘッダでは、通常のクロマ残差コーディングモードのために伝達されるクロマＱＰオフセット値と区別するために、クロマＱＰオフセット値がジョイントクロマ残差コーディングモードのために伝達される。これらのクロマＱＰオフセット値は、ジョイントクロマ残差コーディングモードを用いてコード化されたブロックのためのクロマＱＰ値を導出するために用いられる。対応するジョイントクロマコーディングモード（表１のモード２）がＴＵにおいてアクティブな場合、このクロマＱＰオフセットは、そのＴＵの量子化及びデコーディングの間に、適用されたルーマ導出クロマＱＰに追加される。他のモード（表１のモード１及び３）については、クロマＱＰは、従来のＣｂ又はＣｒブロックの場合と同じ方法で導出される。送信された変換ブロックからのクロマ残差（ｒｅｓＣｂ及びｒｅｓＣｒ）の再構成プロセスを表１に示す。このモードが起動されると、１つの単一のジョイントクロマ残差ブロック（表１内のｒｅｓＪｏｉｎｔＣ［ｘ］［ｙ］）が伝達され、Ｃｂのための残差ブロック（ｒｅｓＣｂ）及びＣｒのための残差ブロック（ｒｅｓＣｒ）は、ｔｕ＿ｃｂｆ＿ｃｂ、ｔｕ＿ｃｂｆ＿ｃｒ及び
Ｃｓｉｇｎ（スライスヘッダで指定されたサイン値）等の情報を考慮して導出される。

【0098】

上述の３つのジョイントクロマコーディングモードはイントラコード化ＣＵのみでサポートされる。インターコード化ＣＵでは、モード２のみがサポートされる。そのため、インターコード化ＣＵの場合、構文要素ｔｕ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇは、両方のクロマｃｂｆｓが１の場合にのみ存在する。以下の表１はクロマ残差の再構成を示し、値Ｃｓｉｇｎはスライスヘッダで指定されるサイン値（＋１又は－１）であり、ｒｅｓＪｏｉｎｔＣ［］［］は送信された残差である。

【0099】

【表1】

【0100】

図１５は、例示の実施形態に係る特徴のフロー図１５００である。

【0101】

図１６は、例示の実施形態に係る、３Ｄキューブとして一体化された残差に関する特徴の空間図である。図１６の特徴及び本明細書で他の図面に関して説明した特徴は別々に用いられるか又は任意の順序で組み合わせて用いられる。また、方法（又は実施形態）、エンコーダ及びデコーダのそれぞれは、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）によって実施され得る。１つの例では、１つ以上のプロセッサは非一時的コンピュータ読み取り可能媒体に記憶されたプログラムを実行する。１つ以上のＮ１ｘＮ２Ｃｂ予測残差ブロックと、それに対応するＣｒ予測残差ブロックがＳ１５１で入力として与えられるものとする。

【0102】

Ｓ１５１では、２つのＮ１ｘＮ２Ｃｂ及びＣｒ予測残差信号ブロックが、サイズＭｘＬの別の１つ以上の信号ブロックに変換され、ＭｘＬは２ｘＮ１ｘＮ２以下である。しかしながら、１つ以上の変更がＳ１５１で置き換えられ得るか又は追加され得る。

【0103】

例えば、上述の圧縮に関する技術的課題の改善は、クロマ予測残差と類似の信号との間の冗長性を取り除く本明細書で説明する変換によって影響を受け得る。

【0104】

例えば、例示の実施形態によれば、Ｎ１ｘＮ２Ｃｂ残差ブロック及びその対応するＣｒ残差ブロックを１つのブロックにまとめられ、この１つのブロックに対して１つの変換が行われる。サイズＬｘＭの変換係数を実現するために、様々な走査順序によって各入力チャネルを別々にベクトル化する２Ｄ変換が存在し得る（本明細書では「タイプＩ」）。上述の走査順序に加えて、インターリーブによる２つの入力チャネルのベクトル化が存在する２Ｄ変換があり得る（本明細書では「タイプＩＩ」）。

【0105】

タイプＩ及びタイプＩＩのより具体的な実施形態として、
・（２ｘＮ１ｘＮ２）×（２ｘＮ１ｘＮ２）ＫＬＴ(カルーネン・レーベ変換)
・縮小寸法ＫＬＴ（ＲＤ－ＫＬＴ）、
・ＲＤ－ＫＬＴの分離近似、
・ギブンス／置換（Givens/Permutation）マトリックス分解、及び
・三角変換の組み合わせ
のうちの１つ以上に関する例示の実施形態に従った２つのＮ１ｘＮ２変換係数ブロックの別々のコード化があり得る。

【0106】

一実施形態では、Ｓ１５１でＣｂとＣｒとを１つのブロックにまとめる場合、Ｃｂ及びＣｒの残差は、ジグザグ、ラスタ又は対角走査順序に続いて別々にベクトル化され、次いで、連結されて（２ｘＮ１ｘＮ２）×１ベクトルが形成される。それは（ＬｘＭ）×（２ｘＮ１ｘＮ２）行列によって変換され、サイズ（ＬｘＭ）×１の信号ブロックが形成される。その係数が量子化され、量子化された指数が伝達される。デコーディングプロセスは指数を逆量子化し、それらを（２ｘＮ１ｘＮ２）×（ＬｘＭ）行列により逆変換して、再構成されたＣｂ及びＣｒ残差ブロックに逆走査可能な再構成された２ｘＮ１ｘＮ２ベクトルを得る。

【0107】

一実施形態では、Ｓ１５１でＣｂ及びＣｒを１つのブロックにまとめる場合、Ｃｂ残差ブロック及びその対応するＣｒ残差ブロックは、ジグザグ、ラスタ又は対角走査順序に続いて残差ブロックから各サンプルが取られて、インターリーブ方式でベクトル化され（すなわち、Ｃｂからの１つのサンプル及びＣｒからの次のサンプル）、（２ｘＮ１ｘＮ２）×１ベクトルが形成される。次に、それは（ＬｘＭ）×（２ｘＮ１ｘＮ２）行列によって変換されて、サイズ（ＬｘＭ）×１の変換信号ブロックが形成される。その係数が量子化され、量子化された指数が伝達される。デコーディングプロセスは指数を逆量子化し、それらを（２ｘＮ１ｘＮ２）×（ＬｘＭ）行列により逆変換して、再構成されたＣｂ及びＣｒ残差ブロックに逆走査可能な再構成された２ｘＮ１ｘＮ２ベクトルを得る。

【0108】

一実施形態では、Ｓ１５１で、ＬｘＭ＝２ｘＮ１ｘＮ２の設定もあり、変換の出力は２つのＮ１ｘＮ２ブロックにさらに分割され、これらのブロックがＳ１５３で別々にさらに量子化され、デコードされるか又はビットストリームにエントロピーコード化される。

【0109】

一実施形態では、ＬｘＭが２ｘＮ１ｘＮ２と等しい場合、Ｓ１５１で、上記の変換行列はサイズが（２ｘＮ１ｘＮ２）×（２ｘＮ１ｘＮ２）であり、ＫＬＴ（カルーネン・レーベ変換）として求めることができる。２ｘＮ１ｘＮ２×１インプットベクトル信号Ｘ（平均除去されてゼロ平均（zero－mean）であると仮定する）とした場合、（２ｘＮ１ｘＮ２）×（２ｘＮ１ｘＮ２）共分散行列

【0110】

【数5】

は下記式（「式２」）を満たす。

【0111】

Ｒ_ｘｘＩ_ｊ＝λ_ｊＩ_ｊ 式(２)
ここで、λ_ｊ及びＩ_jはｊ番目の固有値であり、Ｒ_ＸＸの対応する固有ベクトルである。

【0112】

ＫＬＴ行列Ｈは、その行として上記の固有ベクトルを有し、以下のようにＸをＹに変換する（「式３」）。

【0113】

Ｙ＝ＨＸ 式(３)

【0114】

【数6】

である。

【0115】

Ｙの要素は無相関であり、それらの分散は固有値と等しい。加えて、Ｈは、入力信号ベクトルＸが下記のように復元されるように直交変換される(式４)。
Ｘ＝Ｈ^ＴＹ 式(４)
一実施形態では、Ｓ１５１で、(ＬｘＭ)×（２ｘＮ１ｘＮ２）行列は、ＫＬＴの（２ｘＮ１ｘＮ２）基底ベクトルからＬｘＭ最大固有値に対応するＬｘＭ固有ベクトルのみを選択することによって求めることができる。

【0116】

一実施形態では、Ｓ１５１で、上記で求められた（ＬｘＭ）×（２ｘＮ１ｘＮ２）ＫＬＴがその分離可能な近似値により近似することができる。例えば、前記ＫＬＴ行列Ｈは、以下の最適化問題（「問題１」）を解くことによって近似することができる。

【0117】

【数7】

ここで、Ｓは分離可能な行／列の行列であり、Ｐ_１及びＰ_２は求められる置換行列である。

【0118】

一実施形態では、Ｓ１５１で、上記（ＬｘＭ）×（２ｘＮ１ｘＮ２）の行列は、ギビンズ回転行列及び／又は置換行列の複数の段階として構築できる。例えば、前記ＫＬＴ行列Ｈは、以下の最適化問題（「問題２」）を解くことによって近似することができる。

【0119】

【数8】

【0120】

【数9】

は複数の段階の連結であり、各段階はギブンス回転行列と置換行列及びその逆数の積からなる。

【0121】

一実施形態では、Ｓ１５１で、前記（ＬｘＭ）×（２ｘＮ１ｘＮ２）行列は、一組のＤＣＴ／ＤＳＴ変換から適応的に構築できる。

【0122】

Ｓ１５４で、Ｎ１ｘＮ２Ｃｂ残差ブロック及びそれに対応するＣｒ残差ブロックは、図１６においてキュービック１６００で示すように、一緒にされて１つの２ｘＮ１ｘＮ２三次元（３Ｄ）立方体にされているかどうか判定され、そうである場合は、Ｓ１５５でこの１つのキュービックに対して３Ｄ変換が行われる。

【0123】

例示の実施形態によれば、これらの説明された特徴とともに用いられる、完全に分離可能な３Ｄ変換及び１Ｄ＋２Ｄ変換のいずれかが存在し得る。

【0124】

一実施形態では、Ｓ１５５で、この三次元（３Ｄ）変換は３つの軸に沿って別々に行うことができる。すなわち、ｘ軸に沿ってＮ１ｘ１ベクトルのそれぞれのためにＮ１点１Ｄ変換が行われ、ｙ軸に沿ってＮ２ｘ１ベクトルのそれぞれのためにＮ２点１Ｄ変換が行われ、ｚ軸に沿って２ｘ１ベクトルのそれぞれのために別の２点１Ｄ変換が行われる。これらの変換の適用順序は任意であり得る。

【0125】

一実施形態では、Ｓ１５５で、この三次元（３Ｄ）変換は、ｚ軸に沿って別々に行うことができる一方で、任意の２Ｄ変換がｘ－ｙ平面に対して行われる。すなわち、ｚ軸に沿って２ｘ１ベクトルのそれぞれに対して２点１Ｄ変換が行われる一方で、（Ｎ１ｘＮ２）変換がｘ－ｙ平面に対して行われる。

【0126】

Ｓ１５６で、場合に、Ｓ１５２に関して説明した変換のうちの１つ以上を、入力がクロマ予測残差の一次変換係数である二次変換としてさらに適用するかどうかが判断され得る。

【0127】

例えば、各Ｎ１ｘＮ２クロマ残差に対して、それはＫ１変換係数のみを必要とし、これらの２つのＫ１係数が連結されて、Ｓ１５２に関して説明した二次変換への入力を形成され、特定の例示の実施形態は、
・二次変換が適用される一次変換の種類に対する制限、
・二次変換に対する入力の特定の係数の取り除き（zeroing out）、
・一次変換のみの係数と残りとの別々のコーディング
のうちの１つ以上を含む。

【0128】

Ｓ１５６からそうである場合、一実施形態では、Ｓ１５６からのＳ１５２で、順方向二次変換の入力は、変換されたＣｂ残差及びＣｒ残差それぞれからの順方向走査順序に沿った２組の第１のＫ１（Ｋ１＜＝Ｎ１ｘＮ２）係数の連結であり、サイズＫ２×（２ｘＫ１）の順方向二次変換の出力は、同じ２組のＫ１入力係数を置き換える１組のＫ２係数である。この組のＫ２係数は、二次変換が適用されない２組の（Ｎ１ｘＮ２－Ｋ１）係数とは別個にエントロピーコード化される。サイズ（２ｘＫ１）×Ｋ２の逆二次変換の入力は、サイズＫ２×１の量子化された係数ベクトルであり、逆二次変換の出力は、サイズ（２ｘＫ１）の係数ベクトルであり、それから各Ｋ１係数は、個別にエントロピー符号化された（Ｎ１ｘＮ２－Ｋ１）係数のそれぞれと連結される。一実施形態では、係数に関連する座標（ｘ、ｙ）が、ｘ＋ｙが所与の閾値Ｔ以上という条件を満たす場合、係数は常に０として設定される。Ｔの例示の値は、限定されないが、０～３２の整数を含む。一実施形態では、一次変換及び二次変換の両方を適用する係数と、一次変換のみを適用する係数とは別々にコード化される。すなわち、一次及び二次変換の両方を適用する係数は最初にコード化され、一次変換のみを適用する係数が次にコード化されてもよく、逆も同様である。

【0129】

フローダイヤグラム１５００をクロマに関して説明してきたが、フローダイヤグラム１５００が他の実施形態を含み得ることも本明細書に開示される。一実施形態では、前記方法は、クロマ予測残差のいずれか一方を有するルーマ予測残差に適用される。一実施形態では、前記方法は、適用可能な場合には、任意のマルチコンポーネント信号のうちの選択された２つの成分の間で適用される。一実施形態では、Ｍ入力ブロックを連結することにより、Ｓ１５２の方法及びＳ１５２～Ｓ１５６の方法のいずれかをＭ成分シグナル全体に適用することができる。一実施形態では、Ｓ１５５に関する方法は、Ｍ次元変換を行うことによって、Ｍ成分信号全体に適用できる。

【0130】

すなわち、ルーマからの残差をクロマの残差を相関させることができるように、他の種類のマルチチャネル信号に一般化されてもよく、一般的マルチチャネル信号も有益であり、２Ｄ変換（Ｓ１５２）及び二次変換（Ｓ１５２～Ｓ１５６）の方法は、Ｍ入力ブロックを連結してＭチャネル信号の場合の入力を形成することにより適用でき、Ｍ次元変換が適用され得る。

【0131】

出力１５３は、本明細書に記載され、図１７～図１９に関して以下でさらに説明する特徴によるコーディング及びデコーディングのうちの１つ以上に関する出力であり得る。

【0132】

図１７は、開示の主題の適用例として、ストリーミング環境におけるビデオエンコーダ及びデコーダの配置を示す。開示の主題は、例えば、ビデオ会議、デジタルＴＶ、ＣＤ、ＤＶＤ、メモリスティック等を含むデジタル媒体への圧縮ビデオの記憶等を含む、他のビデオが使用可能な用途にも同様に適用できる。

【0133】

ストリーミングシステムは、例えば非圧縮ビデオサンプルストリーム１７１３を生成するビデオソース１７０１、例えばデジタルカメラを含むことができるキャプチャサブシステム１７０３を含み得る。このサンプルストリーム１７１３は、エンコードされたビデオビットストリームと比較した場合に、高データボリュームであることが強調され、カメラ１７０１に連結されるエンコーダ１７０２によって処理することができる。エンコーダ１７０２は、以下でより詳細に説明するように、開示の主題の態様を有効又は実施するために、ハードウェア、ソフトウェア又はその組み合わせを含むことができる。サンプルストリームと比較した場合に、低データボリュームであることが強調され得るコード化ビデオビットストリーム１７０４は、将来の使用のためにストリーミングサーバ１７０５に記憶できる。１つ以上のストリーミングクライアント１７１２及び１７０７は、コード化ビデオビットストリーム１７０４のコピー１７０８及び１７０６を読み出すためにストリーミングサーバ１７０５にアクセスできる。クライアント１７１２は、コード化ビデオビットストリーム１７０８の入力コピーをデコードし、ディスプレイ１７０９又は他のレンダリング装置（図示せず）上でレンダリング可能な出力ビデオサンプルストリーム１７１０を生成するビデオデコーダ１７１１を含むことができる。一部のストリーミングシステムでは、ビデオビットストリーム１７０４、１７０６及び１７０８は、特定のビデオコーディング／圧縮規格に従ってコード化できる。これらの規格の例は上述され、本明細書でさらに説明される。

【0134】

図１８は、本発明の一実施形態に係るビデオデコーダ１８００の機能ブロック図であり得る。

【0135】

受信器１８０２は、デコーダ１８００によってデコードすべき１つ以上のコーデックビデオシーケンスを受信し、同じ又は別の実施形態では、一度に１つのコード化ビデオシーケンスを受信してもよく、各コード化ビデオシーケンスのデコーディングは、他のコード化ビデオシーケンスから独立している。コード化ビデオシーケンスは、コード化ビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得るチャネル１８０１から受信され得る。受信器１８０２は、それぞれの使用エンティティ（図示せず）に転送され得る、例えば、コード化オーディオデータ及び／又は補助データストリーム等の他のデータと共にコード化ビデオデータを受信し得る。受信器１８０２は、コード化ビデオシーケンスを他のデータから分離し得る。ネットワークジッタに対抗するために、受信器１８０２とエントロピーデコーダ／パーサ１８０４（以降「パーサ」）との間にバッファメモリ１８０３が連結され得る。受信器１８０２が、十分な帯域幅及び制御可能性を有する記憶／転送装置から又はアイソクロナスネットワークからデータを受信する場合、バッファ１８０３を必要としないか又は小さいものでよい。インターネット等のベストエフォートパケットネットワークでの使用の場合、バッファ１８０３が必要となり、比較的大きく、有利には適応サイズのものであり得る。

【0136】

ビデオデコーダ１８００は、エントロピーコード化ビデオシーケンスからシンボル１８１３を再構成するためにパーサ１８０４を含み得る。これらのシンボルのカテゴリは、デコーダ１８００の動作を管理するために使用される情報と、場合によっては、デコーダの不可欠な部分ではないが、それに連結され得るディスプレイ１８１２等のレンダリング装置を制御する情報とを含む。レンダリング装置の制御情報は、補助的拡張情報（ＳＥＩメッセージ）又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形式であり得る。パーサ１８０４は、受信したコード化ビデオシーケンスをパース／エントロピーデコーディングし得る。コード化ビデオシーケンスのコーディングは、ビデオコーディング技術又は規格に従うことができ、可変長符号化、ハフマン符号化、文脈依存性を伴う又は伴わない算術符号化等を含む、当業者に周知の原理に従うことができる。パーサ１８０４は、コード化ビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも１つのためのサブグループパラメータのセットを、該グループに対応する少なくとも１つのパラメータに基づいて抽出し得る。サブグループはピクチャ群（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）等を含むことができる。エントロピーデコーダ／パーサはコード化ビデオシーケンスから、変換係数、量子化パラメータ値、動きベクトル等の情報も抽出し得る。

【0137】

パーサ１８０４は、シンボル１８１３を生成するために、バッファ１８０３から受信したビデオシーケンスに対してエントロピーデコーディング／パース動作を行い得る。パーサ１８０４はコード化データを受信し、特定のシンボル１８１３を選択的にデコードし得る。また、パーサ１８０４は、特定のシンボル１８１３が動き補償予測ユニット１８０６、スケーラ／逆変換ユニット１８０５、イントラ予測ユニット１８０７又はループフィルタ１８１１に提供されるべきかどうかを決定し得る。

【0138】

シンボル１８１３の再構成は、コード化ビデオピクチャ又はその一部の種類（例えば、インター及びイントラピクチャ、インター及びイントラブロック）及び他の要因に応じて、複数の異なるユニットが関与することができる。どのユニットがどのように関与するかは、パーサ１８０４によってコード化ビデオシーケンスからパースされたサブグループ制御情報によって制御することができる。パーサ１８０４と以下の複数ユニットとの間のこのようなサブグループ制御情報の流れは、明確性のために図示していない。

【0139】

既に述べた機能ブロックの他に、デコーダ１８００は、概念的に、以下で説明するいくつかの機能ユニットに細分化することができる。商業的制約の下で動作する実用的な実施では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合することができる。しかしながら、開示の主題を説明するために、以下の機能ユニットへの概念的に細分化が適切である。

【0140】

第１のユニットは、スケーラ／逆変換ユニット１８０５である。スケーラ／逆変換ユニット１８０５は、量子化変換係数に加えて、どの変換を用いるか、ブロックサイズ、量子化係数、量子化スケーリング行列等を含む制御情報をパーサ１８０４からシンボル１８１３として受信する。それは、アグリゲータ１８１０に入力可能なサンプル値を含むブロックを出力できる。

【0141】

一部の場合では、スケーラ／逆変換１８０５の出力サンプルはイントラコード化ブロック、すなわち、先に再構成されたピクチャからの予測情報を用いないが、現在のピクチャの先に再構成された部分からの予測情報を用いることができるブロックに関係することができる。そのような予測情報は、イントラピクチャ予測ユニット１８０７によって提供することができる。場合によっては、イントラピクチャ予測ユニット１８０７は、現在の（部分的に再構成された）ピクチャ１８０９から取り出された既に再構成された周囲の情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。アグリゲータ１８１０は、場合によっては、サンプル毎に、イントラ予測ユニット１８０７が生成した予測情報を、スケーラ／逆変換ユニット１８０５によって提供される出力サンプル情報に追加する。

【0142】

他の場合では、スケーラ／逆変換ユニット１８０５の出力サンプルは、インターコード化された潜在的な動き補償ブロックに関連することができる。このような場合、動き補償予測ユニット１８０６は、予測のために用いられるサンプルを取得するために参照ピクチャメモリ１８０８にアクセスすることができる。取得したサンプルを、ブロックに関連するシンボル１８１３に従って動き補償した後に、これらのサンプルは、アグリゲータ１８１０により、スケーラ／逆変換ユニットの出力（この場合は、残差サンプル又は残差信号と呼ばれる）に追加されて、出力サンプル情報を生成することができる。動き補償ユニットが予測サンプルを取得する参照ピクチャメモリ形態内のアドレスは、例えばＸ、Ｙ及び参照ピクチャコンポーネントを有することができるシンボル１８１３の形態で動き補償ユニットに利用可能な動きベクトルによって制御することができる。動き補償は、サブサンプルの正確な動きベクトルが用いられている場合に、参照ピクチャメモリから取得されるサンプル値の補間、動きベクトル予測メカニズム等を含むことができる。

【0143】

アグリゲータ１８１０の出力サンプルは、ループフィルタユニット１８１１内の様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、コード化ビデオビットストリームに含まれ、パーサ１８０４からのシンボル１８１３としてループフィルタユニット１８１１に利用可能にされるが、コード化ピクチャ又はコード化ビデオシーケンスの（デコーディング順序における）先の部分のデコーディングの間に得られたメタ情報に応答するとともに、先に再構成され、ループフィルタリングされたサンプル値に応答することもできるパラメータによって制御されるインループフィルタ技術を含むことができる。

【0144】

ループフィルタユニット１８１１の出力は、レンダリング装置１８１２に出力され、将来のインターピクチャ予測で用いるために参照ピクチャメモリに記憶することができるサンプルストリームであり得る。

【0145】

特定のコード化ピクチャは、いったん完全に再構成されると、将来の予測のための参考ピクチャとして用いることができる。コード化ピクチャが完全に再構成され、（例えば、パーサ１８０４により）コード化ピクチャが参照ピクチャとして識別されると、現在の参照ピクチャ１８０９は、参照ピクチャバッファ１８０８の一部となることができ、フレッシュな現在のピクチャメモリが、以下のコード化ピクチャの再構成を開始する前に再度割り当てすることができる。

【0146】

ビデオデコーダ１８００は、所定のビデオ圧縮技術に従ってデコーディング動作を行い得る。コード化ビデオシーケンスは、ビデオ圧縮技術文書又は規格、具体的にはその中のプロファイル文書で規定されるビデオ圧縮技術又は規格の構文に従うという意味で、使用中のビデオ圧縮技術又は規格によって規定される構文に適合し得る。コード化ビデオシーケンスの複雑さが、ビデオ圧縮技術又は規格のレベルによって定義される範囲内にあることもコンプライアンスのために必要である。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、毎秒メガサンプルで測定される）、最大参照ピクチャサイズ等を制限する。レベルによって設定される制限値は、場合によっては、コード化ビデオシーケンスにおいて伝達されるＨＲＤバッファ管理のためのメタデータ及び仮想参照デコーダ（ＨＲＤ）を通してさらに制限できる。

【0147】

一実施形態では、受信器１８０２は、コード化ビデオと共に追加（冗長）データを受信し得る。追加データは、コード化ビデオシーケンスの一部として含まれ得る。追加データは、データを適切にデコードするために及び／又は元のビデオデータをより正確に再構成するために、ビデオデコーダ１８００によって用いられ得る。追加データは、例えば、時間的、空間的又は信号対雑音比（ＳＮＲ）強化層、冗長スライス、冗長ピクチャ、順方向エラー補正コード等の形態であり得る。

【0148】

図１９は、本開示の一実施形態に係るビデオエンコーダ１９００の機能ブロック図であり得る。

【0149】

エンコーダ１９００は、エンコーダ１９００によりコード化されるビデオ画像を取り込み得る（エンコーダの一部ではない）ビデオソース１９０１からビデオサンプルを受信し得る。

【0150】

ビデオソース１９０１は、任意の好適なビット深度（例えば、８ビット、１０ビット、１２ビット、・・・）、任意の色空間（例えば、ＢＴ.６０１ Ｙ ＣｒＣＢ、ＲＧＢ、・・・）及び任意の好適なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）であり得るデジタルビデオサンプルストリームの形態で、エンコーダ（１７０３）によってコード化されるソースビデオシーケンスを提供し得る。メディアサービングシステムでは、ビデオソース１９０１は、事前に準備されたビデオを記憶する記憶装置であり得る。ビデオ会議システムでは、ビデオソース１９０１は、ビデオシーケンスとしてローカル画像情報を取り込むカメラであり得る。ビデオデータは、連続で見られた場合に動きを伝える複数の個々のピクチャとして提供され得る。ピクチャ自体は、ピクセルの空間アレイとして構成されてもよく、各ピクセルは、使用中のサンプリング構造、色空間等に応じて、１つ以上のサンプルを含み得る。当業者であれば、ピクセルとサンプルとの関係を容易に理解することができる。以下の説明ではサンプルに焦点を当てる。

【0151】

一実施形態によれば、エンコーダ１９００は、ソースビデオシーケンスのピクチャをリアルタイムに又は用途によって要求される任意の他の時間制約の下でコード化ビデオシーケンス１９１０にコード化及び圧縮し得る。適切なコード化速度を実施することは、コントローラ１９０２の１つの機能である。コントローラは、以下で説明する他の機能ユニットを制御し、これらのユニットに機能的に連結されている。明確性のために連結は示されていない。コントローラによって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、・・・）、ピクチャサイズ、ピクチャ群（ＧＯＰ）レイアウト、最大動きベクトル探索範囲等を含むことができる。当業者であれば、コントローラ１９０２の他の機能を、それらが特定のシステム設計のために最適化されたビデオエンコーダ１９００に関連し得るため、容易に特定できる。

【0152】

一部のビデオエンコーダは、当業者が容易に認識する「コーディングループ」で動作する。過度に単純化した説明として、コーディングループは、エンコーダ１９０２（以降「ソースコーダ」）(コード化すべき入力ピクチャ及び参照ピクチャに基づいてシンボルを生成する責任を負う)のエンコーディング部と、エンコーダ１９００に埋め込まれ、（リモート）デコーダも生成し得るサンプルデータを生成するためのシンボルを再構成する（ローカル）デコーダ１９０６とで構成される（シンボルとコード化ビデオビットストリームとの間の任意の圧縮は、開示の主題で考慮されるビデオ圧縮技術において可逆であるため)。再構成されたサンプルストリームは参照ピクチャメモリ１９０５に入力される。シンボルストリームのデコーディングは、デコーダ位置（ローカル又はリモート）に依存しないビットイグザクト（bit－exact）な結果をもたらすため、参照ピクチャバッファコンテンツもローカルエンコーダとリモートエンコーダの間でビットイグザクトとなる。すなわち、エンコーダの予測部は、デデコーディングの間に予測を用いる場合にデコーダが「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期性のこの基本原理（及び、例えば、チャンネルエラーのために同期性を維持できない場合に結果として生じるドリフト)は当業者に周知である。

【0153】

「ローカル」デコーダ１９０６の動作は、「リモート」デコーダ１８００の動作と同じであってもよく、それについては図１８に関連して既に説明されている。図１９も簡潔に参照して、しかしながら、シンボルが利用可能であり、エントロピーコーダ１９０８及びパーサ１９０４によるコード化ビデオシーケンスへのシンボルのエンコーディング／デコーディングは可逆であり得るため、チャネル１８０１、受信器１８０２、バッファ１８０３及びパーサ１８０４を含むデコーダ１８００のエントロピーデコーディング部は、ローカルデコーダ１９０６では完全には実施されない場合がある。

【0154】

この時点での見解は、デコーダ内に存在するパース／エントロピーデコーディングを除く任意のデコーダ技術も、対応するエンコーダ内で実質的に同一の機能形態で存在する必要があることである。エンコーダ技術の説明は、それらは包括的に説明したデコーダ技術の逆であるため省略できる。特定の分野においてのみ、より詳細な説明が必要であり以下で提供される。

【0155】

その動作の一部として、ソースコーダ１９０３は、「参照フレーム」として指定されたビデオシーケンスからの１つ以上の先にコード化されたフレームを参照して入力フレームを予測的にコード化する動き補償予測コーディングを行い得る。このように、コーディングエンジン１９０７は、入力フレームのピクセルブロックと、入力フレームに対する予測参照として選択され得る参照フレームのピクセルブロックとの差異をコード化する。

【0156】

ローカルビデオデコーダ１９０６は、ソースコーダ１９０３によって生成されたシンボルに基づいて、参照フレームとして指定され得るフレームのコード化ビデオデータをデコードし得る。コーディングエンジン１９０７の動作は、有利には不可逆プロセスであり得る。コード化ビデオデータがビデオデコーダ（図１９には図示せず）でデコードされ得る場合、再構成されたビデオシーケンスは、通常、一部のエラーを伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ１９０６は、参照フレームに対してビデオデコーダによって行われ得るデコーディングプロセスを複製し、再構成された参照フレームが参照ピクチャキャッシュ１９０５に記憶されるようにし得る。このように、エンコーダ１９００は、遠端のビデオデコーダによって得られる（送信エラーを欠いた）再構成された参照フレームと共通のコンテンツを有する再構成された参照フレームのコピーをローカルに記憶し得る。

【0157】

予測器１９０４は、コーディングエンジン１９０７のための予測探索を行い得る。すなわち、コード化すべき新たなフレームに対して、予測器１９０４は、サンプルデータ（候補参照ピクセルブロックとして）又は参照ピクチャ動きベクトル、ブロック形状等のような、新たなピクチャの適切な予測参照としての役割を果たし得る特定のメタデータについて、参照ピクチャメモリ１９０５を検索し得る。予測器１９０４は、適切な予測参照を見出すために、サンプルブロックピクセルブロックベースで動作し得る。場合によっては、予測器１９０４によって得られた検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ１９０５に記憶された複数の参照ピクチャから引き出された予測参照を有し得る。

【0158】

コントローラ１９０２は、例えば、ビデオデータをエンコードするために用いられるパラメータ及びサブグループパラメータの設定を含む、ビデオコーダ１９０３のコーディング動作を管理し得る。

【0159】

前述の機能ユニットの全ての出力は、エントロピーコーダ１９０８におけるエントロピーコーディングを受け得る。エントロピーコーダは、様々な機能ユニットによって生成されたシンボルを、例えば、ハフマン符号化、可変長符号化、算術符号化等の当業者に知られた技術に従ってロスレス圧縮することにより、シンボルをコード化ビデオシーケンスに変換する。

【0160】

送信器１９０９は、エントロピーコーダ１９０８によって生成されるコード化ビデオシーケンスをバッファし、コード化ビデオデータを記憶し得る記憶装置へのハードウェア／ソフトウェアリンクであり得る通信チャネル１９１１を介した送信のためにそれを準備し得る。送信器１９０９は、ビデオコーダ１９０３からのコード化ビデオデータを、例えばコード化オーディオデータ及び／又は補助データストリーム（ソースは図示せず）等の送信すべき他のデータとマージし得る。

【0161】

コントローラ１９０２はエンコーダ１９００の動作を管理し得る。コーディングの間に、コントローラ１９０５は、各コード化ピクチャに特定のコード化ピクチャタイプを割り当て得る。これは各ピクチャに適用され得るコード化技術に影響を及ぼし得る。例えば、ピクチャは多くの場合以下のフレームタイプのうちの１つとして割り当てられる。

【0162】

イントラピクチャ（Ｉピクチャ）は、シーケンス内の他のフレームを予測のソースとして用いることなくコード化及びデコードされ得るものであり得る。一部のビデオコーデックは、例えば、インデペンデントデコーダリフレッシュピクチャを含む、異なる種類のイントラピクチャを許容する。当業者であれば、Ｉピクチャのこれらの変形例及びそれらのそれぞれの用途及び特徴が分かる。

【0163】

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために最大で１つの動きベクトル及び参照インデックスを用いるイントラ予測又はインター予測を用いてコード化及びデコードされ得るものであり得る。

【0164】

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために最大で２つの動きベクトル及び参照インデックスを用いるイントラ予測又はインター予測を用いてコード化及びデコードされ得るものであり得る。同様に、マルチ予測ピクチャは、１つのブロックの再構成のために、３つ以上の参照ピクチャ及び関連するメタデータを用いることができる。

【0165】

ソースピクチャは、通常、空間的に複数のサンプルブロック（例えば、それぞれ４ｘ４、８ｘ８、４ｘ８又は１６ｘ１６のサンプルのブロック）に分割され、ブロック毎にコード化される。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定される他の（既にコード化された）ブロックを参照して予測的にコード化され得る。例えば、Ｉピクチャのブロックは非予測的にコード化され得るか又はそれらは同じピクチャの既にコード化されたブロックを参照して予測的に符号化され得る（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは先にコード化された１つの参照ピクチャを参照して、空間的予測を介して又は時間的予測を介して非予測的にコード化され得る。Ｂピクチャのブロックは、１つ以上の先にコード化された参照ピクチャを参照して、空間的予測を介して又は時間的予測を介して符号化され得る。

【0166】

ビデオコーダ１９００は、所定のビデオコーディング技術又は規格に従ってコーディング動作を行い得る。その動作において、ビデオコーダ１９００は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測コーディング動作を含む様々な圧縮動作を行い得る。したがって、コード化ビデオデータは、使用されているビデオコーディング技術又は規格によって規定される構文に適合し得る。

【0167】

一実施形態では、送信器１９０９は、コード化ビデオと共に追加データを送信し得る。ソースコーダ１９０３は、そのようなデータをコード化ビデオシーケンスの一部として含み得る。追加データは、時間的／空間的／ＳＮＲ強調層、冗長ピクチャ及びスライス等の他の形式の冗長データ、補助的拡張情報（ＳＥＩ）メッセージ、視覚的ユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント等を含み得る。

【0168】

一部の実施形態は、あらゆる可能な技術的詳細レベルの集積化において、システム、方法及び／又はコンピュータ読み取り可能媒体に関し得る。コンピュータ読み取り可能媒体は、プロセッサに動作を行わせるためにコンピュータ読み取り可能プログラム命令を有するコンピュータ読み取り可能な非一時記憶媒体を含み得る。

【0169】

コンピュータ読み取り可能記憶媒体は、命令実行装置によって使用される命令を保持及び記憶可能な有形の装置であり得る。コンピュータ読み取り可能記憶媒体は、例えば、限定されないが、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又はこれらの適切な組み合わせであり得る。コンピュータ読み取り可能記憶媒体のより具体的な例の非網羅的リストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル汎用ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、パンチカード又は命令が記録された溝命令を有する溝内の隆起構造等の機械的に符号化された装置及びこれらの任意の適切な組み合わせを含む。本明細書で用いるコンピュータ読み取り可能記憶媒体は、電波又は他の自由に伝搬する電磁波、導波管又は他の伝送媒体を介して伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）又はワイヤを介して伝送される電気信号等の一時的な信号自体であると解釈すべきではない。

【0170】

本明細書で説明するコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体から又は各コンピュータ／処理装置にダウンロードすることができる又はネットワーク、例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク及び／又は無線ネットワークを介して外部コンピュータ又は外部記憶装置にダウンロードできる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含み得る。各コンピュータ／処理装置内のネットワークアダプタカード又はネットワークインターフェイスは、ネットワークからコンピュータ読み取り可能プログラム命令を受信し、コンピュータ読み取り可能プログラム命令を、各コンピュータ／処理装置内のコンピュータ読み取り可能記憶媒体に記憶するために転送する。

【0171】

動作を行うためのコンピュータ読み取り可能プログラムコード／命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ又はＳｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語及び「Ｃ」プログラミング言語又は同様のプログラミング言語等の手続きプログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書かれたソースコード又はオブジェクトコードのいずれかであり得る。コンピュータ読み取り可能プログラム命令は、スタンドアローンソフトウェアパッケージとしてユーザのコンピュータ上で全体的に、ユーザのコンピュータ上で部分的に、ユーザのコンピュータ上で部分的に及びリモートコンピュータで部分的に又はリモートコンピュータ又はサーバ上で全体的に実行され得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続され得るか又は接続は外部コンピュータ（例えば、インターネットサービスプロバイダを用いてインターネットを介して）になされ得る。一部の実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、態様又は動作を行うために、コンピュータ読み取り可能プログラム命令の状態情報を利用して、電子回路をパーソナライズすることによって、コンピュータ読み取り可能プログラム命令が実行され得る。

【0172】

これらのコンピュータ読み取り可能プログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサに提供されて、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャート及び／又はブロック図のブロックで規定された機能／行為を実施するための手段を生成するようにマシンを作り出し得る。これらのコンピュータ読み取り可能プログラム命令は、コンピュータ、プログラマブルデータ処理装置、及び／又は他の装置を特定の方法で機能させることができるコンピュータ読み取り可能記憶媒体に記憶されてもよく、命令が記憶されたコンピュータ読み取り可能記憶媒体は、フローチャート及び／又はブロック図のブロックに規定された機能／行為の態様を実行する命令を含む製造物品を含む。

【0173】

コンピュータ読み取り可能プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードされて、コンピュータ、他のプログラマブル装置又は他の装置で一連の動作ステップを行わせてコンピュータ実施プロセスを生成し、コンピュータ、他のプログラマブル装置、または他の装置上で実行される命令がフローチャート及び／又はブロック図のブロックで規定された機能／行為を実施されるようにする。

【0174】

図面内のフローチャート及びブロック図は、様々な実施形態に係るシステム、方法及びコンピュータ読み取り可能媒体の可能な実施のアーキテクチャ、機能及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、特定の論理機能を実施するための１つ以上の実行可能な命令を含む、モジュール、セグメント又は命令の一部を表し得る。方法、コンピュータシステム及びコンピュータ読み取り可能媒体は、図面に示されるものよりも、追加のブロック、より少ないブロック、異なるブロック又は異なる配置のブロックを含み得る。一部の代替的な実施では、ブロックに記載された機能は、図面に記載の順序から外れ得る。例えば、連続して示される２つのブロックは、実際には、同時又は実質的に同時に実行され得るか又は関連する機能に応じて、ブロックは逆の順序で実行され得る。なお、ブロック図及び／又はフローチャート図の各ブロック及びブロック図及び／又はフローチャート図のブロックの組み合わせは、特定の機能又は動作を行うか又は専用ハードウェア及びコンピュータ命令の組み合わせを行う専用ハードウェアベースのシステムによって実施できる。

【0175】

本明細書に記載のシステム及び／又は方法は、ハードウェア、ファームウェア又はハードウェア及びソフトウェアの組み合わせの異なる形態で実施され得ることは明らかであろう。これらのシステム及び／又は方法を実施するために使用される実際の専用の制御ハードウェア又はソフトウェアコードは、実施のものに限定されない。そのため、本明細書では、システム及び／又は方法の動作及び挙動は特定のソフトウェアコードを参照せずに説明されてきた。ソフトウェア及びハードウェアは、本明細書の説明に基づいてシステム及び／又は方法を実施するように設計され得ることが分かる。

【0176】

本明細書で用いられるいかなる要素、行為又は命令も、明示的に記載されていない限り、重要又は必須と解釈すべきではない。また、本明細書で用いる「ａ」及び「ａｎ」という冠詞は１つ以上のアイテムを含むことを意図し、「１つ以上」と同義で用いられ得る。さらに、本明細書で用いる「セット」という用語は１つ以上のアイテム（例えば、関連アイテム、非関連アイテム、関連アイテム及び非関連アイテムの組み合わせ等）を含むことを意図し、「１つ以上」と同義で用いられ得る。１つのアイテムのみが意図される場合、「１つの」という用語又は同様の用語が用いられる。本明細書で用いられる「有する」という用語等は、オープンエンドの用語であることを意図している。また、「基づく」という用語は、別段明示的に記載がない限り「少なくとも部分的に基づく」を意味することを意図する。

【0177】

様々な態様及び実施形態の説明は例示を目的として提示されてきたが、開示の実施形態に限定されるか又は網羅することを意図していない。特徴の組み合わせが特許請求の範囲に記載され及び／又は明細書に開示されているが、これらの組み合わせは、可能な実施の開示に限定されることを意図していない。実際に、これらの特徴の多くは、具体的に特許請求の範囲に記載されていない及び／又は明細書に開示されていない方法で組み合わされ得る。以下に記載される各従属請求項は１つの請求項のみに直接従属し得るが、可能な実施の開示は、請求項のセット内の他の全ての請求項との組み合わせで各従属請求項を含む。説明した実施形態の範囲から逸脱することなく、多くの修正及び変更が当業者には明らかであろう。本明細書で用いる用語は、実施形態の原理、実際的な応用又は市場で見られる技術に対する技術的な改善を最良な形で説明するために又は本明細書に開示の実施形態を当業者が理解することができるようにするために選択されたものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】