IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ インターデジタル ヴイシー ホールディングス, インコーポレイテッドの特許一覧

特表2022-537490照明補償に基づいてブロックを符号化し及び復号する方法及び機器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-08-26
(54)【発明の名称】照明補償に基づいてブロックを符号化し及び復号する方法及び機器
(51)【国際特許分類】
   H04N 19/51 20140101AFI20220819BHJP
【FI】
H04N19/51
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021569041
(86)(22)【出願日】2020-04-24
(85)【翻訳文提出日】2022-01-12
(86)【国際出願番号】 US2020029734
(87)【国際公開番号】W WO2020251660
(87)【国際公開日】2020-12-17
(31)【優先権主張番号】19305745.2
(32)【優先日】2019-06-12
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.HDMI
2.BLUETOOTH
(71)【出願人】
【識別番号】518338149
【氏名又は名称】インターデジタル ヴイシー ホールディングス, インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】ボルデ,フィリップ
(72)【発明者】
【氏名】チェン,ヤ
(72)【発明者】
【氏名】アーバン,ファブリス
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159MA04
5C159MA05
5C159MC11
5C159ME01
5C159PP04
5C159SS26
5C159TA00
5C159TB08
5C159TC02
5C159TC42
5C159UA02
5C159UA05
5C159UA16
(57)【要約】
ビデオをコード化し及び復号する方法(800、1600、1700)及び機器(1800)を提供する。方法(800、1600、1700)は、ブロックのサブブロックの隣接サンプル及び動き補償済み参照サブブロックの隣接サンプルに基づいて1つ又は複数の照明補償パラメータを導出することと、1つ又は複数の導出済みの照明補償パラメータを使用して動き補償済み参照サブブロックに対して照明補償を適用することによって予測サブブロックを導出することを含む。コンピュータ可読記憶媒体及びコンピュータプログラム製品も記載する。
【特許請求の範囲】
【請求項1】
ビデオのブロックを符号化する方法であって、
現在のサブブロックである前記ブロックのサブブロックに隣接するサンプル及び前記現在のサブブロックの動き補償済み参照サブブロックに隣接するサンプルに基づいて1つ又は複数の照明補償パラメータを導出することと、
前記1つ又は複数の導出済みの照明補償パラメータを使用して前記動き補償済み参照サブブロックに対して照明補償を適用することによって、予測サブブロックを導出することと、
前記予測サブブロックを使用して前記現在のサブブロックを符号化することと
を含む、方法。
【請求項2】
ビデオのブロックを復号する方法であって、
現在のサブブロックである前記ブロックのサブブロックに隣接するサンプル及び前記現在のサブブロックの動き補償済み参照サブブロックに隣接するサンプルに基づいて1つ又は複数の照明補償パラメータを導出することと、
前記1つ又は複数の導出済みの照明補償パラメータを使用して前記動き補償済み参照サブブロックに対して照明補償を適用することによって、予測サブブロックを導出することと、
前記予測サブブロックを使用して前記現在のサブブロックを復号することと
を含む、方法。
【請求項3】
ビデオのブロックを符号化する機器であって、
現在のサブブロックである前記ブロックのサブブロックに隣接するサンプル及び前記現在のサブブロックの動き補償済み参照サブブロックに隣接するサンプルに基づいて1つ又は複数の照明補償パラメータを導出する手段と、
前記1つ又は複数の導出済みの照明補償パラメータを使用して前記動き補償済み参照サブブロックに対して照明補償を適用することによって、予測サブブロックを導出する手段と、
前記予測サブブロックを使用して前記現在のサブブロックを符号化する手段と
を含む、機器。
【請求項4】
ビデオのブロックを復号する機器であって、
現在のサブブロックである前記ブロックのサブブロックに隣接するサンプル及び前記現在のサブブロックの動き補償済み参照サブブロックに隣接するサンプルに基づいて1つ又は複数の照明補償パラメータを導出する手段と、
前記1つ又は複数の導出済みの照明補償パラメータを使用して前記動き補償済み参照サブブロックに対して照明補償を適用することによって、予測サブブロックを導出する手段と、
前記予測サブブロックを使用して前記現在のサブブロックを復号する手段と
を含む、機器。
【請求項5】
同じブロックの複数のサブブロックが予測サブブロックを使用して符号化され、前記サブブロックを符号化すること又は復号することが、サブブロック及び前記関連する予測サブブロックから導出される各残差に対して1つの別個の変換を適用することを含む、請求項1若しくは2の1つに記載の方法又は請求項3若しくは4の1つに記載の機器。
【請求項6】
前記現在のサブブロックの前記隣接するサンプルが前記ブロック内のサンプルである、請求項1若しくは2、5の1つに記載の方法又は請求項3乃至5の1つに記載の機器。
【請求項7】
前記サブブロックを符号化すること又は復号することが、前記サブブロック及び前記予測サブブロックから導出される前記予測残差から導出される予測残差に対して単一の変換を適用することを含む、請求項1若しくは2の1つに記載の方法又は請求項3若しくは4の1つに記載の機器。
【請求項8】
前記現在のサブブロックの1つ又は複数の隣接するサンプルが前記ブロックの外部のサンプルである、請求項7に記載の方法又は機器。
【請求項9】
前記サブブロック及び予測サブブロックの前記隣接するサンプルが、少なくとも1つの更なる予測サブブロックのサンプルだけを用いて形成される、請求項7又は8に記載の方法又は機器。
【請求項10】
サブブロック及び予測サブブロックの前記隣接するサンプルが、前記ブロックの外部のサンプル及び前記ブロック内の少なくとも1つの更なる予測サブブロックのサンプルを用いて形成される、請求項1、2、5乃至9の1つに記載の方法又は請求項3乃至9の1つに記載の機器。
【請求項11】
1つ又は複数の照明補償パラメータが前記ブロックのサブブロックのサブセット内の隣接するサンプルから導出される、請求項1、2、5乃至10の1つに記載の方法又は請求項3乃至10の1つに記載の機器。
【請求項12】
請求項1、2、及び5乃至11の何れか一項に記載の方法に従ってビデオのブロックを符号化し又は復号するための命令を記憶している、非一時的コンピュータ可読記憶媒体。
【請求項13】
請求項1乃至12の何れか一項に記載の方法又は機器に従って生成されるピクチャデータコンテンツを含む、非一時的コンピュータ可読媒体。
【請求項14】
複数のプロセッサのうちの1つによって実行されるとき請求項1、2、及び5乃至11の何れか一項に記載の方法を実行するための命令を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
技術分野
本発明の実施形態は一般に、照明補償を使用したビデオの符号化及び復号に関する。
【背景技術】
【0002】
背景
この節は、以下に記載する及び/又は特許請求の範囲に記載する本発明の実施形態の少なくとも1つの様々な態様に関係し得る様々な技術の態様を読者に紹介することを目的とする。この解説は、少なくとも1つの実施形態の様々な態様をより良く理解するのを助けるための背景情報を読者に与えるのに有用だと考えられる。従って、これらの記述はかかる観点から読まれるべきことを理解すべきである。
【0003】
高い圧縮効率を実現するために、ビデオのコード化方式は通常、予測及び変換を用いてビデオコンテンツ内の空間的及び時間的な冗長性を活用する。概して、フレーム内の又はフレーム間の相関を利用するためにイントラ予測又はインター予測が使用される。その後、予測誤差又は予測残差として示されることが多い元のビデオのピクチャと予測ピクチャとの差が変換され、量子化され、エントロピーコード化される。ピクチャを再構築するために、予測、変換、量子化、及びエントロピーコード化に対応する逆のプロセスによって圧縮データが復号される。
【発明の概要】
【0004】
概要
この節は、本開示の一部の態様の基本的理解を与えるために本発明の実施形態の少なくとも1つの単純化した概要を示す。この概要は実施形態の広範な概説ではない。この概要は実施形態の重要な又は重大な要素を識別することを意図するものではない。以下の概要は、本明細書の他の箇所で示すより詳細な説明への導入部として本発明の実施形態の少なくとも1つの一部の態様を単純化した形で示すに過ぎない。
【0005】
本発明の実施形態の少なくとも1つの全般的な態様によれば、ブロックのサブブロックの隣接サンプル及び動き補償済み参照サブブロックの隣接サンプルに基づいて1つ又は複数の照明補償パラメータを導出することと、1つ又は複数の導出済みの照明補償パラメータを使用して動き補償済み参照サブブロックに対して照明補償を適用することによって予測サブブロックを導出することと、予測サブブロックを使用してサブブロックを符号化することとを含む、ビデオのブロックを符号化する方法が提供される。
【0006】
本発明の実施形態の少なくとも1つの別の全般的な態様によれば、ブロックのサブブロックの隣接サンプル及び動き補償済み参照サブブロックの隣接サンプルに基づいて1つ又は複数の照明補償パラメータを導出することと、1つ又は複数の導出済みの照明補償パラメータを使用して動き補償済み参照サブブロックに対して照明補償を適用することによって予測サブブロックを導出することと、予測サブブロックを使用してサブブロックを復号することとを含む、ビデオのブロックを復号する方法が提供される。
【0007】
本発明の実施形態の少なくとも1つの別の全般的な態様によれば、ブロックのサブブロックの隣接サンプル及び動き補償済み参照サブブロックの隣接サンプルに基づいて1つ又は複数の照明補償パラメータを導出する手段と、1つ又は複数の導出済みの照明補償パラメータを使用して動き補償済み参照サブブロックに対して照明補償を適用することによって予測サブブロックを導出する手段と、予測サブブロックを使用してサブブロックを符号化する手段とを含む、ビデオのブロックを符号化する機器が提供される。
【0008】
本発明の実施形態の少なくとも1つの別の全般的な態様によれば、ブロックのサブブロックの隣接サンプル及び動き補償済み参照サブブロックの隣接サンプルに基づいて1つ又は複数の照明補償パラメータを導出する手段と、1つ又は複数の導出済みの照明補償パラメータを使用して動き補償済み参照サブブロックに対して照明補償を適用することによって予測サブブロックを導出する手段と、予測サブブロックを使用してサブブロックを復号する手段とを含む、ビデオのブロックを復号する機器が提供される。
【0009】
一実施形態によれば、同じブロックの複数のサブブロックが予測サブブロックを使用して符号化され、サブブロックを符号化すること又は復号することが、サブブロック及び関連する予測サブブロックから導出される各残差に対して1つの別個の変換を適用することを含む。
【0010】
一実施形態によれば、現在のサブブロックの隣接サンプルがブロック内のサンプルである。
【0011】
一実施形態によれば、サブブロックを符号化すること又は復号することが、サブブロック及び予測サブブロックから導出される予測残差から導出される予測残差に対して単一の変換を適用することを含む。
【0012】
一実施形態によれば、現在のサブブロックの1つ又は複数の隣接サンプルがブロックの外部のサンプルである。
【0013】
一実施形態によれば、サブブロック及び予測サブブロックの隣接サンプルが、少なくとも1つの更なる予測サブブロックのサンプルだけを用いて形成される。
【0014】
一実施形態によれば、サブブロック及び予測サブブロックの隣接サンプルが、ブロックの外部のサンプル及びブロック内の少なくとも1つの更なる予測サブブロックのサンプルを用いて形成される。
【0015】
一実施形態によれば、1つ又は複数の照明補償パラメータがブロックのサブブロックのサブセット内の隣接サンプルから導出される。
【0016】
本発明の実施形態の少なくとも1つの他の全般的な態様によれば、非一時的コンピュータ可読記憶媒体及びコンピュータプログラム製品が提供される。
【0017】
添付図面と併せて解釈される例についての以下の説明から、本発明の実施形態の少なくとも1つの特定の性質並びに本発明の実施形態の前述の少なくとも1つの他の目的、利点、特徴、及び使用法が明らかになる。
【0018】
幾つかの実施形態の例を図面で示す。
【図面の簡単な説明】
【0019】
図面の簡単な説明
図1】従来技術による、現在のピクチャ内の現在のブロックに関する、参照0ピクチャ内の参照0ブロックに関する、及び参照1ピクチャ内の参照1ブロックに関する再構築済み隣接サンプルのL字型セットを示す。
図2】従来技術による照明補償手法の幾らかの不都合を示す。
図3】従来技術による照明補償手法の幾らかの不都合を示す。
図4】一実施形態による例示的な符号器の単純化したブロック図を示す。
図5】少なくとも1つの実施形態による例示的な符号器の一部のモジュールの単純化したブロック図500を示す。
図6】少なくとも1つの実施形態による例示的な復号器600の単純化したブロック図を示す。
図7】少なくとも1つの実施形態による例示的な復号器の一部のモジュールの単純化したブロック図700を示す。
図8】少なくとも1つの実施形態による、照明補償に基づいてブロックを符号化/復号する方法の流れ図800を示す。
図9】少なくとも1つの実施形態による、ブロックをサブ分割する例を示す。
図10】少なくとも1つの実施形態による、ブロックの動き補償済み参照サブブロックを導出する方法1000の流れ図を示す。
図11】少なくとも1つの実施形態による、アフィン動きモデルに基づくサブブロックの動きベクトルの例を示す。
図12】本発明の実施形態による、1つ又は複数のICパラメータを導出し、動き補償済み参照サブブロックを調節する方法1200の流れ図を示す。
図13a】少なくとも1つの実施形態による、ブロックの異なるサブ分割によるL字型セットの定義を示す。
図13b】少なくとも1つの実施形態による、ブロックの異なるサブ分割によるL字型セットの定義を示す。
図13c】少なくとも1つの実施形態による、ブロックの異なるサブ分割によるL字型セットの定義を示す。
図13d】少なくとも1つの実施形態による、ブロックの異なるサブ分割によるL字型セットの定義を示す。
図14】少なくとも1つの実施形態による、予測サブブロックからブロックのサブブロックを符号化する方法1400の流れ図を示す。
図15】ブロックのサブブロックをグループ化するために4つのVPDUが作成される事例を示す。
図16】本発明の実施形態による、ビデオを符号化する例示的方法の流れ図を示す。
図17】本発明の実施形態による、ビデオを復号する例示的方法の流れ図を示す。
図18】本開示の態様を実装し実行することができる計算環境のブロック図を示す。
【発明を実施するための形態】
【0020】
詳細な説明
この詳細な説明は、本発明の実施形態の原理を示す。従って本明細書で明示的に説明され又は図示されていなくても、本発明の実施形態の原理を実施し、かかる実施形態の範囲に含まれる様々な構成を当業者なら考案できることが理解されよう。
【0021】
本明細書で挙げる全ての例及び条件付き言語は、当技術分野を促進するために発明者がもたらす本発明の実施形態の原理及び概念を読者が理解するのを助けるための教示を目的とするものであり、具体的に挙げるかかる例及び条件に限定されないものと解釈されるべきである。
【0022】
更に、本開示の原理、態様、及び実施形態、並びにその具体例を挙げる本明細書の全ての表現は、その構造上の等価物及び機能上の等価物の両方を包含することを意図する。加えて、かかる等価物は現在知られている等価物並びに将来開発される等価物、即ち構造に関係なく同じ機能を実行する開発される任意の要素の両方を含むことを意図する。
【0023】
従って、例えば本明細書に示すブロック図は本発明の実施形態の原理を具体化する例示的回路の概念図を表すことを当業者なら理解されよう。同様に、任意の流れ図、工程図、状態遷移図、疑似コード等は、コンピュータ可読媒体内で実質的に表すことができ、そのためコンピュータ又はプロセッサによって、かかるコンピュータ又はプロセッサが明示的に示されていようがいまいが実行される様々なプロセスを表すことが理解されよう。
【0024】
本発明の実施形態は、前述の本発明の実施形態の例を示す添付図面に関して以下でより完全に説明する。但し、実施形態は多くの代替的形態で具体化することができ、本明細書に記載する例に限定されると解釈すべきでない。従って、開示する特定の形態に実施形態を限定する意図はないことを理解すべきである。逆に本発明の実施形態は本願の趣旨及び範囲に含まれる全ての修正形態、等価物、及び代替形態を範囲に含むことを意図する。
【0025】
図面が流れ図として示されている場合、その図面は対応する機器のブロック図も提供することを理解すべきである。同様に図面がブロック図として示されている場合、その図面は対応する方法/プロセスの流れ図も提供することを理解すべきである。
【0026】
図示の様々な要素の機能は、専用ハードウェア並びに適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアを使用することによって与えられ得る。プロセッサによって与えられるとき、それらの機能は単一の専用プロセッサによって、単一の共用プロセッサによって、又はその一部が共用され得る複数の個別のプロセッサによって与えられ得る。更に、「プロセッサ」又は「コントローラ」という用語を明示的に使用することはソフトウェアを実行可能なハードウェアに排他的に言及するものだと解釈すべきではなく、デジタル信号プロセッサ(DSP)ハードウェア、ソフトウェアを記憶するための読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、及び不揮発性記憶域を制限なしに暗に含み得る。
【0027】
他の従来の及び/又は特注のハードウェアも含まれ得る。同様に、図示の何れのスイッチも概念上のものに過ぎない。それらの機能はプログラムロジックの動作によって、専用ロジックによって、プログラム制御及び専用ロジックの相互作用によって、更には手動で実行することができ、文脈からより明確に理解されるように特定の技法が実装者によって選択可能である。
【0028】
図面の同様の又は同じ要素は、同じ参照番号を使って参照される。
【0029】
一部の図面は、ビデオ圧縮規格に準拠するビットストリームの構造を定めるための前述のビデオ圧縮規格の仕様内で広く使用される構文テーブルを表す場合がある。それらの構文テーブル内で、「...」という用語はビデオ圧縮規格の仕様内で与えられるよく知られている定義に関する構文の不変の部分を示し、読み易くするために図中で除去してある。構文テーブル内の太文字の用語は、その用語の値がビットストリームを構文解析することによって得られることを示す。構文テーブルの右側の行は構文要素のデータを符号化するためのビット数を示す。例えばu(4)はデータを符号化するために4ビット使用することを示し、u(8)は8ビットを示し、ae(v)はコンテキスト適応型算術エントロピーコード化された構文要素を示す。
【0030】
本明細書の特許請求の範囲では、指定の機能を実行するための手段として表す如何なる要素も、例えばa)その機能を行う回路素子の組み合わせ、又はb)その機能を行うためのソフトウェアを実行するための適切な回路と組み合わせられる任意の形式の、従ってファームウェア、マイクロコード等を含むソフトウェアを含む、その機能を実行する任意のやり方を包含することを意図する。かかる特許請求の範囲によって定める本発明の実施形態は、列挙する様々な手段によって与えられる機能が、特許請求の範囲が必要とするやり方で組み合わせられ、まとめられるという事実にある。従って、それらの機能を提供可能な如何なる手段も本明細書に示す手段と等価だと見なす。
【0031】
典型的な符号化及び/又は復号装置に見られる他の多くの要素を明瞭にするために排除する一方、本発明の実施形態を明確に理解することに関連する要素を例示するために図面及び説明を単純化していることを理解すべきである。
【0032】
本明細書では様々な要素を説明するために第1の及び第2のという用語を使用する場合があるが、それらの要素はそれらの用語によって限定されるべきではないことが理解されよう。これらの用語は或る要素を別の要素と区別するために使用するに過ぎない。上記では様々な方法を記載し、それらの方法のそれぞれは記載した方法を実現するための1つ又は複数のステップ又はアクションを含む。方法が適切に動作するためにステップ又はアクションの特定の順序が必要でない限り、特定のステップ及び/又はアクションの順序及び/又は使用を修正し若しくは組み合わせることができる。
【0033】
以下の節では「再構築する」という語と「復号する」という語を区別なく使用する場合がある。必ずではないが通常、「再構築する」は符号器側で使用されるのに対し「復号する」は復号器側で使用される。加えて「コード化する」という語と「符号化する」という語を区別なく使用する場合がある。更に「画像」、「ピクチャ」、及び「フレーム」という語を区別なく使用する場合がある。更に「コード化」、「ソースコード化」、及び「圧縮」という語を区別なく使用する場合がある。
【0034】
ピクチャ(画像又はフレームとも示す)とは、モノクロ形式のルマサンプルのアレイ、又はルマサンプルのアレイと4:2:0、4:2:2、若しくは4:4:4カラー形式のクロマサンプルの対応する2つのアレイ、又は3つのカラー成分(例えばRGB)の3つのアレイであり得ることを理解すべきである。
【0035】
ビデオ圧縮規格では、場合によりピクチャは異なるサイズ及び/又は異なる形状のブロックに分割される。ブロックは2次元のアレイ又は行列であることを理解すべきである。水平方向即ちx方向(又は軸)は幅を表し、垂直方向即ちy方向(又は軸)は高さを表す。インデックスは0から始まる。x方向は列を表し、y方向は行を表す。最大のxインデックスは幅-1である。最大のyインデックスは高さ-1である。
【0036】
本発明の実施形態は、空間的又は時間的な任意の局所照明変動を考慮することにより、動き補償(MC)によって得られるブロック予測サンプルを調節するためにインター予測モード内で使用されるブロックベースの照明補償(IC)を対象とする。
【0037】
従来技術では、現在のピクチャ内の現在のブロックに関する再構築済み隣接サンプルのL字型セットを参照ピクチャ内の参照ブロックに関する再構築済み隣接サンプルの対応するL字型セットと比較することによってICパラメータを推定する。双方向予測の場合(つまり現在のブロック当たり参照ブロックが2つある)、2つの参照iブロック(i=0又は1)に関する再構築済み隣接サンプルの対応するL字型セットが、現在のブロックに関する再構築済み隣接サンプルのL字型セットと別々に比較される。
【0038】
図1は、従来技術による現在のピクチャ150内の現在のブロック160に関する隣接サンプルのL字型セット170、参照0ピクチャ110内の動き補償済み参照0ブロック(ref-0、本明細書ではMC-0又は動き補償済み0ブロックとも呼ぶ)120に関する対応するL字型セット(L-shape-ref-0)130、及び参照1ピクチャ115内の動き補償済み参照1ブロック(ref-1、本明細書ではMC-1又は動き補償済み1ブロックとも呼ぶ)125に関する対応するL字型セット(L-shape-ref-1)135を示す。従って以下、参照iブロック又はref-i(i=0,1)という用語は動き補償済み参照ブロック、つまり参照ピクチャ「i」内の位置(x+MVix,y+MViy)にあるブロックに対応し、(x,y)は現在のピクチャ内の現在のブロックの位置であり、MVは動きベクトルの意である。図1では、現在のブロック160と参照0ブロック120との間の動きベクトルをMV0 140と見なし、現在のブロック160と参照1ブロック125との間の動きベクトルをMV1 145と見なす。
【0039】
ブロックベースの照明補償(IC)は、典型的には線形であり次式によって定められる照明補償(IC)モデルを使用することができ:
IC(x)=a*x+b (1)
但しa及びbは一般に線形関数の傾き及び切片とそれぞれ呼ばれるICパラメータである。
【0040】
具体的にはICパラメータは、例えば現在のブロックに関するL字型セット170内のサンプルと、ICモデルを使用して照明補償を用いて調節(補正)される参照ブロック(120又は125)に関するL字型セット(130又は135)内のサンプルとの差を最小化することによって推定することができる。以下のように最小二乗法の下でサンプル間の差を最小化することができ:
【数1】
但し(a,b)は参照ブロックに関連する最適なICパラメータであり、argmin(.)は最小値の引数であり、総和は参照ピクチャ内のサンプルのL字型セットL-shape-ref内の対応するサンプルyと対にされる現在のピクチャ内のサンプルのL字型セットL-shape-cur内の各サンプルxにわたるものである。
【0041】
従来技術によれば、隣接サンプルのL字型セットを利用する概念は、現在のブロックの隣接サンプルについて最適化されるICパラメータが現在のブロックに適したままであるという想定に依拠する。L字型セットの隣接サンプルは現在のブロックのサンプルに対する利用可能な最も近いサンプルなのでこの想定は概ね真実である。しかしこの手法はインター予測に関するパイプライン依存関係を生ぜしめ、その理由は図2に示すように現在の予測ブロックを構築するまで隣接ブロックが再構築されるのを待たなければならないからであり、図2では現在のブロックCUの復号が隣接ブロックCU1及びCU2の隣接再構築済みサンプルに依存する。更に図3に示すように、調節されるサンプルから相対的に離れている可能性があるサンプルを用いてICパラメータが推定される。
【0042】
本発明の実施形態は、従来技術に見られる幾つかの不利点に対処する。以下の段落及び図面の中で更に説明するように、具体的には本発明の実施形態は、現在のブロックのサブブロックの隣接サンプル及び動き補償済み参照サブブロックの隣接サンプルに基づいて1つ又は複数の照明補償パラメータを導出し、1つ又は複数の導出済みの照明補償パラメータを使用して動き補償済み参照サブブロックに対して照明補償を適用することによって予測サブブロックを導出し、予測サブブロックを使用してサブブロックを符号化する。
【0043】
符号化
図4は、少なくとも1つの実施形態による例示的な符号器500の単純化したブロック図を示す。
【0044】
符号器400は、通信システム内の送信機又はヘッドエンド内に含まれ得る。
【0045】
1つ又は複数のピクチャを有するビデオシーケンスを符号化するために、場合によりピクチャを異なるサイズ及び/又は異なる形状のブロックに分割する(モジュール410)。例えばHEVC(「ITU-T H.265 TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (10/2014), SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services - Coding of moving video, High efficiency video coding, Recommendation ITU-T H.265」)では、ピクチャを構成可能なサイズを有する正方形のCTU(コード化ツリー単位)に分割することができる。1組の連続したCTUをスライスにまとめることができる。CTUは、通常はCU(コード化単位)と示すブロックへの4分木分割のルートである。
【0046】
例示的な符号器500では、以下に記載するブロックベースのビデオ符号器によってピクチャが符号化される。
【0047】
各ブロックはイントラ予測モード又はインター予測モードを使用して符号化される。
【0048】
ブロックをイントラ予測モードによって符号化する場合(モジュール460)、符号器400は同じピクチャ内の少なくとも1つのブロックに基づいてイントラ予測(空間的予測とも示す)を行う。一例として、予測ブロックは再構築済み隣接サンプルからブロックをイントラ予測することによって得られる。
【0049】
ブロックをインター予測モードによって符号化する場合、符号器400は少なくとも1つの参照ピクチャの少なくとも1つの参照ブロックに基づいてインター予測(時間的予測とも示す)を行う。
【0050】
インター予測コード化は、動き推定を行い(モジュール475)、参照ピクチャバッファ480内に記憶される参照ブロックを(モジュール470内で)動き補償することによって行われる。
【0051】
ユニインター予測モードでは、予測ブロックが(必須ではないが)概して前の参照ピクチャに基づき得る。
【0052】
バイインター予測モードでは、予測ブロックが(必須ではないが)概して前の及び後のピクチャに基づき得る。
【0053】
符号器は、ブロックを符号化するためにイントラ予測モード又はインター予測モードのどちらを使用するのかを決定し(モジュール405)、予測モード構文要素によってイントラ/インターの決定を示す。
【0054】
ブロックから予測ブロック(予測子としても知られている)を減算することによって予測残差ブロックを計算する(モジュール420)。
【0055】
予測残差ブロックを変換し(モジュール425)、量子化する(モジュール430)。変換モジュール425は、ピクセル(空間)領域から変換(周波数)領域にブロックを変換することができる。変換は例えばコサイン変換、サイン変換、ウェーブレット変換等とすることができる。例えばレート歪み基準に従って量子化を行うことができる(モジュール430)。
【0056】
量子化済み変換係数並びに動きベクトル及び他の構文要素をエントロピーコード化(モジュール445)してビットストリームを出力する。エントロピーコード化は、例えばコンテキスト適応型バイナリ算術コード化(CABAC)、コンテキスト適応型可変長コード化(CAVLC)、ハフマン、算術、指数ゴロム等であり得る。
【0057】
符号器は変換を飛ばして、非変換予測残差ブロックに量子化を直接適用することもできる。符号器は変換及び量子化の両方をバイパスする、即ち変換プロセス又は量子化プロセスを適用することなしに予測残差ブロックを直接コード化することもできる。
【0058】
直接のPCMコード化では予測を適用せず、ビットストリーム内にブロックサンプルが直接コード化される。
【0059】
符号器400は復号ループを含み、従って符号化ブロックを復号して更なる予測のための参照を提供する。量子化済みの変換係数を逆量子化し(モジュール440)、逆変換して(モジュール450)予測残差ブロックを復号する。復号した予測残差ブロックと予測ブロックとを組み合わせること(モジュール455)によってブロックを再構築する。例えばデブロッキング/サンプル適応オフセット(SAO)フィルタリングを実行してコード化アーティファクトを減らすために、再構築したピクチャにインループフィルタ(465)を適用することができる。フィルタ済みピクチャを参照ピクチャバッファ480内に記憶する。
【0060】
符号器400のモジュールはソフトウェアによって実装され、プロセッサによって実行されてもよく、又は圧縮の当業者によってよく知られている回路部品を使用して実装することができる。具体的には、ビデオ符号器400は集積回路(IC)として実装することができる。
【0061】
本発明の実施形態に記載する差異、とりわけ以下の段落及び図面の中でより詳細に説明する照明補償に基づくモジュールである動き補償470及び/又は動き推定475の差異を除き、符号器400のモジュールは旧来のブロックベースのビデオ符号器(例えばHEVC符号器)内にある。
【0062】
照明補償以外の機能(例えば470及び475以外のモジュール)に関して符号器400は旧来の任意のブロックベースのビデオ符号器と同様とすることができ、本明細書ではその機能を詳細には説明しない。
【0063】
動き推定モジュール475の目的は、典型的にはレート歪みコスト(RDコスト)が十分低いとき又は最小限に達したとき終了する反復探索を使用し得る最も優れた動きベクトルを決定することなので、動き推定モジュール475は動き補償を含み得る。その結果、ICは動き推定モジュール475内でも適用され得る。
【0064】
図5は、少なくとも1つの実施形態による例示的な符号器の一部のモジュールの単純化したブロック図500を示す。
【0065】
動き推定475及び動き補償470のモジュールは、少なくとも1つの実施形態による符号器のためのモジュール内のIC関連機能を指定する。
【0066】
動き推定475及び動き補償470のモジュールは、本発明の実施形態に従ってブロックをサブブロックに分割するサブ分割モジュール571を含み得る。
【0067】
以下の段落及び図面の中で更に説明するように、ブロックをサブ分割することにより、ICパラメータを局所的特徴に対して空間的に適応させ、調節されるサンプルの何れかまでの、ICパラメータを推定するために使用されるサンプルの最大距離を、通常の方法と比較して低減する。
【0068】
動き推定475及び動き補償470のモジュールは、本発明の実施形態に従って動き補償済み参照サブブロックを実行する内部動き補償モジュール572も含み得る。
【0069】
動き推定475及び動き補償470のモジュールは、本発明の実施形態に従って動き補償済み参照サブブロックのためのICパラメータを導出するICパラメータ導出モジュール573も含み得る。
【0070】
最後に、動き推定475及び動き補償470のモジュールは、本発明の実施形態に従って動き補償済み参照サブブロック及び導出済みICパラメータから予測サブブロックを導出するIC適用モジュール574を含み得る。
【0071】
動き推定モジュール475の目的は、典型的にはレート歪みコスト(RDコスト)が十分低いとき又は最小限に達したとき終了する反復探索を使用し得る最も優れた動きベクトルを決定することなので、動き推定モジュール475は動き補償を含み得る。反復は様々な動きベクトル候補を試験する。動き推定475のモジュールは、動き補償モジュール570に最も優れた動きベクトルMVを与えるためにRDコストを決定し、RDの適切な値又は最小値が実現されているかどうかを明らかにするRDコスト計算モジュール575を含み得る。
【0072】
一実施形態では、動き推定モジュール575が最も優れた動きベクトルMVに関連するICパラメータを出力することもできる。その場合、モジュール570内でICパラメータを再計算する必要がなく、モジュール573を動き補償モジュール570から飛ばすことができる。
【0073】
照明補償に基づく図5のモジュールについて以下の段落及び図面の中でより詳細に説明する。
【0074】
一実施形態では、インター予測コード化ブロックごとにICを適応的に有効化又は無効化することができる。ビットストリーム内では、ブロック、ピクチャ、スライド、又はシーケンスについてICが有効化される場合、ブロックに関してICが有効化されているかどうかを示すためにブロックごとにICフラグを符号化することができる。その後ICフラグは復号器において取得され得る。別の実施形態では、ICフラグが他のコード化パラメータ(例えばマージインデックス、ブロックサイズ)から推論され得る。
【0075】
一実施形態では、導出されるICパラメータが予測の改善をもたらさない場合、ICを局所的に又は大域的に非アクティブ化する(例えばICフラグを偽に設定する)ことができる。
【0076】
一実施形態では、ICフラグがブロックのICを可能にする(例えばICフラグが真に設定される)場合、復号器において取得されるようにブロックのICパラメータが含まれ、任意選択的にビットストリーム内に符号化され得る。
【0077】
復号
図6は、少なくとも1つの実施形態による例示的な復号器600の単純化したブロック図を示す。
【0078】
復号器600は、通信システム内の受信機内に含まれ得る。
【0079】
復号器600は図4及び図5に記載した符号器400によって実行される符号化経路の逆の復号経路を概して実行するが、復号器内の全ての操作が符号化プロセス(例えばイントラ予測及びインター予測)の逆の操作という訳ではない。
【0080】
具体的には、復号器600の入力は、符号器400によって生成され得るビットストリームを含む。
【0081】
変換係数、動きベクトルMV、ピクチャ分割情報、場合により予測モード情報、他の構文要素及び/又はコード化された情報を得るためにビットストリームを、まずエントロピー復号する(モジュール630)。
【0082】
例えばHEVCでは、ピクチャ分割情報はCTUのサイズ及びCTUをCUに分割するやり方を示す。従って復号器は、ピクチャ分割情報に従ってピクチャをCTUに、及び各CTUをCUに分けることができる(635)。
【0083】
予測残差ブロックを復号するために変換係数を逆量子化し(モジュール640)、逆変換する(モジュール650)。復号済みの予測残差ブロックを予測ブロック(予測子としても知られている)と組み合わせて(モジュール655)復号済み/再構築済みブロックを得る。
【0084】
予測ブロックは、場合により、予測モード情報に応じてイントラ予測(モジュール660)又は動き補償予測(即ちインター予測)(モジュール670)から得ることができる(モジュール605)。再構築済みピクチャにインループフィルタ(モジュール665)を適用することができる。インループフィルタはデブロッキングフィルタ及び/又はSAOフィルタを含み得る。フィルタ済みピクチャを参照ピクチャバッファ680内に記憶する。
【0085】
復号器600のモジュールはソフトウェアによって実装され、プロセッサによって実行されてもよく、又は圧縮の当業者によってよく知られている回路部品を使用して実装することができる。具体的には、復号器600は集積回路(IC)として単独で又はコーデックとして符号器400と組み合わせて実装することができる。
【0086】
本発明の実施形態に記載する差異、とりわけ以下の段落及び図面の中でより詳細に説明する照明補償に基づく動き補償モジュール670の差異を除き、復号器600のモジュールは旧来のブロックベースのビデオ復号器(例えばHEVC復号器)内にある。
【0087】
照明補償以外の機能(例えば670以外のモジュール)に関して復号器600は旧来の任意のブロックベースのビデオ復号器と同様とすることができ、本明細書ではその機能を詳細には説明しない。
【0088】
図7は、少なくとも1つの実施形態による例示的な復号器の一部のモジュールの単純化したブロック図700を示す。
【0089】
モジュール570は、本発明の実施形態による復号器のためのモジュール内のIC関連機能を示す。
【0090】
動き補償570は、サブ分割モジュール571、内部動き補償モジュール572、ICパラメータ導出モジュール573、及びIC適用モジュール574を含み得る。
【0091】
照明補償に基づく図7のモジュールについて以下の段落及び図面の中でより詳細に説明する。
【0092】
一実施形態では、インター予測コード化ブロックごとにICを適応的に有効化又は無効化することができる。
【0093】
現在のスライス/ピクチャ又はシーケンスについてICが有効化される場合、ブロックに関してICが有効化されているかどうかを示すためにブロックごとにICフラグをビットストリームから復号することができる。
【0094】
代わりに、ICフラグは推論することができ、例えばICフラグはマージモードを使用して過去に復号されたブロックから導出することができる。その後ICフラグはビデオ復号器において取得される。
【0095】
導出されるICパラメータが予測の改善をもたらさない場合、ICを局所的に又は大域的に非アクティブ化する(例えばICフラグを偽に設定する)ことができる。ICフラグがブロックのICを可能にする(例えばICフラグが真に設定される)場合、復号器において取得されるようにブロックのICパラメータが含まれ、任意選択的にビットストリームから復号され得る。
【0096】
ICフラグ及びICパラメータが含まれ、任意選択的にビットストリームから復号される場合、モジュール570はICパラメータを計算し又は導出する代わりにICフラグ及びICパラメータをビットストリームから取得することを理解すべきである。
【0097】
以下、実施形態によるICパラメータの導出又は計算に関する実施形態を記載する。
【0098】
図8は、少なくとも1つの実施形態による、照明補償に基づいてブロックを符号化/復号する方法の流れ図800を示す。
【0099】
ステップ810で、図9に示すようにブロックをサブブロックにサブ分割する。復号器において、サブ分割はビットストリームから復号されるピクチャ分割情報によってトリガされ得る。
【0100】
次に、図10及び図11において詳細に説明するように動き補償済み参照サブブロックを動き補償から取得し(ステップ820)、動き補償済み参照サブブロックの隣接サンプル及びサブブロックの隣接サンプルからICパラメータを導出し(ステップ830)、図12及び図13a~dにおいて詳細に説明するようにICパラメータを使用して動き補償済み参照サブブロックに対して照明補償を適用することによって予測サブブロックを導出する。最後に、図14において詳細に説明するように予測サブブロックを使用してサブブロックを符号化/復号する(ステップ840)。この方法をブロックのサブブロックごとに反復する。
【0101】
ステップ810~840は、例えば符号器400若しくは500又は復号器600若しくは700によって実行され得る。
【0102】
具体的には、ステップ810~830は、例えば符号器のモジュール470、475、及び471又は復号器のモジュール670によって実行され得る。
【0103】
図9は、少なくとも1つの実施形態によるブロックをサブ分割する(ステップ810)例を示す。
【0104】
一実施形態では、少なくとも2つのサブブロックへとブロックを水平又は垂直に分割することができる。
【0105】
例えばブロックを水平(又は垂直)に分割する場合、図9の矢印によって示すようにサブブロックのコード化及び復号が下方向に(水平分割)又は右方向に(垂直分割)繰り返し適用される。
【0106】
サブブロックのサイズ(高さ及び/又は幅)は等しくても等しくなくてもよい。
【0107】
例えばサブブロックの幅(又は高さ)は、2:2分割又は1:3/3:1分割をもたらすブロック幅(又は高さ)の半分に又は四分の一に等しくあり得る。2:2分割は2分木(BT)分割のようである一方、1:3/3:1分割は非対称2分木(ABT)分割のようである。例えば最小ブロックサイズが4x8(又は8x4)である。ブロックサイズが4x8(又は8x4)を上回る場合、対応するブロックが4つのサブブロックで割られる。
【0108】
一実施形態では、サブブロックの数がブロックのサイズに依存し得る。例えばブロックの一辺が8である場合、その辺に沿った1:3/3:1分割は認められない。例えば予期される最小ブロックサイズが4x8(又は8x4)である。ブロックサイズが4x8(又は8x4)を上回る場合、ブロックが4つのサブブロックで割られる。
【0109】
一実施形態では、サブ分割が構文要素によってビットストリーム内でシグナリングされ得る。次いで復号器におけるステップ571が構文要素を取得し、シグナリングされたサブ分割に従ってブロックを分割する。
【0110】
図10は、少なくとも1つの実施形態による、ブロックの動き補償済み参照サブブロックを導出する方法1000の流れ図を示す。
【0111】
例えばよく知られている任意のブロックベースの動き推定方法を使用し、サブブロックごとに動きベクトルを推定する。
【0112】
改変形態では、ブロックの並進動きフィールドを捕捉する推定アフィン動きモデルからサブブロックごとの動きベクトルを導出する。この改変形態は時間的予測を改善する。
【0113】
図11(左側)に示すように、アフィン動きモデルは2つの制御点動きベクトル(4パラメータ)、又は3つの制御点動きベクトル(6パラメータ)、又は任意の数の制御点動きベクトルによって定めることができる。
【0114】
4パラメータのアフィン動きモデルでは、ブロック内のサンプル位置(x,y)における動きベクトルを以下のように導出することができる:
【数2】
【0115】
6パラメータのアフィン動きモデルでは、ブロック内のサンプル位置(x,y)における動きベクトルを以下のように導出することができ:
【数3】
但し(mv0x,mv0y)は左上角の制御点の動きベクトルであり、(mv1x,mv1y)は右上角の制御点の動きベクトルであり、(mv2x,mv2y)は左下角の制御点の動きベクトルである。
【0116】
制御点における動きベクトルは、よく知られている任意の動き推定方法を使用して推定することができる。
【0117】
例えば図11(右側)に示すように、上記の等式に従って計算され、場合により1/16の分数精度に丸められる各サブブロックの中心サンプルの動きベクトルはサブブロックの動きベクトルである。
【0118】
図12は、本発明の実施形態による、1つ又は複数のICパラメータを導出し、動き補償済み参照サブブロックを調節する方法1200の流れ図を示す。
【0119】
以下の照明補償(IC)モデルは、動き補償済み参照サブブロックを照明補償するために使用することができる。
【0120】
ICモデルは次式:
IC(xsb)=asb*xsb+bsb (3)
によって定められ、asb及びbsbは、一般に線形関数の傾き又はスケール及び切片又はオフセットとそれぞれ呼ばれる動き補償済み参照サブブロックsbのICパラメータである。
【0121】
図13a~図13dに示すように、一実施形態ではサブブロックの隣接サンプルが隣接サンプルのL字型セットであり得る。改変形態では、L字型セットの全ての隣接サンプルが使用されるのではなく、その一部だけが使用される(例えばイントラモード再構築済みサンプルは使用されない)。
【0122】
L字型セットはサブブロックの1組の因果的な隣接サンプル、つまり現在のサブブロックを再構築するために利用可能な隣接サンプルとして定められる。従って図13a(水平分割)及び図13b(垂直分割)に示すように、L字型の一部のサンプルがブロックの内部又は外部にあり得る。
【0123】
図13c及び図13dは、ブロックの異なるサブ分割によるL字型セットの他の定義を示す。矢印はブロックのサブブロックを符号化するための走査順序及び隣接サブブロックを示す。
【0124】
図12のステップ1210で、現在のサブブロックの1組の隣接サンプルを得る。
【0125】
ステップ1220で、参照ピクチャ内の参照サブブロックがサブブロックの動きベクトルによって指し示され、参照サブブロックの隣接サンプルは動き補償済み参照サブブロックの隣接サンプルである。
【0126】
現在のサブブロックの隣接サンプルと動き補償済み参照サブブロックの隣接サンプルとの差を、ICパラメータasb及びbsbを用いてそれらの隣接サンプルが調節されたら最小化することにより、ICパラメータを推定することができる。
【0127】
ステップ1230で、以下のように最小二乗法の下で隣接サンプル間の差を最小化することができ:
【数4】
但しiは参照インデックス0又は1であり、(asb,bsb)は最適なICパラメータであり、argmin(.)は最小値の引数であり、総和はここでのL字型セットL-shape-ref内の対応する隣接サンプルyと対にされる、ここでのL字型セットL-shape-cur内の各隣接サンプルxにわたるものである。
【0128】
ステップ1240で、ICパラメータ(asb,bsb)を使用して動き補償済み参照サブブロックに対して照明補償モデルを適用することによって調節された動き補償済み参照サブブロックを導出し、つまり動き補償済み参照サブブロックの各サンプル(x,y)が等式3に従って調節される。
【0129】
図14は、少なくとも1つの実施形態による、予測サブブロックからブロックのサブブロックを符号化する方法1400の流れ図を示す。
【0130】
ステップ1410で、サブブロックと予測サブブロックとの差としてブロックのサブブロックに関する予測残差サブブロックを計算する。
【0131】
ステップ1420で、予測残差サブブロックを変換し、量子化し、エントロピーコード化する。
【0132】
この方法をブロックのサブブロックごとに反復する。
【0133】
一実施形態では、1つの別個の変換を使用することによって予測残差サブブロックを変換する。
【0134】
この実施形態の改変形態では、サブブロック及び予測サブブロックの隣接サンプルが、符号化される再構築済みサンプル及び復号済みブロックのサンプルである。ICパラメータは再構築済みサンプルからのみ導出される。
【0135】
一実施形態では、サブブロック及び予測サブブロックの隣接サンプルが内部サンプルだけで形成される。この形態はブロックのコード化/復号の独立性、従って並列処理を可能にする。
【0136】
例えば図13cの事例では、サブブロックは(a)左側のサンプルだけを使用することができ、(b)上部のサンプルだけを使用することができ、(c)左側及び上部のサンプルを使用することができる。
【0137】
一実施形態では、予測残差ブロックを全ての予測残差サブブロックから形成し、予測残差ブロックは単一の変換を使用して変換され、量子化され、エントロピーコード化される。
【0138】
この実施形態の改変形態では、(例えば図13a~図13dに示すように)サブブロック及び予測サブブロックの隣接サンプルが外部サンプルだけで形成される。
【0139】
この実施形態の別の改変形態では、サブブロック及び予測サブブロックの隣接サンプルが少なくとも1つの更なる予測サブブロックのサンプルだけで形成される。
【0140】
一実施形態では、サブブロック及び予測サブブロックの隣接サンプルが、外部サンプル及びブロック内の少なくとも1つの更なる予測サブブロックのサンプルで形成される。
【0141】
例えば図13aの事例では、現在のサブブロックの左側のサンプルと、上部の調節された予測サブブロックのサンプルとが使用される。
【0142】
別の改変形態では、1組のサブブロックを走査順に横断するとき符号化される最初のサブブロックであるものとして第1のサブブロックを識別する。この第1のサブブロックのICパラメータは既定のものであり、又は第1の予測サブブロックは照明補償されない。
【0143】
一実施形態では、計算量を減らし、従って複雑さを減らすためにICパラメータをサブブロックのサブセットに基づいて導出する。
【0144】
例えばHEVCでは、ブロック内のサブブロックのサブセットを仮想パイプラインデータ単位(VPDU:Virtual Pipeline Data Units)が定める。ICパラメータはVPDU内のサンプルだけに基づいて導出される。
【0145】
図15は、ブロックのサブブロックをグループ化するために4つのVPDUが作成される事例を示す。
【0146】
この実施形態の改変形態では、VPDUの最初のサブブロックがICパラメータを使用しなくてもよく、又は既定のICパラメータを使用し得る。このようにしてVPDU間のデータ従属性がなく、それらを並列に処理することができる。
【0147】
これは水平分割又は垂直分割の事例にも適用することができる。
【0148】
一実施形態では、IC関数が等式1及び等式3又はICパラメータの他の線形関数又は非線形関数を含み得る。例えばIC関数は、切片パラメータなしに傾きパラメータだけを考慮することができる(即ちIC(x)=a*x)。一実施形態では、ICパラメータが関数に応じて(例えば多項式関数の次数に応じて)3つ以上のパラメータであり得る。
【0149】
一実施形態では、等式2、等式4が差の二乗ではなく絶対差に基づき得る。
【0150】
ICパラメータは少なくとも1つのパラメータ、例えば少なくとも1つの振幅スケール又は傾きパラメータ、振幅シフト又は切片パラメータ、位置スケールパラメータ、位置シフトパラメータ、時間的スケールパラメータ、時間的シフトパラメータ等を含み得る。
【0151】
図16は、本発明の実施形態によるビデオを符号化する例示的方法の流れ図1600を示す。
【0152】
方法1600はビデオのピクチャ内のブロックを得ることを含み、方法800に従ってブロックを符号化する。方法1600をピクチャの全てのブロックを符号化するために反復する。
【0153】
図17は、本発明の実施形態によるビデオを復号する例示的方法の流れ図1700を示す。
【0154】
方法1700はビットストリームから情報を復号することを含む、かかる変換係数、動きベクトル、ピクチャ分割情報、場合により予測モード情報、他の構文要素及び/又は他のコード化された情報。
【0155】
一実施形態では、ブロック、ピクチャ、スライス、又はシーケンスについてICが有効化されるかどうかを判定するためにIC予測フラグが復号される。
【0156】
一実施形態では、ICフラグがブロックのICを可能にする(例えばICフラグが真に設定される)場合、ブロックのICパラメータを含め、任意選択的にビットストリームから復号することができる。
【0157】
次にこの方法は、予測残差ブロックを復号するために変換係数を逆量子化すること(モジュール640)、及び逆変換される(モジュール650)を含む。次にこの方法はブロックをサブ分割し、予測ブロックを導出することを含む。最後にこの方法は、復号済み予測残差ブロックを予測ブロックと組み合わせて復号済み/再構築済みブロックを得ることを含む。
【0158】
予測ブロックは、場合により予測モード情報に応じてイントラ予測(モジュール660)又は動き補償予測(即ちインター予測)(モジュール670)から得ることができる(モジュール605)。ICが有効化される場合、予測ブロックは方法800のステップ810~830から導出される。
【0159】
ICパラメータは少なくとも1つの振幅スケール又は傾きパラメータ、振幅シフト又は切片パラメータ、位置スケールパラメータ、位置シフトパラメータ、時間的スケールパラメータ、時間的シフトパラメータ等を含み得る。ブロックは再構築済みブロックであり得る。
【0160】
この方法の一実施形態によれば、関数が二乗差の和及び絶対差の和の1つであり得る。
【0161】
図18は、様々な態様及び実施形態が実装されるシステムの一例のブロック図を示す。
【0162】
システム1800は、以下に記載する様々なコンポーネントを含む装置として具体化することができ、本明細書に記載する態様の1つ又は複数を実行するように構成される。かかる装置の例は、これだけに限定されないがパーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続された家庭用電化製品、及びサーバ等の様々な電子装置を含む。システム1800の要素は単独で又は組み合わせで単一の集積回路(IC)、複数のIC、及び/又は個別部品内に具体化することができる。例えば少なくとも1つの実施形態では、システム1800の処理及び符号器/復号器の要素が複数のIC及び/又は個別部品にわたって分散される。様々な実施形態において、システム1800は例えば通信バス1940を介して又は専用の入力及び/又は出力ポートによって1つ若しくは複数の他のシステム又は他の電子装置に通信可能に結合される。様々な実施形態において、システム1800は本明細書に記載する態様の1つ又は複数を実装するように構成される。
【0163】
システム1800は、例えば本明細書に記載する様々な態様を実装するために自らの中にロードされた命令を実行するように構成される少なくとも1つのプロセッサ1810を含む。プロセッサ1810は、埋込メモリ、入出力インタフェース、及び当技術分野で知られている他の様々な回路を含み得る。システム1800は、少なくとも1つのメモリ1820(例えは揮発性メモリ装置及び/又は不揮発性メモリ装置)を含む。システム1800は、これだけに限定されないが、電気的消去プログラム可能読取専用メモリ(EEPROM)、読取専用メモリ(ROM)、プログラム可能読取専用メモリ(PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、フラッシュ、磁気ディスクドライブ、及び/又は光ディスクドライブを含む不揮発性メモリ及び/又は揮発性メモリを含み得る記憶装置1840を含む。記憶装置1840は、非限定的な例として内蔵記憶装置、付加記憶装置(着脱可能記憶装置及び着脱不能記憶装置を含む)、及び/又はネットワークアクセス可能記憶装置を含み得る。
【0164】
システム1800は、例えば符号化済みビデオ又は復号済みビデオを提供するためにデータを処理するように構成される符号器/復号器モジュール1830を含み、符号器/復号器モジュール1830は自らのプロセッサ及びメモリを含むことができる。符号器/復号器モジュール1830は、符号化及び/又は復号機能を実行するために装置内に含まれ得るモジュールを表す。知られているように、装置は符号化モジュール及び復号モジュールの一方又は両方を含み得る。加えて、符号器/復号器モジュール1830はシステム1800の別個の要素として実装することができ、又は当業者に知られているようにハードウェアとソフトウェアとの組み合わせとしてプロセッサ1810内に組み込まれてもよい。本明細書に記載した様々な態様を実行するためにプロセッサ1810又は符号器/復号器1830上にロードされるプログラムコードは記憶装置1840内に記憶され、プロセッサ1810による実行のためにメモリ1820上にその後ロードされ得る。様々な実施形態によれば、プロセッサ1810、メモリ1820、記憶装置1840、及び符号器/復号器モジュール1830の1つ又は複数が、本明細書に記載したプロセスを行う間に様々なアイテムの1つ又は複数を記憶することができる。そのように記憶されるアイテムは、これだけに限定されないが入力ビデオ、復号済みビデオ又は復号済みビデオの一部、ビットストリーム、行列、変数、並びに等式、公式、演算、及び演算ロジックの処理に由来する中間結果又は最終結果を含み得る。
【0165】
一部の実施形態では、プロセッサ1810及び/又は符号器/復号器モジュール1830の内部のメモリを使用して命令を記憶し、符号化又は復号中に必要な処理用のワーキングメモリを提供する。しかし他の実施形態では、これらの機能の1つ又は複数のために処理装置(例えば処理装置はプロセッサ1810又は符号器/復号器モジュール1830であり得る)の外部のメモリが使用される。外部メモリはメモリ1820及び/又は記憶装置1840、例えばダイナミック揮発性メモリ及び/又は不揮発性フラッシュメモリとすることができる。幾つかの実施形態では、例えばテレビのオペレーティングシステムを記憶するために外部の不揮発性フラッシュメモリが使用される。少なくとも1つの実施形態では、MPEG-2(MPEGはMoving Picture Experts Groupを指し、MPEG-2はISO/IEC13818とも呼ばれ、13818-1はH.222としても知られ、13818-2はH.262としても知られる)、HEVC(HEVCはH.265及びMPEG-H Part2としても知られる高効率ビデオコーディングを指す)、又はVVC(JVET、Joint Video Experts Teamによって策定されている新たな規格である多用途ビデオコーディング)等のビデオのコード化及び復号操作用のワーキングメモリとしてRAM等の高速な外部のダイナミック揮発性メモリが使用される。
【0166】
システム1800の要素への入力は、ブロック1930内に示す様々な入力装置によって提供され得る。かかる入力装置は、これだけに限定されないが(i)例えばブロードキャスタによって無線で伝送されるRF(無線周波数)信号を受信するRF部分、(ii)コンポーネント(COMP)入力端子(又は1組のCOMP入力端子)、(iii)ユニバーサルシリアルバス(USB)入力端子、及び/又は(iv)高精細度マルチメディアインタフェース(HDMI)入力端子を含む。図18に不図示の他の例は複合ビデオを含む。
【0167】
様々な実施形態において、ブロック1930の入力装置は当技術分野で知られている関連する個々の入力処理要素を有する。例えばRF部分は、(i)所望の周波数を選択する(信号を選択する又は信号を或る周波数帯域に帯域制限するとも言う)、(ii)選択した信号をダウンコンバートする、(iii)(例えば)特定の実施形態においてチャネルと呼ばれ得る信号周波数帯域を選択するために、より狭い周波数帯域へと再び帯域制限する、(iv)ダウンコンバート及び帯域制限済みの信号を復調する、(v)誤り訂正を行う、及び(vi)データパケットの所望のストリームを選択するために逆多重化するのに適した要素に関連し得る。様々な実施形態のRF部分はこれらの機能を実行するための1つ又は複数の要素、例えば周波数セレクタ、信号セレクタ、帯域制限器、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、及びデマルチプレクサを含む。RF部分は、例えば受信した信号をより低い周波数(例えば中間周波数又はベースバンド帯域に近い周波数)又はベースバンド帯域にダウンコンバートすることを含む、これらの機能の様々なものを行うチューナを含むことができる。或るセットトップボックスの実施形態では、RF部分及びその関連する入力処理要素が有線(例えばケーブル)媒体上で伝送されるRF信号を受信し、所望の周波数帯域へとフィルタリングし、ダウンコンバートし、再びフィルタリングすることによって周波数の選択を行う。様々な実施形態は上記の(及び他の)要素の順序を並べ替え、それらの要素の一部を除去し、及び/又は同様の若しくは異なる機能を実行する他の要素を追加する。要素を追加することは既存の要素の間に要素を挿入すること、例えば増幅器及びアナログ-デジタル変換器を挿入すること等を含み得る。様々な実施形態においてRF部分はアンテナを含む。
【0168】
加えて、USB及び/又はHDMI端子は、USB及び/又はHDMI接続の両端間でシステム1800を他の電子装置に接続するための個々のインタフェースプロセッサを含み得る。例えば別個の入力処理IC内で又はプロセッサ1810内で入力処理、例えばリードソロモン誤り訂正の様々な態様を必要に応じて実装できることを理解すべきである。同様に、USB又はHDMIインタフェース処理の態様を別個のインタフェースIC内で又はプロセッサ1810内で必要に応じて実装することができる。出力装置上で提示するためにデータストリームを必要に応じて処理するために、復調済みの、誤り訂正済みの、及び逆多重化済みのストリームが、例えばメモリ及び記憶要素と組み合わせて動作するプロセッサ1810及び符号器/復号器1830を含む様々な処理要素に与えられる。
【0169】
システム1800の様々な要素を一体型ハウジング内に設けることができ、一体型ハウジングの中では様々な要素が相互接続され、適切な接続構成、例えばInter-IC(I2C)バス、配線、及びプリント回路基板を含む当技術分野で知られている内部バス1940を使用してそれらの間でデータを伝送し得る。
【0170】
システム1800は、通信チャネル1060を介して他の装置と通信することを可能にする通信インタフェース1850を含む。通信インタフェース1850は、これだけに限定されないが、通信チャネル1860上でデータを送受信するように構成されるトランシーバを含み得る。通信インタフェース1850は、これだけに限定されないがモデム又はネットワークカードを含むことができ、通信チャネル1860は例えば有線媒体及び/又は無線媒体内に実装することができる。
【0171】
様々な実施形態において、Wi-Fiネットワーク、例えばIEEE 802.11(IEEEはInstitute of Electrical and Electronics Engineersを指す)等の無線ネットワークを使用してデータがシステム1800にストリームされ又は与えられる。これらの実施形態のWi-Fi信号は、Wi-Fi通信に適合される通信チャネル1860及び通信インタフェース1850上で受信される。これらの実施形態の通信チャネル1860は、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに典型的には接続される。他の実施形態は、入力ブロック1830のHDMI接続上でデータを届けるセットトップボックスを使用してストリームデータをシステム1800に与える。更に他の実施形態は、入力ブロック1830のRF接続を使用してストリームデータをシステム1800に与える。上記で示したように、様々な実施形態がデータを非ストリーミング式に提供する。加えて、様々な実施形態はWi-Fi以外の無線ネットワーク、例えばセルラネットワーク又はBluetoothネットワークを使用する。
【0172】
システム1800は、ディスプレイ1900、スピーカ1910、及び他の周辺装置1920を含む様々な出力装置に出力信号を与えることができる。様々な実施形態のディスプレイ1900は、例えばタッチスクリーンディスプレイ、有機発光ダイオード(OLED)ディスプレイ、湾曲ディスプレイ、及び/又は折り畳み式ディスプレイの1つ又は複数を含む。ディスプレイ1900は、テレビ、タブレット、ラップトップ、セルホン(携帯電話)、又は他の装置用とすることができる。ディスプレイ1900は(例えばスマートフォンにあるように)他のコンポーネントに統合されてもよく、又は別個(例えばラップトップ用の外部モニタ)であり得る。実施形態の様々な例において、他の周辺装置1920は、独立型デジタルビデオディスク(又はデジタル多用途ディスク)(両方の用語でDVR)、ディスクプレーヤ、ステレオシステム、及び/又は照明システムの1つ又は複数を含む。様々な実施形態は、システム1800の出力に基づく機能を提供する1つ又は複数の周辺装置1920を使用する。例えばディスクプレーヤはシステム1800の出力を再生する機能を実行する。
【0173】
様々な実施形態において、AV.Link、Consumer Electronics Control(CEC)、又はユーザの介入ありの若しくはなしの装置間制御を可能にする他の通信プロトコル等のシグナリングを使用し、システム1800とディスプレイ1900、スピーカ1910、又は他の周辺装置1920との間で制御信号が通信される。出力装置が、個々のインタフェース1870、1880、及び1890による専用接続を介してシステム1800に通信可能に結合され得る。代替的に、出力装置は、通信インタフェース1850を介して通信チャネル1860を使用してシステム1800に接続され得る。ディスプレイ1900及びスピーカ1910は、例えばテレビ等の電子装置の中でシステム1800の他のコンポーネントと共に単一のユニットに一体化することができる。様々な実施形態において、ディスプレイインタフェース1870は例えばタイミングコントローラ(T Con)チップ等のディスプレイドライバを含む。
【0174】
例えば入力1930のRF部分が別個のセットトップボックスの一部である場合、ディスプレイ1900及びスピーカ1910は他のコンポーネントの1つ又は複数から代わりに切り離すことができる。ディスプレイ1900及びスピーカ1910が外部コンポーネントである様々な実施形態において、出力信号は例えばHDMIポート、USBポート、又はCOMP出力を含む専用出力接続によって与えることができる。
【0175】
本明細書に記載した実装形態は、例えば方法若しくはプロセス、機器、ソフトウェアプログラム、データストリーム、又は信号によって実装することができる。単一形式の実装形態の脈絡でしか論じられていなくても(例えば方法としてしか論じられていなくても)、論じられた特徴の実装形態は他の形(例えば機器又はプログラム)でも実装することができる。機器は例えば適切なハードウェア、ソフトウェア、及びファームウェアによって実装することができる。方法は例えばプロセッサ等の機器によって実装することができ、プロセッサは例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理装置を含む処理装置全般を指す。プロセッサは、例えばコンピュータ、セルホン、ポータブル/携帯情報端末(PDA)、及びエンドユーザ間の情報の通信を助ける他の装置等の通信装置も含む。
【0176】
本発明の実施形態の一態様によれば、ビデオを符号化するための機器1800が提供され、その機器はプロセッサ1810及びプロセッサに結合される少なくとも1つのメモリ1820、1840を含み、プロセッサ1810は上記の方法800、1600、及び/又は1700の実施形態の何れかを実行するように構成される。
【0177】
本開示の一態様によれば、ブロックのサブブロックの隣接サンプル及び動き補償済み参照サブブロックの隣接サンプルに基づいて1つ又は複数の照明補償パラメータを導出するための手段と、1つ又は複数の導出済みの照明補償パラメータを使用して動き補償済み参照サブブロックに対して照明補償を適用することによって予測サブブロックを導出するための手段と、予測サブブロックを使用してサブブロックを符号化するための手段とを含む、ビデオを符号化するための機器が提供される。図4図5のビデオ符号器は機器の構造又は手段、具体的にはブロック470、475、571~575を含み得る。ビデオを符号化するための機器は、方法800及び1600の何れかの実施形態の何れかを実行することができる。
【0178】
本開示の一態様によれば、ブロックのサブブロックの隣接サンプル及び動き補償済み参照サブブロックの隣接サンプルに基づいて1つ又は複数の照明補償パラメータを導出するための手段と、1つ又は複数の導出済みの照明補償パラメータを使用して動き補償済み参照サブブロックに対して照明補償を適用することによって予測サブブロックを導出するための手段と、予測サブブロックを使用してサブブロックを符号化するための手段とを含む、ビデオを復号するための機器が提供される。図6図7のビデオ復号器は機器の構造又は手段、具体的にはブロック670、571~574を含み得る。ビデオを復号するための機器は、方法800及び1700の何れかの実施形態の何れかを実行することができる。
【0179】
当業者に明白であるように、実装形態は例えば記憶され又は伝送され得る情報を運ぶようにフォーマットされる多岐にわたる信号をもたらすことができる。情報は例えば方法を実行するための命令、又は記載した実装形態の1つによって作り出されるデータを含み得る。例えば信号は、記載した実施形態のビットストリームを運ぶようにフォーマットされ得る。かかる信号は、例えば電磁波として(例えばスペクトルの無線周波数部分を用いて)、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えばデータストリームを符号化し、符号化データストリームを用いて搬送波を変調することを含み得る。信号が運ぶ情報は、例えばアナログ情報又はデジタル情報とすることができる。信号は、知られているように多岐にわたる異なる有線リンク又は無線リンク上で伝送され得る。信号はプロセッサ可読媒体上に記憶され得る。
【0180】
更に、方法800、1600、及び/又は1700の何れも、プロセッサによって実行され得るコンピュータ実行可能命令を(独立に又は一緒に)含むコンピュータプログラム製品として実装することができる。コンピュータ実行可能命令を有するコンピュータプログラム製品は、システム1800、符号器400(又は500)、及び/又は復号器600(又は700)のそれぞれの一時的又は非一時的コンピュータ可読記憶媒体の中に記憶することができる。
【0181】
一部の実施形態では、本開示の態様を引き続き実装しながらプロセス800、1600、及び/又は1700内の要素の1つ又は複数を組み合わせ、異なる順序で実行し、又は除外できることに留意することが重要である。他のステップが並列に実行されてもよく、その場合プロセッサは或るステップを開始する前に別のステップが完全に完了するのを待たない。
【0182】
更に、本発明の実施形態の態様はコンピュータ可読記憶媒体の形を取り得る。1つ又は複数のコンピュータ可読記憶媒体の任意の組み合わせを利用することができる。コンピュータ可読記憶媒体は、1つ又は複数のコンピュータ可読媒体内に実装され、コンピュータによって実行可能なコンピュータ可読プログラムコードがその上に実装されているコンピュータ可読プログラム製品の形を取り得る。本明細書で使用するとき、コンピュータ可読記憶媒体は、情報を内部に記憶する固有の能力並びに情報をそこから取り出せるようにする固有の能力を与えられた非一時的記憶媒体と見なされる。コンピュータ可読記憶媒体は、例えばこれだけに限定されないが、電子、磁気、光学、電磁、赤外、若しくは半導体のシステム、機器、若しくは装置、又は上記のものの任意の適切な組み合わせとすることができる。
【0183】
当業者なら容易に理解されるように、以下の列挙は本開示を適用することができるコンピュータ可読記憶媒体のより具体的な例を示すが、例示に過ぎず網羅的な列挙ではないことを理解すべきである。例の列挙は、ポータブルコンピュータディスケット、ハードディスク、ROM、EPROM、フラッシュメモリ、携帯型のコンパクトディスク読取専用メモリ(CD-ROM)、光学記憶装置、磁気記憶装置、又は上記のものの任意の適切な組み合わせを含む。
【0184】
本発明の実施形態の一態様によれば、方法800、1600、及び/又は1700を含む本発明の実施形態の方法の何れかの実施形態の何れかを実行するためのプログラムコード命令を含む、ソフトウェアプログラムを保持するコンピュータ可読記憶媒体が提供される。
【0185】
本開示の「一実施形態」若しくは「或る実施形態」又は「一実装形態」若しくは「或る実装形態」並びにそれらの他の異体に言及することは、実施形態に関連して記載される特定の特徴、構造、特性等が本開示の少なくとも1つの実施形態に含まれることを意味することを理解すべきである。従って、本明細書の全体を通して様々な箇所で登場する「一実施形態では」若しくは「或る実施形態では」又は「一実装形態では」若しくは「或る実装形態では」という語句並びに他の任意の異体の登場は必ずしも全て同じ実施形態を指すものではない。
【0186】
加えて、本開示又は本開示の特許請求の範囲は様々な情報片を「決定すること」に言及する場合がある。情報を決定すること、導出することは、例えば情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことの1つ又は複数を含み得る。
【0187】
更に本願又は本願の特許請求の範囲は、様々な情報片を「提供すること」に言及する場合がある。情報を提供することは、例えば情報を出力すること、情報を記憶すること、情報を伝送すること、情報を送信すること、情報を表示すること、情報を示すこと、又は情報を移動することの1つ又は複数を含み得る。
【0188】
更に本願又は本願の特許請求の範囲は、様々な情報片に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば情報を受信すること、情報を(例えばメモリから)取り出すこと、情報を記憶すること、情報を処理すること、情報を移動すること、情報を複製すること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することの1つ又は複数を含み得る。
【0189】
更に本願又は本願の特許請求の範囲は、様々な情報片を「受信すること」に言及する場合がある。受信することは「アクセスすること」と同様に広義語であることを意図する。情報を受信することは、例えば情報にアクセスすること、又は情報を(例えばメモリから)取り出すことの1つ又は複数を含み得る。更に、「受信すること」は典型的には例えば情報を記憶する操作、情報を処理する操作、情報を伝送する操作、情報を移動する操作、情報を複製する操作、情報を消去する操作、情報を計算する操作、情報を決定する操作、情報を予測する操作、又は情報を推定する操作等の操作中に何らかの形で関与する。
【0190】
図示し説明した様々な特徴は交換可能であることを理解すべきである。別段の定めがない限り、或る実施形態に示す特徴を別の実施形態に組み込むことができる。更に、様々な実施形態において記載した特徴は、分けることができない又は組み合わせることができないと示されていない限り、組み合わせる又は分けることができる。
【0191】
先に述べたように、図示の様々な要素の機能は、専用ハードウェア並びに適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアを使用することによって与えられ得る。更に、プロセッサによって与えられるとき、それらの機能は単一の専用プロセッサによって、単一の共用プロセッサによって、又はその一部が共用され得る複数の個別のプロセッサによって与えられ得る。
【0192】
添付図面に示した構成要素であるシステムコンポーネント及び方法の一部はソフトウェアによって実装することが好ましいので、本開示のプロセスをプログラムするやり方に応じてシステムコンポーネント又はプロセス機能ブロック間の実際の接続が異なり得ることを更に理解すべきである。本明細書の教示を所与として、当業者は本開示のこれらの及び同様の実装又は構成を考えることができるようになる。
【0193】
本明細書では添付図面に関して例示的実施形態を説明してきたが、本開示はそれらの厳密な実施形態に限定されず、本開示の範囲から逸脱することなしに様々な変更及び修正が当業者によって加えられてもよいことを理解すべきである。加えて、本開示の範囲から逸脱することなしに個々の実施形態を組み合わせることができる。そのような全ての変更及び修正が添付の特許請求の範囲に記載の本開示の範囲に含まれることを意図する。
【0194】
例えば「A/B」、「A及び/又はB」、並びに「A及びBの少なくとも1つ」の場合に「/」、「及び/又は」、並びに「~の少なくとも1つ」の何れかを使用することは、最初に挙げられる(A)の選択肢だけを選択すること、又は2番目に挙げられる(B)の選択肢だけを選択すること、又は(A及びB)の両方の選択肢を選択することを包含することを意図する。更なる例として、「A、B、及び/又はC」並びに「A、B、及びCの少なくとも1つ」の場合、かかる表現法は最初に挙げられる(A)の選択肢だけを選択すること、又は2番目に挙げられる(B)の選択肢だけを選択すること、又は3番目に挙げられる(C)の選択肢だけを選択すること、又は最初に挙げられる選択肢及び2番目に挙げられる選択肢(A及びB)だけを選択すること、又は最初に挙げられる選択肢及び3番目に挙げられる選択肢(A及びC)だけを選択すること、又は2番目に挙げられる選択肢及び3番目に挙げられる選択肢(B及びC)だけを選択すること、又は3つ全ての選択肢(A及びB及びC)を選択することを包含することを意図する。当業者なら容易に分かるように、この表現法は挙げられているアイテムの数だけ拡張することができる。
【0195】
当業者に明白であるように、実装形態は例えば記憶され又は伝送され得る情報を運ぶようにフォーマットされる多岐にわたる信号をもたらすことができる。情報は例えば方法を実行するための命令、又は記載した実装形態の1つによって作り出されるデータを含み得る。例えば信号は、記載した実施形態のビットストリームを運ぶようにフォーマットされ得る。かかる信号は、例えば電磁波として(例えばスペクトルの無線周波数部分を用いて)、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えばデータストリームを符号化し、符号化データストリームを用いて搬送波を変調することを含み得る。信号が運ぶ情報は、例えばアナログ情報又はデジタル情報とすることができる。信号は、知られているように多岐にわたる異なる有線リンク又は無線リンク上で伝送され得る。信号はプロセッサ可読媒体上に記憶され得る。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13a
図13b
図13c
図13d
図14
図15
図16
図17
図18
【国際調査報告】