特許 7546721 ビデオ符号化のための双方向オプティカルフローおよびデコーダ側動きベクトル補正を選択的に適用する方法およびデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-29

(45)【発行日】2024-09-06

(54)【発明の名称】ビデオ符号化のための双方向オプティカルフローおよびデコーダ側動きベクトル補正を選択的に適用する方法およびデバイス

(51)【国際特許分類】

   H04N 19/109 20140101AFI20240830BHJP

   H04N 19/136 20140101ALI20240830BHJP

   H04N 19/176 20140101ALI20240830BHJP

   H04N 19/196 20140101ALI20240830BHJP

【ＦＩ】

H04N19/109

H04N19/136

H04N19/176

H04N19/196

【請求項の数】 10

【外国語出願】

(21)【出願番号】P 2023075405

(22)【出願日】2023-05-01

(62)【分割の表示】P 2022084108の分割

【原出願日】2020-02-08

(65)【公開番号】P2023099145

(43)【公開日】2023-07-11

【審査請求日】2023-05-01

(31)【優先権主張番号】62/803,417

(32)【優先日】2019-02-08

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521024075

【氏名又は名称】ベイジン・ダジア・インターネット・インフォメーション・テクノロジー・カンパニー，リミテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100138759

【弁理士】

【氏名又は名称】大房 直樹

(74)【代理人】

【識別番号】100201743

【弁理士】

【氏名又は名称】井上 和真

(72)【発明者】

【氏名】チェン，イー－ウエン

(72)【発明者】

【氏名】シウ，シヤオユー

(72)【発明者】

【氏名】ワーン，シアーンリン

(72)【発明者】

【氏名】マ，ツン－チュアン

【審査官】田中 純一

(56)【参考文献】

【文献】特許第７２３２３４５（ＪＰ，Ｂ２）

【文献】特表２０２２－５１５８７５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０１３６４０１（ＵＳ，Ａ１）

【文献】国際公開第２０２０／１３７６４３（ＷＯ，Ａ１）

【文献】特開２０１８－１０７５８０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１８４１１６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

ビデオ符号化のための方法であって、
ビデオピクチャから分割された複数のブロックを取得するステップと、
前記複数のブロックにおける現在のブロックについての、
前記現在のブロックがデコーダ側動きベクトル補正（ＤＭＶＲ）および双方向オプティカルフロー（ＢＤＯＦ）の両方の適用に適当であることに応じて、前記現在のブロックのリスト０予測サンプルとリスト１予測サンプルとの間の差分絶対値和（ＳＡＤ）または差分二乗和（ＳＳＤ）が、ブロックサイズに基づく事前定義された数学的特性を保有しているとの事前定義された基準が満足されるかどうかを判定するステップと、
前記事前定義された基準が満足されたことに応じて、前記現在のブロックのサブブロックに対してＢＤＯＦを適用しないようにするステップと
を含む方法。

【請求項2】

前記事前定義された基準が、前記現在のブロックのリスト０予測サンプルとリスト１予測サンプルとの間の前記差分絶対値和（ＳＡＤ）または前記差分二乗和（ＳＳＤ）が事前定義された閾値よりも小さいかどうかを含む、請求項１に記載の方法。

【請求項3】

ＤＭＶＲの適用に適当である当該現在のブロックが条件を満足するということは、
現在のピクチャと前方の参照ピクチャとの間の距離と、前記現在のピクチャと後方の参照ピクチャとの間の距離とが同じであること、
前記現在のブロックの高さが８以上であること、
前記現在のブロックがアフィンモードとして符号化されないこと、
前記現在のブロックがサブブロックマージモードとして符号化されないこと、および、 前記現在のブロックが動きベクトル差分（ＭＭＶＤ）モードを伴うマージモードとして符号化されないこと
を含む請求項１に記載の方法。

【請求項4】

ＢＤＯＦの適用に適当である当該現在のブロックが条件を満足するということは、
前記現在のブロックが、前方の参照ピクチャおよび後方の参照ピクチャを用いた双方向予測を使用すること、
重み付け予測が有効ではないこと、
前記現在のブロックのサイズが４×８に等しくないこと、
前記現在のブロックが対称的な動きベクトル差分（ＭＶＤ）として符号化されないこと、
前記現在のブロックがサブブロックマージモードとして符号化されないこと、および、 前記現在のブロックが、リスト０およびリスト１からの当該予測サンプルを平均するときに異なる高さを使用していないこと
を含む請求項１に記載の方法。

【請求項5】

ビデオ符号化のためのコンピューティングデバイスであって、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサに結合された非一時的記憶装置と、
前記非一時的記憶装置内に記憶された複数のプログラムと
を備え、
前記複数のプログラムが、前記１つまたは複数のプロセッサによって実行されたとき、 ビデオピクチャから分割された複数のブロックを取得するステップと、
前記複数のブロックにおける現在のブロックについての、
前記現在のブロックがデコーダ側動きベクトル補正（ＤＭＶＲ）および双方向オプティカルフロー（ＢＤＯＦ）の両方の適用に適当であることに応じて、前記現在のブロックのリスト０予測サンプルとリスト１予測サンプルとの間の差分絶対値和（ＳＡＤ）または差分二乗和（ＳＳＤ）が、ブロックサイズに基づく事前定義された数学的特性を保有しているとの事前定義された基準が満足されるかどうかを判定するステップと、
前記事前定義された基準が満足されたことに応じて、前記現在のブロックのサブブロックに対してＢＤＯＦを適用しないようにするステップと
を含む動作を前記コンピューティングデバイスに実行させる、コンピューティングデバイス。

【請求項6】

前記事前定義された基準が、前記現在のブロックのリスト０予測サンプルとリスト１予測サンプルとの間の前記差分絶対値和（ＳＡＤ）または前記差分二乗和（ＳＳＤ）が事前定義された閾値よりも小さいかどうかを含む、請求項５に記載のコンピューティングデバイス。

【請求項7】

ＤＭＶＲの適用に適当である当該現在のブロックが条件を満足するということは、
現在のピクチャと前方の参照ピクチャとの間の距離と、前記現在のピクチャと後方の参照ピクチャとの間の距離とが同じであること、
前記現在のブロックの高さが８以上であること、
前記現在のブロックがアフィンモードとして符号化されないこと、
前記現在のブロックがサブブロックマージモードとして符号されないこと、および、
前記現在のブロックが動きベクトル差分（ＭＭＶＤ）モードを伴うマージモードとして符号化されないこと
を含む請求項５に記載のコンピューティングデバイス。

【請求項8】

ＢＤＯＦの適用に適当である当該現在のブロックが条件を満足するということは、
前記現在のブロックが、前方の参照ピクチャおよび後方の参照ピクチャを用いた双方向予測を使用すること、
重み付け予測が有効ではないこと、
前記現在のブロックのサイズが４×８に等しくないこと、
前記現在のブロックが対称的な動きベクトル差分（ＭＶＤ）として符号化されないこと、
前記現在のブロックがサブブロックマージモードとして符号化されないこと、および、 前記現在のブロックが、リスト０およびリスト１からの当該予測サンプルを平均するときに異なる高さを使用していないこと、
を含む請求項５に記載のコンピューティングデバイス。

【請求項9】

１つまたは複数のプロセッサを有するコンピューティングデバイスによる実行のための複数のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記複数のプログラムが、前記１つまたは複数のプロセッサによって実行されたとき、前記コンピューティングデバイスに、請求項１から４のうちのいずれか１項に記載の方法を実行させることによりビデオビットストリームを生成させる、非一時的コンピュータ可読記憶媒体。

【請求項10】

命令を含むコンピュータプログラムであって、前記命令がコンピューティングデバイスによって実行されると、請求項１から４のうちのいずれか１項に記載の方法を前記コンピューティングデバイスに実行させることによりビデオビットストリームを生成させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
[0001]本出願は、２０１９年２月８日出願の米国仮特許出願第６２／８０３，４１７号の利益を主張する。上記出願の開示全体が、全体として参照により本明細書に組み込まれている。

【0002】

[0002]本開示は、一般に、ビデオの符号化および圧縮に関する。より詳細には、本開示は、インターモード符号化ブロックに対して双方向オプティカルフローおよびデコーダ側動きベクトル補正の選択的適用を使用してビデオ符号化を実行するシステムおよび方法に関する。

【背景技術】

【0003】

[0003]本章は、本開示に関係する背景情報を提供する。本章に含まれる情報は、必ずしも従来技術として解釈されるべきであるとは限らない。

【0004】

[0004]ビデオデータを圧縮するために、様々なビデオ符号化技法のいずれかを使用することができる。ビデオ符号化は、１つまたは複数のビデオ符号化規格に従って実行することができる。いくつかの例示的なビデオ符号化規格には、多用途ビデオ符号化（ＶＶＣ）、共同探索試験モデル（ＪＥＭ）符号化、高効率ビデオ符号化（Ｈ．２６５／ＨＥＶＣ）、高度ビデオ符号化（Ｈ．２６４／ＡＶＣ）、およびムービング・ピクチャ・エキスパート・グループ（ＭＰＥＧ）符号化が含まれる。

【0005】

[0005]ビデオ符号化は概して、ビデオ画像またはシーケンスに固有の冗長性を利用する予測方法（たとえば、インター予測、イントラ予測など）を利用する。ビデオ符号化技法の１つの目標は、ビデオ品質の劣化を回避または最小化しながら、より低いビットレートを使用する形式にビデオデータを圧縮することである。

【0006】

[0006]ビデオ符号化で利用される予測方法は、典型的に、ビデオデータに固有の冗長性を低減または除去するための空間（イントラフレーム）予測および／または時間（インターフレーム）予測を実行することを含み、典型的に、ブロックに基づくビデオ符号化に関連する。

【0007】

[0007]ブロックに基づくビデオ符号化では、入力ビデオ信号がブロックごとに処理される。各ブロック（符号化ユニット（ＣＵ）としても知られている）に対して、空間予測および／または時間予測を実行することができる。

【0008】

[0008]空間予測（「イントラ予測」としても知られている）は、同じビデオピクチャ／スライス内のすでに符号化された隣接ブロックのサンプル（参照サンプルと呼ばれる）からの画素を使用して、現在のブロックを予測する。空間予測は、ビデオ信号に固有の空間的冗長性を低減させる。

【0009】

[0009]復号プロセス中、ビデオビットストリームは、第１に、エントロピー復号ユニットでエントロピー復号される。符号化モードおよび予測情報は、空間予測ユニット（イントラ符号化されたとき）または時間予測ユニット（インター符号化されたとき）へ送られて、予測ブロックを形成する。残差変換係数は、逆量子化ユニットおよび逆変換ユニットへ送られて、残差ブロックを再構成する。次いで、予測ブロックおよび残差ブロックがともに統合される。再構成されたブロックは、参照ピクチャ記憶部内に記憶される前に、ループ内フィルタリングをさらに受けることができる。次いで、参照ピクチャ記憶部内の再構成されたビデオを送り出してディスプレイデバイスを駆動し、ならびにこれを使用して将来のビデオブロックを予測する。

【0010】

[0010]現在のＶＶＣ設計などのより新しいビデオ符号化規格では、双方向オプティカルフロー（ＢＤＯＦ：Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）およびデコーダ側動きベクトル補正（ＤＭＶＲ：Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）などの新しいインターモード符号化ツールが導入されている。そのような新インターモード符号化ツールは、概して、動き補償予測の効率を増大させ、したがって符号化利得を改善する手助けをする。しかし、そのような改善は、複雑さおよび待ち時間の増大という犠牲によって達成することができる。

【0011】

[0011]新しいインターモードツールに伴う改善とコストの好適な均衡を実現するために、現在のＶＶＣ設計は、インターモード符号化ブロックに対してＤＭＶＲおよびＢＤＯＦなどの新しいインターモード符号化ツールをいつ可能にするかについて、制約を課している。

【0012】

[0012]しかし、現在のＶＶＣ設計に存在するそのような制約は、必ずしも改善とコストの最善の均衡を実現するとは限らない。一方では、現在のＶＶＣ設計に存在する制約は、ＤＭＶＲおよびＢＤＯＦの両方を同じインターモード符号化ブロックに対して適用することを認めているが、２つのツールの動作間の依存性のため、待ち時間が増大する。他方では、現在のＶＶＣ設計に存在する制約は、ＤＭＶＲに関する特定の事例では甘すぎ、その結果、複雑さおよび待ち時間が不必要に増大し、ＢＤＯＦに関する特定の事例では厳しすぎ、その結果、さらなる符号化利得の機会が失われる。

【発明の概要】

【0013】

[0013]本章は、本開示の概要を提供するものであり、本開示の完全な範囲または本開示のすべての特徴の包括的な開示ではない。

【0014】

[0014]本開示の第１の態様によれば、ビデオ符号化方法は、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されるべき複数のプログラムを記憶するメモリとを有するコンピューティングデバイスで実行される。この方法は、現在のブロックのモード情報に基づく事前定義された基準を使用して、複数の事前定義された条件に基づいてＤＭＶＲおよびＢＤＯＦの両方の適用に適当な現在のブロックを、２つの事前定義されたクラス、すなわちＤＭＶＲクラスおよびＢＤＯＦクラスのうちの１つに分類することを含む。この方法は、ＤＭＶＲおよびＢＤＯＦの両方ではなくいずれか一方を前記現在のブロックに対して適用する際に、現在のブロックの分類を使用することをさらに含む。

【0015】

[0015]本開示の第２の態様によれば、ビデオ符号化方法は、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されるべき複数のプログラムを記憶するメモリとを有するコンピューティングデバイスで実行される。この方法は、複数の事前定義された条件に基づいてＤＭＶＲ符号化に適当な現在のブロックに対して、重み付け予測が可能であるかどうかを判定することを含む。この方法は、現在のブロックに対するリスト０予測子サンプルおよびリスト１予測子サンプルを平均するときに、異なる重みが使用されるかどうかを判定することをさらに含む。この方法は、２つの判定に基づいて、現在のブロックに対するＤＭＶＲの適用を無効にするかどうかを判定することをさらに含む。

【0016】

[0016]本開示の第３の態様によれば、ビデオ符号化方法は、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されるべき複数のプログラムを記憶するメモリとを有するコンピューティングデバイスで実行される。この方法は、現在のブロックがサブブロックマージモードとして符号化されているときに、現在のブロックに対するＢＤＯＦの適用を可能にすることを含む。

【0017】

[0017]本出願の第４の態様によれば、コンピューティングデバイスは、１つまたは複数のプロセッサと、メモリと、メモリ内に記憶された複数のプログラムとを含む。これらのプログラムは、１つまたは複数のプロセッサによって実行されたとき、コンピューティングデバイスに、本出願の最初の３つの態様で上述した動作を実行させる。

【0018】

[0018]本出願の第５の態様によれば、非一時的コンピュータ可読記憶媒体が、１つまたは複数のプロセッサを有するコンピューティングデバイスによる実行のための複数のプログラムを記憶する。これらのプログラムは、１つまたは複数のプロセッサによって実行されたとき、コンピューティングデバイスに、本出願の最初の３つの態様で上述した動作を実行させる。

【0019】

[0019]以下、本開示の数組の例示的な限定されない実施形態について、添付の図面とともに説明する。関連技術の当業者であれば、本明細書に提示する例に基づいて、構造、方法、または機能の変形例を実施することができ、そのような変形例はすべて、本開示の範囲内に包含される。矛盾が存在しない場合、必須ではないが、異なる実施形態の教示を互いに組み合わせることもできる。

【図面の簡単な説明】

【0020】

【図1】[0020]多くのビデオ符号化規格とともに使用することができるブロックに基づく例示的な混成ビデオエンコーダを示すブロック図である。

【図2】[0021]多くのビデオ符号化規格とともに使用することができる例示的なビデオデコーダを示すブロック図である。

【図3】[0022]多くのビデオ符号化規格とともに使用することができる複数タイプのツリー構造におけるブロック区画の図である。

【図4】[0023]双方向オプティカルフロー（ＢＤＯＦ：Ｂｉ－Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）プロセスの図である。

【図5】[0024]デコーダ側動きベクトル補正（ＤＭＶＲ：Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）で使用される相互整合の図である。

【図6】[0025]本開示の第１の態様の動作を示す流れ図である。

【図7】[0026]本開示の第２の態様の動作を示す流れ図である。

【図8】[0027]本開示の第３の態様の動作を示す流れ図である。

【発明を実施するための形態】

【0021】

[0028]本開示で使用される用語は、本開示を限定することではなく、特定の例を示すことを対象とする。他の意味が文脈に明確に包含されない限り、本開示ならびに添付の特許請求の範囲で使用される単数形の「ａ」、「ａｎ」、および「ｔｈｅ」は複数形も指す。本明細書では、「および／または」という用語は、列挙する１つまたは複数の関連物品のあらゆる可能な組合せを指すことを理解されたい。

【0022】

[0029]本明細書では、様々な情報について説明するために、「第１」、「第２」、「第３」などの用語が使用されることがあるが、この情報は、これらの用語によって限定されるものではないことを理解されたい。これらの用語は、ある情報カテゴリを別の情報カテゴリと区別するためだけに使用される。たとえば、本開示の範囲から逸脱することなく、第１の情報を第２の情報と呼ぶことができ、同様に第２の情報を第１の情報と呼ぶこともできる。本明細書では、「～場合（ｉｆ）」という用語は、文脈に応じて、「～とき（ｗｈｅｎ）」または「～とき（ｕｐｏｎ）」または「～に応答して（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ）」を意味することが理解されよう。

【0023】

[0030]本明細書全体にわたって、単数または複数の「一実施形態」、「実施形態」、「別の実施形態」などへの言及は、一実施形態に関連して説明する１つまたは複数の特定の特徴、構造、または特性が、本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体にわたって様々な箇所における単数または複数の「一実施形態では」、「実施形態では」、または「別の実施形態では」などの語句の記載は、必ずしもすべて同じ実施形態を参照するものではない。さらに、１つまたは複数の実施形態における特定の特徴、構造、または特性は、任意の好適な形で組み合わせることができる。

【0024】

[0031]概念上、背景の章ですでに言及したものを含めて、多くのビデオ符号化規格は類似している。たとえば、事実上すべてのビデオ符号化規格は、ビデオ圧縮を実現するために、ブロックに基づく処理を使用し、類似のビデオ符号化ブロック図を共用する。

【0025】

[0032]図１は、多くのビデオ符号化規格とともに使用することができるブロックに基づく例示的な混成ビデオエンコーダ１００のブロック図を示す。エンコーダ１００において、ビデオフレームが処理のために複数のビデオブロックに分割される。所与の各ビデオブロックに対して、インター予測手法またはイントラ予測手法に基づいて、予測が形成される。インター予測では、以前再構成されたフレームからの画素に基づいて、動き推定および動き補償によって、１つまたは複数の予測子が形成される。イントラ予測では、現在のフレーム内の再構成画素に基づいて、予測子が形成される。モード決定によって、現在のブロックを予測するために最善の予測子を選択することができる。

【0026】

[0033]現在のビデオブロックとその予測子との間の差を表す予測残差が、変換回路１０２へ送られる。次いで、変換係数は、エントロピー低減のために変換回路１０２から量子化回路１０４へ送られる。次いで、量子化された係数は、圧縮ビデオビットストリームを生成するために、エントロピー符号化回路１０６へ送出される。図１に示すように、ビデオブロック分割情報、動きベクトル、参照ピクチャ索引、およびイントラ予測モードなど、インター予測回路および／またはイントラ予測回路１１２からの予測関係情報１１０がまた、エントロピー符号化回路１０６を介して送出され、圧縮ビデオビットストリーム１１４内へ保存される。

【0027】

[0034]エンコーダ１００では、予測の目的で、画素を再構成するためにデコーダ関係回路も必要とされる。第１に、逆量子化回路１１６および逆変換回路１１８によって、予測残差が再構成される。この再構成された予測残差をブロック予測子１２０と組み合わせて、現在のビデオブロックに対するフィルタリングされていない再構成画素を生成する。

【0028】

[0035]時間予測（「インター予測」または「動き補償予測」とも呼ばれる）は、すでに符号化されたビデオピクチャからの再構成画素を使用して、現在のビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間的冗長性を低減させる。所与のＣＵに対する時間予測信号は通常、現在のＣＵと現在のＣＵの時間参照との間の動きの量および方向を示す１つまたは複数の動きベクトル（ＭＶ）によって信号送信される。また、複数の参照ピクチャに対応する場合、１つの参照ピクチャ索引がさらに送られ、参照ピクチャ記憶部内のどの参照ピクチャから時間予測信号がくるかを識別するために使用される。

【0029】

[0036]空間および／または時間予測が実行された後、エンコーダ１００内のイントラ／インターモード決定回路１２１が、たとえばレート歪み最適化方法に基づいて、最善の予測モードを選ぶ。次いで、現在のビデオブロックからブロック予測子１２０を引き、変換回路１０２および量子化回路１０４を使用して、その結果得られる予測残差の相関を除去する。その結果得られる量子化された残差係数を逆量子化回路１１６によって逆量子化し、逆変換回路１１８によって逆変換して、再構成された残差を形成し、次いで再び予測ブロックに加えて、ＣＵの再構成信号を形成する。非ブロック化フィルタ、サンプル適応型オフセット（ＳＡＯ：ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）および／または適応型ループ内フィルタ（ＡＬＦ：ａｄａｐｔｉｖｅ ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒ）などのさらなるループ内フィルタリング１１５を再構成ＣＵに適用することができ、その後、再構成ＣＵは、ピクチャバッファ１１７の参照ピクチャ記憶部内に配置され、将来のビデオブロックを符号化するために使用される。出力ビデオビットストリーム１１４を形成するために、符号化モード（インターまたはイントラ）、予測モード情報、動き情報、および量子化された残差係数をすべてエントロピー符号化ユニット１０６へ送り、さらに圧縮およびパックして、ビットストリームを形成する。

【0030】

[0037]たとえば、ＡＶＣ、ＨＥＶＣ、ならびに現在のバージョンのＶＶＣでは、非ブロック化フィルタが利用可能である。ＨＥＶＣでは、符号化効率をさらに改善するために、ＳＡＯ（サンプル適応型オフセット）と呼ばれる追加のループ内フィルタが定義されている。現在のバージョンのＶＶＣ規格では、ＡＬＦ（適応型ループフィルタ）と呼ばれるさらに別のループ内フィルタが積極的に調査されており、最終的な規格に含まれる良好な確率を有する。

【0031】

[0038]これらのループ内フィルタ動作は任意選択である。これらの動作を実行することで、符号化効率および視覚的品質を改善する手助けをする。これらの動作はまた、計算の複雑さを省くために、エンコーダ１００によって下された決定としてオフにすることもできる。

【0032】

[0039]これらのフィルタのオプションがエンコーダ１００によってオンにされた場合、イントラ予測は通常、フィルタリングされていない再構成画素に基づくのに対して、インター予測は、フィルタリングされた再構成画素に基づくことに留意されたい。

【0033】

[0040]図２は、多くのビデオ符号化規格とともに使用することができる例示的なビデオデコーダ２００を示すブロック図である。このデコーダ２００は、図１のエンコーダ１００に常駐する再構成に関係する部分に類似している。デコーダ２００（図２）において、第１に、入ってくるビデオビットストリーム２０１を、エントロピー復号２０２によって復号し、量子化された係数レベルおよび予測関係情報を導出する。次いで、量子化された係数レベルを逆量子化２０４および逆変換２０６によって処理し、再構成された予測残差を得る。イントラ／インターモードセレクタ２１２内に実施されるブロック予測子機構は、復号された予測情報に基づいて、イントラ予測２０８または動き補償２１０を実行するように構成される。加算器２１４を使用して、逆変換２０６からの再構成された予測残差と、ブロック予測子機構によって生成された予測出力とを加算することによって、１組のフィルタリングされていない再構成画素が得られる。

【0034】

[0041]再構成されたブロックは、ループ内フィルタ２０９をさらに受けることができ、その後、参照ピクチャ記憶部として機能するピクチャバッファ２１３内に記憶される。次いで、ピクチャバッファ２１３内の再構成されたビデオを送り出してディスプレイデバイスを駆動し、ならびにこれを使用して、将来のビデオブロックを予測することができる。ループ内フィルタ２０９がオンにされている状況では、これらの再構成画素に対してフィルタリング動作を実行して、最終的な再構成ビデオ出力２２２を導出する。

【0035】

[0042]ＨＥＶＣなどのビデオ符号化規格では、４分木に基づいてブロックを分割することができる。現在のＶＶＣなどのより新しいビデオ符号化規格では、より多くの分割方法が用いられ、４分木、２分木、または３分木に基づいて変動する局所的な特徴に適応するために、１つの符号化ツリー単位（ＣＴＵ）を複数のＣＵに分割することができる。ＣＵ、予測単位（ＰＵ）、および変換単位（ＴＵ）の分離は、現在のＶＶＣのほとんどの符号化モードには存在せず、各ＣＵは常に、さらなる分割なく、予測および変換の両方に対する基本単位として使用される。しかし、イントラ細分符号化モードなどのいくつかの特有の符号化モードでは、各ＣＵは、複数のＴＵをさらに含むことができる。複数タイプのツリー構造では、第１に、１つのＣＴＵが４分木構造によって分割される。次いで、各４分木の葉ノードを、２分および３分木構造によってさらに分割することができる。

【0036】

[0043]図３は、現在のＶＶＣで用いられる５つの分割タイプ、すなわち４分割３０１、水平２分割３０２、垂直２分割３０３、水平３分割３０４、および垂直３分割３０５を示す。複数タイプのツリー構造が利用される状況では、第１に、１つのＣＴＵが４分木構造によって分割される。次いで、各４分木の葉ノードを、２分木および３分木構造によってさらに分割することができる。

【0037】

[0044]図３の例示的なブロック分割３０１、３０２、３０３、３０４、または３０５の１つまたは複数を使用して、図１に示す構成を使用して、空間予測および／または時間予測を実行することができる。空間予測（または「イントラ予測」）は、同じビデオピクチャ／スライス内のすでに符号化された隣接ブロックのサンプル（参照サンプルと呼ばれる）からの画素を使用して、現在のビデオブロックを予測する。空間予測は、ビデオ信号に固有の空間的冗長性を低減させる。

【0038】

[0045]現在のＶＶＣなどのより新しいビデオ符号化規格では、新しいインターモード符号化ツールが導入されており、新しいインターモード符号化ツールの２つの例としては、双方向オプティカルフロー（ＢＤＯＦ）およびデコーダ側動きベクトル補正（ＤＭＶＲ）が挙げられる。

【0039】

[0046]ビデオ符号化における従来の双方向予測は、すでに再構成された参照ピクチャから得られる２つの時間予測ブロックの簡単な組合せである。しかし、ブロックに基づく動き補償の制限により、２つの予測ブロックのサンプル間で観察され得るわずかな動きが残ることがあり、したがって動き補償予測の効率が低減される。この問題を解決するために、現在のＶＶＣ設計では、１つのブロック内のすべてのサンプルに対するそのような動きの影響を減少させるために、ＢＤＯＦが適用される。

【0040】

[0047]図４は、ＢＤＯＦプロセスの図である。ＢＤＯＦは、双方向予測が使用されるときにブロックに基づく動き補償予測に加えて実行されるサンプルごとの動き補正である。各４×４サブブロック４０１の動き補正は、サブブロックの周りの１つの６×６の窓内でＢＤＯＦが適用された後、参照ピクチャリスト０（Ｌ０）予測サンプル４０２と参照ピクチャリスト１（Ｌ１）予測サンプル４０３との間の差を最小化することによって計算される。そのように導出された動き補正に基づいて、オプティカルフローモデルに基づいて、動き軌道に沿ってＬ０／Ｌ１予測サンプルを補間することによって、ＣＵの最終的な双方向予測サンプルが計算される。

【0041】

[0048]ＤＭＶＲは、相互整合予測を使用することによってさらに補正することができる２つの最初に信号送信されたＭＶを有するマージブロックのための双方向予測技法である。

【0042】

[0049]図５は、ＤＭＶＲで使用される相互整合の図である。相互整合は、２つの異なる参照ピクチャ５０５および５０６内で現在のＣＵ５０１の動きの軌跡５０２に沿って２つのブロック５０３および５０４間の最も近い整合を見出すことによって、現在のＣＵ５０１の動き情報を導出するために使用される。整合プロセスで使用される費用関数は、行ごとにサブサンプリングした差分絶対値和（ＳＡＤ）である。整合プロセスが行われた後、補正されたＭＶ５０７および５０８は、予測段階の動き補償、非ブロックフィルタの境界強度計算、後続のピクチャに対する時間動きベクトル予測、および後続のＣＵに対する交差ＣＴＵ空間動きベクトル予測に使用される。動き軌道が連続するという仮定の下で、２つの参照ブロック５０３および５０４を指す動きベクトルＭＶ０ ５０７およびＭＶ１ ５０８は、現在のピクチャ５１１と２つの参照ピクチャ５０５および５０６との間の時間距離、すなわちＴＤ０ ５０９およびＴＤ１ ５１０に比例するものとする。特別な事例として、現在のピクチャ５１１が時間的に２つの参照ピクチャ５０５および５０６間にあり、現在のピクチャ５１１から２つの参照ピクチャ５０５および５０６までの時間距離が同じであるとき、相互整合はミラーベースの双方向ＭＶになる。

【0043】

[0050]一方では、ＢＤＯＦおよびＤＭＶＲのようなより新しいインターモード符号化ツールがもたらすことのできる符号化効率の増大と、他方では、より新しいインターモードツールに伴う複雑さおよび待ち時間の増大との間で、適切な均衡をとるために、現在のＶＶＣ設計は、現在のブロックに対してＢＤＯＦまたはＤＭＶＲをいつ可能にすることができるかに関して制約を適用している。

【0044】

[0051]現在のＶＶＣ設計では、ＢＤＯＦは、本段落直下の枠内に挙げる次の事前定義されたＢＤＯＦ条件のすべてが当てはまるときにのみ可能になる。

【0045】

１．現在のブロックは双方向予測を使用し、１つのＭＶが、表示順序で現在のピクチャの前にある参照ピクチャを指し、別のＭＶが、表示順序で現在のピクチャの後にある参照ピクチャを指す。
２．重み付け予測が可能でない。
３．現在のブロックの高さが、４に等しくない。
４．現在のブロックのサイズが、４×８（すなわち、幅４および高さ８）に等しくない。
５．現在のブロックが、ＶＶＣにおける特別なＭＶＤ符号化モードである対称の動きベクトル差分（ＭＶＤ）モードとして符号化されていない。
６．現在のブロックが、アフィンモードとして符号化されていない。
７．現在のブロックが、サブブロックマージモードとして符号化されていない。
８．現在のブロックが、リスト０およびリスト１からの予測子サンプルを平均するとき、異なる高さを使用していない（たとえば、等しくない重みによる重み付け平均を伴う双方向予測（ＢＷＡ））。

【0046】

[0052]現在のＶＶＣ設計では、ＤＭＶＲは、本段落直下の枠内に挙げる次の事前定義されたＤＭＶＲ条件のすべてが当てはまるときにのみ可能になる。

【0047】

１．現在のブロックは双方向予測を使用し、１つのＭＶが、表示順序で現在のピクチャの前にある参照ピクチャを指し、別のＭＶが、表示順序で現在のピクチャの後にある参照ピクチャを指し、さらに、現在のピクチャと前方の参照ピクチャとの間の距離、および現在のピクチャと後方の参照ピクチャとの間の距離は、同じであるものとする。
２．現在のブロックがマージモードとして符号化され、選択されたマージ候補が通常のマージ候補（たとえば、サブブロックでない正常な空間マージ候補、または時間マージ候補など）である。
３．現在のブロックの高さが、８以上である。
４．現在のブロックの面積が、６４以上である。
５．現在のブロックが、アフィンモードとして符号化されていない。
６．現在のブロックが、サブブロックマージモードとして符号化されていない。
７．現在のブロックが、動きベクトル差分（ＭＭＶＤ）モードを伴うマージモードとして符号化されていない。

【0048】

[0053]現在のＶＶＣ設計に存在する上記の制約は、一方の符号化効率と他方の複雑さおよび待ち時間との間で所望の均衡を実現するのに大いに役立つが、この問題を完全には解決しない。

【0049】

[0054]現在のＶＶＣ設計に伴う１つの残っている問題は、ＢＤＯＦおよびＤＭＶＲを可能にするためにいくつかの制約がすでに適用されているが、いくつかの場合、ブロックを符号化するときに、２つのデコーダ側インター予測補正ツールＢＤＯＦおよびＤＭＶＲの両方を可能にすることができることである。現在のＶＶＣ設計では、両方のデコーダ側インター予測補正ツールが可能にされたとき、ＢＤＯＦは、ＤＭＶＲの最終的な動き補償サンプルに依存し、ハードウェア設計に対して待ち時間の問題を生じさせる。

【0050】

[0055]現在のＶＶＣ設計に伴う第２の残っている問題は、ＤＭＶＲを可能にするためにいくつかの制約がすでに適用されているが、これらの制約が全体として、ＤＭＶＲを可能にすることに関して依然として甘すぎることである。なぜなら、ＤＭＶＲを無効にし、次に複雑さおよび待ち時間を低減させることで、一方の符号化効率と他方の複雑さおよび待ち時間との間でより良好な均衡をとるはずであるというシナリオが存在するが、現在のＶＶＣ設計は、これらのシナリオでＤＭＶＲを可能にするからである。

【0051】

[0056]現在のＶＶＣ設計に伴う第３の残っている問題は、ＢＤＯＦを可能にするためにすでに適用されている制約が全体として、ＢＤＯＦを可能にすることに関して厳しすぎることである。なぜなら、ＢＤＯＦを可能にし、後に符号化利得を増大させることで、一方の符号化効率と他方の複雑さおよび待ち時間との間でより良好な均衡をとるはずであるというシナリオが存在するが、現在のＶＶＣ設計は、これらのシナリオでＢＤＯＦを可能にしないからである。

【0052】

[0057]本開示の第１の態様によれば、現在のブロックが、複数の事前定義された条件に基づいてＤＭＶＲおよびＢＤＯＦの両方の適用に適当であるとき、現在のブロックは、現在のブロックのモード情報に基づく事前定義された基準を使用して、２つの事前定義されたクラス、すなわちＤＭＶＲクラスおよびＢＤＯＦクラスのうちの１つに分類される。次に、ＤＭＶＲおよびＢＤＯＦの両方ではなくいずれか一方を前記現在のブロックに対して適用する際に、現在のブロックの分類が使用される。この方法は、上記の事前定義された条件に加えて現在のＶＶＣと組み合わせることができ、または独立して実施することができる。

【0053】

[0058]図６は、本開示の第１の態様の動作を示す流れ図である。現在のブロックを処理するとき（６０１）、本開示のこの態様のこの動作は、現在のブロックに対して複数の事前定義された条件を適用し（６０２）、現在のブロックが、複数の事前定義された条件に基づいてＤＭＶＲおよびＢＤＯＦの両方の適用に適当であるかどうかを判定することができる（６０３）。現在のブロックが、複数の事前定義された条件に基づいてＤＭＶＲおよびＢＤＯＦの両方の適用に適当でないと判定された場合、本開示のこの態様のこの動作は、現在のＶＶＣ設計に存在するプロセスを継続することができる（６０４）。他方では、現在のブロックが、複数の事前定義された条件に基づいてＤＭＶＲおよびＢＤＯＦの両方の適用に適当であると判定された場合、本開示のこの態様のこの動作は、現在のブロックのモード情報に基づく事前定義された基準を使用して、現在のブロックを２つの事前定義されたクラス、すなわちＤＭＶＲクラスおよびＢＤＯＦクラスのうちの１つに分類することができる（６０５）。次に、本開示のこの態様のこの動作は、現在のブロックの分類結果を使用して、ＤＭＶＲおよびＢＤＯＦの両方ではなくいずれか一方を現在のブロックに対して適用することができる（６０６）。現在のブロックの分類結果を使用して、ＤＭＶＲおよびＢＤＯＦの両方ではなくいずれか一方を現在のブロックに対して適用すること（６０６）は、現在のブロックがＤＭＶＲクラスに分類された場合、ＤＭＶＲクラスを継続する（ＢＤＯＦではなくＤＭＶＲを適用する）ことを含み（６０７）、現在のブロックがＢＤＯＦクラスに分類された場合、ＢＤＯＦクラスを継続する（ＤＭＶＲではなくＢＤＯＦを適用する）ことを含むことができる（６０８）。

【0054】

[0059]現在のブロックがそれに基づいてＤＭＶＲおよびＢＤＯＦの両方の適用に適当になる複数の事前定義された条件は、上記の枠に列挙した複数の事前定義されたＢＤＯＦ条件および事前定義されたＤＭＶＲ条件とすることができるが、必ずしもその必要はない。

【0055】

[0060]事前定義された基準に対する基本として使用されるモード情報は、それだけに限定されるものではないが、マージモードを使用するか否かなどの予測モード、マージモード索引、動きベクトル、ブロック形状、ブロックサイズ、予測子サンプル値を含む。

【0056】

[0061]本開示の１つまたは複数の実施形態によれば、ＤＭＶＲおよびＢＤＯＦの両方ではなくいずれか一方を前記現在のブロックに対して適用する際に、現在のブロックの分類を使用することは、現在のブロックの分類を示すためにフラグを任意選択で信号送信することを含み、すなわち、この実施形態のいくつかの例では、ＢＤＯＦまたはＤＭＶＲがブロックに適用されたかどうかを指定するために、１つのフラグが信号送信され、この実施形態のいくつかの他の例では、そのようなフラグは信号送信されない。

【0057】

[0062]本開示の１つまたは複数の実施形態によれば、ＤＭＶＲおよびＢＤＯＦの両方ではなくいずれか一方を前記現在のブロックに対して適用する際に、現在のブロックの分類を使用することは、現在のブロックがＤＭＶＲクラスに分類されたとき、既存のマージ候補リストによって、または別個に生成されたマージ候補リストによって、ＢＤＯＦではなくＤＭＶＲを現在のブロックに対して適用することをさらに含む。すなわち、この実施形態のいくつかの例では、現在のブロックがＤＭＶＲクラスに分類され、かつＤＭＶＲが現在のブロックに対して適用されるとき、別個のマージ候補リストが排他的に生成および使用される。このＤＭＶＲマージモードを示すために、構文が信号送信され、ＤＭＶＲマージ候補リストサイズが１より大きい場合、マージ索引も信号送信される。この実施形態のいくつかの他の例では、現在のブロックがＤＭＶＲクラスに分類され、かつＤＭＶＲが現在のブロックに対して適用されるとき、そのような別個のマージ候補は生成されず、現在のブロックに対するＤＭＶＲの適用は、既存のマージ候補リストを使用し、さらなる構文または信号送信は伴わない。

【0058】

[0063]本開示の１つまたは複数の実施形態によれば、ＤＭＶＲおよびＢＤＯＦの両方ではなくいずれか一方を前記現在のブロックに対して適用する際に、現在のブロックの分類を使用することは、現在のブロックがＢＤＯＦクラスに分類されたとき、既存のマージ候補リストによって、または別個に生成されたマージ候補リストによって、ＤＭＶＲではなくＢＤＯＦを現在のブロックに対して適用することをさらに含む。すなわち、この実施形態のいくつかの例では、現在のブロックがＢＤＯＦクラスに分類され、かつＢＤＯＦが現在のブロックに対して適用されるとき、別個のマージ候補リストが排他的に生成および使用される。このＢＤＯＦマージモードを示すために、構文が信号送信され、ＢＤＯＦマージ候補リストサイズが１より大きい場合、マージ索引も信号送信される。この実施形態のいくつかの他の例では、現在のブロックがＢＤＯＦクラスに分類され、かつＢＤＯＦが現在のブロックに対して適用されるとき、そのような別個のマージ候補は生成されず、現在のブロックに対するＢＤＯＦの適用は、既存のマージ候補リストを使用し、さらなる構文または信号送信は伴わない。

【0059】

[0064]本開示の第１の態様の別の実施形態によれば、現在のブロックのモード情報に基づく事前定義された基準を使用して、現在のブロックを２つの事前定義されたクラス、すなわちＤＭＶＲクラスおよびＢＤＯＦクラスのうちの１つに分類することは、事前定義された基準が満足されたとき、現在のブロックをＤＭＶＲクラスに分類することと、事前定義された基準が満足されないとき、現在のブロックをＢＤＯＦクラスに分類することとを含む。

【0060】

[0065]本開示の第１の態様の別の実施形態によれば、現在のブロックのモード情報に基づく事前定義された基準を使用して、現在のブロックを２つの事前定義されたクラス、すなわちＤＭＶＲクラスおよびＢＤＯＦクラスのうちの１つに分類することは、事前定義された基準が満足されたとき、現在のブロックをＢＤＯＦクラスに分類することと、事前定義された基準が満足されないとき、現在のブロックをＤＭＶＲクラスに分類することとを含む。

【0061】

[0066]本開示の第１の態様の別の実施形態によれば、事前定義された基準は、現在のブロックに対して通常モードが選択されているかどうかを含む。

【0062】

[0067]本開示の第１の態様の別の実施形態によれば、事前定義された基準は、現在のブロックの符号化マージ索引が事前定義された数学的特性を保有しているかどうかを含む。

【0063】

[0068]別の例では、事前定義された数学的特性は、事前定義された閾値数以上であるという特性を含む。

【0064】

[0069]本開示の第１の態様の別の実施形態によれば、事前定義された基準は、現在のブロックの動きベクトルが事前定義された試験を満たすかどうかを含む。

【0065】

[0070]一例では、事前定義された試験は、すべての動きベクトル成分の大きさの和が事前定義された閾値数より大きいかどうかを含む。

【0066】

[0071]本開示の第１の態様の別の実施形態によれば、事前定義された基準は、現在のブロックが事前定義された形状であるかどうかを含む。

【0067】

[0072]一例では、事前定義された形状は、正方形の形状である。

【0068】

[0073]本開示の第１の態様の別の実施形態によれば、事前定義された基準は、現在のブロックのブロックサイズが事前定義された数学的特性を保有しているかどうかを含む。

【0069】

[0074]一例では、事前定義された数学的特性は、事前定義された閾値数以上であるという特性を含む。

【0070】

[0075]本開示の第１の態様の別の実施形態によれば、事前定義された基準は、現在のブロックのリスト０予測子サンプルとリスト１予測子サンプルとの間の差分絶対値和または差分二乗和（ＳＡＤまたはＳＳＤ）が事前定義された数学的特性を保有しているかどうかを含む。

【0071】

[0076]一例では、事前定義された数学的特性は、事前定義された閾値数より大きいという特性を含む。

【0072】

[0077]本開示の第２の態様によれば、現在のブロックが、複数の事前定義された条件に基づいてＤＭＶＲ符号化に適当であるとき、現在のブロックに対して重み付け予測が可能であるかどうかに関して第１の判定が行われ、現在のブロックに対するリスト０予測子サンプルおよびリスト１予測子サンプルを平均するときに、異なる重みが使用されるかどうかに関して第２の判定が行われ、第１および第２の判定に基づいて、現在のブロックに対するＤＭＶＲの適用を無効にするかどうかを判定することができる。この方法は、上記の事前定義された条件に加えて、現在のＶＶＣと組み合わせることができ、または独立して実施することができる。

【0073】

[0078]図７は、本開示の第２の態様の例示的な方法を示す流れ図である。現在のブロックを処理するとき（７０１）、本開示のこの態様のこの動作は、現在のブロックに対して複数の事前定義された条件を適用し（７０２）、現在のブロックが、複数の事前定義された条件に基づいてＤＭＶＲ符号化に適当であるかどうかを判定することができる（７０３）。現在のブロックが、複数の事前定義された条件に基づいてＤＭＶＲ符号化に適当でないと判定された場合、本開示のこの態様のこの動作は、現在のＶＶＣ設計に存在するプロセスを継続することができる（７０４）。他方では、現在のブロックが、複数の事前定義された条件に基づいてＤＭＶＲ符号化に適当であると判定された場合、本開示のこの態様のこの動作は、現在のブロックに対して重み付け予測が可能であるかどうかを判定することができ（７０５）、現在のブロックに対するリスト０予測子サンプルおよびリスト１予測子サンプルを平均するときに、異なる重みが使用されるかどうかも判定することができ（７０６）、次に２つの判定に基づいて、現在のブロックに対するＤＭＶＲの適用を無効にするかどうかを判定することができる（７０７）。

【0074】

[0079]現在のブロックがそれに基づいてＤＭＶＲ符号化に適当になる複数の事前定義された条件は、上記の枠に列挙した複数の事前定義されたＤＭＶＲ条件とすることができるが、必ずしもその必要はない。

【0075】

[0080]本開示の第２の態様の一実施形態によれば、２つの判定に基づいて、現在のブロックに対するＤＭＶＲの適用を無効にするかどうかを判定することは、現在のブロックに対して重み付け予測が可能であると判定されたとき、現在のブロックに対するＤＭＶＲの適用を無効にすることを含む。

【0076】

[0081]本開示の第２の態様の別の実施形態によれば、２つの判定に基づいて、現在のブロックに対するＤＭＶＲの適用を無効にするかどうかを判定することは、現在のブロックに対するリスト０予測子サンプルおよびリスト１予測子サンプルを平均するときに異なる重みが使用されると判定されたとき、現在のブロックに対するＤＭＶＲの適用を無効にすることを含む。

【0077】

[0082]本開示の第２の態様の別の実施形態によれば、２つの判定に基づいて、現在のブロックに対するＤＭＶＲの適用を無効にするかどうかを判定することは、現在のブロックに対して重み付け予測が可能であると判定され、かつ同時に現在のブロックに対するリスト０予測子サンプルおよびリスト１予測子サンプルを平均するときに異なる重みが使用されると判定されたとき、現在のブロックに対するＤＭＶＲの適用を無効にすることを含む。

【0078】

[0083]本開示の第３の態様によれば、現在のブロックがサブブロックマージモードとして符号化されているとき、現在のブロックに対するＢＤＯＦの適用を可能にすることができる。この方法は、上記の事前定義された条件に加えて現在のＶＶＣと組み合わせることができ、または独立して実施することができる。

【0079】

[0084]図８は、本開示の第３の態様の動作を示す流れ図である。現在のブロックを処理するとき（８０１）、本開示のこの態様のこの動作は、現在のブロックがサブブロックマージモードとして符号化されているかどうかを判定することができる（８０２）。現在のブロックが、サブブロックマージモードとして符号化されていないと判定された場合、本開示のこの態様のこの動作は、現在のＶＶＣ設計に存在するプロセスを継続することができる（８０３）。他方では、現在のブロックが、サブブロックマージモードとして符号化されていると判定された場合、本開示のこの態様のこの動作は、現在のブロックに対するＢＤＯＦの適用を可能にすることができる（８０４）。

【0080】

[0085]１つまたは複数の例では、記載の機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組合せで実施することができる。ソフトウェアで実施された場合、これらの機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体に記憶し、またはコンピュータ可読媒体を介して伝送することができ、ハードウェアに基づく処理単位によって実行することができる。コンピュータ可読媒体は、データ記憶媒体などの有形の媒体に対応するコンピュータ可読記憶媒体、またはたとえば通信プロトコルに従った１つの場所から別の場所へのコンピュータプログラムの伝達を容易にする任意の媒体を含む通信媒体を含むことができる。このようにして、コンピュータ可読媒体は、概して、（１）非一時的な有形のコンピュータ可読記憶媒体、または（２）信号もしくは搬送波などの通信媒体に対応することができる。データ記憶媒体は、本出願に記載する実装例の実装のために命令、コード、および／またはデータ構造を取り出すために、１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスすることができる利用可能な任意の媒体とすることができる。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。

【0081】

[0086]さらに、上記の方法は、１つまたは複数の回路を含む装置を使用して実施することができ、そのような回路には、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子構成要素が含まれる。この装置は、上述した方法を実行するために、他のハードウェアまたはソフトウェア構成要素と組み合わせて、これらの回路を使用することができる。上記で開示した各モジュール、サブモジュール、ユニット、またはサブユニットは、１つまたは複数の回路を少なくとも部分的に使用して実施することができる。

【0082】

[0087]本発明の他の実施形態は、本明細書の考察および上記で開示した本発明の実施から、当業者には明らかになる。本出願は、本発明の一般原理に準拠し、当技術分野で周知または通例の慣行範囲に入る本開示からの逸脱を含めて、本発明のあらゆる変形例、使用例、または適用例を包含することが意図される。本明細書および例は、例示としてのみ考慮されるべきであり、本発明の本当の範囲および精神は、以下の特許請求の範囲によって示されることが意図される。

【0083】

[0088]本発明は、上記に説明および添付の図面に図示した厳密な例に限定されるものではなく、本発明の範囲から逸脱することなく、様々な修正および変更を加えることができることが理解されよう。本発明の範囲は、添付の特許請求の範囲によってのみ限定されることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】