特許第6833009号(P6833009)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧
特許6833009変換ベースの残差符号化を使用する予測ピクチャ符号化
<>
  • 特許6833009-変換ベースの残差符号化を使用する予測ピクチャ符号化 図000009
  • 特許6833009-変換ベースの残差符号化を使用する予測ピクチャ符号化 図000010
  • 特許6833009-変換ベースの残差符号化を使用する予測ピクチャ符号化 図000011
  • 特許6833009-変換ベースの残差符号化を使用する予測ピクチャ符号化 図000012
  • 特許6833009-変換ベースの残差符号化を使用する予測ピクチャ符号化 図000013
  • 特許6833009-変換ベースの残差符号化を使用する予測ピクチャ符号化 図000014
  • 特許6833009-変換ベースの残差符号化を使用する予測ピクチャ符号化 図000015
  • 特許6833009-変換ベースの残差符号化を使用する予測ピクチャ符号化 図000016
  • 特許6833009-変換ベースの残差符号化を使用する予測ピクチャ符号化 図000017
  • 特許6833009-変換ベースの残差符号化を使用する予測ピクチャ符号化 図000018
  • 特許6833009-変換ベースの残差符号化を使用する予測ピクチャ符号化 図000019
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6833009
(24)【登録日】2021年2月4日
(45)【発行日】2021年2月24日
(54)【発明の名称】変換ベースの残差符号化を使用する予測ピクチャ符号化
(51)【国際特許分類】
   H04N 19/12 20140101AFI20210215BHJP
   H04N 19/13 20140101ALI20210215BHJP
   H04N 19/159 20140101ALI20210215BHJP
   H04N 19/176 20140101ALI20210215BHJP
   H04N 19/70 20140101ALI20210215BHJP
   H04N 19/593 20140101ALI20210215BHJP
   H04N 19/91 20140101ALI20210215BHJP
【FI】
   H04N19/12
   H04N19/13
   H04N19/159
   H04N19/176
   H04N19/70
   H04N19/593
   H04N19/91
【請求項の数】44
【全頁数】35
(21)【出願番号】特願2019-501941(P2019-501941)
(86)(22)【出願日】2017年7月13日
(65)【公表番号】特表2019-525589(P2019-525589A)
(43)【公表日】2019年9月5日
(86)【国際出願番号】EP2017067708
(87)【国際公開番号】WO2018011345
(87)【国際公開日】20180118
【審査請求日】2019年3月4日
(31)【優先権主張番号】16179405.2
(32)【優先日】2016年7月14日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】500341779
【氏名又は名称】フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100085497
【弁理士】
【氏名又は名称】筒井 秀隆
(72)【発明者】
【氏名】デ・ルクサン・ヘルナンデス,サンチアゴ
(72)【発明者】
【氏名】マルペ,デトレフ
(72)【発明者】
【氏名】ミューラー,クラウス−ロベルト
(72)【発明者】
【氏名】シュヴァルツ,ハイコ
(72)【発明者】
【氏名】ヴィーガント,トーマス
【審査官】 鉢呂 健
(56)【参考文献】
【文献】 特表2012−516625(JP,A)
【文献】 欧州特許出願公開第02493197(EP,A1)
【文献】 V. Lorcy and P. Philippe ,Proposed improvements to the Adaptive multiple Core transform,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 3rd Meeting: Geneva, CH, 26 May - 1 June 2016, [JVET-C0022],2016年 5月19日,JVET-C0022 (version 3),pp. 1-4
【文献】 Jianle Chen et al.,Algorithm Description of Joint Exploration Test Model 3,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 3rd Meeting: Geneva, CH, 26 May - 1 June 2016, [JVET-C1001_v1],2016年 7月 2日,JVET-C1001 (version 1),pp. 20-22
【文献】 Liwei Guo et al.,Test of Transform Selection for Inter-Layer Texture Prediction on SMuC 0.1.1,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013, [JCTVC-L0330],2013年 1月18日,JCTVC-L0330 (version 2),pp. 1-3
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00−19/98
(57)【特許請求の範囲】
【請求項1】
データストリームからピクチャを予測的に復号化する装置であって、前記データストリームから前記ピクチャの予測残差信号を復号化し、前記予測残差信号のスペクトル−空間変換に際して1セットの複数の変換間の切り替えをサポートしながら、前記予測残差信号をスペクトル−空間変換するよう構成され、
前記装置は、前記ピクチャがサブ分割されたセグメントの単位で前記セットの変換間の切り替えをサポートし、
前記装置は、前記セットの変換間の切り替えに際して、各イントラ符号化セグメントについて、データストリームに含まれた個々のイントラ符号化セグメントのための変換クラスシグナライゼーションに依存して前記セットの変換の1つを選択し、個々のイントラ符号化セグメントのイントラ符号化モードに依存するコンテキストを使用したコンテキストベースのエントロピー復号化を使用して、前記データストリームから変換クラスシグナライゼーションを導出するよう構成され
前記装置は、前記セットの変換間の切り替えに際して、前記イントラ符号化セグメントの各々について、前記データストリームに含まれた個々のイントラ符号化セグメントについての変換クラスシグナライゼーションに応じて、前記セットの変換内の1つの変換を選択するよう構成され、各イントラ符号化セグメントについて、前記セットの変換の全ての変換が各イントラ符号化セグメントの符号化モードから独立した方法で選択可能となるように、前記各イントラ符号化セグメントについて、前記変換クラスシグナライゼーションが取り得る値のドメインの、前記セットの変換への全射マッピングを使用する、
装置。
【請求項2】
前記装置は、前記予測残差信号のスペクトル−空間変換に際して、イントラ符号化セグメントについては前記セットの変換間の切り替えをサポートし、インター符号化セグメントについては、1つの変換を安定的に使用するか、又は異なるセットの変換間の切り替えを使用するように構成される、請求項に記載の装置。
【請求項3】
前記セットの変換間の切り替えに際して、前記セグメントの1セットの各々について、それら個々のセグメントの近隣についての前記データストリームから導出された符号化モードに依存して、前記セットの変換の1つの変換を選択するよう構成される、請求項1又は2に記載の装置。
【請求項4】
データストリームからピクチャを予測的に復号化する装置であって、前記データストリームから前記ピクチャの予測残差信号を復号化し、前記予測残差信号のスペクトル−空間変換に際して1セットの複数の変換間の切り替えをサポートしながら、前記予測残差信号をスペクトル−空間変換するよう構成され、
前記装置は、前記ピクチャがサブ分割されたセグメントの単位で前記セットの変換間の切り替えをサポートし、
前記装置は、前記セットの複数の変換の切り替えに際して、前記セグメントの1セットの各々について、データストリームに含まれた個々のセグメントのための変換クラスシグナライゼーションに依存して前記セットの複数の変換の1つの変換を選択するように構成され、
前記変換クラスシグナライゼーションのサフィックス部分を持たない前記データストリームを解析しながら、前記変換クラスシグナライゼーションのプレフィックス部分に依存して、空間的及び/又は時間的予測によって、又は個々のセグメントについて前記データストリーム内で信号伝達された符号化モードに基づいて、前記変換を選択するか、
又は
前記データストリームから前記変換クラスシグナライゼーションのサフィックス部分を導出し、かつ前記サフィックス部分に基づいて前記変換を選択するように構成される、
装置。
【請求項5】
前記変換クラスシグナライゼーションの前記サフィックス部分がとり得る値のドメインを、前記空間的及び/又は時間的予測及び符号化モードから独立して、前記セットの変換にそれぞれマッピングするように構成される、請求項に記載の装置。
【請求項6】
前記セットの変換が、第1のスペクトル−空間変換と、前記第1のスペクトル−空間変換とは異なる第2のスペクトル−空間変換とを含む、請求項1〜のいずれか一項に記載の装置。
【請求項7】
前記セットの変換は、
水平方向に適用される第1の一次元スペクトル−空間変換と、垂直方向に適用される第2の一次元スペクトル−空間変換との連鎖であるスペクトル−空間変換を含み、前記第1の一次元スペクトル−空間変換と前記第2の一次元スペクトル−空間変換とは互いに異なる、請求項1〜のいずれか一項に記載の装置。
【請求項8】
前記セットの変換は、
空間ドメインにおいて垂直方向には適用されず、水平方向に適用される一次元スペクトル−空間変換である第1のスペクトル−空間変換と、
空間ドメインにおいて水平方向には適用されず、垂直方向に適用される一次元スペクトル−空間変換である第2のスペクトル−空間変換とを含む、請求項1〜のいずれか一項に記載の装置。
【請求項9】
前記セットの変換は、水平変換セットの1つの変換と垂直変換セットの1つの変換との種々のペアからなる、請求項1〜のいずれか一項に記載の装置。
【請求項10】
前記セットの変換は、水平方向に適用される一次元スペクトル−空間変換セットの第1の変換と、垂直方向に適用される一次元スペクトル−空間変換セットの第2の変換との連鎖で構成される、請求項1〜のいずれか一項に記載の装置。
【請求項11】
前記一次元スペクトル−空間変換セットは、一つの恒等変換と、一つ以上の離散コサイン/サイン変換とからなる、請求項10に記載の装置。
【請求項12】
前記一次元スペクトル−空間変換セットは、恒等変換、DCT−II、DCT−IV、およびDST−IV、または恒等変換、DCT−III、DCT−IV、およびDST−IVからなる、請求項11に記載の装置。
【請求項13】
データストリームからピクチャを予測的に復号化する装置であって、前記データストリームから前記ピクチャの予測残差信号を復号化し、前記予測残差信号のスペクトル−空間変換に際して1セットの複数の変換間の切り替えをサポートしながら、前記予測残差信号をスペクトル−空間変換するよう構成され、
前記セットの変換は、水平方向に適用される一次元スペクトル−空間変換セットの第1の変換と、垂直方向に適用される一次元スペクトル−空間変換セットの第2の変換との連鎖で構成され、
前記装置は、前記データストリーム内の変換クラスシグナライゼーションに応じて前記セットの変換間の切り替えを実行するように構成され、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記装置は、水平方向に適用される一次元スペクトル−空間変換セットの第1の変換を指標化するために前記ビンの第1半分を使用し、垂直方向に適用される一次元スペクトル−空間変換セットの第2の変換を指標化するために前記ビンの第2半分を使用するように構成される、
装置。
【請求項14】
前記ビンの第1半分と前記一次元スペクトル−空間変換セットとの間の関連付けと、前記ビンの第2半分と前記一次元スペクトル−空間変換セットとの間の関連付けとは、互いに等しい、請求項13に記載の装置。
【請求項15】
データストリームからピクチャを予測的に復号化する装置であって、前記データストリームから前記ピクチャの予測残差信号を復号化し、前記予測残差信号のスペクトル−空間変換に際して1セットの複数の変換間の切り替えをサポートしながら、前記予測残差信号をスペクトル−空間変換するよう構成され、
前記セットの変換は、水平方向に適用される一次元スペクトル−空間変換セットの第1の変換と、垂直方向に適用される一次元スペクトル−空間変換セットの第2の変換との連鎖で構成され、
前記一次元スペクトル−空間変換セットは、一つの恒等変換と、一つ以上の離散コサイン/サイン変換とからなり、
前記一次元スペクトル−空間変換セットは、恒等変換、DCT−II、DCT−IV、およびDST−IV、または恒等変換、DCT−III、DCT−IV、およびDST−IVからなり、
前記装置は、前記データストリーム内の変換クラスシグナライゼーションに応じて前記セットの変換間の切り替えを実行するように構成され、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記装置は、水平方向に適用される一次元スペクトル−空間変換セットの第1の変換を指標化するために前記ビンの第1半分を使用し、垂直方向に適用された一次元スペクトル−空間変換セットの第2の変換を指標化するために前記ビンの第2半分を使用するように構成され、前記装置は、{恒等変換、DST−IV}と{DCT−II/III,DCT−IV}とを区別するために、前記ビンの第1半分の第1ビンと前記ビンの第2半分の第1ビンとを使用し、{恒等変換、DCT−II/III}と{DCT−IV,DST−IV}とを区別するために、前記ビンの第1半分の第2ビンと前記ビンの第2半分の第2ビンとを使用する、
装置。
【請求項16】
前記第1半分及び第2半分の第2ビンに応じて、それぞれ前記第1半分及び第2半分の第1ビンをコンテキスト適応的にエントロピー復号化するためのコンテキストを選択するように構成された、請求項15に記載の装置。
【請求項17】
前記装置は、前記変換クラスシグナライゼーションが前記データストリーム内に含まれている、セグメントのイントラ符号化モードに応じて、前記第1半分及び第2半分の第2ビンをコンテキスト適応的にエントロピー復号化するためのコンテキストを選択するように構成された、請求項15または16に記載の装置。
【請求項18】
ピクチャをデータストリームに予測的に符号化する装置であって、前記ピクチャの予測残差信号を、前記予測残差信号の空間−スペクトル変換に際して1セットの複数の変換間の切り替えをサポートしながら、空間−スペクトル変換し、スペクトルドメインの予測残差信号を前記データストリームへと符号化するよう構成され、
前記装置は、前記ピクチャがサブ分割されるセグメントの単位で前記セットの変換間の切り替えをサポートし、
前記装置は、前記セットの変換間の切り替えに際して、イントラ符号化セグメントの各々について、前記データストリーム内の個々のイントラ符号化セグメントについての変換クラスシグナライゼーションを介して、前記セットの変換の1つを信号伝達するものであり、個々のイントラ符号化セグメントのイントラ符号化モードに依存するコンテキストを使用したコンテキストベースのエントロピー符号化を用いて、前記変換クラスシグナライゼーションを前記データストリームへ符号化するよう構成され、
前記装置は、前記セットの変換間の切り替えに際して、前記イントラ符号化セグメントの1セットの各々について、前記データストリームに含まれた個々のイントラ符号化セグメントについての変換クラスシグナライゼーションを介して、前記セットの変換の1つの変換を信号伝達するよう構成され、各イントラ符号化セグメントについて、前記セットの変換のすべての変換が各イントラ符号化セグメントの符号化モードから独立した方法で信号伝達され得るように、各イントラ符号化セグメントについて、前記変換クラスシグナライゼーションがとり得る値のドメインの、前記セットの変換への全射マッピングを使用する、
装置。
【請求項19】
前記装置は、前記予測残差信号の空間-スペクトル変換に際して、イントラ符号化セグメントについては前記セットの変換間の切り替えをサポートし、インター符号化セグメントについては、1つの変換を安定的に使用するか、又は異なるセットの変換間の切り替えを使用するよう構成される、請求項18に記載の装置。
【請求項20】
前記装置は、前記個々のセグメントの近隣について前記データストリーム内で信号伝達された符号化モードにも依存して、前記信号伝達を実行するよう構成される、請求項18に記載の装置。
【請求項21】
ピクチャをデータストリームに予測的に符号化する装置であって、前記ピクチャの予測残差信号を、前記予測残差信号の空間−スペクトル変換に際して1セットの複数の変換間の切り替えをサポートしながら、空間−スペクトル変換し、スペクトルドメインの予測残差信号を前記データストリームへと符号化するよう構成され、
前記装置は、前記ピクチャがサブ分割されるセグメントの単位で前記セットの変換間の切り替えをサポートし、
前記装置は、前記セットの変換間の切り替えに際して、前記セグメントの1セットの各々について、前記データストリーム内の個々のセグメントについての変換クラスシグナライゼーションを介して、前記変換クラスシグナライゼーションのプレフィックス部分によって、以下の信号伝達により前記セットの変換の1つの変換を信号伝達するように構成され、
前記各セグメントについて前記変換クラスシグナライゼーションがサフィックス部分を含まないままで、前記変換が、空間的および/または時間的に予測されるべきであるか、又は、前記個々のセグメントについて前記データストリーム内で信号伝達される符号化モードに基づくべきである、ことを信号伝達するか、
又は
前記個々のセグメントについての変換クラスシグナライゼーションのサフィックス部分が前記データストリーム内に含まれ、かつ前記変換が前記サフィックス部分に基づいて選択されるべきである、ことを信号伝達する、
装置。
【請求項22】
前記装置は、前記変換クラスシグナライゼーションの前記サフィックス部分がとり得る値のドメインを、前記空間的および/または時間的予測と符号化モードとから独立して、前記セットの変換に対してマッピングすることを使用して、前記サフィックス部分を設定するように構成される、請求項21に記載の装置。
【請求項23】
前記セットの変換は、第1の空間−スペクトル変換と、前記第1の空間−スペクトル変換とは異なる第2の空間−スペクトル変換とを含む、請求項18〜22のいずれか一項に記載の装置。
【請求項24】
前記セットの変換は、水平方向に適用される第1の一次元空間−スペクトル変換と垂直方向に適用される第2の一次元空間−スペクトル変換との連鎖である空間−スペクトル変換を含み、前記第1の一次元空間−スペクトル変換と前記第2の一次元空間−スペクトル変換とは互いに異なる、請求項18〜23のいずれか一項に記載の装置。
【請求項25】
前記セットの変換は、
空間ドメインにおいて垂直方向には適用されず、水平方向に適用される一次元空間−スペクトル変換である第1の空間−スペクトル変換と、
空間ドメインにおいて水平方向には適用されず、垂直方向に適用される一次元空間−スペクトル変換である第2の空間−スペクトル変換と、
を含む、請求項18〜24のいずれか一項に記載の装置。
【請求項26】
前記セットの変換が、水平変換セットの一つの変換と垂直変換セットの一つの変換との異なるペアで構成される、請求項18〜25のいずれか一項に記載の装置。
【請求項27】
前記セットの変換は、水平方向に適用される一次元空間−スペクトル変換セットの第1の変換と、垂直方向に適用される一次元空間−スペクトル変換セットの第2の変換との連鎖によって構成される、請求項18〜26のいずれか一項に記載の装置。
【請求項28】
前記一次元空間−スペクトル変換セットは、一つの恒等変換と、一つ以上の離散コサイン/サイン変換とからなる、請求項27に記載の装置。
【請求項29】
前記一次元空間−スペクトル変換セットは、恒等変換、DCT−II、DCT−IV、およびDST−IV、または恒等変換、DCT−III、DCT−IV、およびDST−IVからなる、請求項28に記載の装置。
【請求項30】
ピクチャをデータストリームに予測的に符号化する装置であって、前記ピクチャの予測残差信号を、前記予測残差信号の空間−スペクトル変換に際して1セットの複数の変換間の切り替えをサポートしながら、空間−スペクトル変換し、スペクトルドメインの予測残差信号を前記データストリームへと符号化するよう構成され、
前記セットの変換は、水平方向に適用される一次元空間−スペクトル変換セットの第1の変換と、垂直方向に適用される一次元空間−スペクトル変換セットの第2の変換との連鎖によって構成され、
前記装置は、前記データストリーム内の変換クラスシグナライゼーションを介して前記セットの変換間の切り替えを信号伝達するように構成され、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記装置は、水平方向に適用される前記一次元空間-スペクトル変換セットの第1の変換を指標化するために前記ビンの第1半分を使用し、垂直方向に適用される前記一次元空間-スペクトル変換セットの第2の変換を指標化するために前記ビンの第2半分を使用するように構成される、
装置。
【請求項31】
前記ビンの第1半分と前記一次元空間−スペクトル変換セットとの間の関連付けと、前記ビンの第2半分と前記一次元空間−スペクトル変換セットとの間の関連付けとは、互いに等しいことを特徴とする、請求項30に記載の装置。
【請求項32】
ピクチャをデータストリームに予測的に符号化する装置であって、前記ピクチャの予測残差信号を、前記予測残差信号の空間−スペクトル変換に際して1セットの複数の変換間の切り替えをサポートしながら、空間−スペクトル変換し、スペクトルドメインの予測残差信号を前記データストリームへと符号化するよう構成され、
前記セットの変換は、水平方向に適用される一次元空間−スペクトル変換セットの第1の変換と、垂直方向に適用される一次元空間−スペクトル変換セットの第2の変換との連鎖によって構成され、
前記一次元空間−スペクトル変換セットは、一つの恒等変換と、一つ以上の離散コサイン/サイン変換とからなり、
前記一次元空間−スペクトル変換セットは、恒等変換、DCT−II、DCT−IV、およびDST−IV、または恒等変換、DCT−III、DCT−IV、およびDST−IVからなり、
前記装置は、前記データストリーム内の変換クラスシグナライゼーションを介して前記セットの変換間の切り替えを信号伝達するように構成され、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記装置は、水平方向に適用される前記一次元空間-スペクトル変換セットの第1の変換を指標化するために前記ビンの第1半分を使用し、垂直方向に適用される前記一次元空間-スペクトル変換セットの第2の変換を指標化するために前記ビンの第2半分を使用するように構成され、
前記装置は、{恒等変換,DST−IV}と{DCT−II/III,DCT−IV}とを区別するために前記ビンの第1半分の第1ビンと前記ビンの第2半分の第1ビンとを使用し、{恒等変換,DCT−II/III}と{DCT−IV,DST−IV}とを区別するために前記ビンの第1半分の第2ビンと前記ビンの第2半分の第2ビンとを使用するよう構成される、
装置。
【請求項33】
前記装置は、前記第1半分および前記第2半分の第2ビンに応じて、前記第1半分および第2半分の第1ビンをコンテキスト適応的にエントロピー符号化するためのコンテキストを選択するように構成される、請求項32に記載の装置。
【請求項34】
前記装置は、前記変換クラスシグナライゼーションが前記データストリーム内に含まれている、セグメントのイントラ符号化モードに応じて、前記第1半分および前記第2半分の第2ビンをコンテキスト適応的にエントロピー符号化するためのコンテキストを選択するように構成される、請求項32または33に記載の装置。
【請求項35】
データストリームからピクチャを予測的に復号化する方法であって、前記データストリームから前記ピクチャの予測残差信号を復号化するステップと、前記予測残差信号のスペクトル−空間変換に際して1セットの複数の変換間の切り替えをサポートしながら、前記予測残差信号をスペクトル−空間変換するステップと、を含
前記方法は、前記ピクチャがサブ分割されたセグメントの単位で前記セットの変換間の切り替えをサポートすることを含み、
前記方法は、前記セットの変換間の切り替えに際して、各イントラ符号化セグメントについて、データストリームに含まれた個々のイントラ符号化セグメントのための変換クラスシグナライゼーションに依存して前記セットの変換の1つを選択し、個々のイントラ符号化セグメントのイントラ符号化モードに依存するコンテキストを使用したコンテキストベースのエントロピー復号化を使用して、前記データストリームから変換クラスシグナライゼーションを導出することを含み
前記方法は、前記セットの変換間の切り替えに際して、前記イントラ符号化セグメントの各々について、前記データストリームに含まれた個々のイントラ符号化セグメントについての変換クラスシグナライゼーションに応じて、前記セットの変換内の1つの変換を選択することを含み、各イントラ符号化セグメントについて、前記セットの変換の全ての変換が各イントラ符号化セグメントの符号化モードから独立した方法で選択可能となるように、前記各イントラ符号化セグメントについて、前記変換クラスシグナライゼーションが取り得る値のドメインの、前記セットの変換への全射マッピングを使用する、
方法。
【請求項36】
データストリームからピクチャを予測的に復号化する方法であって、前記データストリームから前記ピクチャの予測残差信号を復号化するステップと、前記予測残差信号のスペクトル−空間変換に際して1セットの複数の変換間の切り替えをサポートしながら、前記予測残差信号をスペクトル−空間変換するステップと、を含み、
前記方法は、前記ピクチャがサブ分割されたセグメントの単位で前記セットの変換間の切り替えをサポートすることを含み、
前記方法は、前記セットの複数の変換の切り替えに際して、前記セグメントの1セットの各々について、データストリームに含まれた個々のセグメントのための変換クラスシグナライゼーションに依存して前記セットの複数の変換の1つの変換を選択することを含み、
前記変換クラスシグナライゼーションのサフィックス部分を持たない前記データストリームを解析しながら、前記変換クラスシグナライゼーションのプレフィックス部分に依存して、空間的及び/又は時間的予測によって、又は個々のセグメントについて前記データストリーム内で信号伝達された符号化モードに基づいて、前記変換を選択するか、
又は
前記データストリームから前記変換クラスシグナライゼーションのサフィックス部分を導出し、かつ前記サフィックス部分に基づいて前記変換を選択する、
方法。
【請求項37】
データストリームからピクチャを予測的に復号化する方法であって、前記データストリームから前記ピクチャの予測残差信号を復号化するステップと、前記予測残差信号のスペクトル−空間変換に際して1セットの複数の変換間の切り替えをサポートしながら、前記予測残差信号をスペクトル−空間変換するステップと、を含み、
前記セットの変換は、水平方向に適用される一次元スペクトル−空間変換セットの第1の変換と、垂直方向に適用される一次元スペクトル−空間変換セットの第2の変換との連鎖で構成され、
前記方法は、前記データストリーム内の変換クラスシグナライゼーションに応じて前記セットの変換間の切り替えを実行することを含み、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記方法は、水平方向に適用される一次元スペクトル−空間変換セットの第1の変換を指標化するために前記ビンの第1半分を使用し、垂直方向に適用される一次元スペクトル−空間変換セットの第2の変換を指標化するために前記ビンの第2半分を使用する、
方法。
【請求項38】
データストリームからピクチャを予測的に復号化する方法であって、前記データストリームから前記ピクチャの予測残差信号を復号化するステップと、前記予測残差信号のスペクトル−空間変換に際して1セットの複数の変換間の切り替えをサポートしながら、前記予測残差信号をスペクトル−空間変換するステップと、を含み、
前記セットの変換は、水平方向に適用される一次元スペクトル−空間変換セットの第1の変換と、垂直方向に適用される一次元スペクトル−空間変換セットの第2の変換との連鎖で構成され、
前記一次元スペクトル−空間変換セットは、一つの恒等変換と、一つ以上の離散コサイン/サイン変換とからなり、
前記一次元スペクトル−空間変換セットは、恒等変換、DCT−II、DCT−IV、およびDST−IV、または恒等変換、DCT−III、DCT−IV、およびDST−IVからなり、
前記方法は、前記データストリーム内の変換クラスシグナライゼーションに応じて前記セットの変換間の切り替えを実行することを含み、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記方法は、水平方向に適用される一次元スペクトル−空間変換セットの第1の変換を指標化するために前記ビンの第1半分を使用し、垂直方向に適用された一次元スペクトル−空間変換セットの第2の変換を指標化するために前記ビンの第2半分を使用することを含み、前記方法は、{恒等変換、DST−IV}と{DCT−II/III,DCT−IV}とを区別するために、前記ビンの第1半分の第1ビンと前記ビンの第2半分の第1ビンとを使用し、{恒等変換、DCT−II/III}と{DCT−IV,DST−IV}とを区別するために、前記ビンの第1半分の第2ビンと前記ビンの第2半分の第2ビンとを使用する、
方法。
【請求項39】
ピクチャをデータストリームへ予測的に符号化する方法であって、前記ピクチャの予測残差信号を、前記予測残差信号の空間−スペクトル変換に際して1セットの複数の変換間の切り替えをサポートしながら、空間−スペクトル変換するステップと、スペクトルドメインの予測残差信号を前記データストリームへと符号化するステップと、を含み、
前記方法は、前記ピクチャがサブ分割されるセグメントの単位で前記セットの変換間の切り替えをサポートすることを含み、
前記方法は、前記セットの変換間の切り替えに際して、イントラ符号化セグメントの各々について、前記データストリーム内の個々のイントラ符号化セグメントについての変換クラスシグナライゼーションを介して、前記セットの変換の1つを信号伝達することを含み、個々のイントラ符号化セグメントのイントラ符号化モードに依存するコンテキストを使用したコンテキストベースのエントロピー符号化を用いて、前記変換クラスシグナライゼーションを前記データストリームへ符号化することを含み、
前記方法は、前記セットの変換間の切り替えに際して、前記イントラ符号化セグメントの1セットの各々について、前記データストリームに含まれた個々のイントラ符号化セグメントについての変換クラスシグナライゼーションを介して、前記セットの変換の1つの変換を信号伝達することを含み、各イントラ符号化セグメントについて、前記セットの変換のすべての変換が各イントラ符号化セグメントの符号化モードから独立した方法で信号伝達され得るように、各イントラ符号化セグメントについて、前記変換クラスシグナライゼーションがとり得る値のドメインの、前記セットの変換への全射マッピングを使用する、
方法。
【請求項40】
ピクチャをデータストリームへ予測的に符号化する方法であって、前記ピクチャの予測残差信号を、前記予測残差信号の空間−スペクトル変換に際して1セットの複数の変換間の切り替えをサポートしながら、空間−スペクトル変換するステップと、スペクトルドメインの予測残差信号を前記データストリームへと符号化するステップと、を含み、
前記方法は、前記ピクチャがサブ分割されるセグメントの単位で前記セットの変換間の切り替えをサポートすることを含み、
前記方法は、前記セットの変換間の切り替えに際して、前記セグメントの1セットの各々について、前記データストリーム内の個々のセグメントについての変換クラスシグナライゼーションを介して、前記変換クラスシグナライゼーションのプレフィックス部分によって、以下の信号伝達により前記セットの複数の変換の1つの変換を信号伝達することを含み、
前記各セグメントについて前記変換クラスシグナライゼーションがサフィックス部分を含まないままで、前記変換が、空間的および/または時間的に予測されるべきであるか、又は、前記個々のセグメントについて前記データストリーム内で信号伝達される符号化モードに基づくべきである、ことを信号伝達するか、
又は
前記個々のセグメントについての変換クラスシグナライゼーションのサフィックス部分が前記データストリーム内に含まれ、かつ前記変換が前記サフィックス部分に基づいて選択されるべきである、ことを信号伝達する、
方法。
【請求項41】
ピクチャをデータストリームへ予測的に符号化する方法であって、前記ピクチャの予測残差信号を、前記予測残差信号の空間−スペクトル変換に際して1セットの複数の変換間の切り替えをサポートしながら、空間−スペクトル変換するステップと、スペクトルドメインの予測残差信号を前記データストリームへと符号化するステップと、を含み、
前記セットの変換は、水平方向に適用される一次元空間−スペクトル変換セットの第1の変換と、垂直方向に適用される一次元空間−スペクトル変換セットの第2の変換との連鎖によって構成され、
前記方法は、前記データストリーム内の変換クラスシグナライゼーションを介して前記セットの変換間の切り替えを信号伝達することを含み、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記方法は、水平方向に適用される前記一次元空間-スペクトル変換セットの第1の変換を指標化するために前記ビンの第1半分を使用し、垂直方向に適用される前記一次元空間-スペクトル変換セットの第2の変換を指標化するために前記ビンの第2半分を使用する、
方法。
【請求項42】
ピクチャをデータストリームへ予測的に符号化する方法であって、前記ピクチャの予測残差信号を、前記予測残差信号の空間−スペクトル変換に際して1セットの複数の変換間の切り替えをサポートしながら、空間−スペクトル変換するステップと、スペクトルドメインの予測残差信号を前記データストリームへと符号化するステップと、を含み、
前記セットの変換は、水平方向に適用される一次元空間−スペクトル変換セットの第1の変換と、垂直方向に適用される一次元空間−スペクトル変換セットの第2の変換との連鎖によって構成され、
前記一次元空間−スペクトル変換セットは、一つの恒等変換と、一つ以上の離散コサイン/サイン変換とからなり、
前記一次元空間−スペクトル変換セットは、恒等変換、DCT−II、DCT−IV、およびDST−IV、または恒等変換、DCT−III、DCT−IV、およびDST−IVからなり、
前記方法は、前記データストリーム内の変換クラスシグナライゼーションを介して前記セットの変換間の切り替えを信号伝達することを含み、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記方法は、水平方向に適用される前記一次元空間-スペクトル変換セットの第1の変換を指標化するために前記ビンの第1半分を使用し、垂直方向に適用される前記一次元空間-スペクトル変換セットの第2の変換を指標化するために前記ビンの第2半分を使用することを含み、
前記方法は、{恒等変換,DST−IV}と{DCT−II/III,DCT−IV}とを区別するために前記ビンの第1半分の第1ビンと前記ビンの第2半分の第1ビンとを使用し、{恒等変換,DCT−II/III}と{DCT−IV,DST−IV}とを区別するために前記ビンの第1半分の第2ビンと前記ビンの第2半分の第2ビンとを使用する、
方法。
【請求項43】
コンピュータ上で実行されたとき、請求項35〜38のいずれか一項に記載の方法を実行する、プログラムコードを有するコンピュータプログラム。
【請求項44】
コンピュータ上で実行されたとき、請求項39〜42のいずれか一項に記載の方法を実行する、プログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えばハイブリッドビデオ符号化のような変換ベースの残差符号化を使用する予測ピクチャ符号化に関する。
【背景技術】
【0002】
多くの圧縮技術および標準がこれまでに知られている。例えば、多くの静止ピクチャコーデックは、符号化されるサンプルをデコリレート(非相関化)するために、特定のスペクトル変換を使用する。ビデオコーデックにおいて、スペクトル変換は、予測残差を表す残差サンプルをデコリレートするためにしばしば使用されるが、この残差サンプルは、イントラ符号化すなわち空間的予測、またはインター符号化例えば時間予測などを使用して得られたものであってもよい。
【0003】
例えば、H.264/Advanced Video Coding(AVC)及びH.265/High Efficiency Video Coding(HEVC)のようなブロックベースのハイブリッドビデオコーダ規格では、ビデオシーケンス内のピクチャはブロックに分割され、次に各ブロックは空間的又は時間的に予測される。その時点で、残差信号は、ブロックの元のサンプルとその予測との差として導出される[非特許文献1]。その後、残差の冗長性をさらに低減するために、変換、量子化およびエントロピー符号化方法が採用される。
【0004】
特に、HEVCの場合、変換ステージは、4×4イントラ予測ブロックに対して2D分離型離散サイン変換(DST)タイプVII(DST−VII)を実行し、他のすべてのブロックに対して2D分離型離散コサイン変換(DCT)タイプII(DCT−II)を実行することによって実行される[非特許文献1]。さらに、変換ステップをスキップし、空間ドメイン内の残差サンプルを直接量子化する方法は、エンコーダにおいても利用可能であるが、このモードは4_4ブロックに制限される[非特許文献1]。
【0005】
画像及びビデオ符号化のアプリケーションにおける主変換としてDCT−IIを使用する理由は、残差信号をモデル化するために一次の定常マルコフプロセスを利用することにある。Karhunen-Loeve Transform(KLT)は、このようなプロセスの最適な変換であり、DCT−IIベースのベクトルは、相関係数が非常に高い場合、KLTのものに非常に近い[非特許文献2]。また、KLTとは異なり、DCT−IIは、高速アルゴリズムを使用して分離可能な方法で、2次元(行および列)で実装することができる信号非依存性変換であるという利点を有する[非特許文献2]。
【0006】
しかしながら、非特許文献3,非特許文献4で指摘されてきたように、KLTは一般にレート歪みの点では必ずしも最適な変換ではない。この事実によって、その適合性が問題となり、さらに言えば、特にイントラ予測された残差の場合に、主変換としてのDCT−IIの適合性が問題となる[非特許文献5]。
【0007】
特定のブロックが与えられると、特定のパターンに続く近隣ブロックの復号された境界サンプルを外挿することによって、すなわち33個の角度モードと1つのDCおよび平面モードとによって、HEVCにおいてイントラ予測が実行される[非特許文献1]。イントラ符号化プロセスを改善するために、本発明において、本発明者らは、エンコーダが、各変換ユニット(TU)についてのレート−歪みループ内において所与のセットから異なる変換を試験することを可能にする方法を開発する。次に、レート−歪みコストを最小にするものがデコーダに信号伝達される。新たな変換は分離可能であり、まずTBの行上に1D変換を、次にその列上に別の1D変換を適用することによって構成される。利用可能な一次元変換は、離散三角関数変換(DTT)として知られるDCT−IIおよびDST−VIIのファミリーのメンバーと、HEVCの先に述べた変換スキップモードと同等である恒等変換(IT)とである。
【0008】
HEVCエンコーダの変換符号化性能を改善するために、この明細書には種々の提案がなされている。それらは、特異な変換の異なる組み合わせをイントラ予測残差ブロックに適用することによってビットレート低減を達成することが可能であることを示している。
【0009】
HEVCは、全部で35個のイントラ予測モード(IPM)をサポートするので、種々のモード依存性方向変換(MDDT)アルゴリズムが提案されてきた。MDDTでは、残差をマッピングするために使用される変換の選択は、IPMに依存する。例えば、非特許文献6において、その著者は、IPMに従った行および列の変換としてDCT−IIとDST−VIIとの組み合わせを選択するスキームを導き出した。注目すべきことに、彼らの研究は、HEVCにおいて4x4イントラ予測ブロックのためのコア変換としてDST−VIIを導入することに繋がった。
【0010】
一方、参考文献[非特許文献7]は、1つのレート−歪み最適化済み変換(RDOT)が各IPMに対して利用される別のMDDTアプローチを提案している。これは、各変換の係数が、レート−歪み基準を最小化するように設計されたアルゴリズムを使用してオフラインで訓練されていたことを意味する。
【0011】
しかしながら、非特許文献5に示されるように、同じIPMから生じる残差は、非常に異なる統計値を有する可能性があり、したがって、各IPMに対する単一の変換は、高度に変動する信号のエネルギー圧縮を最大化するには不十分である。したがって、非特許文献5および非特許文献8によって達成される作業は、すべてのIPMに対して使用可能なデータ駆動RDOTsのセットを実装する。したがって、エンコーダは、利用可能なすべての変換をテストし、最も低いレート−歪みコストをもたらすものを選択する必要がある。その後、この決定は、結果的なオーバーヘッド・ビットを用いてデコーダに送信される必要がある。
【0012】
最後に、非特許文献9および非特許文献10の著者は、両方のアプローチを組み合わせ、各IPMに対して多数の変換からなる個別のセットを提供するアルゴリズムを開発している。非特許文献9で行われる研究はデータ駆動RDOTsの使用に再び焦点を合わせ、一方、非特許文献10の作業はDTTの異なるセットを採用するシステムを実装する。
【0013】
変換ベースの残差符号化を適用する、そのような予測ピクチャ符号化技術の符号化効率をさらに向上させるという概念を獲得することは有利であろう。
【先行技術文献】
【非特許文献】
【0014】
【非特許文献1】[1] G. Sullivan, J. Ohm, W.-J. Han, and T. Wiegand, ”Overview of the High Efficiency Video Coding (HEVC) Standard,” Circuits and Systems for Video Technology, IEEE Transactions on, vol. 22, no. 12, pp. 1649_1668, Dec 2012.
【非特許文献2】[2] V. Britanak, P. C. Yip, and K. Rao, Discrete Cosine and Sine Transforms: General Properties, Fast Algorithms and Integer Approximations. Oxford: Academic Press, 2007.
【非特許文献3】[3] M. Effros, H. Feng, and K. Zeger, ”Suboptimality of the Karhunen-Loeve transform for transform coding,” in Data Compression Conference, 2003. Proceedings. DCC 2003, March 2003, pp. 293_302.
【非特許文献4】[4] V. K. Goyal, ”Theoretical Foundations of Transform Coding,” IEEE Signal Processing Magazine, vol. 18, no. 5, pp. 9_21, September 2001.
【非特許文献5】[5] F. Zou, O. C. Au, C. Pang, J. Dai, X. Zhang, and L. Fang, ”Rate-Distortion Optimized Transforms Based on the Lloyd-Type Algorithm for Intra Block Coding,” IEEE Journal of Selected Topics in Signal Processing, vol. 7, no. 6, pp. 1072_1083, Dec 2013.
【非特許文献6】[6] A. Saxena and F. C. Fernandes, ”DCT/DST-Based Transform Coding for Intra Prediction in Image/Video Coding,” IEEE Transactions on Image Processing, vol. 22, no. 10, pp. 3974_3981, Oct 2013.
【非特許文献7】[7] A. Arrufat, P. Philippe, and O. Deforges, ”Non-separable mode dependent transforms for intra coding in HEVC,” in Visual Communications and Image Processing Conference, 2014 IEEE, Dec 2014, pp. 61_64.
【非特許文献8】[8]”Rate-distortion optimised transform competition for intra coding in hevc,” in Visual Communications and Image Processing Conference, 2014 IEEE, Dec 2014, pp. 73_76.
【非特許文献9】[9]”Mode-dependent transform competition for HEVC,”in Image Processing (ICIP), 2015 IEEE International Conference on, Sept 2015, pp. 1598_1602.
【非特許文献10】[10] J. Chen, Y. Chen, M. Karczewicz, X. Li, H. Liu, L. Zhang, and X. Zhao, ”Coding tools investigation for next generation video coding based on HEVC,”in Proc. SPIE, Applications of Digital Image Processing XXXVIII, vol. 9599, 2015, pp. 95 991B_95 991B_9. [Online]. Available: http://dx.doi.org/10.1117/12.2193681
【非特許文献11】[11] S. A. Martucci, ”Symmetric convolution and the discrete sine and cosine transforms,”IEEE Transactions on Signal Processing, vol. 42, no. 5, pp.1038_1051, May 1994.
【非特許文献12】[12] A. Gabriellini, M. Naccari, M. Mrak, D. Flynn, and G. V. Wallendael, ”Adaptive transform skipping for improved coding of motion compensated residuals,” Signal Processing: Image Communication, vol. 28, no. 3, pp. 197-208, 2013. [Online]. Available: http://www.sciencedirect.com/science/article/pii/S0923596512002093
【非特許文献13】[13] H. Schwarz, T. Schierl, and D. Marpe, ”Block Structures and Parallelism Features in HEVC,” in High Efficiency Video Coding (HEVC), ser. Integrated Circuits and Systems, V. Sze, M. Budagavi, and G. J. Sullivan, Eds. Springer International Publishing, 2014, pp. 49-90.
【非特許文献14】[14] M. Budagavi, A. Fuldseth, G. Bjohntegaard, V. Sze, and M. Sadafale, ”Core Transform Design in the High Efficiency Video Coding (HEVC) Standard,” Selected Topics in Signal Processing, IEEE Journal of, vol. 7, no. 6, pp. 1029-1041, Dec 2013. [14] F. Bossen, ”Common Test Conditions and Software Reference Configurations,” document JCTVC-L1100 of JCT-VC, Geneva, CH, Jan 2013.
【非特許文献15】[15] F. Bossen, ”Common Test Conditions and Software Reference Configurations,” document JCTVC-L1100 of JCT-VC, Geneva, CH, Jan 2013.
【発明の概要】
【発明が解決しようとする課題】
【0015】
したがって、本発明の目的は、より高い符号化効率または圧縮効率をそれぞれもたらす変換ベースの残差符号化/復号化を使用して、ピクチャを予測的に符号化/復号化するための概念を提供することである。
【課題を解決するための手段】
【0016】
この目的は、独立請求項の主題によって達成される。
【0017】
本発明は、変換ベースの残差符号化のためにコーデックを1つのセットの変換間で切り替えできるようにすることによって、変換ベースの残差符号化を使用する予測ピクチャコーデックの符号化効率を向上させることができる、という発見に基づくものである。変換セットから使用される実際の変換をエンコーダからデコーダへと信号伝達するために、エンコーダからデコーダへと明示的な信号伝達を使用する場合でさえ、符号化効率の向上がもたらされ得ることが判明した。代替的に、セットの変換間の切り替えは、明示的な信号伝達なしで、または明示的な信号伝達と切り替えの何らかの種類の予測との組み合わせを使用して実行されてもよい。
【0018】
本願の一実施形態によれば、セットの変換間の切り替えは、ピクチャがサブ分割されるセグメントの単位で実行される。例えば、エンコーダからデコーダへの切り替えの任意の明示的な信号伝達に関連するオーバーヘッドは、セグメント単位で切り替えを実行することによって増大するかもしれないが、変換ベースの残差符号化/復号化においては、異なるピクチャの部分が異なる変換に対してより良好なデコリレーション挙動を示す傾向があるという事実を利用することにより、符号化効率をさらに高めることができる。
【0019】
一実施形態によると、変換ベースの残差符号化の変換間の切り替えは、イントラ符号化セグメント、すなわちイントラ符号化モードを使用して符号化されるセグメントまたはブロックに制限される。一方で、インター符号化セグメント、すなわち時間予測、ビュー間予測および/またはレイヤ間予測を使用して符号化されるなどのインター符号化モードを使用して符号化されるセグメントについては、1つの変換が変換ベースの残差符号化/復号化に静的または安定的に適用されるか、または異なるセットの変換間の切り替えがそのようなインター符号化セグメントのために使用される。上記のように制限することは、さらに符号化効率を向上させ得る。なぜなら、変換ベースの残差符号化/復号化にとって、変換セットの間の切り替えを制御するための任意の明示的信号伝達とそれに関係する信号伝達のオーバーヘッドは、この手段により、予測残差信号がインター符号化セグメントと比較してより大きなエネルギーを持つ傾向にあるセグメントに限られているからである。その結果、任意の最適な信号伝達オーバーヘッドがイントラ符号化セグメントとインター符号化セグメントとの間で等しいと仮定すると、セットの変換間の切り替えと変換ベースの残差符号化/復号化とによって達成可能な符号化ゲインは、イントラ符号化セグメントについて、インター符号化セグメントに比べて、より高くなりうる。
【0020】
一実施形態によれば、明示的な信号伝達は、変換ベースの残差符号化/復号化における変換間の切り替えに使用される。変換クラスシグナライゼーション(transform class signalization)は、変換間の切り替えが適用される各セグメントについて、セグメントの符号化モードから独立した方式で、変換セットのすべての変換が選択できるようにしてもよい。換言すると、セグメントのデータストリームに含まれる変換クラスシグナライゼーションは全射的であってもよい。即ち、変換クラスシグナライゼーションがとり得る値のドメインからのマッピングのイメージが、イントラ符号化セグメントの場合のイントラ符号化モードのような各セグメントの符号化モードに関係なく、変換セットと一致してもよい。イントラ符号化モードは、例えば方向モードを含むことができる。この方向モードに従って、各イントラ符号化セグメントの近隣部を個々のイントラ符号化セグメントに空間的に外挿することによって、イントラ符号化セグメントが予測されてそれらの予測が取得され、その予測に関連して、変換ベースの残差符号化/復号化に付される予測残差信号が予測残差を形成する。変換クラスシグナライゼーションの全射的性質に伴う追加のオーバーヘッドは、予測残差信号の最適なデコリレーションのために最適な変換を選択できることによる符号化効率の向上により、十分に補償されている、ことが判明している。
【0021】
一実施形態によれば、変換クラスシグナライゼーションは、個々のイントラ符号化セグメントのイントラ符号化モードに依存するコンテキストを使用した、コンテキストベースのエントロピー符号化/復号化を使用して符号化される。この手段によって、この明示的なシグナライゼーションの全射的な性質が達成され得る一方で、この変換のこのセットの中の最適な変換への統計的依存性と、各イントラ符号化セグメントのために選択されたイントラ符号化モードとを利用することができる。
【0022】
さらなる実施形態によれば、変換クラスシグナライゼーションはプレフィックス部分とサフィックス部分とを含んでもよい。プレフィックス部分は空間的および/または時間的予測による変換の選択を可能にする。空間的および/または時間的予測が使用されるべきことをプレフィックス部分によって信号伝達される場合、変換クラスシグナライゼーションはサフィックス部分を含まない、すなわち、サフィックス部分なしで済ます。空間的および/または時間的予測が使用されるべきでないと信号伝達された場合、サフィックス部分の変換セットへのマッピングが空間的および/または時間的予測に依存しないようにするために、変換クラスのサフィックス部分は、変換セットの中でどの変換が使用されるべきであるか、つまり予測された変換以外の中またはすべての変換の中から、どの変換が使用されるべきであるかを信号伝達する。有利なことに、プレフィックス部分およびサフィックス部分への区分は、変換クラスシグナライゼーションの効率をさらに増加させることができる。
【0023】
一実施形態によれば、変換セットは、水平変換セットのうちの一つと、垂直変換セットのうちの一つとの種々のペアを含む。水平変換および垂直変換セットは、同じ変換時間から構成されてもよい。すなわち、変換セットは、水平方向に適用された一次元変換セットの第1のものと垂直方向に適用された一次元変換の同じセットの第2のものとの連鎖を含むことができる。このように、変換ベースの残差符号化/復号化における変換の間で切り替えることにより、変換の方向特異的な適応が可能になり、具体的にはそれぞれ垂直方向及び水平方向に沿って別個にデコリレーション特性を適応させる。変換セットにおける変換数の増加に起因する追加のオーバーヘッドは、予測残差信号のサンプルの最適なデコリレーションを発見する能力から生じる符号化効率の増加によって補償されて余りあることが判明している。
【0024】
本発明の有利な態様は、従属請求項の主題である。以下に図面を参照しながら、本願の実施形態を説明する。
【図面の簡単な説明】
【0025】
図1】本発明の一実施形態によるピクチャを予測的に符号化する装置のブロック図である。
図2】本発明の一実施形態に従ってピクチャを予測的に復号化する装置のブロック図であり、この装置は図1の装置に適合する。
図3】符号化モード選択、変換選択および変換性能の区分をそれぞれ設定する可能性を示すために、予測残差信号、予測信号および再構成信号の間の関係の一例を示す概略図である。
図4】変換切り替えに際して明示的な信号伝達を使用する例を示す概略図である。
図5】プレフィックスとサフィックスを含む変換切り替えの明示的な信号伝達の例を示す概略図である。
図6】可能なバイナリゼーションから変換へのマッピングが全単射である、プレフィックス及びサフィックスを含む変換切り替えの明示的な信号伝達の一例を示す概略図である。
図7】x、y∈{DCT−II、DST−N、DCT−IV、IT}であるxおよびyにそれぞれ適用され、xおよびyを有する変換セット{x,y}を使用する例示的な場合において、すべての可能な変換ペアの4×4の基底関数を示すグレースケール図である。
図8a】1D信号の一例についての様々なDTTの対称的拡張(symmetric extentions)の図を示す。この基本的なシーケンスは連続的で対称的な拡張が破線で示されている。また、(a),(c)及び(d)における基本信号は4サンプルの長さを有するが、その一方で(b)におけるその長さは3サンプルに過ぎない。なぜなら、対称的拡張は1つのサンプルが0であることを必要とするからである[非特許文献11]。
図8b】1D信号の例についての様々なDTTの対称的拡張の図を示す。
図8c】1D信号の例についての様々なDTTの対称的拡張の図を示す。
図8d】1D信号の例についての様々なDTTの対称的拡張の図を示す。
【発明を実施するための形態】
【0026】
図1は、変換ベースの残差符号化を使用して、ピクチャ12をデータストリーム14に予測符号化するための装置を示す。この装置又はエンコーダは、参照符号10を用いて示されている。図2は対応するデコーダ20、すなわち変換ベースの残差復号化を使用してデータストリーム14からピクチャ12’を予測的に復号化するように構成された装置20を示し、ここで、アポストロフィは、復号化器20によって再構成されたピクチャ12’が、予測残差信号の量子化によって導入された符号化損失に関して装置10によって最初に符号化されたピクチャ12とは異なることを示すために使用されている。
【0027】
エンコーダ10は、予測残差信号に対して空間−スペクトル変換を行い、こうして得られた予測残差信号をデータストリーム14に符号化するように構成される。後述するように、エンコーダは、予測残差信号の空間−スペクトル変換におけるセットの変換間での切り替えをサポートする。同様に、デコーダ20は、データストリーム14から予測残差信号を復号し、このようにして得られた予測残差信号をスペクトル−空間変換するように構成される。エンコーダ10と同様に、デコーダ20は、予測残差信号のスペクトル−空間変換におけるセットの変換間の切り替えをサポートする。
【0028】
内部的に、エンコーダ10は、元の信号、すなわちピクチャ12からの予測信号26の偏差を測定するために、予測残差信号24を生成する予測残差信号形成器22を備えてもよい。例えば、予測残差信号形成器22は、元の信号、すなわちピクチャ12から予測信号を減算する減算器であってもよい。次いで、エンコーダ10はさらに、予測残差信号24を空間−スペクトル変換に供してスペクトル−ドメイン予測残差信号24'を取得するための変換器28を含み、この残差信号24’は次に、エンコーダ10に含まれる量子化器32によって量子化される。このように量子化された予測残差信号24''は、ビットストリーム14へと符号化される。この目的のために、エンコーダ10は、任意選択的に、変換され量子化された予測残差信号をデータストリーム14にエントロピー符号化するエントロピーエンコーダ34を含むことができる。予測残差26は、データストリーム14へ符号化され、データストリームから復号化可能な予測残差信号24''に基づいて、エンコーダ10の予測ステージ36によって生成される。この目的のために、予測ステージ36は、図1に示されるように、内部に逆量子化器38を含んでもよく、この逆量子化器は、予測残差信号24''を逆量子化してスペクトルドメイン予測残差信号24'''を取得し、このスペクトルドメイン予測残差信号24'''は、量子化損失を除いて信号24’に対応しており、逆量子化器に続く逆変換器40が、先の予測残差信号24'''に逆変換、即ち、スペクトル−空間変換を行いて予測残差信号24''''を取得し、この予測残差信号24''''は量子化損失を除いて元の予測残差信号24に対応している。次に、予測ステージ36の結合器42は、例えば加算によって予測信号26と予測残差信号24''''とを結合し、再構成信号46、つまり元の信号12の再構成を取得する。再構成信号46は、信号12’に対応していてもよい。予測ステージ36の予測モジュール44は、例えば空間予測および/または時間予測を使用することによって、信号46に基づいて予測信号26を生成する。
【0029】
同様に、デコーダ20の内部は、予測ステージ36に対応する構成要素から構成することができ、それら構成要素を予測ステージに対応するように相互連結することができる。特に、デコーダ20のエントロピーデコーダ50は、データストリームから量子化済みスペクトル−ドメイン予測残差信号24''をエントロピー復号化してもよく、その後で、逆量子化器52、逆変換器54、結合器56及び予測モジュール58は、予測ステージ36のモジュールに関して上述したように、相互接続され及び協働して、予測残差信号24''に基づく再構成信号を復元し、その結果、図2に示すように、結合器56の出力は、再構成信号、すなわちピクチャ12'をもたらす。
【0030】
特に上述しないが、エンコーダ10は、例えば何等かのレートおよび歪み関連基準を最適化する方法などの何等かの最適化スキームに従って、例えば予測モード、動きパラメータなどを含む何等かの符号化パラメータを設定できることは、容易に明らかである。例えば、エンコーダ10及びデコーダ20並びに対応するモジュール44、58は、それぞれイントラ符号化モード及びインター符号化モードのような異なる予測モードをサポートしてもよい。これらの予測モード間でエンコーダおよびデコーダが切り替える粒度は、符号化セグメントまたは符号化ブロックへのピクチャ12および12'のサブ分割にそれぞれ対応していてもよい。例えば、これらの符号化セグメントの単位では、ピクチャは、イントラ符号化セグメントとインター符号化セグメントとにサブ分割されてもよい。イントラ符号化セグメントは、例えば、それぞれのセグメントの既に符号化/復号化された空間的な近隣に基づいて予測される。それぞれのイントラ符号化セグメントに対して、いくつかのイントラ符号化モードが存在し、選択されてもよく、それらのイントラ符号化セグメントは、例えば方向イントラ符号化モードを含み、その方向イントラモードに従って、それぞれの方向イントラ符号化モードに特有である方向に沿って近隣のサンプル値をそれぞれのイントラ符号化セグメントに外挿することによって、それぞれのセグメントが満たされてもよい。イントラ符号化モードは、例えばADC符号化モードおよび/または平面イントラ符号化モード(planar intra-coding mode)のような一つまたは複数のさらなるモードを含んでもよく、ADC符号化モードに従えば、それぞれのイントラ符号化セグメントについての予測が、DC値をそれぞれのイントラ符号化セグメント内のすべてのサンプルに割り当てるものであり、また平面イントラ符号化モードに従えば、各セグメントの予測が各イントラ符号化セグメントのサンプル位置にわたる2次元線形関数によって記述されるサンプル値の空間分布であると近似または決定される。これと比較して、インター符号化セグメントは、例えば時間的に予測され得る。インター符号化セグメントについては、動きベクトルはデータストリーム内で信号化されてもよく、動きベクトルはピクチャ12が属するビデオの以前に符号化されたピクチャの部分の空間変位を示しており、この以前に符号化されたピクチャの部分では、それぞれのインター符号化セグメントの予測信号を得るために以前に符号化/復号化されたピクチャがサンプリングされる。つまり、量子化済みスペクトル−ドメイン予測残差信号24'''を表すエントロピー符号化済み変換係数レベルのような、データストリーム14に含まれる残差信号符号化に加えて、データストリーム14は、符号化モードを様々なセグメントに割り当てるための符号化モードパラメータ、インター符号化セグメントについての動きパラメータなどのいくつかのセグメントについての予測パラメータ、およびピクチャ12および12'のサブ分割を制御し、信号化するパラメータのような任意のさらなるパラメータを、符号化していてもよい。デコーダ20は、エンコーダと同じ方法でピクチャをサブ分割し、同じ予測モードをセグメントに割り当て、同じ予測を実行して同じ予測信号を生成するために、これらのパラメータを使用する。
【0031】
図3は、再構成された信号、すなわち再構成されたピクチャ12'を一方とし、データストリーム内で信号化された予測残差信号24''''と予測信号26との結合を他方とする、両者間の関係を示している。既に上述したように、この結合は加算であってもよい。予測信号26は、図3において、斜線を用いて例示的に示されているイントラ符号化セグメントと、斜線を用いずに示されているインター符号化セグメントと、へのピクチャ領域のサブ分割として描かれている。このサブ分割は、ブロックまたはセグメントの行および列へのピクチャ領域の規則的なサブ分割、または4分木サブ分割(quadtree subdivision)などの様々なサイズのリーフセグメントへのピクチャ12のマルチツリーサブ分割(multi-tree subdivision)などの任意のサブ分割であってもよく、ここで図3はそれらの混合を図示しており、そこでは、ピクチャ領域が最初にツリールートブロックの行と列に細分され、次いで再帰的マルチツリーサブ分割に従って更にサブ分割される。ここでも、データストリーム14は、イントラ符号化セグメント80のために符号化されたイントラ符号化モードを有することができ、そのモードは、複数のサポートされたイントラ符号化モードの一つを、それぞれのイントラ符号化セグメントに割り当てる。インター符号化セグメント82については、データストリーム14は、その中に符号化された一つまたは複数の動きパラメータを有することができる。一般的に言えば、インター符号化セグメント82は、時間的に符号化されたものに限定されない。代替的に、インター符号化セグメント82は、ピクチャ12が属するビデオの以前に符号化されたピクチャのような、現在のピクチャ12自体の以前に符号化された部分から予測される任意のセグメントであってもよいし、別のビューのピクチャであってもよいし、またはエンコーダおよびデコーダがそれぞれスケーラブルエンコーダおよびデコーダである場合には、階層的下位層のピクチャであってもよい。図3における予測残差信号24''''は、セグメント84へのピクチャ領域のサブ分割として示されている。これらのセグメントは、符号化セグメント80および82と区別するために、変換セグメントと呼ばれることもある。実際に、図3は、エンコーダ10とデコーダ20がピクチャ12と12'をそれぞれセグメントへとサブ分割する2つの異なるサブ分割を使用してもよく、すなわち符号化セグメント80と82にそれぞれサブ分割する1つのサブ分割と、セグメント84への別のサブ分割を使用し得ることを示している。両方のサブ分割は同じであってもよく、すなわち、各符号化セグメント80および82は同時に変換セグメント84を形成してもよいが、図3は、例えば、変換セグメント84へのサブ分割が符号化セグメント80/82へのサブ分割の拡張を形成し、それによりセグメント80とセグメント82の2つのセグメントの間のいずれの境界も2つのセグメント84の間の境界に重なるか、あるいは代替的に言えば、セグメント80/82のいずれかが変換セグメント84の一つと一致するかまたは変換セグメント84のクラスタと一致する。しかしながら、サブ分割はまた、互いに独立して決定または選択されてもよく、その結果、変換セグメント84がセグメント80/82間のセグメント境界を交互に横切ることもあり得る。変換セグメント84へのサブ分割に関する限り、セグメント80/82へのサブ分割に関して記述された説明が当てはまり、すなわちセグメント84は、行および列に配列されたセグメント/ブロックへのピクチャ領域の規則的なサブ分割の結果、ピクチャ領域の再帰的マルチツリーサブ分割の結果、またはその組み合わせ、または任意の他のセグメンテーションであってもよい。補足的に言えば、セグメント80、82および84は、正方形、長方形または他の形状に限定されないことに留意されたい。
【0032】
図3は、予測信号26と予測残差信号24''''との結合が再構成信号12'を直接的にもたらすことを示している。しかしながら、代替実施形態によれば、2つ以上の予測信号26が予測残差信号24''''と結合されて、ピクチャ12'をもたらしてもよいことに留意されたい。
【0033】
図3において、変換セグメント84は、以下の意味を有するべきである。変換器28および逆変換器54は、これらの変換セグメント84の単位でそれらの変換を実行する。例えば、多くのコーデックは、すべての変換ブロック84に対して、ある種のDSTまたはDCTを使用する。いくつかのコーデックは、変換セグメント84のいくつかについて、予測残差信号が空間ドメインにおいて直接的に符号化されるように、変換をスキップすることを可能にする。しかしながら、以下に説明する実施形態によれば、エンコーダ10およびデコーダ20は、複数の変換をサポートするように構成される。例えば、エンコーダ10およびデコーダ20によってサポートされる変換は、以下を含みうる。
−DCT−II(またはDCT−III)、ここでDCTは離散コサイン変換を表す
−DST−IV、ここでDSTは離散サイン変換を表す
−DCT−IV
−恒等変換(Identity Transformation:IT)
【0034】
通常、変換器28は、それらの変換の順方向変換バージョンのすべてをサポートする一方で、デコーダ20または逆変換器54は対応する以下の後方または逆バージョンをサポートするであろう。
−逆DCT−II(または逆DCT−III)
−逆DST−IV
−逆DCT−IV
−恒等変換(IT)
【0035】
さらに、変換がエンコーダ10およびデコーダ20によってサポートされ得るより具体的な実施形態が以下に提供される。サポートされる変換セットは、いずれの場合においても、スペクトル変換に対する2つのスペクトル−空間または空間−スペクトルの変換を含むが、恒等変換の包含は任意選択である。
【0036】
様々な変換間の切り替えは、変換のデコリレーション特性を実際の必要性に適合させることを可能にする。以下により詳細に説明される実施形態によれば、切り替えは、変換セグメント84そのものの単位で実行される。しかし、より簡素な実施形態によれば、エンコーダ10およびデコーダ20は、他の単位、例えば完全なピクチャ単位、一つ以上のセグメント84から構成されるサブセットを表し得るピクチャのスライス単位などにより、様々なサポートされた変換間で切り替えることもできる、ことに留意すべきである。すなわち、利用可能な変換間の切り替えの可能な実装に関して以下に説明される詳細は、選択された変換が最終的に変換器28および逆変換器52にそれぞれ適用される単位において、これら詳細が変換セグメントとは異なるセグメントに対しても適用される場合に、変更されてもよい。
【0037】
このように、以下にさらに記載される実施形態では、エンコーダ10およびデコーダ20は、セグメント84の単位で利用可能な変換セットの利用可能な変換間で切り替えるように構成される。あるセグメント84がイントラ符号化セグメント80の一部であるかどうか、すなわちその予測信号がイントラ予測によって決定されるか、またはインター符号化セグメント82の一部であるかオーバーレイするかに応じて、すなわちインター符号化モードを使用してその予測信号が決定されるかどうかによって、そのセグメントがイントラ符号化セグメントおよびインター符号化セグメントに分類される。図3では、イントラ符号化セグメント84は、イントラ符号化セグメント80の周囲の位置を示す破線86を使用して囲まれている。以下では、イントラ符号化セグメント84は参照符号84aを使用して参照され、インター符号化セグメントは参照符号84bを使用して示される。イントラ符号化セグメントとインター符号化セグメント84の各々について、1つの代表例が図3に具体的に示されている。
【0038】
以下に詳述する詳細は、エンコーダ10とデコーダ20がセグメント84のそれぞれに対して同じ変換、すなわち順変換およびそれと対応する逆変換をどのように選択できるかを示す方法の可能な例に関する。以下にさらに説明する実施形態では、この目的のために明示的な信号化を使用するが、代わりに、純粋に内在的な信号化を使用してもよいことに留意されたい。後者の場合、例えば、エンコーダ10およびデコーダ20は、各セグメント84に対して、データストリーム14に含まれる情報を介して各セグメント84についての利用可能な変換セットから選択された変換を予測または導出してもよいが、その情報は実際には他の用途に向けられたものである。例えば、あるセグメント84について選択された変換は、近隣のセグメント84に対して行われた選択に基づいて、選択されるべき変換を空間的に予測することによって、エンコーダ10およびデコーダ20によって決定することができる。追加的または代替的に、利用可能な変換セットからそれぞれのセグメントに対する変換を選択するために、現在のセグメント84の符号化モードおよび/または近隣のセグメントの符号化モードを考慮に入れることができる。さらなる留意点として挙げられる事実は、以下の実施形態がイントラ符号化セグメント84aに関してのみ様々な変換間の切り替えを制限し、一方で、インター符号化セグメント84bに対しては、インター符号化セグメント84bに関して変換をスキップする機会の有無にかかわらず、一つのスペクトル−空間変換およびそれに対応する空間−スペクトル変換だけが利用可能である、という事実である。すなわち、以下に説明する実施形態は、イントラ符号化セグメント84aへの変換切り替えを制限する特定の実施形態に関するものであるが、これらの実施形態は、この変換切り替えがインター符号化セグメントにも適用される程度に変更されてもよい。
【0039】
図4は、エンコーダ10およびデコーダ20が、セグメント84aの単位で変換ベースの残差符号化/復号化にとって利用可能な変換間で同期的に切り替わる方法を示す。図4は、エンコーダ10によってサポートされる変換92のセットを90で示す。図4は、i=1…NであるN個の変換Tiが存在することを示す。以下の実施形態では、Nは16である。しかしながら、既に上述したように、他の例が適用されてもよい。デコーダ20がセグメント84aの切り替えをサポートする変換96の対応するセット94は、図4の他の側に示されている。すなわち、変換T1-1は変換T1の逆であり、一般に変換Ti-1はi=1…Nでの変換Tiの逆である。以下では、セット94の変換96が単にセット90の変換92の逆であることを承知の上で、セット90と94は互いに明確に区別されない。
【0040】
図4は、エンコーダ10が、あるセグメント84aに対して、変換2の一つを選択することを示す。この選択は、湾曲した両頭矢印98によって示されている。選択98は、既に上述したいくつかの最適化基準を使用してエンコーダ10によって実行されてもよい。図4の実施例は、エンコーダ10が、各セグメント84aに対して、完全なセット90、すなわちセット90のすべての変換92が選択され得るように設計されていることを示している。さらに、図4は、本発明の一実施形態に従えば、それぞれのセグメント84aについてセット90の任意/すべての変換92を選択する実行可能性が、エンコーダ10およびデコーダ20によってそれぞれサポートされるイントラ符号化モード104の利用可能なセット102のうち、それぞれのセグメント84aに対する符号化モードの選択100に関係なく適用されることを、示そうとしている。イントラ符号化モード104は、CM1,CM2...CMMを使用して図4に示されている。イントラ符号化モードの数Mは、例えば7より大きくてもよく、または15より大きくてもよい。イントラ符号化モード104は、既に上述したように、方向モード(directional modes)と、任意選択的であるが、DCモードおよび/または平面モード(planar mode)などの一つまたは複数の非方向モードとを含むことができる。判定98は、選択100に関係なくセット90のN個の変換92のいずれかの選択を可能にするので、エンコーダ10は、イントラ符号化モード104と変換92とのN×Mの組み合わせの任意の組み合わせをセグメント84aに割り当てることができる。しかしながら、イントラ符号化モード104の中で選択100に関係なくセグメント84aに対して変換92のいずれも選択可能であるという事実は、選択98および100が互いに独立してエンコーダ10によって実行されることを暗示するものではない、ことを強調すべきである。むしろ、エンコーダ10は、イントラ符号化モード104と変換92との最適な組み合わせが、セグメント84aに割り当てられるか、または選択されるように信号化されるような方法で、選択98および100を実行するであろう。
【0041】
セグメント84aについての選択は、個々のセグメント84aについてのデータストリーム14に含まれる変換クラスシグナライゼーション106を介して、エンコーダ10から信号伝達される。図4は、データストリーム14が、変換クラスシグナライゼーション106に加えて、セグメント84aについてのイントラ符号化モードシグナライゼーション108も含む場合を示している。図4はまた、セグメント84aのためにデコーダ20において実行される変換96の選択を示す。変換96の中でデコーダ110によって実行される選択は、図4に両頭矢印110を使用して示されている。その選択は、変換クラスシグナライゼーション106に依存して実行される。この目的のために、デコーダ20は、変換クラスシグナライゼーション106がとり得る値のドメインを、変換96のセット94上に全射的にマッピングする。すなわち、セット94の全ての変換96には、マッピングを介して、変換クラスシグナライゼーション106がとり得る対応する値が関連付けられている。当然のことながら、シグナライゼーション106を設定するために、エンコーダ10によって同じマッピングが使用される。同様に、デコーダ20は、例えば、セット102内のセグメント84aに使用されるべきイントラ符号化モード104を選択112するために、イントラ符号化モードシグナライゼーション108を使用する。エンコーダ10がセグメント84aについてすべての変換92を選択することができる実施形態の場合、符号化モード104の中からの選択100にかかわらず、変換クラスシグナライゼーション106がとり得る値からセット94の変換96へのマッピングの全射的性質は、イントラ符号化モードシグナライゼーション108に基づいて選択112されたイントラ符号化モードに関係なく適用する。しかしながら、このような状況は、変換クラスシグナライゼーション106に応じてセグメント84aについての変換96を選択110するためにデコーダ20によって適用されるマッピングが、イントラ符号化モードシグナライゼーション108とは無関係であることを必ずしも意味するものではない、ことに留意されたい。むしろ、以下により詳細に説明するように、セグメント84aのために実行される符号化モード選択112は、データストリーム14内の変換クラスシグナライゼーション106をより効率的に伝送するために、エンコーダ10およびデコーダ20によって考慮されてもよい。例えば、セグメント84aのために選択されたイントラ符号化モードは、変換クラスシグナライゼーション106をコンテキスト適応型エントロピー符号化する際のコンテキストを設定するために使用されてもよく、および/または、変換クラスシグナライゼーションは、セグメント84のイントラ符号化モードに依存して、この可変長符号の符号すなわち、変換クラスシグナライゼーション106がとり得る値を一方とし、セット94の変換96を他方とする、マッピングを変更しながら、可変長符号を使用して送信されてもよい。
【0042】
上述の態様を、図5および6に関して説明する。この実施形態では、変換クラスシグナライゼーションがプレフィックス130と条件付き符号化サフィックス132とからなる可変長符号を使用して符号化される。変換クラスシグナライゼーション106の値は、図5において大文字A〜Oを用いて区別される。すなわち、値の数は、図5の場合には例示的に17である。変換の数Nは、例示的に16である。図5の実施形態に従えば、1のような第1の状態を呈するシグナライゼーション106のプレフィックス130は、変換クラスシグナライゼーション106が属するセグメント84aに使用されるべき変換が、空間的及び/又は時間的予測を使用して、或いは、各セグメントについてデータストリーム14内で信号化された特性に基づいて、選択されるべきであることを示す。例えば、第1の状態を呈するプレフィックス130の場合、選択された変換92/96は、近隣のセグメントに対して選択された変換に基づいて決定されてもよく、追加的あるいは代替的に、第1の状態を呈するプレフィックス130は、変換クラスシグナライゼーション106が属するセグメント84aについてデータストリーム内で信号化された特性、例えばイントラ符号化モードシグナライゼーション108のような特性に基づいて、選択された変換が決定されるべきであること、に関連しているか、又はそうであることを示す。言い換えると、第1の状態1を呈するプレフィックス130に対応する値Aは、直上で説明された空間的および/または時間的予測および/または特性に依存して、変換92/96の一つに可変的に関連付けられ、この可変的な関連付けは、図5に湾曲矢印134を使用して示されている。第1の状態を呈するプレフィックス130の場合、変換クラスシグナライゼーション106はサフィックス132を含まない。変換クラスシグナライゼーション106の他の全ての値B〜Oは、プレフィックス130とサフィックス132とを有する変換クラスシグナライゼーション106に対応し、プレフィックスは他の(第2の)状態、例えば0を呈する。図5に示される例において、サフィックスは固定長バイナリゼーションに対応し、プレフィックス130とサフィックス132とで構成されるシグナライゼーション106に対応する値の数は、値Nに等しく、各値は変換92/96の異なる一つに対応する。すなわち、値Aを除く残りの値B〜Oは、セット90/94の変換92/96に対して全単射的にマッピングされる。この全単射マッピング136は、例えば、固定的であるか、または可変的関連付け134を介して値Aに関連付けられた変換とは独立している。
【0043】
図6は、図5の変形例を示し、変換クラスシグナライゼーション106が呈する値の数が、図5の場合のようにN+1ではなく、正にNである場合である。ここで、値B〜Nが「残りの変換」に全単射的にマッピングされ、すなわち、残りの変換とは、セット90/94のすべての変換から、変換クラスシグナライゼーション106の値Aに可変的に関連付けられた一つを引いたものである。図6によれば、プレフィックス130+サフィックス132を含む変換クラスシグナライゼーション106の値の関連付け又はマッピング136は、変換クラスシグナライゼーション106のプレフィックスのみの値と可変的に関連付け134された変換に依存する。
【0044】
以下では、上述した実施形態を実施するための実施例を以下に説明する。これまで説明したように、上述した実施形態は、予測残差を変換または逆変換するために様々な変換が使用される、圧縮済みビデオビットストリームの符号化/復号化を含む。実施形態に従って説明されたような様々な変換の使用は、イントラ符号化セグメントまたはイントラ予測セグメントに限定されてもよく、または他のセグメントに拡張されてもよい。イントラ符号化セグメントに制限される場合、上記実施形態は、変換ベースの残差復号化/符号化のために安定的に1つの特定の変換を使用することによって、または、自由に選択され得る規則および依存性に従って異なる変換セットを使用することによって、他のセグメントを含んでもよい。いずれの場合にも、本願の実施形態に従って選択された変換は、逆量子化後にそれぞれのセグメントを逆変換するために使用され、量子化の前に変換ベースの残差符号化のために対応する変換を選択するために使用される。
【0045】
変換92/96のセット90/94が関係する限り、以下のことに注目されたい。上記では具体的に概説していないが、このセットは、恒等変換を追加的に含むか、または除外することにより、互いに異なる少なくとも2つの変換を含むことができる。この少なくとも2つの変換は、DCTおよびDSTのいずれであってもよい。好ましくは、変換92および94は一次元変換の連鎖に相当し、一つは水平方向に適用され、他の一つは垂直方向に適用される。以下に説明する実施形態では、セット90/94は複数の変換を含み、その中の1つは、一次元変換を垂直方向に適用するが、空間的に水平方向には適用せず、その中の別の1つは、同じ次元変換を水平方向に適用するが、空間ドメインの垂直方向においては適用しない。一般的に言えば、以下に記載する特定の実施形態は、1つの水平変換と1つの垂直変換との異なるペアから構成される1セットの変換90/94を使用する。特に、この変換セットは、水平方向に適用された一次元変換セットの第1の1つと、垂直方向に適用された一次元変換の同じセットの第2の1つとの連鎖から構成される。一次元変換セットは、1つの恒等変換と3つの離散コサイン/サイン変換とからなる。しかしながら、離散コサイン/サイン変換の数は、例えば1つ、2つ、または3つよりも多いような、任意の他の数であってもよい。
【0046】
既に上述したように、エンコーダで利用可能な変換は、以下のものであってもよい。
・DCT−II(またはDCT−III)
・DST−IV
・DCT−IV
・恒等変換(IT)
【0047】
自明であるが、デコーダで利用可能な逆変換は、対応する逆変換となるであろう。
【0048】
言い換えると、上述したセット90および94は、恒等変換、DCT−II、DCT−IVおよびDST−IV、または恒等変換、DCT−III、DCT−IVおよびDST−IVから構成されるであろう。
【0049】
一実施形態によれば、セット90/94は、行および列に適用される、すなわち垂直方向および水平方向に適用される、上述の4つの変換の任意の可能な組合せを含む。したがって、本実施形態によれば、可能な組合せの総数、すなわち変換92/96の数Nは、16である。当然のことながら、変更は実現可能であるが、シミュレーションは、これらの16個の変換のセットのいずれを使用しても、改善された符号化効率をもたらすことを明らかにしている。
【0050】
上述した説明に加えて、N個の変換92/96間の切り替えは、全てのサイズのセグメント84に対して、または所定のサイズのみのセットのセグメントに対して、エンコーダ10およびデコーダ20によってサポートされてもよい、ことに留意されたい。全てのサイズに対して切り替えが行われる場合、その切り替えは、シグナライゼーションを含み、セグメントサイズから独立して行われてもよい。所定のサイズのセットに対してのみ切り替えが行われる場合、所定のサイズは例えばそれぞれのセグメントに含まれたサンプルの数において測定され得るが、所定のサイズより小さいセグメント84については、デフォルト変換がエンコーダおよびデコーダにおいてそれぞれ使用されてもよい。そのデフォルト変換は必然的に実行されてもよく、また、何らかの変換をバイパスすること、即ち何も変換を実行せずに空間ドメインにおいて変化なしとしてもよく、しなくてもよい。
【0051】
図5および図6の実施例の別の変形例として、変換クラスシグナライゼーション106は、代替的に固定長のシンタックス要素のみから構成することができ、すなわち単にサフィックス132が変換クラスシグナライゼーションを表し、よって変換クラスシグナライゼーション106が固定長符号を使用して信号化される、ことに留意されたい。シンタックス要素は、transformClassと示すことができる。セット90および94において、16個の変換を使用する特異な例の場合、変換クラスシグナライゼーションまたはシンタックス要素変換クラスは、固定数のビン、すなわち4つのビンを含むことができる。
【0052】
変換クラスシンタックス要素の4つのビン、すなわちプレフィックス130も使用する場合のサフィックス132のビン、またはプレフィックス130を使用しない場合の変換クラスシグナライゼーションの固定数のビンは、コンテキスト適応型バイナリ算術符号化、すなわちCABACを使用して符号化することができる。コンテキスト適応型である他のエントロピー符号化スキームも、同様に使用することができる。コンテキストは、シンタックス要素変換クラスが属する各セグメント84に対して選択された、イントラモード104に依存して選択され、このコンテキストは、このセグメント84の予測残差信号を計算するために使用される。このようなコンテキスト依存性は、変換クラスの統計へのより良い適合を可能にし得る。
【0053】
第1の例(実施例1)として、例えば、デコーダ20は、値icを用いてビットストリーム14から4つのビンを読み出すことができ、値icは現在のイントラモード、即ち、変換クラスシグナライゼーションを形成している、上記4つのビンが読み出されるセグメント84に対して選択されたイントラ符号化モードである。言い換えると、デコーダは、変換クラスシグナライゼーション106の各ビンb0〜b3をエントロピー復号化するために使用されるコンテキストを指標化するための値icを使用してもよい。以下の表は、結果として得られるコンテキスト選択を示す。
【0054】
【表1】
【0055】
さらなる例(実施例2)によれば、現在のイントラモードがicである場合、デコーダは、行変換(rows transform)を復号化するために、ビットストリームから2つのビンを読み出すことができ、列変換(columns transform)を復号化するために2つの他のビンを読み出すことができ、ここで各カテゴリの第1ビンについてのコンテキストはicであり、各カテゴリの第2ビンについてのコンテキストは第1ビンの値に依存する。
【0056】
【表2】
【0057】
「transformClass」の値とビンの間のマッピングは、以下のように行うことができる。
【0058】
第1の例(実施例1)
【表3】
【0059】
第2の例(実施例2)
【表4】
【0060】
現在のセグメント(TU)の「transformClass」の符号化効率は、近隣のTBおよびTU自体の、予測タイプ、イントラモード、符号化ブロックフラグ(CBF)、ブロックサイズおよび「transformClass」の値を使用することによって、改善することができる。例えば、ilおよびicをそれぞれ左側および現在のTBsのイントラモードとし、tlおよびtcをそれぞれの選択された変換であるとする。次に、il=icおよびtl=tcであると仮定すると、デコーダで使用されなければならない逆変換を信号化するために1つのビンだけ、すなわちプレフィックス130のビンだけが必要になるであろう。
【0061】
上記の実施形態および概念は、各TU(変換ユニット)またはTB(変換ブロック)のための所与のセットから、エンコーダがそれぞれ最適(すなわち、最低レート−歪みコストを達成するもの)を選択することを可能にすることによって、例えばHEVCのようなビデオコーデックのイントラ符号化性能を改善するために使用され得る。単に、輝度ブロック、TB、またはセグメントが、それぞれ本明細書に記載された変換切り替え概念の対象となってもよい。クロマTBは、典型的に低周波数成分においてそれらのエネルギーを集中させ、したがってDCT−IIを補完する必要がない場合には、考慮されないことがある。すなわち、IT変換を使用することによって空間ドメインに残ることを許容するか否かに関わらず、単一の変換がクロマブロックに対して排他的に適用されてもよい。変換の実施は、HEVCのコア変換を用いるなどして分離可能な方法で実行される。分離可能性は、2次元変換を計算するために必要な演算の数を減少させる、高速一次元アルゴリズムの使用を可能にするので、変換符号化のコンテキストにおいて有利な特性である。さらに、それは、ブロックの垂直方向と水平方向との結合を解除し、各次元に異なる1D変換の使用を許可するので、コンテンツへのより良好な適合を容易にする。このため、本発明の実施形態による例示的な実装では、行に対しては4つの変換が利用可能であり、列に対しては4つの変換が利用可能である。それらのいずれの組み合わせも可能であるので、これは、全部で16個の異なる可能な変換が存在することを意味する。任意のTBサイズに対し、例えばHEVCの例示的なケースにおいては4×4、8×8、16×16および32×32のようなサイズについて、新たな変換ペアが利用可能にされてもよい。
【0062】
上記導入された利用可能な変換セットのうちのある一つのセットに関する議論を、以下に提供する。
【0063】
変換プールは、以下のオプションからなる。
・DCT−II
・DST−IV
・DCT−IV
・IT
【0064】
ここで、これらのうち3つがDTTであり、他の1つがITである。(DCT−II,DST−IV)、(DCT−IV,DCT−IV)または(IT,DCT−II)は、可能な変換ペアの例である。図7は、すべての可能な変換ペアの完全なリストを、それらの基底関数の表現と共に示す。
【0065】
これらの変換を選択するために、異なる基準が考慮された。第1に、DCT−IIは、長年にわたって画像およびビデオ符号化アプリケーションにおけるデフォルト変換であったし、残差統計値が一次のマルコフ・プロセスモデル(first order Markov process model)と適合する場合には非常に良好に機能するので、自明な選択であった。
【0066】
一方で、上述したように、非特許文献6の発見は、異なるタイプの残差ブロックにとって適切な変換としてDST−VIIを考慮し、導入することに導き、これは、本発明の変換プールにとって有用な候補になり得た理由である。しかしながら、この役割のために、代わりにDST−IVを採用することを本発明者らは決定した。この背景となる論理を理解するために、本発明者らは、非特許文献11に説明されるように、DTTが離散フーリエ変換(DFT)と密接に関係するファミリーを形成することを考慮に入れなければならない。実際、それらDTTの各々は、一般化DFT(GDFT)の特別な場合を表し、ここで各DTT間の差は、DFTを信号の上に適用する前にその信号に対して実行される、周期的及び対称的拡張の形式で存在している[非特許文献11]。例えば、周知のDCT−IIの場合、図8(a)の1Dの例と同様に、信号の半サンプルの偶数対称的複製(half-sample even symmetry replicas)を用いて信号の両端をパディングすることによって、拡張が行われる。図8(b)及び図8(d)には、DST−VIIおよびDST−IVについて、それぞれ同じ例が示されている。両方の場合に見られるように、対称的拡張は、左側および右側においてそれぞれ奇数および偶数である。その差は、左端で使用される対称軸の位置にある。DST−IVの場合、対称軸は2つのサンプルの中間にあるが、DST−VIIの場合には正に1つのサンプル上にある。左側のこの特性と奇数対称性との組み合わせは、1つのサンプルが0であることを強制する。それにもかかわらず、対称的拡張は依然として実際に同一であり、したがって両方の変換は非常に類似しており、かつ漸近的に等価であり、DST−IVはDCT−IIと同様の偶数DTTであるという利点を有する。したがって、DCT−IIについての既存の関係するアルゴリズム[非特許文献2]と同様に、高速な方法でDST−IVを構成するための関連する多くのアルゴリズムが、文献の中に存在する。
【0067】
変換プールにDCT−IIおよびDST−IVを含めた後、本発明者らはまたDCT−IVを選択することを決定した。図8(c)に示すように、その対称的拡張は、DST−IVのそれと正反対である。この事実は、両方の変換の間で非常に興味深い関係に導く[非特許文献2]。
ここで、SNIVとCNIVは、それぞれN点のDST−IVおよびDCT−IV行列であり、JNは反対角(ITの反射)上に1を有する反対角行列(antidiagonal matrix)であり、DNは、エントリーDN=diag((−1)k)を有する対角行列(diagonal matrix)であり、k=0,1...N-1である[非特許文献2]。この理由のため、DCT−IVの使用はいくつかの利点を提示する。第1に、DST−IVと比較して、その基底関数は、図7(f)及び図7(p)に示されるように反対の挙動を示し、このことは、DST−IVが適切な変換ではない他のタイプの残差を効率的にモデル化するのに有用である。さらに、式(1)で表される関係は、DST−IV上のある要素の順序変更(reordering)および符号変更のみを含む。この結果、変換プール内にDCT-IVを含めるために、さらなる記憶要件は必要とされない。最後に、DCT−IVもまた偶数のDTTであり、したがって、既に議論した他の2つの変換と同様に高速で実施することができる。
【0068】
ITは、信号を全く変換しないオプションを表す。したがって、変換ペア(IT,IT)は、実際のところHEVCの変換スキップモードと等価である[非特許文献1](しかしながら、残差サンプルは依然として量子化前にスケーリングされる)。それにもかかわらず、一実施形態によれば、4×4ブロックに制限されず、ITはプールの他の変換のいずれとも組み合わせることができる。このように、信号の1つの次元だけ(行だけまたは列だけ)を変換することが可能であり、これは、ある残差のエネルギー圧縮を改善するのに非常に有用である。同様のアプローチが、DCT−IIと組み合わせてインター予測された残差において提案された[非特許文献12]。エンコーダにおける不必要な冗長性を回避するために、HEVCの変換スキップモードは、結果としてイントラ予測ブロックに対して無効にされてもよく、したがって、変換スキップフラグは、このタイプのTBに対してデコーダに送信されなくてもよい。この明細書の多重コア変換フレームワークの文脈では1D変換として提示されているが、ITの実装はマトリックス乗算を実際に実行する必要がないことは確かなことである。標準HEVC変換スキップモードの場合と同様に、変換ステージは単にスキップされる。しかし、依然として、残差サンプルは量子化前にスケーリングされる。
【0069】
エンコーダにおいて、各輝度TBについての変換の選択プロセスは、レート−歪みループの内部で行われる。そうするために必要なステップを次に要約する。
【0070】
1)TiおよびTjをそれぞれ可能な行変換および列変換とし、ここでi,j=(1,2,3,4)である。
2)次に、各変換ペアpij=(Ti,Tj)に対して、
a)輝度TBを変換および量子化する。
b)変換され量子化された係数とその変換を信号化するのに必要なオーバーヘッド・ビットとをエントロピー符号化する。
c)変換ペアpijのレート−歪みコストJijを得る。
3)最後に、Jijを最小にするものとして、最適変換ペアp*ij=(Ti,Tj)が選択される。
【0071】
同じ手順は、IPMに関係なく、すべてのイントラ予測された輝度TBに実行される。このアルゴリズムで使用されるレート−歪みコストJは、次式を使用して計算される。
ここで、Dは元のブロックと再構成されたブロックとの差の二乗和(the sum of squared differences)として得られる歪みであり、Rは量子化された係数と符号化パラメータとをデコーダへ送るのに必要なビット数であり、λは歪みとレートとの間のトレードオフを規定する定数である[非特許文献13]。
【0072】
変換のシグナライゼーションとは、エンコーダによって実行される変換ペアの決定がデコーダに伝達されるべきことを意味する。全部で16個の可能な組合せが存在するので、4つのビンが符号化されるべきである。各TBについて、コンテキスト適応型バイナリ算術符号化(CABAC)[非特許文献1]を使用することができる。そのコンテキストは、現在のTBの残差信号を計算するために使用されたIPMに依存してもよい。なぜなら、それによってコンテンツの統計へのより良好な適合が可能になるからである。
【0073】
複雑さに関して既に上述したように、エンコーダは、最適な変換ペアを見つけるためにフルサーチの方策を適用してもよい。このようなプロセスは、レート−歪みコストの最小化を保証するという事実にもかかわらず、変換、量子化、及びエントロピー符号化操作が各輝度TBについて16回計算されるとすれば、アルゴリズムの複雑さにおいて非常に有意な増加を意味する。しかしながら、デコーダ側では、アルゴリズムの複雑さに有意な増加はない。エンコーダとは異なり、変換選択を解析するだけでよく、各輝度TBに対して1つの変換のみが実行される。また、0に等しい符号化ブロックフラグ(CBF)を受信した場合、変換動作は全く必要とされない。なぜならそれは、全ての残差係数が0であることを意味するからである。
【0074】
上記概念は、HEVCテストモデル(HM)参照ソフトウェア(バージョン16.6)において実施されてきた。輝度TBsだけが、この修正によって影響を受けてきた。変換スケーリング操作は、非特許文献14に記載されているHEVCにおけるDCT−IIの場合と同様に実行されてきた。共通の試験条件[非特許文献15]によって示されるように、High Efficiency(HE)10ビットプロファイルとAll−Intra(AI)構成とを使用して、いくつかの試験が行われてきた。
【0075】
表I:AI−HE10構成を使用するすべてのシーケンスについてのビット節約
【表5】
【0076】
表Iは、試験の結果を示す。各クラスは異なるタイプの解像度を表すが、クラスFの場合は例外的に、異なる解像度を有するスクリーン・コンテンツ・シーケンスがグループ化されている。スクリーン・コンテンツ・ビデオは、コンピュータによって生成されたグラフィックス、テキストまたはアニメーション(単独でまたはカメラ撮影シーンと組み合わせて)を表示する。表から分かるように、このツールの平均性能は3%のビットレート低減である。さらに、クラスFの場合を除き、すべてのクラスは同様の挙動を示し、クラスFのシーケンスが最良の結果を達成する。これは、変換プール内でITを実装することによって変換スキップモードの能力を拡張したことを考慮すると、驚くべき事実ではない。
【0077】
上述したように、DST−IVとDST−VIIとの間の差異および類似性について考察した。両方の変換間の性能比較を得るために、本発明者らは、利用可能な1D変換の一つとしてDST−IVをDST−VIIで置き換える試験を繰り返してきた。平均ビット節約結果は実際には同等であり(DST−IVについて−3.04%であり、DST−VIIについて−3.07%)、複雑性および記憶の点でのその利点により、本発明者らのシステムではDST−VIIの代わりとしてDST−IVを使用することを提案する。
【0078】
最後に、一例として、バスケット・ボールドリル(Basket- ballDrill)のシーケンスについて、ピーク信号/雑音比(PSNR)対レート曲線が提示される。観察されるように、利得は最高レート点の周囲でより集中する。これはおそらく、この場合、エンコーダが各輝度TBについて変換を信号化するためにより多くのビットを費やすことができ、したがって、コンテンツへのより高い適合性がある、という事実に起因するものである。
【0079】
以上のことを結論付けると、上述した実施形態は、変換符号化のためにはDCT−IIが次善策であることを示してきた。一実施形態に従えば、DTTファミリーおよびIMのより多くの変換を使用することが提案されてきた。
【0080】
いくつかの態様が装置に関して説明されてきたが、これらの態様は、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応する、対応する方法の説明を表すことは明らかである。同様に、方法ステップの文脈において説明される態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明を表す。方法ステップの一部または全部は、例えばマイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって(または使用して)実行されることが可能である。いくつかの実施形態において、最も重要な方法ステップのうちのいくつかの一つまたは複数は、そのような装置によって実行されてもよい。
【0081】
本発明の符号化されたビデオまたはピクチャの信号は、デジタル記憶媒体に記憶することができ、またはインターネットなどの無線伝送媒体または有線伝送媒体のような伝送媒体上で伝送することができる。
【0082】
特定の実施要件に応じて、本発明の実施形態は、ハードウェアで実施されてもよいし、ソフトウェアで実施されてもよい。この実施は、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する(または協働することができる)電子的に読み取り可能な制御信号を記憶するデジタル記憶媒体、例えばフロッピー(登録商標)ディスク、DVD、ブルーレイ、CD、ROM、PROMおよびEPROM、EEPROMまたはフラッシュメモリを使用して実行することができる。したがって、デジタル記憶媒体は、コンピュータ可読であってもよい。
【0083】
本発明によるいくつかの実施形態は、本明細書に記載される方法のうちの一つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【0084】
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で実行されるときに、その方法の一つを実行するように動作するプログラムコードを有するコンピュータプログラム製品として実装することができる。プログラムコードは、例えば、機械読み取り可能なキャリアに格納されてもよい。
【0085】
他の実施形態は、機械可読キャリアに格納された、本明細書に記載された方法のうちの一つを実行するコンピュータプログラムを含む。
【0086】
言い換えると、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載された方法の一つを実行するプログラムコードを有するコンピュータプログラムである。
【0087】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法のうちの一つを実行するコンピュータプログラムを記録したデータキャリア(または、デジタル記憶媒体またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的には、有形および/または非一時的である。
【0088】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載されている方法の一つを実行するコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは、例えばインターネットを介するなど、例えばデータ通信接続を介して転送されるように構成されてもよい。
【0089】
さらなる実施形態は、本明細書に記載される方法の一つを実行するように構成されるか、または適応されるように構成される、処理手段、例えば、コンピュータまたはプログラム可能な論理デバイスを含む。
【0090】
さらなる実施形態は、本明細書に記載される方法の一つを実行するコンピュータプログラムをその上にインストールされたコンピュータを含む。
【0091】
本発明によるさらなる実施形態は、本明細書に記載される方法の一つを実行するコンピュータプログラムを受信機に転送する(例えば、電子的にまたは光学的に)ように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイル機器、メモリ機器などであってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えることができる。
【0092】
いくつかの実施形態において、プログラム可能な論理デバイス(例えば、フィールドプログラマブルゲートアレイ)は、本明細書に記載される方法の機能のいくつかまたは全ての機能を実行するために使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明される方法のうちの一つを実行するためにマイクロプロセッサと協働することができる。一般に、本方法は、任意のハードウェア装置によって実行されることが好ましい。
【0093】
本明細書に記載される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実装することができる。
【0094】
本明細書に記載される装置、または本明細書に記載される装置の任意の構成要素は、少なくとも部分的にハードウェアおよび/またはソフトウェアで実装されてもよい。
【0095】
本明細書に記載の方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実行することができる。
【0096】
本明細書に記載される方法、または本明細書に記載される装置の任意の構成要素は、ハードウェアによって、および/またはソフトウェアによって、少なくとも部分的に実行され得る。
【0097】
上述した実施形態は、本発明の原理を説明するためのものである。本明細書中に記載される配置および詳細の変更および変形は、当業者には明らかであることが理解される。従って、本明細書の実施形態の説明および記載によって提示される特定の詳細によるものではなく、本願の特許請求の範囲によってのみ限定されることが意図される。
図1
図2
図3
図4
図5
図6
図7
図8a
図8b
図8c
図8d