(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025016507
(43)【公開日】2025-02-04
(54)【発明の名称】マルチコンポーネント画像またはビデオ符号化のコンセプト
(51)【国際特許分類】
H04N 19/593 20140101AFI20250128BHJP
H04N 19/70 20140101ALI20250128BHJP
H04N 19/11 20140101ALI20250128BHJP
H04N 19/136 20140101ALI20250128BHJP
H04N 19/176 20140101ALI20250128BHJP
【FI】
H04N19/593
H04N19/70
H04N19/11
H04N19/136
H04N19/176
【審査請求】有
【請求項の数】11
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024177904
(22)【出願日】2024-10-10
(62)【分割の表示】P 2023015016の分割
【原出願日】2014-10-17
(31)【優先権主張番号】13189444.6
(32)【優先日】2013-10-18
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】515089080
【氏名又は名称】ジーイー ビデオ コンプレッション エルエルシー
【住所又は居所原語表記】1 Research Circle,Niskayuna,NY 12309,USA
(74)【代理人】
【識別番号】110003915
【氏名又は名称】弁理士法人岡田特許事務所
(72)【発明者】
【氏名】グエン トゥン
(72)【発明者】
【氏名】ハイラト アブデルハミド アリ アテフ イブラヒム
(72)【発明者】
【氏名】マルペ デトレフ
(57)【要約】 (修正有)
【課題】マルチコンポーネント画像の符号化効率を高めるデコーダ及び方法を提供する。
【解決手段】デコーダ10において、マルチコンポーネント画像またはビデオ符号化概念の符号化効率は、データストリーム12から再構築された第1のコンポーネント信号22および再構築された第2のコンポーネント信号26からコンポーネント間予測を使用しているマルチコンポーネントビデオの第3のコンポーネントのためのモジュール28に関する第3のコンポーネント信号30を再構築することによって、改善する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
データストリーム(12)からマルチコンポーネント画像またはビデオ(16)の第1
のコンポーネント(A)に関して第1のコンポーネント信号(22)を再構築し、
前記データストリーム(12)から前記マルチコンポーネント画像または前記ビデオ(
16)の第2のコンポーネント(B)に関して第2のコンポーネント信号(26)を再構
築し、
前記再構築された第1のコンポーネント信号(22)および前記再構築された第2のコ
ンポーネント信号(26)からコンポーネント間予測を用いて前記マルチコンポーネント
画像または前記ビデオ(16)の第3のコンポーネント(C)に関する第3のコンポーネ
ント信号(30)を再構築することによって、
空間的に異なるコンポーネントに関するシーンをサンプリングし、前記マルチコンポー
ネント画像または前記ビデオ(16)を復号するように構成される、デコーダ。
【請求項2】
前記デコーダは、前記データストリーム(12)において、1組のICP符号化モード
のICP符号化モードの間で、前記マルチコンポーネント画像の異なるICPモード部分
またはビデオ(16)のために切り替わるように、複数のソースICP信号の送信(200)
に応答するように構成され、
複数のソースICP符号化モードと、
非ICP符号化モードおよび固定された1つのソースICP符号化モードの内の少なく
とも1つとを含み、
前記複数のソースICP符号化モードは、前記デコーダが、シグナリングされたもの、
または、前記再構築された第1のコンポーネント信号の空間的に対応する部分と前記再構
築された第2のコンポーネント信号との組合せから前記コンポーネント間予測を用いてい
る、前記マルチコンポーネント画像またはビデオの現在の画像の現在のサブ部分で前記第
3のコンポーネント信号(30)を再建するように構成され、
前記非ICP符号化モードは、前記デコーダがいかなるコンポーネント間予測も用いて
いない前記マルチコンポーネント画像またはビデオの現在の画像の前記現在のサブ部分の
前記第3のコンポーネント信号(30)を再構築するように構成され、
前記固定された1つのソースICP符号化モードは、前記デコーダが、前記再構築され
た第1のコンポーネント信号および前記再構築された第2のコンポーネント信号の固定さ
れた1つの空間的に対応する部分から前記コンポーネント間予測を用いている前記マルチ
コンポーネント画像またはビデオの前記現在の画像の前記現在のサブ部分の前記第3のコ
ンポーネント信号を再構築するように構成され、そして、前記デコーダが、複数のソース
ICP信号の送信に応じて、前記固定された1つのソースICP符号化モードに切り替わ
る前記マルチコンポーネント画像またはビデオの各々の部分の範囲内で固定される、請求
項1に記載のデコーダ。
【請求項3】
前記複数のソースICP信号の送信は、前記ICPモード部分(202)が単一の画像、
画像シーケンスまたはスライスであるように、前記データストリーム(12)でシグナリン
グされる、請求項2に記載のデコーダ。
【請求項4】
前記第1のコンポーネント(A)は輝度であり、前記第2のコンポーネント(B)は第1
のクロマ成分であり、前記第3のコンポーネント(C)は前記第2のクロマ成分である、
請求項1~請求項3のいずれかに記載のデコーダ。
【請求項5】
前記デコーダは、前記再構築された第1のコンポーネント信号(22)の空間的に対応
する部分からコンポーネント間予測を用いる前記マルチコンポーネント画像の現在の画像
またはビデオ(16)の前記第3のコンポーネント信号(30)を再構築することと、前記
再構築された第2のコンポーネント信号(26)の空間的に対応する部分からコンポーネ
ント間予測を用いる前記マルチコンポーネントビデオの前記現在の画像の中で前記第3の
コンポーネント信号(30)を再構築することとの間に、第1のサブ画像粒度で、切り替
わるように構成されている、請求項1~請求項4のいずれかに記載のデコーダ。
【請求項6】
前記デコーダは、前記再構築された第1のコンポーネント信号(22)の空間的に対応
する部分からコンポーネント間予測を用いる前記マルチコンポーネント画像またはビデオ
(16)の現在の画像の中で第3のコンポーネント信号(30)を再構築することと、前
記データストリーム(12)内の明示的なICPソース信号の送信(210)に応答して
、前記再構築された第2のコンポーネント信号(26)の空間的に対応する部分からコン
ポーネント間予測を用いるマルチコンポーネント画像またはビデオ(16)の現在の画像
の中で前記第3のコンポーネント信号(30)を再構築することの間に、前記第1のサブ
画像粒度で、切り替わるように構成されている、請求項1~請求項5のいずれかに記載の
デコーダ。
【請求項7】
前記デコーダは、予測ブロックの単位で空間的、時間的および/または視点間予測モー
ドの間で変わることにより、前記空間的、時間的および/または視点間予測を用いている
前記マルチコンポーネント画像またはビデオの前記第3のコンポーネント(C)に関する
前記第3のコンポーネント信号(30)の再構築するように構成され、前記デコーダは、
前記第1のサブ画像粒度が予測ブロックの単位で前記現在の画像を再分割するように、構
成されている、請求項5または請求項6のいずれかに記載のデコーダ。
【請求項8】
前記デコーダは、前記マルチコンポーネント画像またはビデオの前記第3のコンポーネ
ントに関し、空間的、時間的の、および/または視点間予測を使用して、そして、変換ブ
ロックの単位で空間的、時間的の、および/または視点間予測により残差予測を逆変換す
ることによって、前記第3のコンポーネント信号(30)の再構築を実行するように構成
され、前記デコーダは、前記第1のサブ画像粒度が変換ブロックの単位で前記現在の画像
を再分割するように構成されている、請求項5または請求項6のいずれかに記載のデコー
ダ。
【請求項9】
前記デコーダは、変化することで線形予測を用いている前記再構築された第1のコンポ
ーネント信号(22)および前記再構築された第2のコンポーネント信号(26)からの
前記コンポーネント間予測を実行するように構成され、そして、前記再構築された第1の
コンポーネント信号(22)および前記再構築された第2のコンポーネント信号(26)
が第2のサブ画像粒度により前記コンポーネント間予測に線形に関与する重み付けにより
、前記データストリーム(12)でICP予測パラメータ信号の送信(212)に応答す
るように構成されている、請求項1~請求項8のいずれかに記載のデコーダ。
【請求項10】
前記デコーダは、予測ブロックの単位で空間的、時間的および/または視点間予測モー
ドの間で切り替わることにより、前記空間的、時間的および/または視点間予測を用いて
いる前記マルチコンポーネント画像またはビデオの第3のコンポーネント(C)に関する
前記第3のコンポーネント信号(30)の再構築を実行するように構成され、前記デコー
ダは、前記第1のサブ画像粒度が予測ブロックの単位で前記現在の画像を再分割するよう
に構成されている、請求項1~請求項9のいずれかに記載のデコーダ。
【請求項11】
前記デコーダは、空間的、時間的および/または視点間予測を使用して、そして、変換
ブロックの単位により、前記空間的、時間的および/または視点間予測により残差の予測
を逆変換することによって、前記マルチコンポーネント画像またはビデオの第3のコンポ
ーネント(C)に関する前記第3のコンポーネント信号(30)の再構築を実行するよう
に構成され、前記デコーダは、前記第1のサブ画像粒度が変換ブロックの単位で前記現在
の画像を再分割するように構成されている、請求項9または請求項10のいずれかに記載
のデコーダ。
【請求項12】
前記デコーダは、零に関して非対称である不均一性の量子化により重み付けで前記デー
タストリームの前記ICP予測パラメータ信号の送信(212)から抽出するように構成さ
れる、請求項9~請求項11のいずれかに記載のデコーダ。
【請求項13】
前記デコーダは、重さの一組の可能性がある値に属している零で前記データストリーム
(12)において前記重み付けをICP予測パラメータ信号の送信(212)から抽出する
(220)ように構成され、それぞれのブロックのための前記重み付けが、ICP予測パ
ラメータ信号の送信による零であるかどうかにかかわらず、前記マルチコンポーネント画
像またはビデオ(16)の現在の画像のブロックの各々のために、前記デコーダは、チェッ
ク(222)するように構成され、そして、もしそうでなければ、前記データストリーム
(12)からそれぞれのブロック(208)のための前記ICPソース指標(210)を抽
出(226)して、もし可能ならば、前記それぞれのブロックのために前記ICPソース
指標の抽出が抑制(224)され、前記デコーダは、もし、それぞれのブロックのための
前記重み付けが零でないならば、前記再構築された第1のコンポーネント信号(22)の
空間的に対応するブロック(204)から線形予測を使っているそれぞれのブロックにお
いて、それぞれの非ゼロの重み付けに従って、前記第3のコンポーネント信号(30)を
再構築するように、あるいは、前記再構築された第2のコンポーネント信号(26)の空
間的に対応するブロック(24)から線形予測を使っているそれぞれの前記ブロック(2
08)において、前記それぞれの非ゼロの重み付けに従って、前記第3のコンポーネント
信号(30)を再構築するように、それぞれのブロックのために前記ICPソース指標(
210)に応答(230)するように構成される、請求項9~請求項12のいずれかに記
載のデコーダ。
【請求項14】
前記デコーダは、前記重さの一組の可能性がある値に属している零でデータストリーム
(12)によりで前記重み付けを前記ICP予測パラメータ信号の送信(212)から抽
出するように構成され、そして、前記ICP予測パラメータ信号の送信(212)によるそ
れぞれのブロック(208)のための前記重み付けが予め定められた基準を満たすかどう
かにかかわらず、前記マルチコンポーネント画像またはビデオの現在の画像のブロックの
各々のために、前記デコーダがチェックされ、そして、もしそうでなければ、前記データ
ストリームからの前記それぞれのブロックのために、そして、もし可能ならば、前記IC
Pソース指標(210)を得て、それぞれのブロックのための前記ICPソース指標の抽
出を抑えて、予め定められた基準に前記ICPソース指標を前記それぞれのブロックにセ
ットし、前記それぞれのブロックのための前記重みに応じて重み付けされ、前記再構築さ
れた第1のコンポーネント信号の空間的に対応するブロックから線形予測を使っている前
記それぞれのブロックの前記第3のコンポーネント信号を再構築するように、または、前
記それぞれのブロックのための前記重みに応じて重み付けされ、前記再構築された第2の
コンポーネント信号の空間的に対応するブロックから線形予測を使っている前記それぞれ
のブロックの前記第3のコンポーネント信号を再構築するように、前記それぞれのブロッ
クのための前記ICPソース指標に応答するように、前記デコーダが構成される、請求項
9~請求項13のいずれかに記載のデコーダ。
【請求項15】
前記デコーダは、最初に前記重み付けのサインを復号化して、前記サインに応じたコン
テキストモデリングを用いて、その絶対値を復号化することによってデータストリームで
前記重み付けを前記ICP予測パラメータ信号の送信(212)から抽出するように構成さ
れている、請求項9~請求項14のいずれかに記載のデコーダ。
【請求項16】
前記デコーダは、空間、時間的および/または視点間予測で、残差予測の上へ、前記コ
ンポーネント間予測を適用することにより、前記空間的、時間的および/または視点間予
測(34C)を用いている前記マルチコンポーネント画像またはビデオの前記第3のコン
ポーネント(C)に関する前記第3のコンポーネント信号(30)の再構築を実行するよ
うに、構成されている、請求項9~請求項14のいずれかに記載のデコーダ。
【請求項17】
前記デコーダは、前記マルチコンポーネント音声信号の前記第1および第2のコンポー
ネントに関して、コンポーネント内部の空間的、時間的および/または視点間予測(34
A、34B)を実行するように構成され、そして、前記再構築された第1のコンポーネン
ト信号および前記再構築された第2のコンポーネント信号は、前記マルチコンポーネント
音声信号の前記第1および第2のコンポーネントに関して、前記空間的、時間的および/
または視点間予測の予測残余であるように構成されている、請求項1~請求項16のいず
れかに記載のデコーダ。
【請求項18】
前記デコーダは、前記マルチコンポーネント画像の第3のコンポーネントまたはコンポ
ーネント内部の空間的、時間的および/または視点間予測(34C)を使用して、そして
、スペクトル領域から空間領域まで、前記コンポーネント内部の空間的、時間的および/
または視点間予測で、残差予測を逆変換する(216)ことにより、ビデオに関して、前
記第3のコンポーネント信号の前記再構築を実行して、そして、前記空間領域で前記残差
予測または前記スペクトル領域の上へ前記コンポーネント間予測を適用するように、構成
されている、請求項1~請求項17のいずれかに記載のデコーダ。
【請求項19】
前記デコーダは、コンポーネント内の空間的、時間的および/または視点予測(34A
、34B)を用いて、前記第1および第2のコンポーネント信号の前記再構築を実行する
ように構成されている、請求項1~請求項18のいずれかに記載のデコーダ。
【請求項20】
前記デコーダは、前記再構築された第1のコンポーネント信号の空間的に対応する部分
(204)から前記コンポーネント間予測を使っている前記マルチコンポーネント画像の
現在の画像またはビデオの中の前記第3のコンポーネント信号を再構築することと、そし
て、前記再構築された第2のコンポーネント信号の空間的に対応する部分(206)から
前記コンポーネント間予測を使っている前記マルチコンポーネント画像の現在の画像また
はビデオの中の前記第3のコンポーネント信号を再建することとの間に、前記第1のサブ
画像粒度で切り替わるようにして構成され、前記再構築された第1のコンポーネント信号
および前記再構築された第2のコンポーネントが異なることによる予め定められた予測モ
デルを使っていて、前記データストリームで第2のサブ画像粒度で予測モデルの予測パラ
メータの信号、つまり、ICP予測パラメータ信号の送信(212)に応答してコンポー
ネント間予測を実行して、前記データストリームで明示的なICPソース信号の送信(2
10)に応答する前記第1のサブ画像粒度でスイッチングを行って、予測モデルの予測パ
ラメータに対応しているコンテキストモデリングを用いたデータストリームから明示的な
ICPソース信号の送信を復号化するように、構成されている、請求項1~請求項19の
いずれかに記載のデコーダ。
【請求項21】
前記デコーダは、前記予測パラメータのような勾配によって制御される予測モデルとし
て、線形予測を用いるように構成されている、請求項19に記載のデコーダ。
【請求項22】
前記デコーダは、そのサブ部分のための勾配が正であるか負であるかどうかにかかわら
ず、前記マルチコンポーネント画像またはビデオの現在の画像の現在のサブ部分について
チェック(229)し、前記チェックに応じて前記コンテキストモデリングを実行するよ
うに構成されている、請求項19または請求項21に記載のデコーダ。
【請求項23】
前記デコーダは、そのサブ部分のための勾配が所定の間隔内にあるかどうか、前記マル
チコンポーネント画像またはビデオの現在のピクチャの現在のサブ部分のためにチェック
して、前記チェックに応じてコンテキストモデリングを実行するように構成されている、
請求項19または請求項22に記載のデコーダ。
【請求項24】
前記デコーダは、前記マルチコンポーネント画像またはビデオの現在の画像の予め定め
られたサブ部分のために、前記データストリーム(12)から第1および第2の予測パラ
メータを得て、予め定められた予測モデルと前記第1の予測パラメータを用いる再構築さ
れた第1のコンポーネント信号(22)からコンポーネン間予測を実行して、前記予め定
められた予測モデルと前記第2の予測パラメータを用いる再構築された第2のコンポーネ
ント信号(26)から前記コンポーネント間予測を実行して、線形に再構築された第1の
コンポーネント信号からの前記コンポーネント間予測と、前記再構築された第2のコンポ
ーネント信号からのコンポーネント間予測とを結合するように、構成されている、請求項
1~請求項23のいずれかに記載のデコーダ。
【請求項25】
前記デコーダは、第3のサブ画像粒度で、前記再構築された第3のコンポーネント信号
と前記再構築された第2のコンポーネント信号をスワップするために、前記データストリ
ームでスワップ信号の送信(248)に応答する、請求項1~請求項24のいずれかに記
載のデコーダ。
【請求項26】
前記データストリーム(12)の前記第3のコンポーネント信号(30)のためのIC
P予測パラメータ信号の送信(212)に応答して、サブ画像粒度で前記予測モデルの第
3のコンポーネント予測パラメータを切り替えることで、予め定められた予測モデルを使
っている前記再構築された第1のコンポーネント信号(22)および前記再構築された第
2のコンポーネント信号(26)からの前記コンポーネント間予測を実行するように、デ
コーダが構成され、そして、
前記再構築された第1のコンポーネント信号(22)から前記コンポーネント間予測を
使っている前記マルチコンポーネント画像の前記第2のコンポーネント(B)またはビデ
オに関する前記第2のコンポーネント信号(26)の再構築を実行して、そして、前記デ
ータストリーム(12)の前記第2のコンポーネント信号のためのICP予測パラメータ
信号の送信に応答して、サブ画像粒度で予測モデルのコンポーネント信号予測パラメータ
を切り替えることで予め定められた前記予測モデルを使っている前記再構築された第1の
コンポーネント信号(22)からの前記コンポーネント間予測を実行するように、デコー
ダが構成され、そして、
前記第2のコンポーネンテトおよび第3のコンポーネントの予測パラメータが予め定め
られた制限を超えて異なる場合にチェックし、そして、場所のためでない場合、前記デー
タストリームからのそれぞれの場所のために、前記場所のためにICPソース指標(21
0)を抽出し、そこで、イエスであれば、ICPソース指標(210)の抽出を抑えて、
予め定められた基準にICPソース指標(210)をそれぞれの場所に設定し、そして、デ
コーダは、それぞれの場所のためのICPソース指標(210)をそれぞれの第3のコン
ポーネント予測パラメータによって重み付けされるように設定され、前記再構築された第
1のコンポーネント信号の空間的に対応する位置から線形予測を使っているそれぞれの場
所の前記第3のコンポーネント信号を再構築するように、ICPソース指標(210)に
応答するように構成されるか、あるいは、(それぞれの第3のコンポーネント予測パラメ
ータによって重み付けされ、前記再構築された第2のコンポーネント信号の空間的に対応
する位置から線形予測を使っているそれぞれの場所の前記第3のコンポーネント信号を再
構築するように、構成される、請求項1~請求項25のいずれかに記載のデコーダ。
【請求項27】
前記マルチコンポーネント画像またはビデオの前記第3のコンポーネント(C)に関して
前記第3のコンポーネント信号(30)を再構築する際に、前記第3のコンポーネントのた
めの残差信号を前記データストリームから抽出して、それによって前記コンポーネント間
予測を修正するように構成されている、請求項1~請求項26のいずれかに記載のデコー
ダ。
【請求項28】
空間的に異なるコンポーネントに関するシーンをサンプリングし、マルチコンポーネン
ト画像またはビデオ(16)を復号化するための方法であって、
前記方法は、
前記データストリーム(12)から前記マルチコンポーネント画像または前記ビデオ(
16)の第1のコンポーネント(A)に関して第1のコンポーネント信号(22)を再構
築する工程、
前記データストリーム(12)から前記マルチコンポーネント画像または前記ビデオ(
16)の第2のコンポーネント(B)に関して第2のコンポーネント信号(26)を再構
築する工程、および
前記再構築された前記第1のコンポーネント信号(22)および前記再構築された第2
のコンポーネント信号(26)からコンポーネント間予測を用いて前記マルチコンポーネ
ント画像または前記ビデオ(16)の第3のコンポーネント(C)に関する第3のコンポ
ーネント信号(30)を再構築する工程を含む、方法。
【請求項29】
データストリーム(12)にマルチコンポーネント画像またはビデオ(16)の第1の
コンポーネント(A)に関して第1のコンポーネント信号(22)を符号化すること、
前記データストリーム(12)に前記マルチコンポーネント画像または前記ビデオ(1
6)の第2のコンポーネント(B)に関して第2のコンポーネント信号(26)を符号化
すること、
前記符号化された第1のコンポーネント信号(22)および前記符号化された第2のコ
ンポーネント信号(26)からコンポーネント間予測を用いて前記マルチコンポーネント
画像または前記ビデオ(16)の第3のコンポーネント(C)に関する第3のコンポーネ
ント信号(30)を符号化することによって、
空間的に異なるコンポーネントに関するシーンをサンプリングし、前記マルチコンポー
ネント画像または前記ビデオ(16)を符号化するように構成される、エンコーダ。
【請求項30】
空間的に異なるコンポーネントに関するシーンをサンプリングし、マルチコンポーネン
ト画像またはビデオ(16)を符号化するための方法であって、
前記データストリーム(12)にマルチコンポーネント画像またはビデオ(16)の第
1のコンポーネント(A)に関して第1のコンポーネント信号(22)を符号化する工程
、
前記データストリーム(12)に前記マルチコンポーネント画像または前記ビデオ(1
6)の第2のコンポーネント(B)に関して第2のコンポーネント信号(26)を符号化
する工程、および
前記符号化された第1のコンポーネント信号(22)および前記符号化された第2のコ
ンポーネント信号(26)からコンポーネント間予測を用いて前記マルチコンポーネント
画像または前記ビデオ(16)の第3のコンポーネント(C)に関する第3のコンポーネ
ント信号(30)を符号化する工程を含む、方法。
【請求項31】
コンピュータプログラムは、コンピュータで動作しているときに、実行するためのプロ
グラムコードを有する、請求項28または請求項30に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、カラー画像またはビデオの符号化など、マルチコンポーネント画像
またはビデオ符号化に関する。
【0002】
着色した画像およびビデオは3つか4つの局面で、所謂、色空間を使っていることが表
わされており、そして、局面は、コンポーネントとも呼ばれる。3つのコンポーネントの
色空間のための例は、R'G'B'色空間である。この色空間では、原色の赤(R')、緑(
G')、青(B')は、3次元色立方体の基礎を形成する。しかしながら、信号処理アプリ
ケーション空間では、画像およびビデオ圧縮の場合の消費電力、実装コスト、または圧縮
効率の点で高効率を達成するために異なるコンポーネント間の相関を最小にすることは、
重要である。したがって、R'G'B’信号は、輝度と呼ばれる第1のコンポーネント(Y
')とクロマ要素と呼ばれる残りの2つのコンポーネント(CbCr)でY'CbCrにしばし
ば変換される。R'G'B'色空間と対照的に、Y'CbCrの彩度構成要素の値は、主要な青
または赤と比較して色の違いを意味している。したがって、彩度エネルギーは、多くの場
合、低減され、従って、より高い圧縮効率をもたらす。しかし、一定の変換、すなわち、
Y'CbCrへの変換のR'G'B'の応用のために、結果として生じる出力は、しばしば局所
的に最適ではない。そのような種類の限界を克服するという可能性は、カラーコンポーネ
ント間の局所的な予測の応用である。このような予測は、多くの場合、コンポーネント間
予測(ICP)と呼ばれている。ICPは、R'G'B'とY'CbCrの両方の信号に適用す
ることができる。第1のケースでは、ICPは、クロマ要素のためにエネルギーの減少を
もたらし、そして、それゆえに、それは外部の色空間変換の代替として扱うことができる
。第2のケースでは、ICPによるアプローチは、異なる色成分間のさらなる非相関ステ
ップとして処理することができ、そして、それゆえに、ICPによるアプローチは、より
高い圧縮効率に終わる。簡略化のために、天然であるか入力された色空間に関係なく、残
りの説明は、第1の成分および主成分と、第1のクロマまたは第2のクロマ要素とを示す
ために、また、それぞれ、CbまたはCrは、2つの残りのクロマ要素を示すために、輝度
またはY'に言及する。処理命令が若干のアプリケーションのために連続して起こること
がありえて、クロマコンポーネントの順序が重要でありえる点に注意することは、重要で
ある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、例えば、クロマ要素に基づいて1つのクロマ要素を予測して、他のクロ
マ要素のために同じようにすることによって、ICPは、やるとしても、ペアで適用され
る。しかしながら、さらに符号化効率を高めるできることが、有利であろう。
【0004】
本発明の目的は、より高い符号化効率を可能にするマルチコンポーネント画像またはビ
デオ符号化のコンセプトを提供することである。
【0005】
この目的は、本願の独立請求項の主題によって達成される。
【課題を解決するための手段】
【0006】
マルチコンポーネント画像の符号化効率またはビデオ符号化のコンセプトは、再構築さ
れた第1のコンポーネント信号と再構築された第2のコンポーネント信号からコンポーネ
ント間予測を用いて、マルチコンポーネントビデオの第3のコンポーネントに関する第3
のコンポーネント信号を再構築することによって改善されるかもしれないことは、本発明
の基本的な発見である。
【0007】
本発明の実施形態によれば、異なるICP符号化モードとの間で、異なるまたはマルチ
コンポーネント画像またはビデオのICPモード部分の単位の中で、データストリームの
複数のソースICP信号の送信が、切り替わるように用いられる。ICP符号化モードは
、複数のソースICP符号化モードおよび少なくとも1つの非ICP符号化モードを含む
。マルチコンポーネント画像のICPモード部分または複数のソースICP符号化モード
があてはまるビデオにおいて、マルチコンポーネント画像またはビデオの画像のサブ部分
のために、同上が再構築された第1のコンポーネント信号の空間的に対応する部分か、再
構築された第2のコンポーネント信号の空間的に対応する部分か、両方の組合せから予測
されるコンポーネント間予測があるかどうか、信号の送信は、サブ部分ごとに指し示して
いるデータストリームにおいて提供される。少なくとも1つの非ICP符号化モードにお
いて、再構築された第1のコンポーネント信号の空間的に対応する部分と再構築された第
2のコンポーネント信号の空間的に対応する部分との間のこの種の組合せまたは変化は、
利用できない。ICPは、非ICP符号化モードのICPモード部分において、完全にス
イッチを切ってもよいし、または、ICPは、単に、第1および第2のコンポーネント信
号の固定されたもの1つだけに関して利用してもよい。ICPモード部分は、単一の画像
、単一の画像シーケンスまたは単一スライスまたは連続して符号化された画像、画像シー
ケンスまたはスライスであり得る。
本発明の実施形態によるマルチソースICPのサブピクチャ粒度のパラメータ化に関与
することができる少なくとも一つの非ICP符号化モード、任意の付加的な信号の送信オ
ーバーヘッドと符号化モード複数のソースICPの並置によって、そして、非ICP符号
化モードに関連して符号化複数のソースICPの場合において増加し得るビデオの部分に
制限することができ、少なくとも1つの非ICP符号化モードと、複数のソースICP符
号化モードを並置することにより、任意の付加的な信号化オーバーヘッドは、ここで、本
発明の実施形態に係るマルチソースICPのサブピクチャ粒度のパラメータ化に関与する
ことができ、そして、それは、非ICP符号化モードに関連する複数のソースICP符号
化モードの場合に増加することができ、この付加的な信号の送信オーバーヘッドは、コン
ポーネント間予測のために利用できる複数のコンポーネントのソースによって得られた符
号化効率の向上によって過補償されたビデオの部分に制限されることがある。
【0008】
実施例によれば、第1のコンポーネントは、輝度であり、第2のコンポーネントは第1
のクロマ成分であり、そして、第3のコンポーネントは、第2のクロマ成分である。その
場合、輝度成分を基礎とした第2のクロマ成分および更なる第1のクロマ成分の合同のコ
ンポーネント間予測は、例えば、変換およびエントロピー符号化を使用して符号化される
残余を非相関することを改善する。
【0009】
実施形態によれば、データストリーム内の明示的なICPソース信号化は、再構築され
た第1のコンポーネント信号の空間的に対応する部分からコンポーネント間予測を使って
いるマルチコンポーネント画像またはビデオの現在の画像の中の第3のコンポーネント信
号を再構築すること、および、再構築された第2のコンポーネント信号の空間的に対応す
る部分からコンポーネント間予測を使っているマルチコンポーネント画像またはビデオの
現在の画像の中の第3のコンポーネント信号を再構築することの間で、サブピクチャ粒度
で、切り替わるように使われる。信号の送信オーバーヘッドにもかかわらず、この手段に
よって利用可能な予測の改善により、信号の送信オーバーヘッドを過補償する。それによ
って、より高い符号化効率をもたらす。あるいは、暗黙の潜在している信号化を用いても
よい。使われる信号の送信のタイプにかかわりなく、サブピクチャ粒度は、すなわち、第
3のコンポーネント信号の再構築が空間的、時間的との間の切り替え、および/または視
点間予測モードの間で切り替わる粒度と一致する可能性がある。第3のコンポーネント信
号を再構築することでの空間的、時間的および/またはインタビュー予測モードの間のス
イッチング並びに第1のコンポーネント信号に基づく稼働ICPと第2のコンポーネント
信号の間のスイッチングは、それぞれ、予測ブロックの単位または、別の表現を用いて、
符号化ユニットを用いて実行することができる。代替的に、変換ブロックを使用すること
ができる。
【0010】
ICPは、線形予測を使って実行することができる。この際、データストリームのIC
P予測パラメータの信号の送信は、再構築された第1のコンポーネント信号と再構築され
た第2のコンポーネント信号がサブピクチャ粒度でコンポーネント間予測に線形に関与す
る重さを変えるように用いることが可能である。すなわち、2つの重み付けは、2つのソ
ースを使用して、両方の加重和がコンポーネント間予測を得るように、サブピクチャ粒度
でデータストリームにおいて送信することが可能であり、その内の一方は、再構築された
第1のコンポーネント信号および再構築された第2のコンポーネント信号のための重み付
けを示し、もう一方は、その他の重み付けのシグナリングの信号を送信する。それにもか
かわらず、十分な非相関性の向上を達成しながら、線形予測を使用して、ICP予測パラ
メータ信号のオーバーヘッドは妥当なコストで維持することができる。上記のように、重
み付けは、予測ブロック単位でデータストリームにおいてシグナリングまたはブロックを
変換することができる。重み付けのために利用可能な値は、ゼロの周りに分配されてもよ
いし、ゼロを含むことができる。
【0011】
実施形態によれば、直前に概説したICP予測パラメータ信号化は、ICPソースイン
ジケータの条件付き信号の送信を含むことができる。この措置により、ICP予測パラメ
ータ信号の送信に関連したシグナリングオーバーヘッドがさらに低減される。
【0012】
重み付けの符号が符号に従いコンテキストモデリングを用いて、その後、符号化されて
いる重み付けの絶対値で最初に符号化されるように、ICP予測パラメータの信号の送信
は、ある意味では重み付けの符号化を含む。この処置によって、絶対値がそうである場合
があるエントロピーの符号化/復号化に用いられる可能性は、符号に依存して設定するこ
とができ、それによって、用いられる使われる確率のより近い適合のために、改善された
圧縮率に終わる。
【0013】
本発明の実施形態によれば、コンポーネント間予測は、コンポーネント間方法の第3の
コンポーネント信号を再構築する際に用いられる空間的、時間的および/または視点間予
測残差の予測上へ適用される。換言すれば、コンポーネント間予測は、第3のコンポーネ
ント信号の、空間的、時間的および/またはコンポーネント間予測と比較して、一種の第
2段階の予測を表している。同様に、再構成された第1のコンポーネント信号と再構成さ
れた第2のコンポーネント信号は、マルチコンポーネント画像またはビデオ信号の第1お
よび第2のコンポーネントに対して行うコンポーネント間の空間的、時間的および/また
は視点間予測の予測残差を表すことができる。
【0014】
コンポーネント間予測は、空間領域またはスペクトル領域で実行することができる。
【0015】
他の実施形態によれば、データストリーム内の明確なICPソースの信号の送信は、第
1のサブピクチャ粒度で利用できるICPソースを切り替えるために用いられる。その一
方で、ICPは、シグナリングICPソースに関して実行された方法により、予測モデル
を調整するために、データストリーム内のICP予測パラメータの信号の送信が使われる
。そこにおいて、明示的なICPソースの信号の送信のエントロピー符号化/復号化は、
第2の粒度でICP予測パラメータの信号の送信に従って調整される予測モデルの予測パ
ラメータに依存しているコンテキストモデルの使用法を含む。この計測によって、両方の
信号の送信間の相関は、すなわちICPソースを信号化し、ICP予測パラメータの信号
の送信をすることにより、さらなる信号のシグナリングオーバーヘッドを減少させるため
に利用することができる。
【0016】
さらなる実施形態によれば、再構成された第3のコンポーネント信号と再構成された第
2のコンポーネント信号をスワップするように、データストリームにおけるスワップ信号
の送信が用いられる。例えば、1つの画像の範囲内で1つのサブブロックが第2のクロマ
成分を予測しているコンポーネント間予測のための利用できる輝度および第1のクロマ成
分を有するように、例えば、1つの画像の範囲内で、スワップ信号の送信は、第1の、第
2の、および、第3のコンポーネントの中のサブピクチャ粒度で命令を変える。その一方
で、他のサブブロックは第1のクロマ成分を予測しているコンポーネント間で使用可能な
輝度成分および第2のクロマ成分を有している。
【0017】
実施形態によれば、画像の特定のブロックのためのICPソースインジケータの符号化
は、第3のコンポーネントおよび第2のコンポーネントのためのICP予測パラメータの
信号の送信のために、以前に符号化されたICPの予測パラメータの信号の送信の差に依
存してレンダリングされる。差分が所定の限度を超えた場合に、ICPソースインジケー
タは、各ブロックについて存在しない。ICPソースインジケータは、その場合には、第
3のコンポーネント信号に対するICPソースとして再構成された第2のコンポーネント
信号を示すために推測することができる。換言すると、現在のブロックのために送信され
るICPの予測パラメータは、第2および第3のコンポーネントに関する限り、ICPの
ように十分に類似している場合、すべてのコンポーネントのコンポーネント信号は、第3
のコンポーネントのためのICPのための基準を示すICPソースインジケータと極めて
類似していると仮定することができる。そして、ICP予測パラメータが異なる場合には
、第2のコンポーネントのためのICPの代わりに基礎として第1のコンポーネントを使
用しながら、第3のコンポーネントのためにICPを基礎として第2のコンポーネントを
使用すると仮定することができる。第1のケースは、RGB色成分の場合に発生しやすく
なり、そして、可能性がより高い第2のケースは、YCC色成分の場合に発生しやすくな
る。この計測によって、符号化効率は、ICPシグナリングのためのサイド情報オーバー
ヘッドを低下させることによって、増加させることができる。
【0018】
本発明の実施形態の有利な実装形態は、従属請求項の主題である。
本発明の好ましい実施形態は、図面に関連して以下に記載されている。
【図面の簡単な説明】
【0019】
【
図1】
図1は、本出願の実施形態に係るデコーダのブロック図を示す。
【
図2】
図2は、コンポーネント間予測残差にICPを適用し、本出願の実施形態のデコーダのブロック図を示す。
【
図3】
図3は、実施形態に係る
図1のデコーダに適合するエンコーダのブロック図を示す。
【
図4】
図4は、実施形態に係る
図2のデコーダに適合するエンコーダのブロック図を示す。
【
図5A】
図5Aは、複数のソースICPの信号の送信が、複数のソースICPのオン/オフを切り替え可能である実施形態の概略図を示す。
【
図5B】
図5Bは、ICPの信号化が、重み付けおよびICPソースインジケータの形でICP予測モードパラメータを含む、実施形態に係るマルチソースICPモジュールの実施形態のブロック図を示す。
【
図5C】
図5Cは、ICPの信号の送信が、利用可能なICPソース当たりの重み付けの形態におけるICP予測モードパラメータを含む、実施形態に係るマルチソースICPモジュールの実施形態のブロック図を示す。
【
図5D】
図5Dは、
図5Bおよび5Cに従って空間領域において実行されるマルチソースICPによって、マルチソースICPモジュールのための実施例のブロック図を示す。
【
図5E】
図5Eは、
図5Bおよび5Cに従って空間領域において実行されるマルチソースICPによって、マルチソースICPモジュールのための実施例のブロック図を示す。
【
図5F】
図5Fは、
図5Bおよび5Cに従って空間領域において実行されるマルチソースICPによって、マルチソースICPモジュールのための実施例のブロック図を示す。
【
図5G】
図5Gは、
図5Bおよび5Cに従って空間領域において実行されるマルチソースICPによって、マルチソースICPモジュールのための実施例のブロック図を示す。
【
図6】
図6は、第3のコンポーネントのためのICPパラメータデータが、重み付けとソースフラグを含む実施形態に従ったデコーダおよびエンコーダにおけるICPパラメータデータの処理のフロー図を示す。
【
図7】
図7は、ICPパラメータデータが利用可能なICPソースの加重和の重み付けを備えた実施の形態に従った第3のコンポーネントのためのICPパラメータデータの処理のフロー図を示す。
【
図8】
図8は、ICP効率を向上させるために、スワップコンポーネントを使用した場合の第2および第3のコンポーネントのためのICPパラメータデータの処理を例示しているブロック線図を示す。
【
図9】
図9は、異なる粒度でソースフラグおよび重み付けをシグナリングする可能性を示すための画像の概略図を示す。
【発明を実施するための形態】
【0020】
図1は、本出願の実施形態に係るデコーダのブロック図を示す。デコーダは、一般的に
参照符号10を用いて示されており、空間データストリームからの異なるコンポーネント
に関して、シーンをサンプリングするマルチコンポーネントビデオを復号化するように構
成されている。特に、デコーダ10において、データストリーム12は、デコーダ10に
入る入力と、復号により再構築されるようにマルチコンポーネントビデオが出力される出
力、すなわち出力14とを含む。
図1は、例示的に、時間軸が水平に延びると共に他方を
上にして配置されたものであるように、1つの時刻に属する画像18を図示することによ
って、各時刻のための3つの成分A、BおよびCの1つ毎に1つの画像18を含むように
、16でマルチコンポーネントビデオを例示している。しかしながら、3つ以上のコンポ
ーネントが存在し得ることに留意すべきである。上記で概説し、以下にさらに概説するよ
うに、コンポーネントA、BおよびCは、R、GおよびB又は1つの輝度および2つのク
ロマ成分等の色成分とすることができる。あるいは、しかしながら、コンポーネントは、
例えば、可視波長範囲などの外側に存在する他の波長に関連するコンポーネントとして、
シーンの別の特性に関連していてもよい。また、コンポーネントは、シーンの電磁スペク
トルのうち周波数またはその断片に限定されるものではない。むしろ、コンポーネントは
、例えば、反射率等のためのような他の物理パラメータに少なくとも部分的に、例えば、
関連することができる。
図1は、異なるコンポーネントの画像18が同じサイズであり、
それに応じて空間的に同じ空間解像度でシーンをサンプリングすることを示唆するが、空
間分解能は、コンポーネント間で異なっていてもよい。後者の状況は、原理的にも、時間
分解能に適用することができる。つまり、画像レートは、コンポーネントA~C間で異な
る可能性がある。異なっていない場合には、用語「画像」は、代わりに、一般的に一度の
時刻ですべてのコンポーネントA~Cのサンプルを示すために使用することができる。
【0021】
内部的に、デコーダ10は、データストリーム12からマルチコンポーネントビデオ1
6の第1のコンポーネントAに関する第1のコンポーネント信号22を再構成するための
第1のモジュール20を含み、同様に、データストリーム12からマルチコンポーネント
ビデオ16の第2のコンポーネントBに関する第2のコンポーネント信号26を再構成す
るための第2のモジュール24、および、マルチコンポーネントビデオ16の第3のコン
ポーネントCに関する第3のコンポーネント信号30を再構成するためのモジュール28
を含み、後者のモジュール28は、第1のコンポーネント信号および第3のコンポーネン
ト信号30を再構成する第2のコンポーネントの信号22および26からのコンポーネン
ト間予測を使用するために、第1および第2のモジュール20および24の出力に接続さ
れた入力を有する。モジュール28は、コンポーネントCに関する第3のコンポーネント
信号を再構築するために、第1および第2のコンポーネントAおよびBの信号22および
26を使用するように、モジュール28によって用いられるコンポーネント間予測を向上
させることができ、これにより、
図1のデコーダ10が帰属するコーデックによって、達
成可能な符号化効率を上昇させる。
【0022】
以下にさらに詳細に概説されるように、モジュール24、20および28は、実際には
、各成分A、BおよびCのための1つのそのようなハイブリッド系の復号化ブランチが存
在して、ハイブリッドベースの復号化ブランチの部分とすることができる。
図1において
、符号化分岐32
Aは、モジュール20を含み、データストリーム12からの第1のコン
ポーネントAを再構築するように構成され、符号化分岐32
Bは、モジュール24を含み
、データストリーム12からのコンポーネントBを再構築するように構成され、復号化分
岐32
Cは、モジュール28を含み、データストリーム12からのコンポーネントCを再
構築するように構成されていて、そのような復号化分岐は、点線32
A、32
Bと32
Cに
よって例示されている。特に、下で更に詳細に概説されるように、モジュール20と24
で再建されて、モジュール28でコンポーネント間予測のために用いられる第1および第
2のコンポーネント信号22および26は、実際に、予測残差を表わすことができる。再
構成された第1のコンポーネント信号22は、例えば、分岐部32
Aを復号化することに
よって実行されるコンポーネント間予測の予測残差、すなわち、単独のコンポーネントA
の画像18の既に再構成された部分に基づいて、モジュール20によって実行されるコン
ポーネント間予測の予測残差を表すことができ、コンポーネント間予測は、空間的、時間
的、および/または視点間予測であってもよい。同様に、第2のコンポーネント信号26
は、復号化分岐32
Bを実行することによって行われるコンポーネント間予測の予測残差
を意味することができる。すなわち、単にコンポーネントBの画像18の既に再構成され
た部分に基づくだけの予測残差を表すことができる。そこにおいて、このコンポーネント
間予測は、空間的、時間的、および/または視点間予測である場合がある、同様に、再構
成された第3のコンポーネント信号30は、復号化分岐32
Cを実行することにより行う
コンポーネント間予測の予測残差を意味することができる。すなわち、単にコンポーネン
トCの画像18の既に再構成された部分に基づいてだけ行う予測残差を表わすことができ
る。そこにおいて、このコンポーネント間予測はまた、空間的、時間的、および/または
視点間予測であってもよい。すなわち、空間的、時間的および/または視点間予測が用い
られるかどうかにかかわらず、モジュール20、24や28で実行され視点間予測は、予
測モードに関して変化してもよい。たとえば、予測モードは、コーディング装置、あるい
は、別の文言を用いると、予測ブロック、すなわち、それぞれの符号化装置またはデータ
ストリーム12内に信号を送るために用いられる予測モードを有する画像18の下位部分
の単位で変化する。予測モードは、一般的にコンポーネントA、BおよびCについて、ま
たは個別に、または、さらにもっと、一方では第1のコンポーネントA、別途、他方では
第2および第3のコンポーネントBおよびCについて、データストリーム12にシグナリ
ングすることができる。データストリーム12でこのコンポーネント間予測の信号の送信
に加えて、モジュール20、24および28は、コンポーネントに特有の信号が送られた
予測残余のデータを受信する。予測残差データは、スペクトル分解の変換係数の形で、ま
たは空間領域において残留サンプルの形で、変換領域内のデータストリームに送信するこ
とができる。スペクトル領域において信号が送られる場合、コンポーネント間予測は、空
間領域および/またはスペクトル領域において実行することもできる。データストリーム
12のICP領域インジケータは、コンポーネント間予測が実行された領域を変化させる
ことができる。例えば、前記の予測ブロックの単位において、または、前記のスペクトル
分解が実行される単位の変換ブロックの単位においてなど、ICP領域インジケータは、
例えば、画像シーケンス、1つの画像またはサブピクチャ粒度で領域を変化させることが
できる。
【0023】
モジュール24がコンポーネント間予測、すなわち、モジュール20の出力からモジュ
ール24の入力まで通じている破線の分岐によって示される再構築された第1のコンポー
ネント信号20を基礎としたコンポーネント間予測を用いることもできることは、後述す
る。すなわち、モジュール24は、コンポーネントBの範囲内でコンポーネント間予測の
ための予測残差を受信するように、第1~第2のコンポーネント、すなわち、A~BのI
CP予測の予測残差信号として、信号が送られた残差信号を受信することができる。IC
P予測が第1のコンポーネント信号22を基礎としてあって、第3のコンポーネントCに
関するICPのためのモジュール28により用いられる第2のコンポーネント信号26は
、結合されるか、まだ結合されないコンポーネントBへの信号が送られた残査信号を基礎
としたモジュールの24の再構築の結果であり得る。
【0024】
また、以下でより詳細に概説されるように、ICPの予測モジュール28によって実行
される(および必要に応じてモジュール24によって)パラメータを受けることができる
。このパラメータ表示は、例えば、第1および第2のコンポーネント信号22および26
を基礎として、サブピクチャ粒度で第1のコンポーネント信号22、第2のコンポーネン
ト信号26およびそれらの組み合わせの中の選択に関して、例えば、第3のコンポーネン
トまたは同様のもののICP予測に、第1および第2のコンポーネント信号22および2
6が貢献する重み付けに関して、加重和の形でモジュール28のICPを変更する。さら
に、データストリーム内で複数の送信元のICP信号化は、モジュール28内のICPの
ための第1のコンポーネント信号22に加えて、第2のコンポーネント信号26の一般的
な可用性または使用不能をシグナリングすることができる。このような複数のソースIC
Pの信号化の範囲は、完全なビデオ、単一の画像または時刻または画像や時間インスタン
スまたはスライスの配列またはスライスのシーケンスに関連してもよい。
【0025】
特定の可能性がモジュール28のICPがどのようにデータストリーム12でそれぞれ
の信号の送信によって、どのようにしてパラメータ化され、変化することができるかにつ
いて、どれによって議論されるかについて、さらに概説されるいろいろな具体化の理解を
容易にするために、
図2は、
図1のデコーダのより具体的な実施例を示すデコーダの一実
施形態、すなわち、構成している信号22、26と30が、個々の復号化分岐32
A~3
2
Cの中で実行されるコンポーネント間予測の予測残差に関するものである。
図2を説明
した後に、
図3および4は
図1および2の実施例に適合しているエンコーダの実施形態を
簡潔に提示している。そして、
図1~4の実施例を調整することに関するいろいろな実施
形態例の詳細は、以降の図に関して記述されている。
【0026】
図2は、モジュール20、24および28に加えて、それぞれ、コンポーネント間予測
器34
A、34
Bおよび34
Cを備える3つの復号化分岐32
A~32
Cと、それぞれ、コン
ポーネント信号22、26および30を組み合わせるコンバイナ36
A、36
Bおよび36
Cと、予測器34
A、34
Bおよび34
Cによるコンポーネント間予測信号の出力と、モジュ
ール20、24および28による出力とを備え、
図1に従って構成されたデコーダ10を
示している。具体的には、復号化ブランチ32
Aのコンポーネント間予測器34
Aは、順々
に、再構築されたコンポーネントA、すなわちビデオの画像のコンポーネントAに関する
サンプル値をもたらすように再構築された第1のコンポーネント信号22によりコンバイ
ナ36
Aで結合されるコンポーネント間予測信号40
Aを生み出すように、コンポーネント
A、すなわち38
Aのためのコンポーネント間予測パラメータを介して制御される。モジ
ュール20は、先に述べたように、たとえばエントロピー符号化を使用して、空間または
スペクトルな領域において送られる第1のコンポーネント残差データ42
Aにより、デー
タストリーム12を介して供給される。同様に、コンポーネント間予測34
Bは、そこか
ら、モジュール24で出力される再構築された第2のコンポーネント信号26でコンバイ
ナ36Bによって順番に結合される第2のコンポーネント間予測信号40
Bを定めるよう
に、データストリーム12でコンポーネントB、すなわち、38
Bのコンポーネント間予
測パラメータによって制御される。モジュール24は、残差データ42
Aのように局所的
に適用される変換の残差サンプルの形態で、またはスペクトル分解の変換係数の形で空間
領域にデータストリーム12中に存在することができるように、第2のコンポーネントの
残差データ42
Bによって供給される。しかしながら、
図2に示された実施形態によれば
、モジュール24は、第1のコンポーネント信号22に基づいてモジュール24で適用さ
れるコンポーネント間予測を変化させるように、データストリーム12に存在する、すな
わち、44
B、第2のコンポーネントのために、ICPパラメータデータを介して、さら
に制御される。このオプションは、先に述べたように、任意に除外することができる。特
に、モジュール24は、第2のコンポーネント信号26を得るために、信号22と、デー
タ42
Bからの残差信号、すなわち、コンポーネントBのための信号が送られた残差信号
を、内部的に結合する。そして、それはコンポーネントBのためのコンポーネント間予測
を形成して、それから、従って、ビデオの画像の第2のコンポーネントのサンプルをもた
らすように、コンバイナ26
Bによって第2のコンポーネント間予測信号40
Bと結合され
る。
【0027】
復号化ブランチ32
Bと同様に、復号化ブランチ32Cを復号する第3のコンポーネン
ト間予測器34
Cは、コンポーネント間予測を実行して、コンポーネント間予測信号40
C
を引き出すように、データストリーム12内に存在するコンポーネント間予測パラメータ
44
Cを介して制御される。そして、それは、第3のコンポーネント信号30で順番にコ
ンバイナ26
Cによって組み合わされる。データストリーム12で第3のコンポーネント
残差データ42Cに基づいて残留して、そして、第3のコンポーネント、すなわち、デー
タストリーム12の44
Cのためのコンポーネント間パラメータデータを介して制御され
ているモジュール28のコンポーネント間予測により第1および第2のコンポーネント信
号22および26に基づくコンポーネント間予測を用いている内部予測として、モジュー
ル28は、第3のコンポーネント信号30を生み出す。例えば掛け算など、他の組合せが
同様に用いることができるように、コンバイナ36
A~36
Cの組合せは、
図2で図示され
るように、追加として実行され得る。
【0028】
上で発表されるように、
図3および4は、対応するエンコーダ、すなわち
図1および2
に示されるデコーダに適合しているエンコーダの実施例をそれぞれ示す。
図3は、
図1の
デコーダ10に対応するエンコーダ100を示す。エンコーダ100は、
図1に示すよう
に、データストリーム12に同じ符号化するために、異なるコンポーネントA、Bおよび
Cに関して空間的にサンプリングされ、ビデオ16を受信する。この目的のために、エン
コーダ100は、
図1に対応するように構成されている。この対応により、エンコーダ1
00の要素は、単に、その100が、デコーダの対応する要素のそれぞれの参照符号に加
えられるという点でだけ、デコーダに関して使われるそれらと異なる参照符号を使用して
参照する。したがって、
図3のエンコーダ100は、それぞれのコンポーネントのための
コンポーネントA、BおよびCの各々のために、それぞれのモジュール、すなわち、モジ
ュール120、124および128を含み、そこにおいて、モジュール120は、データ
ストリーム12に第1のコンポーネント信号22を符号化するためのものであり、モジュ
ール124は、データストリーム12に第2のコンポーネント信号26を符号化するため
のものであり、モジュール128は、データストリーム12に第3のコンポーネント信号
30を符号化するためのものであり、そこで、モジュール128は、第1および第2のコ
ンポーネント信号22および26から、コンポーネント間予測を用いている。ちょうど先
に述べたように、信号22、26と30は、残差信号、すなわち、コンポーネントに特有
の符号化分岐132
A、132
Bおよび132
C内で実行されるコンポーネント間予測の残
差信号をそれぞれ表すことができる。
【0029】
したがって、
図4は、
図2のデコーダに対応する
図3のエンコーダのより特定の実施例
を示す。これに対応して、
図4のエンコーダ100は、3つのコンポーネントに特有の符
号化分岐132
A、132
Bおよび132
Cを含み、そして、それぞれ、各々がコンポーネ
ント間予測134
A、134
B、134
Cと、残差前者136
A、134
B、134
Cと、それ
ぞれのモジュール120、124、128とを含む。コンポーネント間予測134
A~1
34
Cに関する限り、それらは、デコーダ側における各予測子34
A~34
Cと同様に作用
する。それらは、コンポーネント間予測として、コンポーネント間予測パラメータ38
A
~34
Cに関して存在しているだけの違いで、ビデオ16のそれぞれのコンポーネントの
既に符号化された部分に基づいて、それぞれのコンポーネント間予測信号40
A、40
Bお
よび40
Cを生成している。予測子34
A~34
Cが後者によって制御される間、たとえば
、予測器134
A~134
Cは、率/歪曲最適化センスまたはその種の他のもので同じこと
を調節する。それから、残差形付け136
A~136
Cは、それぞれ、のモジュール120
、124および128で、データストリーム12内に符号化された損失性方法であるそれ
ぞれの第1の命令のコンポーネント間予測信号120、124および130を得るように
、コンポーネント間予測信号40
A~40
Cとビデオ16とのそれぞれのコンポーネントの
同じ位置に配置された部分の間で予測残差を形成している。それぞれの第1の命令予測残
差信号122、すなわち、モジュール120で持ち出される符号化損失から解放される、
第1の命令予測残差信号122の再構築バージョンは、データストリーム12に予測残差
信号126を符号化するように、それから、コンポーネント間予測の根拠としてのモジュ
ール124により用いられる信号22である。符号化の結果として、モジュール120は
、第1のコンポーネント残差データ42
Aを生成し、そして、それから、それはデータス
トリーム12に挿入される。同様に、モジュール124は、インバウンド残差信号126
を符号化することの結果として、第2のコンポーネント残差データ42BとICPパラメ
ータデータ44
Bを生成し、そして、それから、それはデータストリーム12に挿入され
る。後者のデータに基づいて、残差信号126の再構築可能なバージョン、すなわち、デ
ータストリームに第1の命令残差信号130を符号化することへの残差信号22と一緒の
コンポーネント間予測のためのモジュール128により用いられる再構築可能なバージョ
ン26は、引き出すことが可能である。モジュール128を符号化することの結果として
、モジュール128はICPパラメータデータ44
Cとそれぞれの残差データ42
Cを出力
する。
【0030】
図1~4に関してデコーダおよびエンコーダの様々な実施例を記述した後に、モジュー
ル28と128により、それぞれ実行される2つのソースICP予測を適応させる方法に
関して、種々の可能性に関するものである種々の具体化が記述される。しかし、それの前
に、簡単に迂回路は、ハイブリッドビデオを圧縮している方式のための例証としてH.2
65/HEVCになされ、そして、但し、2つのソースICP予測から生じている利点に
動機づけするために、以下で概説される全体の説明は、H.265/HEVCの拡張に限定
されるものと扱われるべきではない。むしろ、以下の説明は、単に手本となって時々明確
にH.265/HEVCに言及するだけである。
【0031】
H.265/HEVCのようなハイブリッドビデオ圧縮方式の場合、予測信号は時間的ま
たは空間または視点間予測(予測符号化)を使用して発生す、そして、それから、結果と
して生じる予測(残差と呼ばれる)は変わって、量子化されて、デコーダ(変換符号化)
に送信される。コンポーネント間予測(ICP)のためのいくつかのエントリポイントは
、可能である。例えば、ICPは、第1のサンプル値の上へ適用することができる。
図1
~4の実施例に関して、これは、ICP(すなわち、信号22および26)のソースが必
ずしもコンポーネント間予測の残差でもよいというわけではないことを意味する。むしろ
、それらは、直接、第1のソース信号、すなわちビデオ16、に関連し得る。すなわち、
空間領域の、または、ICPはスペクトル領域でオリジナル信号、すなわち、ビデオ16
、の上で実行される。すなわち、スペクトル分解の変換係数、例えば画像の変換ブロック
を単位にして局所的に適用されるDCTなどの変換係数、または、ウェーブレット変換係
数に関して、実行される。実施とアプリケーション効率面のために、すなわち同じことを
改善するために、しかし、ICPは、記述されて、たとえば、
図2および4に関して、上
で例示されるコンポーネント間予測の残差信号上へ実行することができる。このような方
法については、アフィン予測が複雑な理由のために使用することができる。さらに、簡略
化したものは、線形予測につながる。後者の場合には、予測の唯一の勾配が、それぞれ、
ICPパラメータデータ44
Bおよび44
Cの一部としてビットストリーム内の予測パラメ
ータとして送信しなければならないことがある。しかしながら、さらに、以下に概説する
実施例の拡張は、容易にアフィン変換またはより複雑な予測に拡張することができる。
【0032】
線形予測器を使用して、残差のためのICPのアプローチは、通常、以下のように、明
確に述べることができる。
r'(x,y)=rB(x,y)+α×r0(x,y)
【0033】
上記の式で、r'(x,y)は、空間位置(x,y),rB(x,y)のコンポーネントBの
ための最終的な残差サンプル値であり、すなわち、上記の式で、r'(x,y)は、空間位
置(x,y),rB(x,y)のコンポーネントBのための最終的な残差サンプル値であり、
すなわち、ビットストリーム、44Bに含まれるコンポーネントBのための予測パラメー
タα、および、r0(x,y)から得られるコンポーネントBのための復号化/シグナリン
グされた残差サンプルである。そして、予測ソース内の同じ空間位置にコンポーネントA
の再構築された残差サンプルは、r0(x,y)が、rB(x,y)、すなわち、シグナリング
されたコンポーネントAの残差を供給する。αが浮動小数点値でありえる点に注意してく
ださい。
【0034】
例えば、デコーダの実施形態のモジュール24を参照してください。モジュール24は
、予測ソースr0として残差信号22を用いて、ICPパラメータデータ44Bの中でシグ
ナリングされるαを使っている同上に乗算して、コンポーネントB、すなわち26、すな
わち、r'のためのコンポーネント間予測残差を引き出すように、残差データ42B、すな
わち、rBに由来するシグナリングされた残差信号を加えるという点で、モジュール24
はICPを適用することができる。
【0035】
実施態様のために、浮動小数点値は、整数値にマッピングすることができる。例えば、
浮動小数点値αは包括的に、-1と1の間の範囲にあることが許容され得る。精度のため
の3つのビット精度を使用して、式は以下のように書き換えることができる。
r'(x,y)=rB(x,y)+(α×r0(x,y))≫3
【0036】
右シフト演算は、正確に3の累乗への2による除算である。したがって、浮動小数点α
は、以下の整数値をとることができる。
α∈[0,±1,±2,±3,±4,±5,±6,±7,±8]
【0037】
また、実施面のために、αは、以下の値に制限することができる。
α∈[0,±1,±2,±4,±8]
【0038】
つまり、最後のマッピングによって、例えば、デコーダまたはさらに具体的にはモジュ
ール24がαdによって、以下の通りに、整数値を有するαを再こうちくすることができ
て、ビットストリーム、すなわち、実はデータストリーム12のICPパラメータデータ
44Bの中に含まれるもの、からの復号化値である。
α=1≪αd
【0039】
モジュール24に関して代表として上で説明されるICPアプローチは、たとえば3つ
のモジュールまたはファセットにそれ自体分割することができる。第1のファセットは、
予測ソースを指定し、第2のファセットは、予測モデルを指定し、第3と最後のファセッ
トは、ICP予測パラメータまたは、さらに具体的には、予測モデルパラメータを指定す
る。上記の式を考慮すると、予測ソースは、r0であり、それから、予測モデルは、入力
と同じソースコンポーネントの空間位置を用いた線形予測因子であり、唯一の予測モデル
パラメータはαである。
【0040】
第2および第3のファセット/モジュールとの間の強い依存性が存在する。このような
依存関係性の例は、再び、入力と同じもう一つのコンポーネント、すなわち、予測ソース
の空間位置を用いた単純な線形予測であろう。この例では、同じ空間位置を用いた線形予
測に対する制限のために、唯一の予測(モデル)パラメータが必要であるため、これ単一
の予測パラメータ、すなわちαだけは、ビットストリームで送信される必要がある。予測
ソースと予測モデルとの間の相互作用もある。通常、輝度残差は、予測ソースとして採用
される。これは、例えば、コンポーネントAとして、輝度を用いた場合のモジュール24
に関して、そして、コンポーネントBとしての第1のクロマ成分に関して、事実である。
しかしながら、利用可能なすべてのコンポーネントは、予測ソースとして使用される場合
は、適切な予測、すなわち、両方のコンポーネントからのサンプルを含む予測を使用する
必要がある。これは、モジュール28のための場合である。このモジュールは利用できる
2つのコンポーネント、すなわち、コンポーネントAおよびBを2つの予測ソース、すな
わち、コンポーネンドAおよびBとして、輝度成分および第1のクロマ成分で同じ例にと
どまらせている。例えば、線形予測は、その代わりに2つのモデルパラメータが必要とな
る。より正確であるために、モジュール28のために用いることができる線形予測は、以
下の通りに定義することができる。
r''(x,y)=rC(x,y)+α0×r0(x,y)+α1×r1(x,y)
【0041】
つまり、モジュール28に関する限り、2つの予測ソースは利用できる。すなわち、信
号22および26である。信号22は、r0であり、そして、信号26は、r1である。つ
まり、ICPのためのモジュール28は、信号22と26の同じ位置に配置された部分を
利用できるようにして、現在、ICPは信号30、すなわち、r’の部分を予測した。特
に、残りのデータ42C、すなわち、rCから得られるように、モジュール28は、これら
の同じ位置に配置された部分、すなわち、α0によって重み付けされる信号22とα1によ
って重み付けされる信号26の加重和をシグナリングされた残差の追加によって修正され
ている加重和で用いる。
【0042】
モジュール28と24の関係が関係する限り、以下は注意される。
図2および4の実線
によって示されるように、モジュール24は第1のコンポーネント信号22および26が
ICP予測および送信された第2のコンポーネント残差データ42
Bとの組合せによって
得られるという第2のコンポーネント信号を基礎としてICPを使用することができる。
すなわち、r'はモジュール28によって実行されるICPの基礎、すなわち1つの予測
ソースとして役立つことができる。すなわち、r'は、r
1として用いることができる。し
かし、上で記述されもしたように、選択肢に従って、モジュール24はICPを用いない
。その場合、
図2および4において、一方での、モジュールの20の出力とモジュール2
4との間の接続は、他方では、除外される(またはモジュール120と124との間で)
。その場合、r
1は、r
Bである。さらなる実施形態では、r
1がコンポーネントAに基づ
いてICPを用いたモジュール26にもかかわらずr
Bと等しいために選ばれるという点
で、
図2および4の実施形態は、修正することができる。その場合、
図2の中でモジュー
ル24からモジュール28まで通じている矢は、コンバイナ36Bに至っている出力以外
のモジュール24のさらなる出力から始まっている。
【0043】
このように、上で概説される具体化に従って、可能性は、ICPのために複数の予測ソ
ースを用いるために提供され、そこにおいて、ICP方式の動作特性は、より高い圧縮効
率を達成するためにさらに拡張される。以下に、様々な詳細は、今まで記述された、むし
ろ一般的な複数の予測ソースICPに関して提示される。以下の説明では、先ず、複数の
ソースICPの可能性のあるグローバルなシグナリングを扱っている。それから、いろい
ろな具体化に従う複数のソースICPの局所的なシグナリングは、対処される。それから
、複数のソースICPのための追加の依存関係と、画像と、ビデオ圧縮アプリケーション
のための高効率化を可能にするさらなる技術が、記述されている。
【0044】
ICPのための複数のソースの一種のグローバルなシグナリングは、複数のソースIC
P方法がオンまたはオフにされることができるという可能性を含む。複数のソースICP
が適切なレベルにおいて送信されるグローバルなフラグを用いて許可されるとき、たとえ
ば、さらなるビットまたは一連のビットは送信される。なぜならば、各々はブロックまた
は各々の予測装置または符号化装置を変換し、そして、その使用をシグナリングする。グ
ローバルなフラグは、データストリームの一種の複数のソースICP信号の送信が複数の
ソースICP符号化モードおよび少なくとも1つの非ICP符号化モードを含む一組のI
CP符号化モードの種々のICP符号化モードとの間に切り替わっていることを示してい
る。様々な複数のソースICP符号化モードが同様にあり得る。そして、例えば、ICP
領域、すなわち、空間的またはスペクトル領域、その他の調整力において異なる。したが
って、グローバルなフラグは、さらに1つ以上の予測パラメータに関して、予測モデルを
特定している単一ビットまたは一連のビットであり得る。「各々のために送信されるさら
なるビットまたは一連のビットは、ブロック、または各々の予測装置、または符号化装置
を変える。」そして、許可されている複数のソースICPの場合には、前記のICPパラ
メータデータ44Cのための例は、あり得る。
【0045】
グローバルなフラグは、パラメータが H.265/HEVCの中で、または、セット
される画像パラメータにおいてセットされるシーケンスパラメータのような セットした
シーケンスにおいて、または、スライスヘッダにおいてさえ送信することができる。精度
は、追加ツールの使用状況によって異なり、例えば、タイルまたは波面処理のために、両
方の並列処理のためのさらに異なるレベルのシグナリングさえ可能である。例えば、複数
のソースICPは、全体のビデオシーケンスのために有効にすることができるが、シーケ
ンス内の特定のコンテンツの無効化がある可能性がある。そのような例を考えると、ピク
チャパラメータセットのグローバルフラグは、例えば、シーケンスパラメータセット中の
フラグを上書きすることになる。
【0046】
このように、本実施形態によれば、要約すると、デコーダ10は、マルチコンポーネン
トビデオ16の異なるICPモード部分202のために、複数のソースICP符号化モー
ドおよび非ICP符号化モードを含む一組のICP符号化モードのICP符号化モードと
の間に切り替わるように、エンコーダ100により、データストリーム12に挿入された
複数のソースICPの信号の送信200に応答するように構成することができる。
【0047】
マルチソースICP符号化モードによれば、コンポーネント間予測は、信号の送信がデ
ータストリーム12の中で、はっきりと、または、暗黙のうちにされて、第1および第2
のコンポーネント信号22および26の空間的に対応する部分204および206のシグ
ナリングされたものに基づいて実行される。あるいは、複数のソースICP符号化モード
は、空間的に対応する部分204および206の加重和のような組合せに基づいて、コン
ポーネントCの第3のコンポーネント信号30を予測しているコンポーネント間予測を含
む。より正確であるために、複数のソースICP符号化モードが使用可能である場合、図
5Aの複数のソースICP信号化200がビデオ16の中間のICPモード部分のために
シグナリングすると想像する。その場合、たとえば、モジュール28と128は、それぞ
れ、コンポーネントCのブロック単位のためのICPを実行することができる。そして、
それは、例えば予測ブロックまたはその種の他のものである。そこにおいて、ICPパラ
メータデータ44Cは、それぞれのブロック208が空間的に対応する部分204か、空
間的に対応する部分206からコンポーネント間予測であるかどうかについて、これらの
ブロック208のために示している。あるいは、中間の部分202の範囲内の画像のブロ
ック208で、第3のコンポーネント信号30は、204および206の両方の部分の組
合せから予測される。それから、各々の部分208が、例えば、それぞれのブロック20
8のためのコンポーネント間予測を与えている部分204および206の加重和の重み付
けを示している重み付けの要因α0およびα1に関して、同じ位置に配置された部分204
および206からのコンポーネント間予測である方法を、ICPパラメータデータ44C
は示すことができる。
【0048】
非ICP符号化モードでは、コンポーネント間予測が、それぞれのICPモード部20
2に利用できない場合がある。したがって、そのようなICPモード部のために、ICP
パラメータデータ44Cは、データストリーム12に存在する必要はない。代替として、
このようなICPモード部202のために、コンポーネント間予測は、コンポーネントA
およびBの一定されたものの内の1つから、それぞれのモジュール28および128によ
って実行することができる。例えば、そのような非ICP符号化モード部202のブロッ
ク208は、コンポーネントAの同じ位置に配置されたブロック204から予測されるI
CPである場合がある。または、全体のブロック208は、同じ位置に配置されたブロッ
ク206からのコンポーネント間予測である場合がある。しかし、ブロック208間のス
イッチングは可能でない。すなわち、部分202の範囲内の全てのどちらのブロック20
8でもコンポーネントAのブロック204からのコンポーネント間予測である。または、
部分202の範囲内の全てのブロック208は、コンポーネントBのそれぞれの同じ位置
に配置されたブロック206からのコンポーネント間予測である。
【0049】
すでに上で述べられるように、ICPモード部202は画像シーケンス、個々の画像、
またはスライス、または一連のスライスでもよい。上記したように、複数のソースICP
符号化モードが可能にされるICPモード部202のために、ICPパラメータデータは
44Cが、例えば、部分208のための2つの重み付けの要因α0およびα1を含む。その
一方で、非ICP符号化モードが、動作中であるICPモード部202のために、ICP
パラメータデータ44Cは存在しない。あるいは、ブロック208のためのICPパラメ
ータデータ信号44Cは、単に、重み付けの要因α0およびα1の内の1つだけが、それぞ
れの部分202内の全てのブロック208のために零に設定されている。
【0050】
いくつかの可能性が、ICPのための複数のソースのローカルシグナリングのために存
在する。たとえば、複数のソースICPが使われる場合、予測ソースのための決定210
は、
図5Bで分かるように、ICPデータ44
Cの一部として局所的に送信され得る。例
えば、たとえば、コンポーネントA、BおよびCは、たとえば輝度、第1のクロマと第2
のクロマである場合がある。それから、ICPパラメータデータ44
Cは、コンポーネン
ト間予測が、輝度、すなわちAか第1のクロマ成分、すなわち、Bであるかどうか、それ
ぞれのブロック208のために示している210のフラッグを含む。ブロック208は、
符号化ブロック、予測ブロックまたは変換ブロックでもよい。符号化ブロックは、たとえ
ば、コンポーネント間予測のパラメータ38
Cが、空間的および時間的予測との間に切り
替わるブロックである。予測ブロックは、コンポーネント間予測パラメータ38
Cが、そ
れぞれの予測ブロックが一部である符号化ブロックのために信号化される種類の予測と関
連した予測パラメータに信号を送るかまたは変化させるブロックであってもよい。例えば
、もし、空間予測が符号化ブロックのためにシグナリングされるならば、予測ブロックの
ための予測パラメータ、または、その符号化ブロックの予測ブロックは、それぞれの予測
ブロックがミンポネントCの隣接したすでに復号化/符号化された部分から空間的に予測
されることになっている空間方向に沿って信号化することができる。そして、それぞれの
予測ブロックが帰属する符号化ブロックのために信号化されている時間的予測モードが生
じた場合、予測ブロックは、予測パラメータとして運動ベクトルを信号化することができ
る。変換ブロックは、コンポーネントCのためのコンポーネント間予測が、スペクトル分
解されたブロックであってもよい。この事については、予測のためのソースが輝度か第1
のクロマ成分であるかどうか示しているフラグ210が結合することがあり得たか、他の
ICP予測パラメータ212、例えば予測重み付けαから独立していることがありえたか
の点に留意する必要がある。そして、それは、ICP予測ソースを形成しているコンポー
ネントAの場合、α
0として、また、ICP予測ソースを形成しているコンポーネントB
の場合、α
1として用いられる。予測ソースは、常に、このような重み付けとして、予測
パラメータ(s)の後にシグナリングされるとき、たとえば、依存関係は与えられる。一
方では、ソースが常に予測ブロックまたは符号化ブロックのためにフラグ210としてシ
グナリングされるとき、独立したケースがなされ得る。しかし、ICP予測パラメータ2
12は、変換ブロックごとに送信される。
【0051】
上記の例を考えると、予測ソースを示すフラグ210のようなコンポーネントCのブロ
ック208のためにのみ送信されてもよく、例えば、第2のクロマ成分のブロックを変換
するためのみ送信されてもよい。ICP予測ソースがブロック208のための重みαが零
と等しくなくしながら、ICPパラメータデータ44Cの範囲内で信号化されるというI
CP予測の場合にだけ、ICPパラメータデータ44Cの一部として、ブロック208の
ためにシグナリングすることができる。そして、ICP予測は、コンポーネントCのブロ
ック208のために実行されなければならないことを意味する。複数のソースのための条
件が与えられた2つの状況がある。第1のコンポーネント、例えば輝度成分と、第2のコ
ンポーネント、例えば第1のクロマ成分のそれぞれの変換ブロックが残差を継承するとき
、第1の状況が起こる。第1のクロマ成分がゼロ値の残差値のみを含む間、輝度変換ブロ
ックが残差を継承するときに、第2の状況は与えられている。しかし、輝度は、変換ブロ
ックから予測される。
【0052】
ICP予測ソースを示しているフラグ210のために、固定コンテキストモデルは、使
用することができる。複数のソースが発生する状況への依存も、2つの異なるコンテキス
トモデルに結果としてなって、可能である。さらに、そのような重み付けのような他のI
CP予測パラメータ(複数可)212に依存して存在する可能性があり、例えば、負のα
は、正のαとは異なるコンテキストモデルになることがある。もう一つの可能性は、αの
絶対値への依存性である。この例では、2より大きい絶対値αは、αが同等または2未満
である場合より、異なるコンテキストモデルの使用法をもたらす。
【0053】
したがって、たとえば
図6に例示される実施例に示すように、ICP予測データ44C
は、ICPソース指標210によって条件付きで、ICPパラメータ212として、コン
ポーネントCのそれぞれのブロック208のための重さαを示している。したがって、図
6は、モジュール28および128に応じて、それぞれ、ステップ220において、IC
Pパラメータデータ44
Cへ/から、αを読み取り/書き込む。そして、αが実際にゼロ
であることをαがゼロに等しいかどうかをチェック222が明らかになった場合には、I
CPパラメータデータ44
Cは、このブロック208のためのさらなるICPパラメータ
データを含む。そして、224に示されるように、ICPはコンポーネントAとBのいず
に基づいてもブロック208のために実行されない。しかし、αがゼロでない場合には、
ICPパラメータデータ44Cはステップ226または228でICPパラメータデータ
44Cから読み込まれるか、それに書かれるソースフラグ212としてICP予測ソース
またはブロック208のための信号を含む。
【0054】
例示の目的のために、
図6は、ここで、ステップ220のαが所定の基準を満たすか否
かに応じて、異なるコンテキストは、ソースフラグを復号化/エントロピー符号化のため
に使用される可能性を示しており、その状況は、229でチェックされる。上記したよう
に、αの絶対値が、所定値、例えば2よりも大きい場合、または、αが負等であるかどう
かにかかわらず、基準は満たされてもよい。しかし、既に、上記したように、αの上でソ
ースフラグを復号化/符号化するために使用されるコンテキストの依存性は、単にオプシ
ョンであり、それに応じてステップ229および228は、代替的な実施形態に従って除
外することができる。ステップ226または228が適用されるかどうかにかかわりなく
、零と異なるαについては、ICP予測の場合、α
0が第1のコンポーネントAであるこ
とを供給して、ICPはステップ220のαを用いて実行され、あるいは、ICP予測ソ
ースの場合、α
1がソースフラグでステップ230の第2のコンポーネントBであること
を示している。
【0055】
このように、
図6を要約して、ICPパラメータデータ44Cは、各々のブロック20
8、すなわち、212のために、データストリーム12にブロック208(すなわち21
2)に符号化される1つの重みαを有することができる。ステップ220の符号化/復号
化は、隣接ブロックのαに基づいて、空間予測を必要とすることができる。また、ICP
パラメータデータ44Cは、このブロック208のためのαの値に応じて、ブロック20
8のデータストリーム12内に符号化されたソースフラグ210を有することができ、こ
の符号化は、エントロピー符号化を含んでもよく、特定のコンテキスト適応型エントロピ
ーに、この現在のブロック208のためのαに依存するコンテキストを使用して符号化す
ることができる。したがって、ステップ226と228は、コンテキスト適応可能なエン
トロピー符号化/復号化を含むことができる。ステップ230は、α
0とα
1を含む上記の
確認された方式の適用を必要とする。α
0およびα
1の他は、例えばゼロであるように設定
される。
【0056】
拡張ICP技術は、次に記載されている。特に、複数のソースは、コンポーネントCの
場合と同様に利用可能であるとき、可能なICP予測は、予測、すなわち、コンポーネン
トAとBの両方のコンポーネントを受け入れることができる。線形ICP予測を用いる場
合、ICP予測パラメータ212は、上述したように線形結合されている各構成要素の結
果またはこの結果により、2回のICP予測の重み付けを指定しなければならない。
【0057】
図5cおよび7は、ICPパラメータデータ44Cが、それぞれ、上記の確認された式
に従ってステップ236で適用されている同じことで、ステップ232と234で読んだ
り書いたり(リード/ライト)されるブロック208ごとに2つの重みα
0とα
1を含むか
を、信号を送信する可能性を、例示している。
【0058】
完全を期すために、
図5D~5Gは、既に、上述した状況を示している。すなわち、モ
ジュール28のICPは、スペクトル領域またはスペクトル領域内の42Cで残差信号が
シグナリングされたコンポーネントCによる空間領域において、すなわち、変換係数、例
えば変換ブロックまたはその種の他のもののDCT係数または他の変換係数の形で、実行
することができる。空間領域の複数のソースICPを実行することは、
図5Bおよび5C
の実施例のモジュール28を使用している
図5Dおよび5Eの実施例において、それぞれ
、ベースとして、例示されている。図示されているように、信号24および22は、空間
的に対応する形で、すなわち、同じ位置に配置されて到達する。サンプルは、それぞれ、
重みα
0およびα
1によって増やされて、そして、それぞれのもので合計され、すなわち、
連結される。サンプルは、信号30を与えるように到着している変換係数42
Cの上へ適
用される逆の変換によって得られる。スペクトル領域の複数のソースICPを実行するこ
とは、それぞれ、基礎として、再び、
図5Bおよび5Cの実施例のモジュールを使用して
いる
図5Fおよび5Gにおいて例示されている。ここで示されているように、信号24お
よび22が、空間的に一致する、すなわち同じ位置に配置される形で、到達することがで
きて、 サンプルは、それらが(前に)変換217を前提としてどのケースでもよいか、
同じことのスペクトル分解を得るために、すなわち、係数を変える。あるいは、信号20
および24は、すでに変換領域に到着する。変換217は、例えば、コンポーネントAと
CとBとCとの間の変換ブロックのミスアライメントの場合には、それぞれ、必要であり
得る。信号20および24の係数は、それぞれ、重みα
0およびα
1によって乗算されて、
そして、それぞれであるもの、すなわち、スペクトルに対応して、42
Cから得られるよ
うに係数によって、それぞれ、合計される。それから、合計された係数は、信号30を与
えるために、逆変換216を受ける。
【0059】
圧縮効率を改善するためのさらなるアプローチは、ICPのためのコンポーネント交換
である。この方法によれば、構文要素はICPパラメータデータ44Cの範囲内で信号化
することができる。そして、残差の正しい順序を特定する。この例では、3つの変換ブロ
ックは、例えば、空間的に対応する部分が各コンポーネントA、BおよびCのための1つ
のために再構築される。そして、ICPは使用することができる。第1および第2のコン
ポーネントまたは第1のおよび第3のコンポーネントさえ交換することも、可能である。
ICPと複数のソースICPとの組み合わせで、特に意味のあるこの適応コンポーネント
のスイッチは、より少ないプレリュードコストとエネルギーの低減を可能にする。例えば
、アプリケーションは、2つのクロマ成分BおよびCの切り替えを許可している。この実
施例において、輝度からの2つのクロマ成分BおよびC、すなわち、コンポーネントAの
予測は、結果として、同じコストをもたらす。しかし、第1のクロマ成分を用いた第2の
クロマ成分の予測は、より多くのオーバーヘッドを必要とするが、第2のクロマ成分を用
いた第1のクロマ成分の予測は、より少ないビットを必要として、低い経費に終わる。
【0060】
これは、
図8に再び示されている。
図8は、第1、第2、および第3のコンポーネント
の残留データ42
A、42
Bおよび42
Cが、それぞれ、ステップ240、242および2
44で、リード/ライトされていることを示している。そこにおいて、モジュール24と
28と124と128によるICPは、それぞれ、すなわち、246は、スワップ信号化
248、第1のコンポーネントを基礎として実行されるICPのための重み、すなわちα
を含む、ICPパラメータデータ44
Bおよび44
Cによって制御される。そして、それは
、第2のコンポーネントのためのICPパラメータデータ44
Bと、第2および第3のコ
ンポーネント間でICPのために使用される重み、すなわち、第3のコンポーネントのた
めのICPパラメータデータ44
Cから取得されるα
1から取得される。スワップ信号化に
応じて、送信された残差信号42
A~42
Cは、連続線または破線に従ってICP246に
結合される。図から見ることができるように、第2コンポーネント信号26は、ICPに
よって第1のコンポーネントまたは第3のコンポーネントを基礎としてスワップ信号化に
応じて得られる、そして、同様に、第3のコンポーネント信号30は、ICPによって第
1のコンポーネントまたは第2のコンポーネントを基礎として得られる。実線で例示され
る非交換されたケースにおいて、ICPパラメータデータの重みαおよびα
1は、それら
の意味のままである、すなわち、それらは第2のコンポーネント信号26および第3のコ
ンポーネント信号30のICP予測をそれぞれ制御する。しかし、点線によって示される
交換されたケースにおいて、ICPパラメータデータの重みαおよびα
1は、それぞれ、
第1ステージおよび第2ステージのICP予測を制御するように、解釈し直される。IC
Pパラメータデータの重みαは、第1のステージICPに言及され、そして、ICPパラ
メータデータの重みα
1は、第1のステージICPに言及される。交換されない場合、再
解釈は何も変えない。しかし、交換されたケースにおいて、第3のコンポーネント信号3
0は、第2のコンポーネント信号26の前に予測されるコンポーネント間予測である。そ
の結果、ICPパラメータデータ重みα
1は、実質的に、第2のコンポーネント信号26
を予測しているコンポーネント間予測のために使われる。言い換えると、スワップされた
状態では、コンポーネント間予測に関する限り、第2のコンポーネントBは、前もって、
第3のコンポーネントCとその逆の役割を引き受けている。
【0061】
データ44
CのICPパラメータデータの重みα
1が、さらなるデータ、例えばICPパ
ラメータデータの重みα
0またはソースインジケータ212を伴うかもしれないという点
で、
図8の実施例が以前のものと結合することができる点に注意されたい。データ44
C
が第2のステージICPに言及する、すなわち、信号がICPを受ける第2のコンポーネ
ントのために、これが信号26または30であるどうか、解釈し直される。2つのソース
は、スワップ信号化248にかかわりなく、両方のケースで利用できる。そして、ICP
パラメータデータの重みα
0は、両方のケースでコンポーネントAに基づいて、ICPを
支配するのに用いることができる。そして、非交換されたケースのコンポーネントAおよ
びB間に、そして、交換されたケースのコンポーネントAおよびC間に、それぞれ、切り
替わるように、ソースインジケータは解釈することができる。
【0062】
さらに、
図8に類似した方法では、前記の切換フラグを色空間変化、すなわち、色空間
の間のスイッチングをシグナリングしているフラグに変えることは可能である。コンポー
ネントごとに、ICP予測パラメータα
0またはα
1は送信される。そして、上記の通りに
局所的に変化する。さらに、色領域変更フラグは、色領域が変わることになっているかど
うか、局所的に指し示す。変わらない場合、第2のおよび第3のコンポーネントBおよび
Cは、例えば、それぞれ、2つの彩度コンポーネントを明らかにするように、α
0または
α
1を使用しているAから個々に予測される。そして、コンポーネントAは、ちょうど先
に述べられたように、輝度とみなされる。しかし、たとえば、色の変化が起こることがシ
グナリングされるならば、それぞれ、BとCがα
0またはα
1を用いてAから個々に予測さ
れて、それから、それらが色空間の変化への変換を一般に受ける、そして、それは、たと
えば、ABC色空間を線形にYCC色空間に変える。コンポーネントBが、例えば、色空
間変化が生じた場合だけAから予測されない間、それは、たとえば、色空間変化が生じた
場合AとCから事実上予測される。あるいは、シグナリングされた色空間ABCをYCC
色空間にマップピングしている2種類以上の色の変化の変換は、利用できるかもしれなく
て、シグナルゼーション248を介して切り替えられる。このように、局所的に様々な方
法では、ABCコンポーネントが送信される色空間は、2つ以上の色空間の間で変わるこ
とができ、そして、信号の送信248によってシグナリングされるように、YCCに対す
る変化は変化でないと色変換との間で変化する。信号の送信248は、ICP予測パラメ
ータ信号が行なわれる単位以上の符号化装置のデータストリームにおいて送信することが
できる。そして、例えば、それはブロックを変換する。このように、α
0またはα
1は、コ
ンポーネントBおよびCのために、変換ブロックのような第1のブロックで送信される。
Bのために送信される残査r
Bは、r
B’=r
B+α
0・r
Aに従うコンポーネントAのため
に送信される残査r
Aと結合される。そして、同様に、Cのために送信される残差r
Cは、
r
B’=r
B+α
1・r
Aに従うr
Aと結合される。予測残差信号(22、26、30)は、
簡単にするためにTを付し、または直接YCCの予測残差信号として、すなわち、(r
Y
,r
C1,r
C2)
T=T・(r
A,r
B’,rC’)
Tまたは(r
Y,r
C1,r
C2)
T=(r
A、r
B’,r
C’)
Tのいずれかの残差を採用することにより、最終的にどちらかのYCC色に
RGB変換と同様とすることができる色変換によって得られる。色空間変換Tが適用され
るかどうかは、信号の送信248を介して制御される。
【0063】
前述のデータ44Bまたは44CにおけるICP予測パラメータαまたはα0またはα1の
符号化は、上記の通りに重み付けの微小な値の整数ノミネータのシグナリングを使用して
符号化することができるか、またはさらに改善することさえできる。ICPがR'G'B'
で色空間において適用されるときに、αの値は、代表として、αまたはα0またはα1のい
ずれかのために使われ、主に正の比較的大きい値であり、すなわち、浮動小数点精度で、
1または0.5である。一方で、Y'CbCrのために、αの値は、多くの場合、ゼロ値を
中心に、比較的小さい。非対称のマッピングとαの規制は、圧縮比に関してさらに効率を
改善するために使用することができる。観察を考えると、αのマッピングは、以下の通り
である。
α∈{0,±1,±2,+4,+8}またはα∈{0,±1,+2,+4,+8}
【0064】
それがαの最大許容された値を順序で識別する点に注意し、αの徴候はビットストリー
ムで最初に送られなければならない。対称形のマッピングで命令が無関係な場合には、す
なわち、記号はαの絶対値の伝送の後に、送信することができる。さらに、αの絶対値は
、αの正および負の値の発生の頻度のための異なる確率分布を占めるように、αの徴候に
応じてコンテキストモデリングを使用しているエントロピー符号化による符号化/復号化
であり得る。
【0065】
以下のいくつかの実施形態では、さらに具体的に説明されています。
【0066】
実施例によれば、例えば、2つの予測ソースの場合、それが上で示される実施例のケー
スであったので、ICP予測パラメータ212およびこのフラグ210の仕様が指し示し
た後、どの予測ソースが使用されなければならないか、フラグ210(上の
図6のソース
フラグと呼ばれている)は送信される。なお、この実施例のために、予測ソースフラグ2
10は、予測が適用されなければならないときに必要なだけである。そして、それはIC
P予測パラメータに由来することができる。
【0067】
さらなる態様において、それぞれのブロック208、例えば予測ブロックのそれぞれの
ネスト化された変換ブロックの特定のICP予測パラメータ212から、指し示している
ソースフラグ210は、どの予測ソースが使用されなければならないか、予測ユニットご
とに常に送信される。この好ましい実施例において、予測ブロックレベルのαのようなI
CP予測パラメータ212を送信することも可能な点に、留意する必要がある。
【0068】
他の本発明の好ましい実施例において、それぞれに符号化ブロックのネスト化された変
換ブロックの特定の予測パラメータから、指し示しているフラグは、どの予測ソースが就
業者(すなわちソース・フラグ)でなければならないか、符号化ブロックごとに常に送信
される。この好ましい実施例において、予測ブロックレベルまたは符号化ブロックレベル
のICP予測パラメータを送信することも可能な点に、留意する必要がある。
【0069】
図9は、実例として正しく概説された可能性を例示する。特に、上記の通りに、ICP
パラメータデータ44Cは、2つのコンポーネント、すなわち、ICP予測パラメータ2
12、例えば重みαおよび無条件で符号化ICPソースフラグ210を含むことができる
。
図6において表されるより、既に、上で概説されるように、ステップ220および22
2の間に位置するために、ステップ226、228および229は、再編成される。そこ
において、ステップ228および229は無視することさえあり得る。いずれにせよ、図
9において、ICPパラメータデータ44Cは、ICP予測ソースがシグナリングする精
度が、ICP予測パラメータαが送信される精度より粗いという可能性を例示する。特に
、
図9の連続線によって示されるICPソースフラグは、ブロック250を単位にして送
信されると共に、ICP予測パラメータαはICP予測パラメータデータ44Cにおいて
、サブブロック252、すなわちブロック250の下位分割を単位にして示される。
図9
は、矩形の画像18のブロック250および252を例示すると共に、他の形状のブロッ
クが同様に用いることができる点に、留意する必要がある。
【0070】
さらなる実施形態において、予測ソースを示しているソースフラグ210は、それぞれ
のICP予測パラメータ212に連結することができる。例えば重み、すなわち、現在特
定されるICP予測パラメータは、ブロックまたは現在の予測ブロックまたは現在の符号
化ブロックさえを変換する。本実施例において、予測ソースを示しているソースフラグ2
10が線形予測の場合、唯一の予測パラメータは、0.25および+0.25の範囲(ま
たは、整数値を有するαのための―2および+2の範囲、または、より正確であるために
、整数は、そのノミネータを評価した)である場合だけ、しかし、全て込みで、符号化す
ることができる。例えば、
図6を参照。ここで、ICPパラメータまたはデータ44Cは
、零と異なるαだけの場合に、ソースフラグを復号化することを必要とする。加えて、ま
たは、あるいは、ソースフラグは、αで特定の値範囲(例えば―0.25~+0.25)
においてあることが上記に言及した場合に備えてだけ、両方ともすべてこみで、特定のブ
ロックのために、ICPパラメータデータ44
Cによって含まれることがある。αがその
範囲の外にある場合、ソースフラグは、明確にデータストリームの中で送信されなくて、
第1のコンポーネントAを例えばICP予測ソースと称するために例えば推定されないだ
ろう。たとえば、コンポーネントAが輝度成であり、コンポーネントBおよびCが2つの
クロマ成分であるならば、αの大きな絶対値は、第2のクロマ成分Cのための予測ソース
が他の第1のクロマ成分Bよりもむしろ輝度成分であるという暗示である。このように、
図6の中で、さらなるチェックは、αがソースフラグの伝送/読み込みを必要としている
値の範囲内にあるかどうかについてチェックして、222と229の間に位置します。そ
うでないなら、ソースフラグは、読んだり/書いたりされず、さもなければ、ステップ2
29にアクセスされる。
【0071】
他の実施形態では、予測ソースを示しているソースフラグが、第1のクロマ成分のIC
P予測パラメータに連結される。この具体例では、ICPパラメータデータ44B、すな
わち、αの同じ位置に配置されたブロックのための線形予測手段の場合、唯一のICP予
測パラメータが、-0.25および+0.25、または、-0.2および+0.2の間に
ある、または、価値範囲も違って選ばれるかもしれないとき、両方ともすべてこみで、予
測ソースを示しているICPパラメータデータ44
Cのソースフラグは、たとえば、コー
ド化/復号化される。例えば、チェックは
図7に加えられることができる。そして、それ
によれば、ICPパラメータデータ44
Bがそれぞれの同じ位置に配置されたブロックか
らのコンポーネントBのコンポーネント間予測が、重みαを使って実行されることを同じ
位置に配置されたブロックのために示すかどうかが、チェックされる。そして、それの大
きさは、たとえば、若干の予め定められた値を越えます。その場合は、これが、コンポー
ネントA、BおよびCが、第3のコンポーネントCがたぶんICPでなければならないと
いう場合が第2のコンポーネント、すなわち、推定の第1のクロマ成分を基礎として、そ
のように予測した。その場合、ソースフラグが推定されると、第2のコンポーネントをI
CP予測ソースと確認するために、YCCのような色空間に対応するという暗示として使
うことができる。しかしながら、同じ位置に配置するもののためのαの大きさがブロック
する場合、パラメータデータ44
Bは、予め定められた値より小さいというICP予測に
よって示されるように、ソースフラグは、ICPパラメータデータの一部として現行のブ
ロックのために信号44
Cが送られる。
【0072】
実施例によれば、予測ソースを示しているフラグのためのコンテキストモデルは、IC
P予測パラメータ、例えば重み付けから独立している。従って、1つの固定コンテキスト
モデルが使用される。これは、例えば
図6の説明に関して、ステップ228および229
が直接226につながっているチェック222のイエスパスによって無視することができ
ることを、意味する。
【0073】
しかしながら、もう一つの実施例では、ソースフラグのためのコンテキストモデルは、
ICP予測パラメータ、例えば重み付けに依存する。線形予測手段が使用されるとき、唯
一の予測パラメータならば、たとえば異なるコンテキストモデルが使われ得る。すなわち
、重み付けは、上で示したように整数値を有する予測パラメータの場合、例えば、-2お
よび2の両方とも全て込みの範囲である。
【0074】
さらに、線形予測手段の場合、唯一のICP予測パラメータが否定的であるならば、異
なるコンテキストモデルは使うことができる。これも、上で述べられた。
【0075】
複数の予測ソースの使用法は、例えば、セットされるシーケンスパラメータセットにお
いて送信されるフラグを使用して、オン/オフにすることができる。そして、そのことは
図5に関して上で述べられた。伝送は、しかしながら、画像パラメータセットにおいて、
または、スライスヘッダにおいて起こり得る。
【0076】
複数の予測ソースの使用法は、異なる階層的なレベルにおいて特定されることができる
。例えば、それは、シーケンスパラメータセットおよび画像パラメータセットにおいて特
定することができる。画像パラメータセットフラグが低いため、この好ましい実施形態は
、画像またはビデオシーケンスのフレームのための複数のソースICPを無効にする可能
性を可能にする。さらなる態様において、予測ソース、すなわちソースフラグを示してい
るフラグは、現行コンポーネントおよび以前のコンポーネントのICP予測パラメータ、
例えば重みのICP予測パラメータ、すなわち重み付けの相対的な違いに依存することが
できる。相対的な差が所定の限界値よりも大きい場合、フラグは、例えば、1に等しくな
るように引き出される。言い換えると、
図6の場合には、追加のチェックは、ダウンスト
リームチェック222が印加される。そこにおいて、ICPパラメータデータ44
Bによ
る同じ位置に配置されたブロックと関連した重みが予め定められた量より多くのものによ
って現在のブロックのために、ICPパラメータデータ44
Cのαと異なるかどうかにか
かわらず、それはこの付加的なチェックでチェックされる。イエスの場合は、これは、コ
ンポーネントA~Cは、互いにYCC色空間のように関連がある。そして、したがって、
ソースフラグが特定の第1のクロマ成分、すなわち、コンポーネントBをコンポーネント
CのICPのためのICPソースと特定することが推測することができるという暗示と、
これは解釈することができる。さもなければ、ソースフラグの読み取り/書き込みが実行
される。言い換えると、データ44
CのICP予測パラメータ信号の送信212に応答し
て、第3のコンポーネント予測パラメータαは、サブピクチャ粒度で変化することができ
る。そして、同様に、第2コンポーネント信号44
BのためのICP予測パラメータ信号
の送信に応答する。コンポーネント予測パラメータαは、サブピクチャ粒度で変化する。
このように、重み付けは、コンポーネントBのためのICPとコンポーネントCのための
マルチソースICPとの間で局所的に異なる場合がある。かくして、チェックは、第2の
コンポーネントおよび第3のコンポーネント予測パラメータが所定の限度を超えて異なる
場合に、例えば偏差の基準として、α値の違いまたは指数を用いるように実行することが
できる。上記のように制限を超えた場所については、ICPソースインジケータ210は
、そうでなければ、推論かもしれないが、それらは限界を超えて異なっていない場所のた
めに、ICPソースインジケータ210は、データ44
Cに存在してもよい。
【0077】
複数の予測ソースが利用可能である場合、
図7に関して上で概説したように、さらなる
実施形態によれば、ICPの予測パラメータ(単数または複数)は、2回の予測ソースの
加重組み合わせをサポートしている予測を特定して送信することができる。
【0078】
さらなる実施形態によれば、線形予測は、複数のソースICPのために使用され、IC
P予測パラメータが量子化される。本実施例において、唯一の絶対のICP予測パラメー
タは、省略された単一体のコードを用いて二値化されて、符号化される、そして、サイン
は別に送信される。サインは、最初に符号化されてもよい。そして、唯一の予測パラメー
タのサインに応じて、異なるコンテキストモデルは、バイナリ分解ビンのために使用する
ことができる。更なる具体化に従って、サインは最初にコード化される。そして、この好
ましい具体化でコード化されたサイン、つまり、パラメータが異なって実行されるという
予測の量子化に従い、最大の許容された予測パラメータは、0.25と1の間で、両方と
もすべてこみの範囲にあり得る。
【0079】
実施例によれば、フラグは、第2および第3のコンポーネントが交換されるかどうか、
指し示すことができる。これは、
図8に関して上で概説された。本実施形態では、第1の
彩度成分と関連する変換ブロックのために構成された残差は、第2のコンポーネントの残
差として扱うことができ、その逆もまた同じである。
【0080】
特定の実施形態の上記の説明に関して、同上がマルチコンポーネント画像の符号化に容
易に移転可能であることに留意されたい。
【0081】
いくつかの態様は、装置の前後関係の文脈で説明してきたが、これらの態様は、ブロッ
クまたは装置が、方法ステップまたは方法ステップの特徴に対応する方法の説明を表すこ
とは明らかである。類似して、方法ステップの前後関係でも記述される態様は、対応する
ブロックまたはアイテムの説明または対応する装置の特徴を意味する。方法ステップの一
部または全部は、例えばマイクロプロセッサのようなハードウェア装置(または使用)に
よって、プログラム可能なコンピュータまたは電子回路を実行することができる。いくつ
かの実施形態では、最も重要な方法ステップの若干の1つ以上は、この種の装置によって
実行することができる。
【0082】
発明のコード化された画像または映像信号は、デジタル記憶媒体に格納することができ
るか、または、伝送媒体、例えばワイヤレス伝送媒体、または、有線の伝送媒体、例えば
インターネット上に、送信することができる。
【0083】
特定の実施要件に応じて、本発明の実施例は、ハードウェアにおいて、または、ソフト
ウェアで実施することができる。実施は、その上に格納される電子的に読み込み可能な制
御信号を有するデジタル記憶媒体、例えばフロッピーディスク、DVD、Blu―レイ、
CD、ROM、PROM、EPROM、EEPROMまたはFLASHメモリを使用して
実行することができる。そして、それは、それぞれの方法を実行するように、プログラム
可能なコンピュータシステムと協働する(または協働することができる)。したがって、
デジタル記憶媒体は、読み取り可能なコンピュータであってもよい。
【0084】
本発明のいくつかの実施形態では、本明細書に記載のいずれかの方法を実行するように
プログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な
制御信号を有するデータ記憶媒体を含む。
【0085】
通常、本発明の実施例はプログラムコードを有するコンピュータプログラム製品として
実施されることができる。そして、プログラムコードは、方法のうちの1つを実行するた
めに、コンピュータプログラム製品がコンピュータで動くときに、実施されている。プロ
グラムコードは、機械読み取り可読キャリアに例えば格納することができる。
【0086】
他の実施例は、本願明細書において記載されていて、機械読み取り可読キャリアに格納
される方法のうちの1つを実行するためのコンピュータプログラムを含む。
【0087】
換言すれば、発明の方法の実施例は、従って、本願明細書において記載されている方法
のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである
。そのとき、コンピュータプログラムは、コンピュータで動く。
【0088】
したがって、発明の方法の更なる実施例は、その上に記録されて、ここに記述される方
法の1つを実行するためのコンピュータプログラムを含む、データ記憶媒体(またはデジ
タル記憶媒体またはコンピュータで読取り可能な媒体)である。データ記憶媒体、デジタ
ル記憶媒体または記録された媒体は、典型的に有形および/または非推移的である。
【0089】
発明の方法のさらなる実施例は、したがって、ここに記述される方法の1つを実行する
ためのコンピュータプログラムを意味しているデータストリームまたは一連の信号である
。データ流または信号のシーケンスは、例えばインターネットで転送されるように、例え
ばデータ通信接続を経て構成することができる。
【0090】
さらなる実施形態は、例えば、コンピュータ、またはプログラム可能な論理デバイスに
構成されるか、または本明細書に記載される方法のいずれかを実行するように適合する処
理手段を含む。
【0091】
さらなる実施形態では、本明細書に記載のいずれかの方法を実行するためのコンピュー
タプログラムをインストールしたコンピュータが含まれる。
【0092】
本発明のさらなる実施形態は、ここに記述される方法の1つを実行するためにコンピュ
ータプログラムをレシーバに移す(たとえば、電子的に、または、光学的に)ように構成
される装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル機器、
メモリデバイスなどであってもよい。装置またはシステムは、例えば、レシーバへのコン
ピュータプログラムを移送するためのファイルサーバを含むことができる。
【0093】
いくつかの実施形態では、本願明細書において記載されている方法の機能のいくらかま
たは全てを実行するために、プログラム可能な論理装置(例えばフィールド・プログラム
可能なゲート・アレイ)を用いることができる。いくつかの実施形態では、本願明細書に
おいて記載されている方法のうちの1つを実行するために、フィールド・プログラム可能
なゲート・アレイは、マイクロプロセッサと協同することができる。通常、方法は、いか
なるハードウェア装置によっても好ましくは実行される。
【0094】
本願明細書において記載されている装置は、ハードウェア装置を使用するか、またはコ
ンピュータを使用するか、またはハードウェア装置およびコンピュータの組合せを使用し
て、実施することができる。
【0095】
本願明細書において記載されている方法は、ハードウェア装置を使用するか、またはコ
ンピュータを使用するか、またはハードウェア装置およびコンピュータの組合せを使用し
て実行することができる。
【0096】
上記した実施例は、単に本発明の原理のために図示するだけである。本明細書に記載の
改変および配置のバリエーションおよび詳細は当業者には明らかであろうことが理解され
る。したがって、唯一の切迫した特許請求の範囲によってではなく、本明細書の実施例の
記述および説明のために提示される特定の詳細に限定されることを意図するものである。
【手続補正書】
【提出日】2024-11-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
マルチコンポーネントビデオの第1のコンポーネントに関連する第1のコンポーネント信号をデータストリームから再構築すること、
前記マルチコンポーネントビデオの第2のコンポーネントに関連する第2のコンポーネント信号を前記データストリームから再構築すること、
再構築された前記第1のコンポーネント信号および再構築された前記第2のコンポーネント信号からのコンポーネント間予測(ICP)を用いて、前記マルチコンポーネントビデオの第3のコンポーネントに関連する第3のコンポーネント信号を再構築すること、および
前記データストリーム内のICPソースフラグに応答して、
前記再構築された第1のコンポーネント信号の空間的に対応する部分からのコンポーネント間予測を使用して、前記マルチコンポーネントビデオの現在の画像において前記第3のコンポーネント信号を再構築することと、
前記再構築された第2のコンポーネント信号の空間的に対応する部分からのコンポーネント予測を使用して、前記マルチコンポーネントビデオの前記現在の画像において前記第3のコンポーネント信号を再構築することと
の間を、第1のサブ画像粒度で切り替えること
を含むオペレーションに基づいて、前記マルチコンポーネントビデオを復号化するためのプログラムを実行するように構成されたプロセッサを備える、デコーダ。
【請求項2】
前記デコーダは、前記データストリームにおけるマルチソースICP信号の送信に応答して、前記マルチコンポーネントビデオの異なるICPモード部分について、
(a)前記デコーダが、前記再構築された第1のコンポーネント信号および前記再構築された第2のコンポーネント信号の空間的に対応する部分のうちのシグナリングされたもの、またはこれらを組合せたものからのコンポーネント間予測を用いて、前記マルチコンポーネントビデオの現在の画像の現在のサブ部分において前記第3のコンポーネント信号(30)を再構築するように構成される、マルチソースICP符号化モード、および
(b)前記デコーダが、いかなるコンポーネント間予測も用いずに、前記マルチコンポーネントビデオの前記現在の画像の前記現在のサブ部分において前記第3のコンポーネント信号(30)を再構築するように構成される、非ICP符号化モードと、
(c)前記デコーダが、マルチソースICP信号の送信に応答して前記デコーダが固定単一ソースICP符号化モードに切り替わる前記マルチコンポーネントビデオの部分の各々において固定される、前記再構築された第1のコンポーネント信号および前記再構築された第2のコンポーネント信号のうちの固定された1つの空間的に対応する部分からのコンポーネント間予測を用いて、前記マルチコンポーネントビデオの前記現在の画像の前記現在のサブ部分において前記第3のコンポーネント信号を再構築するように構成される、固定単一ソースICP符号化モードとのうちの少なくとも1つ
を含むICP符号化モードのセットのうちのICP符号化モード間で切り替わるように構成される、
請求項1に記載のデコーダ。
【請求項3】
前記マルチソースICP信号の送信は、前記ICPモード部分が単一の画像、画像シーケンスまたはスライスであるように、前記データストリームでシグナリングされる、請求項2に記載のデコーダ。
【請求項4】
前記第1のコンポーネントは輝度コンポーネントであり、前記第2のコンポーネントは第1の彩度コンポーネントであり、前記第3のコンポーネントは第2の彩度コンポーネントである、請求項1に記載のデコーダ。
【請求項5】
前記デコーダは、前記マルチコンポーネントビデオの前記第3のコンポーネントに関連する前記第3のコンポーネント信号(30)の再構築を空間的、時間的および/または視点間予測を用いて実行するとともに、空間的、時間的および/または視点間予測モードの間を予測ブロックの単位で切り替わるように構成され、前記デコーダは、前記第1のサブ画像粒度が前記現在の画像を予測ブロックの単位で再分割するように構成される、請求項1に記載のデコーダ。
【請求項6】
前記デコーダは、前記マルチコンポーネントビデオの第3のコンポーネントに関連する前記第3のコンポーネント信号の再構築を、空間的、時間的および/または視点間予測を使用して、且つ、前記空間的、時間的、および/または視点間予測の予測残差を変換ブロック単位で逆変換することによって実行するように構成され、前記デコーダは、前記第1のサブ画像粒度が前記現在の画像を変換ブロックの単位で再分割するように構成される、請求項1に記載のデコーダ。
【請求項7】
前記デコーダは、前記マルチコンポーネントビデオの第3のコンポーネントに関連する前記第3のコンポーネント信号の再構築を空間的、時間的および/または視点間予測を用いて実行するとともに、前記コンポーネント間予測を前記空間的、時間的および/または視点間予測の予測残差に適用するように構成される、請求項1に記載のデコーダ。
【請求項8】
前記デコーダは、前記マルチコンポーネントビデオの前記第1および第2のコンポーネント信号に関して、イントラコンポーネント空間的、時間的および/または視点間予測を実行するように構成され、且つ、前記再構築された第1のコンポーネント信号および前記再構築された第2のコンポーネント信号が、前記マルチコンポーネントビデオの前記第1および第2のコンポーネント信号に関して実行された前記イントラコンポーネント空間的、時間的および/または視点間予測の予測残差であるように構成される、請求項7に記載のデコーダ。
【請求項9】
前記デコーダは、前記マルチコンポーネントビデオの第3のコンポーネントに関連する前記第3のコンポーネント信号の再構成を、イントラコンポーネント空間的、時間的および/または視点間予測を使用して、且つ、前記イントラコンポーネント空間的、時間的および/または視点間予測の予測残差をスペクトル領域から空間領域に逆変換することによって実行し、また、前記コンポーネント間予測を前記空間領域または前記スペクトル領域における前記予測残差に適用するように構成される、請求項1に記載のデコーダ。
【請求項10】
マルチコンポーネントビデオを復号化するための方法であって、前記方法は、
前記マルチコンポーネントビデオの第1のコンポーネントに関連する第1のコンポーネント信号をデータストリームから再構築するステップと、
前記マルチコンポーネントビデオの第2のコンポーネントに関連する第2のコンポーネント信号を前記データストリームから再構築するステップと、
再構築された前記第1のコンポーネント信号および再構築された前記第2のコンポーネント信号からのコンポーネント間予測を用いて、前記マルチコンポーネントビデオの第3のコンポーネントに関連する第3のコンポーネント信号を再構築するステップと、
前記データストリーム内のICPソースフラグに応答して、
前記再構築された第1のコンポーネント信号の空間的に対応する部分からのコンポーネント間予測を使用して、前記マルチコンポーネントビデオの現在の画像において前記第3のコンポーネント信号を再構築することと、
前記再構築された第1のコンポーネント信号の空間的に対応する部分からのコンポーネント間予測を使用して、前記マルチコンポーネントビデオの現在の画像において前記第3のコンポーネント信号を再構築することと
の間を第1のサブ画像粒度で切り替えるステップと
を含む、方法。
【請求項11】
マルチコンポーネントビデオの第1のコンポーネントに関連する第1のコンポーネント信号をデータストリームに符号化すること、
前記マルチコンポーネントビデオの第2のコンポーネントに関連する第2のコンポーネント信号を前記データストリームに符号化すること、
前記第1のコンポーネント信号および前記第2のコンポーネント信号からのコンポーネント間予測を用いて、前記マルチコンポーネントビデオの第3のコンポーネントに関連する第3のコンポーネント信号を符号化すること、
第1のサブ画像粒度で、
前記第1のコンポーネント信号の空間的に対応する部分からのコンポーネント間予測を用いて、前記マルチコンポーネントビデオの現在の画像において前記第3のコンポーネント信号を符号化することと、
前記第2のコンポーネント信号の空間的に対応する部分からのコンポーネント間予測を用いて、前記マルチコンポーネントビデオの前記現在の画像において前記第3のコンポーネント信号を符号化することと
の間で切り替えること、および
前記現在の画像内の前記第3のコンポーネント信号が、前記第1のコンポーネント信号からのコンポーネント間予測を用いて符号化されているか前記第2のコンポーネント信号からのコンポーネント間予測を用いて符号化されているかを示すICPソースフラグを前記データストリームに符号化すること
を含むオペレーションに基づいて、前記マルチコンポーネントビデオを符号化するためのプログラムを実行するように構成されたプロセッサを備える、エンコーダ。
【外国語明細書】