▶ フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェラインの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-01
(45)【発行日】2024-08-09
(54)【発明の名称】カラーフィルタアレイパターン画像の無相関化変換
(51)【国際特許分類】
H04N 1/64 20060101AFI20240802BHJP
H04N 19/85 20140101ALI20240802BHJP
H04N 23/12 20230101ALI20240802BHJP
【ＦＩ】
H04N1/64
H04N19/85
H04N23/12
【請求項の数】
22
(21)【出願番号】P 2022562823
(86)(22)【出願日】2020-04-16
(65)【公表番号】
(43)【公表日】2023-05-24
(86)【国際出願番号】 EP2020060790
(87)【国際公開番号】W WO2021209143
(87)【国際公開日】2021-10-21
【審査請求日】2022-12-12
(73)【特許権者】
【識別番号】500341779
【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100085660
【弁理士】
【氏名又は名称】鈴木 均
(74)【代理人】
【識別番号】100149892
【弁理士】
【氏名又は名称】小川 弥生
(74)【代理人】
【識別番号】100185672
【弁理士】
【氏名又は名称】池田 雅人
(72)【発明者】
【氏名】リヒター，トーマス
(72)【発明者】
【氏名】ミーヌート，クリスティアン
(72)【発明者】
【氏名】ニートゥッシュ，ミッヒャ
(72)【発明者】
【氏名】シェアル，クリスティアン
(72)【発明者】
【氏名】ヘップナー，ヴォルフガング
(72)【発明者】
【氏名】ヤシュケ，トビアス
(72)【発明者】
【氏名】フライスレーベン，マルクス
(72)【発明者】
【氏名】アーメッド，ビラル
【審査官】松永 隆志
(56)【参考文献】
【文献】特開２００２－０１０２７７（ＪＰ，Ａ）
【文献】特開２０１８－００６９９９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １／６４
Ｈ０４Ｎ １９／８５
Ｈ０４Ｎ ２３／１２
(57)【特許請求の範囲】
【請求項1】
画像表現（７０）をカラーフィルタアレイ（ＣＦＡ）パターン画像（１０）に復号するための装置（５００）であって、前記ＣＦＡパターン画像（１０）は、第１のチャンネルの第１のサンプル（１２）と、第２のチャンネルの第２のサンプル（１４）と、第３のチャンネルの第３のサンプル（１６）とを含み、
前記ＣＦＡパターン画像は、各々第１から第４のサンプル位置を含むサンプルクラスタ（２０）に分割され、前記第１のサンプル（１２）のうちの１つは前記第１のサンプル位置（２２）に位置し、前記第２のサンプル（１４）のうちの１つは前記第２のサンプル位置（２４）に位置し、２つの第３のサンプル（１６Ａ、１６Ｂ）は前記第３及び第４のサンプル位置（２６、２８）にそれぞれ位置し、
前記装置は、各サンプルクラスタ（２０）に関して、前記それぞれのサンプルクラスタ（２０’）の前記第１のサンプル位置（２２’）の第１の色座標（１１０’）、前記それぞれのサンプルクラスタ（２０’）の前記第２のサンプル位置（２４’）の第２の色座標（１２０’）、前記それぞれのサンプルクラスタ（２０’）の前記第３のサンプル位置（２６’）の第３の色座標（１３０’）、及び前記それぞれのサンプルクラスタ（２０’）の前記第４のサンプル位置（２８’）の第４の色座標（１４０’）を導出するように構成され、
前記装置は、
各サンプルクラスタの前記第３のサンプル位置（２６’）について、前記第３のサンプル位置における前記第３の色座標（１３０’）と、前記第３のサンプル位置（２６’）に隣接する第１及び第２のサンプル位置（２２、２４）に位置する第１及び第２の色座標（１１０、１２０）の第３の重み付き和（１３４’）を、前記第３の重み付き和（１３４’）の重みの和が１／２よりも大きくなるように形成することによって導出される第１のフィルタリング済み色座標（１３２’）との差を形成することによって、前記それぞれの第３のサンプル位置（２６’）における前記第３のサンプル（１６Ａ’）を計算し、
各サンプルクラスタの前記第４のサンプル位置について、前記第４のサンプル位置（２８’）における前記第４の色座標（１４０’）と、前記第４のサンプル位置（２８’）に隣接する第１及び第２のサンプル位置（２２、２４）に位置する第１及び第２の色座標（１１０、１２０）の第４の重み付き和（１４４’）を、前記第４の重み付き和（１４４’）の重みの和が１／２よりも大きくなるように形成することによって導出される第２のフィルタリング済み色座標（１４２’）との差を形成することによって、前記それぞれの第４のサンプル位置における前記第３のサンプルを計算し、
各サンプルクラスタ（２０’）の前記第１のサンプル位置（２２’）について、前記第１のサンプル位置（２２’）における前記第１の色座標（１１０’）と、前記第１のサンプル位置（２２’）に隣接する第３及び第４のサンプル位置（２６、２８）について計算された第３のサンプル（１６）の第１の重み付き和（１１４’）を形成することによって導出される第１のフィルタリング済み第３のサンプル値（１１２’）との総和を形成することによって、前記それぞれの第１のサンプル位置（２２’）における前記第１のサンプル（１２’）を計算し、
各サンプルクラスタ（２０’）の前記第２のサンプル位置（２４’）について、前記第２のサンプル位置（２４’）における前記第２の色座標（１２０’）と、前記第２のサンプル位置（２４’）に隣接する第３及び第４のサンプル位置（２６、２８）について計算された第３のサンプル（１６）の第２の重み付き和（１２４’）を形成することによって導出される第２のフィルタリング済み第３のサンプル値（１２２’）との総和を形成することによって、前記それぞれの第２のサンプル位置（２４’）における第２のサンプル（１４’）を計算する
ことによって、前記画像表現を前記ＣＦＡパターン画像に復号するように構成される、装置（５００）。
【請求項2】
前記第３及び第４の重み付き和（１３４’、１４４’）の前記重みは、第１の色座標（１１０）を重み付けするための第１の重みと、第２の色座標（１２０）を重み付けするための第２の重みとからなる、請求項１に記載の装置（５００）。
【請求項3】
前記第１の重みは２の第１の累乗として実装され、前記第２の重みは２の第２の累乗として実装され、２の前記第１及び第２の累乗の指数は整数である、請求項２に記載の装置（５００）。
【請求項4】
前記第１から第４のサンプル位置は、各々が交互に配置された第１のサンプル位置（２２）及び第３のサンプル位置（２６）を含む第１のタイプの行（５２）と、交互に配置された第２のサンプル位置（２４）及び第３のサンプル位置（２８）を含む第２のタイプの行（５４）とを有するアレイに配置され、前記第１のタイプの前記行及び前記第２のタイプの前記行は、前記アレイの列（６２、６４）に沿って交互に配置され、一方の前記第１のタイプの前記行内の前記第３のサンプル位置と、他方の前記第２のタイプの前記行内の前記第３のサンプル位置とは、異なる列（６２、６４）に位置する、請求項１から３のいずれか一項に記載の装置（５００）。
【請求項5】
前記装置は、等方性動作モード、垂直因果動作モード、及びストライプ動作モードのうちの少なくとも１つを含む動作モードのセットを含み、前記ＣＦＡパターン画像のエッジに位置するサンプルクラスタを除いて、前記装置は、前記それぞれのサンプルクラスタの前記サンプル位置のうちの１つについて前記色座標のうちの１つ又は複数を計算するために、
前記等方性動作モードでは、前記それぞれのサンプルクラスタが位置する１つ又は複数の現在の行（５６）内のサンプル位置に位置するサンプル、及び前記現在の行（５６）の上下の行に位置するサンプル、
前記垂直因果動作モードでは、前記現在の行内のサンプル位置に位置するサンプル、及び前記現在の行（５６）の上方の１つ又は複数の行に位置するサンプル、並びに
前記ストライプ動作モードでは、前記現在の行（５６）内のサンプル位置に位置するサンプル
を排他的に含むように構成される、請求項４に記載の装置（５００）。
【請求項6】
前記装置は、前記動作モードのセットのうちの１つを選択するように構成され、前記装置は、前記画像表現をシグナリングするデータストリームから前記画像表現を復号するために使用される前記動作モードを導出するように構成される、請求項５に記載の装置（５００）。
【請求項7】
前記第３及び第４の重み付き和（１３４’、１４４’）は、前記それぞれの第１及び第２の色座標（１１０、１２０）の均等重み付き平均である、請求項１から６のいずれか一項に記載の装置（５００）。
【請求項8】
丸め演算を使用して、前記第１の重み付き和（１１４’）から前記第１のフィルタリング済み第３のサンプル値（１１２’）を導出し、前記第２の重み付き和（１２４’）から前記第２のフィルタリング済み第３のサンプル値（１２２’）を導出し、前記第３の重み付き和（１３４’）から前記第１のフィルタリング済み色座標（１３２’）を導出し、前記第４の重み付き和（１４４’）から前記第２のフィルタリング済み色座標（１４２’）を導出するように構成される、請求項１から７のいずれか一項に記載の装置（５００）。
【請求項9】
各サンプルクラスタの前記第４のサンプル位置（２８’）について、前記第４のサンプル位置（２８’）における前記組み合わせ色座標（２６０）と、前記第４のサンプル位置（２８’）に隣接する第３のサンプル位置（２６）に位置する差分色座標（２６２）の第５の重み付き和（２５４’）を形成することによって導出されるフィルタリング済み差分色座標（２５０’）との差を形成することによって、前記それぞれの第４のサンプル位置（２８’）における前記第４の色座標（１４０）を計算し、各サンプルクラスタの前記第３のサンプル位置（２６’）について、前記第３のサンプル位置（２６’）における前記差分色座標（２５０）と、前記第３のサンプル位置（２６’）に隣接する第４のサンプル位置（２８）について計算された第４の色座標（２５２）の第６の重み付き和（２６４’）を形成することによって導出されるフィルタリング済み第４の色座標（１４０’）との総和を形成することによって、前記それぞれの第３のサンプル位置（２６’）における前記第３の色座標（１３０）を計算する
ことによって、前記第３及び第４の色座標（１３０、１４０）を導出するように構成される、請求項１から８のいずれか一項に記載の装置（５００）。
【請求項10】
丸め演算を使用して、前記第５の重み付き和（２５４’）から前記フィルタリング済み差分色座標（２６２’）を導出し、前記第６の重み付き和（２６４’）から前記フィルタリング済み第４の色座標（２５２’）を導出するように構成される、請求項８に記載の装置（５００）。
【請求項11】
前記第１から第４のサンプル位置は、各々が交互に配置された第１のサンプル位置（２２）及び第３のサンプル位置（２６）を含む第１のタイプの行（５２）と、交互に配置された第２のサンプル位置（２４）及び第３のサンプル位置（２８）を含む第２のタイプの行（５４）とを有するアレイに配置され、前記第１のタイプの前記行及び前記第２のタイプの前記行は前記アレイの列（６２、６４）に沿って交互に配置され、一方の前記第１のタイプの前記行内の前記第３のサンプル位置と、他方の前記第２のタイプの前記行内の前記第３のサンプル位置とは異なる列に位置し、前記装置は等方性動作モードを有し、前記第１の重み付き和（１１４’）の前記第３のサンプル（１６）は、前記アレイの垂直及び水平方向において前記第１のサンプル位置（２２’）に隣接する前記第３のサンプルを含み、
前記第２の重み付き和（１２４’）の前記第３のサンプル（１６）は、前記アレイの垂直及び水平方向において前記第２のサンプル位置（２４’）に隣接する前記第３のサンプルを含み、
前記第３の重み付き和（１３４’）の前記第１及び第２の色座標（１１０、１２０）は、前記アレイの垂直及び水平方向において前記第３のサンプル位置（２６’）に隣接する第１及び第２のサンプル位置について計算された前記第１及び第２の色座標を含み、
前記第４の重み付き和（１４４’）の前記第１及び第２の色座標（１１０、１２０）は、前記アレイの垂直及び水平方向において前記第４のサンプル位置（２８’）に隣接する第１及び第２のサンプル位置について計算された前記第１及び第２の色座標を含み、
前記第５の重み付き和（２５４’）の前記第４の色座標（１４０）は、前記アレイの対角方向において前記第３のサンプル位置（２６’）に隣接する第４のサンプル位置について計算された前記第４の色座標を含み、
前記第６の重み付き和（２６４’）の前記差分色座標（２５０）は、前記アレイの対角方向において前記第４の（２８’）サンプル位置に隣接する第３のサンプル位置について計算された前記差分色座標を含む、
請求項９又は１０に記載の装置（５００）。
【請求項12】
前記第１から第４のサンプル位置は、各々が交互に配置された第１のサンプル位置（２２）及び第３のサンプル位置（２６）を含む第１のタイプの行（５２）と、交互に配置された第２のサンプル位置（２４）及び第３のサンプル位置（２８）を含む第２のタイプの行（５４）とを有するアレイに配置され、前記第１のタイプの前記行及び前記第２のタイプの前記行は、前記アレイの列（６２、６４）に沿って交互に配置され、一方の前記第１のタイプの前記行内の前記第３のサンプル位置と、他方の前記第２のタイプの前記行内の前記第３のサンプル位置とは異なる列に位置し、前記装置は垂直因果動作モードを有し、前記第１の重み付き和（１１４’）の前記第３のサンプル（１６）は、前記アレイの垂直及び水平方向において前記第１のサンプル位置（２２’）に隣接する前記第３のサンプルからなり、
前記第２の重み付き和（１２４’）の前記第３のサンプル（１６）は、前記アレイの水平方向及び第１の垂直方向において前記第２のサンプル位置（２４’）に隣接する前記第３のサンプルからなり、水平方向において前記第２のサンプル位置（２２’）に隣接する前記第３のサンプルの前記第２の重み付き和の重みの和は、前記第１の垂直方向において前記第２のサンプル位置（２２’）に隣接する前記第３のサンプルの前記第２の重み付き和の重みに等しく、
前記第３の重み付き和（１３４’）の前記第１及び第２の色座標（１１０、１２０）は、前記アレイの垂直及び水平方向において第３のサンプル位置（２６’）に隣接する第１及び第２のサンプル位置について計算された前記第１及び第２の色座標からなり、
前記第４の重み付き和（１４４’）の前記第１及び第２の色座標（１１０、１２０）は、前記アレイの水平方向及び前記第１の垂直方向において前記第４のサンプル位置（２８’）に隣接する第１及び第２のサンプル位置について計算された前記第１及び第２の色座標からなり、
前記第５の重み付き和（２５４’）の前記第４の色座標（１４０）は、前記アレイの対角方向において前記第３のサンプル位置に隣接する第４のサンプル位置について計算された前記第４の色座標からなり、
前記第６の重み付き和（２６４’）の前記差分色座標（２５０）は、前記アレイの第１及び第２の対角方向において前記第４のサンプル位置（２８’）に隣接する第３のサンプル位置について計算された前記差分色座標からなり、前記第１及び前記第２の対角方向の垂直成分は、前記第１の垂直方向と同じ方向を指し示す、
請求項９から１１のいずれか一項に記載の装置（５００）。
【請求項13】
前記第１から第４のサンプル位置は、各々が交互に配置された第１のサンプル位置（２２）及び第３のサンプル位置（２６）を含む第１のタイプの行（５２）と、交互に配置された第２のサンプル位置（２４）及び第３のサンプル位置（２８）を含む第２のタイプの行（５４）とを有するアレイに配置され、前記第１のタイプの前記行及び前記第２のタイプの前記行は、前記アレイの列（６２、６４）に沿って交互に配置され、一方の前記第１のタイプの前記行内の前記第３のサンプル位置と、他方の前記第２のタイプの前記行内の前記第３のサンプル位置とは異なる列に位置し、前記装置はストライプ動作モードを有し、前記第１の重み付き和（１１４’）の前記第３のサンプル（１６）は、前記アレイの水平方向及び第２の垂直方向において前記第１のサンプル位置に隣接する前記第３のサンプルからなり、水平方向において前記第２のサンプル位置に隣接する前記第３のサンプルの前記重み付き和の重みの和は、前記第２の垂直方向において前記第２のサンプル位置に隣接する前記第３のサンプルの前記重み付き和の重みに等しく、
前記第２の重み付き和（１２４’）の前記第３のサンプル（１６）は、前記アレイの水平方向及び第１の垂直方向において前記第２のサンプル位置に隣接する前記第３のサンプルからなり、水平方向において前記第２のサンプル位置に隣接する前記第３のサンプルの前記重み付き和の重みの和は、前記第１の垂直方向において前記第１のサンプル位置に隣接する前記第３のサンプルの前記重み付き和の重みに等しく、
前記第３の重み付き和（１３４’）の前記第１及び第２の色座標（１１０、１２０）は、前記アレイの水平方向及び前記第２の垂直方向において第３のサンプル位置に隣接する第１及び第２のサンプル位置について計算された前記第１及び第２の色座標からなり、
前記第４の重み付き和（１４４’）の前記第１及び第２の色座標（１１０、１２０）は、前記アレイの水平方向及び前記第１の垂直方向において前記第４のサンプル位置（２８’）に隣接する第１及び第２のサンプル位置について計算された前記第１及び第２の色座標からなり、
前記第５の重み付き和（２５４’）の前記第４の色座標（１４０）は、前記アレイの第３及び第４の対角方向において前記第３のサンプル位置（２６’）に隣接する第４のサンプル位置について計算された前記第４の色座標（１４０）からなり、前記第３及び第４の対角方向の垂直成分は前記第２の垂直方向と同じ方向を指し示し、
前記第６の重み付き和（２６４’）の前記差分色座標（２５０）は、前記アレイの第１及び第２の対角方向において前記第４のサンプル位置（２８’）に隣接する第３のサンプル位置について計算された前記差分色座標からなり、前記第１及び前記第２の対角方向の垂直成分は、前記第１の垂直方向と同じ方向を指し示す、
請求項９から１２のいずれか一項に記載の装置（５００）。
【請求項14】
前記第６の重み付き和（２６４’）は均等重み付き和であり、前記第６の重み付き和（２６４’）の重みの和は１／２に等しい、請求項９から１３のいずれか一項に記載の装置（５００）。
【請求項15】
前記第５の重み付き和（２５４’）は、前記第４の色座標（２５０）の均等重み付き平均である、請求項９から１４のいずれか一項に記載の装置（５００）。
【請求項16】
前記装置は、前記画像表現（７０）として符号化表現（４９５）を受信するように構成され、前記装置は、前記符号化表現（４９５）を復号し、それにより、前記画像表現の量子化表現（４８２）を導出するように構成されたエントロピーデコーダ（５９０）と、
逆量子化プロセスによって、前記第１から第４の色座標（１１０、１２０、１３０、１４０）、又は前記第１の、前記第２の、前記差分、及び前記組み合わせ色座標（１１０、１２０、２５０、２６０）を導出するように構成された逆量子化器（５８０）と
をさらに備える、請求項１から１５のいずれか一項に記載の装置（５００）。
【請求項17】
前記装置は、前記画像表現（７０）として符号化表現（４９５）を受信するように構成され、前記装置は、前記符号化表現（４９５）を復号し、それにより、前記画像表現の量子化表現（４８２）を導出するように構成されたエントロピーデコーダ（５９０）と、
逆量子化プロセスによって、前記量子化表現（４８２）に基づいて空間的に無相関化された表現（４７８）を導出するように構成された逆量子化器（５８０）と、
逆空間的無相関化変換を使用することによって、前記空間的に無相関化された表現（４７８）から、前記第１から第４の色座標（１１０、１２０、１３０、１４０）、又は前記第１の、前記第２の、前記差分、及び前記組み合わせ色座標（１１０、１２０、２５０、２６０）を導出するように構成された逆空間的無相関化段（５７５）と
をさらに備える、請求項１から１５のいずれか一項に記載の装置（５００）。
【請求項18】
前記装置は、前記画像表現（７０）として符号化表現（４９５）を受信するように構成され、前記装置は、前記符号化表現（４９５）を復号し、それにより、前記画像表現の量子化表現（４８２）を導出するように構成されたエントロピーデコーダ（５９０）と、
逆量子化プロセスによって、前記量子化表現（４８２）に基づいて空間的に無相関化された表現（４７８）及び前記差分色座標（２５０）を導出するように構成された逆量子化器（５８０）と、
逆空間的無相関化変換を使用することによって、前記空間的に無相関化された表現（４７８）から、前記第１の、前記第２の、及び組み合わせ色座標（１１０、１２０、２６０）を導出するように構成された逆空間的無相関化段（５７５）と
をさらに備える、請求項９から１５のいずれか一項に記載の装置（５００）。
【請求項19】
カラーフィルタアレイ（ＣＦＡ）パターン画像（１０）を画像表現（７０）に符号化するための装置（１００）であって、前記ＣＦＡパターン画像（１０）は、第１のチャンネルの第１のサンプル（１２）と、第２のチャンネルの第２のサンプル（１４）と、第３のチャンネルの第３のサンプル（１６）とを含み、
前記ＣＦＡパターン画像は、各々が第１から第４のサンプル位置を含むサンプルクラスタ（２０）に分割され、
前記第１のサンプル（１２）のうちの１つは前記第１のサンプル位置（２２）に位置し、前記第２のサンプル（１４）のうちの１つは前記第２のサンプル位置（２４）に位置し、２つの第３のサンプル（１６Ａ、１６Ｂ）は前記第３及び第４のサンプル位置（２６、２８）にそれぞれ位置し、前記装置は、
各サンプルクラスタの前記第１のサンプル位置（２２’）について、第１の色座標（１１０’）が前記第１のサンプル位置（２２’）における前記第１のサンプル（１２’）と、前記第１のサンプル位置（２２’）に隣接する第３のサンプル（１６）の第１の重み付き和（１１４’）を形成することによって導出される第１のフィルタリング済み第３のサンプル値（１１２’）との差を表すように、前記第１の色座標（１１０’）を計算し、
各サンプルクラスタの前記第２のサンプル位置（２４’）について、第２の色座標（１２０’）が前記第２のサンプル位置（１４’）における前記第２のサンプル（１４’）と、前記第２のサンプル位置（２４’）に隣接する第３のサンプル（１６）の第２の重み付き和（１２４’）を形成することによって導出される第２のフィルタリング済み第３のサンプル値（１２２’）との差を表すように、前記第２の色座標（１２０’）を計算し、
各サンプルクラスタの前記第３のサンプル位置（２６’）について、前記第３のサンプル位置（２６’）における前記第３のサンプル（１６Ａ’）と、前記第３のサンプル位置（２６’）に隣接する第１及び第２のサンプル位置（２２、２４）について計算された第１及び第２の色座標（１１０、１２０）の第３の重み付き和（１３４’）を、前記第３の重み付き和（１３４’）の重みの和が１／２よりも大きくなるように形成することによって導出される第１のフィルタリング済み色座標（１３２’）と、の総和を形成することによって、第３の色座標（１３０’）を計算し、
各サンプルクラスタの前記第４のサンプル位置（２８’）について、前記第４のサンプル位置（２８’）における前記第３のサンプル（１６Ｂ’）と、前記第４のサンプル位置（２８’）に隣接する第１及び第２のサンプル位置（２２、２４）について計算された第１及び第２の色座標（１１０、１２０）の第４の重み付き和（１４４’）を、前記第４の重み付き和（１４４’）の重みの和が１／２よりも大きくなるように形成することによって導出される第２のフィルタリング済み色座標（１４２’）と、の総和を形成することによって、第４の色座標（１４０’）を計算すること
によって、前記ＣＦＡパターン画像を前記画像表現に符号化するように構成される、装置（１００）。
【請求項20】
画像表現（７０）をカラーフィルタアレイ（ＣＦＡ）パターン画像（１０）に復号するための方法であって、前記ＣＦＡパターン画像（１０）は、第１のチャンネルの第１のサンプル（１２）と、第２のチャンネルの第２のサンプル（１４）と、第３のチャンネルの第３のサンプル（１６）とを含み、
前記ＣＦＡパターン画像は、各々第１から第４のサンプル位置を含むサンプルクラスタ（２０）に分割され、前記第１のサンプル（１２）のうちの１つは前記第１のサンプル位置（２２）に位置し、前記第２のサンプル（１４）のうちの１つは前記第２のサンプル位置（２４）に位置し、２つの第３のサンプル（１６Ａ、１６Ｂ）は前記第３及び第４のサンプル位置（２６、２８）にそれぞれ位置し、
前記方法は、各サンプルクラスタ（２０）に関して、前記それぞれのサンプルクラスタ（２０’）の前記第１のサンプル位置（２２’）の第１の色座標（１１０’）、前記それぞれのサンプルクラスタ（２０’）の前記第２のサンプル位置（２４’）の第２の色座標（１２０’）、前記それぞれのサンプルクラスタ（２０’）の前記第３のサンプル位置（２６’）の第３の色座標（１３０’）、及び前記それぞれのサンプルクラスタ（２０’）の前記第４のサンプル位置（２８’）の第４の色座標（１４０）を導出することを含み、
前記方法は、
各サンプルクラスタの前記第３のサンプル位置（２６’）について、前記第３のサンプル位置における前記第３の色座標（１３０’）と、前記第３のサンプル位置（２６’）に隣接する第１及び第２のサンプル位置（２２、２４）に位置する第１及び第２の色座標（１１０、１２０）の第３の重み付き和（１３４’）を、前記第３の重み付き和（１３４’）の重みの和が１／２よりも大きくなるように形成することによって導出される第１のフィルタリング済み色座標（１３２’）との差を形成することによって、前記それぞれの第３のサンプル位置（２６’）における前記第３のサンプル（１６Ａ’）を計算し、
各サンプルクラスタの前記第４のサンプル位置について、前記第４のサンプル位置（２８’）における前記第４の色座標（１４０’）と、前記第４のサンプル位置（２８’）に隣接する第１及び第２のサンプル位置（２２、２４）に位置する第１及び第２の色座標（１１０、１２０）の第４の重み付き和（１４４’）を、前記第４の重み付き和（１４４’）の重みの和が１／２よりも大きくなるように形成することによって導出される第２のフィルタリング済み色座標（１４２’）との差を形成することによって、前記それぞれの第４のサンプル位置における前記第３のサンプルを計算し、
各サンプルクラスタ（２０’）の前記第１のサンプル位置（２２’）について、前記第１のサンプル位置（２２’）における前記第１の色座標（１１０’）と、前記第１のサンプル位置（２２’）に隣接する第３及び第４のサンプル位置（２６、２８）について計算された第３のサンプル（１６）の第１の重み付き和（１１４’）を形成することによって導出される第１のフィルタリング済み第３のサンプル値（１１２’）との総和を形成することによって、前記それぞれの第１のサンプル位置（２２’）における前記第１のサンプル（１２’）を計算し、
各サンプルクラスタ（２０’）の前記第２のサンプル位置（２４’）について、前記第２のサンプル位置（２４’）における前記第２の色座標（１２０’）と、前記第２のサンプル位置（２４’）に隣接する第３及び第４のサンプル位置（２６、２８）について計算された第３のサンプル（１６）の第２の重み付き和（１２４’）を形成することによって導出される第２のフィルタリング済み第３のサンプル値（１２２’）との総和を形成することによって、前記それぞれの第２のサンプル位置（２４’）における第２のサンプル（１４’）を計算する
ことによって、前記画像表現を前記ＣＦＡパターン画像に復号することを含む、方法。
【請求項21】
カラーフィルタアレイ（ＣＦＡ）パターン画像（１０）を画像表現（７０）に符号化するための方法であって、前記ＣＦＡパターン画像（１０）は、第１のチャンネルの第１のサンプル（１２）と、第２のチャンネルの第２のサンプル（１４）と、第３のチャンネルの第３のサンプル（１６）とを含み、
前記ＣＦＡパターン画像は、各々が第１から第４のサンプル位置を含むサンプルクラスタ（２０）に分割され、
前記第１のサンプル（１２）のうちの１つは前記第１のサンプル位置（２２）に位置し、前記第２のサンプル（１４）のうちの１つは前記第２のサンプル位置（２４）に位置し、２つの第３のサンプル（１６Ａ、１６Ｂ）は前記第３及び第４のサンプル位置（２６、２８）にそれぞれ位置し、
前記方法は、
各サンプルクラスタの前記第１のサンプル位置（２２’）について、第１の色座標（１１０’）が前記第１のサンプル位置（２２’）における前記第１のサンプル（１２’）と、前記第１のサンプル位置（２２’）に隣接する第３のサンプル（１６）の第１の重み付き和（１１４’）を形成することによって導出される第１のフィルタリング済み第３のサンプル値（１１２’）との差を表すように、前記第１の色座標（１１０’）を計算し、
各サンプルクラスタの前記第２のサンプル位置（２４’）について、第２の色座標（１２０’）が前記第２のサンプル位置（１４’）における前記第２のサンプル（１４’）と、前記第２のサンプル位置（２４’）に隣接する第３のサンプル（１６）の第２の重み付き和（１２４’）を形成することによって導出される第２のフィルタリング済み第３のサンプル値（１２２’）との差を表すように、前記第２の色座標（１２０’）を計算し、
各サンプルクラスタの前記第３のサンプル位置（２６’）について、前記第３のサンプル位置（２６’）における前記第３のサンプル（１６Ａ’）と、前記第３のサンプル位置（２６’）に隣接する第１及び第２のサンプル位置（２２、２４）について計算された第１及び第２の色座標（１１０、１２０）の第３の重み付き和（１３４’）を、前記第３の重み付き和（１３４’）の重みの和が１／２よりも大きくなるように形成することによって導出される第１のフィルタリング済み色座標（１３２’）との総和を形成することによって、第３の色座標（１３０’）を計算し、
各サンプルクラスタの前記第４のサンプル位置（２８’）について、前記第４のサンプル位置（２８’）における前記第３のサンプル（１６Ｂ’）と、前記第４のサンプル位置（２８’）に隣接する第１及び第２のサンプル位置（２２、２４）について計算された第１及び第２の色座標（１１０、１２０）の第４の重み付き和（１４４’）を、前記第４の重み付き和（１４４’）の重みの和が１／２よりも大きくなるように形成することによって導出される第２のフィルタリング済み色座標（１４２’）との総和を形成することによって、第４の色座標（１４０’）を計算すること
によって、前記ＣＦＡパターン画像を前記画像表現に符号化することを含む、方法。
【請求項22】
コンピュータ又は信号プロセッサ上で実行されると、請求項２０又は２１に記載の方法を実装するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は、ＣＦＡパターン画像を画像表現に符号化するための装置、及び画像表現をＣＦＡパターン画像に復号するための装置に関する。本開示の実施形態はまた、ＣＦＡパターン画像の変換に関し、特に、ＣＦＡパターン画像の色無相関化、又は色と空間の無相関化の組み合わせに関する。
【背景技術】
【0002】
典型的なデジタルカメラには、３つのカラーチャンネル（図１を参照）を生成するためにカラーフィルタの規則的なパターン（又はアレイ）が重ね合わされた、センサ素子の規則的なグリッドからなる、いわゆるＣＦＡパターンセンサ（例えば、ベイヤーセンサ）が装備されている。典型的には、フィルタは、赤色光、緑色光及び青色光に対応するが、他のフィルタ配置、例えば赤色、透明（フィルタなし）、青色も可能である。このようにして、３つの独立したカラーチャンネルを取り込むことができるが、それらは互いに位置合わせされず、取り込まれた画像からフルカラー画像を生成するために追加の後処理が必要である。
センサ付近の帯域幅及び処理電力を節約するために、ＣＦＡセンサデータをそのまま、すなわち再構成（又は後処理）なしでフル解像度ＲＧＢ（トゥルーカラー）画像に圧縮し、圧縮されたＣＦＡ画像信号を送信し、受信機側でそれを再構成することが意図されている。次いで、フル解像度のトゥルーカラー画像の生成、すなわち後処理ステップが、再構成されたＣＦＡ画像データに対してデコーダ側で実行される。これは、センサごとに３つではなく１つの成分のみの送信を必要とするので、帯域幅は既に低減されている。
効果的な伝送及び帯域幅の低減には、通常、ＣＦＡデータのロッシー圧縮がさらに含まれ、これは複数のステップ：最初に、「色無相関化」と表される成分間の無相関化と、例えばウェーブレット又はＤＣＴ（離散コサイン変換）による空間信号無相関化と、その後の量子化（精度の不可逆的な低下）と、その後のデータのエントロピー符号化とからなる。
色及び空間無相関化プロセスはいずれも、復号された画像の高品質と組み合わされた、高圧縮率及び効率的な符号化プロセスを容易にすることを目的とする。
センサ付近の帯域幅及び処理電力を節約するために、ＣＦＡセンサデータをそのまま、すなわち再構成（又は後処理）なしでフル解像度ＲＧＢ（トゥルーカラー）画像に圧縮し、圧縮されたＣＦＡ画像信号を送信し、受信機側でそれを再構成することが意図されている。次いで、フル解像度のトゥルーカラー画像の生成、すなわち後処理ステップが、再構成されたＣＦＡ画像データに対してデコーダ側で実行される。これは、センサごとに３つではなく１つの成分のみの送信を必要とするので、帯域幅は既に低減されている。
効果的な伝送及び帯域幅の低減には、通常、ＣＦＡデータのロッシー圧縮がさらに含まれ、これは複数のステップ：最初に、「色無相関化」と表される成分間の無相関化と、例えばウェーブレット又はＤＣＴ（離散コサイン変換）による空間信号無相関化と、その後の量子化（精度の不可逆的な低下）と、その後のデータのエントロピー符号化とからなる。
色及び空間無相関化プロセスはいずれも、復号された画像の高品質と組み合わされた、高圧縮率及び効率的な符号化プロセスを容易にすることを目的とする。
【発明の概要】
【発明が解決しようとする課題】
【0003】
したがって、本開示は、より効率的なＣＦＡパターン画像の符号化概念を提供することを目的とする。この目的は、本明細書に添付された独立請求項の主題によって達成される。
【課題を解決するための手段】
【0004】
本発明の第１の態様による本開示の実施形態は、ＣＦＡパターン画像の２つのチャンネルのエネルギーが出力画像表現の１つの出力座標に圧縮されるか、又は主に１つの出力座標を構成する場合、ＣＦＡパターン画像をより効率的に符号化することができるという発見に基づいている。ＣＦＡパターン画像の３つのチャンネルのエネルギーを１つの座標に圧縮することを目的とする一般的な変換とは対照的に、開示された概念は、例えば復元されたＣＦＡパターン画像の信号対雑音比の改善に関して、より高い符号化効率を可能にする。
【0005】
追加的に、第１の態様と組み合わせることができる本発明の第２の態様による本開示の実施形態は、ＣＦＡパターン画像を符号化する品質が、例えばスーパーピクセルなどのサンプルクラスタの符号化のために、例えば空間的無相関化のために、現在符号化されているサンプルクラスタのサンプルに対してオフセットしている少なくとも１つのライン及び少なくとも１つの行を含むＣＦＡパターン画像のライン及び行と交差する、ＣＦＡパターン画像の部分に位置するＣＦＡパターン画像のサンプルを考慮することによって改善され得るという発見に基づいている。ＣＦＡパターン画像の大部分を考慮することにより、無相関化を改善することができ、したがって、エネルギーをより効率的に圧縮することができ、より高い圧縮率を可能にし、より低い信号対雑音比となる。
【0006】
本開示の第１の態様によれば、この発見は、ＣＦＡパターン画像の第１のチャンネルの１つの第１のサンプル、第２のチャンネルの１つの第２のサンプル、及び第３のチャンネルの２つの第３のサンプルをそれぞれ有するサンプルクラスタに分割されたＣＦＡパターン画像を符号化するために利用される。ＣＦＡパターン画像の符号化は、各サンプルクラスタの第１及び第２のサンプル位置について、それぞれのサンプルクラスタの第１のサンプル又は第２のサンプルのそれぞれと、第１又は第２のフィルタリング済み第３のサンプル値との差をそれぞれ形成することによって、第１及び第２の色座標をそれぞれ計算することを含む。ＣＦＡパターン画像の符号化のさらなるステップは、各サンプルクラスタの第３及び第４のサンプル位置について、それぞれのサンプルクラスタの第３のサンプル又は第４のサンプルと、第１又は第２のフィルタリング済み色座標との総和をそれぞれ形成することによって、第３及び第４の色座標をそれぞれ計算することを含む。第１及び第２のフィルタリング済み色座標は、それぞれの第３及び第４のサンプル位置に隣接する第１及び第２の色座標の第３及び第４の重み付き和を形成することによって導出され、第３及び第４の重み付き和の各々の重みの和は１／２よりも大きい。１以上であってもよい。一例では、和は、第１の色座標に関する重みについては１／４より大きく、第２の色座標に関する重みについては１／４より大きい。０．５以上であってもよい。第３及び第４の色座標の算出のための第３及び第４の重み付き和の重みのこの選択により、第１及び第２のチャンネル、特に低周波数成分は、第１のチャンネルに関して第３及び第４の色座標において重みが過剰であるか、代替的に、第３及び第４の色座標のエネルギーは、ＣＦＡパターン画像の第１及び第２のチャンネルのエネルギーによって主に決定され、これは最終的により良好な無相関化につながり、それによって、後続の量子化及びエントロピー符号化プロセスにおいてより高い圧縮率又はより低い量子化損失をもたらすこととなる。第３のチャンネルが緑色で、第１及び第２のサンプルの重みが等しいＲＧＢパターンの場合、第３及び第４の色座標は、ＣＦＡ画像のローパスフィルタリング済みバージョンのマゼンタ色、又は青色と赤色の混合に主に対応し、緑色はないか、又はより小さいエネルギーに緑色の一部のみがある。
【0007】
実施形態によれば、第３及び第４の重み付き和の重みは、第１の色座標及び第２の色座標を重み付けするための個々の重みからなり、その結果、重みは、それぞれのチャンネルの感度に別々に適合することができる。第１及び第２のチャンネルが第３及び第４の色座標において等しく重み付けされるように、第１及び第２の色座標の重みを選択することによって、符号化効率が向上する。
実施形態によれば、第３及び第４の重み付き和における第１及び第２の色座標を重み付けするための重みはそれぞれ、２の累乗として実装され、２の累乗の各々の指数は整数である。したがって、第１及び第２の色座標とそれらのそれぞれの重みとの乗算は、計算上効率的なビットシフト演算として実行することができる。
実施形態によれば、第３及び第４の重み付き和における第１及び第２の色座標を重み付けするための重みはそれぞれ、２の累乗として実装され、２の累乗の各々の指数は整数である。したがって、第１及び第２の色座標とそれらのそれぞれの重みとの乗算は、計算上効率的なビットシフト演算として実行することができる。
【0008】
実施形態によれば、ＣＦＡパターン画像の符号化のために動作モードのセットが利用可能であり、ＣＦＡパターン画像の第１から第３のサンプルは行及び列に配置される。行及び列の文脈において、水平方向はＣＦＡパターン画像の行における方向を指し、垂直方向はＣＦＡパターン画像の列に沿った方向を指す。さらに、行及び列の定義は、ＣＦＡパターン画像を９０°回転させることによって交換可能であるため、行及び列の属性は限定的ではないと理解されるべきである。いくつかの例では、ＣＦＡパターン画像の符号化は行ごとに実行されてもよく、第２の行の上方に位置すると呼ばれる第１の行は、第２の行の前に符号化されると理解されるべきである。したがって、第２の行は、第１の行の下方に位置する。動作モードのセットは、等方性動作モード、垂直因果動作モード、及びストライプ動作モードのうちの１つ又は複数を含み、これらは、選択されたサンプルクラスタの選択されたサンプル位置について色座標を算出するために考慮されるＣＦＡパターン画像の部分において異なる。指定された動作モードのすべてにおいて、選択されたサンプルクラスタが位置する行に位置するいくつかのサンプルが、色座標の計算に含まれる。等方性動作モードでは、選択されたサンプルクラスタが位置する行（現在の行と呼ばれる）の上下の行に位置するサンプルが、選択されたサンプル位置のそれぞれのタイプの色座標の計算に含まれる。算出において、ＣＦＡパターン画像の現在の行に追加の行を含めることにより、ＣＦＡパターン画像の垂直方向の低周波成分及び高周波成分を分離することができ、ＣＦＡパターン画像のエネルギーを１つ又は複数の色座標により良好に圧縮することができる。対照的に、現在の列内のサンプルのみを使用して、主に水平方向にエネルギーの圧縮を実行してもよい。したがって、現在の行の上方及び／又は下方の追加の行を含めることにより、より効率的なデータ圧縮及びより低い信号対雑音比を提供することができる。垂直因果動作モードでは、現在の行の上方であるが下方ではない行に位置するサンプルが、選択されたサンプル位置のそれぞれのタイプの色座標の計算に含まれる。現在の行の下方の行に位置するサンプルは考慮されないので、後続の行のサンプルをシグナリングするデータを待つことなく、現在の行のサンプルをシグナリングするデータを受信した直後に、符号化を実行することができる。それでも、現在の行の上方の行に位置するサンプルを考慮することにより、ＣＦＡパターン画像の大部分が色座標を算出する際に考慮され、品質が向上する。したがって、この動作モードは、高符号量と高速符号化との組み合わせを提供することができる。ストライプ動作モードでは、現在の行内に位置するサンプルのみが色座標の計算に含まれる。したがって、特定のサンプル位置のサンプルは、その特定のサンプル位置の色座標を算出する瞬間に上書き又はドロップすることができ、垂直因果及び等方性動作モードと比較して、現在の行より上方の行を参照するデータで、記憶する必要があるものが少なくて済む。したがって、ストライプ動作モードは、垂直因果動作モードの高速であるという利点と、メモリの要件が低いこととを組み合わせる。
【0009】
一実施形態によれば、ＣＦＡパターン画像の符号化は、第３及び第４の色座標に基づいて差分色座標を計算するステップと、第４の及び差分色座標に基づいて組み合わせ色座標を計算するステップとをさらに含む。これらのステップは、１つの色座標への、すなわち組み合わせ色座標へのＣＦＡパターン画像のエネルギーの特に高い圧縮を提供し、したがってエントロピー符号化プロセスによる画像表現の高圧縮を可能にした。
本開示の第２の態様によれば、上記で導入された概念は、ＣＦＡパターン画像の第１のチャンネルの第１のサンプル、第２のチャンネルの第２のサンプル、及び第３のチャンネルの第３のサンプルを有するＣＦＡパターン画像を符号化するために利用され、第１から第３のサンプルは行及び列を有するアレイに配置される。ＣＦＡパターン画像を符号化することは、第１のサンプルが位置する第１のサンプル位置のそれぞれについて、それぞれの第１のサンプル位置における第１のサンプルと、第１のサンプル位置に隣接する第３のサンプルの第１の重み付き和を形成することによって導出される第１のフィルタリング済み第３のサンプル値との差を形成することによって、第１の色座標を計算することを含む。第３の重み付き和の第３のサンプルは、それぞれの第１のサンプル位置のサンプルクラスタが位置する１つ又は複数の行（以下では現在の行と呼ぶ）に隣接する行に位置する第３のサンプルを含む。例えば、隣接する行は、現在の行の上方の行であってもよく、その行が既に符号化プロセスに利用可能であるように、以前に符号化されていてもよい。第３の重み付き和の計算において現在の行に隣接する行の第３のサンプルを含めることによって、１つの追加の行が必要とされるが、垂直因果及び等方性動作モードに関して上述したように符号化の品質が向上する。
本開示の第２の態様によれば、上記で導入された概念は、ＣＦＡパターン画像の第１のチャンネルの第１のサンプル、第２のチャンネルの第２のサンプル、及び第３のチャンネルの第３のサンプルを有するＣＦＡパターン画像を符号化するために利用され、第１から第３のサンプルは行及び列を有するアレイに配置される。ＣＦＡパターン画像を符号化することは、第１のサンプルが位置する第１のサンプル位置のそれぞれについて、それぞれの第１のサンプル位置における第１のサンプルと、第１のサンプル位置に隣接する第３のサンプルの第１の重み付き和を形成することによって導出される第１のフィルタリング済み第３のサンプル値との差を形成することによって、第１の色座標を計算することを含む。第３の重み付き和の第３のサンプルは、それぞれの第１のサンプル位置のサンプルクラスタが位置する１つ又は複数の行（以下では現在の行と呼ぶ）に隣接する行に位置する第３のサンプルを含む。例えば、隣接する行は、現在の行の上方の行であってもよく、その行が既に符号化プロセスに利用可能であるように、以前に符号化されていてもよい。第３の重み付き和の計算において現在の行に隣接する行の第３のサンプルを含めることによって、１つの追加の行が必要とされるが、垂直因果及び等方性動作モードに関して上述したように符号化の品質が向上する。
【0010】
一実施形態によれば、ＣＦＡパターン画像を符号化するために動作モードのセットが利用可能であり、動作モードのうちの第３の動作モードは、第１の動作モード、例えば上記で導入された垂直因果及び等方性動作モードのうちの１つと、ストライプ動作モードとを含む。ストライプ動作モードでは、第１の重み付き和の第３のサンプルは、現在の行内に位置するサンプルからなる。したがって、動作モード間の選択が可能であり、ストライプ動作モードは、高速の符号化及び低いメモリ要件を提供し、第１の動作モードは、符号化のより高い効率のためのより高い品質を提供する。
【0011】
上述したような第１及び第２の態様による本開示の実施形態は、ＣＦＡパターン画像を画像表現に符号化するために使用されてもよく、画像表現はそのまま提供されてもよく、又は画像表現の符号化表現で提供されてもよく、そして、上述したような第１及び第２の態様による本開示の実施形態は、画像表現を復号することによって、画像表現又は符号化表現からＣＦＡパターン画像をそれぞれ取得するために使用されてもよい。したがって、ＣＦＡパターン画像の符号化に関して説明した特徴、機能、及び利点は、符号化及び復号化プロセスに等しく適用可能である。
本開示の有利な実施態様は、従属請求項の主題であり、好ましい実施形態は、図面を参照して以下により詳細に説明される。
本開示の有利な実施態様は、従属請求項の主題であり、好ましい実施形態は、図面を参照して以下により詳細に説明される。
【図面の簡単な説明】
【0012】
【図1】一実施形態によるＣＦＡパターン画像を符号化するための装置を示す図である。
【図2】さらなる実施形態によるＣＦＡパターン画像を符号化するための装置を示す図である。
【図3】ＣＦＡパターン画像の一例を示す図である。
【図4】さらなる実施形態によるＣＦＡパターン画像を符号化するための装置を示す図である。
【図5】一実施形態による画像表現をＣＦＡパターン画像に復号するための装置を示す図である。
【図6】さらなる実施形態による画像表現をＣＦＡパターン画像に復号するための装置を示す図である。
【図7】さらなる実施形態による画像表現をＣＦＡパターン画像に復号するための装置を示す図である。
【図8】ＣＦＡパターン画像の一例を示す図である。
【図9】ストライプ動作モードでＣＦＡパターン画像を符号化するための現在の行の一例を示す図である。
【発明を実施するための形態】
【0013】
以下では、実施形態について詳細に説明するが、実施形態は、多種多様な画像及びビデオの処理及び符号化において具体化され得る多くの適用可能な概念を提供することを理解されたい。説明された特定の実施形態は、本概念を実装及び使用するための特定の方法の単なる例示であり、実施形態の範囲を限定するものではない。以下の説明では、本開示の実施形態のより完全な解説を提供するために、複数の詳細が記載される。しかしながら、これらの具体的な詳細なしで他の実施形態が実施され得ることは当業者には明らかであろう。他の例では、本明細書に記載の例を不明瞭にすることを避けるために、周知の構造及びデバイスが詳細ではなくブロック図の形態で示されている。追加的に、本明細書に記載の異なる実施形態の特徴は、特に明記しない限り、互いに組み合わせることができる。
以下の実施形態の説明では、同じ若しくは類似の要素又は同じ機能を有するには同じ参照符号が付されるか、又は同じ名前で識別され、そして、同じ参照番号が付されるか、又は同じ名前で識別される要素の繰り返しの説明は通常省略される。したがって、同じ若しくは類似の参照番号を有するか、又は同じ名前で識別される要素について提供される説明は、相互に交換可能であるか、又は異なる実施形態において互いに適用することができる。
以下の実施形態の説明では、同じ若しくは類似の要素又は同じ機能を有するには同じ参照符号が付されるか、又は同じ名前で識別され、そして、同じ参照番号が付されるか、又は同じ名前で識別される要素の繰り返しの説明は通常省略される。したがって、同じ若しくは類似の参照番号を有するか、又は同じ名前で識別される要素について提供される説明は、相互に交換可能であるか、又は異なる実施形態において互いに適用することができる。
【0014】
複数の色変換を、ＣＦＡパターン画像を符号化するための色無相関化に適用することができる。これらの変換はまた、空間的無相関化を含む場合がある。
一例はＲＣＴＤ変換であり、これは、ロッシー又は可逆圧縮の目的でトゥルーカラー画像に適用されるＲＣＴ変換の４成分変形である。図８に見られるようなＣＦＡパターンを、２×２の「スーパーピクセル」に分離し、その各々は、１つの赤色、１つの青色、及び２つの緑色の値からなり、それらから、以下のように各スーパーピクセル内の４つの成分を形成する：
は、整数への丸め、例えば、次の小さな整数へのｆｌｏｏｒ演算若しくはｒｏｕｎｄ－ｄｏｗｎ演算、又は次の大きな整数へのｃｅｉｌ演算若しくはｒｏｕｎｄ－ｕｐ演算を表す。この表現は、本出願全体の式に適用可能である。次に、４つ組（Ｙ、Ｃｂ、Ｃｒ、Δ）がさらなる圧縮ステップに入力される。この変換は損失なく正確に可逆的であることが容易に分かる。
一例はＲＣＴＤ変換であり、これは、ロッシー又は可逆圧縮の目的でトゥルーカラー画像に適用されるＲＣＴ変換の４成分変形である。図８に見られるようなＣＦＡパターンを、２×２の「スーパーピクセル」に分離し、その各々は、１つの赤色、１つの青色、及び２つの緑色の値からなり、それらから、以下のように各スーパーピクセル内の４つの成分を形成する：
【0015】
最近、ベルギーのｉｎｔｏＰｉｘ社は、色変換と共に空間的無相関化ステップを含む上記の変換の変形を提案した。この目的のために、ＣＦＡ画像を水平ストライプに分離し、その各々は２つのピクセル、すなわち１つのスーパーピクセルの高さであり、ＣＦＡ画像全体と同じ幅である。各ストライプ内では、色変換は、各々がそれ自体で可逆な４つの持ち上げステップで実行される。
第１のステップは、図９に示すように、赤色及び青色、並びに隣接する緑色サンプルから２つの彩度座標を生成する。
変換を定義するために、現在位置の左にあるサンプル値をサブインデックスｌで示し、現在位置の右にあるサンプル値をサブインデックスｒで示す。同様に、サブインデックスｔは上にある位置を示し、サブインデックスｂは現在のサンプルの下にあるサンプル位置を示す。次に、第１の持ち上げステップは、赤色値及び青色値から緑色サンプル値の重み付き和を減算し、したがって、緑色値の重み付き近傍からではあるが、上記と同様に、Ｃｂ及びＣｒチャンネルを形成する：
左右のエッジでは、存在しない左の緑色チャンネルが右の緑色チャンネルに置き換えられ、右の画像エッジでは、存在しない右の緑色チャンネルが左のサンプル値に置き換えられる。
第１のステップは、図９に示すように、赤色及び青色、並びに隣接する緑色サンプルから２つの彩度座標を生成する。
変換を定義するために、現在位置の左にあるサンプル値をサブインデックスｌで示し、現在位置の右にあるサンプル値をサブインデックスｒで示す。同様に、サブインデックスｔは上にある位置を示し、サブインデックスｂは現在のサンプルの下にあるサンプル位置を示す。次に、第１の持ち上げステップは、赤色値及び青色値から緑色サンプル値の重み付き和を減算し、したがって、緑色値の重み付き近傍からではあるが、上記と同様に、Ｃｂ及びＣｒチャンネルを形成する：
【0016】
第２の持ち上げステップでは、Ｃｂ、Ｃｒ及び緑色チャンネルから、以下のように２つの輝度チャンネルＹ１、Ｙ２が形成される：
ここで、図２に示すように、Ｙ１サンプルは、２ラインの画素配置のうちの上の行に位置し、Ｙ２サンプルは下の行に位置する。
第３の持ち上げステップは、ここで、Ｙ１及びＹ２から、最上行での輝度差チャンネルΔを計算する。上記と同様に、サブインデックスｒｔは、斜め右上にあるサンプル値、ｌｔは左上にあるサンプル値、ｒｂは右下にあるサンプル値、及びｌｂは左下にあるサンプル値を示す。したがって、
最後の持ち上げステップは、最終的に、差分信号Δを使用することによって、Ｙ１及びＹ２から平均として出力輝度信号を生成する：
第３の持ち上げステップは、ここで、Ｙ１及びＹ２から、最上行での輝度差チャンネルΔを計算する。上記と同様に、サブインデックスｒｔは、斜め右上にあるサンプル値、ｌｔは左上にあるサンプル値、ｒｂは右下にあるサンプル値、及びｌｂは左下にあるサンプル値を示す。したがって、
【0017】
次に、４つ組（Ｙ、Ｃｂ、Ｃｒ、Δ）がさらなる圧縮ステップに入力され、ここで、Δは、ハイパスフィルタリング済み差分信号から既に構成されているため、任意の空間的無相関化から任意選択的に除外される。
同様の変換、すなわち空間的及び色無相関化を組み合わせる変換は、以前に文献で、例えばＴ．Ｓｕｚｕｋｉによる「Ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ＣＦＡ－ｓａｍｐｌｅｄ ｉｍａｇｅｓ ｕｓｉｎｇ ＹＤｇＣｏＣｇ ｔｒａｎｓｆｏｒｍｓ ｗｉｔｈ ＣＤＦ ｗａｖｅｌｅｔｓ」（Ｐｒｏｃ．ｏｆ Ｉｎｔｌ．Ｃｏｎｆ．ｏｎ Ｉｍａｇｅ Ｐｒｏｃ．（ＩＣＩＰ），２０１８）で論じられている。しかしながら、そこで論じられている変換は、Ｈ．Ｓ．Ｍａｌｖａｒ及びＧ．Ｊ．Ｓｕｌｌｉｖａｎによる「Ｐｒｏｇｒｅｓｓｉｖｅ－ｔｏ－ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｃｏｌｏｒ－ｆｉｌｔｅｒ－ａｒｒａｙ ｉｍａｇｅｓ ｕｓｉｎｇ ｍａｃｒｏｐｉｘｅｌ ｓｐｅｃｔｒａｌ－ｓｐａｔｉａｌ ｔｒａｎｓｆｏｒｍａｔｉｏｎ」（Ｐｒｏｃ．ｏｆ ＤＣＣ’１２，Ｓｎｏｗｂｉｒｄ，ＵＴ，Ａｐｒ．２０１２，ｐｐ．３－１２）によって最初に提案されたＹＣｇＣｏ変換に基づいている。Ｓｕｚｕｋｉ変換もまた、ｉｎｔｏＰｉｘによって説明されたものと同様に持ち上げに基づいているが、２つのラインに制限されない。
同様の変換、すなわち空間的及び色無相関化を組み合わせる変換は、以前に文献で、例えばＴ．Ｓｕｚｕｋｉによる「Ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ＣＦＡ－ｓａｍｐｌｅｄ ｉｍａｇｅｓ ｕｓｉｎｇ ＹＤｇＣｏＣｇ ｔｒａｎｓｆｏｒｍｓ ｗｉｔｈ ＣＤＦ ｗａｖｅｌｅｔｓ」（Ｐｒｏｃ．ｏｆ Ｉｎｔｌ．Ｃｏｎｆ．ｏｎ Ｉｍａｇｅ Ｐｒｏｃ．（ＩＣＩＰ），２０１８）で論じられている。しかしながら、そこで論じられている変換は、Ｈ．Ｓ．Ｍａｌｖａｒ及びＧ．Ｊ．Ｓｕｌｌｉｖａｎによる「Ｐｒｏｇｒｅｓｓｉｖｅ－ｔｏ－ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｃｏｌｏｒ－ｆｉｌｔｅｒ－ａｒｒａｙ ｉｍａｇｅｓ ｕｓｉｎｇ ｍａｃｒｏｐｉｘｅｌ ｓｐｅｃｔｒａｌ－ｓｐａｔｉａｌ ｔｒａｎｓｆｏｒｍａｔｉｏｎ」（Ｐｒｏｃ．ｏｆ ＤＣＣ’１２，Ｓｎｏｗｂｉｒｄ，ＵＴ，Ａｐｒ．２０１２，ｐｐ．３－１２）によって最初に提案されたＹＣｇＣｏ変換に基づいている。Ｓｕｚｕｋｉ変換もまた、ｉｎｔｏＰｉｘによって説明されたものと同様に持ち上げに基づいているが、２つのラインに制限されない。
【0018】
上述のｉｎｔｏＰｉｘ変換は、３つのチャンネルのエネルギーを１つの輝度チャンネル、すなわちＹに圧縮することを目的としており、さらに水平ストライプに限定される。本開示による第１の態様の意図は、前述のように、３つのチャンネルのうちの２つのチャンネルのエネルギーの圧縮である。本開示の第２の態様によれば、変換は、現在符号化されているサンプルクラスタの行を超える、サンプルの少なくとも１つの行を含む。
詳細な説明の第１の部分は、本開示の両方の態様による実施形態によって実装される一般的な概念を紹介する。続いて、第１及び第２の態様による異なる実施形態を、一般的な概念を参照して明確に述べる。
詳細な説明の第１の部分は、本開示の両方の態様による実施形態によって実装される一般的な概念を紹介する。続いて、第１及び第２の態様による異なる実施形態を、一般的な概念を参照して明確に述べる。
【0019】
図１は、ＣＦＡパターン画像１０を画像表現７０に符号化するための装置１００の一例の概略図を示す。ＣＦＡパターン画像１０は、第１のチャンネルの第１のサンプル１２と、第２のチャンネルの第２のサンプル１４と、第３のサンプル１６Ａ、１６Ｂを含む第３のチャンネルの第３のサンプル１６とを含む。例えば、第１から第３のチャンネルは、赤色、青色及び緑色チャンネル、又は赤色、白色及び青色チャンネルからなる。
例えば、ＣＦＡパターン画像１０は、複数のセンサ素子から取得され、センサ素子の各々は、第１のチャンネル、第２のチャンネル、及び第３のチャンネルのうちの１つに関連付けられ、共通のチャンネルに関連付けられたセンサ素子は、チャンネルに固有の共通波長範囲内の光を検出するように構成される。例えば、ＣＦＡパターン画像は、例えば図８に示すようなベイヤーパターンを有してもよい。
ＣＦＡパターン画像１０は、サンプルクラスタ２０に分割され、その各々は、第１のサンプル位置２２に位置する第１のサンプル１２のうちの１つ、第２のサンプル位置２４に位置する第２のサンプル１４のうちの１つ、第３のサンプル位置２６に位置する第３のサンプル１６Ａ、及び第４のサンプル位置２８に位置するさらなる第３のサンプル１６Ｂをそれぞれ含む。
例えば、ＣＦＡパターン画像１０は、複数のセンサ素子から取得され、センサ素子の各々は、第１のチャンネル、第２のチャンネル、及び第３のチャンネルのうちの１つに関連付けられ、共通のチャンネルに関連付けられたセンサ素子は、チャンネルに固有の共通波長範囲内の光を検出するように構成される。例えば、ＣＦＡパターン画像は、例えば図８に示すようなベイヤーパターンを有してもよい。
ＣＦＡパターン画像１０は、サンプルクラスタ２０に分割され、その各々は、第１のサンプル位置２２に位置する第１のサンプル１２のうちの１つ、第２のサンプル位置２４に位置する第２のサンプル１４のうちの１つ、第３のサンプル位置２６に位置する第３のサンプル１６Ａ、及び第４のサンプル位置２８に位置するさらなる第３のサンプル１６Ｂをそれぞれ含む。
【0020】
装置１００は、サンプルクラスタ２０の各々に関して、第１から第４のサンプル位置２２、２４、２６、２８について、第１から第４の色座標１１０、１２０、１３０、１４０を計算することによって、ＣＦＡパターン画像を画像表現７０に符号化するように構成される。第１の持ち上げステップと呼ばれ得るステップ１では、装置１００は、サンプルクラスタ２０のそれぞれに関して、それぞれのサンプルクラスタ２０’の第１のサンプル位置２２’について、第１の色座標１１０’、例えば第１の彩度差チャンネル座標を計算し、その結果、第１の色座標が、それぞれのサンプルクラスタ２０’の第１のサンプル位置２２’の第１のサンプルと第１のフィルタリング済み第３のサンプル値１１２’との差を示すことが理解される。第１のフィルタリング済み第３のサンプル値１１２’は、第１のサンプル位置２２’に隣接する第３のサンプル１６の第１の重み付き和１１４’を形成することによって導出される。特定のサンプル位置に隣接するサンプルは、特定のサンプル位置と同じサンプルクラスタの一部であってもよいが、別のサンプルクラスタの一部であってもよいことに留意されたい。さらに、装置１００は、それぞれのサンプルクラスタ２０’の第２のサンプル位置２４’について、第２の色座標１２０’、例えば第２の彩度差チャンネル座標を、第２の色座標１２０’がそれぞれのサンプルクラスタ２０’の第２のサンプル位置２４’の第２のサンプル１４’と、第２のフィルタリング済み第３のサンプル値１２２’との差を表すように計算するように構成される。第２のフィルタリング済み第３のサンプル値１２２’は、第２のサンプル位置２４’に隣接する第３のサンプル１６の第２の重み付き和１２４’を形成することによって導出される。
【0021】
第２の持ち上げステップと呼ばれ得る後続のステップ２では、装置１００は、サンプルクラスタ２０の各々に関して、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’について、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’における第３のサンプル１６Ａ’と、第３のサンプル位置２６’に隣接する第１及び第２のサンプル位置２２、２４について計算された第１及び第２の色座標１１０、１２０の第３の重み付き和１３４’を形成することによって導出される第１のフィルタリング済み色座標１３２’との総和、例えば均等重み付き総和を形成することによって、第３の色座標１３０’を計算するように構成される。装置１００は、各サンプルクラスタ２０’の第４のサンプル位置２８’について、それぞれのサンプルクラスタ２０’の第４のサンプル位置２８’における第３のサンプル１６Ｂ’と、第４のサンプル位置２８’に隣接する第１及び第２のサンプル位置２２、２４について計算された第１及び第２の色座標１１０、１２０の第４の重み付き和１４４’によって導出される第２のフィルタリング済み色座標１４２’との総和、例えば均等重み付き総和を形成することによって、第４の色座標１４０’を計算するように構成される。
【0022】
例えば、装置１００は、サンプルクラスタ２０の各々に関して、画像表現７０内のそれぞれの第１から第４の色座標１１０、１２０、１３０、１４０を提供することができる。第１から第４の色座標１１０、１２０、１３０、１４０に基づく画像表現７０の表現は、変換表現１４９と呼ばれる場合がある。
代替的に、装置１００は、サンプルクラスタ２０の各々に関して、差分色座標２５０及び組み合わせ色座標２６０を計算するための中間値として、第３及び第４の色座標１３０、１４０を使用するように構成されてもよい。図２は、第１から第４の色座標１１０、１２０、１３０、１４０の計算に加えて、第３及び第４の色座標１３０、１４０に基づいて、差分色座標２５０及び組み合わせ色座標２６０を計算するための２つの追加のステップを含む装置１００の別の例の概略図を示す。この場合、装置１００は、サンプルクラスタ２０の各々に関して、画像表現７０内のそれぞれの第１の、第２の、差分、及び組み合わせ色座標１１０、１２０、２５０、２６０を提供することができる。第１の、第２の、差分、及び組み合わせ色座標１１０、１２０、２５０、２６０に基づく画像表現７０の表現は、圧縮変換表現２４９と呼ばれる場合がある。
したがって、第３の持ち上げステップと呼ばれ得る第３のステップ３では、装置１００は、サンプルクラスタ２０の各々に関して、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’における第３の色座標２５０’とフィルタリング済み第４の色座標１３０’との差を形成することによって、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’について、差分色座標２５２’を計算することができる。フィルタリング済み第４の色座標２５２’は、第３のサンプル位置２６’に隣接する第４のサンプル位置２８について計算された第４の色座標１４０の第５の重み付き和２５４’、例えば均等重み付き和を形成することによって導出される。
代替的に、装置１００は、サンプルクラスタ２０の各々に関して、差分色座標２５０及び組み合わせ色座標２６０を計算するための中間値として、第３及び第４の色座標１３０、１４０を使用するように構成されてもよい。図２は、第１から第４の色座標１１０、１２０、１３０、１４０の計算に加えて、第３及び第４の色座標１３０、１４０に基づいて、差分色座標２５０及び組み合わせ色座標２６０を計算するための２つの追加のステップを含む装置１００の別の例の概略図を示す。この場合、装置１００は、サンプルクラスタ２０の各々に関して、画像表現７０内のそれぞれの第１の、第２の、差分、及び組み合わせ色座標１１０、１２０、２５０、２６０を提供することができる。第１の、第２の、差分、及び組み合わせ色座標１１０、１２０、２５０、２６０に基づく画像表現７０の表現は、圧縮変換表現２４９と呼ばれる場合がある。
したがって、第３の持ち上げステップと呼ばれ得る第３のステップ３では、装置１００は、サンプルクラスタ２０の各々に関して、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’における第３の色座標２５０’とフィルタリング済み第４の色座標１３０’との差を形成することによって、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’について、差分色座標２５２’を計算することができる。フィルタリング済み第４の色座標２５２’は、第３のサンプル位置２６’に隣接する第４のサンプル位置２８について計算された第４の色座標１４０の第５の重み付き和２５４’、例えば均等重み付き和を形成することによって導出される。
【0023】
第４の持ち上げステップと呼ばれ得る第４のステップ４では、装置１００は、サンプルクラスタ２０の各々に関して、それぞれのサンプルクラスタ２０’の第４のサンプル位置２８’について、それぞれのサンプルクラスタ２０’の第４のサンプル位置２８’における第４の色座標１４０’とフィルタリング済み差分色座標２６２’との総和を形成することによって、組み合わせ色座標２６０を計算することができる。フィルタリング済み差分色座標２６２’は、第４のサンプル位置２８’に隣接する第３のサンプル位置２６について計算された差分色座標２５０の第６の重み付き和２６４’、例えば均等重み付き和を形成することによって導出される。
実施形態によれば、例えば、図１のＣＦＡパターン画像に関して示されるように、第１から第４のサンプル位置は、第１のタイプの行５２及び第２のタイプの行５４を有するアレイに配置される。第１のタイプの行５２は、交互に配置された第１のサンプル位置２２及び第３のサンプル位置２６を含み、第２のタイプの行５４は、交互に配置された第２のサンプル位置２４及び第４のサンプル位置２８を含む。第１のタイプの行５２及び第２のタイプの行は、アレイの列に沿って交互に配置されている。第１のタイプの行５２の第１のサンプル位置２２及び第２のタイプの行５４の第２のサンプル位置２４は、アレイの異なる列６２、６４に位置する。
実施形態によれば、例えば、図１のＣＦＡパターン画像に関して示されるように、第１から第４のサンプル位置は、第１のタイプの行５２及び第２のタイプの行５４を有するアレイに配置される。第１のタイプの行５２は、交互に配置された第１のサンプル位置２２及び第３のサンプル位置２６を含み、第２のタイプの行５４は、交互に配置された第２のサンプル位置２４及び第４のサンプル位置２８を含む。第１のタイプの行５２及び第２のタイプの行は、アレイの列に沿って交互に配置されている。第１のタイプの行５２の第１のサンプル位置２２及び第２のタイプの行５４の第２のサンプル位置２４は、アレイの異なる列６２、６４に位置する。
【0024】
したがって、説明されたアレイ配置では、第１のサンプル位置２２の各々は、４つの第３のサンプル１６と隣接しており、そのうちの２つの第３のサンプル１６Ａは、第１のサンプル位置２２に水平方向に隣接する第３のサンプル位置２６に位置し、２つの第３のサンプル１６Ｂは、第１のサンプル位置２２に垂直方向に隣接する第４のサンプル位置２８に位置する。この文脈において、水平方向は上及び下を指し、垂直方向は左及び右を指す。同様に、第２のサンプル位置２４の各々は、４つの第３のサンプル１６と隣接しており、そのうち２つの第３のサンプル１６は、第２のサンプル位置２４に垂直方向に隣接する第３のサンプル位置２６に位置し、２つの第３のサンプル１６は、第２のサンプル位置２４に水平方向に隣接する第４のサンプル位置２８に位置する。サンプル位置の配置の説明された例によれば、サンプルクラスタ２０の各々は、１つの第１のタイプの行５２及び１つの第２のタイプの行５４を含むサンプルの隣接する２つの行のペア内に位置する。図１に示すような第１のタイプの行５２及び第２のタイプの行５４、並びに第１のタイプの列６２及び第２のタイプの列６４に関するサンプルクラスタ２０のビュー配置は例示的であり、すなわち、行及び列のそれぞれ上下位置及び左右位置をそれぞれ交換することができ、これにより、サンプルクラスタ２０内の第１から第４のサンプル位置の４つの異なる配置をもたらすことができることが指摘される。
【0025】
例えば、装置１００は、色座標、すなわち第１から第４の色座標１１０、１２０、１３０、１４０、並びに任意選択的に、差分及び組み合わせ色座標２５０、２６０の算出を、行ごとの方式で、すなわち１行ずつ実行してもよい。異なる処理方式又は動作モードが可能であり、第１から第６の重み付き和１１４’、１２４’、１３４’、１４４’、２５４’、２６４’に関するそれぞれの入力値のソースとして機能するＣＦＡパターン画像の部分のサイズが異なる。
例えば、装置１００は、後続の持ち上げステップが記憶された色座標を使用することができるように、それぞれの第１から第４の持ち上げステップ中に計算された第１から第４の色座標並びに／又は差分及び組み合わせ色座標をそれぞれのデータバッファに記憶することができる。さらなるサンプルクラスタの色座標の計算に必要とされない場合、バッファされた色座標１１０、１２０、１３０、１４０、２５０、２６０又はサンプル１２、１４、１６は解放又は上書きされてもよい。したがって、それぞれのデータバッファに記憶される必要があるデータ量は、したがって、それぞれのデータバッファを使用する持ち上げステップで考慮される隣接するサンプル位置の数に依存する場合がある。
例えば、装置１００は、後続の持ち上げステップが記憶された色座標を使用することができるように、それぞれの第１から第４の持ち上げステップ中に計算された第１から第４の色座標並びに／又は差分及び組み合わせ色座標をそれぞれのデータバッファに記憶することができる。さらなるサンプルクラスタの色座標の計算に必要とされない場合、バッファされた色座標１１０、１２０、１３０、１４０、２５０、２６０又はサンプル１２、１４、１６は解放又は上書きされてもよい。したがって、それぞれのデータバッファに記憶される必要があるデータ量は、したがって、それぞれのデータバッファを使用する持ち上げステップで考慮される隣接するサンプル位置の数に依存する場合がある。
【0026】
図３は、色座標を計算するための、サンプルクラスタ２０’を含むＣＦＡパターン画像１０の一部の例を示す。サンプルクラスタ２０’は、現在の行５６と呼ばれる第１及び第２のタイプの行５２’、５４’に位置する。
例えば、装置１００は、現在の行５６内のサンプル位置に位置するサンプルのみが第１から第６の重み付き和１１４’、１２４’、１３４’、１４４’、２５４’、２６４’に寄与し得るストライプ動作モード又はインライン動作モードで動作してもよい。代替的に、装置１００は、現在の行５６の上方の１つ又は複数の行に位置する追加のサンプルが、第１から第６の重み付き和１１４’、１２４’、１３４’、１４４’、２５４’、２６４’のうちの１つ又は複数に寄与し得る垂直因果動作モードで動作してもよい。さらに別の仮定では、装置１００は等方性動作モードを動作してもよく、この場合、垂直因果動作モードに加えて、現在の行５６の下方の１つ又は複数の行に位置するサンプルが、第１から第６の重み付き和１１４’、１２４’、１３４’、１４４’、２５４’、２６４’のうちの１つ又は複数に寄与することができる。
第１から第６の重み付き和１１４’、１２４’、１３４’、１４４’、２５４’、２６４’に寄与するサンプルの詳細な説明は、ＣＦＡパターン画像のエッジの位置ではないサンプル位置に対して行われることが指摘される。エッジサンプル位置の場合、欠落したサンプル位置は、それぞれの重み付き和が算出されるサンプル位置を考慮して、欠落したサンプル位置の反対のサンプル位置によって置き換えられてもよい。
例えば、装置１００は、現在の行５６内のサンプル位置に位置するサンプルのみが第１から第６の重み付き和１１４’、１２４’、１３４’、１４４’、２５４’、２６４’に寄与し得るストライプ動作モード又はインライン動作モードで動作してもよい。代替的に、装置１００は、現在の行５６の上方の１つ又は複数の行に位置する追加のサンプルが、第１から第６の重み付き和１１４’、１２４’、１３４’、１４４’、２５４’、２６４’のうちの１つ又は複数に寄与し得る垂直因果動作モードで動作してもよい。さらに別の仮定では、装置１００は等方性動作モードを動作してもよく、この場合、垂直因果動作モードに加えて、現在の行５６の下方の１つ又は複数の行に位置するサンプルが、第１から第６の重み付き和１１４’、１２４’、１３４’、１４４’、２５４’、２６４’のうちの１つ又は複数に寄与することができる。
第１から第６の重み付き和１１４’、１２４’、１３４’、１４４’、２５４’、２６４’に寄与するサンプルの詳細な説明は、ＣＦＡパターン画像のエッジの位置ではないサンプル位置に対して行われることが指摘される。エッジサンプル位置の場合、欠落したサンプル位置は、それぞれの重み付き和が算出されるサンプル位置を考慮して、欠落したサンプル位置の反対のサンプル位置によって置き換えられてもよい。
【0027】
ストライプ動作モードでは、現在の行５６内に位置するサンプルのみが、第１から第６の重み付き和１１４’、１２４’、１３４’、１４４’、２５４’、２６４’の入力値と見なされる。例えば、第１の重み付き和１１４’の第３のサンプル１６は、それぞれのサンプルクラスタ２０’の第１のサンプル位置２２’に水平方向に隣接する第３のサンプル位置２６－１、２６’に位置する第３のサンプル１６と、第４のサンプル位置２８’に位置する第３のサンプル１６とからなってもよい。したがって、第２の重み付き和１２４’の第３のサンプル１６は、それぞれのサンプルクラスタ２０’の第２のサンプル位置２４’に水平方向に隣接する第４のサンプル位置２８－１、２８’に位置する第３のサンプル１６と、第３のサンプル位置２６’に位置する第３のサンプル１６とからなってもよい。第４の重み付き和１４４’を計算するための第１及び第２の色座標１１０、１２０は、それぞれのサンプルクラスタ２０’の第４のサンプル位置２８’に水平方向に隣接する第２のサンプル位置２４’、２４－１に位置する第２の色座標１２０と、第１の垂直方向、例えば上方向において第３のサンプル位置２６’に隣接する第１のサンプル位置２２’に位置する第１の色座標１１０とからなってもよい。さらに、第３の重み付き和１３４’を計算するための第１及び第２の色座標１１０、１２０は、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’に水平方向に隣接する第１のサンプル位置２２’、２２－１に位置する第１の色座標１１０と、第２の垂直方向、例えば下方向において第３のサンプル位置２６’に隣接する第２のサンプル位置２４’に位置する第２の色座標１２０とからなってもよい。
第５の重み付き和２５４’及び第６の重み付き和２６４’をそれぞれ計算するための第４の色座標１４０及び差分色座標２５０は、アレイの対角方向においてそれぞれの第３のサンプル位置２６’及び第４のサンプル位置２８’に隣接する。第１及び第２の対角方向は、第１の垂直方向又は上方向を指し示す垂直成分を有する対角方向を指す。第３及び第４の対角方向は、第２の垂直方向又は下方向を指し示す垂直成分を有する対角方向を指す。
第５の重み付き和２５４’及び第６の重み付き和２６４’をそれぞれ計算するための第４の色座標１４０及び差分色座標２５０は、アレイの対角方向においてそれぞれの第３のサンプル位置２６’及び第４のサンプル位置２８’に隣接する。第１及び第２の対角方向は、第１の垂直方向又は上方向を指し示す垂直成分を有する対角方向を指す。第３及び第４の対角方向は、第２の垂直方向又は下方向を指し示す垂直成分を有する対角方向を指す。
【0028】
ストライプ動作モードでは、第５の重み付き和２５４’を算出するための第４の色座標１４０は、アレイの第３及び第４の対角方向、例えば左下及び右下の対角方向において、それぞれのサンプルクラスタ２０の第３のサンプル位置２６’に隣接する第４のサンプル位置２８’、２８－１について計算された第４の色座標１４０からなってもよい。したがって、第６の重み付き和２６４’の差分色座標２５０は、第１及び第２の対角方向、例えば右上対角方向の左上において、それぞれのサンプルクラスタ２０’の第４のサンプル位置２８’に隣接する第３のサンプル位置２６’、２６－１について計算された差分色座標２５０からなってもよい。
ストライプ動作モードでは、現在の行５６の色座標を算出するためにのみ、サンプルを明示的に使用することができるので、特定のサンプル位置は、特定のサンプル位置に対して算出された色座標によって置き換えることができる。したがって、この動作モードは、特に低いメモリ要件を有する。それでも、画像表現の１つの色座標における第１及び第２のチャンネルのエネルギーの圧縮により、最新技術の変換に関する性能を、例えば、低ビットレートで約０．３ｄＢ向上させることができる。
ストライプ動作モードでは、現在の行５６の色座標を算出するためにのみ、サンプルを明示的に使用することができるので、特定のサンプル位置は、特定のサンプル位置に対して算出された色座標によって置き換えることができる。したがって、この動作モードは、特に低いメモリ要件を有する。それでも、画像表現の１つの色座標における第１及び第２のチャンネルのエネルギーの圧縮により、最新技術の変換に関する性能を、例えば、低ビットレートで約０．３ｄＢ向上させることができる。
【0029】
それぞれの色座標を計算するために使用される現在の行５６の別の例が、赤、青、及び緑色チャンネルである第１、第２、及び第３のチャンネルの場合について図９に示されている。
さらなる可能な動作モードは、図３を参照して解説される垂直因果動作モードである。垂直因果動作モードでは、第１の垂直方向、例えば上方向において現在の行５６に隣接する１つ又は複数の行内のサンプル位置が、第１から第６の重み付き和１１４’、１２４’、１３４’、１４４’、２５４’、２６４’のうちの１つ又は複数の算出に含まれる場合がある。好ましくは、第１の垂直方向は、現在の行５６の時間的に前に、装置１００によって受信されたアレイの行を指し示す。したがって、ＣＦＡパターン画像１０は、ストライプ動作モードに関して追加の時間遅延なしに符号化することができる。
さらなる可能な動作モードは、図３を参照して解説される垂直因果動作モードである。垂直因果動作モードでは、第１の垂直方向、例えば上方向において現在の行５６に隣接する１つ又は複数の行内のサンプル位置が、第１から第６の重み付き和１１４’、１２４’、１３４’、１４４’、２５４’、２６４’のうちの１つ又は複数の算出に含まれる場合がある。好ましくは、第１の垂直方向は、現在の行５６の時間的に前に、装置１００によって受信されたアレイの行を指し示す。したがって、ＣＦＡパターン画像１０は、ストライプ動作モードに関して追加の時間遅延なしに符号化することができる。
【0030】
例えば、垂直因果動作モードにおいて、第２の重み付き和１２４’、第４の重み付き和１４４’及び第６の重み付き和２６４’は、ストライプ動作モードに関して説明したように算出することができる。第１の重み付き和１１４’の第３のサンプル１６は、それぞれのサンプルクラスタ２０’の第１のサンプル位置２２’に水平方向に隣接する第３のサンプル位置２６－１、２６’に位置する第３のサンプル１６と、第１のサンプル位置２２’に垂直方向に隣接する第４のサンプル位置２８’、２８－２に位置する第３のサンプル１６とからなってもよい。追加的に、第３の重み付き和１３４’を計算するための第１及び第２の色座標１１０、１２０は、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’に水平方向に隣接する第１のサンプル位置２２’、２２－１に位置する第１の色座標１１０と、第３のサンプル位置２６’に垂直方向に隣接する第２のサンプル位置２４’、２４－２に位置する第２の色座標１２０とからなってもよい。第５の重み付き和２５４’を算出するための第４の色座標１４０は、アレイの４つの対角方向においてそれぞれのサンプルクラスタ２０の第３のサンプル位置２６’に隣接する第４のサンプル位置２８’、２８－１、２８－３、２８－４について計算された第４の色座標１４０からなってもよい。言い換えれば、垂直因果モードの例では、上方の隣接部のみにアクセスし、したがって、持ち上げステップごとに１つの追加ラインをバッファしなければならないが、追加のレイテンシは作成されない。すなわち、エンコーダ、例えば装置１００、入力バッファ要件は、４つのラインだけ増加すればよく、デコーダ、例えば図５の装置５００、出力バッファ要件は、４つのラインだけ増加すればよい。
【0031】
ストライプ動作モード及び垂直因果動作モードにおいて、第１から第６の重み付き和１１４’、１２４’、１３４’、１４４’、２５４’、２６４’は、それぞれの色座標が算出されるサンプル位置に水平方向に隣接するサンプル位置からの寄与の重みの合計が、それぞれの色座標が算出されるサンプル位置に垂直方向に隣接するサンプル位置からの寄与の重みの合計と等しくなるように重み付けされてもよい。すなわち、垂直に隣接するサンプル位置が１つのみ考慮される場合、それぞれの値は２倍に重み付けされてもよい。
【0032】
さらなる可能な動作モードは等方性動作モードであり、等方性動作モードでは、両方の垂直方向において現在の行５６に隣接する行に位置するサンプルが、色座標１１０、１２０、１３０、１４０、２５０、２６０のうちの１つ若しくは複数、又はすべての算出において考慮される。第１の重み付き和１１４’、第３の重み付き和１３４’及び第５の重み付き和２５４’は、垂直因果動作モードに関して説明したように算出することができる。第２の重み付き和１２４’の第３のサンプル１６は、それぞれのサンプルクラスタ２０’の第２のサンプル位置２４’に水平方向に隣接する第４のサンプル位置２８－１、２８’に位置する第３のサンプル１６と、第２のサンプル位置２４’に垂直方向に隣接する第３のサンプル位置２６’、２６－２に位置する第３のサンプル１６とを含んでもよい。この場合、第２の色座標１２０を算出するためには、前述の動作モードに関して現在の行５６の下方にある１つの追加の行が必要である。追加的に、ただし任意選択的に、例えば現在の行５６の下方に位置する追加の行を考慮することによって導入される最大許容可能時間遅延に応じて、第４の重み付き和１４４’を計算するための第１及び第２の色座標１１０、１２０は、それぞれのサンプルクラスタ２０’の第４のサンプル位置２８’に水平方向に隣接する第２のサンプル位置２４’、２４－１に位置する第２の色座標１２０と、第３のサンプル位置２６’に垂直方向に隣接する第１のサンプル位置２２’、２２－２に位置する第１の色座標１１０とを含んでもよい。この場合、前述の動作モードに関して、現在の行５６より下方にある２つの追加の行が必要である。追加的に、ただし任意選択的に、第６の重み付き和２６４’の差分色座標２５０は、４つの対角方向においてそれぞれのサンプルクラスタ２０’の第４のサンプル位置２８’に隣接する第３のサンプル位置２６’、２６－１、２６－２、２６－３について計算された差分色座標２５０からなってもよい。この場合、前述の動作モードに関して、現在の行５６より下方にある４つの追加の行が必要である。言い換えれば、エンコーダ変換はその出力７０を４つのライン又は行だけ遅延させ、デコーダは４つのライン又は行による追加の遅延を含み、したがって、エンドツーエンドレイテンシは８つのライン又は行だけ増加する場合がある。
【0033】
実施形態によれば、装置１００は、等方性動作モード、垂直因果動作モード、及びストライプ動作モードのうちの１つ又は複数を含む動作モードのセットを含む。したがって、利用可能なメモリと、ＣＦＡパターン画像１０の符号化及び復号化に許容可能な最大時間遅延とに応じて、動作モードのセットのうちの１つを選択することができる。
実施形態によれば、装置１００は、ＣＦＡパターン画像１０を符号化するための動作モードのセットのうちの１つを選択し、画像表現７０がシグナリングされるデータストリーム内の選択された動作モードをシグナリングすることができる。
実施形態によれば、第１のフィルタリング済み第３のサンプル値１１２’、第２のフィルタリング済み第３のサンプル値１２２’、第１のフィルタリング済み色座標１３２’、第２のフィルタリング済み色座標１４２’、フィルタリング済み第４の色座標２５２’、及びフィルタリング済み差分色座標２６２’は、それぞれ丸め演算によって第１の重み付き和１１４’、第２の重み付き和１２４’、第３の重み付き和１３４’、第４の重み付き和１４４’、第５の重み付き和２５４’、及び第６の重み付き和２６４’から取得され、それぞれの色座標の効率的な計算及び記憶を可能にすることができる。例えば、丸め演算は、数値を次の小さな又は大きな整数にそれぞれ丸めることができるｆｌｏｏｒ演算又はｃｅｉｌ演算であってもよい。
実施形態によれば、装置１００は、ＣＦＡパターン画像１０を符号化するための動作モードのセットのうちの１つを選択し、画像表現７０がシグナリングされるデータストリーム内の選択された動作モードをシグナリングすることができる。
実施形態によれば、第１のフィルタリング済み第３のサンプル値１１２’、第２のフィルタリング済み第３のサンプル値１２２’、第１のフィルタリング済み色座標１３２’、第２のフィルタリング済み色座標１４２’、フィルタリング済み第４の色座標２５２’、及びフィルタリング済み差分色座標２６２’は、それぞれ丸め演算によって第１の重み付き和１１４’、第２の重み付き和１２４’、第３の重み付き和１３４’、第４の重み付き和１４４’、第５の重み付き和２５４’、及び第６の重み付き和２６４’から取得され、それぞれの色座標の効率的な計算及び記憶を可能にすることができる。例えば、丸め演算は、数値を次の小さな又は大きな整数にそれぞれ丸めることができるｆｌｏｏｒ演算又はｃｅｉｌ演算であってもよい。
【0034】
実施形態によれば、第１の重み付き和１１４’及び第２の重み付き和１２４’はそれぞれ、それらのそれぞれの第３のサンプルの平均を表す。したがって、第１及び第２の色値１１０’、１２０’は、それぞれ第１及び第２のサンプル１２’、１４’と、第１及び第２のサンプル位置２２’、２４’に隣接するそれぞれの第３のサンプルの空間的フィルタリング済み平均値との間の差を表すことができる。
実施形態によれば、第３及び第４の重み付き和１３４’、１４４’の重みは、第１の色座標を重み付けするための第１の重みと、第２の色座標を重み付けするための第２の重みとからなる。例えば、第１の重みは２の第１の累乗として実装されてもよく、第２の重みは２の第２の累乗として実装されてもよく、２の第１及び第２の累乗の指数は整数、例えば負、０、又は正である。
実施形態によれば、第３及び第４の重み付き和１３４’、１４４’の重みは、第１の色座標を重み付けするための第１の重みと、第２の色座標を重み付けするための第２の重みとからなる。例えば、第１の重みは２の第１の累乗として実装されてもよく、第２の重みは２の第２の累乗として実装されてもよく、２の第１及び第２の累乗の指数は整数、例えば負、０、又は正である。
【0035】
以下では、色座標１１０、１２０、１３０、１４０、２５０、２６０を計算するための例をより詳細に説明する。例示を目的として、いくつかの実施形態によれば、第１のチャンネルは赤色チャンネルであり、第２のチャンネルは青色チャンネルであり、第３のチャンネルは緑色チャンネルであると仮定される。それにもかかわらず、説明された変換は、異なる構成にとっても有利である。例えば、さらなる実施形態では、第１及び第２のチャンネルは交換されてもよく、及び／又は第３のチャンネルは白色チャンネルであってもよい。以下の式において、Ｒは第１のサンプル１２を表し、Ｂは第２のサンプル２２を表し、Ｇは第３のサンプル２４を表し、より正確にはそのサンプル値を表す。また、限定ではないが例示目的のために、第１の垂直方向が上方向として選択され、第２の垂直方向が下方向として選択され、水平方向が左右として選択される。それぞれの色座標が算出されるサンプル位置の隣接するサンプルは、左のｌ、右のｒ、上のｔ、及び下のｂ、並びに対応する対角方向のｌｔ、ｌｂ、ｒｔ、ｒｂでインデックス付けされる。したがって、第１の色座標１１０を第１の彩度差チャンネルＣｒとして呼ぶことができ、第２の色座標１２０を第２の彩度差チャンネルＣｂと呼ぶことができ、第３の色座標１３０を第１のマゼンタチャンネルＭ１と呼ぶことができ、第４の色座標１４０を第２のマゼンタチャンネルＭ２と呼ぶことができ、差分色座標２５０をマゼンタ差分チャンネルΔと呼ぶことができ、組み合わせ色座標２６０を平均マゼンタチャンネルＭと呼ぶことができる。
【0036】
一実施形態によれば、第３及び第４の重み付き和１３４’、１４４’のそれぞれにおいて、第１の色座標１１０の重みの合計は第２の色座標１２０の重みの合計に等しく、それぞれの重み付き和の重みの和は１に等しい。この特定の場合については、均等重み付き和である第１及び第２の重み付き和１１４’、１２４’と組み合わせて、第３のチャンネル、例えば緑色チャンネルの空間ハイパスを形成することができ、結果として得られる組み合わせ色座標の高周波成分又はＤＣ成分は、第１及び第２のチャンネルの成分、例えば赤色及び青色成分を主に、又はさらにはそれらのみを含み、第３のチャンネルの成分、例えば緑色成分は含まない。したがって、第１及び第２のチャンネルが赤色チャンネル及び青色チャンネルを表す場合、組み合わせ色座標はマゼンタチャンネル（Ｍ）と呼ばれる場合がある。言い換えれば、ＭのＤＣ成分は、赤色チャンネルと青色チャンネルの平均であってもよく、その名前は「マゼンタ」と呼ばれる。しかしながら、持ち上げ、例えば第３及び第４の持ち上げステップにより、緑色ＤＣ成分がＣｂ、Ｃｒ及びＭから再構築可能であることを保証することができ、ＣＦＡパターン画像のエネルギーをマゼンタチャンネルに圧縮することにより、より効率的な符号化をもたらし、信号対雑音比を例えば０．３ｄＢだけ減少させることができる。
例えば、最初の持ち上げステップにおいて、第１の色座標１１０及び第２の色座標１２０は、等方性動作モードに関して非常によく示されている以下の式に従って計算することができる：
例えば、最初の持ち上げステップにおいて、第１の色座標１１０及び第２の色座標１２０は、等方性動作モードに関して非常によく示されている以下の式に従って計算することができる：
【0037】
「垂直因果」モードでは、Ｃｂの計算におけるＧｂがＧｔに置き換えられる。「ストライプ動作モード」では、前回の置換が行われ、かつＣｒの計算におけるＧｔもＧｂに置き換えられる。
第２の持ち上げステップにおいて、第３の色座標１３０及び第４の色座標１４０は、等方性動作モードにおいて、以下に従って計算することができる：
例えば、Ｍ１サンプルは最上行に位置し、Ｍ２チャンネルは最下行に位置する。垂直因果動作モードでは、Ｍ２の計算におけるＣｒ，ｂをＣｒ，ｔに置き換えてもよい。ストライプ動作モードでは、加えて、Ｃｂ，ｔをＣｂ，ｂに置き換えてもよい。置換規則は、第１の持ち上げステップのものと同様であり、すなわち、上方又は下方からの同様のサンプルの反射によって利用不可能なサンプルを作成する。
上記のＭ１及びＭ２の式において、第１の色座標１１０（Ｃｒ）の重みは２の第１の累乗として実装され、第２の色座標１２０（Ｃｂ）の重みは２の第２の累乗として実装される。ｒ＝ｂ＝１の場合、２の第１の累乗の指数及び２の第２の累乗の指数は両方とも－２に等しく、第１及び第２の色座標のそれぞれに対する重みは１／４になり、その結果、この場合、第３及び第４の重み付き和１３４’、１４４’の重みの和は１であり、したがって、第１及び第２のチャンネルがそれぞれ赤及び青のチャンネルである場合について、ＣＦＡパターン画像のエネルギーをマゼンタチャンネルに圧縮するための例示的な実装形態を提供する。
第２の持ち上げステップにおいて、第３の色座標１３０及び第４の色座標１４０は、等方性動作モードにおいて、以下に従って計算することができる：
上記のＭ１及びＭ２の式において、第１の色座標１１０（Ｃｒ）の重みは２の第１の累乗として実装され、第２の色座標１２０（Ｃｂ）の重みは２の第２の累乗として実装される。ｒ＝ｂ＝１の場合、２の第１の累乗の指数及び２の第２の累乗の指数は両方とも－２に等しく、第１及び第２の色座標のそれぞれに対する重みは１／４になり、その結果、この場合、第３及び第４の重み付き和１３４’、１４４’の重みの和は１であり、したがって、第１及び第２のチャンネルがそれぞれ赤及び青のチャンネルである場合について、ＣＦＡパターン画像のエネルギーをマゼンタチャンネルに圧縮するための例示的な実装形態を提供する。
【0038】
実施形態によれば、第５の重み付き和２５４’は、第５の重み付き和２５４’の第４の色座標１４０の均等重み付き平均である。例えば、この場合、差分色座標２５０は主に第１の２つの第３のチャンネルの差分成分を表すことができ、その結果、差分色座標２５０は特に小さくてもよく、これにより効率的な符号化が可能になる。
例えば、差分色座標２５０は、等方性及び垂直因果動作モードにおいて、以下に従って計算することができる：
ストライプ動作モードでは、ＭｌｔをＭｌｂに、ＭｒｔをＭｒｂに置き換えてもよい。
実施形態によれば、第６の重み付き和２６４’は、第６の重み付き和２６４’の第４の色座標の均等重み付き平均であり、第６の重み付き和２６４’の重みの和は１／２に等しい。
例えば、組み合わせ色座標２６０は、以下に従って計算することができる：
したがって、説明された変換は、組み合わせ色座標２１６における第１及び第２のチャンネルのエネルギーと接触する場合がある。垂直モード及びストライプ動作モードでは、ΔｌｂをΔｌｔに置き換えてもよく、ΔｒｂをΔｒｔに置き換えてもよい。
例えば、変換の最終出力、例えば圧縮変換表現２４９は、（Ｍ、Ｃｂ、Ｃｒ、Δ）サンプルのアレイであってもよい。これらは、さらなる空間的無相関化に入力されてもよい。任意選択的に、Δのみならば、追加の空間的無相関化を必要としない場合がある。
例えば、差分色座標２５０は、等方性及び垂直因果動作モードにおいて、以下に従って計算することができる：
実施形態によれば、第６の重み付き和２６４’は、第６の重み付き和２６４’の第４の色座標の均等重み付き平均であり、第６の重み付き和２６４’の重みの和は１／２に等しい。
例えば、組み合わせ色座標２６０は、以下に従って計算することができる：
例えば、変換の最終出力、例えば圧縮変換表現２４９は、（Ｍ、Ｃｂ、Ｃｒ、Δ）サンプルのアレイであってもよい。これらは、さらなる空間的無相関化に入力されてもよい。任意選択的に、Δのみならば、追加の空間的無相関化を必要としない場合がある。
【0039】
図４は、ＣＦＡパターン画像１０を符号化する装置１００の他の例を示す。図示のように、装置１００は、量子化器４８０及びエントロピーコーダ４９０を追加的に備えてもよい。量子化器４８０は、変換表現１４９、すなわちサンプルクラスタ２０の第１から第４の色座標１１０、１２０、１３０、１４０、又は代替的に、圧縮変換表現２４９、すなわちサンプルクラスタ２０の第１及び第２の色座標１１０、１２０並びに差分色座標２５０及び組み合わせ色座標２６０を量子化することによって、量子化表現４８２を導出することができる。エントロピーコーダ４９０は、量子化表現４８２を符号化して、画像表現７０として提供され得る符号化表現４９５を取得することができる。
【0040】
任意選択的に、装置１００は、変換表現１４９又は圧縮変換表現２４９をさらに空間的に無相関化するために、空間的無相関化変換、例えば離散コサイン変換又は離散ウェーブレット変換を使用し得る空間的無相関化段４７５をさらに備えてもよい。一例では、空間的無相関化段４７５は、空間的に無相関化された表現４７８を取得するために、第１から第４の色座標１１０、１２０、１３０、１４０、又は第１の、第２の、差分、及び組み合わせ色座標１１０、１２０、２５０、２６０に空間的無相関化変換を適用し、それに基づいて量子化器４８０は量子化表現４８２を導出することができる。別の例では、空間的無相関化段４７５は、空間的に無相関化された表現４７８を取得するために、第１の、第２の、及び組み合わせ色座標１１０、１２０、２６０を用いて空間的無相関化変換を適用し、量子化器４８０は、空間的に無相関化された表現４７８及びサンプルクラスタ２０の差分色座標２５０から量子化表現４８２を導出することができる。
【0041】
図５は、ＣＦＡパターン画像１０を取得するために画像表現７０を復号するための装置５００の概略図を示す。装置５００は、サンプルクラスタ２０の各サンプルクラスタ２０’に関して、第１から第４の色座標１１０、１２０、１３０、１４０から第１のサンプル１２’、第２のサンプル１４’、及び２つの第３のサンプル１６Ａ’、１６Ｂ’を計算するように構成される。
装置５００は、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’について、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’における第３の色座標１３０’と第１のフィルタリング済み色座標１３２’との差を形成することによって、それぞれの第３のサンプル位置２６’における第３のサンプル１６Ａ’を計算することができる。さらに、装置５００は、各サンプルクラスタ２０’の第４のサンプル位置２８’について、それぞれのサンプルクラスタ２０’の第４のサンプル位置２８’における第４の色座標１４０’と第２のフィルタリング済み色座標１４２’との差を形成することによって、それぞれの第４のサンプル位置２８’における第３のサンプル１６Ｂ’を計算することができる。第１及び第２のフィルタリング済み色座標１３２、１４２は、装置１００に関して説明したように第１及び第２の色座標から取得することができる。
装置５００は、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’について、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’における第３の色座標１３０’と第１のフィルタリング済み色座標１３２’との差を形成することによって、それぞれの第３のサンプル位置２６’における第３のサンプル１６Ａ’を計算することができる。さらに、装置５００は、各サンプルクラスタ２０’の第４のサンプル位置２８’について、それぞれのサンプルクラスタ２０’の第４のサンプル位置２８’における第４の色座標１４０’と第２のフィルタリング済み色座標１４２’との差を形成することによって、それぞれの第４のサンプル位置２８’における第３のサンプル１６Ｂ’を計算することができる。第１及び第２のフィルタリング済み色座標１３２、１４２は、装置１００に関して説明したように第１及び第２の色座標から取得することができる。
【0042】
後続のステップでは、装置５００は、各サンプルクラスタ２０’の第１のサンプル位置２２’について、それぞれのサンプルクラスタ２０’の第１のサンプル位置２２’における第１の色座標１１０’と第１のフィルタリング済み第３のサンプル値１１２’との総和を形成することによって、それぞれの第１のサンプル位置２２’における第１のサンプル１２’を計算することができる。さらに、装置５００は、各サンプルクラスタ２０’の第２のサンプル位置２４’について、それぞれのサンプルクラスタ２０’の第２のサンプル位置２４’における第２の色座標１２０’と第２のフィルタリング済み第３のサンプル値１２２’との総和を形成することによって、それぞれの第２のサンプル位置２４’における第２のサンプル１４’を計算することができる。第１及び第２のフィルタリング済み第３のサンプル値１１２’、１２２’は、装置１００に関して説明したように以前のステップに従って、第３及び第４のサンプル位置２６、２８について計算された第３のサンプル１６から取得することができる。
装置５００は、装置１００と同等に、第１から第６の重み付き和を計算するための動作モードのセットを含んでもよい。実施形態によれば、装置５００は、画像表現をシグナリングするデータストリームから画像表現を復号するために使用されるべき動作モードを導出することができ、それに応じて動作モードのセットのうちの１つを選択することができる。
装置５００は、装置１００と同等に、第１から第６の重み付き和を計算するための動作モードのセットを含んでもよい。実施形態によれば、装置５００は、画像表現をシグナリングするデータストリームから画像表現を復号するために使用されるべき動作モードを導出することができ、それに応じて動作モードのセットのうちの１つを選択することができる。
【0043】
図６は、画像表現７０内でシグナリングすることができる、第１及び第２の色座標１１０、１２０並びに差分及び組み合わせ色座標２５０、２６０から、第１から第４のサンプル１２、１４、１６Ａ、１６Ｂを取得するように構成された装置５００の別の例を示す。図６に示す実施形態は、差分及び組み合わせ色座標２５０、２６０から第３及び第４の色座標１３０、１４０を計算するために、図５に示す実施形態に関して２つの追加のステップを含む。その目的のために、装置５００は、それぞれのサンプルクラスタ２０’の第４のサンプル位置２８’について、それぞれのサンプルクラスタ２０’の第４のサンプル位置２８’における組み合わせ色座標２６０’とフィルタリング済み差分色座標２６２’との差を形成することによって、それぞれの第４のサンプル位置２８’における第４の色座標１４０’を計算することができる。フィルタリング済み差分色座標２６２は、装置１００に関して説明したように差分色座標２５０から取得することができる。
後続のステップで、装置５００は、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’について、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’における差分色座標１３０’とフィルタリング済み第４の色座標２５２’との総和を形成することによって、それぞれの第３のサンプル位置２６’における第３の色座標２５０’を計算することができる。フィルタリング済み第４の色座標２５２は、装置１００に関して説明したように、第４の色座標１４０から取得することができる。
後続のステップで、装置５００は、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’について、それぞれのサンプルクラスタ２０’の第３のサンプル位置２６’における差分色座標１３０’とフィルタリング済み第４の色座標２５２’との総和を形成することによって、それぞれの第３のサンプル位置２６’における第３の色座標２５０’を計算することができる。フィルタリング済み第４の色座標２５２は、装置１００に関して説明したように、第４の色座標１４０から取得することができる。
【0044】
図７は、エントロピーデコーダ５９０及び逆量子化器５８０をさらに備える装置５００の別の例の概略図を示す。エントロピーデコーダ５９０は、量子化表現４８２を取得するために、画像表現７０を表し得る符号化表現４９５を復号することができる。逆量子化器５８０は、逆量子化プロセスを使用して、量子化表現４８２から、変換表現１４９として示され得る第１から第４の色座標１１０、１２０、１３０、１４０、又は代替的に、圧縮変換表現２４９として示され得る第１の、第２の、差分、及び組み合わせ色座標１１０、１２０、２５０、２６０を取得することができる。
任意選択的に、逆量子化器５８０は、装置１００（図４を参照）に関して導入された、空間的に無相関化された表現４７８を提供し、装置５００は、逆空間的無相関化変換、例えば逆離散コサイン変換又は逆離散ウェーブレット変換を使用して、第１から第４の色座標１１０、１２０、１３０、１４０、又は第１の、第２の、差分、及び組み合わせ色座標１１０、１２０、２５０、２６０を導出することができる逆空間的無相関化段５７５をさらに備える。
任意選択的に、逆量子化器５８０は、装置１００（図４を参照）に関して導入された、空間的に無相関化された表現４７８を提供し、装置５００は、逆空間的無相関化変換、例えば逆離散コサイン変換又は逆離散ウェーブレット変換を使用して、第１から第４の色座標１１０、１２０、１３０、１４０、又は第１の、第２の、差分、及び組み合わせ色座標１１０、１２０、２５０、２６０を導出することができる逆空間的無相関化段５７５をさらに備える。
【0045】
別の選択肢によれば、逆量子化器５８０は、空間的に無相関化された表現４７８及び差分色座標２５０を提供し、装置５００は、逆空間的無相関化変換を使用して第１の、第２の、及び組み合わせ色座標１１０、１２０、２６０を導出することができる逆空間的無相関化段５７５をさらに備える。
画像表現７０をＣＦＡパターン画像１０に復号するための装置５００のさらなる詳細については、装置１００の説明を参照されたい。同一の参照符号で示された信号は、例えば量子化損失のために異なる可能性があるが、装置５００に関して同一の参照符号で示された装置１００の特徴は、同等の機能を有し、それぞれの説明で紹介されたように同等に実装することができる。
画像表現７０をＣＦＡパターン画像１０に復号するための装置５００のさらなる詳細については、装置１００の説明を参照されたい。同一の参照符号で示された信号は、例えば量子化損失のために異なる可能性があるが、装置５００に関して同一の参照符号で示された装置１００の特徴は、同等の機能を有し、それぞれの説明で紹介されたように同等に実装することができる。
【0046】
以下では、第１及び第２の態様による本開示の実施形態について説明する。実施形態は、図１に示され、図１に関して説明した装置１００に基づく。
本開示の第１の態様による実施形態では、第３の重み付き和１３４’は、第３の重み付き和１３４’の重みの和が１／２よりも大きくなるように計算され、第４の重み付き和１４４’は、第４の重み付き和１４４’の重みの和が１／２よりも大きくなるように導出される。
本開示の第２の態様による実施形態では、第１の重み付き和１１４’の第３のサンプル１６の第３のサンプル位置２６は、それぞれのサンプルクラスタ２０’が位置するアレイの現在の行５６を超える。例えば、第１の重み付き和１１４’は、等方性動作モード又は垂直因果動作モードに関して説明したように算出することができる。任意選択的に、第２から第６の重み付き和１２４’、１３４’、１４４’、２５４’、２６４’の計算も、垂直因果動作モード及び等方性動作モードのうちの１つに従って実行されてもよい。言い換えれば、本開示の第２の態様によれば、装置１００、５００は等方性動作モード及び垂直因果動作モードのうちの１つを含んでもよい。これらの動作モードの様々な可能な実施態様が上述されている。
本開示の第１の態様による実施形態では、第３の重み付き和１３４’は、第３の重み付き和１３４’の重みの和が１／２よりも大きくなるように計算され、第４の重み付き和１４４’は、第４の重み付き和１４４’の重みの和が１／２よりも大きくなるように導出される。
本開示の第２の態様による実施形態では、第１の重み付き和１１４’の第３のサンプル１６の第３のサンプル位置２６は、それぞれのサンプルクラスタ２０’が位置するアレイの現在の行５６を超える。例えば、第１の重み付き和１１４’は、等方性動作モード又は垂直因果動作モードに関して説明したように算出することができる。任意選択的に、第２から第６の重み付き和１２４’、１３４’、１４４’、２５４’、２６４’の計算も、垂直因果動作モード及び等方性動作モードのうちの１つに従って実行されてもよい。言い換えれば、本開示の第２の態様によれば、装置１００、５００は等方性動作モード及び垂直因果動作モードのうちの１つを含んでもよい。これらの動作モードの様々な可能な実施態様が上述されている。
【0047】
第２の態様によるさらなる実施形態は、ストライプ動作モードを追加的に含むことができる。例えば、装置１００、５００は、ストライプ動作モードと、例えば等方性又は垂直因果動作モードに対応し得る第１の動作モードとの間で選択することができる。実施形態によれば、装置１００は、画像表現７０がシグナリングされるデータストリーム内の画像表現７０を計算するために使用される動作モードをシグナリングするように構成されてもよい。したがって、装置５００は、ＣＦＡパターン画像を得るために画像表現７０を復号するために使用される動作モードを、データストリームから導出するように構成されてもよい。
【0048】
いくつかの態様が装置の文脈における特徴として説明されているが、そのような説明が方法の対応する特徴の説明とも見なされ得ることは明らかである。いくつかの態様は、方法の文脈における特徴として説明されているが、そのような説明が、装置の機能に関する対応する特徴の説明とも見なされ得ることは明らかである。
方法ステップの一部又はすべては、例えばマイクロプロセッサ、プログラマブルコンピュータ、又は電子回路などのハードウェア装置によって（又はそれらを使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップの１つ又は複数は、そのような装置によって実行されてもよい。
本発明の符号化画像信号は、デジタル記憶媒体に記憶することができ、又は無線伝送媒体などの伝送媒体若しくはインターネットなどの有線伝送媒体上で伝送することができる。
特定の実装要件に応じて、本発明の実施形態は、ハードウェア若しくはソフトウェアで、又は少なくとも部分的にハードウェアで、又は少なくとも部分的にソフトウェアで実装することができる。実装は、電子的に読み取り可能な制御信号が記憶されたデジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、Ｂｌｕ－Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリを使用して実行することができ、これらはそれぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働することができる）。したがって、デジタル記憶媒体はコンピュータ可読であってもよい。
本発明によるいくつかの実施形態は、本明細書に記載の方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
方法ステップの一部又はすべては、例えばマイクロプロセッサ、プログラマブルコンピュータ、又は電子回路などのハードウェア装置によって（又はそれらを使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップの１つ又は複数は、そのような装置によって実行されてもよい。
本発明の符号化画像信号は、デジタル記憶媒体に記憶することができ、又は無線伝送媒体などの伝送媒体若しくはインターネットなどの有線伝送媒体上で伝送することができる。
特定の実装要件に応じて、本発明の実施形態は、ハードウェア若しくはソフトウェアで、又は少なくとも部分的にハードウェアで、又は少なくとも部分的にソフトウェアで実装することができる。実装は、電子的に読み取り可能な制御信号が記憶されたデジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、Ｂｌｕ－Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリを使用して実行することができ、これらはそれぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働することができる）。したがって、デジタル記憶媒体はコンピュータ可読であってもよい。
本発明によるいくつかの実施形態は、本明細書に記載の方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【0049】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法のうちの１つを実行するように動作する。プログラムコードは、例えば、機械可読キャリアに記憶することができる。
他の実施形態は、機械可読キャリアに記憶された、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを含む。
言い換えれば、したがって、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを記録して含むデータキャリア（又はデジタル記憶媒体、又はコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、又は記録媒体は、通常、有形及び／又は非一時的である。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成することができる。
他の実施形態は、機械可読キャリアに記憶された、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを含む。
言い換えれば、したがって、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを記録して含むデータキャリア（又はデジタル記憶媒体、又はコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、又は記録媒体は、通常、有形及び／又は非一時的である。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成することができる。
【0050】
さらなる実施形態は、本明細書に記載された方法のうちの１つを実行するように構成又は適合された処理手段、例えばコンピュータ、又はプログラマブルロジックデバイスを備える。
さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。
本発明によるさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを受信機に転送（例えば、電子的又は光学的に）するように構成された装置又はシステムを備える。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置又はシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えてもよい。
いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載された方法の機能の一部又はすべてを実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの１つを実行するためにマイクロプロセッサと協働することができる。一般に、方法は、任意のハードウェア装置によって実行されることが好ましい。
さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。
本発明によるさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを受信機に転送（例えば、電子的又は光学的に）するように構成された装置又はシステムを備える。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置又はシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えてもよい。
いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載された方法の機能の一部又はすべてを実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの１つを実行するためにマイクロプロセッサと協働することができる。一般に、方法は、任意のハードウェア装置によって実行されることが好ましい。
【0051】
本明細書に記載の装置は、ハードウェア装置を使用して、又はコンピュータを使用して、又はハードウェア装置とコンピュータとの組み合わせを使用して実装することができる。
本明細書に記載の方法は、ハードウェア装置を使用して、又はコンピュータを使用して、又はハードウェア装置とコンピュータとの組み合わせを使用して実行することができる。
上記の詳細な説明では、本開示を簡素化する目的で、様々な特徴が例において一緒にグループ化されていることが分かる。この開示方法は、特許請求される例が各請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映していると解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、主題は、単一の開示された例のすべての特徴よりも少ない特徴にある場合がある。したがって、以下の特許請求の範囲は詳細な説明に組み込まれ、各請求項は別個の例として独立していてもよい。各請求項は別個の例として独立していてもよいが、従属請求項は請求の範囲において１つ又は複数の他の請求項との特定の組み合わせを指す場合があるが、他の例はまた、従属請求項と他の従属請求項の主題との組み合わせ、又は各特徴と他の従属若しくは独立請求項との組み合わせを含み得ることに留意されたい。そのような組み合わせは、特定の組み合わせが意図されていないと述べられていない限り、本明細書において提案される。さらにまた、ある請求項が独立請求項に直接従属させられていなくても、他の任意の独立請求項にこの請求項の特徴を含めることも意図されている。
上述の実施形態は、本開示の原理の単なる例示である。本明細書に記載の構成及び詳細の修正及び変形は、当業者には明らかであることが理解される。したがって、本明細書の実施形態の説明及び解説として提示される特定の詳細によってではなく、係属中の特許請求の範囲によってのみ限定されることが意図されている。
本明細書に記載の方法は、ハードウェア装置を使用して、又はコンピュータを使用して、又はハードウェア装置とコンピュータとの組み合わせを使用して実行することができる。
上記の詳細な説明では、本開示を簡素化する目的で、様々な特徴が例において一緒にグループ化されていることが分かる。この開示方法は、特許請求される例が各請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映していると解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、主題は、単一の開示された例のすべての特徴よりも少ない特徴にある場合がある。したがって、以下の特許請求の範囲は詳細な説明に組み込まれ、各請求項は別個の例として独立していてもよい。各請求項は別個の例として独立していてもよいが、従属請求項は請求の範囲において１つ又は複数の他の請求項との特定の組み合わせを指す場合があるが、他の例はまた、従属請求項と他の従属請求項の主題との組み合わせ、又は各特徴と他の従属若しくは独立請求項との組み合わせを含み得ることに留意されたい。そのような組み合わせは、特定の組み合わせが意図されていないと述べられていない限り、本明細書において提案される。さらにまた、ある請求項が独立請求項に直接従属させられていなくても、他の任意の独立請求項にこの請求項の特徴を含めることも意図されている。
上述の実施形態は、本開示の原理の単なる例示である。本明細書に記載の構成及び詳細の修正及び変形は、当業者には明らかであることが理解される。したがって、本明細書の実施形態の説明及び解説として提示される特定の詳細によってではなく、係属中の特許請求の範囲によってのみ限定されることが意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】