IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7572811画像符号化装置及びその制御方法及びプログラム
<>
  • 特許-画像符号化装置及びその制御方法及びプログラム 図1
  • 特許-画像符号化装置及びその制御方法及びプログラム 図2
  • 特許-画像符号化装置及びその制御方法及びプログラム 図3
  • 特許-画像符号化装置及びその制御方法及びプログラム 図4
  • 特許-画像符号化装置及びその制御方法及びプログラム 図5
  • 特許-画像符号化装置及びその制御方法及びプログラム 図6
  • 特許-画像符号化装置及びその制御方法及びプログラム 図7
  • 特許-画像符号化装置及びその制御方法及びプログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-16
(45)【発行日】2024-10-24
(54)【発明の名称】画像符号化装置及びその制御方法及びプログラム
(51)【国際特許分類】
   H04N 19/593 20140101AFI20241017BHJP
   H04N 19/63 20140101ALI20241017BHJP
【FI】
H04N19/593
H04N19/63
【請求項の数】 9
(21)【出願番号】P 2020138187
(22)【出願日】2020-08-18
(65)【公開番号】P2022034409
(43)【公開日】2022-03-03
【審査請求日】2023-07-27
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】大石 晃弘
【審査官】岩井 健二
(56)【参考文献】
【文献】特開2016-213650(JP,A)
【文献】特開2011-015347(JP,A)
【文献】特開2010-157951(JP,A)
【文献】特表2002-516540(JP,A)
【文献】特開2000-244935(JP,A)
【文献】国際公開第2009/087783(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
三原色のフィルタに加え、第4の色を検出するためのフィルタが周期的に並んだ撮像センサで得られたデータを符号化する画像符号化装置であって、
前記三原色を表す3つの色のうちの少なくとも2つの色のデータを用いて前記第4の色に近似するデータを生成し、当該生成したデータと前記第4の色のデータとの差分を表す差分データを生成する生成手段と、
前記三原色を表す3つの色のデータ、及び、前記差分データを符号化する符号化手段と
前記第4の色に近似するデータのゲインを調整する調整手段と、
を有し、
前記生成手段は、前記調整手段で調整後の第4の色に近似するデータと、前記第4の色のデータとの差分から、前記差分データを生成することを特徴とする画像符号化装置。
【請求項2】
前記生成手段は、前記3つの色のデータを用いて前記第4の色に近似するデータを生成することを特徴とする請求項1に記載の画像符号化装置。
【請求項3】
前記調整手段は、前記第4の色に近似するデータの平均値と前記第4の色のデータの平均値の比に基づいてゲインを調整する
ことを特徴とする請求項に記載の画像符号化装置。
【請求項4】
前記撮像センサで得られたデータを、それぞれが単一成分の画素データで構成される複数のプレーンデータに分割する分割手段を有し、
前記生成手段は、前記第4の色に近似するデータと前記第4の色のデータとの差分を表す差分データのプレーンデータを生成し、
前記符号化手段は、三原色を表す3つの色のプレーンデータ、及び、前記差分データのプレーンデータを符号化する
ことを特徴とする請求項1乃至のいずれか1項に記載の画像符号化装置。
【請求項5】
前記符号化手段は、
プレーンデータから複数のサブバンドを生成するウェーブレット変換手段と、
各サブバンドに含まれる係数データを量子化する量子化手段と、
該量子化手段による量子化後の係数データをエントロピー符号化するエントロピー符号化手段と
を含むことを特徴とする請求項に記載の画像符号化装置。
【請求項6】
前記第4の色は、白、もしくは黄色であることを特徴とする請求項1乃至のいずれか1項に記載の画像符号化装置。
【請求項7】
前記撮像センサを有することを特徴とする請求項1乃至のいずれか1項に記載の画像符号化装置。
【請求項8】
三原色のフィルタに加え、第4の色を検出するためのフィルタが周期的に並んだ撮像センサで得られた画像データを符号化する画像符号化装置の制御方法であって、
前記三原色を表す3つの色のうちの少なくとも2つの色のデータを用いて前記第4の色に近似するデータを生成し、当該生成したデータと前記第4の色のデータとの差分を表す差分データを生成する生成工程と、
前記三原色を表す3つの色のデータ、及び、前記差分データを符号化する符号化工程と
前記第4の色に近似するデータのゲインを調整する調整工程と、
を有し、
前記生成工程では、前記調整工程で調整後の第4の色に近似するデータと、前記第4の色のデータとの差分から、前記差分データを生成することを特徴とする画像符号化装置の制御方法。
【請求項9】
コンピュータが読み込み実行することで、前記コンピュータに、請求項に記載の制御方法が有する各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の符号化技術に関するものである。
【背景技術】
【0002】
デジカメに代表される撮像装置は、撮像センサによって撮像された生の画像情報(RAW画像)をデベイヤ処理(デモザイク処理)し、輝度と色差から成る信号に変換し、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行う。そして、撮像装置は、現像処理で得た輝度信号及び色差信号を圧縮符号化して、メモリカード等の記録媒体に画像ファイルとして記録する。
【0003】
一方で、RAW画像を記録できる撮像装置も存在する。RAW画像は、記録に必要なデータ量が膨大になるものの、撮像センサで得た直後のオリジナル画像に一番近い画質を有する。それ故、RAW画像は、現像処理等での演算ロスに起因する劣化が無い画像であり、高度は編集ができるという利点がある。したがって、上級者は、好んでRAW画像の記録を採用している。
【0004】
撮像センサは、赤(R),緑(G),青(B)の三原色の画素が周期的に配置されている。特に、2×2画素につき赤1画素、青1画素、緑2画素を1セットにして、このセットが規則的に並んだ配列は一般にベイヤ配列と呼ばれ、撮像装置はこのベイヤ配列の撮像センサを採用している。
【0005】
特許文献1では、モアレや偽色の発生を抑制し、解像度の低下を防止するために、4種類目の画素として白(W)を用いる構成が記載されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2016-213650号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上記特許文献1の技術で得たRAW画像データは、独立した4種類の画素で構成される。つまり、ベイヤ配列のように、緑2画素のように相関性が高い画素データが無い。それ故、圧縮符号化効率が悪くなり、符号量が増大してしまうといった問題がある。
【0008】
本発明は上記の問題点に鑑み、三原色に加えて第4の色を持つRAW画像の符号化効率を向上させる技術を提供しようとするものである。
【課題を解決するための手段】
【0009】
この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
三原色のフィルタに加え、第4の色を検出するためのフィルタが周期的に並んだ撮像センサで得られたデータを符号化する画像符号化装置であって、
前記三原色を表す3つの色のうちの少なくとも2つの色のデータを用いて前記第4の色に近似するデータを生成し、当該生成したデータと前記第4の色のデータとの差分を表す差分データを生成する生成手段と、
前記三原色を表す3つの色のデータ、及び、前記差分データを符号化する符号化手段と
前記第4の色に近似するデータのゲインを調整する調整手段と、
を有し、
前記生成手段は、前記調整手段で調整後の第4の色に近似するデータと、前記第4の色のデータとの差分から、前記差分データを生成する。
【発明の効果】
【0010】
本発明によれば、三原色に加えて第4の色を持つRAW画像の符号化効率を向上させることができる。
【図面の簡単な説明】
【0011】
図1】実施形態が適用する撮像装置のブロック構成図。
図2】画素配列の例を示す図。
図3】RAW圧縮符号化部の構成を示すブロック構成図。
図4】ウェーブレット変換(DWT)の分解レベル2のサブバンド形成図。
図5】画素配列を示す図。
図6】RAW圧縮復号のブロック図である。
図7】他の画素配列の例を示す図。
図8】第2の実施形態における画素配列を示す図。
【発明を実施するための形態】
【0012】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0013】
[第1の実施形態]
図1は、第1の実施形態における撮像装置100の構成例を示すブロック図である。本第1の実施形態では、画像符号化装置が撮像装置に実装される例を説明するが、符号化対象の画像データは、記憶装置やネットワークを介して受信しても良く、特に撮像装置に限定されるものではないことを付言する。
【0014】
撮像装置100は、撮像光学部101、撮像センサ部102、センサ信号処理部103、RAW圧縮符号化部104、バッファ105、記録データ制御部106、出力端子107、及び、装置全体の制御を司る制御部150を有する。制御部150は、CPU、CPUが実行するプログラムを格納したROM、ワークエリアとして使用するRAMを含む。
【0015】
図1において、撮像光学部101を介して光学像は、撮像センサ部102上に結像する。制御部150は、不図示の操作部からの撮影動作の開始の指示入力があると、撮像センサ部102を制御する。撮像センサ部102は、その表面に配置された各種のカラーフィルタを透過した光の強度を検出し、電気信号を得る。
【0016】
図2は、実施形態の撮像センサ部102に配置されるカラーフィルタの配列を示している。それ故、同図は符号化対象の画像データの画素配列も示している。図2に示すように、白(W),赤(R),緑(G),青(B)が画素毎にモザイク状に配置されていて、2×2の4画素は白1画素、赤1画素、青1画素、緑1画素で構成される。そして、この2×2の4画素を1セットとし、このセットが規則的に並べられた構造となっている。RGB各フィルタは、それぞれの波長域を透過するものであるが、Wフィルタは可視光全域を透過することになる。
【0017】
撮像センサ部102によって変換された電気信号は、センサ信号処理部103によって画素の修復処理が施される。修復処理には、撮像センサ部102における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部103から出力される画像情報を、生(未現像)の画像を意味するRAW画像もしくはRAW画像データと称す。
【0018】
RAW画像は、RAW圧縮符号化部104に供給される。RAW圧縮符号化部104は、センサ信号処理部103から入力したRAW画像を、ウェーブレット変換により周波数帯である複数のサブバンドデータを生成する。そして、RAW圧縮符号化部104は、し生成された各サブバンドデータに含まれる係数データを量子化し、サブバンド単位に符号化することで、符号化データを生成する。そして、RAW圧縮符号化部104は、生成された各サブバンドの符号化データをバッファ105に格納する。このRAW圧縮符号化部104の符号化処理は、本実施形態の重要な個所であるため、その詳細は後述する。
【0019】
記録データ制御部106は、バッファ105に格納されたサブバンド単位の符号化データを入力し、所定のヘッダを付加し、記録媒体や外部記憶装置等に記録するため出力端子107に出力する。
【0020】
次に、実施形態におけるRAW圧縮符号化部104の処理の詳細を説明する。
【0021】
図3はRAW圧縮符号化部104の構成を示すブロック図である。図3を用いてRAW圧縮符号化部104の処理を説明する。
【0022】
プレーン分割部302は、入力端子301を介してRAW画像データを入力する。プレーン分割部302は、RAW画像データから、それぞれが単一成分の画素データで構成される4つのプレーンデータを生成する。実施形態でのRAW画像データは、W(白),R(赤),G(緑),B(青)の4つの成分画素で構成されているので、プレーン分割部302は、RAW画像データから、W,R,G,Bの4つプレーンデータを生成することになる。実施形態では図2の配列を想定しているので、各プレーンデータは同じ画素数であり、RAW画像に対して水平、垂直方向の画素数が1/2となる。プレーン分割部302は、生成した各プレーンデータをプレーン変換部303に供給する。
【0023】
プレーン変換部303では、プレーンデータR,G,Bを用い、次式に従って輝度成分相当のプレーンデータYを算出する。
Y = pr×R + pg×G + pb×B …(1)
ここで、pr,pg,pbのパラメータは実数の重み係数を表し、次式(2)を満たす。
pr + pg + pb =1 …(2)
なお、式(2)のパラメータpr,pg,pbは、例えばITU-R BT.601に規定されるものを採用できる。
【0024】
式(1)で算出した輝度成分相当のプレーンデータYは、プレーンデータWと高い相関を持つ。それ故、プレーンデータYは、プレーンデータWに近似するプレーンデータであると言える。
【0025】
輝度成分相当Yと白(W)との相関を利用してデータ削減を行うために、ゲイン調整を行う必要がある。そこで、
Yg = Y × ygain …(3)
上記計算によるゲイン調整を行う。
ただし、ygainは、あらかじめ設定された任意の整数を用いる。また、ゲイン値は連写等でフィードバック可能である場合、画面全体のW平均値(Wavg)及びY平均値(Yavg)を用いて、
ygain = Wavg /Yavg
としてもよい。
【0026】
プレーン変換部303は、次式(4)に従って、上記ゲイン調整されたYgを用いて、白・輝度の差分プレーンWHを求める。
WH = W - Yg …(4)
先に説明したように、プレーンデータWとプレーンデータYgとは、高い相関関係を有する。よって、差分プレーンデータWHを構成する画素の値(正確には画素差分値)は、正負の符号を有するものの、ほとんどがゼロに近い値となり、高い圧縮率が期待できる。
【0027】
プレーン変換部303は、上記のようにして算出したプレーンデータWH、及び、プレーンデータR,B,Gをウェーブレット変換部304に供給する。供給する順序は特に問わないが、プレーンデータWHは、プレーンデータR,G,Bを利用して生成される。それ故で、ウェーブレット変換部304の待ち時間を最小限にするため、プレーンデータWHを供給するのは最後とすることが望ましい。
【0028】
ウェーブレット変換部304は、入力したプレーンデータを周波数領域信号へ変換することで変換係数を生成する。
【0029】
図4は、ウェーブレット変換(DWT:Discrete Wavelet Transform)の垂直、及び、水平フィルタリングを2回行った場合の、分解レベル2の場合のサブバンド形成図である。図示における“Lv”は、その後の数字を含めて分解レベルを示し、“L”は低域、“H”は高域を表す。ウェーブレット変換は、水平、垂直の2方向のフィルタリングで1セットとなるので、サブバンドは、L,Hの2文字で表現される。
【0030】
最初のウェーブレット変換(分解レベル1の変換)により、サブバンドLL、HL、LH、HHが得られる。そして、2回目以上(分解レベル2以降)のウェーブレット変換を行う場合は、直前の変換で得たサブバンドLLが対象となる。つまり、ウェーブレット変換は、直前の変換で得たサブバンドLLを再帰的に実行し得る。そのため、ウェーブレット変換の回数によらず、サブバンドLLは1つとなる。また、ウェーブレット変換を行っていくと、図4のように周波数分解の粒度が細かくなっていく。ウェーブレット変換の実行回数に特に制限はないが、本実施形態におけるウェーブレット変換部304によるウェーブレット変換は、図4に示すように2回とする。
【0031】
ウェーブレット変換部304は、プレーンデータWH、R,B,Gそれぞれに対してウェーブレット変換を2回行う。そして、ウェーブレット変換部304は、プレーンデータWH,R,G,Bそれぞれの分解レベル2のサブバンドを生成し、量子化部305に供給する。
【0032】
量子化部305は、予め設定されたサブバンド毎の量子化パラメータを用いて、各プレーンデータのサブバンドに含まれる変換係数を量子化し、その量子化後の変換係数をエントロピー符号化部306に供給する。エントロピー符号化部306は、量子化部305より供給された量子化後の変換係数を、エントロピー符号化し、出力端子307を介してバッファ105に出力する。エントロピー符号化の種類は特に問わないが、例えばゴロム符号化、ハフマン符号化等で良い。
【0033】
次に復号側の説明を行う。図6は復号装置のブロック図である。この図6によって復号処理の説明を行う。
【0034】
入力端子601より入力された符号化データは、エントロピー復号部602に供給される。エントロピー復号部602は、エントロピー復号処理を行い、その符号処理で得たデータ(量子化後の変換係数に相当する)を、逆量子化部603に供給する。逆量子化部603は、エントロピー復号部602から入力したデータについて、サブバンド毎に設定された量子化パラメータに従って逆量子化し、逆量子化後のデータ(ウェーブレット変換係数に相当)を、ウェーブレット逆変換部604に供給する。ウェーブレット逆変換部604は、逆量子化部603より入力したデータに対して、逆ウェーブレット変換処理を行う。この結果、ウェーブレット逆変換部604からは、プレーンデータWH’,R’,G’,B’が復号プレーンデータとして出力されることになる。プレーン逆変換部605は、ウェーブレット逆変換部604からのプレーンデータWH’,R’,G’,B’を入力する。そして、プレーン逆変換部605は、プレーンデータR’,G’,B’から、次式(5)に従って輝度Y’を表すプレーンデータY’を算出する。
Y' = pr×R' + pg×G' + pb×B' …(5)
次に、プレーン逆変換部605は、ゲイン調整後のプレーンデータYg’を算出する。
Yg’ = Y’ × ygain
ただし、“gain”は、式3で用いた値を使う。
【0035】
そして、プレーン逆変換部605は、プレーンデータYg’と復号で得たプレーンデータWH’からプレーンデータW’を、次式(6)に従って算出する。
W’= WH’ + Yg’ …(6)
プレーン逆変換部605は、上記のようにして算出したプレーンデータW’と、復号処理で得たプレーンデータR’,G’,B’とをプレーン合成部606に供給する。
【0036】
プレーン合成部606は、プレーンデータW’,R’,G’、B’を合成し、1枚のRAW画像データを生成する。
【0037】
以上のようにして、プレーンデータWそのものではなく、情報量を落としたプレーンデータWHを生成してから、符号化することでRAW画像の符号化効率を向上させ、符号量を更に抑制することが可能になる。
【0038】
図5は、図2の配列と同様の画素配列にアドレスを振ったものである。
【0039】
式(1)では、簡易的な計算式を示した。プレーンデータ“P”(Pは、R,G,B、W等)の水平方向の座標i、垂直方向の座標をjとしたとき、プレーンデータPの座標(i,j)の画素値をP[i][j]と表すこととする。この場合、W[i][j]の情報削減するためのY[i][j]を、次式(6)で求めても良い。
Y[i][j] =pr*(R[j][i-1]+R[j][i+1])/2 +
pg*(G[j-1][i-1]+ G[j-1][i+1]+ G[j+1][i-1]+ G[j+1][i+1])4 +
pb*(B[j-1][i]+B[j+1][i])/2 …(6)
また、式(2)を次式(2’)に変形し、式(1)、(2)、(3)をまとめて、
次式(1’)としても良い。
Yg = pr×R +pg×G +pb×B …(1’)
更に、パラメータpr, pg, pbにはホワイトバランスゲインを掛けたものを用いてもよい。
【0040】
なお、本実施形態の説明では図2の画素配列を例に説明したが、図7のような配列であっても、さらには記載しない他の配列であっても、三原色であるR、G、Bと、白Wとの組み合わせの配列であれば同様に適用できる。
【0041】
[第2の実施形態]
第2の実施形態を説明する。第2の実施形態における装置構成は、第1の実施形態における図1と同じとする。
【0042】
図8は、本第2の実施形態における撮像センサ部102に配置されるカラーフィルタの例であり、図2とは異なる配列となっている。図8では、黄(Ye)、赤(R)、緑(G)、青(B)が画素毎にモザイク状に配置されていて、2×2の4画素につき黄1画素、赤1画素、青1画素、緑1画素を1セットにして規則的に並べられた構造となっている。
【0043】
上記図8の画素配列となっている場合の、プレーン変換部303の処理は次の通りである。
【0044】
プレーン変換部303は、プレーンデータR,G、Bのうち、プレーンデータR,Gの混色である黄色成分に相当するプレーンデータYwを次式(7)に従い算出する。
Yw = sr×R +sg×G …(7)
ただし、パラメータsr、sgの関係は次式(8)の通りである。
sr + sg = 1 …(8)
ここで、一般的にはsr = sgである。
【0045】
式(7)より算出した黄色成分相当であるプレーンデータYwは、黄(Ye)に対して相関の高いデータである。
【0046】
ただし、黄色成分相当のプレーンデータYwと黄(Ye)との相関を利用してデータ削減を行うために、ゲイン調整を行う必要がある。そこで、プレーン変換部303は、次式(9)に従ってゲイン調整後のプレーンデータYwgを得る。
Ywg = Yw × yegain …(9)
ここで、yegainは、あらかじめ設定された任意の整数を用いる。
【0047】
プレーン変換部303は、上記ゲイン調整されたプレーンデータYwgを用いて、次式(10)に従って差分を表すプレーンデータYeHを得る。
YeH= Ye - Ywg …(10)
上記のようにして、プレーンデータYeの情報を削減した、プレーンデータYeHが生成される。
【0048】
プレーン変換部303は、上記のようにして得たプレーンデータYeHと、三原色のプレーンデータR,G,Bをウェーブレット変換部304に供給する。以降は、第1の実施形態と同様である。
【0049】
以上のようにして、プレーンデータYeから情報量を落としたプレーンデータYeHを生成し、符号化することにより、RAW画像の符号化効率を更に向上させ、符号量を抑制することが可能となる。
【0050】
上記実施形態では、三原色以外の色として白、黄色の例を示したが、三原色のうち少なくとも2色以上で表現可能な混色であれば良い。
【0051】
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0052】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0053】
100…撮像装置、101…撮像光学部、102…撮像センサ部、103…センサ信号処理部、104…RAW圧縮符号化部、105…バッファ、106…記録データ制御部、107…出力端子、150…制御部、302…プレーン分割部、303…プレーン変換部、304…ウェーブレット変換部、305…量子化部、306…エントロピー符号化部
図1
図2
図3
図4
図5
図6
図7
図8