特許 5767602 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5767602

(24)【登録日】2015年6月26日

(45)【発行日】2015年8月19日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 9/07 20060101AFI20150730BHJP

   H04N 5/232 20060101ALI20150730BHJP

【ＦＩ】

   H04N9/07 C

   H04N5/232 Z

   H04N9/07 A

【請求項の数】5

【全頁数】24

(21)【出願番号】特願2012-102033(P2012-102033)

(22)【出願日】2012年4月27日

(65)【公開番号】特開2013-229833(P2013-229833A)

(43)【公開日】2013年11月7日

【審査請求日】2014年6月27日

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】日立マクセル株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】特許業務法人 武和国際特許事務所

(72)【発明者】

【氏名】野中 雄一

【審査官】 鈴木 肇

(56)【参考文献】

【文献】 特開２００３−３２４７５０（ＪＰ，Ａ）

【文献】 特開２０１１−０５５０３８（ＪＰ，Ａ）

【文献】 特開２００８−１９９１７７（ＪＰ，Ａ）

【文献】 特開２００４−１４７０９３（ＪＰ，Ａ）

【文献】 特表２００９−５３１９２８（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０５３１３９（ＷＯ，Ａ１）

【文献】 特開２００２−０７７６４５（ＪＰ，Ａ）

【文献】 特開２００６−２４６２９５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０４ − ９／１１

Ｈ０４Ｎ ９／４４ − ９／７８

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ９／００ − ９／４０

(57)【特許請求の範囲】

【請求項1】

被写体を撮像する撮像装置であって、
複数の色フィルタを有する撮像素子と、
前記撮像素子からの画像信号のうち同色画素を用いて画素の重心をずらした色信号を生成する同色補間部と、
前記撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、
前記輝度信号生成部からの輝度信号を用いて前記同色補間部により生成した色信号と同じサンプリング位置に対応する輝度信号を生成する第1輝度補間部と、
前記輝度信号生成部からの輝度信号を用いて前記同色補間部により生成した色信号と同じサンプリング位置に対応する輝度信号であって、前記第1輝度補間部で輝度補間信号を生成する際に用いた輝度信号とは一部またはすべて異なる輝度信号を用いて補間信号を生成する第2輝度補間部と、
前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に画素重心ずれ補正に用いる補間条件を設定して出力する画素重心ずれ補正係数・座標演算部と、
前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号レベルを補正して出力する補正部と、
を有する撮像装置。

【請求項2】

請求項１記載の撮像装置であって、
前記画素重心ずれ補正係数・座標演算部は、装置外部から受信した前記第1輝度補間部と前記第2輝度補間部と前記同色補間部における画素の重心をずらす量の情報に基づいて、補間条件を設定することを特徴とする撮像装置。

【請求項3】

請求項２記載の撮像装置であって、
前記画素の重心をずらす量の情報は、水平方向のサンプリング間隔ばらつき情報と垂直方向のサンプリング間隔ばらつき情報であることを特徴とする撮像装置。

【請求項4】

請求項１乃至３のいずれかに記載の撮像装置であって、
前記第1輝度補間部は、前記同色補間部で用いた画素と同じサンプリング位置に対応する輝度信号を用いて輝度信号を生成することを特徴とする撮像装置。

【請求項5】

請求項１乃至４のいずれかに記載の撮像装置であって、
前記画素重心ずれ補正係数・座標演算部は、各画素のサンプリング間隔にばらつきを持たせるように補間条件を設定することを特徴とする撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置に関する。

【背景技術】

【0002】

本技術分野の背景技術として、特許文献１がある。該公報には、「本発明による映像信号処理回路は、イメージセンサより入力される映像信号に対する画像処理で光学歪曲収差により画像歪が発生する映像信号処理回路であって、ＹＣ処理前のＲＡＷ画像データに対して歪補正処理を行う歪補正処理回路を備えたものである。この構成によれば、ＹＣ画像データに変換される前のいわゆる生のデータであるＲＡＷ画像データに対して歪補正処理を行うので、歪補正処理直前のデータ（ＲＡＷ画像データ）を格納しておくためのメモリについて、そのメモリサイズを縮小することが可能となる。」と記載されている（要約参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−３０１３９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のようなシステムにおいては少ない回路規模で解像度の劣化の無い画像処理ができることが好ましい。前記特許文献１では、ＲＧＢやＹＵＶの信号を用いた歪補正に比べて回路規模を減らすことはできるが、ＲＡＷ信号の位置を所望の位置に移動したＲＡＷ信号を生成する構成ではなかった。また、一般的なカラー撮像素子では、色フィルタは水平垂直に2*2画素で規則的に配置されており、ＲＡＷデータを補間する場合には、画素間隔の開いた同色の画素を使用するために解像度が劣化するという問題があった。

【0005】

そこで、本発明は、上記課題を解決し、少ない回路規模で解像度の劣化の少ない画像処理が可能な撮像装置を提供するものである。また、各画素間のサンプリング間隔のばらつきを補正可能な撮像装置を提供するものである。

【課題を解決するための手段】

【0006】

本願において開示された発明のうち代表的なものの概要を簡単に説明すれば次の通りである。
（１）被写体を撮像する撮像装置であって、複数の色フィルタを有する撮像素子と、前記撮像素子からの画像信号のうち同色画素を用いて画素の重心をずらした色信号を生成する同色補間部と、前記撮像素子からの画像信号から輝度信号を生成する輝度信号生成部と、前記輝度信号生成部からの輝度信号を用いて前記同色補間部により生成した色信号と同じサンプリング位置に対応する輝度信号を生成する第1輝度補間部と、前記輝度信号生成部からの輝度信号を用いて前記同色補間部により生成した色信号と同じサンプリング位置に対応する輝度信号であって、前記第1輝度補間部で輝度補間信号を生成する際に用いた輝度信号とは一部またはすべて異なる輝度信号を用いて補間信号を生成する第2輝度補間部と、前記第1輝度補間部と前記第2輝度補間部の各々に対して個別に画素重心ずれ補正に用いる補間条件を設定して出力する画素重心ずれ補正係数・座標演算部と、前記第1輝度補間部で生成した補間信号と前記第2輝度補間部で生成した補間信号の比から前記同色補間部からの信号レベルを補正して出力する補正部と、を有する撮像装置である。

【発明の効果】

【0007】

本発明によれば、少ない回路規模で解像度の劣化の少ない画像処理が可能な撮像装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】撮像装置の第一の構成例を示す図である。

【図2】(a)は輝度信号生成部の動作説明図(1)であり、(b)は輝度信号生成部の動作説明図(2)である。

【図3】(a)は補間係数パターン１（α＜0.5、β＜0.5）の説明補足図(1)であり、(b)は補間係数パターン１（α＜0.5、β＜0.5）の説明補足図(2)であり、(c)は補間係数パターン１（α＜0.5、β＜0.5）の説明補足図(3)であり、(d)は補間係数パターン１（α＜0.5、β＜0.5）の説明補足図(4)である。

【図4】(a)は補間係数パターン２（α＞＝0.5、β＜0.5）の説明補足図(1)であり、(b)は補間係数パターン２（α＞＝0.5、β＜0.5）の説明補足図(2)であり、(c)は補間係数パターン２（α＞＝0.5、β＜0.5）の説明補足図(3)であり、(d)は補間係数パターン２（α＞＝0.5、β＜0.5）の説明補足図(4)である。

【図5】(a)は補間係数パターン３（α＜0.5、β＞＝0.5）の説明補足図(1)であり、(b)は補間係数パターン３（α＜0.5、β＞＝0.5）の説明補足図(2)であり、(c)は補間係数パターン３（α＜0.5、β＞＝0.5）の説明補足図(3)であり、(d)は補間係数パターン３（α＜0.5、β＞＝0.5）の説明補足図(4)である。

【図6】(a)は補間係数パターン４（α＞＝0.5、β＞＝0.5）の説明補足図(1)であり、(b)は補間係数パターン４（α＞＝0.5、β＞＝0.5）の説明補足図(2)であり、(c)は補間係数パターン４（α＞＝0.5、β＞＝0.5）の説明補足図(3)であり、(d)は補間係数パターン４（α＞＝0.5、β＞＝0.5）の説明補足図(4)である。

【図7】第２輝度補間部の説明補足図である。

【図8】撮像装置の第二の構成例を示す図である。

【図9】拡大時の説明補足図である。

【図10】縮小時の説明補足図である。

【図11】拡大時のスケーリング演算例である。

【図12】縮小時のスケーリング演算例である。

【図13】撮像装置の第三の構成例を示す図である。

【図14】撮像装置の第四の構成例を示す図である。

【図15】(a)は歪補正機能の説明補足図(1)であり、(b)は歪補正機能の説明補足図(2)である。

【図16】撮像装置の第五の構成例を示す図である。

【図17】回転時の演算例を示す図である。

【図18】撮像装置の第六の構成例を示す図である。

【図19】視点変換時の演算例を示す図である。

【図20】撮像装置の第七の構成例を示す図である。

【図21】撮像装置の第八の構成例を示す図である。

【図22】撮像装置の第九の構成例を示す図である。

【図23】撮像装置の第十の構成例を示す図である。

【図24】(a)は画素重心ずれの説明補足図(1)であり、(b)は画素重心ずれの説明補足図(2)である。

【図25】撮像装置の第十一の構成例を示す図である。

【図26】(a)は画素重心ずれ補正機能の説明補足図(1)であり、(b)は画素重心ずれ補正機能の説明補足図(2)である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について図面を用いて説明する。

【実施例1】

【0010】

本実施形態では、撮像装置の一例であるカメラの例を用いて説明する。
本実施形態に係る撮像装置は、図１に示す通り、複数の色フィルタを有するカラー撮像素子１００と、撮像素子から出力された電気信号をＡ／Ｄ変換してデジタル信号を出力Ａ／Ｄ変換回路１０７と、Ａ／Ｄ変換回路から出力されるＲＡＷ信号から輝度信号を生成する輝度信号生成部１０１と、生成された輝度信号を用いてそれぞれ補間信号を生成して出力する第１輝度補間部１０２及び第２輝度信号補間部１０３と、Ａ／Ｄ変換回路から出力されるＲＡＷ信号のうち同色画素の信号を用いて補間信号を生成する同色補完部１０４と、それぞれの補間信号を用いて演算により補正ＲＡＷ信号を生成して出力する補正部１０５と、を適宜用いて構成される。以下、各構成の動作について詳細に説明する。

【0011】

撮像レンズを介して被写体から入射された光は撮像素子１００に照射され、被写体像が結像される。撮像素子１００はタイミングジェネレータによる駆動パルスによって水平と垂直の走査がなされ、被写体像を撮像し電気信号を発生する。この電気信号はＡ／Ｄ変換回路１０７でデジタル信号に変換され、ＲＡＷ信号として信号処理回路に入力される。信号処理回路ではＹＵＶ生成処理の他、ノイズ除去やガンマ補正などの各種カメラ信号処理を施し、ＴＶ信号などの信号に変換後出力する。

【0012】

本実施形態における一の特徴は、上記したＡ／Ｄ変換回路と信号処理の間で、スケーリング（拡大・縮小）やレンズ歪補正、回転・視点変換、撮像素子内で画素加算された場合に発生する歪の補正などの、各画素の重心をずらす補正を行う点にあり、ＲＡＷ信号の色フィルタ配列順番を変えることなく、且つ解像度劣化の少ない出力ＲＡＷ信号を、少ないコストで実現するものである。

【0013】

輝度信号生成部１０１の動作について、図２を用いて説明する。
Ａ／Ｄ変換回路から出力されたＲＡＷ信号は、画素ごとに順次、輝度信号生成部１０１と同色補間部１０４にそれぞれ入力する。撮像素子はカラー単板撮像素子であれば、たとえばＡ色、Ｂ色、Ｃ色、Ｄ色の4色の色フィルタに対応する画素が２ｘ２のペアで図２(a)のように配列される。撮像素子が原色ベイヤ配列であれば、例えばA＝R、B=C=G、D=Bと表せば良い。輝度信号生成部１０１は、ＲＡＷ信号の各画素のサンプリング位置に対応する輝度信号を、フィルタ処理による補間を行うことで生成する。例えば、Y33の場合には、
（数１）Y33=(A33+(B32+B34)/2+(C23+C43)/2+(D22+D24+D42+D44)/4)/4
の演算で生成し、他の位置の画素についても同様に処理することで輝度（Ｙ）信号を生成できる。

【0014】

輝度信号生成部１０１で生成された輝度信号は、第１輝度補間部１０２と第２輝度補間部１０３にそれぞれ入力される。

【0015】

同色補間部１０４は、重心をずらした画素信号を、近隣の同色画素信号を用いてフィルタリングにより補間することで補間信号を生成し、補正部１０５に出力する。

【0016】

第１輝度補間部１０２では、重心をずらした画素信号を、上記同色補間部１０４でフィルタリングに用いた画素の位置と同じサンプリング位置の輝度信号を用いてフィルタリングにより補間することで補間信号を生成し、補正部１０５に出力する。

【0017】

第２輝度補間部１０３では、重心をずらした画素信号を、第１輝度補間部で補間信号を生成する際に用いた輝度信号とは一部またはすべて異なる輝度信号（例えば相関性の最も高い近隣輝度信号）を用いフィルタリングにより補間することで補間信号を生成し、補正部１０５に出力する。

【0018】

第１輝度補間部１０２と、第２輝度補間部１０３と、同色補間部１０４で補間された信号は、それぞれ補正部１０５で演算を施し、入力されたＲＡＷ信号の各画素に対して、所望の位置に重心の位置をずらした補正後のＲＡＷ信号を出力する。ここで、補正部１０５では、第１輝度補間部１０２で生成した補間信号と第２輝度補間部１０３で生成した補間信号との比を用いて、同色補間部１０４からの信号を補正して出力する。

【0019】

上記、第１輝度補間部１０２と、第２輝度補間部１０３と、同色補間部１０４と、補正部１０５の動作に付き、図３から図７を用いて詳細を説明する。各図３から図７は、あるＡ色の1画素を補間生成する際の例を示している。
図３は、Ａ３３とＡ４４とＡ５３とＡ５５の間にある★印の重心位置に対応したＡ色の補間信号を生成する場合であり、その重心位置はＡ３３とＡ４４とＡ５３とＡ５５のうちＡ３３が最も近い場合の例である。これを補間係数パターン1（α＜0.5、β＜0.5）と定義する。

【0020】

図４から図６についても同様に、Ａ３３とＡ４４とＡ５３とＡ５５のうち最も近い画素の違いに応じてパターン２（α＞＝0.5、β＜0.5）、３（α＜0.5、β＞＝0.5）、４（α＞＝0.5、β＞＝0.5）と定義する。以上のように、生成する補間画素の位置に応じて４つのパターンに分かれる。

【0021】

同色４画素の位置と、補正により生成するＲＡＷデータ（AH）の位置について、係数αは水平方向の位置の比率を表し、係数βは垂直方向の位置の比率を表している。

【0022】

まず、図３を用いて、A33のＲＡＷに対して、補間係数パターン１（α＜0.5、β＜0.5）の範囲の位置に補正後のＲＡＷデータ（AH）を生成する例を説明する。

【0023】

同色補間部１０４は、図３(a)に示すとおり、補間係数設定部１０６から設定された補間係数αとβによって、補間信号（AL）を、A33,A35,A53,A55を用いて、
（数２）AL= A33*(1-α)*(1-β)+A35*α*(1-β)+A53*(1-α)*β+A55*α*β
の、ように求める。

【0024】

第１輝度補間部１０２は、図３(b)に示すとおり、補間係数設定部１０６から設定された補間係数αとβによって、補間信号（YL）を、Y33,Y35,Y53,Y55を用いて、
（数３）YL= Y33*(1-α)*(1-β) +Y35*α*(1-β)+Y53*(1-α)*β+Y55*α*β
の、ように求める。

【0025】

第２輝度補間部１０３は、図３(c)に示すとおり、補間係数設定部１０６から設定された補間係数αとβ（α＜0.5、β＜0.5）によって、Y33,Y34,Y43,Y44を用いて補間信号（YH）を、
（数４）YH= Y33*(1-2α)*(1-2β)+Y34*2α*（1-2β）+Y43*(1-2α)*2β+Y44*2α*2β
の、ように求める。第２輝度補間部１０３では、第１輝度補間部１０２とは使用する輝度信号が異なるため、第１輝度補間部１０２での、α、βが、第２輝度補間部１０３では、それぞれ2α、2β相当となる。

【0026】

ここで、同色補間部１０４にて算出したALは、補間に使用する画素の距離が離れているために、狭帯域の（高周波の利得が低いボケた）画像信号となる。第1輝度補間部１０２にて算出したYLは、同色補間部１０４にて算出したALと同じフィルタ特性となり、同様に狭帯域の輝度信号となる。一方で、第2輝度補間部１０３にて算出したYHは、補間に使用する画素の距離が近いため広帯域の（高周波の利得がYLに比べて高くボケていない）輝度信号となる。輝度信号は、各A、B、C、Dの色信号に対して一定の相関性を持つため、
（数５）AH（広帯域）：AL（狭帯域）≒ YH（広帯域）：YL（狭帯域）
が成り立つ。そこで補正部１０５は図３(d)に示すとおり、上記（式５）を変形し、
（数６）AH=AL*YH/YL
として、高周波の利得が高くボケていないA色の補間信号AHを求める。

【0027】

次に、図４を用いてA33のＲＡＷに対して、補間係数パターン２（α＞＝0.5、β＜0.5）の範囲の位置に補正後のＲＡＷデータ（AH）を生成する例を説明する。ここでは、同色補間部１０４、第１輝度補間部１０２、補正部１０５は、図３と同じ動作をするため説明を省略し、第２輝度補間部１０３の動作について説明する。

【0028】

第２輝度補間部１０３は、図４(c)に示すとおり、補間係数設定部１０６から設定された補間係数αとβ（α＞＝0.5、β＜0.5）によって、Y34,Y35,Y44,Y45を用いて補間信号（YH）を、
（数７）YH= Y34*(2-α)*(1-2β)+Y35*(2α-1)*(1-2β)+Y44*(2-α)*2β+Y45*(2α-1)*2β
の、ように求める。第２輝度補間部１０３では、第１輝度補間部１０２とは使用する輝度信号が異なるため、第１輝度補間部１０２での、α、(1-α)、βが、第２輝度補間部１０３では、それぞれ(2α-1)、(2-α)、2β相当となる。

【0029】

次に、図５を用いてA33のＲＡＷに対して、補間係数パターン３（α＜0.5、β＞＝0.5）の範囲の位置に補正後のＲＡＷデータ（AH）を生成する例を説明する。上記同様に、第２輝度補間部１０３の動作について説明する。

【0030】

第２輝度補間部１０３は、図５(c)に示すとおり、補間係数設定部１０６から設定された補間係数αとβ（α＜0.5、β＞＝0.5）によって、Y43,Y44,Y53,Y54を用いて補間信号（YH）を、
（数８）YH= Y43*(1-2α)*(2-β)+Y44*2α*(2-β)+Y53*(1-2α)*(2β-1)+Y54*2α*(2β-1)
の、ように求める。第２輝度補間部１０３では、第１輝度補間部１０２とは使用する輝度信号が異なるため、第１輝度補間部１０２での、α、β、(1-β)が、第２輝度補間部１０３では、それぞれ2α、(2β-1)、(2-β)相当となる。

【0031】

次に、図６を用いてA33のＲＡＷに対して、補間係数パターン４（α＞＝0.5、β＞＝0.5）の範囲の位置に補正後のＲＡＷデータ（AH）を生成する例を説明する。上記同様に、第２輝度補間部１０３の動作について説明する。

【0032】

第２輝度補間部１０３は、図６(c)に示すとおり、補間係数設定部１０６から設定された補間係数αとβ（α＞＝0.5、β＞＝0.5）によって、Y43,Y44,Y53,Y54を用いて補間信号（YH）を、
（数９）YH=Y44*(2-α)*(2-β)+Y45*(2α-1)*(2-β)+Y54*(2-α)*(2β-1)+Y55*(2α-1)*(2β-1)
の、ように求める。第２輝度補間部１０３では、第１輝度補間部１０２とは使用する輝度信号が異なるため、第１輝度補間部１０２での、α、(1-α)、β、(1-β)が、第２輝度補間部１０３では、それぞれ(2α-1)、(2-α)、(2β-1)、(2-β)相当となる。

【0033】

上記のように、第２輝度補間部１０３では、生成する補間画素の重心位置に応じて係数を変化させる必要がある。第２輝度補間部１０３の係数の切り替え方法について図７を用いて補足説明する。

【0034】

第２輝度補間部１０３では、補間係数設定部１０６から設定された補間係数αとβによって４つのパターンの処理に切り分ける。

【0035】

ＳＴＥＰ１で補間係数設定部１０６から設定された補間係数αがα＜0.5となるかを比較判定する。真の場合にはＳＴＥＰ２へ、偽の場合にはＳＴＥＰ３へと分岐する。ＳＴＥＰ２では補間係数設定部１０６から設定された補間係数βがβ＜0.5となるかを比較判定する。真の場合にはＳＴＥＰ４へ、偽の場合にはＳＴＥＰ５へと分岐する。ＳＴＥＰ４では上記した補間係数パターン１（α＜0.5、β＜0.5）の処理を施す。ＳＴＥＰ５では上記した補間係数パターン２（α＞＝0.5、β＜0.5）の処理を施す。

【0036】

ＳＴＥＰ３では補間係数設定部１０６から設定された補間係数βがβ＜0.5となるかを比較判定する。真の場合にはＳＴＥＰ６へ、偽の場合にはＳＴＥＰ７へと分岐する。ＳＴＥＰ６では上記した補間係数パターン３（α＜0.5、β＞＝0.5）の処理を施す。ＳＴＥＰ７では上記した補間係数パターン４（α＞＝0.5、β＞＝0.5）の処理を施す。

【0037】

以上の動作により、第２輝度補間部１０３では、補間係数設定部１０６から設定された補間係数αとβに応じて、４つの処理を切り分けて、補間信号（YH）を生成する。

【0038】

以上の構成により、解像度の劣化を抑制しつつ、ＲＡＷ信号について重心をずらした信号を補間により生成することができる。さらには、ＲＡＷ信号は、一般にＲＧＢ信号やＹＵＶ信号に比べて、信号のビット幅が少ないことから、小さな回路規模で補間信号を生成することが可能となる。

【0039】

なお、本実施例では、第２輝度補間部１０３で４つのパターンを判定し、パターンに応じて処理を切り分けるように一例を説明したが、例えば補間係数設定部１０６で４つのパターンを判定し、第２輝度補間部１０３にパターン情報を供給し、第２輝度補間部１０３でパターン情報によって処理の切り分けをおこなっても良い。

【実施例2】

【0040】

撮像装置の第２の実施例について、図８から図１２を用いて説明する。なお、図８において、図１と同じ動作をする構成については、適宜説明を省略し、異なる構成について主として説明する。

【0041】

本実施例２では、実施例１の構成と異なる点として、実施例１の補間係数設定部１０６において、不図示の制御マイコン等から指示された倍率と開始位置を入力し、不図示のタイミングジェネレータ等から与えられるＲＡＷ信号と同期した水平（Ｈ）・垂直（Ｖ）の座標情報を入力し、これらの入力情報から画素毎のスケーリング（拡大・縮小）後の座標を演算し、画素ごとに順次、座標・補間係数設定部２０６に出力するスケーリング演算部２０７と、スケーリング演算部２０７からの座標情報と、座標情報から算出した、補間係数α、βを、それぞれ第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４に出力する座標・補間係数設定部２０６と、を有する構成としている。

【0042】

第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４では、スケーリング演算部２０７からの座標情報の位置を囲む同色４画素を選択し、該同色４画素の位置に対して上記した図１と同様の補間処理を施す。

【0043】

次に、拡大・縮小の動作の例につき、それぞれ図９と図１０を用いて説明する。
図９は、拡大時の動作説明を補足する図で、8/6=4/3倍に左上の部分から拡大する例である。水平垂直に6*6ある画素を同一面積内に8*8の画素を配置して、8*8の各画素の重心になるようにそれぞれ順に始点と補間係数α、βの比率を割り当て、上記した補間によりA11’、B12’、A13’、B14’、A15’、B16’、C21’、D22’、C23’、D24’、C25’、D26’、A31’、B32’、A33’、B34’、A35’、B36’、C41’、D42’、C43’、D44’、C45’、D46’、A51’、B52’、A53’、B54’、A55’、B56’、C61’、D62’、C63’、D64’、C65’、D66’の補正後ＲＡＷ信号を生成する。その後、当該補正後ＲＡＷ信号を元のＲＡＷ信号と同様の速度で処理することで所望である4/3倍の拡大処理となる。

【0044】

図１０は、縮小時の動作説明を補足する図で、4/6=2/3倍に左上の部分から縮小する例である。水平垂直に6*6ある画素を同一面積内に4*4の画素を配置して、4*4の各画素の重心になるようにそれぞれ順に始点とα、βの比率を割り当て、上記した補間によりA11’、B12’、A13’、B14’、C21’、D22’、C23’、D24’、A31’、B32’、A33’、B34’、C41’、D42’、C43’、D44’の補正後ＲＡＷ信号を生成する。その後、当該補正後ＲＡＷ信号を元のＲＡＷ信号と同様の速度で処理することで所望である2/3倍の縮小処理となる。

【0045】

さらに、上記図９、図１０の場合についてスケーリング演算の例を図１１と図１２を用いてそれぞれ説明する。
図１１は、図９での拡大時のB34’、D46’に対するスケーリング演算の例である。B34’の重心座標は、（3.5*3/4,2.5*3/4）=（2.625,1.875）となり、この値がスケーリング演算部２０７の出力となる。座標・補間係数設定部２０６では、座標情報（2.625,1.875）と、該座標情報から求めたα=0.5625、β=0.6875を出力する。第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４では、該座標を囲む同色４画素のB12、B14、B32、B34を選択する。同様にD46’時には、座標=（4.125,2.625）、α=0.3125、β=0.5625、同色４画素は、D24、D26、D44、D46となる。

【0046】

図１２は、図１０での縮小時のA33’、D44’に対するスケーリング演算の例である。A33’の重心座標は、（2.5*3/2,2.5*3/2）=（3.75,3.75）となり、この値がスケーリング演算部２０７の出力となる。座標・補間係数設定部２０６では、座標情報（3.75,3.75）と、該座標情報から求めたα=0.625、β=0.625を出力する。第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４では、該座標を囲む同色４画素のA33、A35、A53、A55を選択する。同様にD44’時には、座標=（5.25,5.25）、α=0.875、β=0.875、同色４画素は、D44、D46、D64、D66となる。

【0047】

以上の構成により、本実施形態に係る撮像装置については、解像度の劣化を抑制しつつ、スケーリング（拡大・縮小）したＲＡＷ信号を生成することができる。さらには、ＲＡＷ信号は、一般にＲＧＢ信号やＹＵＶ信号に比べて、信号のビット幅が少ないことから、小さな回路規模でスケーリング機能を有する撮像装置の提供が可能となる。

【実施例3】

【0048】

撮像装置の他の変形例について、図１３から図１５を用いて説明する。なお、図１３、図１４において、図１、図８と同じ動作をする構成については、適宜説明を省略し、異なる構成について主として説明する。

【0049】

図１３は、撮像装置の第三の構成例を示す図であり、レンズの歪補正機能を備えるものである。本実施例におけるレンズの歪補正機能の構成例では、実施例１と異なる点として、実施例１の補間係数設定部において、レンズ歪の特性に従った各画素の座標のズレ量をテーブルデータとして格納してあり、不図示のタイミングジェネレータ等から与えられるＲＡＷデータの位置と同期した水平（Ｈ）・垂直（Ｖ）の座標情報に対応したテーブルデータを読み出し、座標情報を加えることで、レンズ歪補正後の座標を演算し、画素ごとに順次、座標・補間係数設定部２０６に出力するレンズ歪特性テーブルデータ部３０７と、レンズ歪特性テーブルデータ部３０７からの座標情報と、座標情報から算出した、補間係数α、βを、それぞれ第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４に出力する座標・補間係数設定部２０６と、を有する構成としている。

【0050】

図１４は、レンズの歪補正機能を備える撮像装置の変形例として、第四の構成例を示す図である。本実施例におけるレンズの歪補正機能の構成例では、実施例１と異なる点として、実施例１の補間係数設定部において、不図示のタイミングジェネレータ等から与えられるＲＡＷデータの位置と同期した水平（Ｈ）・垂直（Ｖ）の座標情報を入力し、例えば、レンズ中心から現在の座標までの距離に応じて歪量をレンズの特性に従った計算式を用いて演算し、撮像素子の中心位置から現在の画素までの方向に対して該歪量を補正することで、レンズ歪補正後の座標を演算し、画素ごとに順次、座標・補間係数設定部２０６に出力するレンズ歪特性関数演算部４０７と、レンズ歪特性関数演算部４０７からの座標情報と、座標情報から算出した、補間係数α、βを、それぞれ第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４に出力する座標・補間係数設定部２０６と、を有する構成としている。

【0051】

図１５は、歪補正機能の説明を補足する図である。図１５（a）歪補正前の図、図１５(b)は歪補正後の図であり、点線はレンズの歪特性を示し、点は画素の重心の位置を示し、矢印はレンズ歪を補正する前と補正した後で画素の重心が移動したベクトルを示している。

【0052】

撮像装置の第三の構成例においては、レンズ歪特性テーブルデータ部３０７にこのベクトルがテーブルデータとして格納してあり、座標・補間係数設定部２０６は、このレンズ歪特性テーブルデータに基づいて、レンズ歪を補正するための補間係数を、第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４各々に対して個別に生成して出力する。

【0053】

また、撮像装置の第四の構成例においては、レンズ歪特性関数演算部４０７にこのベクトルの大きさが撮像素子の中心からの距離に応じた関数として予め定めてあり、レンズ歪特性関数演算部４０７は予め設定されたレンズ歪特性関数をもとに画素毎にレンズ歪特性補正後の座標を演算し、座標・補間係数設定部２０６では、レンズ歪特性関数演算部４０７からの情報に基づいて、レンズ歪を補正するための補間係数を、第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４各々に対する個別に設定して出力する。

【0054】

いずれの撮像装置においても、各補間部において、レンズ歪補正後の座標を元に、上記実施例１と同様の処理がなされ、ＲＡＷデータの補間をおこなう。

【0055】

以上のように本実施例では、前記実施例１の効果を得たまま、ＲＡＷデータの補間を行うことによって、歪補正機能を実現できる。

【0056】

なお、本実施例では、一例として樽型歪の場合を説明したが、これに限られるものではなく、例えば糸巻き歪の場合等にも同様に本実施例を適用可能であり、本実施例と同様の効果を得られる。

【0057】

また、上記テーブルデータ方式において、テーブルデータの数を減らし、数を減らした部分を演算で補うように構成しても適用可能であり、本実施例と同様の効果を得られる。

【0058】

また、上記レンズ歪補正機能の構成例その１のテーブルデータ方式において、ＲＡＷ信号における各色に対応した歪データを個別に保持し、各色信号毎に個別に補間信号を生成する構成とすれば、前記実施例１の効果を得たまま、レンズ歪のうちディストーションのみならず倍率色収差を補正することができる。

【0059】

また、上記レンズ歪補正機能の構成例その２のレンズ関数方式において、ＲＡＷ信号における各色に対応した歪関数を個別に保持し、各色信号毎に個別に補間信号を生成する構成とすれば、前記実施例１の効果を得たまま、レンズ歪のうちディストーションのみならず倍率色収差を補正することができる。

【実施例4】

【0060】

撮像装置の他の変形例であって、回転機能を実現する撮像装置について、図１６、図１７を用いて説明する。ここで、本実施例における回転機能とは、図１７に示すとおり、ＲＡＷデータの色フィルタ配列を変えることなく、撮像された被写体を回転させることと定義する。なお、図１６において、図８と同じ動作をする構成については、適宜説明を省略し、異なる構成について主として説明する。

【0061】

図１６は、回転機能を実現する撮像装置の構成例を示す図であり、実施例１と異なる点として、実施例１の補間係数設定部において、不図示の制御マイコン等から指示された回転中心と回転角度を入力し、不図示のタイミングジェネレータ等から与えられるＲＡＷ信号と同期した水平（Ｈ）・垂直（Ｖ）の座標情報を入力し、これらの入力情報から回転後の座標を演算し、画素ごとに順次、座標・補間係数設定部２０６に出力する回転演算部５０７と、回転演算部５０７からの座標情報と、座標情報から算出した、補間係数α、βを、それぞれ第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４に出力する座標・補間係数設定部２０６と、を有する構成としている。

【0062】

図１７は、回転機能の説明を補足する図である。回転演算部５０７では、回転中心＝(a,b)、回転角度＝θ（x軸からy軸の方向（右回り）を正とする）、現在の座標＝(x,y)（= (H-0.5,V-0.5)）として、回転後の座標＝(x’,y’)を、
（数１０）x’= cosθ*(x-a)+sinθ*(y-b)+a
（数１１）y’=-sinθ*(x-a)+cosθ*(y-b)+b
として求める。A13’の場合には(x’,y’)=(2.219,2.451)、D24’の場合には(x’,y’)= (3.585,2.817)となる。回転後の座標を元に、上記実施例１と同様に処理することで、ＲＡＷデータの補間をおこなう。

【0063】

以上のように本実施例では、前記実施例１の効果を得たまま、ＲＡＷデータの補間によって、回転機能を実現できる。なお、図１７において回転中心と回転角度を入力するように説明したが、移動などのパラメータを追加して変換式を変更することで容易に機能を向上できることは明らかである。また、回転のほか、スケーリング（拡大・縮小）、レンズ歪補正、視点変換、画素加算歪補正や移動などの他の機能を複数併用しても構わない。

【0064】

また、本実施例では回転演算部に回転のための関数を予め設定しておく方法の説明としていたが、図２０に示すように、回転角度毎に、回転補正を行うためのずれ量などを予めテーブルデータとして格納しておき、不図示のタイミングジェネレータ等から与えられるＲＡＷデータの位置と同期した水平（Ｈ）・垂直（Ｖ）の座標情報に対応したテーブルデータを読み出して回転補正後の座標を演算し、画素毎に順次、座標・補間係数設定部２０６に出力する回転補正データテーブル部７０７を持つ構成でも構わない。以上の構成であれば、回転補正を行うための演算処理を省くことができ、低コストで回転補正が実現可能となる。

【0065】

以上の構成により、解像度の劣化を抑制しつつ、回転補正を行ったＲＡＷ信号を生成することができる。さらには、ＲＡＷ信号は、一般にＲＧＢ信号やＹＵＶ信号に比べて、信号のビット幅が少ないことから、小さな回路規模で回転機能を有する撮像装置の提供が可能となる。

【0066】

また、前記回転演算部５０７については撮像素子からの画素信号における各色に対応した回転演算用の関数を個別に保持し、または前記回転補正データテーブル部７０７については撮像素子からの画素信号における各色に対応した回転補正用のデータを個別に保持し、前記同色補間部および前記第1輝度補間部および前記第2輝度補間部は、前記各色毎に個別に補間信号を生成する構成とすれば、色成分毎に異なる回転処理を施す特殊効果画像を生成する撮像装置を提供することも可能となる。ＹＵＶで色成分毎に異なる回転処理を施す場合は一度色分離処理が必要となるが、本実施例によれば色分離処理は必要なく低コストで実現できる。

【実施例5】

【0067】

撮像装置の他の変形例であって、視点変換機能を実現する撮像装置について、図１８、図１９を用いて説明する。ここで、本実施例における視点変換機能とは、図１９に示すとおり、ＲＡＷデータの色フィルタ配列を変えることなく、撮像された被写体をあたかも見る位置を変えたかのように変化させることと定義する。図１９は、被写体を正面から撮影した画像を、あたかも被写体の下方から撮影したように変換する場合の例を示している。なお、図１８において、図８と同じ動作をする構成については、適宜説明を省略し、異なる構成について主として説明する。

【0068】

図１８は、視点変換機能を実現する撮像装置の構成例を示す図であり、実施例１と異なる点として、実施例１の補間係数設定部において、不図示の制御マイコン等から指示された水平方向強度と垂直方向強度を入力し、不図示のタイミングジェネレータ等から与えられるＲＡＷ信号と同期した水平（Ｈ）・垂直（Ｖ）の座標情報を入力し、これらの入力情報から視点変換後の座標を演算し、画素ごとに順次、座標・補間係数設定部２０６に出力する視点変換演算部６０７と、視点変換演算部６０７からの座標情報と、座標情報から算出した、補間係数α、βを、それぞれ第１輝度補間部２０２、第２輝度補間部２０３、同色補間部２０４に出力する座標・補間係数設定部２０６と、を有する構成としている。

【0069】

図１９は、視点変換機能の説明を補足する図である。視点変換演算部６０７では、水平方向強度＝Kh、垂直方向強度＝Kv1、Kv2、画像サイズ=(X,Y)、現在の重心＝(x,y)として、視点変換後の座標＝(x’,y’)を、
（数１２）y’=Kv1*y^2+Kv2*y
（数１３）x’=(x+X/2*(1-Kh*(Y-y))-X/2)/(1-Kh*(Y-y))
として求める。図１９は、Kh=0.08、Kv1=-0.12、Kv2=1.72、X=6、Y=6の例である。C23’の場合には(x’,y’)=(2.219,2.310)、C43’の場合には(x’,y’)= (3.625,4.550)となる。視点変換の座標を元に、上記実施例１と同様に処理することで、ＲＡＷデータの補間をおこなう。

【0070】

以上のように本実施例では、前記実施例１の効果を得たまま、ＲＡＷデータの補間によって、視点変換機能を実現できる。なお、図１８において水平方向強度と垂直方向強度を入力するように説明したが、距離と投射角度のパラメータとして三角関数を使用した変換式によっても同様な機能を実現できる。

【0071】

また、図１８ではチルトの例を説明したがパンのパラメータを追加した変換式とすることで容易に機能を向上できることは明らかである。さらに、視点変換のほか、スケーリング（拡大・縮小）、レンズ歪補正、回転、画素加算歪補正や移動などの他の機能を複数併用しても構わない。

【0072】

また、本実施例では視点変換演算部に関数を予め設定しておく方法の説明としていたが、図２１に示すように、視点変換の種類毎に、視点変換補正を行うためのずれ量などを予めテーブルデータとして格納しておき、不図示のタイミングジェネレータ等から与えられるＲＡＷデータの位置と同期した水平（Ｈ）・垂直（Ｖ）の座標情報に対応したテーブルデータを読み出して視点変換補正後の座標を演算し、画素毎に順次、座標・補間係数設定部２０６に出力する視点変換補正データテーブル部８０７を持つ構成でも構わない。以上の構成であれば、視点変換補正を行うための演算処理を省くことができ、低コストで視点変換補正が実現可能となる。

【0073】

以上の構成により、解像度の劣化を抑制しつつ、視点変換補正を行ったＲＡＷ信号を生成することができる。さらには、ＲＡＷ信号は、一般にＲＧＢ信号やＹＵＶ信号に比べて、信号のビット幅が少ないことから、小さな回路規模で視点変換機能を有する撮像装置の提供が可能となる。

【0074】

また、前記視点変換演算部６０７については撮像素子からの画素信号における各色に対応した視点変換演算用の関数を個別に保持し、または前記視点変換補正データテーブル部８０７については撮像素子からの画素信号における各色に対応した視点変換補正用のデータを個別に保持し、前記同色補間部および前記第1輝度補間部および前記第2輝度補間部は、前記各色毎に個別に補間信号を生成する構成とすれば、色成分毎に異なる視点変換処理を施す特殊効果画像を生成する撮像装置を提供することも可能となる。ＹＵＶで色成分毎に異なる視点変換処理を施す場合は一度色分離処理が必要となるが、本実施例によれば色分離処理は必要なくさらに低コストで実現できる。

【0075】

なお、上記実施例４で説明した回転機能と実施例５で説明した視点変換機能に留まることなく、本実施例においては撮像素子からのＲＡＷデータに対して被写体を変形させる処理のすべてに対応させることができる。たとえば、実施例４で説明した回転演算部５０７や、実施例５で説明した視点変換演算部６０７は、図２２に示す被写体変形演算部９０７とし、被写体変形演算部９０７は、回転・視点変換、移動、その他の被写体を変形させるための演算のうち少なくともひとつを備えるものであれば良く、また複数備えていて、任意に選択出来るようにしても構わない。

【0076】

また、例えば、実施例４で説明した回転補正データテーブル部７０７や、実施例５で説明した視点変換補正データテーブル部８０７は、図２３に示す被写体変形補正データテーブル部１００７とし、被写体変形補正データテーブル部１００７は、回転・視点変換、移動、その他の被写体を変形させるためのずれ量をテーブルとして予め保持しておくものであれば良い。

【0077】

また、さらには、前記被写体変形演算部９０７については、撮像素子からの画素信号における各色に対応した被写体変形演算用の関数を個別に保持し、または前記被写体変形補正データテーブル部１００７については撮像素子からの画素信号における各色に対応した被写体変形補正用のデータを個別に保持し、前記同色補間部および前記第1輝度補間部および前記第2輝度補間部は、前記各色毎に個別に補間信号を生成する構成とすれば、色成分毎に異なる被写体変形補正処理を施す特殊効果画像を生成する撮像装置を提供することも可能となる。ＹＵＶで色成分毎に異なる視点変換処理を施す場合は一度色分離処理が必要となるが、本実施例によれば色分離処理は必要なくさらに低コストで実現できる。

【0078】

上記構成によれば、解像度の劣化を抑制しつつ、被写体の変形を行ったＲＡＷ信号を生成することができる。さらには、ＲＡＷ信号は、一般にＲＧＢ信号やＹＵＶ信号に比べて、信号のビット幅が少ないことから、小さな回路規模で被写体の変形機能を有する撮像装置の提供が可能となる。

【実施例6】

【0079】

撮像装置の他の変形例であって、撮像素子内で所定の複数画素を加算後、ＲＡＷデータとして読み出す画素加算読み出し方式や、撮像素子内の所定の画素を間引いた後、ＲＡＷデータとして読み出す画素間引き読み出し方式などを用いた場合において発生する画素重心位置のずれを補正する画素重心補正を実現する例について、図２４、図２５、図２６を用いて説明する。なお、図２５において、図８と同じ動作をする構成については、適宜説明を省略し、異なる構成について主として説明する。

【0080】

まず、図２４を用いて、撮像素子内にて所定の4画素を加算した後読み出す4画素加算読み出し方式において、画素重心ずれが発生する原理を説明する。図２４(a)に示すのは、A〜Dの4種類の色フィルタに対応する画素が配列された、撮像素子上の画素配列のイメージ図である。図２４(b)に示すのは、図２４(a)の所定の4画素を加算した結果の画素配列のイメージ図である。４画素加算後の各画素は次式で求められる。
A’22＝A11＋A13＋A31＋A33
B’23＝B12＋B14＋B32＋B34
C’32＝C21＋C23＋C41＋C43
D’33＝D22＋D24＋D42＋D44
A’26＝A15＋A17＋A35＋A37
B’23＝B16＋B18＋B36＋B3
C’32＝C25＋C27＋C45＋C47
D’33＝D26＋D28＋D46＋D48
A’62＝A51＋A53＋A71＋A73
B’63＝B52＋B54＋B72＋B74
C’72＝C61＋C63＋C81＋C83
D’73＝D62＋D64＋D82＋D84
A’66＝A55＋A57＋A75＋A77
B’67＝B56＋B58＋B76＋B78
C’76＝C65＋C67＋C85＋C87
D’77＝D66＋D68＋D86＋D88
上記４画素加算後の画素信号は、所定のタイミングによって読み出される。たとえばラスタスキャンで読み出されるとすれば、
A’22、B’23、A’26、B’27、・・・・
C’32、D’33、C’36、D’37、・・・・
といった形で点順次に読み出される。したがって、A〜Dの4種類の色フィルタに対応する画素の配列順序が変わることがなく画像サイズを小さくすることができる。

【0081】

ただしここで、画素加算後の例えばB’23において、A’22とA’26は共に隣接画素として扱われるが、B’23とA’22のサンプリング間隔は短く、B’23とA’26のサンプリング間隔は長い。このように、画素加算後では、画素毎に隣接画素とのサンプリング間隔にばらつきが発生し、ジャギ発生など画質劣化が起こる。

【0082】

フィルタリングによる画素の重心ずらしを行うことでサンプリング間隔を等間隔にすることでジャギの低減が可能であるが、ＲＡＷデータにおいて色フィルタ配列の順序を変えることなく重心ずらしを行うためには、同色画素のみを用いた広いタップのフィルタリングが必要となり、解像度劣化という別の弊害を招く。

【0083】

そこで本実施例では上記課題を解決するために、図２５に示すような各画素のサンプリング間隔を等間隔とするための画素重心ずれ補正可能な撮像装置を提供する。本実施例における画素重心ずれ補正の構成例では、実施例１の補間係数設定部において、不図示の制御マイコン等から指示された水平方向のサンプリング間隔ばらつき情報と垂直方向のサンプリング間隔ばらつき情報入力し、不図示のタイミングジェネレータ等から与えられるＲＡＷ信号と同期した水平（Ｈ）・垂直（Ｖ）の座標情報を入力し、これらの入力情報から画素重心ずれ補正後の座標を演算し、画素毎に順次、同色補間部と第1輝度補間部と第2輝度補間部各々に用いる画素信号の座標と係数を個別に求めて出力する画素重心ずれ補正係数・座標演算部１１０６と、を有する構成とした。

【0084】

図２６は、画素重心ずれ補正機能の説明を補足する図であり、水平方向の画素加算数=2、垂直方向の画素加算数=2の例である。図２６(a)は、4画素加算後の画像のサンプリング位置を示しており、各画素のサンプリング間隔にばらつきが発生している。このサンプリング間隔のばらつきを、図２６(b)のように等間隔となるよう、重心ずれを補正する。同色補間部２０４は、重心ずれを補正した画素信号を、近隣の同色画素信号を用いフィルタリングにより補間することで生成し、補正部１０５に出力するものである。例えば、a,b,c,dをそれぞれ所定の係数とし、
B”24＝B’23×a＋B’27×b＋B’63×c＋B’67×d
という式で画素の重心ずれを補正した信号を生成する。
輝度信号生成部１０１においては、輝度信号の画素の重心が各々図２６(a)に示す画素の位置と同一となる輝度信号を生成するものであり、例えば周辺画素A〜Dに対して重み付き加重平均値を輝度信号として算出し、第1輝度補間部２０２と第2輝度補間部２０３に出力するものである。例えば、A’22の画素の位置と同一となる輝度信号を、周辺のA〜Dの画素信号に重み付き加重平均値を算出し、Y’22とする。
第1輝度補間部２０２は、上記同色補間部２０４でフィルタリングに用いた画素と同じサンプリング位置の輝度信号を用いて、重心をずらした画素信号をフィルタリングにより生成し、補正部１０５に出力するものである。例えば、a,b,c,dをそれぞれ所定の係数とし、
Y”24＝Y’23×a＋Y’27×b＋Y’63×c＋Y’67×d
という式で画素の重心をずらした信号を生成する。
第2輝度補間部２０３は、相関性の高い近隣輝度信号を用いフィルタリングにより補間することで生成し、補正部１０５に出力するものである。例えば、a,b,c,dをそれぞれ所定の係数とし、
Y”24＝Y’23×a＋Y’26×b＋Y’63×c＋Y’66×d
という式で画素の重心をずらした信号を生成する。
補正部１０５の動作は、実施例１に記載の同様であり、高周波の利得が高くボケていない各色に対応する補間信号を求める。

【0085】

画素重心ずれ補正係数・座標演算部１１０６では、水平方向のサンプリング間隔ばらつき情報、垂直方向のサンプリング間隔ばらつき情報と現在の座標に応じて、同色補間部と第1輝度補間部と第2輝度補間部各々に用いる画素信号の座標と係数を個別に求めて出力する。

【0086】

以上の構成により、解像度を損なうことなく、撮像素子内において画素加算が行われる画素加算読み出し方式において、各画素間のサンプリング間隔のばらつきによるジャギ発生を抑制できすることができる。また、ＲＡＷ信号で重心のずれ補正を可能とするため、ＲＡＷ信号は、一般にＲＧＢ信号やＹＵＶ信号に比べて信号のビット幅が少ないことから、小さな回路規模で補間信号を生成することが可能となる。

【0087】

尚、上記実施例においては、撮像素子内で４画素加算された場合を例に説明したが、少なくとも2画素以上の加算方式においてサンプリング間隔にばらつきが発生するものであればすべてに適用可能である。また、画素加算を用いずに、画素間引きを行うことによりサンプリング間隔にばらつきが発生する場合についても適用可能である。また、画素加算や画素間引きを行わない場合であっても、撮像素子の各画素が物理的にずれた構成となり、サンプリング間隔にばらつきが発生する場合についても適用可能である。また、撮像素子内に限らず、撮像素子から出力されたＲＡＷデータを所定の信号処理を施すことにより、各画素のサンプリング間隔にばらつきが発生する場合についても適用可能である。

【0088】

また、図２６において、A色の信号は重心をずらさずにB,C,Dのみをずらす構成としたが、この構成によればすべての画素について重心ずらしを行う必要がなく、演算コストを削減することができる。また上記に限らず、A〜D信号の各々の重心ずらしの距離を同じにする構成としてもよく、この場合各A〜D信号にかかる係数の組み合わせを同一とすることができ、画素重心ずれ補正係数・座標算出設定部１１０６における演算コストを削減することができ、さらにはフィルタリングの周波数特性が同じになるため、フィルタリングによるジャギ発生を抑制することができる。

【0089】

また例えば、A〜D信号のうち、特定の1色もしくは２色のみに重心ずれ補正をかける構成とすることもできる。例えば撮像素子がRGBベイヤセンサである場合、輝度信号の大半を占めるG信号のみに重心ずれ補正をかけることで、ジャギの低減と演算コストの削減が可能となる。

【0090】

また、図２５において水平方向のサンプリング間隔ばらつき情報と垂直方向のサンプリング間隔ばらつき情報を入力するとしたが、撮像素子の画素加算数、あるいは画素間引き数から座標と補間係数を算出する方法でも良い。また、異なる二つのサンプリングパターンを入力とし、その差分を求める手段を有し、その差分から補間に使用する座標と係数を算出する方法でもよい。またさらには、前記他の実施例で示した、視点変換、スケーリング（拡大・縮小）、レンズ歪補正、回転、視点変換や移動などの他の機能を複数併用することを想定し、各々の座標と係数を合計した値を設定すれば、複数の処理を1回の演算で処理可能となり、演算コストが削減できる。

【0091】

また、本実施例においては画素加算等により、各画素のサンプリング間隔のばらつきが発生していたものを等間隔になるよう補正することとしたが、逆にサンプリング間隔が等間隔であるものを、本技術により各画素のサンプリング間隔にばらつきを持たせる構成とすれば、人工的にジャギを付けてエッジを強調して見せるなど、特殊効果を発生させることもできる。

【0092】

また、本実施例では輝度信号生成部１０１で生成した輝度から第１輝度補間部２０２と第２輝度補間部２０３により、各々帯域の異なる輝度信号を生成する構成としたが、撮像素子からの出力ＲＡＷデータから各々帯域の異なる輝度信号を生成する第1の輝度信号生成手段と第2の輝度信号生成手段とを有する構成であってもかまわない。

【0093】

上記した実施例の説明においては、水平・垂直に2*2画素の周期的な色フィルタ配置を例にして説明したが、2*2の配列に限らず、2*4の配列の撮像素子であっても、ハニカム構造のような特殊な配列の撮像素子であっても、他の色フィルタ配置の場合であっても同様にして適用可能である。

【0094】

さらに、実施例の説明においてはスケーリング（拡大・縮小）、レンズ歪補正、画像を変形するものとして回転補正と視点変換補正の機能、撮像素子内で画素加算や画素間引きされたことによる各画素のサンプリング間隔のばらつきを補正する機能、について説明したが、それ以外のＲＡＷ信号に対して重心をずらす補正を行うことで実現する機能であればすべてにおいて適用可能である。

【0095】

また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0096】

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0097】

１０１ 輝度信号生成部
１０２ 第１輝度補間部
１０３ 第２輝度補間部
１０４ 同色補間部
１０５ 補正部
１０６ 補間係数設定部
２０６ 座標・補間係数設定部
２０７ スケーリング演算部
３０７ レンズ歪特性テーブルデータ部
４０７ レンズ歪特性関数演算部
５０７ 回転演算部
６０７ 視点変換演算部
７０７ 回転補正データテーブル部
８０７ 視点変換補正データテーブル部
９０７ 被写体変形演算部
１００７ 被写体変形補正データテーブル部
１１０６ 画素重心ずれ補正係数・座標演算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】