特許 7560920 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-25

(45)【発行日】2024-10-03

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240926BHJP

【ＦＩ】

H04N23/60 500

【請求項の数】 4

(21)【出願番号】P 2020193975

(22)【出願日】2020-11-24

(65)【公開番号】P2022082844

(43)【公開日】2022-06-03

【審査請求日】2023-05-22

(73)【特許権者】

【識別番号】304014143

【氏名又は名称】サクサ株式会社

(72)【発明者】

【氏名】杉山 綾

【審査官】越河 勉

(56)【参考文献】

【文献】特開２００７－０８８８０６（ＪＰ，Ａ）

【文献】特開２００３－３４８６１６（ＪＰ，Ａ）

【文献】特開２００７－１２４２１２（ＪＰ，Ａ）

【文献】特開２０１８－１３７５４０（ＪＰ，Ａ）

【文献】特開２００４－３５６９７４（ＪＰ，Ａ）

【文献】特開２０２０－０４６８１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

撮像装置から出力されるピクセルデータと同期信号とを取り込み、前記ピクセルデータに基づく画像処理を行う画像処理装置であって、
前記ピクセルデータをライン単位に記憶する第１のラインバッファと、
前記ピクセルデータをライン単位に記憶する第２のラインバッファと、
入力されるクロックに基づき前記同期信号を取り込み、取り込んだ同期信号をカウントしてＸ座標アドレスとＹ座標アドレスを生成し、前記Ｘ座標アドレスとＹ座標アドレスから各ラインバッファに対する書き込みアドレスを生成し、前記Ｘ座標アドレスと前記Ｙ座標アドレスのそれぞれの最下位ビットを参照して書き込み許可信号を生成して前記ピクセルデータを前記第１のラインバッファ又は前記第２のラインバッファへ書き込み、前記Ｘ座標アドレスと前記Ｙ座標アドレスの最下位ビットの組み合わせに基づき読み出しアドレスを生成し、前記クロックに同期して前記第１のラインバッファと前記第２のラインバッファから前記ピクセルデータを読み出すラインバッファ制御部と、
を備えたことを特徴とする画像処理装置。

【請求項2】

前記ピクセルデータは、
輝度成分と、第１の色差成分と、第２の色差成分とを含み、
前記第１のラインバッファは、
前記ラインバッファ制御部による制御の下、偶数ラインに偶数ピクセルの前記輝度成分と奇数ピクセルの輝度成分とがそれぞれ独立して割り当てられて書き込まれる偶数ラインバッファと、
前記ラインバッファ制御部による制御の下、奇数ラインに偶数ピクセルの前記輝度成分と奇数ピクセルの輝度成分とがそれぞれ独立して割り当てられて書き込まれる奇数ラインバッファと、を含み、
前記第２のラインバッファは、
前記ラインバッファ制御部による制御の下、偶数フレームごと、前記偶数ラインに偶数ピクセルの前記第１の色差成分が割り当てられて書き込まれる第１の色差ラインバッファと、前記ラインバッファ制御部による制御の下、前記奇数ラインに偶数ピクセルの前記第２の色差成分が割り当てられて書き込まれる第２の色差ラインバッファと、を含み、
前記第１の色差ラインバッファには、更に、奇数フレームごと、前記奇数ラインに奇数ピクセルの第１の色差成分が割り当てられて書き込まれ、前記第２の色差ラインバッファには、前記偶数ラインに奇数ピクセルの前記第２の色差成分が割り当てられて書き込まれることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記ラインバッファ制御部は、
Ｘ座標アドレスとＹ座標アドレスの最下位ビットがともに０の場合、前記Ｘ座標アドレスは、最下位ビットを除く９ビット、前記Ｙ座標アドレスは、最下位ビットを除く６ビットを使用して前記読み出しアドレスとし、
前記Ｙ座標アドレスの最下位ビットが０で、前記Ｘ座標アドレスの最下位ビットが１の場合、前記Ｘ座標アドレスについて、前記奇数ラインバッファは、最下位ビットを除く９ビットを使用し、前記偶数ラインバッファは＋１更新して使用し、前記Ｙ座標アドレスについて、前記最下位ビットを除く６ビットを使用して前記読み出しアドレスとし、
前記Ｘ座標アドレスの最下位ビットが０で、前記Ｙ座標アドレスの最下位ビットが１の場合、前記Ｘ座標アドレスは最下位ビットを除く９ビットを使用し、前記Ｙ座標アドレスについて、前記奇数ラインバッファは、最下位ビットを除く９ビットを使用し、前記偶数ラインバッファは＋１更新して使用し、前記読み出しアドレスとし、
前記Ｘ座標アドレスと前記Ｙ座標アドレスの最下位ビットがともに１の場合、前記Ｘ座標アドレスについて、前記奇数ラインバッファは、最下位ビットを除く９ビットを使用し、前記偶数ラインバッファは、＋１更新して使用し、前記Ｙ座標アドレスについて、前記奇数ラインバッファは、最下位ビットを除く９ビットを使用し、前記偶数ラインバッファは、＋１更新して使用して前記読み出しアドレスとし、前記偶数ラインバッファと前記奇数ラインバッファとから前記ピクセルデータを読み出すことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記偶数ラインバッファから読み出された偶数ピクセルと奇数ピクセルの輝度成分値Ｉ１，Ｉ２、及び前記奇数ラインバッファからみ出された偶数ピクセルと奇数ピクセルの輝度成分値Ｉ３，Ｉ４のそれぞれが格納される出力データレジスタと、前記出力データレジスタから、それぞれの輝度成分値と小数点以下の輝度成分値（ａがＸ補正量，ｂがＹ補正量）とから、Ｉ＝Ｉ１＊（１－ａ）＊（１－ｂ）＋Ｉ２＊ａ＊（１－ｂ）＋１３＊（１－ａ）＊ｂ＋Ｉ４＊ａ＊ｂで示す演算式を求めることにより、サブピクセル精度の輝度値を算出する補間演算部と、備えたことを特徴とする請求項２に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置から出力されるピクセルデータと同期信号とを取り込み、このピクセルデータに基づいて画像処理を行う画像処理装置に関する。

【背景技術】

【0002】

撮像装置において、撮像レンズは、構成しているレンズの光学特性上、撮像素子に結像する被写体像に歪曲収差（デストーション）が生じる。これは、レンズの設計値としてのディストーションや製造誤差、個体差等によって生じる。このため、画像処理装置には、生成される画像データに対して信号処理により歪補正する歪処理部が設けられている。

【0003】

例えば、特許文献１に記載されているように、予め歪量を測定してＬＵＴ（Look Up Table）等を参照することにより補整する方式や高次多項式によって近似して補正する等の歪補正方法が知られている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－１６５６３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の歪補正方法によれば、副走査方向の歪を補正するために数ライン分のラインバッファが必要になる。そして、このラインバッファに対し、歪補正により移動させる画素の基準となる画素データアドレスを指定してラインバッファの読み出しを制御し、歪補正量の画素単位未満の移動量分の補間値（画素データの中間値）を、画像の水平方向にＸ補正量、画像の垂直方向にＹ補正量として画素補間部に出力する。そして、画素補間部が、ラインバッフから読み出された移動元４画素データと、歪補正座標演算部からの画素未満移動量分の補間値とを取り込み、バイリニア補間で移動先の画素値を算出し、サブピクセル精度での画素補間処理を実行する。

【0006】

ところで、２×２の４ピクセルの中から輝度成分（Ｙ）を４サンプル、最初のラインの２ピクセルから輝度と青色成分の差（色差Ｕ）を１サンプル、輝度成分と赤色成分との差（色差Ｖ）を１サンプル採るＹＵＶ４２２方式が色表現方法の一つとして知られている。このＹＵＶ４２２方式によれば、８ビットで量子化を行なった場合、４ピクセルで６４ビット、１ピクセルあたり１６ビットのデータ量になる。

【0007】

上記したＹＵＶ４２２方式を使用して色を表現した場合、撮像装置からこのＹＵＶ方式に基づき１ピクセルあたり１２ビットのデータを単位に出力される。従来、例えば、ＶＧＡ画像を扱う場合、図４に示すように、入力されるピクセルデータ（Ｙ0，Ｙ1，Ｕ0，Ｖ0・・・）を、１０２４×１０２４ビット構成の１個のメモリ２００に逐次保存していた。このため、画像処理装置が４ピクセル分の輝度成分と色差成分を読み出すためには、１個のメモリから４回読み出すか、あるいは４倍のクロック速度で読み出す必要があり、メモリアクセス過多によるタイムロスが発生し、サブピクセル精度での画素補間処理に遅延が生じることがある。

【0008】

本発明は、上記した課題を解決するためになされものであり、メモリアクセスによるタイムロスが画像処理に与える影響を回避し、特に、サブピグル処理時のメモリアクセス過多による処理の遅れを解決した画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

（１）上記した課題を解決するために、本発明は、撮像装置から出力されるピクセルデータと同期信号とを取り込み、前記ピクセルデータに基づく画像処理を行う画像処理装置であって、前記ピクセルデータをライン単位に記憶する第１のラインバッファと、前記ピクセルデータをライン単位に記憶する第２のラインバッファと、前記ピクセルデータをライン単位に記憶する第３のラインバッファと、前記ピクセルデータをライン単位に記憶する第４のラインバッファと、入力されるクロックに基づき前記同期信号を取り込み、取り込んだ同期信号をカウントしてＸ座標アドレスとＹ座標アドレスを生成し、前記Ｘ座標アドレスとＹ座標アドレスから各ラインバッファに対する書き込みアドレスを生成し、前記Ｘ座標アドレスと前記Ｙ座標アドレスのそれぞれの最下位ビットを参照して書き込み許可信号を生成して前記ピクセルデータを前記第１のラインバッファ又は前記第２のラインバッファ又は前記第３のラインバッファ又は前記第４のラインバッファへ書き込み、前記Ｘ座標アドレスと前記Ｙ座標アドレスの最下位ビットの組み合わせに基づき読み出しアドレスを生成し、前記クロックに同期して前記第１のラインバッファと前記第２のラインバッファと前記第３のラインバッファと前記第４のラインバッファから前記ピクセルデータを読み出すラインバッファ制御部と、を備えたことを特徴とする。

【0010】

（２）本発明の画像処理装置において、前記ピクセルデータは、輝度成分と、第１の色差成分と、第２の色差成分とを含み、前記第１のラインバッファは、前記ラインバッファ制御部による制御の下、偶数ラインに偶数ピクセルの前記輝度成分と奇数ピクセルの輝度成分とがそれぞれ独立して割り当てられて書き込まれる偶数ラインバッファと、前記ラインバッファ制御部による制御の下、奇数ラインに偶数ピクセルの前記輝度成分と奇数ピクセルの輝度成分とがそれぞれ独立して割り当てられて書き込まれる奇数ラインバッファと、を含み、前記第２のラインバッファは、前記ラインバッファ制御部による制御の下、偶数フレームごと、前記偶数ラインに偶数ピクセルの前記第１の色差成分が割り当てられて書き込まれる第１の色差ラインバッファと、前記ラインバッファ制御部による制御の下、前記奇数ラインに偶数ピクセルの前記第２の色差成分が割り当てられて書き込まれる第２の色差ラインバッファと、を含み、前記第１の色差ラインバッファには、更に、奇数フレームごと、前記奇数ラインに奇数ピクセルの第１の色差成分が割り当てられて書き込まれ、前記第２の色差ラインバッファには、前記偶数ラインに奇数ピクセルの前記第２の色差成分が割り当てられて書き込まれることを特徴とする。

【0011】

（３）本発明の画像処理装置において、前記ラインバッファ制御部は、Ｘ座標アドレスとＹ座標アドレスの最下位ビットがともに０の場合、前記Ｘ座標アドレスは、最下位ビットを除く９ビット、前記Ｙ座標アドレスは、最下位ビットを除く６ビットを使用して前記読み出しアドレスとし、前記Ｙ座標アドレスの最下位ビットが０で、前記Ｘ座標アドレスの最下位ビットが１の場合、前記Ｘ座標アドレスについて、前記奇数ラインバッファは、最下位ビットを除く９ビットを使用し、前記偶数ラインバッファは＋１更新して使用し、前記Ｙ座標アドレスについて、前記最下位ビットを除く６ビットを使用して前記読み出しアドレスとし、前記Ｘ座標アドレスの最下位ビットが０で、前記Ｙ座標アドレスの最下位ビットが１の場合、前記Ｘ座標アドレスは最下位ビットを除く９ビットを使用し、前記Ｙ座標アドレスについて、前記奇数ラインバッファは、最下位ビットを除く９ビットを使用し、前記偶数ラインバッファは＋１更新して使用し、前記読み出しアドレスとし、前記Ｘ座標アドレスと前記Ｙ座標アドレスの最下位ビットがともに１の場合、前記Ｘ座標アドレスについて、前記奇数ラインバッファは、最下位ビットを除く９ビットを使用し、前記偶数ラインバッファは、＋１更新して使用し、前記Ｙ座標アドレスについて、前記奇数ラインバッファは、最下位ビットを除く９ビットを使用し、前記偶数ラインバッファは、＋１更新して使用して前記読み出しアドレスとし、前記偶数ラインバッファと前記奇数ラインバッファとから前記ピクセルデータを読み出すことを特徴とする。

【0012】

（４）本発明の画像処理装置において、前記偶数ラインバッファから読み出された偶数ピクセルと奇数ピクセルの輝度成分値Ｉ１，Ｉ２、及び前記奇数ラインバッファからみ出された偶数ピクセルと奇数ピクセルの輝度成分値Ｉ３，Ｉ４のそれぞれが格納される出力データレジスタと、前記出力データレジスタから、それぞれの輝度成分値と小数点以下の輝度成分値（ａがＸ補正量，ｂがＹ補正量）とから、Ｉ＝Ｉ１＊（１－ａ）＊（１－ｂ）＋Ｉ２＊ａ＊（１－ｂ）＋１３＊（１－ａ）＊ｂ＋Ｉ４＊ａ＊ｂで示す演算式を求めることにより、サブピクセル精度の輝度値を算出する補間演算部と、備えたことを特徴とする。

【発明の効果】

【0013】

本発明によれば、メモリアクセスによるタイムロスが画像処理に与える影響を回避し、特に、サブピグル処理時のメモリアクセス過多による処理の遅れを解決した画像処理装置を提供することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。

【図2】本発明の実施の形態に係る画像処理装置のピクセルデータ書き込み時のラインバッファのデータ割り当て構造の一例を示す図である。

【図3】本発明の実施の形態に係る画像処理装置のピクセルデータ読み出し時のラインバッファのデータ割り当て構造の一例を示す図である。

【図4】従来の像処理装置のピクセルデータ書き込み時のラインバッファのデータ割り当て構造の一例を示す図である。

【発明を実施するための形態】

【0015】

以下、添付図面を参照して、本発明を実施するための形態（以下、本実施形態と言う）について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。

【0016】

（実施形態の構成）
図１に示すように、本実施形態に係る画像処理装置２は、撮像装置１から出力されるピクセルデータと同期信号とを取り込み、ピクセルデータに基づく画像処理を行う。なお、同期信号は、カメラクロック（ＣＬＫ）と、水平同期信号（ＨＳＹＮＣ）と垂直同期信号（ＶＳＹＮＣ）を含む。

【0017】

撮像装置１は、内部構成についは図示省略したが、被写体からの入射光がレンズなどの光学系を通してＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）で構成されるイメージセンサに集光され、ディジタル画像信号（ピクセルデータ）に変換され出力される。

【0018】

撮像装置１から出力されるピクセルデータは、同期信号とともに、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成される画像処理装置２に入力され、画像処理装置２で各種画像処理が施される。画像処理には、レンズの設計値によるディストーションや製造誤差、個体差による光学的な歪み、イメージセンサとレンズなどの光学系との相対的な位置ズレや回転ズレ、カメラを複数有するステレオカメラ装置にあっては、カメラ間の相対位置によるズレなどを補正する歪み補正処理が含まれる。画像処理が施された画像データは、図示省略したマイクロプロセッサに入力され、画像認識処理などの各種処理が施される。

【0019】

本実施形態に係る画像処理装置２を構成するＦＰＧＡは、通常、図示省略したＲＯＭ（Read Only Memory）等の不揮発性メモリにコンフィギュレーションデータが格納されており、ＦＰＧＡに電力が供給されると、すぐにコンフィギュレーションと呼ばれる動作が行われることによって、上記した画像処理を実行するための内部回路を構成することができる。

【0020】

画像処理装置２は、ラインバッファ２０と、タイミング発生器２１と、ラインバッファ制御部２２と、出力データレジスタ２３と、補間演算部２４と、を含み構成される。

【0021】

ラインバッファ２０は、少なくとも、ラインバッファ＃０と、ラインバッファ＃１を含み、前者（第１のラインバッファ）は、輝度成分保存用に、後者（第２のラインバッファ）は、色差成分保存用に割り当てられ使用される。タイミング発生器２１は、撮像装置１から出力されるＨＳＹＮＣの有効時のクロックをカウントし、ＨＳＹＮＣの立下りをカウントし、そして、ＶＳＹＮＣからフレームの立ち上がりを監視してラインバッファ制御部２２に制御信号として出力する。

【0022】

ラインバッファ制御部２２は、タイミング発生器２１から出力される各種制御信号に基づいてＸ座標アドレスとＹ座標アドレスとを生成し、このＸ座標アドレスとＹ座標アドレスから各ラインバッファ＃０，＃１に対する書き込みアドレスを生成する。そして、Ｘ座標アドレスとＹ座標アドレスのそれぞれの最下位ビットを参照してＷＥ信号（書き込み許可信号）を生成し、撮像装置１から出力されるピクセルデータをラインバッファ＃０又はラインバッファ＃１に書き込む制御を行う。また、ラインバッファ制御部２２は、Ｘ座標アドレスとＹ座標アドレスの最下位ビットの組み合わせに基づき読み出しアドレスを生成し、クロックに同期してラインバッファ＃０とラインバッファ＃１とからピクセルデータを読み出す制御も行う。

【0023】

出力データレジスタ２３は、ラインバッファ＃０，＃１から読み出されたピクセルデータをそれぞれ保持して補間演算部２４へ出力する。補間演算部２４は、出力データレジスタ２３に保持されたピクセルデータに基づき、レンズの設計値によるディストーションや製造誤差、個体差による光学的な歪み、イメージセンサとレンズなどの光学系との相対的な位置ズレや回転ズレ、カメラを複数有するステレオカメラ装置にあっては、カメラ間の相対位置によるズレなどを補正する歪み補正処理を含む画像処理を行う。

【0024】

（実施形態の動作）
以下、撮像装置１から出力されるピクセルデータがＹＵＶ４２２方式にしたがって表現された場合の、本実施形態に係る画像処理装置２の動作について、図２，図３を参照して詳細に説明する。

【0025】

図２は、ピクセルデータ書き込み時のラインバッファ＃１，＃２のデータ割り当て構造の一例を示す図であり、図２（ａ）に輝度成分のデータ割り当て構造を、図２（ｂ）に色差成分のデータ割り当て構造を示す。

【0026】

図２（ａ）に示すように、ラインバッファ＃０は、２個の偶数ラインバッファ２０ｙ１，２０ｙ２と、２個の奇数ラインバッファ２０ｙ３，２０ｙ４の、合計４個のバッファメモリが割り当てられる。ラインバッファ制御部２２は、入力されるクロックに基づき撮像装置１からＨＳＹＮＣとＶＳＹＮＶを含む同期信号を取り込み、取り込んだ同期信号をカウントしてＸ，Ｙ座標アドレスを生成する。そして、Ｘ，Ｙ座標アドレスから各ラインバッファ＃０，＃１に対する書き込みアドレスを生成し、Ｘ，Ｙ座標アドレスのそれぞれの最下位ビットを参照してＷＥ信号を生成し、ピクセルデータをラインバッファ＃０又はラインバッファ＃１へ書き込む。

【0027】

その結果、偶数ラインバッファ２０ｙ１，２０ｙ２には、副走査方向の偶数ラインに偶数ピクセルの輝度成分と奇数ピクセルの輝度成分とがそれぞれ独立して割り当てられて書き込まれ、奇数ラインバッファ２０ｙ３，２０ｙ４には、副走査方向の奇数ラインに偶数ピクセルの輝度成分と奇数ピクセルの輝度成分とがそれぞれ独立して割り当てられて書き込まれる。

【0028】

また、図２（ｂ）に示すように、ラインバッファ＃１は、Ｕ専用ラインバッファ２０ｕ（第１の色差ラインバッファ）と、Ｖ専用ラインバッファ２０ｖ（第２の色差ラインバッファ）と、が割り当てられる。Ｕ専用ラインバッファ２０ｕには、ラインバッファ制御部２２の制御の下で、偶数フレームごと、偶数ラインに偶数ピクセルのＵ成分（第１の色差成分）が割り当てられて書き込まれる。Ｖ専用ラインバッファ２０ｖ（第２の色差ラインバッファ）は、奇数ラインに偶数ピクセルのＶ成分（第１の色差成分）が割り当てられて書き込まれる。Ｕ専用ラインバッファ２０ｕには、更に、奇数フレームごと、奇数ラインに奇数ピクセルのＵ成分が割り当てられて書き込まれ、偶数ラインに奇数ピクセルのＶ成分が割り当てられて書き込まれる。

【0029】

以下、上記のようにして書き込まれたピクセルデータの輝度成分の読み出し動作について説明する。図３は、ピクセルデータ読み出しのラインバッファ＃０，＃１のデータ割り当て構造の一例を示す図であり、図３（ａ）に輝度成分のデータ割り当て構造、図３（ｂ）に色差成分のデータ割り当て構造を示す。

【0030】

ラインバッファ制御部２２は、クロックに同期して偶数ラインバッファ２０ｙ１，２０ｙ２，奇数ラインバッファ２０ｙ３，２０ｙ４からピクセルデータの輝度成分（輝度値）を，Ｕ専用ラインバッファ２０ｕ，Ｖ専用ラインバッファ２０ｖからピクセルデータの色成分（色差）を読み出す。

【0031】

例えば、Ｘ，Ｙ座標アドレスの最下位ビットがともに“０”の場合、Ｘ座標アドレスは、最下位ビットを除く９ビット、Ｙ座標アドレスは、最下位ビットを除く６ビットを使用して読み出しアドレスとして生成する。

【0032】

一方、Ｙ座標アドレスの最下位ビットが０で、Ｘ座標アドレスの最下位ビットが１の場合、ラインバッファ制御部２２は、Ｘ座標アドレスについて、奇数ラインバッファ２０ｙ３，２０ｙ４は、最下位ビットを除く９ビットを使用し、偶数ラインバッファ２０ｙ１，２０ｙ２は＋１更新して使用し、Ｙ座標アドレスについて、最下位ビットを除く６ビットを使用して読み出しアドレスとして生成する。そして、偶数ラインバッファ２０ｙ１，２０ｙ２と、奇数ラインバッファ２０ｙ３，２０ｙ４とからそれぞれのピクセルデータを読み出し、出力データレジスタ２３に保持する。

【0033】

また、Ｘ座標アドレスの最下位ビットが０で、Ｙ座標アドレスの最下位ビットが１の場合、ラインバッファ制御部２２は、Ｘ座標アドレスとして最下位ビットを除く９ビットを使用し、Ｙ座標アドレスとして、奇数ラインバッファ２０ｙ３，２０ｙ４は、最下位ビットを除く９ビットを使用し、偶数ラインバッファは＋１更新して使用し、それぞれ読み出しアドレスとして生成する。そして、偶数ラインバッファ２０ｙ１，２０ｙ２と、奇数ラインバッファ２０ｙ３，２０ｙ４とからそれぞれのピクセルデータを読み出し、出力データレジスタ２３に保持する。

【0034】

また、Ｘ，Ｙ座標アドレスの最下位ビットがともに“１”の場合、ラインバッファ制御部２２は、Ｘ座標アドレスとして、奇数ラインバッファ２０ｙ３，２０ｙ４は、最下位ビットを除く９ビットを使用し、偶数ラインバッファ２０ｙ１，２０ｙ２は、＋１更新して使用する。又、Ｙ座標アドレスとして、奇数ラインバッファ２０ｙ３，２０ｙ４は、最下位ビットを除く９ビットを使用し、偶数ラインバッファは、＋１更新して使用して読み出しアドレスとして生成する。そして、偶数ラインバッファ２０ｙ１，２０ｙ２と、奇数ラインバッファ２０ｙ３，２０ｙ４とからそれぞれのピクセルデータを読み出し、出力データレジスタ２３に保持する。

【0035】

このように、輝度成分について偶数ラインバッファ２０ｙ１，２０ｙ２、奇数ラインバッファ２０ｙ３，２０ｙ４のそれぞれから読み出せば、図３（ａ）に示すように。例えば、Ｙ０，Ｙ１，Ｙ２，Ｙ３の周囲４ピクセルの輝度成分の読み出しが可能になる。

【0036】

次に、補間演算部２４は、読み出された４つの輝度値から求める輝度値を算出する。すなわち、偶数ラインバッファ２０ｙ１，２０ｙ２から読み出され出力データレジスタ２３に保持された偶数ピクセルと奇数ピクセルの輝度成分値Ｉ１，Ｉ２、及び奇数ラインバッファ２０ｙ３，２０ｙ４から読み出され、出力データレジスタ２３に保持された偶数ピクセルと奇数ピクセルの輝度成分値Ｉ３，Ｉ４に基づき、それぞれの輝度成分値と小数点以下の輝度成分値（ａがＸ補正量，ｂがＹ補正量）とから、Ｉ＝Ｉ１＊（１－ａ）＊（１－ｂ）＋Ｉ２＊ａ＊（１－ｂ）＋１３＊（１－ａ）＊ｂ＋Ｉ４＊ａ＊ｂで示される演算式を求めることによりサブピクセル精度の輝度値を算出する。そして、その合計値をピクセル未満での成分の分解能で除算することにより最終的な輝度値が算出される。

【0037】

なお、色差成分の読み出しについては、Ｕ専用ラインバッファ２０ｕとＶ専用ラインバッファ２０ｖのそれぞれから奇遇ライン単位で読み出し、読み出し時に保存されていない色差成分については、図３（ｂ）において矢印で表記したように、上下に隣接するラインの色差成分で補間することにより、見た目に影響の無い色表現が可能になる。

【0038】

（実施形態の効果）
以上説明のように本実施形態に係る画像処理装置２によれば、ピクセルデータをライン単位に記憶するラインバッファ＃０，＃１（２０）を設け、ラインバッファ制御部２２が、入力されるクロックに基づき同期信号を取り込み、取り込んだ同期信号をカウントしてＸ，Ｙ座標アドレスを生成し、Ｘ，Ｙ座標アドレスからラインバッファ＃１，＃２に対する書き込みアドレスを生成する。そして、ラインバッファ制御部２２は、生成されたＸ，Ｙ座標アドレスのそれぞれの最下位ビットを参照して書き込み許可信号を生成し、ピクセルデータをラインバッファ＃０又はラインバッファ＃１へ書き込む。又、Ｘ，Ｙ座標アドレスの最下位ビットの組み合わせに基づき読み出しアドレスを生成し、クロックに同期してラインバッファ＃０とラインバッファ＃１からピクセルデータを読み出す。この構成により、1回のメモリアクセスで必要なピクセルデータを取得することができるため、メモリアクセスによるタイムロスが画像処理に与える影響を回避することができる。

【0039】

また、本実施形態に係る画像処理装置２によれば、ピクセルデータに輝度成分と色差成分が含まれる場合、ラインバッファ制御部２２は、ラインバッファ＃０に、偶数ラインバッファ２０ｙ１，２０ｙ２と、奇数ラインバッファ２０ｙ３，２０ｙ４とを割り当てる。そして、偶数ラインバッファ２０ｙ１，２０ｙ２に対し、偶数ラインに偶数ピクセルの輝度成分と奇数ピクセルの輝度成分とをそれぞれ独立して書き込み、奇数ラインバッファ２０ｙ３，２０ｙ４に対し、奇数ラインに偶数ピクセルの輝度成分と奇数ピクセルの輝度成分とをそれぞれ独立して割り当て書き込む制御を行なう。

【0040】

又、ラインバッファ制御部２２は、ラインバッファ＃１に、Ｕ専用ラインバッファ２０Ｕ（第１の色差ラインバッファ）と、Ｖ専用ラインバッファ２０ｖ（第２の色差ラインバッファ）とを割り当てる。そして、Ｕ専用ラインバッファ２０Ｕに、偶数フレームごと、偶数ラインに偶数ピクセルのＵ成分（第１の色差成分）を割り当てて書き込み、Ｖ専用ラインバッファ２０ｖに、奇数ラインに偶数ピクセルのＶ成分を割り当てて書き込む。又、Ｕ専用ラインバッファ２０ｕには、更に、奇数フレームごと、奇数ラインに奇数ピクセルのＵ成分を割り当て、Ｖ専用ラインバッファ２０ｖには、更に、偶数ラインに奇数ピクセルのＶ成分を割り当て書き込む制御を行う。

【0041】

ラインバッファ制御部２２は、Ｘ，Ｙ座標アドレスの最下位ビットがともに０の場合、Ｘ座標アドレスは最下位ビットを除く９ビット、Ｙ座標アドレスは、最下位ビットを除く６ビットを使用して読み出しアドレスとして生成する。又、Ｙ座標アドレスの最下位ビットが０で、Ｘ座標アドレスの最下位ビットが１の場合、Ｘ座標アドレスについて、奇数ラインバッファ２０ｙ３，２０ｙ４は、最下位ビットを除く９ビットを使用し、偶数ラインバッファ２０ｙ１，２０ｙ２は＋１更新して使用し、Ｙ座標アドレスについて、最下位ビットを除く６ビットを使用して読み出しアドレスとして生成する。そして、偶数ラインバッファ２０ｙ１，２０ｙ２と奇数ラインバッファ２０ｙ３，２ｏｙ４とから輝度成分を読み出す制御を行う。

【0042】

また、ラインバッファ制御部２２は、Ｘ座標アドレスの最下位ビットが０で、Ｙ座標アドレスの最下位ビットが１の場合、Ｘ座標アドレスは最下位ビットを除く９ビットを使用し、Ｙ座標アドレスについて、奇数ラインバッファ２０ｙ３，２０ｙ４は、最下位ビットを除く９ビットを使用し、偶数ラインバッファ２０ｙ１，２０ｙ２は＋１更新して使用して読み出しアドレスとして生成する。又、Ｘ，Ｙ座標アドレスの最下位ビットがともに１の場合、Ｘ座標アドレスについて、奇数ラインバッファ２０ｙ３，２０ｙ４は、最下位ビットを除く９ビットを使用し、偶数ラインバッファ２０ｙ１，２０ｙ２は、＋１更新して使用し、Ｙ座標アドレスについて、奇数ラインバッファ２０ｙ３，２０ｙ４は、最下位ビットを除く９ビットを使用し、偶数ラインバッファ２０ｙ１，２０ｙ２は、＋１更新して使用して読み出しアドレスとして生成する。そして、偶数ラインバッファ２０ｙ１，２００ｙ２と奇数ラインバッファ２０ｙ３，２０ｙ４とからピクセルデータの輝度成分を読み出す制御を行う。

【0043】

偶数ラインバッファ２０ｙ１，２０ｙ２から読み出され偶数ピクセルと奇数ピクセルの輝度成分、及び奇数ラインバッファ２０ｙ３，２０ｙ４から読み出された偶数ピクセルと奇数ピクセルの輝度成分は出力データレジスタ２３に保持される。そして、補間演算部２４が、出力データレジスタ２３に保持されたピクセルデータに基づき、それぞれの輝度成分値と小数点以下の輝度成分値とから、周知の補正演算式にしたがい補間演算することよりサブピクセル精度の輝度値を算出することができる。

【0044】

本実施形態に係る画像処理装置２によれば、上記したデータ割り当て構造（メモリ配置）を採用することにより、周囲４ピクセルの輝度成分が１回のメモリアクセスで取得できるため、サブピグル処理時のメモリアクセス過多による処理の遅れを回避できる。又、色差成分の読み出しについては、Ｕ専用ラインバッファ２０ｕとＶ専用ラインバッファ２０ｖのそれぞれから奇遇ライン単位で読み出し、読み出し時に保存されていない色差成分については、上下に隣接するラインの色差成分で補間することにより、見た目に影響の無い色表現が可能になる。

【0045】

なお、本実施形態に係る画像処理装置によれば、撮像装置１から出力されるピクセルデータの色の表現方式に、ＹＵＶ４２２方式を使用したケースについてのみ説明したが、ＹＵＶ４２２方式に制限されず、他のＹＵＶ方式、あるいはＲＧＢで色が表現されるケースにおいても同様に適用が可能である。また、本実施形態に係る画像処理装置２によれば、画像処理装置２をＦＰＧＡで構成する場合のみ例示したが、他に、ＡＳＩＣ（Application Specific Integrated Circuit）やＤＳＰ（Digital Signal Processor）等によって実現される構成でも構わない。

【0046】

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。またその様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【符号の説明】

【0047】

１ 撮像装置、２ 画像処理装置、２０ラインバッファ（＃０ 第１のラインバッファ、＃１ 第２のラインバッファ）、２０ｙ１，２０ｙ２ 偶数ラインバッファ、２０ｙ３，２０ｙ４ 奇数ラインバッファ、２０ｕ Ｕ専用ラインバッファ（第１の色差ラインバッファ）、２０ｖ Ｖ専用ラインバッファ（第２の色差ラインバッファ）、２１ タイミング発生器、２２ ラインバッファ制御部、２３ 出力データレジスタ、２４ 補間演算部

【図1】

【図2】

【図3】

【図4】