特許 6442867 画像処理装置、撮像装置、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6442867

(24)【登録日】2018年12月7日

(45)【発行日】2018年12月26日

(54)【発明の名称】画像処理装置、撮像装置、及び画像処理方法

(51)【国際特許分類】

   G06T 5/20 20060101AFI20181217BHJP

【ＦＩ】

   G06T5/20

【請求項の数】8

【全頁数】22

(21)【出願番号】特願2014-100792(P2014-100792)

(22)【出願日】2014年5月14日

(65)【公開番号】特開2015-219592(P2015-219592A)

(43)【公開日】2015年12月7日

【審査請求日】2017年4月11日

(73)【特許権者】

【識別番号】514315159

【氏名又は名称】株式会社ソシオネクスト

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(72)【発明者】

【氏名】大原 邦裕

【審査官】 松田 直也

(56)【参考文献】

【文献】 特開平０４−０４２３７６（ＪＰ，Ａ）

【文献】 特開２０１３−１７８７５３（ＪＰ，Ａ）

【文献】 特開２００９−２８４０９４（ＪＰ，Ａ）

【文献】 特開２００７−０９４８４６（ＪＰ，Ａ）

【文献】 特開２０１０−２３９５１３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／２０

(57)【特許請求の範囲】

【請求項1】

原画像データを格納するメモリと、
前記原画像データの一部である矩形領域の原画像データを前記メモリから読み出すとともに、前記矩形領域の周囲に追加する境界領域の画素値を設定し、前記矩形領域の画像データと画素値設定済みの前記境界領域の画像データとを含む拡張画像データを出力する読み出し部と、
前記拡張画像データに対してフィルタ処理を施す第１のフィルタ処理部
を含み、
前記読み出し部は垂直コピー部と水平コピー部とを含み、
前記垂直コピー部は、前記メモリから同一の画素の画素値を複数回読み出し、前記複数回読み出しのうちのある一回の読み出しにより得られる画素値を前記矩形領域の画素値として用い、前記複数回読み出しのうちの別の一回の読み出しにより得られる画素値を前記矩形領域の垂直方向に隣接する前記境界領域の画素値として用い、
前記水平コピー部は、前記メモリから順次読み出した一連の画像値データを遅延させ、遅延後の前記一連の画像値データと遅延前の前記一連の画像値データとから一つの画素値を順次選択して出力することにより、同一の画素の画素値を、前記矩形領域の内部と、前記矩形領域の水平方向に隣接する前記境界領域との両方に設定する
画像処理装置。

【請求項2】

前記読み出し部は、前記矩形領域の内部の画素値と同一の値を前記境界領域に設定することにより前記境界領域の画素値を設定することを特徴とする請求項１記載の画像処理装置。

【請求項3】

前記垂直コピー部は読み出し制御部を含み、
前記読み出し制御部は、直前に読み出した画素値を含むラインが前記複数回読み出しの対象のラインであるか否かを判断し、前記ラインが前記複数回読み出しの対象のラインである場合、読み出しアドレスを減算することを特徴とする請求項１記載の画像処理装置。

【請求項4】

前記水平コピー部はセレクタを含み、
前記セレクタは、前記遅延前の一連の画像値データのイネーブル信号及び前記遅延後の一連の画像値データのイネーブル信号に応じて、前記一つの画素値を順次選択することを特徴とする請求項１記載の画像処理装置。

【請求項5】

前記読み出し部は、前記原画像データに含まれる全ての複数の矩形領域の画像データを順次読み出し、前記原画像データの外周エッジ部分に接する矩形領域については前記拡張画像データを前記メモリの当該矩形領域に対応する位置に書き込み、前記原画像データの外周エッジ部分に接しない矩形領域については読み出した矩形領域の画像データをそのまま前記メモリの当該矩形領域に対応する位置に書き込み、
前記読み出し部は更に、前記読み出し部により前記メモリに書き込まれた各矩形領域の画像データと当該矩形領域の周辺の一定サイズの領域の画像データとを一つの拡張矩形領域の画像データとして読み出し、前記フィルタ処理部は前記拡張矩形領域の画像データに対してフィルタ処理を施すことを特徴とする請求項１乃至４いずれか一項記載の画像処理装置。

【請求項6】

第２のフィルタ処理部を更に含み、
前記第１のフィルタ処理部は第１のサイズのフィルタによるフィルタ処理を前記拡張画像データに対して施し、前記第２のフィルタ処理部は第２のサイズのフィルタによるフィルタ処理を前記第１のフィルタ処理部の出力画像データに対して施し、
前記読み出し部は前記第１のサイズと前記第２のサイズとの和に相当する大きさ以上の大きさの前記境界領域に対して画素値を設定することにより前記拡張画像データを出力し、前記第１のフィルタ処理部は前記矩形領域のサイズの画像データの周囲に前記第２のサイズに相当する大きさ以上の大きさの境界領域を有した画像データを出力することを特徴とする請求項１乃至５いずれか一項記載の画像処理装置。

【請求項7】

レンズと、
撮像素子と、
画像処理部と
を含み、前記画像処理部は、
原画像データを格納するメモリと、
前記原画像データの一部である矩形領域の原画像データを前記メモリから読み出すとともに、前記矩形領域の周囲に追加する境界領域の画素値を設定し、前記矩形領域の画像データと画素値設定済みの前記境界領域の画像データとを含む拡張画像データを出力する読み出し部と、
前記拡張画像データに対してフィルタ処理を施すフィルタ処理部
を含み、
前記読み出し部は垂直コピー部と水平コピー部とを含み、
前記垂直コピー部は、前記メモリから同一の画素の画素値を複数回読み出し、前記複数回読み出しのうちのある一回の読み出しにより得られる画素値を前記矩形領域の画素値として用い、前記複数回読み出しのうちの別の一回の読み出しにより得られる画素値を前記矩形領域の垂直方向に隣接する前記境界領域の画素値として用い、
前記水平コピー部は、前記メモリから順次読み出した一連の画像値データを遅延させ、遅延後の前記一連の画像値データと遅延前の前記一連の画像値データとから一つの画素値を順次選択して出力することにより、同一の画素の画素値を、前記矩形領域の内部と、前記矩形領域の水平方向に隣接する前記境界領域との両方に設定する
撮像装置。

【請求項8】

読み出し部により、原画像データを格納するメモリから、前記原画像データの一部である矩形領域の原画像データを読み出し、
前記読み出し部により、前記矩形領域の周囲に追加する境界領域の画素値を設定し、
前記読み出し部により、前記矩形領域の画像データと画素値設定済みの前記境界領域の画像データとを含む拡張画像データを生成し、
前記拡張画像データをフィルタ処理部に供給し、
前記フィルタ処理部により前記拡張画像データに対してフィルタ処理を施す
各段階を含み、
前記読み出し部により前記原画像データを読み出す段階と、前記画素値を設定する段階と、前記拡張画像データを生成する段階とにおいて、
前記読み出し部の垂直コピー部により、前記メモリから同一の画素の画素値を複数回読み出し、前記複数回読み出しのうちのある一回の読み出しにより得られる画素値を前記矩形領域の画素値として用い、前記複数回読み出しのうちの別の一回の読み出しにより得られる画素値を前記矩形領域の垂直方向に隣接する前記境界領域の画素値として用い、
前記読み出し部の水平コピー部により、前記メモリから順次読み出した一連の画像値データを遅延させ、遅延後の前記一連の画像値データと遅延前の前記一連の画像値データとから一つの画素値を順次選択して出力することにより、同一の画素の画素値を、前記矩形領域の内部と、前記矩形領域の水平方向に隣接する前記境界領域との両方に設定する
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願開示は、画像処理装置、撮像装置、及び画像処理方法に関する。

【背景技術】

【0002】

デジタルスチルカメラ等の撮像機器では、撮像センサで取り込まれた画像のアナログ信号をアナログフロントエンドにおいてデジタル信号に変換し、その後、デジタル信号である画像データに対して種々の画像処理を適用する。その際、フィルタ処理等の画像処理については、画像データをまずフレームメモリであるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）に書き込んでおき、ＳＤＲＡＭから読み出したデータに対して画像処理を適用する。

【0003】

ＳＤＲＡＭに書き込まれた画像データの全体サイズが水平方向Ｎ画素であり垂直方向Ｍラインであるとする。このとき、フィルタの縦のサイズがＬ画素であるとすると、水平方向について１ライン分のＮ画素のデータを、フィルタ処理に必要なライン数Ｌだけ纏めて読み出せば、水平方向の全データについてフィルタ処理を実行できる。しかしながらこの場合、フィルタ処理の計算を実行するフィルタ処理部において、Ｎ×Ｌ画素分のメモリが必要になってしまう。

【0004】

フィルタ処理部におけるメモリの容量を削減するために、画像データを複数の矩形領域に分割し、ＳＤＲＡＭから各矩形領域毎に読み出した画像データに対してフィルタ処理を適用すればよい。例えば水平方向１ラインを１６分割すれば、フィルタの縦のサイズがＬ画素であるとすると、フィルタ処理部においてはＮ／１６×Ｌ画素分のメモリがあればよい。但し、矩形領域の外周エッジ部分の画素についてのフィルタ処理後の値を求めるためには、矩形領域の外側の領域（以降、境界領域と呼ぶ）の画素値が必要になる。従って、ＳＤＲＡＭから矩形領域の画像データを読み出す際には、矩形領域の画像データとともにその周囲に追加する境界領域の画像データも同時に読み出して、フィルタ処理部に供給することになる。

【0005】

図１は、ＳＤＲＡＭから読み出す際の矩形領域と境界領域との位置関係のパターンを示す図である。図１には、矩形領域１０とその境界領域１１ａ乃至１１ｉとが示される。以下に説明するように、ＳＤＲＡＭから読み出す矩形領域１０とその境界領域との位置関係には、９個の異なるパターンが存在する。

【0006】

まず、全体の画像データの左上コーナーに位置する矩形領域１０を読み出す場合、その右隣の矩形領域１０の一部と下に隣接する矩形領域１０の一部とを境界領域として一緒に読み出すことになる。この場合、ＳＤＲＡＭから読み出すデータは、図１の左上に示すように、矩形領域１０と境界領域１１ａのようになる。他のコーナーに位置する矩形領域１０を読み出す場合も同様であり、図１の右上に示す矩形領域１０と境界領域１１ｃ、図１の左下に示す矩形領域１０と境界領域１１ｇ、図１の右下に示す矩形領域１０と境界領域１１ｉのようになる。

【0007】

全体の画像データの上側エッジに位置する矩形領域１０を読み出す場合、その左隣の矩形領域１０の一部と、右隣の矩形領域１０の一部と、下に隣接する矩形領域１０の一部とを境界領域として一緒に読み出すことになる。この場合、ＳＤＲＡＭから読み出すデータは、図１の真ん中上に示すように、矩形領域１０と境界領域１１ｂのようになる。他のエッジに位置する矩形領域１０を読み出す場合も同様であり、図１の真ん中左に示す矩形領域１０と境界領域１１ｄ、図１の真ん中右に示す矩形領域１０と境界領域１１ｆ、図１の真ん中下に示す矩形領域１０と境界領域１１ｈのようになる。

【0008】

また例えば、全体の画像データの何れのエッジにも接しない矩形領域１０（即ち周囲を他の矩形領域１０で囲まれている矩形領域１０）を読み出す場合には、その周囲の８個の矩形領域の一部を境界領域として一緒に読み出すことになる。この場合、ＳＤＲＡＭから読み出すデータは、図１の真ん中に示すように、矩形領域１０と境界領域１１ｂのようになる。

【0009】

このように、ＳＤＲＡＭから読み出す矩形領域１０が存在する全体の画像データ中の位置に応じて、矩形領域１０とそれと一緒に読み出す境界領域との位置関係が異なることになる。具体的には、図１に示すように、異なる９個の位置関係のパターンが存在する。従って、ＳＤＲＡＭから矩形領域１０の画像データを読み出す読み出し部においては、読み出し対象の矩形領域１０の位置に応じて９個の異なる位置関係のパターンを読み出せるように、読み出しアドレスを制御する必要がある。また読み出し対象の矩形領域１０の位置に応じて、読み出す画像データのサイズも変化させる必要がある。その結果、読み出し処理の制御が複雑になってしまう。そのような複雑な制御をおこなう読み出し部を設計することは、設計時間の増大及び費用の増加につながる。

【0010】

フィルタ処理部は、フィルタ処理後の出力データとして、矩形領域１０のサイズの画像データを出力する。従って、図１に示されるように矩形領域１０と境界領域との位置関係が変化する場合、フィルタ処理部への入力とフィルタ処理部からの出力との間の位置関係が変化することになる。

【0011】

図２は、フィルタ処理部の入力画像データと出力画像データとの位置関係のパターンを示す図である。図２には、フィルタ処理部への入力画像データ１２ａ乃至１２ｉとそこに含まれる矩形領域１０とが示される。矩形領域１０が、フィルタ処理部からの出力画像データとなる。以下に説明するように、入力画像データと出力画像データとの位置関係には、４個の異なるパターンが存在する。

【0012】

まず、全体の画像データの左上コーナーに位置する矩形領域１０をフィルタ処理する場合、フィルタ処理部の入力画像データと出力画像データとの位置関係は、図２の左上に示すように、入力画像データ１２ａと矩形領域１０のようになる。このとき、入力画像データ１２ａの左上コーナーの座標に対して、出力画像データの左上コーナーの座標は一致している。

【0013】

また全体の画像データの上側エッジに位置する矩形領域１０をフィルタ処理する場合、フィルタ処理部の入力画像データと出力画像データとの位置関係は、図２の真ん中上に示すように、入力画像データ１２ｂと矩形領域１０のようになる。また全体の画像データの右上コーナーに位置する矩形領域１０をフィルタ処理する場合、フィルタ処理部の入力画像データと出力画像データとの位置関係は、図２の右上に示すように、入力画像データ１２ｃと矩形領域１０のようになる。これらの場合、入力画像データの左上コーナーの座標に対して、出力画像データの左上コーナーの座標は水平右方向にずれたものとなる。

【0014】

また全体の画像データの左側エッジに位置する矩形領域１０をフィルタ処理する場合、フィルタ処理部の入力画像データと出力画像データとの位置関係は、図２の真ん中左に示すように、入力画像データ１２ｄと矩形領域１０のようになる。また全体の画像データの左下コーナーに位置する矩形領域１０をフィルタ処理する場合、フィルタ処理部の入力画像データと出力画像データとの位置関係は、図２の左下に示すように、入力画像データ１２ｇと矩形領域１０のようになる。これらの場合、入力画像データの左上コーナーの座標に対して、出力画像データの左上コーナーの座標は垂直下方向にずれたものとなる。

【0015】

上記以外の場合、フィルタ処理部の入力画像データと出力画像データとの位置関係は、図２の右下の４個のパターンに示すように、入力画像データ１２ｅ、１２ｆ、１２ｈ、及び１２ｉと矩形領域１０との位置関係のようになる。これらの場合、入力画像データの左上コーナーの座標に対して、出力画像データの左上コーナーの座標は右斜め下方向にずれたものとなる。

【0016】

このように、ＳＤＲＡＭから読み出す矩形領域１０が存在する全体の画像データ中の位置に応じて、フィルタ処理部の入力画像データと出力画像データとの位置関係が異なることになる。具体的には、図２に示すように、異なる４個の位置関係のパターンが存在する。従って、フィルタ処理部においては、処理対象の矩形領域１０の位置に応じて４個の異なる位置関係のパターンを認識して出力画像データを生成する必要がある。その結果、フィルタ処理の出力座標制御が複雑になってしまう。そのような複雑な制御をおこなうフィルタ処理部を設計することは、設計時間の増大及び費用の増加につながる。

【先行技術文献】

【特許文献】

【0017】

【特許文献1】特開２００８−５９４５２号公報

【特許文献2】特開２００２−３０４６２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0018】

以上を鑑みると、全体の画像データを分割して得られる矩形領域をフィルタ処理対象とするときに、矩形領域とその境界領域との位置関係に関する制御が単純となる画像処理装置が望まれる。

【課題を解決するための手段】

【0019】

画像処理装置は、原画像データを格納するメモリと、前記原画像データの一部である矩形領域の原画像データを前記メモリから読み出すとともに、前記矩形領域の周囲に追加する境界領域の画素値を設定し、前記矩形領域の画像データと画素値設定済みの前記境界領域の画像データとを含む拡張画像データを出力する読み出し部と、前記拡張画像データに対してフィルタ処理を施す第１のフィルタ処理部を含み、前記読み出し部は垂直コピー部と水平コピー部とを含み、前記垂直コピー部は、前記メモリから同一の画素の画素値を複数回読み出し、前記複数回読み出しのうちのある一回の読み出しにより得られる画素値を前記矩形領域の画素値として用い、前記複数回読み出しのうちの別の一回の読み出しにより得られる画素値を前記矩形領域の垂直方向に隣接する前記境界領域の画素値として用い、前記水平コピー部は、前記メモリから順次読み出した一連の画像値データを遅延させ、遅延後の前記一連の画像値データと遅延前の前記一連の画像値データとから一つの画素値を順次選択して出力することにより、同一の画素の画素値を、前記矩形領域の内部と、前記矩形領域の水平方向に隣接する前記境界領域との両方に設定する。

【発明の効果】

【0020】

少なくとも１つの実施例によれば、全体の画像データを分割して得られる矩形領域をフィルタ処理対象とするときに、矩形領域とその境界領域との位置関係に関する制御が単純となる画像処理装置が提供される。

【図面の簡単な説明】

【0021】

【図1】図１は、ＳＤＲＡＭから読み出す際の矩形領域と境界領域との位置関係のパターンを示す図である。

【図2】フィルタ処理部の入力画像データと出力画像データとの位置関係のパターンを示す図である。

【図3】撮像装置の構成の一例を示す図である。

【図4】境界領域への画素値設定処理の第１実施例について説明するための図である。

【図5】境界領域への画素値設定処理の効果を説明するための図である。

【図6】境界領域への画素値設定処理の第２実施例について説明するための図である。

【図7】複数の異なるサイズのフィルタ処理を実行する場合の境界領域量について説明するための図である。

【図8】複数の異なるサイズのフィルタ処理を実行する場合の境界領域量について説明するための図である。

【図9】境界領域量の設定動作の一例を示すフローチャートである。

【図10】フィルタの一例を示す図である。

【図11】フィルタの一例を示す図である。

【図12】フィルタの一例を示す図である。

【図13】垂直コピー部の構成の一例を示す図である。

【図14】垂直コピー部の動作の一例を示す図である。

【図15】垂直コピー部の動作の一例を示す図である。

【図16】垂直コピー部の動作の一例を示すフローチャートである。

【図17】垂直コピー部の動作の一例を示すフローチャートである。

【図18】水平コピー部の構成の一例を示す図である。

【図19】水平コピー部の動作の一例を示す図である。

【図20】水平コピー部の動作の一例を示す図である。

【図21】水平コピー部のバッファの一例を示すフローチャートである。

【図22】図２１の回路の動作の一例を示す図である。

【発明を実施するための形態】

【0022】

以下に、本発明の実施例を添付の図面を用いて詳細に説明する。なお各図において、同一又は対応する構成要素は同一又は対応する番号で参照し、その説明は適宜省略する。

【0023】

図３は、撮像装置の構成の一例を示す図である。図３に示す撮像装置は、レンズ２１、撮像センサ２２、ＡＦＥ（アナログフロントエンド）２３、ＤＢＥ（デジタルバックエンド）２４、ストレージメディア２５、及びＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２６を含む。ＤＢＥ２４は、前処理部３１、画像処理部３２、後処理部３３、書き込み部３４、及び読み出し部３５を含む。

【0024】

図３及び以降の図において、各ボックスで示される各機能ブロックと他の機能ブロックとの境界は、基本的には機能的な境界を示すものであり、物理的な位置の分離、電気的な信号の分離、制御論理的な分離等に対応するとは限らない。各機能ブロックは、当該機能を有する電子回路ブロックにより実現したハードウェア構成でもよいし、電子回路である汎用のプロセッサにおいてソフトウェアを実行することにより当該機能を実現したソフトウェア構成でもよい。ハードウェアの場合、各機能ブロックは、他のブロックと物理的にある程度分離された１つのハードウェアモジュールであってもよいし、或いは他のブロックと物理的に一体となったハードウェアモジュール中の１つの機能を示したものであってもよい。ソフトウェアの場合、各機能ブロックは、他のブロックと論理的にある程度分離された１つのソフトウェアモジュールであってもよいし、或いは他のブロックと論理的に一体となったソフトモジュール中の１つの機能を示したものであってもよい。

【0025】

撮像センサ２２は、レンズ２１を介して入射する光を検出して対象物を撮像し、撮像した画像をアナログ信号として出力する。ＡＦＥ２３は、撮像センサ２２からのアナログ信号をデジタル信号に変換することにより、デジタルの画像データを出力する。ＤＢＥ２４は、デジタルの画像データに対して種々の処理を適用し、処理後の画像データをストレージメディア２５に出力する。ストレージメディア２５は、ＤＢＥ２４から供給された処理後の画像データを格納する。

【0026】

ＤＢＥ２４の前処理部３１は、ＡＦＥ２３からの画像データに対して欠陥画素の画素値を補正する欠陥画素補正、装置特性により発生する画像濃度のむらを補正するシェーディング補正、ホワイトバランス調整、ガンマ補正等を実行する。画像処理部３２は、フィルタ処理等の種々の画像処理を行う。画像処理部３２はまず、前処理部３１による処理後の画像データを書き込み部３４に供給し、書き込み部３４が画像データをＳＤＲＡＭ２６に書き込む。

【0027】

読み出し部３５は、当該画像データの一部である矩形領域の画像データをＳＤＲＡＭ２６から読み出す。この時読み出し部３５は、矩形領域の周囲に追加する境界領域の画素値を設定し、矩形領域の画像データと画素値設定済みの境界領域の画像データとを含む拡張画像データを出力する。読み出し部３５が出力する拡張画像データは画像処理部３２に供給される。読み出し部３５は、境界領域への画素値設定のために、垂直コピー部３５ａ及び水平コピー部３５ｂを含む。読み出し部３５は、垂直コピー部３５ａ及び水平コピー部３５ｂを用いて、矩形領域の内部の画素値と同一の値を境界領域に設定することにより境界領域の画素値を設定してよい。なお、矩形領域の内部の画素値と同一の値を境界領域に設定するのではなく、他の方法で境界領域の画素値設定を行ってもよい。例えば、境界領域を一定の画素値で埋めることにより、境界領域の画素値設定を行ってもよい。

【0028】

画像処理部３２は、フィルタ処理等の種々の画像処理を実行する。フィルタ処理においては、例えばノイズ除去、エッジ強調、平滑化等のためのフィルタが用いられてよい。画像処理部３２による画像処理後の画像データは、書き込み部３４を介してＳＤＲＡＭ２６に書き込まれてもよいし、画像処理部３２から直接に後処理部３３に供給されてもよい。画像処理後の画像データがＳＤＲＡＭ２６に書き込まれた場合には、その後、読み出し部３５により当該画像データを読み出して、読み出した画像データを後処理部３３に供給してよい。

【0029】

後処理部３３は、フィルタ処理、画像縮小処理、画像拡大処理、色空間変換処理、ＪＰＥＧ（Joint Photographic Experts Group）エンコード等の処理を実行する。後処理部３３の処理によりストレージメディア２５への格納に適した形式にされた画像データは、ストレージメディア２５へ供給されて格納される。

【0030】

図４は、境界領域への画素値設定処理の第１実施例について説明するための図である。撮像センサ２２により撮像された画像データは、書き込み部３４により、ＳＤＲＡＭ２６に画像データ４１として書き込まれる。図４は、処理の流れの概略を示す図であり、図３に示されるＡＦＥ２３や前処理部３１による処理については図示を省略している。また図４の上部には、各処理の前後における画像データの様子を模式的に示してある。なお図４には、書き込み部３４が２つ示されているが、これら２つの書き込み部３４は、処理の流れを示すために便宜上２つとして示されているにすぎず、その物理的実体は図３に示す一つの書き込み部３４に相当する。

【0031】

垂直コピー部３５ａ及び水平コピー部３５ｂは、ＣＰＵ（Central Processing Unit）４０により制御される。読み出し部３５の垂直コピー部３５ａは、画像データ４１の一部である矩形領域１０を含む画像データ１２ａをＳＤＲＡＭ２６から読み出す。この画像データ１２ａは、矩形領域１０とその周辺の一定サイズの境界領域の画像データとを含む。当該矩形領域１０の下側、右下側、及び右側には、隣接する矩形領域が存在するので、それらの隣接する矩形領域の一部分の画像データと着目矩形領域１０の画像データとを画像データ１２ａとしてＳＤＲＡＭ２６から読み出している。着目矩形領域１０は画像データ４１の左上コーナーに位置しているので、当該矩形領域１０の上側、左上側、及び左側には境界領域の画像データが存在しない。

【0032】

垂直コピー部３５ａは、矩形領域１０を含む画像データ１２ａの上側に追加する境界領域１３ａの画素値を設定し、矩形領域１０の画像データを含む画像データ１２ａと画素値設定済みの境界領域１３ａの画像データとを含む拡張画像データを出力する。この際、画像データ１２ａの上側エッジに近接する画像データ１２ａの内部の画素値を境界領域１３ａにコピーすることにより、境界領域１３ａの画素値を設定してよい。

【0033】

垂直コピー部３５ａが生成した拡張画像データは、水平コピー部３５ｂに供給される。水平コピー部３５ｂは、矩形領域１０を含む画像データ１２ａの左側に追加する境界領域１３ｂの画素値を設定し、矩形領域１０の画像データを含む画像データ１２ａと画素値設定済みの境界領域１３ａ及び１３ｂの画像データとを含む拡張画像データを出力する。この際、画像データ１２ａの左側エッジに近接する画像データ１２ａの内部の画素値を境界領域１３ｂにコピーすることにより、境界領域１３ｂの画素値を設定してよい。

【0034】

処理部３２ａは、水平コピー部３５ｂが出力する拡張画像データに対してフィルタ処理Ａを適用し、フィルタ処理後の画像データ１４を出力する。処理部３２ｂは、処理部３２ａが出力する画像データ１４に対してフィルタ処理Ｂを適用し、フィルタ処理後の画像データ１５を出力する。書き込み部３４は、処理部３２ｂが出力する画像データ１５をＳＤＲＡＭ２６に書き込む。

【0035】

以下同様に、画像データ４１の全ての矩形領域に対して、必要に応じて境界領域に画素値を設定したのちにフィルタ処理Ａ及びフィルタ処理Ｂを施し、フィルタ処理後の画像データをＳＤＲＡＭ２６に書き込むことで、フィルタ処理後の画像データ４２が得られる。また処理部３２ｂが出力する画像データ１５に対しては、更に処理部３２ｃによる画像処理Ｃが適用されてよい。

【0036】

なお、図４に示す元の画像データ４１は、水平方向３個及び垂直方向２個の合計６個の矩形領域を含むように図示されているが、画像データ４１は実際には、水平方向及び垂直方向により多くの矩形領域を含んでいてよい。この場合、元の画像データ４１の４つのコーナーに位置する矩形領域１０については、垂直方向に隣接する境界領域及び水平領域に隣接する境界領域の両方について、垂直コピー部３５ａ及び水平コピー部３５ｂによる画素値設定処理が行われる。また元の画像データ４１の上側及び下側の２つのエッジに接する矩形領域１０については、垂直方向に隣接する境界領域について、垂直コピー部３５ａによる画素値設定処理が行われる。また図４に示す元の画像データ４１の左側及び右側の２つのエッジに接する矩形領域１０については、水平方向に隣接する境界領域について、水平コピー部３５ｂによる画素値設定処理が行われる。

【0037】

図５は、境界領域への画素値設定処理の効果を説明するための図である。図４において説明したように、垂直コピー部３５ａ及び／又は水平コピー部３５ｂによる境界領域への画素値設定処理により、矩形領域１０の上下左右の４方向の周囲にフィルタ計算に使用可能な境界領域が設けられた拡張画像データが得られる。

【0038】

図５において、境界領域の追加位置に着目すると、境界領域１７ａ乃至１７ｄ及び１７ｆ乃至１７ｉを追加する８通りの追加の仕方が存在し、更に境界領域を追加しない場合を含めると、全体で９個の異なるパターンが存在する。例えば原画像データの左上コーナーに位置する矩形領域１０の場合は、境界領域１７ａとして示されるように、矩形領域１０の上側と左側とに境界領域が追加される。また例えば、原画像データの右側エッジに位置する矩形領域１０の場合は、境界領域１７ｆとして示されるように、矩形領域１０の右側に境界領域が追加される。また例えば、原画像データの外周エッジに接しない矩形領域１０の場合は、その周囲の全方向において隣接矩形領域の画像データが境界領域として元から存在するので、新たに境界領域を追加する必要はない。

【0039】

図５に示される９個のパターンの何れにおいても、矩形領域１０の画像データ、その周囲の隣接矩形領域の一部分である境界領域の画像データ、及び追加された境界領域の画像データを合わせると、一定のサイズの矩形画像データ１６ａ乃至１６ｉとなる。即ち、矩形画像データ１６ａ乃至１６ｉは、その縦横のサイズが互いに同一であり、またその左上コーナーの座標に対する矩形領域１０の左上コーナーの座標の位置関係は一定である。具体的には、矩形画像データ１６ａ乃至１６ｉの左上コーナーに対して、矩形画像データ１６ａ乃至１６ｉの内部の矩形領域１０の左上コーナーは、矢印で示されるように右下方向に一定の距離だけずれている。

【0040】

従って、矩形画像データ１６ａ乃至１６ｉをフィルタ処理する場合、フィルタ処理部の入力画像データと出力画像データとの位置関係は、常に一定となる。即ち、フィルタ処理部においては、処理対象の矩形領域１０の位置に応じて異なる位置関係のパターンを認識して出力画像データを生成する必要がなく、フィルタ処理の出力座標制御は単純なものであってよい。そのような単純な制御をおこなうフィルタ処理部を設計することは比較的容易であり、設計時間の短縮及び費用の削減につながる。

【0041】

図６は、境界領域への画素値設定処理の第２実施例について説明するための図である。撮像センサ２２により撮像された画像データは、書き込み部３４により、ＳＤＲＡＭ２６に画像データ５１として書き込まれる。図６は、処理の流れの概略を示す図であり、図３に示されるＡＦＥ２３や前処理部３１による処理については図示を省略している。また図６の上部には、各処理の前後における画像データの様子を模式的に示してある。なお図６には、書き込み部３４が２つ示されているが、これら２つの書き込み部３４は、処理の流れを示すために便宜上２つとして示されているにすぎず、その物理的実体は図３に示す一つの書き込み部３４に相当する。また読み出し部３５と、垂直コピー部３５ａ及び水平コピー部３５ｂとについても同様であり、これらの物理的実体は図３に示す一つの読み出し部３５に相当する。

【0042】

垂直コピー部３５ａ及び水平コピー部３５ｂは、ＣＰＵ（Central Processing Unit）４０により制御される。読み出し部３５の垂直コピー部３５ａは、画像データ５１の一部である矩形領域をＳＤＲＡＭ２６から読み出す。このとき読み出される画像データは、読み出し対象の矩形領域の位置に関わらず、矩形領域の画像データのみであってよい。即ち、着目矩形領域の周囲に存在する隣接する矩形領域の一部分の画像データを、着目矩形領域の画像データとともに読み出す必要はない。

【0043】

垂直コピー部３５ａは、読み出した矩形領域が画像データ５１の上側又は下側のエッジに接する矩形領域である場合には、画像データ５１の外部に相当する境界領域に画素値を設定するようにして境界領域を追加する。垂直コピー部３５ａは、矩形領域の画像データと画素値設定済みの境界領域の画像データとを含む拡張画像データを出力する。この際、矩形領域の上側又は下側エッジに近接する矩形領域の内部の画素値を境界領域にコピーすることにより、境界領域の画素値を設定してよい。

【0044】

垂直コピー部３５ａが生成した拡張画像データは、水平コピー部３５ｂに供給される。水平コピー部３５ｂは、読み出した矩形領域が画像データ５１の右側又は左側のエッジに接する矩形領域である場合には、画像データ５１の外部に相当する境界領域に画素値を設定するようにして境界領域を追加する。水平コピー部３５ｂは、矩形領域の画像データと画素値設定済みの境界領域の画像データとを含む拡張画像データを出力する。この際、矩形領域の右側又は左側エッジに近接する矩形領域の内部の画素値を境界領域にコピーすることにより、境界領域の画素値を設定してよい。

【0045】

水平コピー部３５ｂが生成した拡張画像データは、ＳＤＲＡＭ２６に書き込まれる。その際、各矩形領域の画像データ５１内での位置関係が保たれるように、水平コピー部３５ｂは各矩形領域の画像データをＳＤＲＡＭ２６に書き込んでいく。その結果、ＳＤＲＡＭ２６には、画像データ５３が書き込まれることになる。画像データ５３は、矩形領域が縦横に並んだ元の画像データ５１と、その画像データ５１の周囲に追加された境界領域５２とを含む。

【0046】

以上のようにして、読み出し部（垂直コピー部３５ａ及び水平コピー部３５ｂ）は、画像データ５１に含まれる全ての複数の矩形領域の画像データをＳＤＲＡＭ２６から順次読み出す。読み出し部３５は、画像データ５１の外周エッジ部分に接する矩形領域については拡張画像データをＳＤＲＡＭ２６の当該矩形領域に対応する位置に書き込む。読み出し部３５は更に、画像データ５１の外周エッジ部分に接しない矩形領域については読み出した矩形領域の画像データをそのままＳＤＲＡＭ２６の当該矩形領域に対応する位置に書き込む。

【0047】

その後、読み出し部３５は、ＳＤＲＡＭ２６に書き込まれた画像データ５３から、各矩形領域の画像データと当該矩形領域の周辺の一定サイズの境界領域の画像データとを、一つの拡張矩形領域の画像データとして読み出す。読み出した拡張矩形領域の画像データは、例えば、図６に示すように、隣接矩形領域の一部のデータと画素設定された境界領域とが矩形領域１０の周囲に配置された画像データ１６ａである。この拡張矩形領域の画像データは、処理部３２ａに供給される。

【0048】

処理部３２ａは、ＳＤＲＡＭ２６から読み出された拡張矩形領域の画像データに対してフィルタ処理Ａを適用し、フィルタ処理後の画像データ１４を出力する。処理部３２ｂは、処理部３２ａが出力する画像データ１４に対してフィルタ処理Ｂを適用し、フィルタ処理後の画像データ１５を出力する。書き込み部３４は、処理部３２ｂが出力する画像データ１５をＳＤＲＡＭ２６に書き込む。

【0049】

以下同様に、画像データ４１の全ての矩形領域に対して、必要に応じて境界領域に画素値を設定したのちにフィルタ処理Ａ及びフィルタ処理Ｂを施し、フィルタ処理後の画像データをＳＤＲＡＭ２６に書き込むことで、フィルタ処理後の画像データ４２が得られる。また処理部３２ｂが出力する画像データ１５に対しては、更に処理部３２ｃによる画像処理Ｃが適用されてよい。

【0050】

図６に示す画素値設定処理の第２実施例では、読み出し部３５がＳＤＲＡＭ２６から最初に画像データ５１を読み出すときには、画像データ５１の各矩形領域１０だけをそのまま読み出せばよい。即ち、矩形領域１０の周辺の境界領域を同時に読み出す必要はない。従って、読み出し部３５が最初に画像データ５１の矩形領域１０を読み出すときには、矩形領域１０の位置に関わらず、一定の大きさの画像データを読み出せばよく、読み出しアドレスの制御は単純となる。また読み出し部３５がＳＤＲＡＭ２６から２回目に画像データ５３を読み出すときには、画像データ５３の各矩形領域１０とその周囲を囲む一定の大きさの境界領域の画像データとを、一つの拡張矩形領域の画像データとして読み出せばよい。この拡張矩形領域の画像データは、矩形領域１０の位置に関わらず、一定の大きさであり且つ一定の形状である。従って、読み出し部３５が２回目に画像データ５３の矩形領域１０を読み出すときには、矩形領域１０の位置に関わらず、一定の大きさの画像データを読み出せばよく、読み出しアドレスの制御は単純となる。そのような単純な制御をおこなう読み出し部を設計することは比較的容易であり、設計時間の短縮及び費用の削減につながる。

【0051】

以上の説明から分かるように、図３に示す画像処理部３２では、フィルタ処理の入力画像データに、フィルタ演算を計算するために必要な量の境界領域の画像データが既に付加されている。従って、画像処理部３２のフィルタ処理は、周辺画素のデータを外挿（パディング）により生成する処理を実行する必要がない。

【0052】

図３の画像処理部３２がフィルタ処理を実行する場合、複数のフィルタ処理を順次実行することがある。この場合、複数のフィルタ処理のうちで最初に実行されるフィルタ処理への入力画像データに、十分な量の境界領域の画像データが付加されている必要がある。以下にこれについて説明する。

【0053】

図７は、複数の異なるサイズのフィルタ処理を実行する場合の境界領域量について説明するための図である。図７において、図４と同一又は対応する構成要素は同一又は対応する番号で参照し、その説明は適宜省略する。

【0054】

図７に示す例では、３つのフィルタ処理が順番に実行される。処理部３２ａによるフィルタ処理Ａは、サイズが７のフィルタマトリクスを用いて実行される。処理部３２ｂによるフィルタ処理ＡＢは、サイズが５のフィルタマトリクスを用いて実行される。処理部３２ｃによるフィルタ処理Ｃは、サイズが３のフィルタマトリクスを用いて実行される。このとき３つのフィルタ処理を実行して最終的に矩形領域１０の大きさの画像データを得るためには、最後のフィルタ処理Ｃへの入力画像データにおいて、矩形領域１０の上下左右に３画素分の画像データがフィルタ計算用の境界領域として付加されてる必要がある。従って、矩形領域１０の大きさをＸ画素×Ｙ画素としたとき、フィルタ処理Ｂの出力画像データ（フィルタ処理Ｃの入力画像データ）は（Ｘ＋３×２）画素×（Ｙ＋３×２）画素の大きさである必要がある。またサイズが５のフィルタ処理Ｂの出力画像データが（Ｘ＋３×２）画素×（Ｙ＋３×２）画素の大きさであるためには、フィルタ処理Ａの出力画像データは（Ｘ＋（３＋５）×２）画素×（Ｙ＋（３＋５）×２）画素の大きさである必要がある。またサイズが７のフィルタ処理Ａの出力が（Ｘ＋（３＋５）×２）画素×（Ｙ＋（３＋５）×２）画素の大きさであるためには、フィルタ処理Ａの入力は（Ｘ＋（３＋５＋７）×２）画素×（Ｙ＋（３＋５＋７）×２）画素の大きさである必要がある。

【0055】

以上の説明から分かるように、垂直コピー部３５ａ及び水平コピー部３５ｂは、それぞれ１５画素の幅を有する境界領域６３ａ及び６３ｂを矩形領域１０に追加して、処理部３２ａへの入力画像データを生成する。この入力画像データに対して、処理部３２ａが、サイズが７のフィルタ処理Ａを適用することにより、矩形領域１０の周囲に幅８画素の境界領域が付加された画像データ６４を生成する。この画像データ６４に対して、処理部３２ｂが、サイズが５のフィルタ処理Ｂを適用することにより、矩形領域６６の周囲に幅３画素の境界領域が付加された画像データ６５を生成する。この画像データ６５に対して、処理部３２ｃが、サイズが３のフィルタ処理Ｃを適用することにより、矩形領域１０に等しい大きさの画像データ６７を生成する。

【0056】

上記の動作において、読み出し部３５（垂直コピー部３５ａ及び水平コピー部３５ｂ）がＳＤＲＡＭ２６から画像データ４１を読み出して境界領域１７に画素値を設定する際、ＣＰＵ４０が、境界領域１７の大きさを適切な大きさになるように制御する。これにより、読み出し部３５が、複数の一連のフィルタ処理において用いる複数のフィルタのサイズの和（上記の例の場合は１５（＝３＋５＋７）））に相当する大きさ以上の大きさの境界領域に対して画素値を設定することにより、拡張画像データを出力する。この際の境界領域の必要最小な大きさは、複数の一連のフィルタ処理において用いる複数のフィルタのサイズの和（上記の例の場合は１５（＝３＋５＋７）））である。更に、ある段のフィルタ処理部は、矩形領域のサイズの画像データの周囲に、次段のフィルタ処理において用いるフィルタのサイズに相当する大きさ以上の大きさの境界領域を有した画像データを出力する。

【0057】

図８は、複数の異なるサイズのフィルタ処理を実行する場合の境界領域量について説明するための図である。図８において、図７と同一又は対応する構成要素は同一又は対応する番号で参照し、その説明は適宜省略する。

【0058】

図８に示す例では、処理部３２ａ及び３２ｃによる処理はフィルタ処理ではなく、周辺部にフィルタ計算用の境界領域は必要ない。処理部３２ｂによる処理はサイズ５のフィルタによるフィルタ処理である。この場合、垂直コピー部３５ａは、矩形領域１０に５画素幅の境界領域が付加された画像データ７１ａをＳＤＲＡＭ２６から読み出す。その後、垂直コピー部３５ａ及び水平コピー部３５ｂは、サイズ５に相当する大きさ（即ち５画素幅）の境界領域７３ａ及び７３ｂにそれぞれ画素値を設定することにより、拡張画像データを出力する。この拡張画像データに対して、処理部３２ｂが、サイズが５のフィルタ処理Ｂを適用することにより、矩形領域１０に等しい大きさの画像データ７５を生成する。

【0059】

図９は、境界領域量の設定動作の一例を示すフローチャートである。なお図９及び以降の図において、フローチャートに記載された各ステップの実行順序は一例にすぎず、本願の意図する技術範囲が、記載された実行順番に限定されるものではない。例えば、Ａステップの次にＢステップが実行されるように本願に説明されていたとしても、Ａステップの次にＢステップを実行することが可能なだけでなく、Ｂステップの次にＡステップを実行することが、物理的且つ論理的に可能である場合がある。この場合、どちらの順番でステップを実行しても、当該フローチャートの処理に影響する全ての結果が同一であるならば、本願に開示の技術の目的のためには、Ｂステップの次にＡステップが実行されてもよいことは自明である。Ａステップの次にＢステップが実行されるように本願に説明されていたとしても、上記のような自明な場合を本願の意図する技術範囲から除外することを意図するものではなく、そのような自明な場合は、当然に本願の意図する技術範囲内に属する。

【0060】

ステップＳ１で、カメラモードを設定する。ステップＳ２では静止画撮影が行われる。ステップＳ３で使用フィルタとして、サイズ７の処理Ａ、サイズ５の処理Ｂ、及びサイズ３の処理Ｃが指定される。ステップＳ４で、境界領域量として１５が計算される。

【0061】

ステップＳ５では動画撮影が行われる。ステップＳ６で使用フィルタとして、サイズ５の処理Ｂが指定される。ステップＳ７で、境界領域量として５が計算される。

【0062】

ステップＳ８では夜景撮影が行われる。ステップＳ９で使用フィルタとして、サイズ７の処理Ａ及びサイズ５の処理Ｂが指定される。ステップＳ１０で、境界領域量として１２が計算される。

【0063】

ステップＳ１１では人物撮影が行われる。ステップＳ１２で使用フィルタとして、サイズ５の処理Ｂ及びサイズ３の処理Ｃが指定される。ステップＳ１３で、境界領域量として８が計算される。

【0064】

上記の各処理の後、ステップＳ１４で、計算された境界領域量を有する境界領域を設定するように、ＣＰＵ４０により垂直コピー部３５ａ及び水平コピー部３５ｂが制御される。これにより、適切な大きさの境界領域を有する画像データが生成され、フィルタ処理に供給される。

【0065】

図１０は、フィルタの一例を示す図である。図１０に示すフィルタは、７画素×７画素のマトリクス８２であり、４９個の画素位置にそれぞれの重み係数が割り当てられている。中心画素８１の位置の画素値を求めるためには、当該画素の画素値とその周囲の上下左右方向それぞれ３画素幅の領域に存在する画素値とが用いられる。

【0066】

図１１は、フィルタの一例を示す図である。図１１に示すフィルタは、５画素×５画素のマトリクス８３であり、２５個の画素位置にそれぞれの重み係数が割り当てられている。中心画素８１の位置の画素値を求めるためには、当該画素の画素値とその周囲の上下左右方向それぞれ２画素幅の領域に存在する画素値とが用いられる。

【0067】

図１２は、フィルタの一例を示す図である。図１２に示すフィルタは、３画素×３画素のマトリクス８４であり、９個の画素位置にそれぞれの重み係数が割り当てられている。中心画素８１の位置の画素値を求めるためには、当該画素の画素値とその周囲の上下左右方向それぞれ１画素幅の領域に存在する画素値とが用いられる。

【0068】

図１３は、垂直コピー部の構成の一例を示す図である。図１３に示す垂直コピー部３５ａは、読み出し制御部９１、ＦＩＦＯ（First-In First-Out）９２、及び出力制御部９３を含む。ＳＤＲＡＭコントローラ３５ｃは、読み出し部３５の一部であり、読み出し制御部９１の制御のもとで、ＳＤＲＡＭ２６からのデータの読み出し動作を制御する。ＦＩＦＯ９２には、ＳＤＲＡＭ２６から読み出したデータが格納される。出力制御部９３は、ＦＩＦＯ９２に格納されたデータを順次読み出す。

【0069】

図１４は、垂直コピー部の動作の一例を示す図である。図１４に示す例では、垂直コピー部３５ａは、垂直同期信号Ｖｓｙｎｃに同期する水平同期信号Ｈｓｙｎｃに同期して、画像データの１ライン目から６ライン目までを順次読み出している。この動作例においては、境界領域に画素値を設定するためのコピー動作は行われていない。

【0070】

図１５は、垂直コピー部の動作の一例を示す図である。図１５に示す例では、垂直コピー部３５ａは、垂直同期信号Ｖｓｙｎｃに同期する水平同期信号Ｈｓｙｎｃに同期して、画像データの各ラインを順次読み出している。但しこの動作例においては、１ライン目と２ライン目とを一度ＳＤＲＡＭ２６から読み出した後、コピーライン９５及び９６として示されるように、１ライン目と２ライン目とをもう一度ＳＤＲＡＭ２６から読み出している。また更に、５ライン目と６ライン目とを一度ＳＤＲＡＭ２６から読み出した後、コピーライン９７及び９８として示されるように、５ライン目と６ライン目とをもう一度ＳＤＲＡＭ２６から読み出している。これらのコピーラインの画像データが、境界領域の画像データとして用いられてよい。

【0071】

図１６は、垂直コピー部の動作の一例を示すフローチャートである。このフローチャートの各ステップの動作は、読み出し制御部９１の制御のもとでＳＤＲＡＭコントローラ３５ｃが実行する。この動作例は、図１４の読み出し動作に対応し、境界領域に画素値を設定するためのコピー動作は行われていない。

【0072】

ステップＳ２１で読み出しを開始する。ステップＳ２２で、読み出し制御部９１が先頭アドレスを設定する。ステップＳ２３で、読み出し制御部９１がＳＤＲＡＭコントローラ３５ｃを介してＳＤＲＡＭ２６から現在設定されているアドレスのデータを読み出す。ステップＳ２４で、読み出し制御部９１が、水平１ライン分の全画素の読み出しを完了したか否かを判断する。完了していない場合、ステップＳ２５でアドレスを加算してステップＳ２３に戻り、ステップＳ２３以降の処理を繰り返す。完了した場合、ステップＳ２６で、読み出し制御部９１が、垂直画素分（即ち読み出し対象のライン数分）の画像データの読み出しを完了したか否かを判断する。完了していない場合、ステップＳ２５でアドレスを加算してステップＳ２３に戻り、ステップＳ２３以降の処理を繰り返す。完了した場合、ステップＳ２７に進み読み出し処理を完了する。

【0073】

図１７は、垂直コピー部の動作の一例を示すフローチャートである。このフローチャートの各ステップの動作は、読み出し制御部９１の制御のもとでＳＤＲＡＭコントローラ３５ｃが実行する。この動作例は、図１５の読み出し動作に対応し、境界領域に画素値を設定するためのコピー動作が行われる。

【0074】

ステップＳ３１で読み出しを開始する。ステップＳ３２で、読み出し制御部９１が先頭アドレスを設定する。ステップＳ３３で、読み出し制御部９１がＳＤＲＡＭコントローラ３５ｃを介してＳＤＲＡＭ２６から現在設定されているアドレスのデータを読み出す。ステップＳ３４で、読み出し制御部９１が、水平１ライン分の全画素の読み出しを完了したか否かを判断する。完了していない場合、ステップＳ３５でアドレスを加算してステップＳ３３に戻り、ステップＳ３３以降の処理を繰り返す。完了した場合、ステップＳ３６で、読み出し制御部９１が、直前に読み出したラインがコピー対象のラインであるか否かを判断する。コピー対象のラインである場合、ステップＳ３７でアドレスを１ライン分減算してステップＳ３３に戻り、ステップＳ３３以降の処理を繰り返す。コピー対象のラインでない場合、ステップＳ３８で、読み出し制御部９１が、垂直画素分（即ち読み出し対象のライン数分）の画像データの読み出しを完了したか否かを判断する。完了していない場合、ステップＳ３５でアドレスを加算してステップＳ３３に戻り、ステップＳ３３以降の処理を繰り返す。完了した場合、ステップＳ３９に進み読み出し処理を完了する。

【0075】

上記のようにして、読み出し部３５は、ＳＤＲＡＭ２６から同一の画素の画素値を複数回読み出し、複数回読み出しのうちのある一回の読み出しにより得られる画素値を矩形領域の画素値として用いる。読み出し部３５は更に、複数回読み出しのうちの別の一回の読み出しにより得られる画素値を、境界領域の画素値として用いる。

【0076】

図１８は、水平コピー部の構成の一例を示す図である。図１８に示す水平コピー部３５ｂは、バッファ１０１、セレクタ１０２、及び出力部１０３を含む。バッファ１０１には、垂直コピー部３５ａから出力される画像データが各画素ごとに順番に格納される。これにより、バッファ１０１は、ＳＤＲＡＭ２６から読み出されて垂直コピー部３５ａを介して供給される複数の画素の一連の画像値データを遅延させる。セレクタ１０２は、バッファ１０１から供給される遅延後の一連の画像値データと遅延前の一連の画像値データとから一つの画素値を順次選択して出力することにより、同一の画素の画素値を矩形領域の内部と境界領域との両方に設定する。出力部１０３は、セレクタ１０２から供給される画像データを出力する。

【0077】

図１９は、水平コピー部の動作の一例を示す図である。図１９に示す例では、水平コピー部３５ｂは、水平同期信号Ｈｓｙｎｃに同期するクロック信号Ｃｌｏｃｋに同期して、各水平ラインの画素データを順次出力している。この動作例においては、境界領域に画素値を設定するためのコピー動作は行われていない。なお各画素値は、ベイヤー配列の画素値を想定している。

【0078】

図２０は、水平コピー部の動作の一例を示す図である。図２０に示す例では、水平コピー部３５ｂは、水平同期信号Ｈｓｙｎｃに同期するクロック信号Ｃｌｏｃｋに同期して、各水平ラインの画素データを順次出力している。但しこの動作例においては、同一の画素の画素値を異なる複数のクロックタイミングにおいて重複して出力することにより、他のタイミングで出力されている画素値と同一のコピー画素値１０４乃至１０９を生成している。この動作の詳細については、以下に説明する。

【0079】

図２１は、水平コピー部のバッファの一例を示すフローチャートである。図２１に示すバッファ１０１は、フリップフロップ（ＦＦ）１１２乃至１１９を含む。各フリップフロップのクロック入力には、クロック信号Ｃｌｏｃｋが印可されてる。フリップフロップ１１２乃至１１５は従属接続され、各画素値を示すデータ信号Ｄａｔａをクロック信号Ｃｌｏｃｋに同期して順次伝搬させていく。これらのフリップフロップ１１２乃至１１５により、遅れのないデータＤ０、２クロック遅れたデータＤ２、及び４クロック遅れたデータＤ４が生成される。フリップフロップ１１６乃至１１９は従属接続され、イネーブル信号ＥＮを、クロック信号Ｃｌｏｃｋに同期して順次伝搬させていく。これらのフリップフロップ１１６乃至１１９により、遅れのないイネーブル信号Ｄ０ｅｎ、２クロック遅れたイネーブル信号Ｄ２ｅｎ、及び４クロック遅れたイネーブル信号Ｄ４ｅｎが生成される。

【0080】

セレクタ１０２は、イネーブル信号Ｄ２ｅｎがＨＩＧＨのとき、２クロック遅れたデータＤ２を選択する。セレクタ１０２は、イネーブル信号Ｄ２ｅｎがＬＯＷのとき、イネーブル信号Ｄ０ｅｎがＨＩＧＨであれば、遅れのないデータＤ０を選択する。セレクタ１０２は、イネーブル信号Ｄ２ｅｎがＬＯＷのとき、イネーブル信号Ｄ４ｅｎがＨＩＧＨであれば、４クロック遅れたイネーブル信号Ｄ４ｅｎを選択する。

【0081】

図２２は、図２１の回路の動作の一例を示す図である。セレクタ１０２は、前述のようにイネーブル信号Ｄ０ｅｎ、Ｄ２ｅｎ、及びＤ４ｅｎに応じて、遅れのないデータＤ０、２クロック遅れたデータＤ２、又は４クロック遅れたデータＤ４を選択して出力する。その結果、図２２に出力信号ＯＵＴとして示されるような画素データが出力される。この出力信号ＯＵＴにおいて、最初の２画素はその直後の２画素のコピーであり、最後の２画素はその直前の２画素のコピーとなっている。これらのコピー画素が、境界領域の画素となってよい。

【0082】

以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。

【符号の説明】

【0083】

２１ レンズ
２２ 撮像センサ
２３ ＡＦＥ
２４ ＤＢＥ
２５ ストレージメディア
２６ ＳＤＲＡＭ
３１ 前処理部
３２ 画像処理部
３３ 後処理部
３４ 書き込み部
３５ 読み出し部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】