特許 5724609 画像処理装置、画像処理方法、撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5724609

(24)【登録日】2015年4月10日

(45)【発行日】2015年5月27日

(54)【発明の名称】画像処理装置、画像処理方法、撮像装置

(51)【国際特許分類】

   H04N 5/225 20060101AFI20150507BHJP

   H04N 101/00 20060101ALN20150507BHJP

【ＦＩ】

   H04N5/225 F

   H04N101:00

【請求項の数】11

【全頁数】20

(21)【出願番号】特願2011-108374(P2011-108374)

(22)【出願日】2011年5月13日

(65)【公開番号】特開2012-239132(P2012-239132A)

(43)【公開日】2012年12月6日

【審査請求日】2014年1月29日

(73)【特許権者】

【識別番号】308014341

【氏名又は名称】富士通セミコンダクター株式会社

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(72)【発明者】

【氏名】大原 邦裕

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２００４−１２８５５８（ＪＰ，Ａ）

【文献】 特開２００５−１１７４９４（ＪＰ，Ａ）

【文献】 特開２０１０−１６６１９０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｈ０４Ｎ ５／３０ − ５／３７８

Ｈ０４Ｎ １０１／００

(57)【特許請求の範囲】

【請求項1】

１フレームの撮像データが分割された第１〜第Ｎフィールド（Ｎは２以上の整数）の分割撮像データのうち、第１フィールドから第（Ｎ−１）フィールドのうちの１以上のフィールドの前記分割撮像データに基づいて、第Ｎフィールドを含むＸ個のフィールド（Ｘは１以上の整数）の分割撮像データを生成する生成部と、
前記生成部にて生成されたＸ個のフィールドの前記分割撮像データを記憶部に格納する格納制御部と、
生成するフィールドに応じたタイミングで、前記分割撮像データを出力する撮像部に、前記撮像部が前記分割撮像データを停止して次のフレームに対する処理を開始する信号を出力する制御部と、
を有することを特徴とする画像処理装置。

【請求項2】

１フレームの撮像データが分割された第１〜第Ｎフィールド（Ｎは２以上の整数）の分割撮像データのうち、第１フィールド〜第Ｍフィールド（ＭはＮ未満の整数）の前記分割撮像データを記憶部に格納する第１の格納制御部と、
前記第１〜第Ｍフィールドの前記分割撮像データのうちの１以上のフィールドの前記分割撮像データに基づいて、第（Ｍ＋１）〜第Ｎフィールドの前記分割撮像データを生成する生成部と、
前記生成部により生成された前記分割撮像データを前記記憶部に格納する第２の格納制御部と、
生成するフィールドに応じたタイミングで、前記分割撮像データを出力する撮像部に、前記撮像部が前記分割撮像データを停止して次のフレームに対する処理を開始する信号を出力する制御部と、
を有することを特徴とする画像処理装置。

【請求項3】

前記生成部は、
参照するフィールドの前記分割撮像データに含まれる複数のラインデータに基づいて、生成するフィールドの前記分割撮像データに含まれる１つのラインデータを生成する、
ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記分割撮像データは、各画素の位置に応じた色情報を含む画像データであり、
前記生成部は、参照するフィールドに含まれる同色の画素データを用いて演算することにより、前記分割撮像データを生成する、
ことを特徴とする請求項１〜３のうちの何れか一項に記載の画像処理装置。

【請求項5】

前記生成部は、参照する複数のラインと生成するラインの位置関係に応じた重みを前記参照する複数のラインデータの画素値に付与して前記分割撮像データを生成する、
ことを特徴とする請求項１〜４のうちの何れか一項に記載の画像処理装置。

【請求項6】

前記生成部は、
前記記憶部に格納されたフィールドの前記分割撮像データを読み出す読出部と、
前記分割撮像データを出力する撮像部から出力される前記フィールドの前記分割撮像データに含まれる画素データと、前記読出部により読み出された画素データとを演算して生成するフィールドに含まれるラインの画素データを生成する演算部と、
を有することを特徴とする請求項２に記載の画像処理装置。

【請求項7】

前記生成部は、
参照する１つのフィールドに含まれるラインデータを記憶する複数のラインメモリと、
参照するラインデータに対応するラインメモリの出力データを選択する選択部と、
参照するラインデータと前記選択部により選択されたラインメモリの出力データとを演算して生成するフィールドの前記ラインデータを生成する演算部と、
を有することを特徴とする請求項１〜５のうちの何れか一項に記載の画像処理装置。

【請求項8】

１フレームの撮像データが分割された第１〜第Ｎフィールド（Ｎは２以上の整数）の分割撮像データのうち、第１フィールドから第（Ｎ−１）フィールドのうちの１以上のフィールドの前記分割撮像データに基づいて、第Ｎフィールドを含むＸ個のフィールド（Ｘは１以上の整数）の分割撮像データを生成し、
生成されたＸ個のフィールドの前記分割撮像データを記憶部に格納し、
生成するフィールドに応じたタイミングで、前記分割撮像データを出力する撮像部に、前記撮像部が前記分割撮像データを停止して次のフレームに対する処理を開始する信号を出力する
ことを特徴とする画像処理方法。

【請求項9】

１フレームの撮像データが分割された第１〜第Ｎフィールド（Ｎは２以上の整数）の分割撮像データのうち、第１フィールド〜第Ｍフィールド（ＭはＮ未満の整数）の前記分割撮像データを記憶部に格納し、
前記第１〜第Ｍフィールドの前記分割撮像データのうちの１以上のフィールドの前記分割撮像データに基づいて生成した第（Ｍ＋１）〜第Ｎフィールドの前記分割撮像データを前記記憶部に格納し、
生成するフィールドに応じたタイミングで、前記分割撮像データを出力する撮像部に、前記撮像部が前記分割撮像データを停止して次のフレームに対する処理を開始する信号を出力する
ことを特徴とする画像処理方法。

【請求項10】

１フレームの撮像データを分割した第１〜第Ｎフィールド（Ｎは２以上の整数）の分割撮像データを出力する撮像部と、
少なくとも１フレーム分の撮像データを記憶可能な記憶部と、
前記第１〜第Ｎフィールドの分割撮像データのうち、第１フィールドから第（Ｎ−１）フィールドのうちの１以上のフィールドの前記分割撮像データに基づいて、第Ｎフィールドを含むＸ個のフィールド（Ｘは１以上の整数）の分割撮像データを生成する生成部と、前記生成部にて生成されたＸ個のフィールドの前記分割撮像データを記憶部に格納する格納制御部と、生成するフィールドに応じたタイミングで、前記分割撮像データを出力する撮像部に、前記撮像部が前記分割撮像データを停止して次のフレームに対する処理を開始する信号を出力する制御部と、を含む処理部と、
を有する、撮像装置。

【請求項11】

１フレームの撮像データを分割した第１〜第Ｎフィールド（Ｎは２以上の整数）の分割撮像データを出力する撮像部と、
少なくとも１フレーム分の撮像データを記憶可能な記憶部と、
前記第１〜第Ｎフィールドの分割撮像データのうち、第１フィールド〜第Ｍフィールド（ＭはＮ未満の整数）の前記分割撮像データを記憶部に格納する第１の格納制御部と、前記第１〜第Ｍフィールドの前記分割撮像データのうちの１以上のフィールドの前記分割撮像データに基づいて第（Ｍ＋１）〜第Ｎフィールドの前記分割撮像データを生成する生成部と、前記生成部により生成された第（Ｍ＋１）〜第Ｎフィールドの前記分割撮像データを前記記憶部に格納する第２の格納制御部と、生成するフィールドに応じたタイミングで、前記分割撮像データを出力する撮像部に、前記撮像部が前記分割撮像データを停止して次のフレームに対する処理を開始する信号を出力する制御部と、を含む処理部と、
を有する、撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

画像処理装置、画像処理方法、撮像装置に関する。

【背景技術】

【0002】

従来、デジタルカメラ等の撮像装置は、ＣＣＤイメージセンサ等の撮像素子によって得られた撮像信号をデジタルの撮像データに変換し、メモリ（例えば、ＳＤＲＡＭ）に格納する。そして、撮像装置は、メモリから読み出した画像データを、表示部（例えばＬＣＤ）に表示する。また、撮像装置は、メモリから読み出した画像データに対して、色処理や圧縮処理等の処理を行い、処理後のデータをメモリに格納する。

【0003】

撮像素子として用いられるＣＣＤイメージセンサは、撮像した画像に対応する１フレームの撮像信号（撮像データ）を、複数回に分けて出力する方式を採用している（例えば、特許文献１，２参照）。１回に出力する撮像信号（撮像データ）をフィールドと呼ぶ。

【0004】

撮像装置は、撮像素子から出力される複数フィールドの撮像データを合成して１つのフレームを構成し、その１つのフレームの画像データに対して、上記の色処理や圧縮処理などを行う。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００６−１７４３７９号公報

【特許文献2】特開２００９−１５９０５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

画像データに対する各種の処理は、１フレーム分の撮像データを必要とする。イメージセンサにおける画素数の増加は、イメージセンサから出力されるフィールド数の増加を招き、１フレーム分の撮像データを出力する期間を長期化する。この結果、例えば、表示部に表示される画像の更新間隔が長くなるなど、使用者の待ち時間の増大を招いていた。

【課題を解決するための手段】

【0007】

本発明の一観点によれば、１フレームの撮像データが分割された第１〜第Ｎフィールド（Ｎは２以上の整数）の分割撮像データのうち、第１フィールドから第（Ｎ−１）フィールドのうちの１以上のフィールドの前記分割撮像データに基づいて、第Ｎフィールドを含むＸ個のフィールド（Ｘは１以上の整数）の分割撮像データを生成する生成部と、前記生成部にて生成されたＸ個のフィールドの前記分割撮像データを記憶部に格納する格納制御部と、生成するフィールドに応じたタイミングで、前記分割撮像データを出力する撮像部に、前記撮像部が前記分割撮像データを停止して次のフレームに対する処理を開始する信号を出力する制御部と、を有する。

【発明の効果】

【0008】

本発明の一観点によれば、処理開始までの時間を短縮することができる。

【図面の簡単な説明】

【0009】

【図1】撮像装置の概略構成図である。

【図2】第一実施形態のセンサインタフェース回路のブロック回路図である。

【図3】撮像データの説明図である。

【図4】多フィールド読み出し方式の説明図である。

【図5】センサインタフェース回路の動作説明図である。

【図6】（ａ）（ｂ）は多フレーム読み出し方式のタイミング図である。

【図7】第二実施形態のセンサインタフェース回路のブロック回路図である。

【図8】画素補間処理の説明図である。

【図9】多フレーム読み出し方式のタイミング図である。

【図10】第三実施形態のセンサインタフェース回路のブロック回路図である。

【図11】画素補間処理の説明図である。

【図12】多フレーム読み出し方式のタイミング図である。

【図13】（ａ）（ｂ）は多フレーム読み出し方式のタイミング図である。

【図14】（ａ）（ｂ）は多フレーム読み出し方式のタイミング図である。

【図15】多フィールド読み出し方式の説明図である。

【図16】（ａ）（ｂ）は画素補間処理の説明図である。

【発明を実施するための形態】

【0010】

以下、実施形態を添付図面に従って説明する。
［撮像装置の全体構成］
図１に示すように、この撮像装置は例えばデジタルスチルカメラであり、撮像部１１と画像処理部（ＩＳＰ：Image Signal Processor）１２、メモリ（記憶部）１３、表示デバイス１４を備えている。

【0011】

撮像部１１は、撮像光学系２１と、撮像素子部２２と、アナログフロントエンド（ＡＦＥ：Analog Front End）２３を備えている。
撮像光学系２１は、被写体からの光を集光する複数のレンズ（フォーカスレンズなど）、これらのレンズを通過した光の量を調整する絞り、等を含み、光学的な被写体像を撮像素子部２２に導く。

【0012】

撮像素子部２２は、例えば、ベイヤ配列のカラーフィルタと、撮像素子とを含む。撮像素子は、ＣＣＤ（Charge Coupled Device ）イメージセンサである。撮像素子は、カラーフィルタを介して入射する光の量に応じた撮像信号（アナログ信号）を出力する。

【0013】

撮像素子は、撮像した画像に対応する１フレームの撮像信号を、複数回に分けて出力する方式を採用している。１回に出力する撮像信号をフィールドと呼ぶ。ＣＣＤは、光を信号に変換する光電変換部と、信号を転送する垂直転送部を備える。出力するフィールドの数を増加させることで、１つの画素に対する垂直転送部の大きさを小さくすることができる。このため、１画素における光電変換部の面積を大きくすることができ、高感度化、広ダイナミックレンジ化を図ることが可能となる。

【0014】

ＡＦＥ２３は、撮像素子部２２から出力されるアナログの撮像信号をデジタルの撮像データに変換するＡ／Ｄ変換回路を含み、撮像データを出力する。また、ＡＦＥ２３は、画像処理部（ＩＳＰ）１２から供給される制御信号を、同期信号に応じて撮像素子部２２へ出力する。同期信号は、１つのフィールドの区切りを示す垂直同期信号と、１ラインの区切りを示す水平同期信号を含む。

【0015】

画像処理部１２は、センサインタフェース（Ｉ／Ｆ）３１、色処理部３２、画像処理部３３、静止画コーデック部３４、メモリカードインタフェース（Ｉ／Ｆ）３５、表示インタフェース（Ｉ／Ｆ）３６、ＤＭＡ調停部３７、メモリコントローラ３８、ＣＰＵ（制御部）３９を備えている。

【0016】

センサＩ／Ｆ３１，色処理部３２，画像処理部３３，静止画コーデック部３４，メモリカードＩ／Ｆ３５，表示Ｉ／Ｆ３６，ＤＭＡ調停部３７は、内部バス４０を介して互いに接続されている。

【0017】

ＤＭＡ調停部３７はメモリコントローラ３８を介してメモリ１３と接続されている。図１に示すメモリ１３は、例えば同期式半導体メモリ（ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory）である。メモリ１３には、撮像部１１から出力される撮像データがセンサＩ／Ｆ３１によって格納される。また、メモリ１３には、各処理部３２〜３４による処理後の画像データが格納される。

【0018】

センサＩ／Ｆ３１は、撮像部１１から出力される撮像データ（ＲＧＢ形式の画像データ（ベイヤデータ））を受け取り、メモリ１３に格納する。
色処理部３２は、例えば色空間変換部であり、メモリ１３に格納されたＲＧＢ形式の画像データ（ベイヤデータ）を読み出し、画像データをＹＣｂＣｒ形式の画像データに変換する。そして、色処理部３２は、変換後の画像データをメモリ１３に格納する。

【0019】

画像処理部３３は、上記の処理以外の処理を行う１つ又は複数の処理部である。上記以外の処理には、例えば、画素数を増減する解像度変換処理、セピア色などの色調を変換する色調変換処理、画像の輪郭（エッジ）を強調するエッジ強調処理、画像データに含まれるノイズを除去するノイズ除去処理、等が含まれる。

【0020】

静止画コーデック部３４は、メモリ１３に格納された画像データを読み出し、その画像データを所定の方式（例えばＪＰＥＧ（Joint Photographic Experts Group）方式）により符号化し、符号化後の画像データ（符号化データ）をメモリ１３に格納する。

【0021】

メモリカードＩ／Ｆ３５は、撮像装置に装着されるメモリカード１５と接続される。メモリカードＩ／Ｆ３５は、メモリ１３に格納されたデータ（例えば圧縮された画像データ）をメモリカード１５に格納する。

【0022】

表示Ｉ／Ｆ３６には、表示デバイス１４が接続されている。表示デバイス１４は、例えば液晶表示装置（ＬＣＤ：Liquid Crystal Display）である。表示デバイス１４は、撮影装置の駆動源であるバッテリの残量、撮影モード、撮影フレーム、記憶された画像データの表示、等に用いられる。例えば、表示Ｉ／Ｆ３６は、メモリ１３に格納された画像データを読み出し、その画像データを表示デバイス１４に出力する。

【0023】

センサＩ／Ｆ３１，色処理部３２，画像処理部３３，静止画コーデック部３４，メモリカードＩ／Ｆ３５，表示Ｉ／Ｆ３６は、それぞれメモリアクセスコントローラ（ＤＭＡＣ：Direct Memory Access Controller）３１ａ〜３６ａを備えている。メモリアクセスコントローラ３１ａ〜３６ａは、各回路３１〜３６が行う処理に応じたアクセス要求を出力する。例えば、センサＩ／Ｆ３１は、撮像部１１から出力される撮像データを、メモリ１３に格納する。このため、センサＩ／Ｆ３１のメモリアクセスコントローラ３１ａは、書き込み要求（ライトリクエスト）を出力する。表示Ｉ／Ｆ３６は、表示デバイス１４に表示する画像データをメモリ１３から読み出す。このため、表示Ｉ／Ｆ３６のメモリアクセスコントローラ３６ａは、読み出し要求（リードリクエスト）を出力する。

【0024】

ＤＭＡ調停部３７は、各回路３１〜３６のメモリアクセスコントローラ３１ａ〜３６ａから出力され競合する要求（リクエスト）を、例えば各処理部３１〜３６に対応して設定された優先度に従って要求を調停し、１つの回路に対するアクセスを許可する。アクセスが許可された回路は、メモリ１３に対するアクセスのための制御信号を出力する。読み出し要求の場合、メモリコントローラ３８は、制御信号に応じてメモリ１３からデータを読み出し、その読み出したデータを要求元に出力する。メモリコントローラ３８は、書き込み要求と、その要求元から出力されるデータをメモリ１３に出力し、メモリ１３はそのデータを記憶する。

【0025】

ＣＰＵ３９は、画像処理部１２全体を制御する。また、ＣＰＵ３９は、センサＩ／Ｆ３１を制御する。上記したように、撮像素子部２２に含まれる撮像素子（ＣＣＤイメージセンサ）は、１フレームの撮像データを、複数のフィールドに分割し、各フィールドの分割撮像データを順次出力する。センサＩ／Ｆ３１は、撮像部１１から順次出力されるフィールドの分割撮像データを受け取る。そして、センサＩ／Ｆ３１は、受け取ったフィールドの分割撮像データから、受け取っていないフィールドに対応する分割撮像データを生成し、生成した分割撮像データをメモリ１３に格納する。これにより、メモリ１３には、１フレーム分の画素数に対応するデータ量の撮像データが格納される。従って、撮像素子部２２が１フレームの撮像データの出力を開始してから、メモリ１３に１フレーム分の撮像データが格納されるまでに要する時間（撮像データ出力期間）が、全てのフレームの撮像データを受け取るための必要な時間よりも短くなる。そして、全てのフィールドの分割撮像データをセンサＩ／Ｆ３１が受け取るタイミングよりも早くメモリ１３に格納された撮像データに対する各種の処理を開始することが可能となる。

【0026】

次に、センサＩ／Ｆの構成例を順次説明する。
［第１実施形態］
図２に示すように、センサＩ／Ｆ５０は、３つのメモリアクセス部（ＤＭＡ０，ＤＭＡ１，ＤＭＡ２と表記）５１，５２，５３と、１つの演算部５４を備える。

【0027】

各メモリアクセス部５１〜５３は、それぞれ設定に従って要求を出力し、メモリ１３との間に転送チャネルをそれぞれ形成する。第１のメモリアクセス部５１は、メモリ１３に対してデータを格納するライトチャネルを形成する。第１のメモリアクセス部５１は、撮像部１１から出力される撮像データを、ライトチャネルを介してメモリ１３に格納する。

【0028】

第２のメモリアクセス部５２は、メモリ１３に対してデータを格納するライトチャネルを形成する。第２のメモリアクセス部５２は、演算部５４から出力されるデータを、ライトチャネルを介してメモリ１３に格納する。メモリアクセス部５１は格納制御部（第１の格納制御部）の一例である。メモリアクセス部５２は格納制御部（第２の格納制御部）の一例である。

【0029】

第３のメモリアクセス部５３は、メモリ１３からデータを読み出すリードチャネルを形成する。第３のメモリアクセス部５３は、メモリ１３から読み出したデータを演算部５４に出力する。メモリアクセス部５３は読出部の一例である。

【0030】

演算部５４には、撮像部１１から出力される撮像データＧＤが供給される。演算部５４は、撮像データＧＤと、第３のメモリアクセス部５３から出力されるデータとを演算して生成したデータを第２のメモリアクセス部５２に出力する。演算部５４には、各メモリアクセス部５１〜５３が、メモリ１３に対してアクセス（リード又はライト）する撮像データＧＤの画素の位置に応じた演算内容が設定されている。

【0031】

撮像部１１は、１フレームの撮像データを３つのフィールドの分割撮像データに分けて順次出力する。センサＩ／Ｆ５０は、１番目のフィールドの分割撮像データを、第１のメモリアクセス部５１を介してメモリ１３に格納する。次に、センサＩ／Ｆ５０は、２番目のフィールドの分割撮像データを、第１のメモリアクセス部５１と演算部５４とに供給する。第１のメモリアクセス部５１は、供給される２番目のフィールドの分割撮像データをメモリ１３に格納する。第３のメモリアクセス部５３は、メモリ１３に格納されている撮像データ、つまり１番目のフィールドの分割撮像データを順次読み出し、演算部５４に出力する。演算部５４は、入力データ、つまり１番目のフィールドの分割撮像データと、２番目のフィールドの分割撮像データとに基づいて、３番目のフィールドに対応する分割撮像データを生成する。

【0032】

１フレームの撮像データと、各フィールドの分割撮像データとの関係を説明する。
図３に示すように、１つのフレームの撮像データは、複数（図３において１２）のラインデータＬ１〜Ｌ１２を含む。各ラインデータＬ１〜Ｌ１２は、撮像素子の１つの方向（例えば水平方向）に配列された複数（図３において４）の画素がそれぞれ受ける光の量に応じた値（画素値）を含む。また、撮像素子の各画素は、所定配列（例えばベイヤ配列）のカラーフィルタを透過した光を受光する。従って、各ラインデータＬ１〜Ｌ１２に含まれる各画素値は、カラーフィルタの配列及び色に応じた色情報を含む。

【0033】

例えば、図３において、撮像素子の奇数段の列に対応するラインデータＬ１，Ｌ３，Ｌ５，Ｌ７，Ｌ９，Ｌ１１は、赤画素Ｒの画素データと緑画素Ｇｒの画素データを交互に含み、偶数段の列に対応するラインデータＬ２，Ｌ４，Ｌ６，Ｌ８，Ｌ１０，Ｌ１２は、緑画素Ｇｂの画素データと青画素Ｂの画素データを交互に含む。なお、緑画素は、水平方向に赤画素Ｒが配列された列の緑画素をＧｒ、水平方向に青画素Ｂが配列された列の緑画素をＧｂとして示す。

【0034】

各ラインデータＬ１〜Ｌ１２は、撮像素子の構成に従って、水平方向に沿って順次出力される。例えば、各ラインデータＬ１〜Ｌ１２は、左端の画素から右端の画素まで、水平方向に沿って順次出力される。

【0035】

この撮像素子は、１つのフレームの撮像データを、３つのフィールドに分けて出力する。各フィールドの分割撮像データは、３ライン毎の各ラインデータを含む。従って、図４に示すように、第１のフィールド（１フィールド目）の分割撮像データは、ラインデータＬ１，Ｌ４，Ｌ７，Ｌ１０を含む。同様に、第２のフィールド（２フィールド目）の分割撮像データは、ラインデータＬ２，Ｌ５，Ｌ８，Ｌ１１を含み、第３のフィールド（３フィールド目）の分割撮像データは、ラインデータＬ３，Ｌ６，Ｌ９，Ｌ１２を含む。

【0036】

第３のフィールドのラインデータＬ３は、図３に示すように、第１のフィールドのラインデータＬ１や、第２のフィールドのラインデータＬ５と同じ配列の色情報を含む。そして、ラインデータＬ３は、ラインデータＬ１とラインデータＬ５の間にあって、垂直方向におけるラインデータＬ３の画素とラインデータＬ１の画素との間の距離は、ラインデータＬ３の画素とラインデータＬ５の画素との間の距離に等しい。そして、ラインデータＬ３の画素における受光量は、ラインデータＬ１の画素における受光量とラインデータＬ５の画素における受光量と、相対的に関連することが多い。画素間の距離は、撮像素子の大きさが変らなければ、画素の数が多いほど小さくなり、各画素の受光量は高い相関関係となる場合が多い。

【0037】

このため、図２に示すセンサＩ／Ｆ５０は、第１のフィールドの分割撮像データと、第２のフィールドの分割撮像データと用い、両フィールドの相対的な関係に基づいて、第３のフィールドに対応する分割撮像データを生成する。具体的には、図５に示すように、メモリアクセス部（ＤＭＡ０）５１は、第１のフィールドに含まれる全てのラインデータＬ１，Ｌ４，Ｌ７，Ｌ１０をメモリ１３に格納する。

【0038】

次いで、第２のフィールドのラインデータＬ５に対応する撮像データが入力されると、メモリアクセス部（ＤＭＡ０）５１は、このラインデータＬ５に対応する撮像データをメモリ１３に格納する。このとき、メモリアクセス部（ＤＭＡ２）５３は、メモリ１３からラインデータＬ１に対応する撮像データを順次読み出す。そして、演算部５４は、ラインデータＬ１の各画素の撮像データと、ラインデータＬ５の各画素の撮像データとに基づいて、ラインデータＬ３の各画素に対応する撮像データを算出する。例えば、ラインデータＬ３とラインデータＬ１との距離、ラインデータＬ３とラインデータＬ５の距離は、互いに等しい。従って、演算部５４は、ラインデータＬ５の各画素の撮像データと、ラインデータＬ１の各画素の撮像データとの平均値を算出し、この算出結果を、ラインデータＬ３の各画素に対応する撮像データとして出力する。メモリアクセス部（ＤＭＡ１）５２は、演算部５４の出力値を、メモリ１３内の領域であって、第２のフィールドのラインデータＬ３に対応する領域に格納する。

【0039】

同様に、第２のフィールドのラインデータＬ８が入力されるとき、メモリアクセス部（ＤＭＡ２）５３は、ラインデータＬ８に対応するラインデータＬ４の撮像データを順次読み出す。演算部５４は、ラインデータＬ８の各画素の撮像データと、ラインデータＬ４の各画素の撮像データに基づいて、ラインデータＬ６の各画素に対応する撮像データを順次算出し、メモリアクセス部（ＤＭＡ１）は、このラインデータＬ６の各画素に対応する撮像データを順次メモリ１３に格納する。

【0040】

各メモリアクセス部５１〜５３は、撮像部１１が出力するフィールドの数と、各フィールドに含まれるラインの数により、その時々にアクセスするメモリ１３の領域を決定する。撮像部１１は、同期信号（水平同期信号Ｈｓ，垂直同期信号Ｖｓ）に同期して各フィールドの分割撮像データを出力する。例えば、図６（ａ）に示すように、撮像部１１は、垂直同期信号Ｖｓの１周期の間に、第１のフィールドに含まれるラインデータＬ１，Ｌ４，Ｌ７，Ｌ１０に対応する撮像データを、水平同期信号Ｈｓ毎に出力する。次の垂直同期信号Ｖｓの１周期の間に、第２のフィールドに含まれるラインデータＬ２，Ｌ５，Ｌ８，Ｌ１１に対応する撮像データを、水平同期信号Ｈｓ毎に出力する。更に、次の垂直同期信号Ｖｓの１周期の間に、第３のフィールドに含まれるラインデータＬ３，Ｌ６，Ｌ９，Ｌ１２に対応する撮像データを、水平同期信号Ｈｓ毎に出力する。

【0041】

従って、各メモリアクセス部５１〜５３は、垂直同期信号Ｖｓと水平同期信号Ｈｓをそれぞれカウントし、それらのカウント値と演算式により、各ラインの各画素の撮像データを格納する領域を得る。なお、領域の取得には、例えばテーブル（ＬＵＴ:Look Up Table）を用いても良い。また、各メモリアクセス部５１〜５３がアクセスする領域を算出する算出部を備え、その算出部から各メモリアクセス部５１〜５３に対して領域の設定を行うようにしてもよい。

【0042】

次に、センサＩ／Ｆ５０の作用を説明する。
図６（ａ）に示すように、図２に示す撮像部１１は、垂直同期信号Ｖｓの１周期の間に、水平同期信号Ｈｓ毎に、第１のフィールドのラインデータＬ１，Ｌ４，Ｌ７，Ｌ１０に対応する撮像データＧＤを順次出力する。センサＩ／Ｆ５０は、各ラインデータＬ１，Ｌ４，Ｌ７，Ｌ１０に対応する撮像データＧＤを、ハッチングで示すように、メモリ１３に格納する。

【0043】

次いで、撮像部１１は、垂直同期信号Ｖｓの１周期の間に、水平同期信号Ｈｓ毎に、第２のフィールドのラインデータＬ２，Ｌ５，Ｌ８，Ｌ１１に対応する撮像データＧＤを順次出力する。センサＩ／Ｆ５０は、ラインデータＬ２に対応する撮像データＧＤをメモリ１３に格納する。次いで、センサＩ／Ｆ５０は、ラインデータＬ５に対応する撮像データＧＤをメモリ１３に格納する。また、センサＩ／Ｆ５０は、メモリ１３から読み出したラインデータＬ１に対応する撮像データと、ラインデータＬ５に対応する撮像データに基づいて、ラインデータＬ３に対応する撮像データを算出し、メモリ１３に格納する。

【0044】

次いで、センサＩ／Ｆ５０は、ラインデータＬ８に対応する撮像データＧＤをメモリ１３に格納する。また、センサＩ／Ｆ５０は、メモリ１３から読み出したラインデータＬ４に対応する撮像データと、ラインデータＬ８に対応する撮像データに基づいて、ラインデータＬ６に対応する撮像データを算出し、メモリ１３に格納する。次いで、センサＩ／Ｆ５０は、ラインデータＬ１１に対応する撮像データＧＤをメモリ１３に格納する。また、センサＩ／Ｆ５０は、メモリ１３から読み出したラインデータＬ７に対応する撮像データと、ラインデータＬ１１に対応する撮像データに基づいて、ラインデータＬ９に対応する撮像データを算出し、メモリ１３に格納する。

【0045】

図４に示すように、第３のフィールド（３フィールド目）の分割撮像データには、ラインデータＬ１２が含まれる。ラインデータＬ１２と同じ色画素を含み、ラインデータＬ１２に含まれる色情報と同じ配列に色情報を含むラインデータは、図３における垂直方向上側ではラインデータＬ１０である、しかし、ラインデータＬ１２に対して垂直方向下側のラインデータは、図４において、第１のフィールドと第２のフィールドに含まれていない。

【0046】

しかし、以上において説明した１つのフレームの撮像データ（ラインデータＬ１〜Ｌ１２）は、静止画のサイズ（所謂イメージサイズ）である。図１に示す撮像部１１に含まれる撮像素子の有効画素数又は総画素数は、静止画の画素数よりも多く、静止画として用いられる画素領域の周辺にある有効画素の撮像データＧＤは、画像処理に必要な情報として、各フィールドの出力期間に、撮像部１１から出力される。この周辺にある有効画素の撮像データＧＤ（分割撮像データ）は、ラインデータＬ１２よりも垂直方向下側のラインデータ（ラインデータＬ１２よりも２ライン分下のラインデータ）を含み、メモリ１３に格納される。センサＩ／Ｆ５０は、メモリ１３から読み出したラインデータＬ１０に対応する撮像データと、メモリ１３に格納した第２のフィールドに対応する周辺の有効画素の撮像データ（ラインデータＬ１２よりも２ライン分下のラインデータ）に基づいて、ラインデータＬ１２に対応する撮像データを算出し、メモリ１３に格納する。

【0047】

このように、第３のフィールドに対応する垂直同期信号Ｖｓが入力されるとき、第１のフィールドの分割撮像データと第２のフィールドの分割撮像データとに基づいて算出された第３のフィールドに対応する分割撮像データがメモリ１３に格納されている。つまり、１つのフレームを構成する３つのフィールドに対応する分割撮像データの全てが、メモリ１３に格納されている。このため、図１に示す各処理部３２〜３６は、撮像部１１が第３のフィールドに対応する分割撮像データＧＤを出力するとき、処理を開始する。

【0048】

図６（ｂ）に示すように、３つのフィールドに対応する分割撮像データを順次メモリ１３に格納する場合、ラインデータＬ１２に対応する撮像データがメモリ１３に格納された後に、処理の開始が可能となる。このような場合と比べ、図２に示すセンサＩ／Ｆ５０により撮像データをメモリ１３に格納すると、処理の開始タイミングが早くなる。各処理に必要な時間は、画素数に対応する。従って、処理の開始タイミングが早くなると、それに対応して処理の終了タイミングも早くなる。従って、１つのフレームの読み出しを開始してから、そのフレームの撮像データに対する処理を終了するまでの時間は、図６（ｂ）に示す読み出し方法と比べ、短くなる。

【0049】

以上記述したように、本実施形態によれば、以下の効果を奏する。
（１）センサＩ／Ｆ５０は、撮像部１１が出力する１番目のフィールドの分割撮像データと２番目のフィールドの分割撮像データから、最終（３番目の）フィールドに対応する分割撮像データを生成し、メモリ１３に格納する。従って、画像処理部１２に含まれる各処理部３２〜３６は、撮像部１１が最終フィールドに対応する分割撮像データを出力するときに、メモリ１３に格納された撮像データに対する処理を行う。従って、画像処理の開始タイミングが、全てのフィールドの分割撮像データをメモリに格納する場合と比べて早くなる。処理の開始が早くなれば、相対的に処理の終了するタイミングも早くなる。従って、１つのフレームの撮像データの読み出しを開始してからそのフレームに対する処理が終了するまでに要する時間、つまり、１つのフレームの撮像データの処理に要する時間が短くなり、使用者の待ち時間を短縮することができる。

【0050】

（２）センサＩ／Ｆ５０は、撮像部１１から出力される最終フィールドに対応する分割撮像データを生成し、その撮像データをメモリ１３に格納する。従って、撮像部１１が最終フィールドに対応する分割撮像データを出力するとき、センサＩ／Ｆ５０はメモリ１３をアクセスしない。センサＩ／Ｆ５０がメモリ１３をアクセスするための要求の優先度は、他の回路が行う要求の優先度より高い。これは、撮像部１１が出力する撮像データの全てをメモリ１３に格納するためである。優先度が低いと、他の回路の処理の終了を待つ間に撮像部１１が出力する撮像データをメモリ１３に格納することができないためである。

【0051】

全てのフィールドの分割撮像データをメモリ１３に格納する方式のセンサＩ／Ｆは、撮像部から連続的にフレームの撮像データを出力するとき、ほぼ連続的に動作する。例えば、メモリに格納した１つのフレームの撮像データに対する処理を行うとき、センサＩ／Ｆは、次のフレームの撮像データをメモリに格納する。つまり、処理の開始時において、センサＩ／Ｆと処理部が同時に動作することになる。このため、センサＩ／Ｆのアクセス要求と、他の処理部のアクセス要求とが競合することが多い。

【0052】

本実施形態のセンサＩ／Ｆ５０は、撮像部１１が出力する最終（３番目）のフィールドに対応する分割撮像データを出力するとき、メモリ１３をアクセスしない。
各処理部３２〜３６は、メモリ１３に１フレーム分の撮像データが格納されているため、撮像部１１が出力する最終（３番目）のフィールドに対応する分割撮像データを出力するとき、メモリ１３に格納された撮像データに対する処理を実行する。

【0053】

つまり、撮像部１１が出力する最終（３番目）のフィールドに対応する分割撮像データを出力する間、各処理部３２〜３６のみがメモリ１３をアクセスするため、メモリ１３に対するアクセス要求が少なくなり、要求が競合する割合（確率）が低くなる。このため、各処理部３２〜３６がアクセスする割合が多くなるため、各処理部３２〜３６の平均的な処理速度が高くなる、つまり、処理効率を向上させることができる。

【0054】

［第二実施形態］
以下、第二実施形態を説明する。なお、上記の各実施形態と同じ部材については同じ符号を付し、その説明の全て又は一部を省略する。

【0055】

図７に示すように、センサＩ／Ｆ６０は、２つのメモリアクセス部（ＤＭＡ０，ＤＭＡ１）６１，６２、２つのラインメモリ（ＬＭＥＭ０，ＬＭＥＭ１と表記）６３，６４、選択回路（ＳＥＬと表記）６５、乗算器６６，６７、加算器６８を備える。

【0056】

撮像部１１から出力される撮像データは、第１のメモリアクセス部６１に供給される。第１のメモリアクセス部６１は、設定に従って、メモリ１３との間に転送チャネルを形成、詳しくはメモリ１３に対してデータを格納するライトチャネルを形成する。第１のメモリアクセス部６１は、撮像部１１から出力される撮像データを、ライトチャネルを介してメモリ１３に格納する。メモリアクセス部６１は格納制御部（第１の格納制御部）の一例である。

【0057】

また、撮像部１１から出力される撮像データは、乗算器６６と２つのラインメモリ６３，６４に供給される。
第１の乗算器６６は、入力データに対して第１の係数α１を乗算した結果を、加算器６８に出力する。

【0058】

２つのラインメモリ６３，６４は、それぞれ、一つのラインデータを記憶可能なメモリ容量に設定されている。２つのラインメモリ６３，６４は、交互にラインデータを記憶するように制御される。選択回路６５は、２つのラインメモリ６３，６４から交互に記憶したデータを読み出し、読み出したデータを第２の乗算器６７に出力する。

【0059】

第２の乗算器６７は、入力データに対して第２の係数α２を乗算した結果を、加算器６８に出力する。
加算器６８は、第１の乗算器６６から出力されるデータに、第２の乗算器６７から出力されるデータを加算し、加算結果のデータを第２のメモリアクセス部６２に出力する。

【0060】

第２のメモリアクセス部６２は、設定に従って要求を出力し、メモリ１３との間に転送チャネルを形成、詳しくはメモリ１３に対してデータを格納するライトチャネルを形成する。第２のメモリアクセス部６２は、加算器６８から出力されるデータを、ライトチャネルを介してメモリ１３に格納する。メモリアクセス部６２は格納制御部（第２の格納制御部）の一例である。

【0061】

このセンサＩ／Ｆ６０は、１番目のフィールドの分割撮像データから、３番目のフィールドに対応する分割撮像データを生成し、生成した分割撮像データをメモリ１３に格納する。

【0062】

即ち、上記第１のメモリアクセス部６１は、例えば、同期信号（垂直同期信号Ｖｓ、水平同期信号Ｈｓ）に基づいて、１番目のフィールドの分割撮像データと２番目のフィールドの分割撮像データを、メモリ１３の対応する領域に格納する。

【0063】

ラインメモリ６３，６４、選択回路６５、乗算器６６，６７、及び加算器６８は、１番目のフィールドの分割撮像データから、３番目のフィールドに対応する分割撮像データを生成する生成部の一例である。第２のメモリアクセス部６２は、例えば、同期信号（垂直同期信号Ｖｓ、水平同期信号Ｈｓ）に基づいて、３番目（最終段）のフィールドに対応する領域を指定し、加算器６８から出力されるデータを、メモリ１３に格納する。

【0064】

３番目のフィールドに対応する分割撮像データの生成を説明する。
ラインメモリ６３，６４は、１番目のフィールドに含まれる各ラインの撮像データを、順次記憶する。図９に示すように、第１のラインメモリ６３は、ラインデータＬ１に対応する撮像データを記憶し、第２のラインメモリ６４は、ラインデータＬ４に対応する撮像データを記憶する。

【0065】

乗算器６６，６７に供給される係数α１，α２は、１番目のフィールドに含まれる２つのラインと、それらのラインの間であって３番目のフィールドに含まれるラインとの位置関係に応じた値に設定されている。詳しくは、各係数α１，α２は１番目のフィールドに含まれる２つのライン（第１及び第２の参照ライン）から、３番目のフィールドに含まれ、第１及び第２の参照ラインと同じ色配列のラインを内挿するように、設定される。

【0066】

例えば、図８に示すように、１番目のフィールドの分割撮像データはラインデータＬ１とラインデータＬ７を含み、３番目のフィールドの分割撮像データはラインデータＬ３を含む。ラインデータＬ３とラインデータＬ１との間の距離（画素間の数）と、ラインデータＬ３とラインデータＬ７の間の距離（画素間の数）の比は、１：２である。この比１：２に対応して、ラインデータＬ１の画素の値と、ラインデータＬ７の画素の値を例えば直線補間によってラインデータＬ３に対応する画素を演算する。この場合、第１の係数α１と第２の係数α２との比は、２：１となり、第１の係数α１と第２の係数α２は、それぞれ０．６６，０．３３となる。第１の係数α１と第２の係数α２は、参照するラインデータＬ１，Ｌ７と生成するラインデータＬ３の画素位置関係に応じた重み付け値である。

【0067】

加算器６８は、第１の乗算器６６の出力データに第２の乗算器６７の出力データを加算し、加算結果を算出する。
従って、センサＩ／Ｆ６０は、図９に示すように、ラインデータＬ７に対応する撮像データと、ラインデータＬ１に対応する撮像データとに基づいて、ラインデータＬ３に対応する撮像データを生成する。同様に、センサＩ／Ｆ６０は、ラインデータＬ１０に対応する撮像データと、ラインデータＬ４に対応する撮像データに基づいて、ラインデータＬ６に対応する撮像データを生成する。

【0068】

以上記述したように、本実施形態によれば、以下の効果を奏する。
（１）センサＩ／Ｆ６０は、撮像部１１が出力する１番目のフィールドの分割撮像データから、最終フィールドに対応する分割撮像データを生成し、メモリ１３に格納する。従って、第一実施形態と同様に、画像処理の開始タイミングが、全てのフィールドの分割撮像データをメモリに格納する場合と比べて早くなる。処理の開始が早くなれば、相対的に処理の終了するタイミングも早くなる。従って、１つのフレームの撮像データの読み出しを開始してからそのフレームに対する処理が終了するまでに要する時間、つまり、１つのフレームの撮像データの処理に要する時間が短くなり、使用者の待ち時間を短縮することができる。

【0069】

（２）センサＩ／Ｆ６０は、撮像部１１が出力する１番目のフィールドの分割撮像データのラインデータをラインメモリ６３，６４に順次格納し、ラインメモリ６３，６４に格納したラインデータに基づいて、最終フィールドに対応する分割撮像データを生成する。従って、メモリ１３に対するアクセスが第一実施形態と比べて少なくなり、処理の高速化に適している。

【0070】

［第三実施形態］
以下、第三実施形態を説明する。なお、上記の各実施形態と同じ部材については同じ符号を付し、その説明の全て又は一部を省略する。

【0071】

図１０に示すように、センサＩ／Ｆ７０は、２つのメモリアクセス部（ＤＭＡ０，ＤＭＡ１）６１，６２、２つのラインメモリ（ＬＭＥＭ０，ＬＭＥＭ１と表記）６３，６４、選択回路（ＳＥＬと表記）６５、乗算器６６，６７、加算器６８に加え、メモリアクセス部７１、２つの乗算器７２，７３及び加算器７４を備える。

【0072】

第３の乗算器７２には、第１の乗算器６６と同様に、撮像部１１から出力される撮像データと、第３の係数α３が入力される。第３の乗算器７２は、入力データに対して第３の係数α３を乗算した結果を、第２の加算器７４に出力する。

【0073】

第４の乗算器７３には、第２の乗算器６７と同様に、選択回路６５によって、２つのラインメモリ６３，６４から交互に読み出されたデータと、第４の係数α４が入力される。第４の乗算器７３は、選択回路６５から出力されるデータに対して第４の係数α４を乗算した結果を、第２の加算器７４に出力する。

【0074】

第２の加算器７４は、第３の乗算器７２から出力されるデータに、第４の乗算器７３から出力されるデータを加算し、加算結果を第３のメモリアクセス部７１に出力する。
第３のメモリアクセス部７１は、設定に従って要求を出力し、メモリ１３との間に転送チャネルを形成、詳しくはメモリ１３に対してデータを格納するライトチャネルを形成する。第３のメモリアクセス部７１は、加算器７４から出力されるデータを、ライトチャネルを介してメモリ１３に格納する。メモリアクセス部７１は格納制御部（第２の格納制御部）の一例である。

【0075】

第３の乗算器７２には、第２の乗算器６７に対する第２の係数α２と等しい第３の係数α３が供給される。また、第４の乗算器７３には、第１の乗算器６６に対する第１の係数α１と等しい第４の係数α４が供給される。

【0076】

従って、第３の係数α３と第４の係数α４は、図１１に示すように、ラインデータＬ１とラインデータＬ５の間の距離（画素間の数）と、ラインデータＬ５とラインデータＬ７の間の距離（画素間の数）に対応する。第３の係数α３と第４の係数α４は、参照するラインデータＬ１，Ｌ７と、生成するラインデータＬ５の画素位置関係に応じた重み付け値である。従って、第３の乗算器７２の出力データに第４の乗算器７３の出力データを加算する第２の加算器７４の出力データは、ラインデータＬ５に対応し、このラインデータＬ５は、図４に示すように、２番目のフィールドに含まれる。

【0077】

従って、センサＩ／Ｆ７０は、図１２に示すように、ラインデータＬ１に対応する撮像データとラインデータＬ７に対応する撮像データとに基づいて、ラインデータＬ５に対応する撮像データと、ラインデータＬ３に対応する撮像データを生成する。同様に、センサＩ／Ｆ７０は、ラインデータＬ４に対応する撮像データとラインデータＬ１０に対応する撮像データとに基づいて、ラインデータＬ８に対応する撮像データと、ラインデータＬ６に対応する撮像データを生成する。即ち、センサＩ／Ｆ７０は、１番目のフィールドの分割撮像データから、２番目のフィールドに対応する分割撮像データと、３番目のフィールドに対応する分割撮像データを生成する。

【0078】

これにより、図１に示す処理部３２〜３６は、撮像部１１が２番目のフィールドに対応する分割撮像データを出力するときに、それぞれの処理を行うことができる。
以上記述したように、本実施形態によれば、以下の効果を奏する。

【0079】

（１）センサＩ／Ｆ７０は、撮像部１１が出力する１番目のフィールドの分割撮像データから、２番目のフィールドに対応する分割撮像データと最終フィールドに対応する分割撮像データを生成し、メモリ１３に格納する。従って、画像処理の開始タイミングが、全てのフィールドの分割撮像データをメモリに格納する場合と比べて早くなる。処理の開始が早くなれば、相対的に処理の終了するタイミングも早くなる。従って、１つのフレームの撮像データの読み出しを開始してからそのフレームに対する処理が終了するまでに要する時間、つまり、１つのフレームの撮像データの処理に要する時間が短くなり、使用者の待ち時間を短縮することができる。

【0080】

尚、上記各実施形態は、以下の態様で実施してもよい。
上記各実施形態において、各処理部３２〜３６の処理を適宜変更してもよい。
例えば、図１３（ａ）に示すように、１フレームの撮像データに対する処理時間を設定してもよい。この場合、例えば、クロック信号の周波数を低くし、各処理部３２〜３６が処理を実行する速度を遅くする。動作速度が遅くなると、平均的な消費電力が少なくなるため、撮像装置における低消費電力化が可能となる。

【0081】

また、図１３（ｂ）に示すように、１つのフレームの撮像データに対して画像処理を行う期間を、２つのフィールドの分割撮像データを転送する間に終了するように設定する。この設定は、例えばクロック信号の周波数を高くすることで可能となる。この場合、撮像部１１から２つのフィールドの分割撮像データを出力するようにする。これには、例えば、図１に示すＣＰＵ３９からリセット信号ＳＲを供給することにより可能となる。

【0082】

ＣＰＵ３９は、センサＩ／Ｆ３１が１フレーム分のデータ量の撮像データをメモリ１３に格納すると、リセット信号ＳＲを出力する。このリセット信号ＳＲは、ＡＦＥ２３を介して撮像素子部２２に送られる。撮像素子部２２に含まれる撮像素子（イメージセンサ）は、リセット信号ＳＲに応答して、撮像データの出力を停止し、光電変換部と垂直転送部をリセット（蓄積電荷の放出）する。これにより、撮像素子部２２は、次のフレームの撮像データの生成、つまり、光電変換部において、入射光に応じた電荷の蓄積を行うことが可能となる。即ち、撮像素子部２２は、１フレームを構成する全てのフィールドの分割撮像データを出力する間隔よりも短い間隔で、撮像を行うことができる、つまり単位時間において撮像するフレームの数を多くすることができる。

【0083】

なお、ＣＰＵ３９は、設定に従ってリセット信号ＳＲを出力する。設定は、図示しない操作ボタンや表示デバイス１４とともに設けられたタッチパネルに対する操作により行われる。ＣＰＵ３９は、表示デバイス１４に設定のためのメニュー画面を表示させ、操作に従って入力又は選択された設定値を、レジスタ（例えば、ＣＰＵ３９が持つ不揮発性メモリ）に格納する。そして、ＣＰＵ３９は、その設定に従って、センサＩ／Ｆ３１を含む各処理部に対する制御と、撮像部１１に対するリセット信号ＳＲの出力を行う。

【0084】

上記第二実施形態では、１番目のフィールドの分割撮像データに基づいて３番目のフィールドに対応する分割撮像データを生成したが、２番目のフィールドの分割撮像データに基づいて３番目のフィールドに対応する分割撮像データを生成するようにしてもよい。例えば、図７に示すセンサＩ／Ｆ６０において、第１の乗算器６６に供給する第１の係数α１と、第２の乗算器６７に供給する第２の係数α２の値を入れ替える。例えば、ラインデータＬ２に対応する撮像データと、ラインデータＬ８に対応する撮像データとに基づいて、３番目のフィールドに含まれるラインデータＬ６に対応する撮像データを生成する。

【0085】

また、第二実施形態において、参照するフィールドを変更可能に構成してもよい。例えば、図１４（ａ）に示すように、１フィールド目の分割撮像データから３フィールド目に対応する分割撮像データを補間生成するモードと、図１４（ｂ）に示すように、２フィールド目の分割撮像データから３フィールド目に対応する分割撮像データを補間生成するモードとを切替え可能とする。

【0086】

上記各形態において、フィールドの数を、２つ又は４つ以上としてもよい。センサＩ／Ｆは、撮像部１１（撮像素子）から出力されるフィールドに応じて構成され、入力される複数（２以上）のフィールドの分割撮像データのうち、少なくとも最終段のフィールドに対応する分割撮像データを生成する。

【0087】

例えば、１つのフレームを８つのフィールドに分けて出力する撮像部の場合、図１５に示すように、各フィールド（１Ｆ〜８Ｆ）は、対応するラインを含む。尚、図１５は、垂直方向の画素（ライン）を３２とした場合を示す。また、図１５に示すラインデータＬ３３，Ｌ３４は、静止画として用いられる画素領域の周辺に含まれる画素（例えば、リングピクセル）の撮像データを読み出したラインである。

【0088】

このように、撮像部から８つのフィールドの分割撮像データが出力される場合、例えば、図１６（ａ）に示すように、第１〜第４フィールド（１Ｆ〜４Ｆ）をメモリ１３に格納する。そして、第１フィールド（１Ｆ）と第３フィールド（３Ｆ）の分割撮像データから第５フィールドに対応する分割撮像データと第７フィールドに対応する分割撮像データを生成する。同様に、第２フィールド（２Ｆ）と第４フィールド（４Ｆ）の分割撮像データから第６フィールドに対応する分割撮像データと第７フィールドに対応する分割撮像データを生成する。そして、生成した４つのフィールドに対応する分割撮像データをメモリ１３に格納する。

【0089】

また、図１６（ｂ）に示すように、第１フィールド（１Ｆ）の分割撮像データから第３，第５，第７フィールドに対応する分割撮像データを生成し、第２フィールド（２Ｆ）の分割撮像データから第４，第６，第８フィールドに対応する分割撮像データを生成し、各分割撮像データをメモリ１３に格納する。

【0090】

このように構成しても、１つのフレームの撮像データに対する処理の開始を早くすることができ、１つのフレームの撮像データに係る処理時間（分割撮像データの出力開始から画像処理を終了するまでに要する時間）の短縮を図ることができる。

【0091】

なお、設定された静止画のサイズ（イメージサイズ）に対応する画素の領域は、デジタルカメラとして設定されて静止画として利用可能な画素を含む領域（有効画素数：イメージエリア）が異なる（イメージサイズがイメージエリアよりも小さい）場合がある。このような場合、イメージエリア内の画素を用いて少なくとも最終フィールドに対応する分割撮像データを生成し、補間により生成できない画素（例えば、図４に示す３フィールド目の分割撮像データに含まれるラインデータＬ１２の画素）の生成を行わないようにする。つまり、静止画や動画として記録される画素について分割撮像データを生成することができればよく、記録されない画素についてデータを生成しないようにする（処理を省略する）ようにしてもよい。

【0092】

上記実施形態において、ベイヤ配列のカラーフィルタを含む撮像素子部２２を用いたが、その他の配列カラーフィルタを含む撮像素子部を用いても良い。また、画素の配列方向は直交する２つの軸に限らない。更には、各色の画素がチップの深さ方向に形成された撮像素子を用いても良い。また、赤（Ｒ），青（Ｂ），緑（Ｇｒ，Ｇｂ）以外の色のフィルタを含む撮像素子部を用いてもよい。フィルタは、原色フィルタに限らず、補色フィルタを用いてもよい。

【符号の説明】

【0093】

１１ 撮像部
１２ 画像処理部
１３ メモリ
３１ センサインタフェース
５０，６０，７０ センサインタフェース
５１〜５３ メモリアクセス部
５４ 演算部
６１，６２ メモリアクセス部
６３，６４ ラインメモリ
６５ 選択部
６６，６７ 乗算部
６８ 加算部
７１ メモリアクセス部
７２，７３ 乗算部
７４ 加算部
ＧＤ 撮像データ
Ｌ１〜Ｌ１２ ラインデータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】