(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022132541
(43)【公開日】2022-09-08
(54)【発明の名称】撮像素子および撮像装置
(51)【国際特許分類】
H04N 5/353 20110101AFI20220901BHJP
H04N 5/355 20110101ALI20220901BHJP
H04N 5/3745 20110101ALI20220901BHJP
【ＦＩ】
H04N5/353 500
H04N5/355
H04N5/3745
【審査請求】有
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2022115253
(22)【出願日】2022-07-20
(62)【分割の表示】P 2020166208の分割
【原出願日】2013-05-02
(31)【優先権主張番号】P 2012105316
(32)【優先日】2012-05-02
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2012139026
(32)【優先日】2012-06-20
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2012142126
(32)【優先日】2012-06-25
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2012149844
(32)【優先日】2012-07-03
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2012149946
(32)【優先日】2012-07-03
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】栗山 孝司
(72)【発明者】
【氏名】村田 寛信
(72)【発明者】
【氏名】綱井 史郎
(72)【発明者】
【氏名】小西 哲也
(72)【発明者】
【氏名】鈴木 政央
(57)【要約】
【課題】上記撮像ユニットにあって、セルごとに制御線がある。しかしながら、セル間での電荷の蓄積時間および画素信号の読み出しを細かく制御していない。
【解決手段】積層された複数の半導体基板を備える撮像素子であって、複数の半導体基板は、光を電荷に変換する複数の光電変換部を有する第１半導体基板と、複数の光電変換部のうち、少なくとも第１光電変換部で変換された電荷に基づく第１信号に画像処理を行うための第１評価値と、複数の光電変換部のうち、少なくとも第２光電変換部で変換された電荷に基づく第２信号に画像処理を行うための第２評価値とを演算する演算部を有する第２半導体基板と、を有する。
【選択図】図１
【解決手段】積層された複数の半導体基板を備える撮像素子であって、複数の半導体基板は、光を電荷に変換する複数の光電変換部を有する第１半導体基板と、複数の光電変換部のうち、少なくとも第１光電変換部で変換された電荷に基づく第１信号に画像処理を行うための第１評価値と、複数の光電変換部のうち、少なくとも第２光電変換部で変換された電荷に基づく第２信号に画像処理を行うための第２評価値とを演算する演算部を有する第２半導体基板と、を有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
積層された複数の半導体基板を備える撮像素子であって、
前記複数の半導体基板は、
光を電荷に変換する複数の光電変換部を有する第１半導体基板と、
前記複数の光電変換部のうち、少なくとも第１光電変換部で変換された電荷に基づく第１信号に画像処理を行うための第１評価値と、前記複数の光電変換部のうち、少なくとも第２光電変換部で変換された電荷に基づく第２信号に画像処理を行うための第２評価値とを演算する演算部を有する第２半導体基板と、
を有する撮像素子。
前記複数の半導体基板は、
光を電荷に変換する複数の光電変換部を有する第１半導体基板と、
前記複数の光電変換部のうち、少なくとも第１光電変換部で変換された電荷に基づく第１信号に画像処理を行うための第１評価値と、前記複数の光電変換部のうち、少なくとも第２光電変換部で変換された電荷に基づく第２信号に画像処理を行うための第２評価値とを演算する演算部を有する第２半導体基板と、
を有する撮像素子。
【請求項2】
請求項１に記載の撮像素子において、
前記演算部は、前記第１評価値を演算する第１演算回路と、前記第２評価値を演算する第２演算回路とを有する撮像素子。
前記演算部は、前記第１評価値を演算する第１演算回路と、前記第２評価値を演算する第２演算回路とを有する撮像素子。
【請求項3】
請求項１または請求項２に記載の撮像素子において、
前記第１評価値は、前記第１信号に対応付けて出力され、
前記第２評価値は、前記第２信号に対応付けて出力される撮像素子。
前記第１評価値は、前記第１信号に対応付けて出力され、
前記第２評価値は、前記第２信号に対応付けて出力される撮像素子。
【請求項4】
請求項１から請求項３のいずれか一項に記載の撮像素子において、
前記第１評価値に基づいて前記第１信号に画像処理を行い、前記第２評価値に基づいて前記第２信号に画像処理を行う画像処理部を備える撮像素子。
前記第１評価値に基づいて前記第１信号に画像処理を行い、前記第２評価値に基づいて前記第２信号に画像処理を行う画像処理部を備える撮像素子。
【請求項5】
請求項４に記載の撮像素子において、
前記画像処理部は、前記第１評価値に基づいて前記第１信号に圧縮処理を行い、前記第２評価値に基づいて前記第２信号に圧縮処理を行う撮像素子。
前記画像処理部は、前記第１評価値に基づいて前記第１信号に圧縮処理を行い、前記第２評価値に基づいて前記第２信号に圧縮処理を行う撮像素子。
【請求項6】
請求項４または請求項５に記載の撮像素子において、
前記画像処理部は、前記第１信号と前記第２信号とのうち、少なくとも一方の信号に基づいて画像データを生成する撮像素子。
前記画像処理部は、前記第１信号と前記第２信号とのうち、少なくとも一方の信号に基づいて画像データを生成する撮像素子。
【請求項7】
請求項１から請求項５のいずれか一項に記載の撮像素子において、
前記第１評価値に基づいて前記第１信号に画像処理を行う第１画像処理部と、
前記第２評価値に基づいて前記第２信号に画像処理を行う第２画像処理部と、
を備える撮像素子。
前記第１評価値に基づいて前記第１信号に画像処理を行う第１画像処理部と、
前記第２評価値に基づいて前記第２信号に画像処理を行う第２画像処理部と、
を備える撮像素子。
【請求項8】
請求項７に記載の撮像素子において、
前記第１画像処理部は、前記第１評価値に基づいて前記第１信号に圧縮処理を行い、
前記第２画像処理部は、前記第２評価値に基づいて前記第２信号に圧縮処理を行う撮像素子。
前記第１画像処理部は、前記第１評価値に基づいて前記第１信号に圧縮処理を行い、
前記第２画像処理部は、前記第２評価値に基づいて前記第２信号に圧縮処理を行う撮像素子。
【請求項9】
請求項７または請求項８に記載の撮像素子において、
前記第１画像処理部は、前記第１信号に基づいて第１画像データを生成し、
前記第２画像処理部は、前記第２信号に基づいて第２画像データを生成する撮像素子。
前記第１画像処理部は、前記第１信号に基づいて第１画像データを生成し、
前記第２画像処理部は、前記第２信号に基づいて第２画像データを生成する撮像素子。
【請求項10】
請求項１から請求項９のいずれか一項に記載の撮像素子において、
前記第１光電変換部と前記第２光電変換部とに電荷蓄積処理を実行させる駆動部を備える撮像素子。
前記第１光電変換部と前記第２光電変換部とに電荷蓄積処理を実行させる駆動部を備える撮像素子。
【請求項11】
請求項１０に記載の撮像素子において、
前記駆動部は、前記第１光電変換部と前記第２光電変換部とで異なる電荷蓄積処理を実行させる撮像素子。
前記駆動部は、前記第１光電変換部と前記第２光電変換部とで異なる電荷蓄積処理を実行させる撮像素子。
【請求項12】
請求項１０または請求項１１に記載の撮像素子において、
前記駆動部は、前記第１光電変換部と前記第２光電変換部とで異なる電荷蓄積時間となるように制御する撮像素子。
前記駆動部は、前記第１光電変換部と前記第２光電変換部とで異なる電荷蓄積時間となるように制御する撮像素子。
【請求項13】
請求項１２に記載の撮像素子において、
前記第１半導体基板は、前記第１光電変換部で変換された電荷を転送する第１転送部と、前記第２光電変換部で変換された電荷を転送する第２転送部とを有し、
前記駆動部は、前記第１転送部と前記第２転送部とを制御する撮像素子。
前記第１半導体基板は、前記第１光電変換部で変換された電荷を転送する第１転送部と、前記第２光電変換部で変換された電荷を転送する第２転送部とを有し、
前記駆動部は、前記第１転送部と前記第２転送部とを制御する撮像素子。
【請求項14】
請求項１２または請求項１３に記載の撮像素子において、
前記第１半導体基板は、前記第１光電変換部で変換された電荷を排出する第１排出部と、前記第２光電変換部で変換された電荷を排出する第２排出部とを有し、
前記駆動部は、前記第１排出部と前記第２排出部とを制御する撮像素子。
前記第１半導体基板は、前記第１光電変換部で変換された電荷を排出する第１排出部と、前記第２光電変換部で変換された電荷を排出する第２排出部とを有し、
前記駆動部は、前記第１排出部と前記第２排出部とを制御する撮像素子。
【請求項15】
請求項１から請求項１４のいずれか一項に記載の撮像素子において、
前記第１信号と前記第２信号とをデジタル信号に変換する変換部を備える撮像素子。
前記第１信号と前記第２信号とをデジタル信号に変換する変換部を備える撮像素子。
【請求項16】
請求項１５に記載の撮像素子において、
前記変換部は、前記第１信号をデジタル信号に変換する第１変換回路と、前記第２信号をデジタル信号に変換する第２変換回路とを有する撮像素子。
前記変換部は、前記第１信号をデジタル信号に変換する第１変換回路と、前記第２信号をデジタル信号に変換する第２変換回路とを有する撮像素子。
【請求項17】
請求項１から請求項１６のいずれか一項に記載の撮像素子を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子および撮像装置に関する。
【背景技術】
【0002】
裏面照射型撮像チップと信号処理チップが、複数画素をまとめたセル単位ごとにマイクロバンプを介して接続された撮像ユニットが知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００６－４９３６１号公報
［先行技術文献］
［特許文献］
［特許文献１］特開２００６－４９３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【0003】
上記撮像ユニットにあって、セルごとに制御線がある。しかしながら、セル間での電荷の蓄積時間および画素信号の読み出しを細かく制御していない。
【課題を解決するための手段】
【0004】
本発明の第１の態様においては、積層された複数の半導体基板を備える撮像素子であって、複数の半導体基板は、光を電荷に変換する複数の光電変換部を有する第１半導体基板と、複数の光電変換部のうち、少なくとも第１光電変換部で変換された電荷に基づく第１信号に画像処理を行うための第１評価値と、複数の光電変換部のうち、少なくとも第２光電変換部で変換された電荷に基づく第２信号に画像処理を行うための第２評価値とを演算する演算部を有する第２半導体基板と、を有する。
【0005】
本発明の第２の態様においては、撮像装置であって、上記撮像素子を備える。
【0006】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0007】
【図1】本実施形態に係る裏面照射型のＭＯＳ型撮像素子の断面図である。
【図2】撮像チップの画素配列と単位グループを説明する図である。
【図3】撮像チップの単位グループに対応する回路図である。
【図4】撮像素子の機能的構成を示すブロック図である。
【図5】本実施形態に係る撮像装置の構成を示すブロック図である。
【図6】画像処理部の機能ブロック図である。
【図7】撮像装置が動画を生成して記録する動作を示すフローチャートである。
【図8】撮像素子により撮像される画像の一例を示す。
【図9】撮像素子により撮像される画像の一例を示す。
【図10】各フレームレートと画像信号の出力タイミングとの関係を示す。
【図11】動画生成部により生成された注目領域動画および周辺領域動画を模式的に示す。
【図12】動画生成部が付加するヘッダ情報の一例を示す。
【図13】撮像装置が動画を再生して表示する動作を示すフローチャートである。
【図14】撮像装置が動画を生成して記録する他の動作の例を示すフローチャートである。
【図15】単位グループに対して間引き率０．５で読み出される画素の例を示す。
【図16】撮像装置が動画を再生して表示する動作を示すフローチャートである。
【図17】シーンの例と領域分割を説明する図である。
【図19】積算回数とダイナミックレンジの関係を示す図である。
【図20】撮影動作の処理を示すフロー図である。
【図21】信号処理チップの一例としての具体的構成を示すブロック図である。
【図22】本実施形態に係る他の裏面照射型のＭＯＳ型撮像素子の断面図である。
【図23】撮像チップの画素配列と単位グループを説明する図である。
【図24】撮像チップの単位グループに対応する回路図である。
【図25】本実施形態に係る撮像装置の構成を示すブロック図である。
【図26】信号処理チップの一例としての具体的構成を示すブロック図である。
【図27】演算回路１４１５の機能ブロックの一例である。
【図28】フレーム間の差分ｄとフレームレートｆとの対応関係の一例を示す。
【図29】撮像素子により撮像される画像の一例を示す。
【図30】撮像素子により撮像される画像の一例を示す。
【図31】他の演算回路の機能ブロックの一例である。
【図32】一の単位グループに対して間引き率０．５で読み出される画素１１８８の例を示す。
【図33】さらに他の演算回路の機能ブロックの一例を示す。
【図34】利得と画素信号との関係を模式的に示す。
【図35】本実施形態に係る裏面照射型のＭＯＳ型撮像素子の断面図である。
【図36】撮像チップの画素配列と画素ブロックを説明する図である。
【図37】撮像チップの画素ブロックに対応する回路図である。
【図38】撮像素子の構成の一部とその動作例を示す図である。
【図39】本実施形態に係る撮像装置の構成を示すブロック図である。
【図40】画像処理部の機能ブロック図である。
【図41】撮像装置が動画を生成して記録する動作を示すフローチャートである。
【図42】撮像素子により撮像される画像の一例を示す。
【図43】撮像素子により撮像される画像の一例を示す。
【図44】各フレームレートと画像信号の出力タイミングとの関係を示す。
【図45】動画生成部により生成された注目領域動画および周辺領域動画を模式的に示す。
【図46】動画生成部が付加するヘッダ情報の一例を示す。
【図47】撮像装置が動画を再生して表示する動作を示すフローチャートである。
【図48】撮像装置が動画を生成して記録する他の動作の例を示すフローチャートである。
【図49】一の画素ブロックに対して間引き率０．５で読み出される画素の例を示す。
【図50】撮像装置が動画を再生して表示する動作を示すフローチャートである。
【図51A】シーンの例を説明する図である。
【図51B】領域分割を説明する図である。
【図53】積算回数とダイナミックレンジの関係を示す図である。
【図54】撮影動作の処理を示すフロー図である。
【図55】信号処理チップの一例としての具体的構成を示すブロック図である。
【図56】周辺画素データ処理部の構成を示すブロック図である。
【図57】演算回路の構成の一例を示すブロック図である。
【図58】演算回路の動作の例を示すフローチャートである。
【図59】出力回路で生成されるデータ配列の構成を示す。
【図61】本実施形態に係る裏面照射型のＭＯＳ型撮像素子の断面図である。
【図62】撮像チップの画素配列と画素ブロックを説明する図である。
【図63】撮像チップの画素ブロックに対応する回路図である。
【図64A】撮像素子の構成の一部とその動作例を示す図である。
【図64B】撮像素子の他の動作例を示す図である。
【図64C】撮像素子の他の動作例を示す図である。
【図65】本実施形態に係る撮像装置の構成を示すブロック図である。
【図66】画像処理部の機能ブロック図である。
【図67】撮像装置が動画を生成して記録する動作を示すフローチャートである。
【図68】撮像素子により撮像される画像の一例を示す。
【図69】撮像素子により撮像される画像の一例を示す。
【図70】各フレームレートと画像信号の出力タイミングとの関係を示す。
【図71】動画生成部により生成された注目領域動画および周辺領域動画を模式的に示す。
【図72】動画生成部が付加するヘッダ情報の一例を示す。
【図73】撮像装置が動画を再生して表示する動作を示すフローチャートである。
【図74】撮像素子の画素領域とその動作例の平面図である。
【図75】撮像素子の画素領域の他の構成とその動作例の平面図である。
【図76】撮像素子の画素領域の他の構成とその動作例の平面図である。
【図77】撮像素子の画素領域の他の構成とその動作例の平面図である。
【図78】撮像素子の画素領域の他の構成とその動作例を示す図である。
【図79】撮像装置が動画を生成して記録する他の動作の例を示すフローチャートである。
【図80】に対して間引き率０．５で読み出される画素の例を示す。
【図81】撮像装置が動画を再生して表示する動作を示すフローチャートである。
【図82A】シーンの例を説明する図である。
【図82B】領域分割を説明する図である。
【図84】積算回数とダイナミックレンジの関係を示す図である。
【図85】撮影動作の処理を示すフロー図である。
【図86】信号処理チップの一例としての具体的構成を示すブロック図である。
【発明を実施するための形態】
【0008】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0009】
図１は、本実施形態に係る裏面照射型の撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。
【0010】
なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【0011】
撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。
【0012】
ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が一つの画素を形成する。
【0013】
カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。
【0014】
配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
【0015】
配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
【0016】
同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
【0017】
なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ１０９は、例えば後述する一つの単位グループに対して一つ程度設ければ良い。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けても良い。
【0018】
信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられて良い。
【0019】
図２は、撮像チップ１１３の画素配列と単位グループ１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する４画素×４画素の１６画素が一つの単位グループ１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位グループ１３１を形成する概念を示す。単位グループ１３１を形成する画素の数はこれに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。
【0020】
画素領域の部分拡大図に示すように、単位グループ１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
【0021】
本実施形態において、複数の単位グループ１３１のうちの少なくとも一つの単位グループが選択され、他の単位グループとは異なる制御パラメータで、それぞれの単位グループに含まれる画素が制御される。制御パラメータの例は、フレームレート、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
【0022】
図３は、撮像チップ１１３の単位グループ１３１に対応する回路図である。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。
【0023】
上述のように、単位グループ１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。
【0024】
各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。
【0025】
各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けても良いし、信号処理チップ１１１側に設けても良い。
【0026】
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位はリセットされる。
【0027】
ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。
【0028】
図示するように、本実施形態においては、単位グループ１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、単位グループ１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５が選択パルスによって順次印加されて、選択的に出力配線３０９に出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、単位グループ１３１毎に別個に設けられる。
【0029】
このように単位グループ１３１を基準として回路を構成することにより、単位グループ１３１ごとに電荷蓄積時間を制御することができる。換言すると、隣接する単位グループ１３１同士で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ１３１に１回の電荷蓄積を行わせている間に、他方の単位グループ１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ１３１同士で異なるフレームレートで動画用の各フレームを出力することもできる。
【0030】
図４は、撮像素子１００の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位グループ１３１を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該単位グループ１３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。
【0031】
マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。画素メモリ４１４のそれぞれは、後述する最大積算回数に対応する画素信号を格納できる容量を有する。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。
【0032】
演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられても良いし、メモリチップ１１２に設けられても良い。なお、図では１つの単位グループ１３１の分の接続を示すが、実際にはこれらが単位グループ１３１ごとに存在して、並列で動作する。ただし、演算回路４１５は単位グループ１３１ごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれの単位グループ１３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理しても良い。
【0033】
上記の通り、単位グループ１３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
【0034】
図５は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置５００は、撮影光学系としての撮影レンズ５２０を備え、撮影レンズ５２０は、光軸ＯＡに沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであっても構わない。撮像装置５００は、撮像素子１００、システム制御部５０１、駆動部５０２、測光部５０３、ワークメモリ５０４、記録部５０５、および表示部５０６を主に備える。
【0035】
撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では瞳近傍に配置された仮想的な１枚のレンズで当該撮影レンズ５２０を代表して表している。駆動部５０２は、システム制御部５０１からの指示に従って撮像素子１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。この意味において駆動部５０２は、撮像素子１００に対して電荷蓄積を実行させて画素信号を出力させる撮像素子制御部の機能を担うと言える。
【0036】
撮像素子１００は、画素信号をシステム制御部５０１の画像処理部５１１へ引き渡す。画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ベイヤー配列で得られた信号からカラー映像信号を生成した後に圧縮処理を実行する。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。
【0037】
測光部５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。演算部５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。測光部５０３は撮像素子１００で兼用してもよい。なお、演算部５１２は、撮像装置５００を動作させるための各種演算も実行する。
【0038】
駆動部５０２は、一部または全部が撮像チップ１１３に搭載されてもよいし、一部または全部が信号処理チップ１１１に搭載されてもよい。システム制御部５０１の一部が撮像チップ１１３または信号処理チップ１１１に搭載されてもよい。
【0039】
図６は、画像処理部の機能ブロック図である。画像処理部５１１は、上記の機能に加えて、被写体推定部１５０、グループ選択部１５２、動画生成部１５４および動画合成部１５６を有する。これらの各機能は、後述する。
【0040】
【0041】
図７の動作は、ユーザが録画ボタンの押下等により、撮像装置５００に対して動画の生成を指示したときに開始する。まず、被写体推定部１５０は、駆動部５０２を駆動して撮像素子１００からの画像信号に基づく画像データを取得し、当該画像データが示す画像に含まれる主要被写体を推定する（Ｓ１００）。
【0042】
この場合に、駆動部５０２は撮像領域全体に含まれる単位グループ１３１、例えばすべての単位グループ１３１から画像信号を出力させることが好ましい。また、駆動部５０２は各単位グループ１３１に含まれるすべての画素から画像信号を出力させてもよいし、予め定められた間引き率で間引いた画素から画像信号を出力させてもよい。被写体推定部１５０は、撮像素子１００から時系列的に得られた複数の画像を比較して、移動している被写体を主要被写体として特定する。なお、主要被写体の推定には、他の方法が用いられてもよい。
【0043】
例えば、被写体推定部１５０は、撮像素子１００から時間的に前後する画像として図８の画像１７０および図９の画像１７８を取得した場合に、これらの差分から子供を主要被写体１７１として特定する。なお、画像１７０および画像１７８における格子線は単位グループ１３１の境界を示すが、単位グループ１３１の数は例示であってこれらの図に示す数に限られない。
【0044】
グループ選択部１５２は、被写体推定部１５０により推定された主要被写体１７１の像光が入射している単位グループ１３１を少なくとも一つ選択する（Ｓ１０２）。例えば、画像１７０において、主要被写体１７１を少なくとも一部含んでいる単位グループ１３１が選択される。さらに、主要被写体１７１が撮像領域内で移動することを考慮して、グループ選択部１５２は、主要被写体１７１を少なくとも一部含んでいる単位グループ１３１のさらに周囲の単位グループ１３１も選択することが好ましい。
【0045】
グループ選択部１５２は、これら選択した単位グループ１３１の集合を注目領域１７２とする。さらにグループ選択部１５２は、撮像領域全体において注目領域１７２にふくまれない単位グループ１３１からなる集合を周辺領域１７６とする。グループ選択部１５２は、撮像領域の全体に対する注目領域１７２の範囲を示す領域情報１７４を特定する。
【0046】
図８に示す例において、注目領域１７２は、横７個、縦４個の計２８個の単位グループ１３１からなる矩形の領域である。これに対し、周辺領域１７６は、撮像領域である横２１個、縦６個の計１２６個から注目領域１７２を除いた９８個の単位グループ１３１からなる。また、領域情報１７４として、撮像領域における注目領域１７２の図中の左上端の単位グループ１３１の左からおよび上から数えた位置（９，２）が特定される。さらにサイズ情報として、注目領域１７２の縦横数７×４が特定される。
【0047】
グループ選択部１５２が、注目領域１７２に含まれる単位グループ１３１を特定する情報と周辺領域１７６とを特定する情報とを駆動部５０２に伝達する。この場合に、注目領域１７２と周辺領域１７６とにそれぞれ適用するフレームレートの情報を併せて伝達する。ここで、注目領域１７２に適用するフレームレートは、周辺領域１７６に適用するフレームレートより高いことが好ましい。例えば、周辺領域１７６に適用するフレームレートが６０ｆｐｓである場合に、注目領域１７２に適用するフレームレートは１８０ｆｐｓに設定される。これらのフレームレートの値は予め設定されて、グループ選択部１５２が参照可能に格納されていることが好ましいが、ユーザが後から値を変更できるようになっていてもよい。
【0048】
駆動部５０２は、撮像素子１００を駆動して各フレームレートで撮像を行う（Ｓ１０４）。すなわち、駆動部５０２は、注目領域１７２に含まれる単位グループ１３１に対しては、高いフレームレートで電荷蓄積および画像信号の出力を実行させ、周辺領域１７６に含まれる単位グループ１３１に対しては、低いフレームレートで電荷蓄積および画像信号の出力を実行させる。言い換えれば、駆動部５０２は、周辺領域１７６に含まれる単位グループ１３１に対して１つのフレームに対応する画像信号を得る間に、注目領域１７２に含まれる単位グループ１３１に対して時系列的に並んだ複数のフレームに対応する画像信号を得る。
【0049】
例えば、周辺領域１７６のフレームレートが６０ｆｐｓであって、注目領域１７２のフレームレートが１８０ｆｐｓに設定されている場合に、図１０に示すように、駆動部５０２は、周辺領域１７６から１つのフレームＢ１の画像信号を得る時間１／６０ｓまでの間に、注目領域１７２から３つのフレームＡ１，Ａ２，Ａ３の画像信号を得る（１／６０ｓ＝３×１／１８０ｓ）。この場合に、駆動部５０２は、周辺領域１７６に含まれる単位グループ１３１のリセットトランジスタ３０３、転送トランジスタ３０２および選択トランジスタ３０５の組と、注目領域１７２に含まれる単位グループ１３１のリセットトランジスタ３０３、転送トランジスタ３０２および選択トランジスタ３０５の組とを別個に駆動することにより、異なるフレームレートで画像信号を得る。
【0050】
なお、図１０は画像信号の出力のタイミングを示しているが、露光時間の長さまでも示しているものではない。駆動部５０２は予め演算部５１２で算出された露光時間となるように、周辺領域１７６と注目領域１７２とに対して、上記トランジスタの組を駆動する。
【0051】
これに加えて、露光時間の長さをフレームレートに応じて変化させてもよい。例えば図１０に示す例において、周辺領域１７６の１フレームの露光時間を１／３倍にしておき、注目領域１７２と実質的に同じ露光時間としてもよい。また、画像信号の出力後にフレームレートの比で当該画像信号を補正してもよい。また、周辺領域１７６と注目領域１７２との間で画像信号の出力のタイミングが図１０のように同期していなくても、非同期であってもよい。
【0052】
画像処理部５１１は、注目領域１７２からの画像信号をワークメモリ５０４の予め定められた記憶領域に、フレームごとに順次、記憶する（Ｓ１０６）。同様に、画像処理部５１１は、周辺領域１７６からの画像信号をワークメモリ５０４の予め定められた記憶領域に、フレームごとに順次、記憶する（同ステップ）。
【0053】
動画生成部１５４は、ワークメモリ５０４に記憶された注目領域１７２の画像信号を読み出して（Ｓ１０８）、注目領域１７２の複数のフレームが含まれる注目領域動画のデータを生成する（Ｓ１１０）。同様に、動画生成部１５４は、ワークメモリ５０４に記憶された周辺領域１７６の画像信号を読み出して、周辺領域１７６の複数のフレームが含まれる周辺領域動画のデータを生成する（同ステップ）。ここで、注目領域動画および周辺領域動画はそれぞれ、ＭＰＥＧのような汎用のフォーマットで生成されてそれぞれ別個に再生できるようになっていてもよいし、後述する合成処理を経なければ再生できない専用のフォーマットで生成されてもよい。
【0054】
図１１は、動画生成部により生成された注目領域動画および周辺領域動画を模式的に示す。動画生成部１５４は、駆動部５０２が注目領域１７２を駆動したフレームレートに対応したフレームレートで、注目領域動画を生成する。図１１に示す例において、駆動部５０２が注目領域１７２を駆動したフレームレート１／１８０ｆｐｓと同一のフレームレート１／１８０ｆｐｓで、注目領域動画が生成される。
【0055】
同様に、動画生成部１５４は、駆動部５０２が周辺領域１７６を駆動したフレームレートに対応したフレームレートで、周辺領域動画を生成する。図１１に示す例において、駆動部５０２が周辺領域１７６を駆動したフレームレート１／６０ｆｐｓと同一のフレームレート１／６０ｆｐｓで、周辺領域動画が生成される。なお、周辺領域動画において注目領域１７２に対応する領域には有効な値が存在せず、図中は斜線で示した。
【0056】
さらに動画生成部１５４は注目領域動画および周辺領域動画にヘッダ情報を付加して、これらのデータを記録部５０５に記録する（Ｓ１１２）。ヘッダ情報は、撮像領域の全体に対する注目領域１７２の位置を示す領域情報、注目領域１７２の大きさを示すサイズ情報および、注目領域１７２の画像信号の出力タイミングと周辺領域１７６の画像信号の出力タイミングとの関係を示すタイミング情報を含む。
【0057】
システム制御部５０１は次の単位時間の撮像を行うか否かを判断する（Ｓ１１４）。次の単位時間の撮像を行うか否かは、その時点でユーザから動画の記録ボタンが押下されているか否かで判断される。次の単位時間の撮像を行う場合は（Ｓ１１４：Ｙｅｓ）、上記ステップＳ１０２に戻り、次の単位時間の撮像を行わない場合は（Ｓ１１４：Ｎｏ）、当該動作を終了する。
【0058】
ここで「単位時間」は予めシステム制御部５０１に設定されている時間であって、数秒程度である。この単位時間、注目領域１７２のフレームレートおよび単位グループ数、並びに、周辺領域１７６のフレームレートおよび単位グループ数によって、ステップＳ１０６において記憶に用いられる記憶容量が決まる。またこれらの情報に基づいて、当該記憶容量において注目領域１７２のデータを記憶する領域と、周辺領域１７６のデータを記憶する領域とが定められる。
【0059】
以上により、主要被写体１７１が含まれる注目領域１７２からは高いフレームレートで画像信号を得ることができるとともに、周辺領域１７６を低いフレームレートで抑えることでデータ量を減らすことができる。よって、全画素からの高速読出しに比べて、駆動および画像処理の負荷を減らし、消費電力および発熱を抑えることができる。
【0060】
なお、図７に示す例において次の単位時間が開始されるときに、ステップＳ１０２で改めて単位グループ１３１が選択され、領域情報およびサイズ情報が更新される。これにより、主要被写体１７１に追従して注目領域１７２を逐次、更新することができる。図１１に示す例においては、注目領域動画における単位時間の最初のフレームＡ７において、以前の単位時間の最後のフレームＡ６とは異なる単位グループ１３１からなる注目領域１８２が選択されるとともに、これに伴って領域情報１８４および周辺領域１８６も更新されている。
【0061】
図１２は、動画生成部が付加するヘッダ情報の一例を示す。図１２のヘッダ情報は、注目領域動画を特定する注目領域動画ＩＤ、注目領域動画のフレームレート、当該注目領域動画に対応する周辺領域動画を特定する周辺領域動画ＩＤ、周辺領域動画のフレームレート、タイミング情報、領域情報およびサイズ情報を含む。これらのヘッダ情報は、注目領域動画および周辺領域動画のいずれか一方にヘッダ情報として付加されていてもよいし、両方に付加されていてもよい。
【0062】
図１３は、撮像装置が動画を再生して表示する動作を示すフローチャートである。当該動作は、表示部５０６にサムネイル表示された注目領域動画のいずれかをユーザが特定して再生ボタンを押下したことにより開始する。
【0063】
動画合成部１５６は、ユーザにより特定された注目領域動画のデータを記録部５０５から読み出す（Ｓ１５０）。動画合成部１５６は、当該注目領域動画に対応する周辺領域動画のデータを記録部５０５から読み出す（Ｓ１５２）。
【0064】
この場合に、動画合成部１５６は、ステップＳ１５０で読み出した注目領域動画のヘッダ情報に示されている周辺領域動画ＩＤにより周辺領域動画を特定する。これに代えて、ヘッダ情報に示されているタイミング情報と同一のタイミング情報をヘッダ情報として含む周辺領域画像が検索されて特定されてもよい。
【0065】
なお、上記の例では注目領域動画にヘッダ情報が含まれるとしている。一方、注目領域動画にヘッダ情報が含まれずに周辺領域動画にヘッダ情報が含まれている場合には、先にステップＳ１５０においてユーザに周辺領域動画を特定させて読出し、そのヘッダ情報からステップＳ１５２において注目領域動画を特定して読み出してもよい。
【0066】
動画合成部１５６は、注目領域動画のフレームと周辺領域動画のフレームとを用いて、表示動画のフレームを合成する（Ｓ１５４）。この場合にまず、注目領域動画の先頭のフレームＡ１が、周辺領域動画の先頭のフレームＢ１における領域情報１７４が示す位置に嵌め込まれることにより、表示動画の先頭のフレームＣ１が合成される。動画合成部１５６は、図１１に示すように、表示動画の先頭のフレームＣ１を表示部５０６に表示させる（Ｓ１５６）。
【0067】
動画合成部１５６は、周辺領域動画における次のフレームＢ２までの間に注目領域動画の次のフレームがあるか否かを判断する（Ｓ１５８）。動画合成部１５６は、注目領域動画の次のフレームがある場合に（Ｓ１５８：Ｙｅｓ）、注目領域１７２を次のフレームＡ２、Ａ３で更新しかつ周辺領域１７６を前のフレームＢ１に保持することにより（Ｓ１６２）、表示動画の次のフレームＣ２、Ｃ３を合成して（Ｓ１６２）、順次、表示する（Ｓ１５６）。
【0068】
一方、ステップＳ１５８において周辺領域動画における次のフレームＢ２までの間に注目領域動画の次のフレームがない場合に（Ｓ１５８）、動画合成部１５６は、注目領域１７２を次のフレームＡ４で更新しかつ周辺領域１７６も次のフレームＢ２で更新することにより（Ｓ１６４）、表示動画の次のフレームＣ４を合成して（Ｓ１６２）、表示する（Ｓ１５６）。
【0069】
周辺領域動画において周辺領域１７６の次フレームがある限り（Ｓ１６０：Ｙｅｓ）、ステップＳ１５４からＳ１６０が繰り返される。周辺領域動画において周辺領域１７６の次フレームがない場合に（Ｓ１６０：Ｎｏ）、動画合成部１５６は、当該注目領域動画と周辺領域動画との組の単位時間の次の単位時間における注目領域動画と周辺領域動画との組があるか否かを検索する（Ｓ１６６）。例えば、動画合成部１５６は、記録部５０５の同一フォルダ内において、当該注目領域動画のタイミング情報が示すタイミングの直後を示すタイミング情報がヘッダ情報に含まれた注目領域動画があるか否かを検索する。
【0070】
次の単位時間における注目領域動画と周辺領域動画との組がある限り（Ｓ１６６：Ｙｅｓ）、ステップＳ１５０からＳ１６６が繰り返される。次の単位時間における注目領域動画と周辺領域動画との組がない場合に（Ｓ１６６：Ｎｏ）、当該動作を終了する。
【0071】
以上によれば、全体のデータ量を減らしつつ、主要被写体１７１が含まれる注目領域１７２について滑らかな動画を表示することができる。なお、ステップＳ１６２においては、注目領域１７２がそのまま次のフレームで更新されて表示画像のフレームが合成されているが、合成の方法はこれに限られない。他の例として、注目領域１７２における主要被写体１７１の境界線が画像処理により特定され、当該境界線で囲まれた主要被写体１７１については次のフレームに更新するとともに、注目領域１７２内であっても主要被写体１７１の境界線外側については前のフレームを維持して、周辺領域１７６のフレームと合成されてもよい。すなわち、注目領域１７２における境界線外側については周辺領域１７６のフレームレートに落としてもよい。これにより表示動画における滑らかさの境界が不自然に見えることを防ぐことができる。また、再生のフレームレートは、撮影時のフレームレート（注目領域は１８０ｆｐｓ、周辺領域は６０ｆｐｓ）と同じである必要はなく、例えば注目領域を６０ｆｐｓ、周辺領域を２０ｆｐｓなどとしてもよい。その場合はスローモーション再生となる。
【0072】
【0073】
図１４の動作において、注目領域１７２と周辺領域１７６とで、図７のフレームレートに代えて、または、加えて間引き率を異ならせている。より詳しくは、ステップＳ１２０において、駆動部５０２は、注目領域１７２に含まれる単位グループ１３１に対しては、低い間引き率で間引いた画素に対して電荷蓄積および画像信号の出力を実行させ、周辺領域１７６に含まれる単位グループ１３１に対しては、高い間引き率で間引いた画素に対して電荷蓄積および画像信号の出力を実行させる。例えば注目領域１７２に含まれる単位グループ１３１に対して間引き率０すなわち全画素が読み出され、周辺領域１７６に含まれる単位グループ１３１に対して間引き率０．５すなわち半分画素が読み出される。
【0074】
この場合に、駆動部５０２は、周辺領域１７６に含まれる単位グループ１３１のリセットトランジスタ３０３、転送トランジスタ３０２および選択トランジスタ３０５の組と、注目領域１７２に含まれる単位グループ１３１のリセットトランジスタ３０３、転送トランジスタ３０２および選択トランジスタ３０５の組とを別個に駆動することにより、異なる間引き率で画像信号を得る。
【0075】
ステップＳ１１０において、動画生成部１５４は、低い間引き率で出力された注目領域１７２の画像信号に基づき、注目領域１７２に対応する注目領域動画を生成する。動画生成部１５４は、同様に、高い間引き率で出力された周辺領域１７６の画像信号に基づき、周辺領域１７６に対応する周辺領域動画を生成する。またステップＳ１１２において、動画生成部１５４は、それぞれの間引き率の情報を付加して注目領域動画および周辺領域動画を記録部５０５に記録する。
【0076】
図１５は、一の単位グループに対して間引き率０．５で読み出される画素１８８の例を示す。図１５に示す例において、周辺領域１７６の単位グループ１３２がベイヤー配列である場合に垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位でみた場合の二行づつ交互に、読み出される画素１８８と読み出されない画素が設定される。これにより色バランスを崩すことなく間引き読出しをすることができる。
【0077】
【0078】
図１６のステップＳ１７０において、動画合成部１５６は、周辺領域動画のフレームの画素を補完して解像度を注目領域動画のフレームの解像度と整合させてから、注目領域動画のフレームを周辺領域動画のフレームに嵌め込むことにより、表示画像のフレームを合成する。これにより、主要被写体１７１が含まれる注目領域１７２からは高い解像度で画像信号を得ることができるとともに、周辺領域１７６を低い解像度で抑えることでデータ量を減らすことができる。よって、全画素からの高速読出しに比べて、駆動および画像処理の負荷を減らし、消費電力および発熱を抑えることができる。
【0079】
なお、図１から図１６に示す例において、注目領域１７２は矩形であるが注目領域１７２の形状はこれに限られない。注目領域１７２は単位グループ１３１の境界線に沿っていれば凸の多角形、凹の多角形、または、中に周辺領域１７６が入り込んだドーナツ形状等であってもよい。また、注目領域１７２は互いに離間して複数個設定されてもよい。その場合に、互いの注目領域１７２で異なるフレームレートが設定されてもよい。
【0080】
また、注目領域１７２および周辺領域１７６のフレームレートは可変であってもよい。例えば、単位時間が経過するごとに主要被写体１７１の移動量を検出して、主要被写体１７１の移動量が大きいほど注目領域１７２により高いフレームレートを設定してもよい。また、単位時間内で随時、主要被写体１７１に追従して注目領域１７２に含まれるべき単位グループ１３１の選択を更新してもよい。
【0081】
図７および図１４の動画の生成はユーザの録画ボタンの押下により開始し、図１３および図１６の動画の再生はユーザの再生ボタンの押下により開始しているが、開始時点はこれに限られない。他の例として、ユーザからの一つのボタン操作によって、動画の生成の動作と再生の動作とを連続して実行させて、表示部５０６にスルー画表示（またはライブビュー表示ともいう）してもよい。この場合に、注目領域１７２をユーザに認識させる表示が重畳されてもよい。例えば、表示部５０６において注目領域１７２の境界線に枠を表示したり、周辺領域１７６の輝度を下げるか注目領域１７２の輝度を上げるかしてもよい。
【0082】
図１４の動作において、注目領域１７２と周辺領域１７６とで間引き率を異ならせている。間引き率を異ならせることに代えて、隣接行の画素の画素信号を加算するときの行数を異ならせてもよい。例えば、注目領域１７２においては行数が１、すなわち、隣接行で加算せずに画素信号を出力し、周辺領域１７６においては注目領域１７２よりも多い行数、例えば行数を２として、隣接する２行の同じ列の画素の画素信号を出力する。これにより、図１４と同様に、周辺領域１７６よりも注目領域１７２の解像度を高く維持しつつ、全体の信号量を減らすことができる。また、隣接行の画素信号を加算することに代えて、隣接列の画素信号を加算してもよい。この場合は、注目領域１７２と周辺領域１７６とで隣接列の画素の画素信号を加算するときの列数を異ならせる。さらに、上記加算においては、加算した行数または列数で当該加算値を割った平均を算出する処理を含めてもよい。
【0083】
なお、動画合成部１５６は撮像装置５００の画像処理部５１１に設けられていることに代えて、外部の表示装置、例えばＰＣに設けられてもよい。また、動画を生成する場合に限られず、静止画を生成する場合に上記実施形態が適用されてもよい。
【0084】
また、上記実施形態はいずれも複数の単位グループ１３１を、注目領域１７２と周辺領域１７６との２つに分けているが、これに限られず３つ以上の領域に分けてもよい。この場合に、注目領域１７２と周辺領域１７６との境界に該当する単位グループ１３１を境界領域として、当該境界領域には、注目領域１７２に用いられる制御パラメータの値と周辺領域１７６に用いられる制御パラメータの値との中間の値が用いられて制御されてもよい。これにより、注目領域１７２と周辺領域１７６との境界が不自然に見えることを防ぐことができる。
【0085】
注目領域１７２と周辺領域１７６とで電荷の蓄積時間、蓄積回数等を異ならせてもよい。この場合に注目領域１７２と周辺領域１７６とを輝度に基づいて分けてもよく、さらに中間領域を設けてもよい。
【0086】
図１７は、シーンの例と領域分割を説明する図である。図１７（ａ）は、撮像チップ１１３の画素領域が捉えるシーンを示す。具体的には、屋内環境に含まれるシャドウ被写体６０１および中間被写体６０２と、窓枠６０４の内側に観察される屋外環境のハイライト被写体６０３とが同時に写り込むシーンである。このような、ハイライト部からシャドウ部までの明暗差が大きなシーンを撮影する場合、従来の撮像素子であれば、ハイライト部を基準として電荷蓄積を実行するとシャドウ部で黒潰れが生じ、シャドウ部を基準として電荷蓄積を実行するとハイライト部で白飛びが生じた。すなわち、ハイライト部もシャドウ部も一律に一度の電荷蓄積により画像信号を出力させるには、明暗差の大きなシーンに対してフォトダイオードのダイナミックレンジが不足していると言える。そこで、本実施形態においては、シーンをハイライト部、シャドウ部といった部分領域に分割して、それぞれの領域に対応するフォトダイオードの電荷蓄積回数を互いに異ならせることにより、ダイナミックレンジの実質的な拡大を図る。
【0087】
図１７（ｂ）は、撮像チップ１１３の画素領域における領域分割を示す。演算部５１２は、測光部５０３が捉えた図１７（ａ）のシーンを解析して、輝度を基準に画素領域を分割する。例えば、システム制御部５０１は、測光部５０３に露光時間を変更しつつ複数回のシーン取得を実行させ、演算部５１２は、その白飛び領域、黒潰れ領域の分布の変化を参照して画素領域の分割ラインを決定する。図１７（ｂ）の例においては、演算部５１２は、シャドウ領域６１１、中間領域６１２、およびハイライト領域６１３の３領域に分割している。
【0088】
分割ラインは、単位グループ１３１の境界に沿って定義される。すなわち、分割された各領域は、整数個のグループをそれぞれ含む。そして、同一の領域に包含される各グループの画素は、演算部５１２によって決定されたシャッタ速度に対応する期間内において、同一回数の電荷蓄積および画素信号出力を行う。属する領域が異なれば、異なる回数の電荷蓄積および画素信号出力を行う。
【0089】
図１８は、図１７の例による分割された領域ごとの電荷蓄積制御を説明する図である。演算部５１２は、ユーザから撮影準備指示を受けると、測光部５０３の出力からシャッタ速度Ｔ０を決定する。さらに、上述のようにシャドウ領域６１１、中間領域６１２およびハイライト領域６１３に分割して、それぞれの輝度情報から電荷蓄積回数を決定する。電荷蓄積回数は、１回あたりの電荷蓄積により画素が飽和しないように決定される。例えば、１回の電荷蓄積動作において蓄積可能な８割から９割の電荷が蓄積されることを基準として、電荷蓄積回数が決定される。
【0090】
ここでは、シャドウ領域６１１を１回とする。すなわち、決定されたシャッタ速度Ｔ０と電荷蓄積時間を一致させる。また、中間領域６１２の電荷蓄積回数を２回とする。すなわち、１回の電荷蓄積時間をＴ０／２として、シャッタ速度Ｔ０の間に２回の電荷蓄積を繰り返させる。また、ハイライト領域６１３の電荷蓄積回数を４回とする。すなわち、１回の電荷蓄積時間をＴ０／４として、シャッタ速度Ｔ０の間に４回の電荷蓄積を繰り返させる。
【0091】
ユーザから撮影指示を時刻ｔ＝０で受けると、駆動部５０２は、いずれの領域に属するグループの画素に対しても、リセットパルスと転送パルスを印加する。この印加をトリガーとして、いずれの画素も電荷蓄積を開始する。
【0092】
時刻ｔ＝Ｔ０／４となったら、駆動部５０２は、ハイライト領域６１３に属するグループの画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３０９に出力させる。グループ内の全ての画素の画素信号を出力させたら、駆動部５０２は、ハイライト領域６１３に属するグループの画素に対して再びリセットパルスと転送パルスを印加して、２回目の電荷蓄積を開始させる。
【0093】
なお、画素信号の選択出力には時間を要するので、１回目の電荷蓄積の終了と２回目の電荷蓄積の開始の間には時間差が生じる。この時間差が実質的に無視し得るのであれば、上述のように、シャッタ速度Ｔ０に対して電荷蓄積回数で割った時間を１回の電荷蓄積時間とすれば良い。一方、無視し得ないのであれば、その時間を考慮して、シャッタ速度Ｔ０を調整したり、１回の電荷蓄積時間をシャッタ速度Ｔ０に対して電荷蓄積回数で割った時間よりも短くしたりすれば良い。
【0094】
時刻ｔ＝Ｔ０／２となったら、駆動部５０２は、中間領域６１２とハイライト領域６１３に属するグループの画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３０９に出力させる。グループ内の全ての画素の画素信号を出力させたら、駆動部５０２は、中間領域６１２とハイライト領域６１３に属するグループの画素に対して再びリセットパルスと転送パルスを印加して、中間領域６１２に対しては２回目の、ハイライト領域６１３に対しては３回目の電荷蓄積を開始させる。
【0095】
時刻ｔ＝３Ｔ０／４となったら、駆動部５０２は、ハイライト領域６１３に属するグループの画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３０９に出力させる。グループ内の全ての画素の画素信号を出力させたら、駆動部５０２は、ハイライト領域６１３に属するグループの画素に対して再びリセットパルスと転送パルスを印加して、４回目の電荷蓄積を開始させる。
【0096】
時刻ｔ＝Ｔ０となったら、駆動部５０２は、全領域の画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３０９に出力させる。以上の制御により、シャドウ領域６１１に対応する画素メモリ４１４にはそれぞれ１回分の画素信号が格納され、中間領域６１２に対応する画素メモリ４１４にはそれぞれ２回分の画素信号が格納され、ハイライト領域６１３に対応する画素メモリ４１４にはそれぞれ４回分の画素信号が格納される。
【0097】
これらの画素信号は、順次、画像処理部５１１へ転送される。画像処理部５１１は、この画素信号から高ダイナミックレンジの画像データを生成する。具体的な処理については後述する。
【0098】
図１９は、積算回数とダイナミックレンジの関係を示す図である。繰り返し実行された電荷蓄積に対応する複数回分の画素信号は、画像処理部５１１により積算処理されて、高ダイナミックレンジの画像データの一部を形成する。
【0099】
積算回数が１回、すなわち電荷蓄積を１回行った領域のダイナミックレンジを基準とした場合、積算回数が２回、すなわち電荷蓄積を２回行って出力信号を積算した領域のダイナミックレンジの拡大分は１段分となる。同様に、積算回数を４回にすれば２段分となり、１２８回にすれば７段分となる。すなわち、ｎ段分のダイナミックレンジ拡大を図るには、２ｎ回の出力信号を積算すれば良い。
【0100】
ここで、画像処理部５１１がいずれの分割領域が何回の電荷蓄積を行ったかを識別するために、積算回数を示す３ｂｉｔの指数桁が画像信号に付与されている。図示するように、指数桁は、積算数１回に対して０００、２回に対して００１、…１２８回に対して１１１のように順に割り当てられる。
【0101】
画像処理部５１１は、演算回路４１５から受け取った各画素信号の指数桁を参照して、参照した結果が２回以上の積算数である場合には、画素信号の積算処理を実行する。例えば、積算回数が２回の場合（１段）は、２個の画素信号に対して、電荷蓄積に対応する１２ｂｉｔの画素信号のうち上位１１ｂｉｔ同士を加算して、１２ｂｉｔの１つの画素信号を生成する。同様に、積算回数が１２８回（７段）の場合は、１２８個の画素信号に対して、電荷蓄積に対応する１２ｂｉｔの画素信号のうち上位５ｂｉｔ同士を加算して、１２ｂｉｔの１つの画素信号を生成する。すなわち、積算回数に対応する段数を１２から引いた上位ｂｉｔを互いに足し合わせて、１２ｂｉｔの１つの画素信号を生成する。なお、加算の対象とならない下位ｂｉｔは除去される。
【0102】
このように処理することにより、階調を与える輝度範囲を積算回数に合わせて高輝度側にシフトさせることができる。すなわち、高輝度側の限られた範囲に対して１２ｂｉｔが割り当てられることになる。したがって、従来白飛びしていた画像領域に対して階調を与えることができる。
【0103】
ただし、他の分割領域については異なる輝度範囲に対して１２ｂｉｔを割り当てているので、単純に領域ごとに繋ぎ合わせる合成により画像データを生成することができない。そこで、画像処理部５１１は、得られた階調をできる限り維持しつつ全領域を１２ｂｉｔの画像データとするために、最大輝度画素と最低輝度画素を基準として、再量子化処理を行う。具体的には、階調がより滑らかに維持されるように、ガンマ変換を施して量子化を実行する。このように処理することにより、高ダイナミックレンジの画像データを得ることができる。
【0104】
なお、積算回数は、上記のように３ｂｉｔの指数桁が画素信号に付与されている場合に限らず、画素信号とは別の付随情報として記述されていても良い。また、画素信号から指数桁を省き、代わりに画素メモリ４１４に格納されている画素信号の数をカウントすることにより、加算処理時に積算回数を取得しても良い。
【0105】
また、上記の画像処理においては、全領域を１２ｂｉｔの画像データに収める再量子化処理を実行したが、画素信号のｂｉｔ数に対し、上限の積算回数に合わせて出力ｂｉｔ数を増やしても良い。例えば、上限の積算回数を１６回（４段）と定めれば、１２ｂｉｔの画素信号に対して、全領域を１６ｂｉｔの画像データとすれば良い。このように処理すれば、桁落ちさせずに画像データを生成することができる。
【0106】
次に、一連の撮影動作処理について説明する。図２０は、撮影動作の処理を示すフロー図である。フローは、撮像装置５００の電源がＯＮにされて開始される。
【0107】
システム制御部５０１は、ステップＳ２０１で、撮影準備指示であるスイッチＳＷ１の押し下げがなされるまで待機する。スイッチＳＷ１の押し下げを検知したらステップＳ２０２へ進む。
【0108】
ステップＳ２０２では、システム制御部５０１は、測光処理を実行する。具体的には、測光部５０３の出力を得て、演算部５１２がシーンの輝度分布を算出する。そして、ステップＳ２０３へ進み、上述のように、シャッタ速度、領域分割、積算回数等を決定する。
【0109】
撮影準備動作が完了したら、ステップＳ２０４へ進み、撮影指示であるスイッチＳＷ２の押し下げがなされるまで待機する。このとき、経過時間が予め定められた時間Ｔｗを超えたら（ステップＳ２０５のＹＥＳ）、ステップＳ２０１へ戻る。Ｔｗを超える前に（ステップＳ２０５のＮＯ）スイッチＳＷ２の押し下げを検知したら、ステップＳ２０６へ進む。
【0110】
ステップＳ２０６では、システム制御部５０１の指示を受けた駆動部５０２が、図１８を用いて説明した電荷蓄積処理、信号読み出し処理を実行する。そして、全ての信号読み出しが完了したらステップＳ２０７へ進み、図１９を用いて説明した画像処理を実行し、生成された画像データを記録部に記録する記録処理を実行する。
【0111】
記録処理が完了したらステップＳ２０８へ進み、撮像装置５００の電源がＯＦＦにされたか否かを判断する。電源がＯＦＦにされなければステップＳ２０１へ戻り、ＯＦＦにされたら一連の撮影動作処理を終了する。
【0112】
図２１は、信号処理チップ１１１の一例としての具体的構成を示すブロック図である。上述の図４を用いた説明においては、デマルチプレクサ４１３および画素メモリ４１４がメモリチップ１１２に形成された一例を示したが、ここでは、信号処理チップ１１１に形成された例を説明する。
【0113】
信号処理チップ１１１は、駆動部５０２の機能を担う。信号処理チップ１１１は、分担化された制御機能としてのセンサ制御部４４１、ブロック制御部４４２、同期制御部４４３、信号制御部４４４と、これらの各制御部を統括制御する駆動制御部４２０とを含む。駆動制御部４２０は、システム制御部５０１からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す。
【0114】
センサ制御部４４１は、撮像チップ１１３へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部４４１は、対象画素に対してリセットパルスと転送パルスを送出することにより、電荷蓄積の開始と終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線３０９へ出力させる。
【0115】
ブロック制御部４４２は、撮像チップ１１３へ送出する、制御対象となる単位グループ１３１を特定する特定パルスの送出を実行する。図１７等を用いて説明したように、分割された領域には、互いに隣接する複数の単位グループ１３１が包含され得る。これら同一の領域に属する単位グループ１３１は、ひとつのブロックを形成する。同一のブロックに含まれる画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。そこで、ブロック制御部４４２は、駆動制御部４２０からの指定に基づいて対象となる単位グループ１３１に特定パルスを送出することにより、単位グループ１３１をブロック化する役割を担う。各画素がＴＸ配線３０７およびリセット配線３０６を介して受ける転送パルスおよびリセットパルスは、センサ制御部４４１が送出する各パルスとブロック制御部４４２が送出する特定パルスの論理積となる。このように、各領域を互いに独立したブロックとして制御することにより、図１８を用いて説明した電荷蓄積制御を実現する。駆動制御部からのブロック化指定については、後に詳述する。
【0116】
同期制御部４４３は、同期信号を撮像チップ１１３へ送出する。各パルスは、同期信号に同期して撮像チップ１１３においてアクティブとなる。例えば、同期信号を調整することにより、同一の単位グループ１３１に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。
【0117】
信号制御部４４４は、主にＡ／Ｄ変換器４１２ｂに対するタイミング制御を担う。出力配線３０９を介して出力された画素信号は、ＣＤＳ回路４１２ａおよびマルチプレクサ４１１を経てＡ／Ｄ変換器４１２ｂに入力される。Ａ／Ｄ変換器４１２ｂは、信号制御部４４４によって制御されて、入力された画素信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、デマルチプレクサ４１３に引き渡され、そしてそれぞれの画素に対応する画素メモリ４１４にデジタルデータの画素値として格納される。
【0118】
信号処理チップ１１１は、いずれの単位グループ１３１を組み合わせてブロックを形成するかについてのブロック区分情報と、形成されたそれぞれのブロックが何回の電荷蓄積を繰り返すかについての蓄積回数情報とを格納する、蓄積制御メモリとしてのタイミングメモリ４３０を有する。タイミングメモリ４３０は、例えばフラッシュＲＡＭによって構成される。
【0119】
上述のように、いずれの単位グループを組み合わせてブロックを形成するかについては、一連の撮影シーケンスに先立って実行されるシーンの輝度分布検出の検出結果に基づいて、システム制御部５０１により決定される。決定されたブロックは、例えば第１ブロック、第２ブロック…のように区分され、それぞれのブロックがいずれの単位グループ１３１を包含するかにより規定される。駆動制御部４２０は、このブロック区分情報をシステム制御部５０１から受け取り、タイミングメモリ４３０へ格納する。
【0120】
また、システム制御部５０１は、輝度分布の検出結果に基づいて、各ブロックが何回の電荷蓄積を繰り返すかを決定する。駆動制御部４２０は、この蓄積回数情報をシステム制御部５０１から受け取り、対応するブロック区分情報と対でタイミングメモリ４３０へ格納する。このようにタイミングメモリ４３０へブロック区分情報と蓄積回数情報を格納することにより、駆動制御部４２０は、一連の電荷蓄積制御を、タイミングメモリ４３０を逐次参照して独立して実行し得る。すなわち、駆動制御部４２０は、１枚の画像取得制御において撮影指示の信号をシステム制御部５０１から一旦受け取ると、その後は各画素の制御についてその都度システム制御部５０１から指示を受けること無く、蓄積制御を完了させることができる。
【0121】
駆動制御部４２０は、撮影準備指示に同期して実行される測光結果（輝度分布の検出結果）に基づいて更新されるブロック区分情報と蓄積回数情報をシステム制御部５０１から受け取って、タイミングメモリ４３０の記憶内容を適宜更新する。例えば、駆動制御部４２０は、撮影準備指示または撮影指示に同期して、タイミングメモリ４３０を更新する。このように構成することにより、より高速な電荷蓄積制御を実現すると共に、駆動制御部４２０が電荷蓄積制御を実行している間に、システム制御部５０１は他の処理を並行して実行し得る。
【0122】
駆動制御部４２０は、撮像チップ１１３に対する電荷蓄積制御を実行するに留まらず、読み出し制御の実行においてもタイミングメモリ４３０を参照する。例えば、駆動制御部４２０は、各ブロックの蓄積回数情報を参照して、デマルチプレクサ４１３から出力される画素信号を画素メモリ４１４の対応アドレスに格納する。
【0123】
駆動制御部４２０は、システム制御部５０１からの引渡要求に従って、対象画素信号を画素メモリ４１４から読み出し、画像処理部５１１へ引き渡す。画素メモリ４１４は、上述の通り、各画素に対して最大積算回数に対応する画素信号を格納できるメモリ空間を有し、実行された蓄積回数に対応するそれぞれの画素信号を画素値として格納する。例えば、あるブロックにおいて４回の電荷蓄積が繰り返された場合には、当該ブロックに含まれる画素は４回分の画素信号を出力するので、画素メモリ４１４上の各画素のメモリ空間には、４つの画素値が格納される。駆動制御部４２０は、特定画素の画素信号を要求する引渡要求をシステム制御部５０１から受けた場合には、画素メモリ４１４上の当該特定画素のアドレスを指定して、格納されている全ての画素信号を読み出し、画像処理部５１１へ引き渡す。例えば４つの画素値が格納されている場合には、その４つの画素値全てを順次引き渡し、１つの画素値のみが格納されている場合には、その画素値を引き渡す。
【0124】
駆動制御部４２０は、画素メモリ４１４に格納された画素信号を、演算回路４１５に読み出して、演算回路４１５に上述の積算処理を実行させることができる。積算処理された画素信号は、画素メモリ４１４の対象画素アドレスに格納される。対象画素アドレスは、積算処理前のアドレス空間に隣接して設けても良いし、積算処理前の画素信号に対して上書きするように同一アドレスとしても良い。また、積算処理後の各画素の画素値を纏めて格納する専用空間を設けても良い。駆動制御部４２０は、特定画素の画素信号を要求する引渡要求をシステム制御部５０１から受けた場合には、その引渡要求の態様によっては、積算処理後の画素信号を画像処理部５１１へ引き渡すことができる。もちろん、積算処理前後の画素信号を共に引き渡すこともできる。
【0125】
画素メモリ４１４には、引渡要求に従って画素信号を伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部５１１と繋がるデータ転送ラインと接続されている。データ転送ラインは例えばバスラインのうちのデータバスによって構成される。この場合、システム制御部５０１から駆動制御部４２０への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。
【0126】
データ転送インタフェースによる画素信号の伝送は、アドレス指定方式に限らず、さまざまな方式を採用しうる。例えば、データ転送を行うときに、各回路の同期に用いられるクロック信号の立ち上がり・立ち下がりの両方を利用して処理を行うダブルデータレート方式を採用し得る。また、アドレス指定などの手順を一部省略することによってデータを一気に転送し、高速化を図るバースト転送方式を採用し得る。また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを１ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。
【0127】
このように構成することにより、画像処理部５１１は、必要な画素信号に限って受け取ることができるので、特に低解像度の画像を形成する場合などにおいて、高速に画像処理を完了させることができる。また、演算回路４１５に積算処理を実行させる場合には、画像処理部５１１が積算処理を実行しなくて良いので、機能分担と並行処理により、画像処理の高速化を図ることができる。
【0128】
上記図１７から図２１の例においては、注目領域１７２と周辺領域１７６とで電荷の蓄積回数等を異ならせることにより、注目領域１７２の画素信号をデジタル化したときのビット数を周辺領域１７６よりも大きくした。他の方法で、注目領域１７２と周辺領域１７６とのデジタル化のビット数を変えてもよい。例えば、信号処理回路４１２のＡ／Ｄ回路が、駆動部５０２のからの指示により、同じ一回の蓄積回数に対して注目領域１７２を周辺領域１７６よりも高いビット数でデジタル化してもよい。
【0129】
図２１の信号処理チップ１１１を用いて、注目領域１７２と周辺領域１７６とで異なる制御パラメータを用いて画素信号取得後に画像処理してもよい。例えば、図７から図１０では、注目領域１７２と周辺領域１７６とで異なるフレームレートで取得した画像から動画を生成しているが、これに代えて、高いフレームレートで取得した画像を平均化する画像処理をしてＳ／Ｎ比を向上させてもよい。この場合に、例えば駆動制御部４２０により周辺領域１７６から１回の画素信号を得る間に、注目領域１４２から複数回、例えば４回の画像信号を得て、画素メモリ４１４に格納する。演算回路４１５は、画素メモリ４１４から注目領域１４２の各画素に対して得られた複数の画素信号を読み出して、画素ごとに平均する。これにより、注目領域１７２の各画素でのランダムノイズが減って、注目領域１７２のＳ／Ｎ比を向上させることができる。
【0130】
また、図７から図１０では、注目領域１７２と周辺領域１７６とで異なるフレームレートで取得した画像から動画を生成しているが、被写体の動きの速度に基づいて異なるフレームレートにしてもよい。この場合に、被写体推定部１５０は、フレーム間の被写体の位置の変化で上下左右方向の速度を推定する。また、被写体推定部１５０は、当該フレーム間の被写体の大きさの変化で、被写体の前後方向の速度が推定される。当該推定に基づいて、グループ選択部１５２は、低速または静止の被写体を受光する単位グループ１３１と、中速の被写体を受光する単位グループ１３１と、高速の被写体を受光する単位グループ１３１とを特定する。
【0131】
駆動部５０２は、撮像素子１００を駆動して、低速または静止の被写体を受光する単位グループ１３１には低いフレームレート、中速の被写体を受光する単位グループ１３１には中程度のフレームレート、高速の被写体を受光する単位グループ１３１に対しては高いフレームレートで撮像を行う。それぞれのフレームレートの一例は、６０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓである。
【0132】
図２２は、本実施形態に係る他の裏面照射型の撮像素子１１００の断面図である。撮像素子１１００は、入射光に対応した画素信号を出力する撮像チップ１１１３と、画素信号を処理する信号処理チップ１１１１と、画素信号を記憶するメモリチップ１１１２とを備える。これら撮像チップ１１１３、信号処理チップ１１１１およびメモリチップ１１１２は積層されており、Ｃｕ等の導電性を有するバンプ１１０９により互いに電気的に接続される。
【0133】
なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２２の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【0134】
撮像チップ１１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１１０６は、配線層１１０８の裏面側に配されている。ＰＤ層１１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１１０４に対応して設けられたトランジスタ１１０５を有する。
【0135】
ＰＤ層１１０６における入射光の入射側にはパッシベーション膜１１０３を介してカラーフィルタ１１０２が設けられる。カラーフィルタ１１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１１０２の配列については後述する。カラーフィルタ１１０２、ＰＤ１１０４およびトランジスタ１１０５の組が一つの画素を形成する。
【0136】
カラーフィルタ１１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１１０１が設けられる。マイクロレンズ１１０１は、対応するＰＤ１１０４へ向けて入射光を集光する。
【0137】
配線層１１０８は、ＰＤ層１１０６からの画素信号を信号処理チップ１１１１に伝送する配線１１０７を有する。配線１１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
【0138】
配線層１１０８の表面には複数のバンプ１１０９が配される。当該複数のバンプ１１０９が信号処理チップ１１１１の対向する面に設けられた複数のバンプ１１０９と位置合わせされて、撮像チップ１１１３と信号処理チップ１１１１とが加圧等されることにより、位置合わせされたバンプ１１０９同士が接合されて、電気的に接続される。
【0139】
同様に、信号処理チップ１１１１およびメモリチップ１１１２の互いに対向する面には、複数のバンプ１１０９が配される。これらのバンプ１１０９が互いに位置合わせされて、信号処理チップ１１１１とメモリチップ１１１２とが加圧等されることにより、位置合わせされたバンプ１１０９同士が接合されて、電気的に接続される。
【0140】
なお、バンプ１１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ１１０９は、例えば後述する一つの単位グループに対して一つ程度設ければ良い。したがって、バンプ１１０９の大きさは、ＰＤ１１０４のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１１０９よりも大きなバンプを併せて設けても良い。
【0141】
信号処理チップ１１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１１０は、撮像チップ１１１３の周辺領域、メモリチップ１１１２にも設けられて良い。
【0142】
図２３は、撮像チップ１１１３の画素配列と単位グループ１１３１を説明する図である。特に、撮像チップ１１１３を裏面側から観察した様子を示す。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。図２３の例においては、隣接する４画素×４画素の１６画素が一つの単位グループ１１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位グループ１１３１を形成する概念を示す。単位グループ１１３１を形成する画素の数はこれに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。
【0143】
画素領域の部分拡大図に示すように、単位グループ１１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
【0144】
本実施形態において、複数の単位グループ１１３１のそれぞれについて評価値が算出され、当該評価値に基づいた制御パラメータで単位グループに含まれる画素の露光または読み出しが制御される。評価値の例は、単位グループ１１３１内の画素信号の平均、単位グループ１１３１内外の画素信号の重み付け平均、単位グループ１１３１内のコントラスト、単位グループ１１３１内外のコントラストの重み付け平均単位ブロック１１３１内の輝度、単位グループ１１３１内外の輝度の重み付け平均等である。また、制御パラメータの例は、フレームレート、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
【0145】
図２４は、撮像チップ１１１３の単位グループ１１３１に対応する回路図である。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図２２のトランジスタ１１０５に対応する。
【0146】
上述のように、単位グループ１１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１１０４は、それぞれ転送トランジスタ１３０２に接続され、各転送トランジスタ１３０２の各ゲートには、転送パルスが供給されるＴＸ配線１３０７に接続される。本実施形態において、ＴＸ配線１３０７は、１６個の転送トランジスタ１３０２に対して共通接続される。
【0147】
各転送トランジスタ１３０２のドレインは、対応する各リセットトランジスタ１３０３のソースに接続されると共に、転送トランジスタ１３０２のドレインとリセットトランジスタ１３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ１３０４のゲートに接続される。リセットトランジスタ１３０３のドレインは電源電圧が供給されるＶｄｄ配線１３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線１３０６に接続される。本実施形態において、リセット配線１３０６は、１６個のリセットトランジスタ１３０３に対して共通接続される。
【0148】
各々の増幅トランジスタ１３０４のドレインは電源電圧が供給されるＶｄｄ配線１３１０に接続される。また、各々の増幅トランジスタ１３０４のソースは、対応する各々の選択トランジスタ１３０５のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線１３０８に接続される。本実施形態において、デコーダ配線１３０８は、１６個の選択トランジスタ１３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ１３０５のソースは、共通の出力配線１３０９に接続される。負荷電流源１３１１は、出力配線１３０９に電流を供給する。すなわち、選択トランジスタ１３０５に対する出力配線１３０９は、ソースフォロアにより形成される。なお、負荷電流源１３１１は、撮像チップ１１１３側に設けても良いし、信号処理チップ１１１１側に設けても良い。
【0149】
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線１３０６を通じてリセットパルスがリセットトランジスタ１３０３に印加され、同時にＴＸ配線１３０７を通じて転送パルスが転送トランジスタ１３０２に印加されると、ＰＤ１１０４およびフローティングディフュージョンＦＤの電位はリセットされる。
【0150】
ＰＤ１１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線１３０８を通じて選択パルスが選択トランジスタ１３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ１３０４および選択トランジスタ１３０５を介して出力配線１３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線１３０９に出力される。
【0151】
図示するように、本実施形態においては、単位グループ１１３１を形成する１６画素に対して、リセット配線１３０６とＴＸ配線１３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、単位グループ１１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ１３０５が選択パルスによって順次印加されて、選択的に出力配線１３０９に出力される。また、リセット配線１３０６、ＴＸ配線１３０７、出力配線１３０９は、単位グループ１１３１毎に別個に設けられる。
【0152】
このように単位グループ１１３１を基準として回路を構成することにより、単位グループ１１３１ごとに電荷蓄積時間を制御することができる。換言すると、隣接する単位グループ１１３１同士で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ１１３１に１回の電荷蓄積を行わせている間に、他方の単位グループ１１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ１１３１同士で異なるフレームレートで動画用の各フレームを出力することもできる。
【0153】
図２５は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置１５００は、撮影光学系としての撮影レンズ１５２０を備え、撮影レンズ１５２０は、光軸ＯＡに沿って入射する被写体光束を撮像素子１１００へ導く。撮影レンズ１５２０は、撮像装置１５００に対して着脱できる交換式レンズであっても構わない。撮像装置１５００は、撮像素子１１００、システム制御部１５０１、駆動部１５０２、測光部１５０３、ワークメモリ１５０４、記録部１５０５、および表示部１５０６を主に備える。
【0154】
撮影レンズ１５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図２５では瞳近傍に配置された仮想的な１枚のレンズで当該撮影レンズ１５２０を代表して表している。駆動部１５０２は、システム制御部１５０１からの指示に従って撮像素子１１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。
【0155】
撮像素子１１００は、画素信号をシステム制御部１５０１の画像処理部１５１１へ引き渡す。画像処理部１５１１は、ワークメモリ１５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ベイヤー配列で得られた信号からカラー映像信号を生成した後に圧縮処理を実行する。生成された画像データは、記録部１５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部１５０６に表示される。
【0156】
測光部１５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部１５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部１５０１の演算部１５１２は、測光部１５０３の出力を受けてシーンの領域ごとの輝度を算出する。演算部１５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。測光部１５０３は撮像素子１１００で兼用してもよい。なお、演算部１５１２は、撮像装置１５００を動作させるための各種演算も実行する。
【0157】
駆動部１５０２は、一部または全部が撮像チップ１１１３に搭載されてもよいし、一部または全部が信号処理チップ１１１１に搭載されてもよい。システム制御部１５０１の一部が撮像チップ１１１３または信号処理チップ１１１１に搭載されてもよい。
【0158】
図２６は、信号処理チップ１１１１の一例としての具体的構成を示すブロック図である。信号処理チップ１１１１は、駆動部１５０２の機能を担う。
【0159】
信号処理チップ１１１１は、分担化された制御機能としてのセンサ制御部１４４１、ブロック制御部１４４２、同期制御部１４４３、信号制御部１４４４、個別回路部１４５０Ａ等と、これらの各制御部を統括制御する駆動制御部１４２０とを含む。信号処理チップ１１１１は、さらに、駆動制御部１４２０と撮像装置１５００本体のシステム制御部１５０１と間のＩ／Ｆ回路１４１８を含む。これらセンサ制御部１４４１、ブロック制御部１４４２、同期制御部１４４３、信号制御部１４４４および駆動制御部１４２０は、信号処理チップ１１１１に対して一つずつ設けられる。
【0160】
一方、個別回路部１４５０Ａ、４５０Ｂ、４５０Ｃ、４５０Ｄ、４５０Ｅは、単位グループ１１３１Ａ、１３１Ｂ、１３１Ｃ、１３１Ｄ、１３１Ｅごとに設けられる。個別回路部１４５０Ａ、４５０Ｂ、４５０Ｃ、４５０Ｄ、４５０Ｅは、同一の構成を有するので、以下、個別回路部１４５０Ａについて説明する。個別回路部１４５０Ａは、ＣＤＳ回路１４１０、マルチプレクサ１４１１、Ａ／Ｄ変換回路１４１２、デマルチプレクサ１４１３、画素メモリ１４１４および演算回路１４１５を含む。演算回路１４１５は、Ｉ／Ｆ回路１４１８を介してシステム制御部１５０１との間で信号を送受信する。
【0161】
個別回路部１４５０Ａは対応する単位グループ１１３１Ａの画素が配された領域に重畳した領域に配されていることが好ましい。これにより、各チップを面方向に大きくすることなく、複数の単位グループ１１３１Ａのそれぞれに個別回路部１４５０Ａを設けることができる。
【0162】
駆動制御部１４２０は、タイミングメモリ１４３０を参照して、システム制御部１５０１からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す。特に、駆動制御部１４２０は、単位グループ１１３１Ａ等のそれぞれに対して別個の制御パラメータで制御する場合に、単位グループ１１３１Ａを特定する情報ともに各制御部に当該制御パラメータを引き渡す。駆動制御部１４２０は、１枚の画像取得制御において撮影指示の信号をシステム制御部１５０１から一旦受け取ると、その後は各画素の制御についてその都度システム制御部１５０１から指示を受けること無く、蓄積制御を完了させることができる。
【0163】
センサ制御部１４４１は、撮像チップ１１１３へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部１４４１は、対象画素に対してリセットパルスと転送パルスを送出することにより、電荷蓄積の開始と終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線１３０９へ出力させる。
【0164】
ブロック制御部１４４２は、撮像チップ１１１３へ送出する、制御対象となる単位グループ１１３１を特定する特定パルスの送出を実行する。各画素がＴＸ配線１３０７およびリセット配線１３０６を介して受ける転送パルスおよびリセットパルスは、センサ制御部１４４１が送出する各パルスとブロック制御部１４４２が送出する特定パルスの論理積となる。このように、各領域を互いに独立したブロックとして制御することができる。
【0165】
同期制御部１４４３は、同期信号を撮像チップ１１１３へ送出する。各パルスは、同期信号に同期して撮像チップ１１１３においてアクティブとなる。例えば、同期信号を調整することにより、同一の単位グループ１１３１Ａ等に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。
【0166】
信号制御部１４４４は、主にＡ／Ｄ変換回路１４１２に対するタイミング制御を担う。出力配線１３０９を介して出力された画素信号は、ＣＤＳ回路１４１０およびマルチプレクサ１４１１を経てＡ／Ｄ変換回路１４１２に入力される。ＣＤＳ回路１４１０は画素信号からノイズを取り除く。
【0167】
Ａ／Ｄ変換回路１４１２は、信号制御部１４４４によって制御されて、入力された画素信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、デマルチプレクサ１４１３に引き渡され、そしてそれぞれの画素に対応する画素メモリ１４１４にデジタルデータの画素値として格納される。
【0168】
画素メモリ１４１４には、引渡要求に従って画素信号を伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部１５１１と繋がるデータ転送ラインと接続されている。データ転送ラインは例えばバスラインのうちのデータバスによって構成される。この場合、システム制御部１５０１から駆動制御部１４２０への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。
【0169】
データ転送インタフェースによる画素信号の伝送は、アドレス指定方式に限らず、さまざまな方式を採用しうる。例えば、データ転送を行うときに、各回路の同期に用いられるクロック信号の立ち上がり・立ち下がりの両方を利用して処理を行うダブルデータレート方式を採用し得る。また、アドレス指定などの手順を一部省略することによってデータを一気に転送し、高速化を図るバースト転送方式を採用し得る。また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを１ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。
【0170】
このように構成することにより、画像処理部１５１１は、必要な画素信号に限って受け取ることができるので、特に低解像度の画像を形成する場合などにおいて、高速に画像処理を完了させることができる。また、演算回路１４１５に積算処理を実行させる場合には、画像処理部１５１１が積算処理を実行しなくて良いので、機能分担と並行処理により、画像処理の高速化を図ることができる。
【0171】
信号処理チップ１１１１は、フラッシュＲＡＭ等により形成されるタイミングメモリ１４３０を有する。タイミングメモリ１４３０は、いずれの単位グループ１１３１Ａ等に対して何回の電荷蓄積を繰り返すかについての蓄積回数情報等の制御パラメータを、単位グループ１１３１Ａ等を特定する情報に対応づけて格納する。制御パラメータのいずれかは、個別回路部１４５０Ａ等の演算回路１４１５により算出されて、上記タイミングメモリ１４３０に格納される。
【0172】
駆動制御部１４２０は、撮像チップ１１１３に対する電荷蓄積制御を実行するに留まらず、読み出し制御の実行においてもタイミングメモリ１４３０を参照する。例えば、駆動制御部１４２０は、各単位グループ１１３１の蓄積回数情報を参照して、デマルチプレクサ１４１３から出力される画素信号を画素メモリ１４１４の対応アドレスに格納する。
【0173】
駆動制御部１４２０は、システム制御部１５０１からの引渡要求に従って、対象画素信号を画素メモリ１４１４から読み出し、画像処理部１５１１へ引き渡す。画素メモリ１４１４は、各画素に対して最大積算回数に対応する画素信号を格納できるメモリ空間を有し、実行された蓄積回数に対応するそれぞれの画素信号を画素値として格納する。例えば、あるブロックにおいて４回の電荷蓄積が繰り返された場合には、当該ブロックに含まれる画素は４回分の画素信号を出力するので、画素メモリ１４１４上の各画素のメモリ空間には、４つの画素値が格納される。駆動制御部１４２０は、特定画素の画素信号を要求する引渡要求をシステム制御部１５０１から受けた場合には、画素メモリ１４１４上の当該特定画素のアドレスを指定して、格納されている全ての画素信号を読み出し、画像処理部１５１１へ引き渡す。例えば４つの画素値が格納されている場合には、その４つの画素値全てを順次引き渡し、１つの画素値のみが格納されている場合には、その画素値を引き渡す。
【0174】
駆動制御部１４２０は、画素メモリ１４１４に格納された画素信号を、演算回路１４１５に読み出して、演算回路１４１５に上述の積算処理を実行させることができる。積算処理された画素信号は、画素メモリ１４１４の対象画素アドレスに格納される。対象画素アドレスは、積算処理前のアドレス空間に隣接して設けても良いし、積算処理前の画素信号に対して上書きするように同一アドレスとしても良い。また、積算処理後の各画素の画素値を纏めて格納する専用空間を設けても良い。駆動制御部１４２０は、特定画素の画素信号を要求する引渡要求をシステム制御部１５０１から受けた場合には、その引渡要求の態様によっては、積算処理後の画素信号を画像処理部１５１１へ引き渡すことができる。もちろん、積算処理前後の画素信号を共に引き渡すこともできる。
【0175】
上記の通り、単位グループ１１３１のそれぞれに対応して出力配線１３０９が設けられている。撮像素子１１００は撮像チップ１１１３、信号処理チップ１１１１およびメモリチップ１１１２を積層しているので、これら出力配線１３０９にバンプ１１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。同様に、各制御部から単位グループへの信号線についても、バンプ１１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
【0176】
図２７は、演算回路１４１５の機能ブロックの一例である。演算回路１４１５は、個別回路部１４５０Ａの画素メモリ１４１４に格納された画素信号を用いて評価値を演算し、当該評価値に基づいて、対応する単位グループ１１３１Ａ露光または読み出しを制御する制御パラメータを出力する。図２７に示す例において、演算回路１４１５は単位グループ１１３１Ａの画素信号の平均の時系列における差分に基づいて、当該画素単位グループ１１３１Ａに適用するフレームレートを算出する。
【0177】
図２７の演算回路１４１５は、平均算出部１４５２、平均記憶部１４５４、差分算出部１４５６およびフレームレート算出部１４５８を有する。平均算出部１４５２は、画素メモリ１４１４に格納された単位グループ１１３１Ａの各画素のＧ画素信号を単純平均して、平均値Ａｇを算出する。この場合に、平均算出部１４５２は、予め定められたフレームレートに対応する時間間隔で、そのときのフレームにおける平均値Ａｇを算出する。
【0178】
上記の例において平均値Ａｇが単位グループ１１３１Ａごとに一つの値が算出され、平均記憶部１４５４に記憶される。前後のフレームの平均値Ａｇの差分をとるので、平均記憶部１４５４に少なくとも二つの値を記憶するメモリ空間が設けられる。
【0179】
差分算出部１４５６は、平均記憶部１４５４に記憶されている最新のフレームにおける平均値Ａｇと、時間的にその一つ前のフレームにおける平均値Ａｇとの差分ｄを算出する。この差分は絶対値で出力されてよい。
【0180】
フレームレート算出部１４５８は、差分算出部１４５６により算出された差分ｄを、予め定められた基準値ｄ０等と比較することにより、フレームレートｆを算出する。ここで、例えば、フレーム間の差分ｄが大きいほどフレームレートｆが高くなるような対応関係がテーブルとしてフレームレート算出部１４５８に格納されている。
【0181】
フレームレート算出部１４５８は、算出したフレームレートｆを駆動制御部１４２０に出力する。これに代えてまたはこれに加えて、フレームレート算出部１４５８は、当該フレームレートｆをタイミングメモリ１４３０に直接書き込んでもよい。
【0182】
図２８は、フレーム間の差分ｄとフレームレートｆとの対応関係の一例を示す。図２８において、フレーム間の差分は２つの基準値ｄ０、ｄ１を有し、これに対応して、３段階のフレームレートｆ０、ｆ１、ｆ２が設けられている。
【0183】
フレーム間の差分ｄが、低い方の基準値ｄ０以下の場合、フレームレート算出部１４５８は、最も低いフレームレートｆ０を、当該単位グループ１１３１Ａに適用するフレームレートｆとして出力する。また、フレーム間の差分ｄが基準値ｄ０と、高い方の基準値ｄ１との間である場合、フレームレート算出部１４５８は、中間のフレームレートｆ１を出力する。フレーム間の差分ｄが基準値ｄ１よりも大きい場合、フレームレート算出部１４５８は、最も高いフレームレートｆ２を出力する。
【0184】
ここで、演算回路１４１５が上記一連の演算をする時間間隔は、最も低いフレームレートｆ０のフレーム間に対応する、（１／ｆ０）秒に設定されることが好ましい。これにより、そのときに駆動されているフレームレートに関わらず、複数の単位グループ１１３１Ａ、１３１Ｂ等の間で同じタイミングで次のフレームレートを算出することができる。また、当該最も低いフレームレートｆ０で駆動されている場合でも、前回の算出時とは異なるフレームに基づいて新たなフレームレートｆを算出することができる。
【0185】
図２９および図３０は撮像素子により撮像される画像の一例を示す。画像１１７０および画像１１７８における格子線は単位グループ１１３１の境界を示すが、単位グループ１１３１の数は例示であってこれらの図に示す数に限られない。また、単位グループ１１３１Ａ等を単に「Ａ」等で示した。なお主要被写体１１７１を含む単位グループを太線で示した。
【0186】
撮像素子１１００が、例えば、時間的に前後する画像として図２９の画像１１７０および図３０の画像１１７８を取得したとする。図中の単位グループ１１３１Ａに着目すると、前のフレームの画像１１７０では当該単位グループ１１３１Ａは、主要被写体１１７１を含まないが、後のフレームの画像１１７８では含んでいる。よって、平均算出部１４５２により算出された画像１１７０と画像１１７８における単位グループ１１３１Ａの平均値Ａｇの差分ｄは、大きく表れる。
【0187】
これによりフレームレート算出部１４５８は、図２８の対応関係に基づいて、画像１１７８以降の単位グループ１１３１Ａのフレームレートｆを高く算出する。よって、駆動制御部１４２０は、画像１１７８以降の単位グループ１１３１Ａの各画素を高いフレームレートｆ２等で駆動する。従って、駆動制御部１４２０は、時間的な前後のフレーム間で動きの大きい被写体に対して高いフレームレートｆ２等で画素信号を取得することができる。
【0188】
高いフレームレートｆ２で駆動されている単位グループ１１３１に対しては、低いフレームレートｆ０で駆動されている単位グループ１１３１が一回の電気蓄積をしている間に、複数回の電気蓄積を行うことができる。よって、高いフレームレートｆ２等で駆動された単位グループ１１３１の画素信号をデジタル化したときのビット数を、低いフレームレートｆ０で駆動された単位グループ１１３１よりも大きくすることができる。これにより、高いフレームレートｆ２等で駆動された単位グループ１１３１から高い階調の画像を生成することができる。
【0189】
デジタル化のビット数を大きくすることに代えて、高いフレームレートｆ２等で取得した画像を平均化する画像処理をしてＳ／Ｎ比を向上させてもよい。この場合に、低いフレームレートｆ０で駆動されている単位グループ１１３１が一回の電気蓄積をしている間に、 高いフレームレートｆ２で駆動されている単位グループ１１３１から複数回、例えば４回の画像信号が得られ、画素メモリ１４１４に格納される。演算回路１４１５は、画素メモリ１４１４から高いフレームレートｆ２で制御された単位グループ１１３１の各画素に対して得られた複数の画素信号を読み出して、画素ごとに平均する。これにより、当該単位グループ１１３１の各画素でのランダムノイズを減らして、Ｓ／Ｎ比を向上させることができる。
【0190】
以上により、画像１１７０等の全体の画素信号を後段の画像処理部１５１１が取得して主要被写体を推定してから各単位グループ１１３１Ａ等のフレームレートｆを算出するのに比べて、迅速かつ省電力でフレームレートｆを算出することができる。また、いずれかの単位グループ１１３１の画素自体、配線、処理回路等に不具合があっても、他の単位グループ１１３１に対しては、迅速かつ省電力でフレームレートｆを算出することができる。
【0191】
なお、図２７の平均算出部１４５２は、対応する単位グループ１１３１ＡのＧ画素の画素信号を平均している。これに代えて、平均算出部１４５２は、Ｒ画素およびＢ画素の画素信号を含んだ平均を算出してもよい。また、平均算出部１４５２は、Ｇ画素の平均、Ｒ画素の平均およびＢ画素の平均を算出してもよい。この場合にフレームレート算出部１４５８は、Ｇ画素の平均の差分、Ｒ画素の平均の差分およびＢ画素の差分のいずれかが閾値を越えているか等の条件に基づいて、フレームレートｆを算出してもよい。さらには、Ｇ画素の平均、Ｒ画素の平均、Ｂ画素の平均を所定割合で加算した結果で判断してもよい。また、平均値の算出は、単位グループ内に配置される部分領域の平均値でもよい。
【0192】
また、平均算出部１４５２は、図２９等に示す、当該単位グループ１１３１Ａの周辺の単位グループ１１３１Ｂ、１３１Ｃ、１３１Ｄ、１３１Ｅ等の平均値Ａｇを、他の個別回路部１４５０等の演算回路１４１５から取得して、当該単位グループ１１３１Ａの平均値Ａｇに加味してもよい。例えば、それらの平均値が重み付け平均されてもよい。平均算出部１４５２は、当該単位グループ１１３１Ａの周辺の単位グループ１１３１Ｂ、１３１Ｃ、１３１Ｄ、１３１Ｅ等の平均値Ａｇを、他の演算回路１４１５等から取得するのに代えて、他の個別回路部１４５０Ｂ等の画素メモリ１４１４から画素信号を読み出して自らが平均値Ａｇを算出してもよい。
【0193】
また、図２８の例において差分の基準値は２つであってフレームレートは３段階であるが、差分の基準値の個数およびフレームレートの段階数はこれらに限られない。
【0194】
図３１は、他の演算回路１４１６の機能ブロックの一例である。図３１に示す例において、演算回路１４１６は単位グループ１１３１Ａの画素信号のコントラストに基づいて、当該画素単位グループ１１３１Ａに適用する間引率を算出する。
【0195】
図３１の演算回路１４１６は、高域成分算出部１４６０と、総和算出部１４６２と、間引率算出部１４６４とを有する。高域成分算出部１４６０は、画素メモリ１４１４に格納された単位グループ１１３１Ａの各画素のＧ画素信号を読み出し、その２次元配列に基づいたハイパスフィルタ処理をすることにより空間的な高周波成分Ｇｈを抽出する。同様に、高域成分算出部１４６０は、Ｒ画素の高周波成分ＲｈおよびＢ画素の高周波成分Ｂｈを算出する。
【0196】
総和算出部１４６２は、上記高周波成分Ｇｈ、Ｒｈ、Ｂｈの絶対値の総和を算出する。間引率算出部１４６４は、上記総和に基づいて、当該単位グループ１１３１Ａに含まれる画素を間引き読み出しする間引き率を算出する。この場合に、総和が大きいほど間引き率が低くなる対応関係を示すテーブルが予め間引率算出部１４６４に記憶されていることが好ましい。例えば、図２８の対応関係に変えて、総和の基準値と間引率とが対応づけられている。
【0197】
例えば、総和の基準値が１つ設定されており、総和が基準値よりも高い場合には間引き無しすなわち全画素読み出しで、総和が基準値よりも低い場合には間引き率０．５が算出される。間引率算出部１４６４は、算出した間引き率を駆動制御部１４２０に出力する。これに代えてまたはこれに加えて、間引率算出部１４６４は、当該間引率をタイミングメモリ１４３０に直接書き込んでもよい。
【0198】
駆動制御部１４２０は、上記間引率算出部１４６４が算出した間引き率で、対応する単位グループ１１３１に含まれる画素を間引いて画像信号の出力を実行させる。この場合に、駆動制御部１４２０は、間引き率０．５の単位グループ１１３１のリセットトランジスタ１３０３、転送トランジスタ１３０２および選択トランジスタ１３０５の組と、間引き率０の単位グループ１１３１のリセットトランジスタ１３０３、転送トランジスタ１３０２および選択トランジスタ１３０５の組とを別個に駆動することにより、異なる間引き率で画素信号を得る。
【0199】
これにより、コントラストの高い領域に対応する単位グループ１１３１の解像度を高く維持しつつ、コントラストの低い領域に対する単位グループ１１３１の信号量を減らすことができる。さらに、この場合に後段の画像処理部１５１１で間引率を算出するのに比べて、迅速かつ省電力で間引率を算出することができる。また、いずれかの単位グループ１１３１の画素自体、配線、処理回路等に不具合があっても、他の単位グループ１１３１に対しては、迅速かつ省電力で間引率を算出することができる。
【0200】
図３２は、一の単位グループに対して間引き率０．５で読み出される画素１１８８の例を示す。図３２に示す例において、単位グループ１１３２がベイヤー配列である場合に垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位でみた場合の二行づつ交互に、読み出される画素１１８８と読み出されない画素が設定される。これにより色バランスを崩すことなく間引き読出しをすることができる。
【0201】
図３２の例では、行毎に間引き読み出しされているが、これに代えて、列毎に間引き読み出しされてもよい。さらに、高域成分算出部１４６０が列方向と行方向とのそれぞれに高波長成分を抽出し、間引率算出部１４６４が列方向の間引き率と行方向の間引き率とをそれぞれ算出してもよい。
【0202】
図３１および図３２の構成において、間引率算出部１４６４は対応する画素グループの間引き率を算出する。これに代えて、同色隣接画素の画素信号を加算するときの画素数が算出されてもよい。例えば、総和算出部１４６２で算出された総和が基準値以上である場合には行数が１、すなわち、同色隣接行で加算せずに画素信号が出力され、基準値より小さい場合にはよりも多い行数、例えば行数を２として、同色隣接する２行の同じ列の画素で加算した画素信号が出力される。
【0203】
これにより、図３２と同様に、コントラストの高い領域の解像度を高く維持しつつ、全体の信号量を減らすことができる。また、同色隣接行の画素信号を加算することに代えて、同色隣接列の画素信号を加算してもよい。さらに、上記加算においては、加算した行数または列数で当該加算値を割った平均を算出する処理を含めてもよい。また、同色隣接の行および列の画素信号を加算してもよい。
【0204】
なお、上記高域成分算出部１４６０等においてＲ画素、Ｇ画素およびＢ画素ごとの高波長成分Ｒｈ，Ｇｈ、Ｂｈが用いられた。これに代えて、Ｒ画素、Ｇ画素およびＢ画素から算出される輝度成分を用いて高周波成分が求められてもよい。この場合に、Ｒ画素、Ｇ画素およびＢ画素の輝度成分間でゲインを調整してから高周波成分が求められてもよい。
【0205】
また、総和算出部１４６２において、図２９等に示す、当該単位グループ１１３１Ａの周辺の単位グループ１１３１Ｂ、１３１Ｃ、１３１Ｄ、１３１Ｅ等の高周波成分を、他の個別回路部１４５０Ｂ等の演算回路１４１６から取得して、当該単位グループ１１３１Ａの高周波成分に加味してもよい。例えば、それらの平均値が重み付け平均されてもよい。総和算出部１４６２は、当該単位グループ１１３１Ａの周辺の単位グループ１１３１Ｂ、１３１Ｃ、１３１Ｄ、１３１Ｅ等の平均値Ａｇを、他の演算回路１４１６等から取得するのに代えて、他の個別回路部１４５０Ｂ等の画素メモリ１４１４から画素信号を読み出して自らが高周波成分を算出してもよい。
【0206】
また、フレームレート算出部１４５８および間引率算出部１４６４で閾値を越えた単位グループに対して、閾値以下の単位グループよりも、画素信号のデジタル化のビット数を大きくしてもよい。例えば、Ａ／Ｄ変換回路１４１２が、駆動部１５０２のからの指示により、同じ一回の蓄積回数に対して高いビット数でデジタル化してもよい。
【0207】
図３３は、さらに他の演算回路１４１７の機能ブロックの一例を示す。演算回路１４１７は、自己平均算出部１４７２と、隣接平均算出部１４７０と、利得算出部１４７４と、補正部１４７６とを有する。
【0208】
自己平均算出部１４７２は、画素メモリ１４１４に格納された単位グループ１１３１Ａの各画素のＧ画素信号を単純平均して、平均値Ａｇを算出する。同様に、自己平均算出部１４７２は、画素メモリ１４１４に格納された単位グループ１１３１Ａの各画素のＲ画素信号、Ｂ画素信号をそれぞれ単純平均して、平均値Ａｒ、Ａｂを算出する。さらに自己平均算出部１４７２は単位グループ１１３１Ａの平均値Ａｇ，Ａｒ，Ａｂを周辺の単位グループ１１３１Ｂ等の隣接平均算出部１４７０に出力する。
【0209】
隣接平均算出部１４７０は、当該単位グループ１１３１Ａに隣接する他の単位グループ１１３１Ｂ、１３１Ｃ、１３１Ｄ、１３１Ｅに対応する自己平均算出部１４７２から平均値Ａｇ，Ａｒ，Ａｂを取得し、それらの加重平均を算出する。利得算出部１４７４は、自己平均算出部１４７２により算出された平均値Ａｇ，Ａｒ，Ａｂと、隣接平均算出部１４７０により算出された平均値Ａｇ，Ａｒ，ＡｂとをＲＧＢごとに加重平均して、それらの比に基づいてＧ画素信号に対するＲ画素信号およびＢ画素信号の利得を算出する。この場合に例えば、当該単位グループ１１３１Ａの平均値の重み付けを４／８、隣接する単位グループ１１３１Ｂ等の平均値の重み付けを１／８とした加重平均が用いられる。
【0210】
Ｒ画素信号およびＢ画素信号の利得は、Ｉ／Ｆ回路１４１８を介してシステム制御部１５０１に付加情報として送信される。なお隣接平均算出部１４７０、当該単位グループ１１３１Ａの周辺の単位グループ１１３１Ｂ、１３１Ｃ、１３１Ｄ、１３１Ｅ等の平均値Ａｇ等を、他の個別回路部１４５０Ｂ等の演算回路１４１７等から取得するのに代えて、他の個別回路部１４５０Ｂ等の画素メモリ１４１４から画素信号を読み出して自らが平均値Ａｇ等を算出してもよい。
【0211】
補正部１４７６は、利得算出部１４７４により算出された利得でＲ画素信号およびＢ画素信号を補正して、画素メモリ１４１４に書き込む。この場合に、補正部１４７６は、Ｒ画素信号用の利得を個々のＲ画素信号に乗じ、Ｂ画素信号用の利得を個々のＢ画素信号に乗じる。なお、補正部１４７６は、システム制御部１５０１からフィードバック情報を取得して、当該利得をさらに補正してもよい。
【0212】
図３４は、利得と画素信号との関係を模式的に示す。利得を算出して画素信号を補正する動作は、例えばフレームレートｆ０の１フレームごと、すなわち（１／ｆ０）秒ごとに行われることが好ましい。図３４に示すように、（１／ｆ０）秒ごとにＲ画素信号の利得とＢ画素信号の利得とが算出されて、Ｒ画素信号の出力値およびＢ画素信号の出力値が補正される。以上により、後段の画像処理部１５１１で利得を算出して画素信号を補正するのに比べて、迅速かつ省電力で利得を算出し、画素信号を補正することができる。
【0213】
上記実施形態において、センサ制御部１４４１、ブロック制御部１４４２、同期制御部１４４３、信号制御部１４４４および駆動制御部１４２０は、信号処理チップ１１１１に対して一つずつ設けられ、個別回路部１４５０Ａ、４５０Ｂ、４５０Ｃ、４５０Ｄ、４５０Ｅは、単位グループ１１３１Ａ、１３１Ｂ、１３１Ｃ、１３１Ｄ、１３１Ｅごとに設けられる。これに代えて、センサ制御部１４４１、ブロック制御部１４４２、同期制御部１４４３、信号制御部１４４４および駆動制御部１４２０が、信号処理チップ１１１１に対して複数個設けられ、それぞれが複数の単位グループ１１３１を分担して制御してもよい。
【0214】
また、個別回路部１４５０Ａ等が、複数の単位グループ１１３１ごとに一つずつ設けられ、当該複数の単位グループ１１３１で共用されてもよい。個別回路部１４５０Ａ等は、画素ごとに設けられてもよい。すなわち、上記実施形態において、単位グループ１１３１が単一の画素からなるとしてもよい。
【0215】
図３５は、本実施形態に係る他の撮像素子２１００の断面図である。撮像素子２１００は、入射光に対応した画素信号を出力する撮像チップ２１１３と、画素信号を処理する信号処理チップ２１１１と、画素信号を記憶するメモリチップ２１１２とを備える。これら撮像チップ２１１３、信号処理チップ２１１１およびメモリチップ２１１２は積層されており、Ｃｕ等の導電性を有するバンプ２１０９により互いに電気的に接続される。
【0216】
なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本明細書においては、撮像チップ２１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図３５の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【0217】
撮像チップ２１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層２１０６は、配線層２１０８の裏面側に配されている。ＰＤ層２１０６は、二次元的に配され、入射光に応じた電荷を蓄積して、蓄積した電荷に応じた画素信号を生成する複数のＰＤ（フォトダイオード）２１０４、および、ＰＤ２１０４に対応して設けられたトランジスタ２１０５を有する。
【0218】
ＰＤ層２１０６における入射光の入射側にはパッシベーション膜２１０３を介してカラーフィルタ２１０２が設けられる。カラーフィルタ２１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ２１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ２１０２の配列については後述する。カラーフィルタ２１０２、ＰＤ２１０４およびトランジスタ２１０５の組が一つの画素を形成する。
【0219】
カラーフィルタ２１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ２１０１が設けられる。マイクロレンズ２１０１は、対応するＰＤ２１０４へ向けて入射光を集光する。
【0220】
配線層２１０８は、ＰＤ層２１０６からの画素信号を信号処理チップ２１１１に伝送する配線２１０７を有する。配線２１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
【0221】
配線層２１０８の表面には複数のバンプ２１０９が配される。当該複数のバンプ２１０９が信号処理チップ２１１１の対向する面に設けられた複数のバンプ２１０９と位置合わせされて、撮像チップ２１１３と信号処理チップ２１１１とが加圧等されることにより、位置合わせされたバンプ２１０９同士が接合されて、電気的に接続される。
【0222】
同様に、信号処理チップ２１１１およびメモリチップ２１１２の互いに対向する面には、複数のバンプ２１０９が配される。これらのバンプ２１０９が互いに位置合わせされて、信号処理チップ２１１１とメモリチップ２１１２とが加圧等されることにより、位置合わせされたバンプ２１０９同士が接合されて、電気的に接続される。
【0223】
なお、バンプ２１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ２１０９は、例えば後述する一つの画素ブロックに対して一つ程度設ければ良い。したがって、バンプ２１０９の大きさは、ＰＤ２１０４のピッチよりも大きくても良い。また、画素が配列された撮像領域以外の周辺領域において、撮像領域に対応するバンプ２１０９よりも大きなバンプを併せて設けても良い。
【0224】
信号処理チップ２１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）２１１０を有する。ＴＳＶ２１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ２１１０は、撮像チップ２１１３の周辺領域、および、メモリチップ２１１２にも設けられて良い。
【0225】
図３６は、撮像チップ２１１３の画素配列と画素ブロック２１３１を説明する図である。図３６では、撮像チップ２１１３を裏面側から観察した様子を示す。撮像領域２７００には複数の画素がマトリックス状に配列されている。撮像領域２７００は、複数の画素を行方向および列方向に分割した複数の画素ブロック２１３１を有する。各画素ブロック２１３１は、行方向および列方向にｍ×ｎ個の画素を有する。ここで、ｍ、ｎは２以上の整数である。また、行方向および列方向とは、撮像領域２７００の面内における異なる２つの方向を指し、必ずしも互いに直交していなくともよい。図３６においては、隣接する４画素×４画素の１６画素が一つの画素ブロック２１３１を形成する。図の格子線は、隣接する画素がグループ化されて画素ブロック２１３１を形成する概念を示す。画素ブロック２１３１を形成する画素の数はこれに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。
【0226】
撮像領域２７００の部分拡大図に示すように、画素ブロック２１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ２１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ２１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ２１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
【0227】
本実施形態において、複数の画素ブロック２１３１のうちの少なくとも一つの画素ブロックが選択され、他の画素ブロックとは異なる制御パラメータで、それぞれの画素ブロックに含まれる画素が制御される。制御パラメータの例は、フレームレート、間引き率、画素信号を加算する加算行数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。フレームレートとは、画素信号を生成する周期を指す。なお本明細書においてフレームレートとは、画素ブロック２１３１毎のフレームレートを指す場合がある。例えば、基準フレームレートおよび高速フレームレートは、画素ブロック２１３１毎のフレームレートを指す。
【0228】
図３７は、撮像チップ２１１３の画素ブロック２１３１に対応する回路図である。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図３５のトランジスタ２１０５に対応する。
【0229】
図３７では、１６画素から形成される画素ブロック２１３１を示すが、画素ブロック２１３１の画素数はこれに限定されない。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ２３０２に接続され、各転送トランジスタ２３０２の各ゲートには、転送パルスが供給されるＴＸ配線２３０７に接続される。図３７に示す例において、ＴＸ配線２３０７は、１６個の転送トランジスタ２３０２に対して共通接続される。
【0230】
各転送トランジスタ２３０２のドレインは、対応する各リセットトランジスタ２３０３のソースに接続されると共に、転送トランジスタ２３０２のドレインとリセットトランジスタ２３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ２３０４のゲートに接続される。リセットトランジスタ２３０３のドレインは電源電圧が供給されるＶｄｄ配線２３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線２３０６に接続される。図３７に示す例において、リセット配線２３０６は、１６個のリセットトランジスタ２３０３に対して共通接続される。
【0231】
各々の増幅トランジスタ２３０４のドレインは電源電圧が供給されるＶｄｄ配線２３１０に接続される。また、各々の増幅トランジスタ２３０４のソースは、対応する各々の選択トランジスタ２３０５のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線２３０８に接続される。図３７に示す例では、デコーダ配線２３０８は、１６個の選択トランジスタ２３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ２３０５のソースは、共通の出力配線２３０９に接続される。負荷電流源２３１１は、出力配線２３０９に電流を供給する。すなわち、選択トランジスタ２３０５に対する出力配線２３０９は、ソースフォロアにより形成される。なお、負荷電流源２３１１は、撮像チップ２１１３側に設けても良いし、信号処理チップ２１１１側に設けても良い。
【0232】
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線２３０６を通じてリセットパルスがリセットトランジスタ２３０３に印加され、同時にＴＸ配線２３０７を通じて転送パルスが転送トランジスタ２３０２に印加されると、ＰＤ２１０４およびフローティングディフュージョンＦＤの電位はリセットされる。
【0233】
ＰＤ２１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線２３０８を通じて選択パルスが選択トランジスタ２３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ２３０４および選択トランジスタ２３０５を介して出力配線２３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線２３０９に出力される。
【0234】
図３７に示す例では、画素ブロック２１３１を形成する１６画素に対して、リセット配線２３０６とＴＸ配線２３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、画素ブロック２１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ２３０５が選択パルスによって順次印加されて、選択的に出力配線２３０９に出力される。また、リセット配線２３０６、ＴＸ配線２３０７、出力配線２３０９は、画素ブロック２１３１毎に別個に設けられる。
【0235】
このように画素ブロック２１３１を基準として回路を構成することにより、画素ブロック２１３１ごとに電荷蓄積時間を制御することができる。換言すると、隣接する画素ブロック２１３１同士で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の画素ブロック２１３１に１回の電荷蓄積を行わせている間に、他方の画素ブロック２１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの画素ブロック２１３１同士で異なるフレームレートで動画用の各フレームを出力することもできる。なお、図３７に示した各トランジスタおよび各配線の少なくとも一部は、各画素から出力される画素信号を読み出す読出回路として機能する。読出回路は、画素毎に設けられる。画素毎の読出回路は、配線等の一部の構成が、画素間で共有されていてよい。
【0236】
図３８は、撮像素子２１００の構成の一部と、その動作例を示す。本例の撮像素子２１００は、図３５に示した構成に加え、記憶部２１１４を更に備える。なお、記憶部２１１４は、信号処理チップ２１１１に設けられてよい。この場合、撮像素子２１００は、メモリチップ２１１２を有さなくともよい。また、記憶部２１１４は、メモリチップ２１１２に設けられてもよい。
【0237】
撮像チップ２１１３は、それぞれ入射光に応じた画素信号を生成する複数の画素が配置された撮像領域２７００を有する。説明の便宜上、図３８においては、画素ブロック２１３１を、行方向および列方向に３個ずつ示す。それぞれの画素ブロック２１３１に含まれる画素数は、等しいことが好ましい。また、撮像領域２７００内の各画素ブロック２１３１に含まれる画素数は、固定されていることが好ましい。
【0238】
本例の信号処理チップ１１１は、マルチプレクサ２４１１、Ａ／Ｄ変換器２４１２、デマルチプレクサ２４１３、制御部２７４０、および、演算回路２４１５を画素ブロック２１３１毎に有する。マルチプレクサ２４１１は、対応する画素ブロック２１３１に含まれる画素を順次選択して、選択した画素に対応する画素信号をＡ／Ｄ変換器２４１２に入力する。Ａ／Ｄ変換器２４１２は、アナログの画素信号をデジタルの画素データに変換し、デマルチプレクサ２４１３に入力する。デマルチプレクサ２４１３は、対応する記憶ブロック２７３０において、当該画素に対応する記憶領域に当該画素データを記憶させる。それぞれの記憶ブロック２７３０は、記憶した画素データを後段の演算回路２４１５に引き渡す。
【0239】
記憶部２１１４は、複数の画素ブロック２１３１に対応して設けられ、それぞれ対応する画素ブロック２１３１の画素データを記憶可能な複数の記憶ブロック２７３０を有する。記憶ブロック２７３０は、画素ブロック２１３１と一対一に対応する。記憶ブロック２７３０は、バス２７２０を介して、対応する画素ブロック２１３１と接続されてよい。記憶ブロック２７３０は、バッファメモリであってよい。
【0240】
また、少なくとも一部の記憶ブロック２７３０は、対応する画素ブロック２１３１以外の画素ブロックの画素データも記憶することができる。つまり、一つの記憶ブロック２７３０が複数の画素ブロック２１３１によって共有されてもよい。換言すれば、制御部２７４０は、一つの画素ブロック２１３１の画素データを複数の記憶ブロック２７３０に記憶させることができる。記憶ブロック２７３０を共有することで、後述するように複数の記憶ブロック２７３０を効率よく利用することができるので、記憶部２１１４全体のメモリ容量を抑制することができる。
【0241】
なお、全ての画素ブロック２１３１について、画素データが、対応する記憶ブロック２７３０以外にも、少なくとも一つの他の記憶ブロック２７３０に読み書き可能であることが好ましい。当該他の記憶ブロック２７３０は、画素ブロック２１３１毎に予め定められていてよく、動的に変更可能であってもよい。また、全ての記憶ブロック２７３０について、対応する画素ブロック２１３１以外にも、少なくとも一つの他の画素ブロック２１３１の画素データが読み書き可能であることが好ましい。当該他の画素ブロック２１３１は、記憶ブロック２７３０毎に予め定められていてよく、動的に変更可能であってもよい。
【0242】
なお、それぞれの記憶ブロック２７３０は、信号処理チップ２１１１において、対応する画素ブロック２１３１と重なる領域に、それぞれの画素ブロック２１３１毎に設けられたメモリであってよい。つまり、記憶ブロック２７３０は、信号処理チップ２１１１において、対応する画素ブロック２１３１の直下の領域に設けられてよい。この場合、画素ブロック２１３１および記憶ブロック２７３０は、ＴＳＶにより電気的に接続されてよい。また、信号処理チップ２１１１において各画素ブロック２１３１と重なる上記の領域には、対応する記憶ブロック２７３０、Ａ／Ｄ変換器２４１２、演算回路２４１５等が設けられる。また、それぞれの記憶ブロック２７３０は、信号処理チップ２１１１において、撮像領域２７００と重なる領域の外側にそれぞれ設けられたメモリであってもよい。
【0243】
また、それぞれの記憶ブロック２７３０、Ａ／Ｄ変換器２４１２および演算回路２４１５が、対応する画素ブロック２１３１と重なる領域に設けられた場合において、それぞれの記憶ブロック２７３０が、対応する画素ブロック２１３１以外の画素ブロック２１３１の画素データを記憶する場合、当該記憶ブロック２７３０が設けられた領域までアナログの画素信号を伝送してよく、デジタルの画素データを伝送してもよい。前者の場合、当該記憶ブロック２７３０に対応するＡ／Ｄ変換器２４１２が、画素信号を画素データに変換して、当該記憶ブロック２７３０に入力する。後者の場合、当該画素ブロック２１３１と重なる領域におけるＡ／Ｄ変換器２４１２において画素信号を画素データに変換してから、当該画素データを記憶すべき記憶ブロック２７３０まで伝送する。信号処理チップ２１１１には、これらの画素信号または画素データを伝送するための配線が設けられる。
【0244】
後述する演算回路２４１５は、記憶ブロック２７３０に格納された画素データを処理して後段の画像処理部２５１１に引き渡す。演算回路２４１５は、信号処理チップ２１１１に設けられてよい。なお、図では１つの画素ブロック２１３１の分の接続を示すが、実際にはこれらが画素ブロック２１３１ごとに存在して、並列で動作する。演算回路２４１５は画素ブロック２１３１ごとに設けられるのが好ましい。
【0245】
上記の通り、画素ブロック２１３１のそれぞれに対応して出力配線２３０９が設けられている。撮像素子２１００は撮像チップ２１１３、信号処理チップ２１１１および記憶部２１１４を積層しているので、これら出力配線２３０９にバンプ２１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
【0246】
なお、制御部２７４０には、各画素ブロック２１３１のフレームレートに関するレート情報が与えられる。制御部２７４０は、当該レート情報に基づいて、高速フレームレートの画素ブロック２１３１の画素データを記憶すべき記憶ブロック２７３０を選択する。例えば制御部２７４０は、基準フレームレートの画素ブロック２１３１に対応する記憶ブロック２７３０を、当該画素データを記憶すべき記憶ブロック２７３０とする。
【0247】
なお各図に示す例においては、演算回路２４１５が複数の画素を含む画素ブロック２１３１毎に設けられる例を説明している。しかし、演算回路２４１５は一つの画素毎に設けられてもよい。なお、演算回路２４１５が全ての画素に対して設けられなくともよい。即ち、撮像領域２７００には、少なくとも第１画素および第２画素が配されており、撮像素子２１００は、第１画素に対応する第１演算回路２４１５と、第２画素に対応する第２演算回路２４１５を少なくとも有する。
【0248】
第１画素が出力する第１画素信号は、第１読出回路により読み出され、第２画素が出力する第２画素信号は、第２読出回路により読み出される。第１演算回路２４１５は、第１画素から出力される第１画素信号に基づいて第１評価値を演算し、後段の画像処理部２５１１に伝送する。第２演算回路２４１５は、第２画素から出力される第２画素信号に基づいて第２評価値を演算し、後段の画像処理部２５１１に伝送する。ここで評価値とは、画素信号の値を用いて所定の演算を行って得られる値である。例えば、所定の画素が出力する画素信号の値と、当該画素に隣接する隣接画素が出力する隣接画素信号の値との差分、平均等であってよい。また、所定の画素が異なるフレームにおいて出力する複数の画素信号の値の差分、平均等であってもよい。当該演算には、様々なパラメータを用いてよい。
【0249】
図３９は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置２５００は、撮影光学系としての撮影レンズ２５２０を備え、撮影レンズ２５２０は、光軸ＯＡに沿って入射する被写体光束を撮像素子２１００へ導く。撮影レンズ２５２０は、撮像装置２５００に対して着脱できる交換式レンズであっても構わない。撮像装置２５００は、撮像素子２１００、システム制御部２５０１、駆動部２５０２、測光部２５０３、ワークメモリ２５０４、記録部２５０５、および表示部２５０６を主に備える。
【0250】
撮影レンズ２５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図３５では瞳近傍に配置された仮想的な１枚のレンズで当該撮影レンズ２５２０を代表して表している。駆動部２５０２は、システム制御部２５０１からの指示に従って撮像素子１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。この意味において駆動部２５０２は、撮像素子２１００に対して電荷蓄積を実行させて画素信号を出力させる撮像素子制御部の機能を担うと言える。
【0251】
撮像素子２１００は、画素信号をシステム制御部２５０１の画像処理部２５１１へ引き渡す。画像処理部２５１１は、ワークメモリ２５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。第１および第２演算回路２４１５の後段の画像処理部２５１１は、第１演算回路２４１５から受け取った第１評価値に基づいて第１画素信号に対応する画像の第１画素データに画像処理を施し、第２演算回路２４１５から受け取った第２評価値に基づいて第２画素信号に対応する画像の第２画素データに画像処理を施す。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ベイヤー配列で得られた信号からカラー映像信号を生成した後に圧縮処理を実行する。生成された画像データは、記録部２５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部２５０６に表示される。なお、画像処理部２５１１は、撮像素子２１００に設けられてよく、撮像素子２１００の外部のシステム制御部２５０１に設けられてもよい。また、画像処理部２５１１は、ひとつの画素ごとに設けられてもよいし、複数の画素を含む画素ブロック２１３１ごとに設けられてもよい。
【0252】
測光部２５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部２５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部２５０１の演算部２５１２は、測光部２５０３の出力を受けてシーンの領域ごとの輝度を算出する。演算部２５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。測光部２５０３は撮像素子２１００で兼用してもよい。なお、演算部２５１２は、撮像装置２５００を動作させるための各種演算も実行する。
【0253】
駆動部２５０２は、一部または全部が撮像チップ２１１３に搭載されてもよいし、一部または全部が信号処理チップ２１１１に搭載されてもよい。システム制御部２５０１の一部が撮像チップ２１１３または信号処理チップ２１１１に搭載されてもよい。なお、本例の撮像装置２５００においては、画像処理部２５１１の少なくとも一部の画像処理機能が、撮像素子２１００に設けられる。
【0254】
図４０は、画像処理部の機能ブロック図である。本例の画像処理部２５１１は、基準フレームレートで動作する画素ブロック２１３１（後述する周辺領域２１７６）と、高速フレームレートで動作する画素ブロック２１３１（後述する注目領域２１７２）とを抽出する。画像処理部２５１１は、上記の機能に加えて、被写体推定部２１５０、グループ選択部２１５２、動画生成部２１５４および動画合成部２１５６を有する。これらの各機能は、後述する。
【0255】
図４１は、撮像装置が動画を生成して記録する動作を示すフローチャートである。図４２および図４３は撮像素子により撮像される画像の一例を示す。図４４は各フレームレートと画像信号の出力タイミングとの関係を示す。
【0256】
図４１の動作は、ユーザが録画ボタンの押下等により、撮像装置２５００に対して動画の生成を指示したときに開始する。まず、被写体推定部２１５０は、駆動部２５０２を駆動して撮像素子２１００からの画像信号に基づく画像データを取得し、当該画像データが示す画像に含まれる主要被写体を推定する（Ｓ１００）。
【0257】
この場合に、駆動部２５０２は撮像領域全体に含まれる画素ブロック２１３１、例えばすべての画素ブロック２１３１から画像信号を出力させることが好ましい。また、駆動部２５０２は各画素ブロック２１３１に含まれるすべての画素から画像信号を出力させてもよいし、予め定められた間引き率で間引いた画素から画像信号を出力させてもよい。被写体推定部２１５０は、撮像素子２１００から時系列的に得られた複数の画像を比較して、移動している被写体を主要被写体として特定する。なお、主要被写体の推定には、他の方法が用いられてもよい。
【0258】
例えば、被写体推定部２１５０は、撮像素子２１００から時間的に前後する画像として図４２の画像２１７０および図４３の画像２１７８を取得した場合に、これらの差分から子供を主要被写体２１７１として特定する。なお、画像２１７０および画像２１７８における格子線は画素ブロック２１３１の境界を示すが、画素ブロック２１３１の数は例示であってこれらの図に示す数に限られない。
【0259】
グループ選択部２１５２は、被写体推定部２１５０により推定された主要被写体２１７１の像光が入射している画素ブロック２１３１を少なくとも一つ選択する（Ｓ２１０２）。例えば、画像２１７０において、主要被写体２１７１を少なくとも一部含んでいる画素ブロック２１３１が選択される。さらに、主要被写体２１７１が撮像領域内で移動することを考慮して、グループ選択部２１５２は、主要被写体２１７１を少なくとも一部含んでいる画素ブロック２１３１のさらに周囲の画素ブロック２１３１も選択することが好ましい。
【0260】
グループ選択部１５２は、これら選択した画素ブロック２１３１の集合を注目領域２１７２とする。さらにグループ選択部２１５２は、撮像領域全体において注目領域２１７２にふくまれない画素ブロック２１３１からなる集合を周辺領域２１７６とする。グループ選択部２１５２は、撮像領域の全体に対する注目領域２１７２の範囲を示す領域情報２１７４を特定する。
【0261】
図４２に示す例において、注目領域２１７２は、横７個、縦４個の計２８個の画素ブロック２１３１からなる矩形の領域である。これに対し、周辺領域２１７６は、撮像領域である横２１個、縦６個の計１２６個から注目領域２１７２を除いた９８個の画素ブロック２１３１からなる。また、領域情報２１７４として、撮像領域における注目領域２１７２の図中の左上端の画素ブロック２１３１の左からおよび上から数えた位置（９，２）が特定される。さらにサイズ情報として、注目領域２１７２の縦横数７×４が特定される。
【0262】
グループ選択部２１５２が、注目領域２１７２に含まれる画素ブロック２１３１を特定する情報と周辺領域２１７６とを特定する情報とを駆動部２５０２に伝達する。この場合に、注目領域２１７２と周辺領域２１７６とにそれぞれ適用するフレームレートの情報を併せて伝達する。ここで、注目領域２１７２に適用するフレームレートは、周辺領域２１７６に適用するフレームレートより高いことが好ましい。例えば、周辺領域２１７６に適用するフレームレートが６０ｆｐｓである場合に、注目領域２１７２に適用するフレームレートは１８０ｆｐｓに設定される。これらのフレームレートの値は予め設定されて、グループ選択部２１５２が参照可能に格納されていることが好ましいが、ユーザが後から値を変更できるようになっていてもよい。
【0263】
駆動部２５０２は、撮像素子２１００を駆動して各フレームレートで撮像を行う（Ｓ２１０４）。すなわち、駆動部２５０２は、注目領域２１７２に含まれる画素ブロック２１３１に対しては、高いフレームレートで電荷蓄積および画像信号の出力を実行させ、周辺領域２１７６に含まれる画素ブロック２１３１に対しては、低いフレームレートで電荷蓄積および画像信号の出力を実行させる。言い換えれば、駆動部２５０２は、周辺領域２１７６に含まれる画素ブロック２１３１に対して１つのフレームに対応する画像信号を得る間に、注目領域２１７２に含まれる画素ブロック２１３１に対して時系列的に並んだ複数のフレームに対応する画像信号を得る。
【0264】
例えば、周辺領域２１７６のフレームレートが６０ｆｐｓであって、注目領域２１７２のフレームレートが１８０ｆｐｓに設定されている場合に、図４４に示すように、駆動部２５０２は、周辺領域２１７６から１つのフレームＢ１の画像信号を得る時間１／６０ｓまでの間に、注目領域２１７２から３つのフレームＡ１，Ａ２，Ａ３の画像信号を得る（１／６０ｓ＝３×１／１８０ｓ）。この場合に、駆動部２５０２は、周辺領域２１７６に含まれる画素ブロック２１３１のリセットトランジスタ２３０３、転送トランジスタ２３０２および選択トランジスタ２３０５の組と、注目領域２１７２に含まれる画素ブロック２１３１のリセットトランジスタ２３０３、転送トランジスタ２３０２および選択トランジスタ２３０５の組とを別個に駆動することにより、異なるフレームレートで画像信号を得る。
【0265】
なお、図４４は画像信号の出力のタイミングを示しているが、露光時間の長さまでも示しているものではない。駆動部２５０２は予め演算部２５１２で算出された露光時間となるように、周辺領域２１７６と注目領域２１７２とに対して、上記トランジスタの組を駆動する。
【0266】
これに加えて、露光時間の長さをフレームレートに応じて変化させてもよい。例えば図４４に示す例において、周辺領域２１７６の１フレームの露光時間を１／３倍にしておき、注目領域２１７２と実質的に同じ露光時間としてもよい。また、画像信号の出力後にフレームレートの比で当該画像信号を補正してもよい。また、周辺領域２１７６と注目領域２１７２との間で画像信号の出力のタイミングが図４４のように同期していなくても、非同期であってもよい。
【0267】
画像処理部２５１１は、注目領域２１７２からの画像信号をワークメモリ２５０４の予め定められた記憶領域に、フレームごとに順次、記憶する（Ｓ２１０６）。同様に、画像処理部２５１１は、周辺領域２１７６からの画像信号をワークメモリ２５０４の予め定められた記憶領域に、フレームごとに順次、記憶する（同ステップ）。ワークメモリ２５０４は、図３８において説明したように、複数の記憶ブロック２７３０を有する。ワークメモリ２５０４は、それぞれの画素ブロック２１３１に対応するメモリ群からなるメモリであってよい。
【0268】
動画生成部２１５４は、ワークメモリ２５０４に記憶された注目領域２１７２の画像信号を読み出して（Ｓ２１０８）、注目領域２１７２の複数のフレームが含まれる注目領域動画のデータを生成する（Ｓ２１１０）。同様に、動画生成部２１５４は、ワークメモリ２５０４に記憶された周辺領域２１７６の画像信号を読み出して、周辺領域２１７６の複数のフレームが含まれる周辺領域動画のデータを生成する（同ステップ）。ここで、注目領域動画および周辺領域動画はそれぞれ、ＭＰＥＧのような汎用のフォーマットで生成されてそれぞれ別個に再生できるようになっていてもよいし、後述する合成処理を経なければ再生できない専用のフォーマットで生成されてもよい。
【0269】
図４５は、動画生成部により生成された注目領域動画および周辺領域動画を模式的に示す。動画生成部２１５４は、駆動部２５０２が注目領域２１７２を駆動したフレームレートに対応したフレームレートで、注目領域動画を生成する。図４５に示す例において、駆動部２５０２が注目領域２１７２を駆動したフレームレート１／１８０ｆｐｓと同一のフレームレート１／１８０ｆｐｓで、注目領域動画が生成される。
【0270】
同様に、動画生成部２１５４は、駆動部２５０２が周辺領域２１７６を駆動したフレームレートに対応したフレームレートで、周辺領域動画を生成する。図４５に示す例において、駆動部２５０２が周辺領域２１７６を駆動したフレームレート１／６０ｆｐｓと同一のフレームレート１／６０ｆｐｓで、周辺領域動画が生成される。なお、周辺領域動画において注目領域２１７２に対応する領域には有効な値が存在せず、図中は斜線で示した。
【0271】
さらに動画生成部２１５４は注目領域動画および周辺領域動画にヘッダ情報を付加して、これらのデータを記録部２５０５に記録する（Ｓ２１１２）。ヘッダ情報は、撮像領域の全体に対する注目領域２１７２の位置を示す領域情報、注目領域１７２の大きさを示すサイズ情報および、注目領域２１７２の画像信号の出力タイミングと周辺領域２１７６の画像信号の出力タイミングとの関係を示すタイミング情報を含む。
【0272】
システム制御部２５０１は次の単位時間の撮像を行うか否かを判断する（Ｓ２１１４）。次の単位時間の撮像を行うか否かは、その時点でユーザから動画の記録ボタンが押下されているか否かで判断される。次の単位時間の撮像を行う場合は（Ｓ２１１４：Ｙｅｓ）、上記ステップＳ２１０２に戻り、次の単位時間の撮像を行わない場合は（Ｓ２１１４：Ｎｏ）、当該動作を終了する。
【0273】
ここで「単位時間」は予めシステム制御部２５０１に設定されている時間であって、数秒程度である。この単位時間、注目領域２１７２のフレームレートおよび画素ブロック数、並びに、周辺領域２１７６のフレームレートおよび画素ブロック数によって、ステップＳ２１０６において記憶に用いられる記憶容量が決まる。またこれらの情報に基づいて、当該記憶容量において注目領域２１７２のデータを記憶する領域と、周辺領域２１７６のデータを記憶する領域とが定められる。
【0274】
以上により、主要被写体２１７１が含まれる注目領域２１７２からは高いフレームレートで画像信号を得ることができるとともに、周辺領域２１７６を低いフレームレートで抑えることでデータ量を減らすことができる。よって、全画素からの高速読出しに比べて、駆動および画像処理の負荷を減らし、消費電力および発熱を抑えることができる。
【0275】
なお、図４１に示す例において次の単位時間が開始されるときに、ステップＳ２１０２で改めて画素ブロック２１３１が選択され、領域情報およびサイズ情報が更新される。これにより、主要被写体２１７１に追従して注目領域２１７２を逐次、更新することができる。図４５に示す例においては、注目領域動画における単位時間の最初のフレームＡ７において、以前の単位時間の最後のフレームＡ６とは異なる画素ブロック２１３１からなる注目領域２１８２が選択されるとともに、これに伴って領域情報２１８４および周辺領域２１８６も更新されている。
【0276】
図４６は、動画生成部が付加するヘッダ情報の一例を示す。図４６のヘッダ情報は、注目領域動画を特定する注目領域動画ＩＤ、注目領域動画のフレームレート、当該注目領域動画に対応する周辺領域動画を特定する周辺領域動画ＩＤ、周辺領域動画のフレームレート、タイミング情報、領域情報およびサイズ情報を含む。これらのヘッダ情報は、注目領域動画および周辺領域動画のいずれか一方にヘッダ情報として付加されていてもよいし、両方に付加されていてもよい。
【0277】
図４７は、撮像装置が動画を再生して表示する動作を示すフローチャートである。当該動作は、表示部２５０６にサムネイル表示された注目領域動画のいずれかをユーザが特定して再生ボタンを押下したことにより開始する。
【0278】
動画合成部２１５６は、ユーザにより特定された注目領域動画のデータを記録部２５０５から読み出す（Ｓ２１５０）。動画合成部２１５６は、当該注目領域動画に対応する周辺領域動画のデータを記録部２５０５から読み出す（Ｓ２１５２）。
【0279】
この場合に、動画合成部２１５６は、ステップＳ２１５０で読み出した注目領域動画のヘッダ情報に示されている周辺領域動画ＩＤにより周辺領域動画を特定する。これに代えて、ヘッダ情報に示されているタイミング情報と同一のタイミング情報をヘッダ情報として含む周辺領域画像が検索されて特定されてもよい。
【0280】
なお、上記の例では注目領域動画にヘッダ情報が含まれるとしている。一方、注目領域動画にヘッダ情報が含まれずに周辺領域動画にヘッダ情報が含まれている場合には、先にステップＳ２１５０においてユーザに周辺領域動画を特定させて読出し、そのヘッダ情報からステップＳ２１５２において注目領域動画を特定して読み出してもよい。
【0281】
動画合成部２１５６は、注目領域動画のフレームと周辺領域動画のフレームとを用いて、表示動画のフレームを合成する（Ｓ１５４）。この場合にまず、注目領域動画の先頭のフレームＡ１が、周辺領域動画の先頭のフレームＢ１における領域情報２１７４が示す位置に嵌め込まれることにより、表示動画の先頭のフレームＣ１が合成される。動画合成部２１５６は、図４５に示すように、表示動画の先頭のフレームＣ１を表示部２５０６に表示させる（Ｓ２１５６）。
【0282】
動画合成部２１５６は、周辺領域動画における次のフレームＢ２までの間に注目領域動画の次のフレームがあるか否かを判断する（Ｓ２１５８）。動画合成部２１５６は、注目領域動画の次のフレームがある場合に（Ｓ２１５８：Ｙｅｓ）、注目領域２１７２を次のフレームＡ２、Ａ３で更新しかつ周辺領域２１７６を前のフレームＢ１に保持することにより（Ｓ２１６２）、表示動画の次のフレームＣ２、Ｃ３を合成して（Ｓ２１６２）、順次、表示する（Ｓ２１５６）。
【0283】
一方、ステップＳ２１５８において周辺領域動画における次のフレームＢ２までの間に注目領域動画の次のフレームがない場合に（Ｓ２１５８）、動画合成部２１５６は、注目領域２１７２を次のフレームＡ４で更新しかつ周辺領域２１７６も次のフレームＢ２で更新することにより（Ｓ２１６４）、表示動画の次のフレームＣ４を合成して（Ｓ２１６２）、表示する（Ｓ２１５６）。
【0284】
周辺領域動画において周辺領域２１７６の次フレームがある限り（Ｓ２１６０：Ｙｅｓ）、ステップＳ２１５４からＳ２１６０が繰り返される。周辺領域動画において周辺領域２１７６の次フレームがない場合に（Ｓ２１６０：Ｎｏ）、動画合成部２１５６は、当該注目領域動画と周辺領域動画との組の単位時間の次の単位時間における注目領域動画と周辺領域動画との組があるか否かを検索する（Ｓ２１６６）。例えば、動画合成部２１５６は、記録部２５０５の同一フォルダ内において、当該注目領域動画のタイミング情報が示すタイミングの直後を示すタイミング情報がヘッダ情報に含まれた注目領域動画があるか否かを検索する。
【0285】
次の単位時間における注目領域動画と周辺領域動画との組がある限り（Ｓ２１６６：Ｙｅｓ）、ステップＳ２１５０からＳ２１６６が繰り返される。次の単位時間における注目領域動画と周辺領域動画との組がない場合に（Ｓ２１６６：Ｎｏ）、当該動作を終了する。
【0286】
以上によれば、全体のデータ量を減らしつつ、主要被写体２１７１が含まれる注目領域２１７２について滑らかな動画を表示することができる。なお、ステップＳ２１６２においては、注目領域２１７２がそのまま次のフレームで更新されて表示画像のフレームが合成されているが、合成の方法はこれに限られない。他の例として、注目領域２１７２における主要被写体２１７１の境界線が画像処理により特定され、当該境界線で囲まれた主要被写体２１７１については次のフレームに更新するとともに、注目領域２１７２内であっても主要被写体２１７１の境界線外側については前のフレームを維持して、周辺領域２１７６のフレームと合成されてもよい。すなわち、注目領域２１７２における境界線外側については周辺領域２１７６のフレームレートに落としてもよい。これにより表示動画における滑らかさの境界が不自然に見えることを防ぐことができる。また、再生のフレームレートは、撮影時のフレームレート（注目領域は１８０ｆｐｓ、周辺領域は６０ｆｐｓ）と同じである必要はなく、例えば注目領域を６０ｆｐｓ、周辺領域を２０ｆｐｓなどとしてもよい。その場合はスローモーション再生となる。
【0287】
【0288】
図４８の動作において、注目領域２１７２と周辺領域２１７６とで、図４１のフレームレートに代えて、または、加えて間引き率を異ならせている。より詳しくは、ステップＳ２１２０において、駆動部２５０２は、注目領域２１７２に含まれる画素ブロック２１３１に対しては、低い間引き率で間引いた画素に対して電荷蓄積および画像信号の出力を実行させ、周辺領域２１７６に含まれる画素ブロック２１３１に対しては、高い間引き率で間引いた画素に対して電荷蓄積および画像信号の出力を実行させる。例えば注目領域２１７２に含まれる画素ブロック２１３１に対して間引き率０すなわち全画素が読み出され、周辺領域２１７６に含まれる画素ブロック２１３１に対して間引き率０．５すなわち半分画素が読み出される。
【0289】
この場合に、駆動部２５０２は、周辺領域２１７６に含まれる画素ブロック２１３１のリセットトランジスタ２３０３、転送トランジスタ２３０２および選択トランジスタ２３０５の組と、注目領域２１７２に含まれる画素ブロック２１３１のリセットトランジスタ２３０３、転送トランジスタ２３０２および選択トランジスタ２３０５の組とを別個に駆動することにより、異なる間引き率で画像信号を得る。
【0290】
ステップＳ２１１０において、動画生成部２１５４は、低い間引き率で出力された注目領域２１７２の画像信号に基づき、注目領域２１７２に対応する注目領域動画を生成する。動画生成部２１５４は、同様に、高い間引き率で出力された周辺領域２１７６の画像信号に基づき、周辺領域２１７６に対応する周辺領域動画を生成する。またステップＳ２１１２において、動画生成部２１５４は、それぞれの間引き率の情報を付加して注目領域動画および周辺領域動画を記録部２５０５に記録する。
【0291】
図４９は、一の画素ブロックに対して間引き率０．５で読み出される画素２１８８の例を示す。図４９に示す例において、周辺領域２１７６の画素ブロック２１３２がベイヤー配列である場合に垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位でみた場合の二行づつ交互に、読み出される画素２１８８と読み出されない画素が設定される。これにより色バランスを崩すことなく間引き読出しをすることができる。
【0292】
【0293】
図５０のステップＳ２１７０において、動画合成部２１５６は、周辺領域動画のフレームの画素を補完して解像度を注目領域動画のフレームの解像度と整合させてから、注目領域動画のフレームを周辺領域動画のフレームに嵌め込むことにより、表示画像のフレームを合成する。これにより、主要被写体２１７１が含まれる注目領域２１７２からは高い解像度で画像信号を得ることができるとともに、周辺領域２１７６を低い解像度で抑えることでデータ量を減らすことができる。よって、全画素からの高速読出しに比べて、駆動および画像処理の負荷を減らし、消費電力および発熱を抑えることができる。
【0294】
なお、図３５から図５０に示す例において、注目領域２１７２は矩形であるが注目領域２１７２の形状はこれに限られない。注目領域２１７２は画素ブロック２１３１の境界線に沿っていれば凸の多角形、凹の多角形、または、中に周辺領域２１７６が入り込んだドーナツ形状等であってもよい。また、注目領域２１７２は互いに離間して複数個設定されてもよい。その場合に、互いの注目領域２１７２で異なるフレームレートが設定されてもよい。
【0295】
また、注目領域２１７２および周辺領域２１７６のフレームレートは可変であってもよい。例えば、単位時間が経過するごとに主要被写体２１７１の移動量を検出して、主要被写体２１７１の移動量が大きいほど注目領域２１７２により高いフレームレートを設定してもよい。また、単位時間内で随時、主要被写体２１７１に追従して注目領域２１７２に含まれるべき画素ブロック２１３１の選択を更新してもよい。
【0296】
図４１および図４８の動画の生成はユーザの録画ボタンの押下により開始し、図４７および図５０の動画の再生はユーザの再生ボタンの押下により開始しているが、開始時点はこれに限られない。他の例として、ユーザからの一つのボタン操作によって、動画の生成の動作と再生の動作とを連続して実行させて、表示部２５０６にスルー画表示（またはライブビュー表示ともいう）してもよい。この場合に、注目領域２１７２をユーザに認識させる表示が重畳されてもよい。例えば、表示部２５０６において注目領域２１７２の境界線に枠を表示したり、周辺領域２１７６の輝度を下げるか注目領域２１７２の輝度を上げるかしてもよい。
【0297】
図４８の動作において、注目領域１７２と周辺領域１７６とで間引き率を異ならせている。間引き率を異ならせることに代えて、隣接行の画素の画素信号を加算するときの行数を異ならせてもよい。例えば、注目領域１７２においては行数が１、すなわち、隣接行で加算せずに画素信号を出力し、周辺領域１７６においては注目領域１７２よりも多い行数、例えば行数を２として、隣接する２行の同じ列の画素の画素信号を出力する。これにより、図４８と同様に、周辺領域１７６よりも注目領域１７２の解像度を高く維持しつつ、全体の信号量を減らすことができる。
【0298】
なお、動画合成部２１５６は撮像装置２５００の画像処理部２５１１に設けられていることに代えて、外部の表示装置、例えばＰＣに設けられてもよい。また、動画を生成する場合に限られず、静止画を生成する場合に上記実施形態が適用されてもよい。
【0299】
また、上記実施形態はいずれも複数の画素ブロック２１３１を、注目領域２１７２と周辺領域２１７６との２つに分けているが、これに限られず３つ以上の領域に分けてもよい。この場合に、注目領域２１７２と周辺領域２１７６との境界に該当する画素ブロック２１３１を境界領域として、当該境界領域には、注目領域２１７２に用いられる制御パラメータの値と周辺領域２１７６に用いられる制御パラメータの値との中間の値が用いられて制御されてもよい。これにより、注目領域２１７２と周辺領域２１７６との境界が不自然に見えることを防ぐことができる。
【0300】
注目領域２１７２と周辺領域２１７６とで電荷の蓄積時間、蓄積回数等を異ならせてもよい。この場合に注目領域２１７２と周辺領域２１７６とを輝度に基づいて分けてもよく、さらに中間領域を設けてもよい。
【0301】
図５１Ａおよび図５１Ｂは、シーンの例と領域分割を説明する図である。図５１Ａは、撮像チップ２１１３の撮像領域が捉えるシーンを示す。具体的には、屋内環境に含まれるシャドウ被写体２６０１および中間被写体２６０２と、窓枠２６０４の内側に観察される屋外環境のハイライト被写体２６０３とが同時に写り込むシーンである。このような、ハイライト部からシャドウ部までの明暗差が大きなシーンを撮影する場合、従来の撮像素子であれば、ハイライト部を基準として電荷蓄積を実行するとシャドウ部で黒潰れが生じ、シャドウ部を基準として電荷蓄積を実行するとハイライト部で白飛びが生じた。すなわち、ハイライト部もシャドウ部も一律に一度の電荷蓄積により画像信号を出力させるには、明暗差の大きなシーンに対してフォトダイオードのダイナミックレンジが不足していると言える。そこで、本実施形態においては、シーンをハイライト部、シャドウ部といった部分領域に分割して、それぞれの領域に対応するフォトダイオードの電荷蓄積回数を互いに異ならせることにより、ダイナミックレンジの実質的な拡大を図る。
【0302】
図５１Ｂは、撮像チップ２１１３の撮像領域における領域分割を示す。演算部２５１２は、測光部２５０３が捉えた図５１Ａのシーンを解析して、輝度を基準に撮像領域を分割する。例えば、システム制御部２５０１は、測光部２５０３に露光時間を変更しつつ複数回のシーン取得を実行させ、演算部２５１２は、その白飛び領域、黒潰れ領域の分布の変化を参照して撮像領域の分割ラインを決定する。図５１Ｂの例においては、演算部２５１２は、シャドウ領域２６１１、中間領域２６１２、およびハイライト領域２６１３の３領域に分割している。
【0303】
分割ラインは、画素ブロック２１３１の境界に沿って定義される。すなわち、分割された各領域は、整数個のグループをそれぞれ含む。そして、同一の領域に包含される各グループの画素は、演算部２５１２によって決定されたシャッタ速度に対応する期間内において、同一回数の電荷蓄積および画素信号出力を行う。属する領域が異なれば、異なる回数の電荷蓄積および画素信号出力を行う。
【0304】
図５２は、図５１Ａおよび図５１Ｂの例による分割された領域ごとの電荷蓄積制御を説明する図である。演算部２５１２は、ユーザから撮影準備指示を受けると、測光部２５０３の出力からシャッタ速度Ｔ０を決定する。さらに、上述のようにシャドウ領域２６１１、中間領域２６１２およびハイライト領域２６１３に分割して、それぞれの輝度情報から電荷蓄積回数を決定する。電荷蓄積回数は、１回あたりの電荷蓄積により画素が飽和しないように決定される。例えば、１回の電荷蓄積動作において蓄積可能な８割から９割の電荷が蓄積されることを基準として、電荷蓄積回数が決定される。
【0305】
ここでは、シャドウ領域２６１１を１回とする。すなわち、決定されたシャッタ速度Ｔ０と電荷蓄積時間を一致させる。また、中間領域２６１２の電荷蓄積回数を２回とする。すなわち、１回の電荷蓄積時間をＴ０／２として、シャッタ速度Ｔ０の間に２回の電荷蓄積を繰り返させる。また、ハイライト領域２６１３の電荷蓄積回数を４回とする。すなわち、１回の電荷蓄積時間をＴ０／４として、シャッタ速度Ｔ０の間に４回の電荷蓄積を繰り返させる。
【0306】
ユーザから撮影指示を時刻ｔ＝０で受けると、駆動部２５０２は、いずれの領域に属するグループの画素に対しても、リセットパルスと転送パルスを印加する。この印加をトリガーとして、いずれの画素も電荷蓄積を開始する。
【0307】
時刻ｔ＝Ｔ０／４となったら、駆動部２５０２は、ハイライト領域２６１３に属するグループの画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線２３０９に出力させる。グループ内の全ての画素の画素信号を出力させたら、駆動部２５０２は、ハイライト領域２６１３に属するグループの画素に対して再びリセットパルスと転送パルスを印加して、２回目の電荷蓄積を開始させる。
【0308】
なお、画素信号の選択出力には時間を要するので、１回目の電荷蓄積の終了と２回目の電荷蓄積の開始の間には時間差が生じる。この時間差が実質的に無視し得るのであれば、上述のように、シャッタ速度Ｔ０に対して電荷蓄積回数で割った時間を１回の電荷蓄積時間とすれば良い。一方、無視し得ないのであれば、その時間を考慮して、シャッタ速度Ｔ０を調整したり、１回の電荷蓄積時間をシャッタ速度Ｔ０に対して電荷蓄積回数で割った時間よりも短くしたりすれば良い。
【0309】
時刻ｔ＝Ｔ０／２となったら、駆動部２５０２は、中間領域２６１２とハイライト領域２６１３に属するグループの画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線２３０９に出力させる。グループ内の全ての画素の画素信号を出力させたら、駆動部２５０２は、中間領域２６１２とハイライト領域２６１３に属するグループの画素に対して再びリセットパルスと転送パルスを印加して、中間領域２６１２に対しては２回目の、ハイライト領域２６１３に対しては３回目の電荷蓄積を開始させる。
【0310】
時刻ｔ＝３Ｔ０／４となったら、駆動部２５０２は、ハイライト領域２６１３に属するグループの画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線２３０９に出力させる。グループ内の全ての画素の画素信号を出力させたら、駆動部２５０２は、ハイライト領域２６１３に属するグループの画素に対して再びリセットパルスと転送パルスを印加して、４回目の電荷蓄積を開始させる。
【0311】
時刻ｔ＝Ｔ０となったら、駆動部２５０２は、全領域の画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線２３０９に出力させる。以上の制御により、シャドウ領域２６１１に対応する画素メモリ２４１４にはそれぞれ１回分の画素信号が格納され、中間領域２６１２に対応する画素メモリ２４１４にはそれぞれ２回分の画素信号が格納され、ハイライト領域２６１３に対応する画素メモリ２４１４にはそれぞれ４回分の画素信号が格納される。
【0312】
なお、駆動部２５０２は、いずれの領域に属するグループの画素に対して、リセットパルスを順次印加し、それぞれの領域に属するグループの画素を順次リセットしてもよい。また、駆動部２５０２は、リセットしたグループの画素に転送パルスを順次印加してもよい。この印加をトリガーとして、それぞれのグループの画素が電荷蓄積を順次開始してよい。すべての領域に属するグループの画素に対して電荷蓄積が終了後に、駆動部２５０２は、全領域の画素に対して転送パルスを印加してよい。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線２３０９に出力させてよい。
【0313】
これらの画素信号は、順次、画像処理部２５１１へ転送される。画像処理部２５１１は、この画素信号から高ダイナミックレンジの画像データを生成する。具体的な処理については後述する。
【0314】
図５３は、積算回数とダイナミックレンジの関係を示す図である。繰り返し実行された電荷蓄積に対応する複数回分の画素データは、画像処理部２５１１により積算処理されて、高ダイナミックレンジの画像データの一部を形成する。
【0315】
積算回数が１回、すなわち電荷蓄積を１回行った領域のダイナミックレンジを基準とした場合、積算回数が２回、すなわち電荷蓄積を２回行って出力信号を積算した領域のダイナミックレンジの拡大分は１段分となる。同様に、積算回数を４回にすれば２段分となり、１２８回にすれば７段分となる。すなわち、ｎ段分のダイナミックレンジ拡大を図るには、２ｎ回の出力信号を積算すれば良い。
【0316】
ここで、画像処理部２５１１がいずれの分割領域が何回の電荷蓄積を行ったかを識別するために、積算回数を示す３ｂｉｔの指数桁が画像信号に付与されている。図示するように、指数桁は、積算数１回に対して０００、２回に対して００１、…１２８回に対して１１１のように順に割り当てられる。
【0317】
画像処理部２５１１は、演算回路２４１５から受け取った各画素データの指数桁を参照して、参照した結果が２回以上の積算数である場合には、画素データの積算処理を実行する。例えば、積算回数が２回の場合（１段）は、２個の画素データに対して、電荷蓄積に対応する１２ｂｉｔの画素データのうち上位１１ｂｉｔ同士を加算して、１２ｂｉｔの１つの画素データを生成する。同様に、積算回数が１２８回（７段）の場合は、１２８個の画素データに対して、電荷蓄積に対応する１２ｂｉｔの画素データのうち上位５ｂｉｔ同士を加算して、１２ｂｉｔの１つの画素データを生成する。すなわち、積算回数に対応する段数を１２から引いた上位ｂｉｔを互いに足し合わせて、１２ｂｉｔの１つの画素データを生成する。なお、加算の対象とならない下位ｂｉｔは除去される。
【0318】
このように処理することにより、階調を与える輝度範囲を積算回数に合わせて高輝度側にシフトさせることができる。すなわち、高輝度側の限られた範囲に対して１２ｂｉｔが割り当てられることになる。したがって、従来白飛びしていた画像領域に対して階調を与えることができる。
【0319】
ただし、他の分割領域については異なる輝度範囲に対して１２ｂｉｔを割り当てているので、単純に領域ごとに繋ぎ合わせる合成により画像データを生成することができない。そこで、画像処理部２５１１は、得られた階調をできる限り維持しつつ全領域を１２ｂｉｔの画像データとするために、最大輝度画素と最低輝度画素を基準として、再量子化処理を行う。具体的には、階調がより滑らかに維持されるように、ガンマ変換を施して量子化を実行する。このように処理することにより、高ダイナミックレンジの画像データを得ることができる。
【0320】
なお、積算回数は、上記のように３ｂｉｔの指数桁が画素データに付与されている場合に限らず、画素データとは別の付随情報として記述されていても良い。また、画素データから指数桁を省き、代わりに画素メモリ２４１４に格納されている画素データの数をカウントすることにより、加算処理時に積算回数を取得しても良い。
【0321】
また、上記の画像処理においては、全領域を１２ｂｉｔの画像データに収める再量子化処理を実行したが、画素データのｂｉｔ数に対し、上限の積算回数に合わせて出力ｂｉｔ数を増やしても良い。例えば、上限の積算回数を１６回（４段）と定めれば、１２ｂｉｔの画素データに対して、全領域を１６ｂｉｔの画像データとすれば良い。このように処理すれば、桁落ちさせずに画像データを生成することができる。
【0322】
次に、一連の撮影動作処理について説明する。図５４は、撮影動作の処理を示すフロー図である。フローは、撮像装置５００の電源がＯＮにされて開始される。
【0323】
システム制御部２５０１は、ステップＳ２２０１で、撮影準備指示であるスイッチＳＷ１の押し下げがなされるまで待機する。スイッチＳＷ１の押し下げを検知したらステップＳ２２０２へ進む。
【0324】
ステップＳ２２０２では、システム制御部２５０１は、測光処理を実行する。具体的には、測光部２５０３の出力を得て、演算部２５１２がシーンの輝度分布を算出する。そして、ステップＳ２２０３へ進み、上述のように、シャッタ速度、領域分割、積算回数等を決定する。
【0325】
撮影準備動作が完了したら、ステップＳ２２０４へ進み、撮影指示であるスイッチＳＷ２の押し下げがなされるまで待機する。このとき、経過時間が予め定められた時間Ｔｗを超えたら（ステップＳ２２０５のＹＥＳ）、ステップＳ２２０１へ戻る。Ｔｗを超える前に（ステップＳ２２０５のＮＯ）スイッチＳＷ２の押し下げを検知したら、ステップＳ２２０６へ進む。
【0326】
ステップＳ２２０６では、システム制御部２５０１の指示を受けた駆動部２５０２が、図５２を用いて説明した電荷蓄積処理、信号読み出し処理を実行する。そして、全ての信号読み出しが完了したらステップＳ２２０７へ進み、図５３を用いて説明した画像処理を実行し、生成された画像データを記録部に記録する記録処理を実行する。
【0327】
記録処理が完了したらステップＳ２２０８へ進み、撮像装置２５００の電源がＯＦＦにされたか否かを判断する。電源がＯＦＦにされなければステップＳ２２０１へ戻り、ＯＦＦにされたら一連の撮影動作処理を終了する。
【0328】
図５５は、信号処理チップ２１１１の一例としての具体的構成を示すブロック図である。図５５に示す画素データ処理部２９１０は、画素ブロック２１３１ごとに設けられる。ただし、図３８に関連して説明した演算回路２４１５と同様に、画素データ処理部２９１０は、２以上の画素に対して、画素毎に設けられてもよい。また、画素データ処理部２９１０の構成のうち、演算回路２４１５以外の構成は、画素ブロック２１３１ごとに設けられてよい。
【0329】
本例の信号処理チップ２１１１における制御部２７４０は、駆動部２５０２の機能の一部または全部を担う。制御部２７４０は、分担化された制御機能としてのセンサ制御部２４４１、ブロック制御部２４４２、同期制御部２４４３、信号制御部２４４４と、これらの各制御部を統括制御する駆動制御部２４２０とを含む。駆動制御部２４２０は、システム制御部２５０１からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す。
【0330】
センサ制御部２４４１は、撮像チップ２１１３へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部２４４１は、対象画素に対してリセットパルスと転送パルスを送出することにより、電荷蓄積の開始と終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線２３０９へ出力させる。
【0331】
ブロック制御部２４４２は、撮像チップ２１１３へ送出する、制御対象となる画素ブロック２１３１を特定する特定パルスの送出を実行する。図５１Ｂ等を用いて説明したように、注目領域２１７２および周辺領域２１７６に分割された各領域には、互いに隣接する複数の画素ブロック２１３１が包含され得る。これら同一の領域に属する画素ブロック２１３１は、ひとつのブロック群を形成する。同一のブロック群に含まれる画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。そこで、ブロック制御部２４４２は、駆動制御部２４２０からの指定に基づいて対象となる画素ブロック２１３１に特定パルスを送出することにより、画素ブロック２１３１をブロック化する役割を担う。各画素がＴＸ配線２３０７およびリセット配線２３０６を介して受ける転送パルスおよびリセットパルスは、センサ制御部２４４１が送出する各パルスとブロック制御部２４４２が送出する特定パルスの論理積となる。
【0332】
このように、各領域を互いに独立したブロック群として制御することにより、図５２を用いて説明した電荷蓄積制御を実現する。駆動制御部２４２０は、同一のブロック群に含まれる画素に対して、異なるタイミングでリセットパルスおよび転送パルスを印加してよい。また、駆動制御部２４２０は、同一のブロック群に含まれる画素の電荷蓄積を同一タイミングで終了させた後、ブロック群内の画素に対して順次選択パルスを印加して、それぞれの画素信号を順次読み出してもよい。
【0333】
同期制御部２４４３は、同期信号を撮像チップ２１１３へ送出する。各パルスは、同期信号に同期して撮像チップ２１１３においてアクティブとなる。例えば、同期信号を調整することにより、同一の画素ブロック２１３１に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。
【0334】
信号制御部２４４４は、主にＡ／Ｄ変換器２４１２に対するタイミング制御を担う。出力配線２３０９を介して出力された画素信号は、ＣＤＳ回路２４１０およびマルチプレクサ２４１１を経てＡ／Ｄ変換器２４１２に入力される。Ａ／Ｄ変換器２４１２は、信号制御部２４４４によって制御されて、入力された画素信号をデジタルの画素データに変換する。デジタル信号に変換された画素データは、デマルチプレクサ２４１３に引き渡され、そしてそれぞれの画素に対応する画素メモリ２４１４にデジタルデータの画素値として格納される。画素メモリ２４１４は、記憶ブロック２７３０の一例である。
【0335】
信号処理チップ２１１１は、いずれの画素ブロック２１３１を組み合わせて注目領域２１７２および周辺領域２１７６のブロック群を形成するかについてのブロック区分情報と、形成されたそれぞれのブロック群が何回の電荷蓄積を繰り返すかについての蓄積回数情報とを格納する、蓄積制御メモリとしてのタイミングメモリ２４３０を有する。タイミングメモリ２４３０は、例えばフラッシュＲＡＭによって構成される。
【0336】
上述のように、いずれの画素ブロック２１３１を組み合わせてブロック群を形成するかについては、一連の撮影シーケンスに先立って実行されるシーンの輝度分布検出の検出結果に基づいて、システム制御部２５０１により決定される。決定されたブロック群は、例えば第１ブロック群、第２ブロック群…のように区分され、それぞれのブロック群がいずれの画素ブロック２１３１を包含するかにより規定される。駆動制御部２４２０は、このブロック区分情報をシステム制御部２５０１から受け取り、タイミングメモリ２４３０へ格納する。
【0337】
また、システム制御部２５０１は、輝度分布の検出結果に基づいて、各ブロック群が何回の電荷蓄積を繰り返すかを決定する。駆動制御部２４２０は、この蓄積回数情報をシステム制御部２５０１から受け取り、対応するブロック区分情報と対でタイミングメモリ２４３０へ格納する。このようにタイミングメモリ２４３０へブロック区分情報と蓄積回数情報を格納することにより、駆動制御部２４２０は、一連の電荷蓄積制御を、タイミングメモリ２４３０を逐次参照して独立して実行し得る。すなわち、駆動制御部２４２０は、１枚の画像取得制御において撮影指示の信号をシステム制御部２５０１から一旦受け取ると、その後は各画素の制御についてその都度システム制御部２５０１から指示を受けること無く、蓄積制御を完了させることができる。
【0338】
駆動制御部２４２０は、撮影準備指示に同期して実行される測光結果（輝度分布の検出結果）に基づいて更新されるブロック区分情報と蓄積回数情報をシステム制御部２５０１から受け取って、タイミングメモリ２４３０の記憶内容を適宜更新する。例えば、駆動制御部２４２０は、撮影準備指示または撮影指示に同期して、タイミングメモリ２４３０を更新する。このように構成することにより、より高速な電荷蓄積制御を実現すると共に、駆動制御部２４２０が電荷蓄積制御を実行している間に、システム制御部２５０１は他の処理を並行して実行し得る。
【0339】
駆動制御部２４２０は、撮像チップ２１１３に対する電荷蓄積制御を実行するに留まらず、読み出し制御の実行においてもタイミングメモリ２４３０を参照する。例えば、駆動制御部２４２０は、各ブロック群の蓄積回数情報を参照して、デマルチプレクサ２４１３から出力される画素データを画素メモリ２４１４の対応アドレスに格納する。
【0340】
駆動制御部２４２０は、システム制御部２５０１からの引渡要求に従って、画素ブロックごとの対象画素データを画素メモリ２４１４から読み出し、画像処理部２５１１へ引き渡す。このとき、駆動制御部２４２０は、それぞれの対象画素データに対応する付加データを合わせて画像処理部２５１１へ引き渡す。
【0341】
演算回路２４１５は、対応する画素ブロック２１３１が生成した画素信号に応じた画素データに対して、予め定められた演算を画素ブロック２１３１毎に行う。つまり、演算回路４１５は、画素ブロック２１３１に対応して設けられ、画素ブロック２１３１毎に演算処理を行う。なお、演算回路２４１５は、画素ブロック２１３１と１対１の関係で設けられる。つまり、演算回路２４１５は、画素ブロック２１３１の直下の信号処理チップ２１１１に設けられた回路である。駆動制御部２４２０は、画素メモリ２４１４に格納された画素データを、演算回路２４１５に読み出して、演算回路２４１５に予め定められた演算処理を実行させる。
【0342】
画素メモリ２４１４には、引渡要求に従って画素データまたは後述する差分データを伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部２５１１と繋がるデータ転送ライン２９２０と接続されている。データ転送ライン２９２０は例えばシリアルバスによって構成される。この場合、システム制御部２５０１から駆動制御部２４２０への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。
【0343】
図５５の信号処理チップ２１１１を用いて、注目領域２１７２と周辺領域２１７６とで異なる制御パラメータを用いて画素データ取得後に、所定の演算を実行してもよい。例えば、図４１から図４４では、注目領域２１７２と周辺領域２１７６とで異なるフレームレートで取得した画像から動画を生成しているが、これに代えて、高いフレームレートで取得した画像を平均化する画像処理をしてＳ／Ｎ比を向上させてもよい。この場合に、例えば駆動制御部２４２０により周辺領域２１７６から１回の画素信号を得る間に、注目領域２１７２から複数回、例えば４回の画素信号を得て、画素データを画素メモリ２４１４に格納する。演算回路２４１５は、画素メモリ２４１４から注目領域２１７２の各画素に対して得られた複数の画素データを読み出して、画素ごとに平均する。これにより、注目領域２１７２の各画素でのランダムノイズが減って、注目領域２１７２のＳ／Ｎ比を向上させることができる。
【0344】
なお、データ転送ライン２９２０には、メモリ２９４０が接続される。メモリ２９４０は、画素メモリ２４１４から画素データを指定されたアドレスに順次格納する揮発性メモリであってよい。たとえば、メモリ２９４０は、ＤＲＡＭである。メモリ２９４０は、受け取る各画素ブロック２１３１の画素データを用いた１フレーム分のＲＧＢデータを格納する。
【0345】
制御部２７４０は、当該画素ブロック２１３１に対応する演算回路２４１５に、周辺の画素ブロック２１３１に対応する演算回路２４１５とデータの授受を行わせる。図５５の例では、駆動制御部２４２０が、複数の演算回路２４１５間でデータを伝送させる。それぞれの演算回路２４１５は、他の画素ブロック２１３１に対応する他の演算回路２４１５における他の演算結果の少なくとも一部を受け取る。それぞれの演算回路２４１５は、受け取った他の演算結果に更に基づいて、自己の演算結果を生成してよい。
【0346】
また、演算回路２４１５は、演算処理した画素ブロック２１３１ごとの演算結果を、出力回路２９２２に入力する。出力回路２９２２は、演算回路２４１５における演算結果を、画素データに対応付けてシステム制御部２５０１へ出力する。ここで、画素データに対応付けて出力するとは、当該画素ブロック２１３１の画素データに対して演算回路２４１５が行った演算結果と、その演算を施された画素データがいずれの画素ブロックのものであるかの情報を関連づけて出力することを指す。
【0347】
なお、出力回路２９２２を介してシステム制御部２５０１に転送されるデータは画素ブロック２１３１ごとの演算結果であるが、システム制御部２５０１は、受け取ったデータが、それぞれの画素ブロック２１３１においてどのような演算が施された結果、得られたデータであることがわからなければ、当該データを利用することができない。本例では、出力回路２９２２が、それぞれの演算回路２４１５における演算内容を示すデータコードを、演算結果に付して出力する。当該データコードは、演算回路２４１５毎に予め定められてよい。また、演算回路２４１５が複数種類の演算を行うことができる場合、演算回路２４１５は、どのような演算を行ったかを示す情報を出力回路２９２２に通知することが好ましい。つまり、出力回路２９２２は、画素ブロック２１３１毎に行われた演算内容、演算結果、および制御情報を、ひとつのデータ配列として生成し出力する。出力回路２９２２が出力する具体的なデータ配列の例は後述する。
【0348】
図５６は、互いに演算結果を受け渡す複数の演算回路２４１５を示す。例えば第１演算回路２４１５は、第２演算回路２４１５における第２評価値、または、第２演算回路２４１５が第２評価値を演算する過程における演算結果を受け取る。この場合、第１演算回路２４１５は、第２評価値または当該演算結果に基づいて第１評価値を演算する。または、それぞれの演算回路２４１５は、他の演算回路２４１５に対応する画素信号を、演算回路２４１５に対応する画素メモリ２４１４から読み出して、自らが当該画素信号に対する演算を行ってもよい。例えば第１演算回路２４１５は、第２演算回路２４１５に対応する第２画素信号を読み出す。この場合、第１演算回路２４１５は、読み出した第２画素信号に基づいて第１評価値を演算する。
【0349】
本例では、演算回路２４１５－１、演算回路２４１５－２および演算回路２４１５－４に対応する各画素ブロック２１３１が列方向に隣接し、演算回路２４１５－１、演算回路２４１５－３および演算回路２４１５－５に対応する各画素ブロック２１３１が行方向に隣接する。それぞれの演算回路２４１５は、自己に対応する画素ブロック２１３１と隣接する画素ブロック２１３１に対応する他の演算回路２４１５における他の演算結果の少なくとも一部を受け取る。ここで、隣接するとは、行方向および列方向に隣接する場合に限定されない。画素ブロック２１３１が対角方向に隣接する場合を含んでもよい。本例では、行方向および列方向に隣接する場合について、説明する。
【0350】
隣接するそれぞれの演算回路２４１５は、演算結果を隣接する画素ブロック２１３１に対応する演算回路２４１５に出力する出力バス、および、演算結果を隣接する画素ブロック２１３１に対応する演算回路２４１５に入力する入力バスを介して接続される。制御部２７４０は、当該画素ブロック２１３１に対応する演算回路２４１５に、隣接する他の画素ブロック２１３１に対応する演算回路２４１５からの演算結果に基づいて、当該画素ブロック２１３１の自己の演算結果を生成させる。
【0351】
図５７は、演算回路２４１５の構成の一例を示すブロック図である。それぞれの演算回路２４１５は、当該ブロック算出部２９１２と、平均算出部２９１３と、平均－平均算出部２９１４と、周辺ブロック算出部２９１１と、画素－平均算出部２９１５とを備える。当該ブロック算出部２９１２の入力は、当該画素ブロック２１３１に対応する画素メモリ２４１４の出力と接続されおり、当該ブロック算出部２９１２の出力は、平均算出部２９１３の入力、平均－平均算出部２９１４の入力、および、出力回路２９２２の入力、および、隣接する画素ブロック２１３１に対応するそれぞれの演算回路２４１５に接続されている。例えば当該ブロック算出部２９１２は、対応する画素ブロック２１３１における各色の画素値の平均を出力する。
【0352】
周辺ブロック算出部２９１１は、複数の入力を有し、それぞれの入力は当該画素ブロック２１３１に隣接する複数の画素ブロック２１３１に対応する演算回路２４１５の出力に接続されている。周辺ブロック算出部２９１１の出力は、平均算出部９１３の入力に接続されている。例えば周辺ブロック算出部２９１１は、他の演算回路２４１５から受け取った各色の画素値の平均に基づいて、これらの平均を算出してよい。また、周辺ブロック算出部２９１１は、他の演算回路２４１５から受け取った各色の画素値の平均を、そのまま出力してもよい。
【0353】
平均算出部２９１３は２つの入力部を有し、一方の入力は当該ブロック算出部２９１２の出力に接続され、もう一方の入力は周辺ブロック算出部２９１１の出力に接続されている。例えば平均算出部２９１３は、当該ブロック算出部２９１２が出力する平均値と、周辺ブロック算出部２９１１が出力する平均値とに基づいて、対応する画素ブロック２１３１および隣接する画素ブロック２１３１における各色の画素値の平均を出力する。
【0354】
平均－平均算出部２９１４は２つの入力を有し、一方の入力は平均算出部２９１３の出力に接続され、もう一方の入力は当該ブロック算出部２９１２の出力に接続されている。平均－平均算出部２９１４の出力は、出力回路２９２２の入力に接続されている。例えば平均－平均算出部２９１４は、平均算出部２９１３が算出した各色の画素値の平均と、当該ブロック算出部２９１２が算出した各色の画素値の平均との差分を算出する。
【0355】
画素－平均算出部２９１５は、２つの入力を有し、一方の入力は平均算出部２９１３の出力に接続され、もう一方の入力は当該画素ブロック２１３１に対応する画素メモリ２４１４の出力に接続されている。画素－平均算出部２９１５の出力は当該画素ブロック２１３１に対応する画素メモリ２４１４の入力に接続されている。例えば画素－平均算出部２９１５は、当該画素ブロック２１３１における各画素値と、平均算出部２９１３が算出した各色の画素値の平均のうち、対応する色の平均値との差分を出力する。
【0356】
制御部２７４０は、当該ブロック算出部２９１２における演算結果を、他の演算回路２４１５および出力回路２９２２に伝送する。また、制御部２７４０は、平均－平均算出部２９１４における演算結果を、出力回路２９２２に伝送する。さらに、制御部２７４０は、画素－平均算出部２９１５における演算結果を当該画素ブロック２１３１の画素メモリ２４１４にフィードバックする。
【0357】
なお、演算回路２４１５の各算出部は、加算回路、減算回路、および除算回路により構成することができる。このように、演算回路２４１５の回路構成を単純化することで、画素ブロック２１３１毎に演算回路２４１５を実装することができる。
【0358】
図５８は、演算回路２４１５の動作の一例を説明するフローチャートである。演算回路２４１５が動作を開始した後、ステップＳ２３００において、制御部２７４０は、当該画素ブロック２１３１に対応する画素メモリ２４１４から当該画素ブロック２１３１のフレームレートで撮像した当該画素ブロック２１３１のＲＧＢ画素データを読み出し、当該ブロック算出部２９１２に入力する。ステップＳ２３１０において、制御部２７４０は、ステップＳ２３００と同期して、隣接画素ブロック２１３１における演算結果の少なくとも一部を、隣接する演算回路２４１５から周辺ブロック算出部２９１１に入力する。本例では、各演算回路２４１５は、ＲＧＢ画素毎の画素値の平均を算出し、周辺ブロック算出部２９１１は、隣接する演算回路２４１５が算出したＲＧＢ画素毎の画素値の平均を受け取る。
【0359】
ステップＳ２３２０において、制御部２７４０は、当該ブロック算出部２９１２に、自己に対応する画素ブロック２１３１の画素データに対して予め定められた演算を行わせる。たとえば、当該ブロック算出部２９１２は、当該画素ブロック２１３１のＲＧＢ画素ごとの加算平均値（Ａｒ、Ａｇ、Ａｂ）を計算する。加算平均値は、Ａi＝Σ（画素ブロック内のｉ画素）／（画素ブロック内のｉ画素数） （ｉ＝ｒ、ｇ、ｂ）によって計算される。ステップＳ２３２２において、制御部２７４０は、当該ブロック算出部２９１２に、出力回路２９２２の入力、および、４つの隣接画素ブロック２１３１の対応するそれぞれの演算回路２４１５の入力へ、平均値（Ａｒ、Ａｇ、Ａｂ）を入力させる。
【0360】
ステップＳ２３４０において、制御部２７４０は、周辺ブロック算出部２９１１に、隣接する画素ブロック２１３１のＲＧＢ画素ごとの加算平均値に基づいて、隣接する複数の画素ブロック２１３１における平均（Ｂｒ、Ｂｇ、Ｂｂ）を計算させる（隣接画素ブロック平均とする）。たとえば、隣接画素ブロック平均は、Ｂi＝ΣＡi／４ （i＝ｒ、ｇ、ｂ）により計算される（ただし、隣接する画素ブロック２１３１の数を４とした）。ステップＳ２３５０において、制御部２７４０は、平均算出部２９１３に、他の演算回路２４１５から受け取った他の演算結果と、当該ブロック算出部２９１２における演算結果とに対して、予め定められた演算を行わせる。たとえば、平均算出部２９１３は、ステップＳ２３４０で算出した４つの隣接画素ブロック平均値（Ｂｒ、Ｂｇ、Ｂｂ）と、ステップＳ２３２０で算出した当該画素ブロック２１３１の加算平均値（Ａｒ、Ａｇ、Ａｂ）との全平均（Ｃｒ、Ｃｇ、Ｃｂ）を計算する。全平均は、Ｃi＝（Ｂi＋Ａi）／２ （i＝ｒ、ｇ、ｂ）によって計算される。
【0361】
ステップＳ２３６０において、制御部２７４０は、平均－平均算出部２９１４に、ステップＳ２３２０で当該ブロック算出部２９１２が計算した当該ブロックの加算平均値（Ａｒ、Ａｇ、Ａｂ）と、ステップＳ２３５０で平均算出部２９１３が計算した全平均値（Ｃｒ、Ｃｇ、Ｃｂ）との差分値（ΔＡｒ、ΔＡｇ、ΔＡｂ）を計算させる。差分値は、ΔＡi＝（Ａi－Ｃi） （i＝ｒ、ｇ、ｂ）によって計算される。制御部２７４０は、ステップＳ２３７０において、平均－平均算出部２９１４に、差分値（ΔＡｒ、ΔＡｇ、ΔＡｂ）を出力回路２９２２へ入力させる。なお、演算回路２４１５は平均－平均算出部２９１４を有さずに、平均－平均算出部２９１４における演算結果に代えて、平均算出部２９１３における演算結果を出力回路２９２２に入力してもよい。
【0362】
制御部２７４０は、ステップＳ２３８０において、画素－平均算出部２９１５に、ステップＳ２３１０で取得した当該画素ブロックのＲＧＢ画素データと、ステップＳ２３５０において、平均算出部２９１３が計算した全平均値（Ｃｒ、Ｃｇ、Ｃｂ）との差分値（ΔＣｒ、ΔＣｇ、ΔＣｂ）を計算させる。差分値は、ΔＣi＝（Ｃi－当該画素ブロック内のｉ画素） （i＝ｒ、ｇ、ｂ）により計算される。これにより、値の小さい差分値と、平均値とを用いて、元の画素データの情報を保存することができる。つまり、平均算出部２９１３における演算結果に基づいて、自己に対応する画素ブロック２１３１の画素データを圧縮させることができる。
【0363】
ステップＳ２３９０において、制御部２７４０は、（ΔＣｒ、ΔＣｇ、ΔＣｂ）を当該画素ブロック２１３１の画素メモリ２４１４へフィードバックする。ステップＳ２３９２において、制御部２７４０は、演算を続けるか否かを判断し、前者の場合にはステップＳ２３００に戻り、後者の場合には演算処理を終了する。
【0364】
制御部２７４０は、演算回路２４１５の以上の動作を画素ブロック２１３１ごとに実行する。なお、演算回路２４１５は、現フレームにおける画素データに対して、以前のフレームにおける画素データを用いて予め定められた演算を行ってもよい。この場合、制御部２７４０は、演算回路２４１５に対して、隣接する画素ブロック２１３１のＲＧＢ画素ごとの平均値の代わりに、自己の画素ブロック２１３１の、例えばひとつ前のフレームにおけるＲＧＢ画素ごとの加算平均値（Ｄｒ、Ｄｇ、Ｄｂ）を用いればよい。前のフレームの加算平均値は、Ｄi＝Σ（前のフレームの画素ブロック内のｉ画素）／（前のフレームの画素ブロック内のｉ画素数） （ｉ＝ｒ、ｇ、ｂ）により求められる。制御部２７４０は、メモリ２９４０から前のフレームのＲＧＢ画素データを読み出して、第４演算部に加算平均値（Ｄｒ、Ｄｇ、Ｄｂ）を計算させる。それ以外の動作は図５８と同様なので説明を省略する。
【0365】
このように、本例によれば、画素ブロック２１３１ごとの演算結果および演算内容ならびに制御部２７４０による画素ブロック２１３１ごとの制御情報を画素ブロック２１３１から出力回路２９２２を介してシステム制御部２５０１へ送ることができる。結果として、システム制御部２５０１における画像処理の負荷を大幅に低減することができる。また、演算回路２４１５は、周辺の画素ブロック２１３１の画素データとの相関値を当該画素ブロック２１３１の評価値として出力すればよいので、システム制御部５０１に送信すべきデータ量を減らすことができる。さらに、本例の演算回路２４１５は、差分値（ΔＣｒ、ΔＣｇ、ΔＣｂ）を当該画素ブロック２１３１に対応する画素メモリ２４１４にフィードバックしているので、その分だけシステム制御部２５０１に送信するデータ量を減らすことができる。さらに、システム制御部２５０１に含まれる画像処理部２５１１は、それぞれの出力回路２９２２から受け取る演算結果に基づいて、一つの画像データを生成することができるので、すべての画素ブロック２１３１のＲＧＢ画素データをメモリ２９４０に一度記憶させてから読み出してひとつの画像を再構成する場合に比べ、画像処理の速度を向上させることができる。なお、本例の信号処理チップ２１１１は、画像処理部２５１１における画像処理機能の少なくとも一部の機能を有する。例えば演算回路２４１５が、各評価値に基づいて、対応する画素信号に対応する画像の画像データに画像処理を施す画像処理部として更に機能する。一例として、当該画像処理機能は、差分値（ΔＣｒ、ΔＣｇ、ΔＣｂ）を画素メモリ２４１４にフィードバックする機能であってよい。なお、評価値の例は、画素ブロック２１３１内の画素信号の平均、画素ブロック２１３１内外の画素信号の重み付け平均、画素ブロック２１３１内のコントラスト、画素ブロック２１３１内外のコントラストの重み付け平均画素ブロック２１３１内の輝度、画素ブロック２１３１内外の輝度の重み付け平均等である。さらには、評価値は、Ｇ画素の平均、Ｒ画素の平均、Ｂ画素の平均を所定割合で加算した値であってよい。また、平均値の算出は、単位グループ内に配置される部分領域の平均値でもよい。
【0366】
図５９は、演算回路２４１５からの入力に基づいて、出力回路２９２２が生成するデータ配列２９５０の一例を示す。データ配列２９５０は、データコード領域２９５２およびデータ領域２９５４を有する。データコード領域２９５２には、データコード用に４ビットが割り当てられてよい。本例では、Ｄ１２からＤ１５がデータコードに割り当てられている。データ領域２９５４には、それぞれのデータコードに対応する付加データ用の１２ビットが割り当てられてよい。本例では、Ｄ０からＤ１１がデータコード用に割り当てられている。データ配列２９５０のビット数は１６ビットに限定されず、データコードと付加データに割り当てるべきビット数も任意に設定できる。
【0367】
なお、制御部２７４０は、演算回路２４１５からの演算結果データを、画素メモリ２４１４からの画素データと別のルートで出力してよい。たとえば、制御部２７４０は、演算回路４１５の演算結果を出力回路２９２２を通じてシステム制御部２５０１に送信してよい。また、制御部２７４０は、画素メモリ２４１４の画素データをデータ転送ライン２９２０を介してメモリ２９４０に格納してよい。他の例では、制御部２７４０は、画素ブロック２１３１の画素データに当該画素ブロック２１３１の画素データの演算結果を添付して出力回路２９２２からシステム制御部２５０１へ一緒に送信してもよい。
【0368】
なお、以上においては画素値の平均を算出する例を説明したが、演算回路２４１５における演算内容は、これに限定されない。演算回路２４１５に用いられるパラメータは、画素値以外の情報が含まれてよい。例えば演算回路２４１５は、画素のＸＹ平面における位置、被写体までの距離の情報、絞り値、ＰＤ２１０４における電荷蓄積時間、当該画素ブロック２１３１における電荷電圧変換利得、当該画素ブロック２１３１における駆動フレーム周波数（フレームレート）等のパラメータを用いて所定の演算を行ってよい。
【0369】
図６０は、図５９に示すデータ配列２９５０の内容の一例を示す。データコード領域２９５２には１６種類のデータコード（０～９、a～ｆ）が記憶される。データコード０には、当該画素ブロック２１３１のＲ画素加算平均値（Ａｒ）が割り当てられ、１２ビットの付加データとして出力される。データコード１には、当該画素ブロック２１３１のＧ画素加算平均値（Ａｇ）が割り当てられ、１２ビットの付加データとして出力される。データコード２には、当該画素ブロック２１３１のＢ画素加算平均値（Ａｒ）が割り当てられ、１２ビットの付加データとして出力される。データコード３には、全平均値ＣｒとＡｒとの差分ΔＡｒが割り当てられ、１２ビットの付加データとして出力される。データコード４には、全平均値ＣｇとＡｇとの差分ΔＡｇが割り当てられ、１２ビットの付加データとして出力される。データコード５には、全平均値ＣｂとＡｂとの差分ΔＡｂが割り当てられ、１２ビットの付加データとして出力される。以上が、演算回路２４１５が出力する演算内容および演算結果のデータの一例である。
【0370】
データ配列２９５０は、他に制御部２７４０の制御情報を含む。本例では、データコードｄには、当該画素ブロック２１３１の電荷電圧変換利得が割り当てられ、１２ビットの付加データとして出力される。データコードｅには、当該画素ブロック２１３１の駆動フレーム周波数が割り当てられ、１２ビットの付加データとして出力される。データコードｆには、当該画素ブロック２１３１の蓄積時間が割り当てられ、１２ビットの付加データとして出力される。データ配列２９５０に制御部２７４０の制御情報（制御ログ）を付加することで、制御部２７４０が各画素ブロック２１３１をどのように制御したかを示す制御情報を画素ブロック側からシステム制御部２５０１に送ることができる。
【0371】
つまり、システム制御部２５０１は、図５９に例示したデータ配列２９５０を、画素ブロック２１３１毎に受け取ることができるので、メモリ２９４０に格納された当該画素ブロック２１３１のＲＧＢ画素ごとの差分データにアクセスして読み出したデータをデータ配列２９５０のデータコードに基づいて処理することで、画素ブロック２１３１毎の画像処理を容易に実行することができる。つまり、システム制御部２５０１における処理の一部を演算回路２４１５で行っているので、動画生成におけるシステム制御部２５０１の画素データ処理の負荷を大幅に低減することができる。なお、システム制御部２５０１は、出力回路２９２２が出力したデータ配列２９５０の内容を、システム制御部２５０１自身の負荷を減らしつつ有効に利用することができる。たとえば、システム制御部２５０１は、データ配列２９５０の内容に基づいて、画素ブロック２１３１ごとに圧縮レートを変えて動画を生成することができる。
【0372】
図６１は、本実施形態に係る他の撮像素子３１００の断面図である。撮像素子３１００は、入射光に対応した画素信号を出力する撮像チップ３１１３と、画素信号を処理する信号処理チップ３１１１と、画素信号を記憶するメモリチップ３１１２とを備える。これら撮像チップ３１１３、信号処理チップ３１１１およびメモリチップ３１１２は積層されており、Ｃｕ等の導電性を有するバンプ３１０９により互いに電気的に接続される。
【0373】
なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本明細書においては、撮像チップ３１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図６１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【0374】
撮像チップ３１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層３１０６は、配線層３１０８の裏面側に配されている。ＰＤ層３１０６は、二次元的に配され、入射光に応じた電荷を蓄積して、蓄積した電荷に応じた画素信号を生成する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ３１０４に対応して設けられたトランジスタ３１０５を有する。
【0375】
ＰＤ層３１０６における入射光の入射側にはパッシベーション膜３１０３を介してカラーフィルタ３１０２が設けられる。カラーフィルタ３１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ３１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ３１０２の配列については後述する。カラーフィルタ３１０２、ＰＤ３１０４およびトランジスタ３１０５の組が一つの画素を形成する。
【0376】
カラーフィルタ３１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ３１０１が設けられる。マイクロレンズ３１０１は、対応するＰＤ３１０４へ向けて入射光を集光する。
【0377】
配線層３１０８は、ＰＤ層３１０６からの画素信号を信号処理チップ３１１１に伝送する配線３１０７を有する。配線３１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
【0378】
配線層３１０８の表面には複数のバンプ３１０９が配される。当該複数のバンプ３１０９が信号処理チップ３１１１の対向する面に設けられた複数のバンプ３１０９と位置合わせされて、撮像チップ３１１３と信号処理チップ３１１１とが加圧等されることにより、位置合わせされたバンプ３１０９同士が接合されて、電気的に接続される。
【0379】
同様に、信号処理チップ３１１１およびメモリチップ３１１２の互いに対向する面には、複数のバンプ３１０９が配される。これらのバンプ３１０９が互いに位置合わせされて、信号処理チップ３１１１とメモリチップ３１１２とが加圧等されることにより、位置合わせされたバンプ３１０９同士が接合されて、電気的に接続される。
【0380】
なお、バンプ３１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ３１０９は、例えば後述する一つの画素ブロックに対して一つ程度設ければ良い。したがって、バンプ３１０９の大きさは、ＰＤ３１０４のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ３１０９よりも大きなバンプを併せて設けても良い。
【0381】
信号処理チップ３１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ３１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ３１１０は、撮像チップ３１１３の周辺領域、および、メモリチップ３１１２にも設けられて良い。
【0382】
図６２は、撮像チップ３１１３の画素配列と画素ブロック３１３１を説明する図である。図６２では、撮像チップ３１１３を裏面側から観察した様子を示す。画素領域３７００には複数の画素がマトリックス状に配列されている。図６２においては、隣接する４画素×４画素の１６画素が一つの画素ブロック３１３１を形成する。図の格子線は、隣接する画素がグループ化されて画素ブロック３１３１を形成する概念を示す。画素ブロック３１３１を形成する画素の数はこれに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。
【0383】
画素領域３７００の部分拡大図に示すように、画素ブロック３１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ３１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ３１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ３１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
【0384】
本実施形態において、複数の画素ブロック３１３１のうちの少なくとも一つの画素ブロックが選択され、他の画素ブロックとは異なる制御パラメータで、それぞれの画素ブロックに含まれる画素が制御される。制御パラメータの例は、フレームレート、間引き率、画素信号を加算する加算行数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。フレームレートとは、画素信号を生成する周期を指す。なお本明細書においてフレームレートとは、画素ブロック３１３１毎のフレームレートを指す場合がある。例えば、基準フレームレートおよび高速フレームレートは、画素ブロック３１３１毎のフレームレートを指す。
【0385】
図６３は、撮像チップ３１１３の画素ブロック３１３１に対応する回路図である。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図６１のトランジスタ３１０５に対応する。
【0386】
図６３では、１６画素から形成される画素ブロック３１３１を示すが、画素ブロック３１３１の画素数はこれに限定されない。それぞれの画素に対応する１６個のＰＤ３１０４は、それぞれ転送トランジスタ３３０２に接続され、各転送トランジスタ３３０２の各ゲートには、転送パルスが供給されるＴＸ配線３３０７に接続される。図６３に示す例において、ＴＸ配線３３０７は、１６個の転送トランジスタ３３０２に対して共通接続される。
【0387】
各転送トランジスタ３３０２のドレインは、対応する各リセットトランジスタ３３０３のソースに接続されると共に、転送トランジスタ３３０２のドレインとリセットトランジスタ３３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３３０４のゲートに接続される。リセットトランジスタ３３０３のドレインは電源電圧が供給されるＶｄｄ配線３３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３３０６に接続される。図６３に示す例において、リセット配線３３０６は、１６個のリセットトランジスタ３３０３に対して共通接続される。
【0388】
各々の増幅トランジスタ３３０４のドレインは電源電圧が供給されるＶｄｄ配線３３１０に接続される。また、各々の増幅トランジスタ３３０４のソースは、対応する各々の選択トランジスタ３３０５のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線３３０８に接続される。図６３に示す例では、デコーダ配線３３０８は、１６個の選択トランジスタ３３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３３０５のソースは、共通の出力配線３３０９に接続される。負荷電流源３３１１は、出力配線３３０９に電流を供給する。すなわち、選択トランジスタ３３０５に対する出力配線３３０９は、ソースフォロアにより形成される。なお、負荷電流源３３１１は、撮像チップ３１１３側に設けても良いし、信号処理チップ３１１１側に設けても良い。
【0389】
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３３０６を通じてリセットパルスがリセットトランジスタ３３０３に印加され、同時にＴＸ配線３３０７を通じて転送パルスが転送トランジスタ３３０２に印加されると、ＰＤ３１０４およびフローティングディフュージョンＦＤの電位はリセットされる。
【0390】
ＰＤ３１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３３０８を通じて選択パルスが選択トランジスタ３３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３３０４および選択トランジスタ３３０５を介して出力配線３３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３３０９に出力される。
【0391】
図６３に示す例では、画素ブロック３１３１を形成する１６画素に対して、リセット配線３３０６とＴＸ配線３３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、画素ブロック３１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３３０５が選択パルスによって順次印加されて、選択的に出力配線３３０９に出力される。また、リセット配線３３０６、ＴＸ配線３３０７、出力配線３３０９は、画素ブロック３１３１毎に別個に設けられる。
【0392】
このように画素ブロック３１３１を基準として回路を構成することにより、画素ブロック３１３１ごとに電荷蓄積時間を制御することができる。換言すると、隣接する画素ブロック３１３１同士で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の画素ブロック３１３１に１回の電荷蓄積を行わせている間に、他方の画素ブロック３１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの画素ブロック３１３１同士で異なるフレームレートで動画用の各フレームを出力することもできる。
【0393】
図６４Ａは、撮像素子３１００の構成の一部と、その動作例を示す。本例の撮像素子３１００は、図６１に示した構成に加え、記憶部３１１４を更に備える。なお、記憶部３１１４は、信号処理チップ３１１１に設けられてよい。この場合、撮像素子３１００は、メモリチップ３１１２を有さなくともよい。また、記憶部３１１４は、メモリチップ３１１２に設けられてもよい。
【0394】
撮像チップ３１１３は、それぞれ入射光に応じた画素信号を生成する複数の画素が配置された画素領域３７００を有する。ここで、画素領域３７００は、複数の画素を二次元的に複数並べて構成されてよい。各画素ブロック３１３１は、行方向および列方向にｍ×ｎ個の画素を有する。ここで、ｍ、ｎは２以上の整数である。画素領域３７００は、行方向および列方向に分割した複数の画素ブロック３１３１を有する。図６２に示したように、画素ブロック３１３１とは、複数の画素がマトリクス状に配置された画素集合体を指す。また、行方向および列方向とは、画素領域３７００の面内における異なる２つの方向を指し、必ずしも互いに直交していなくともよい。
【0395】
説明の便宜上、図６４Ａから図６４Ｃにおいては、画素ブロック３１３１を、行方向および列方向に３個ずつ示すが、画素領域３７００に含まれる画素ブロック３１３１の数は、より多くてよい。それぞれの画素ブロック３１３１に含まれる画素数は、等しいことが好ましい。また、画素領域３７００内の各画素ブロック３１３１に含まれる画素数は、固定されていることが好ましい。画素ブロック３１３１は、例えば３２×６４の画素により構成される。
【0396】
本例の信号処理チップ３１１１は、マルチプレクサ３４１１、Ａ／Ｄ変換器３４１２、デマルチプレクサ３４１３、および制御部３７４０を、画素ブロック３１３１毎に有する。マルチプレクサ３４１１は、対応する画素ブロック３１３１に含まれる画素を順次選択して、選択した画素に対応する画素信号をＡ／Ｄ変換器３４１２に入力する。Ａ／Ｄ変換器３４１２は、アナログの画素信号をデジタルの画素データに変換し、デマルチプレクサ３４１３に入力する。デマルチプレクサ３４１３は、対応する記憶ブロック３７３０において、当該画素に対応する記憶領域に当該画素データを記憶させる。それぞれの記憶ブロック３７３０は、記憶した画素データを後段の演算回路に引き渡す。
【0397】
記憶部３１１４は、複数の画素ブロック３１３１に対応して設けられ、それぞれ対応する画素ブロック３１３１の画素データを記憶可能な複数の記憶ブロック３７３０を有する。記憶ブロック３７３０は、画素ブロック３１３１と一対一に対応する。記憶ブロック３７３０は、バス３７２０を介して、対応する画素ブロック３１３１と接続されてよい。記憶ブロック３７３０は、バッファメモリであってよい。
【0398】
また、少なくとも一部の記憶ブロック３７３０は、対応する画素ブロック３１３１以外の画素ブロックの画素データも記憶することができる。つまり、一つの記憶ブロック３７３０が複数の画素ブロック３１３１によって共有されてもよい。換言すれば、制御部３７４０は、一つの画素ブロック３１３１の画素データを複数の記憶ブロック３７３０に記憶させることができる。記憶ブロック３７３０を共有することで、後述するように複数の記憶ブロック３７３０を効率よく利用することができるので、記憶部３１１４全体のメモリ容量を抑制することができる。
【0399】
なお、全ての画素ブロック３１３１について、画素データが、対応する記憶ブロック３７３０以外にも、少なくとも一つの他の記憶ブロック３７３０に読み書き可能であることが好ましい。当該他の記憶ブロック３７３０は、画素ブロック３１３１毎に予め定められていてよく、動的に変更可能であってもよい。また、全ての記憶ブロック３７３０について、対応する画素ブロック３１３１以外にも、少なくとも一つの他の画素ブロック３１３１の画素データが読み書き可能であることが好ましい。当該他の画素ブロック３１３１は、記憶ブロック３７３０毎に予め定められていてよく、動的に変更可能であってもよい。
【0400】
なお、それぞれの記憶ブロック３７３０は、信号処理チップ３１１１において、対応する画素ブロック３１３１と重なる領域に、それぞれの画素ブロック３１３１毎に設けられたメモリであってよい。つまり、記憶ブロック３７３０は、信号処理チップ３１１１において、対応する画素ブロック３１３１の直下の領域に設けられてよい。この場合、画素ブロック３１３１および記憶ブロック３７３０は、ＴＳＶにより電気的に接続されてよい。また、信号処理チップ３１１１において各画素ブロック３１３１と重なる領域には、対応する記憶ブロック３７３０およびＡ／Ｄ変換器３４１２等が設けられる。また、それぞれの記憶ブロック３７３０は、信号処理チップ３１１１において、画素領域３７００と重なる領域の外側にそれぞれ設けられたメモリであってもよい。
【0401】
また、それぞれの記憶ブロック３７３０およびＡ／Ｄ変換器３４１２が、対応する画素ブロック３１３１と重なる領域に設けられた場合において、それぞれの記憶ブロック３７３０が、対応する画素ブロック３１３１以外の画素ブロック３１３１の画素データを記憶する場合、当該記憶ブロック３７３０が設けられた領域までアナログの画素信号を伝送してよく、デジタルの画素データを伝送してもよい。前者の場合、当該記憶ブロック３７３０に対応するＡ／Ｄ変換器３４１２が、画素信号を画素データに変換して、当該記憶ブロック３７３０に入力する。後者の場合、当該画素ブロック３１３１と重なる領域におけるＡ／Ｄ変換器３４１２において画素信号を画素データに変換してから、当該画素データを記憶すべき記憶ブロック３７３０まで伝送する。信号処理チップ３１１１には、これらの画素信号または画素データを伝送するための配線が設けられる。
【0402】
図６４Ｂは、撮像素子３１００の他の動作例を示す。なお、図６４Ｂでは、図６４Ａに示した信号処理チップ３１１１の構成を省略している。本例では、複数の画素ブロック３１３１のうち、画素ブロック３７１２の画素データを、対応する記憶ブロック３７３４以外の他の記憶ブロック３７３１、７３２および７３３のいずれかに記憶する。本例では、画素ブロック３７１２が生成したアナログの画素信号を、他の記憶ブロック３７３１～７３３に対応するＡ／Ｄ変換器３４１２で、デジタルの画素データに変換する。このように、いずれかの画素ブロック３７１２の画素データを、複数の記憶ブロック３７３１～７３４に記憶可能とすることで、メモリの使用効率を向上させることができる。
【0403】
例えば、複数の画素ブロック３１３１は、画素ブロック３１３１毎に異なるフレームレートで撮像した被写体の画素信号を、フレームレートに応じたタイミングで生成してよい。後述するように、制御部３７４０は、基準フレームレートおよび当該基準フレームレートよりも周期の短い高速フレームレートの少なくとも２つから、画素ブロック３１３１ごとに、対応する記憶ブロック３７３０を選択する。高速フレームレートの周期は、基準フレームレートの周期の整数分の１倍であってよい。それぞれの画素ブロック３１３１は、フレームレートの周期毎に、１ブロック分の画素信号を出力してよい。
【0404】
本例では、画素ブロック３７１２のフレームレートが、基準フレームレートの５倍である場合を説明する。また、基準フレームレートの画素ブロック３１３１が画素信号を出力するのと略同時に、高速フレームレートの画素ブロック３７１２も画素信号を出力する。この場合、画素ブロック３１３１が次の画素信号を出力するまでに、画素ブロック３７１２は画素信号を４回出力する。
【0405】
制御部３７４０は、基準フレームレートの画素ブロック３１３１が画素信号を出力していないときに、高速フレームレートの画素ブロック３７１２が４回出力する画素信号に応じた画素データを、複数の記憶ブロック３７３１～７３４にそれぞれ記憶させる。なお、それぞれの画素ブロックが基準フレームレートに同期して出力する画素信号に応じた、１フレーム分の画素データは、複数の記憶ブロック３７３０とは異なるメモリに記憶されてよく、また、複数の記憶ブロック３７３０に一端記憶された後に、高速フレームレートで動作する画素ブロック３７１２の次の画素データが複数の記憶ブロック３７３０に入力される前に、記憶ブロック３７３０の後段のメモリまたは回路に受け渡されてもよい。これにより、複数の記憶ブロックを効率よく使用することができる。
【0406】
制御部３７４０は、高速フレームレートの画素ブロック３７１２に対応する記憶ブロック３７３４に既に画素データが記憶されている場合に、当該画素ブロック３７１２に対応する画素データを、画素データが記憶されていない記憶ブロック３７３１、７３２、または７３３のいずれかに記憶させる。つまり、制御部３７４０は、高速フレームレートの画素ブロック３７１２の画素データを、対応する記憶ブロック３７３４以外の、画素データが記憶されていない記憶ブロック３７３１、７３２、および７３３に振り分けられて記憶させる。このとき、振り分けられる画素データは、自己に対応する画素ブロック３７１２の画素領域３７００における位置データ、および、自己の属するフレームを示すフレームデータを付加データとして有してよい。画素データが振り分けられるべき記憶ブロック３７３０の位置は、画素ブロック３７１２毎に固定されていてもよく、動的に変化してもよい。振り分けられるべき記憶ブロック３７３０の位置が、画素ブロック３１３１毎に固定されている場合には、付加データから位置データを省略することができる。
【0407】
図６４Ｃは、撮像素子３１００の他の動作例を示す。なお、図６４Ｃでは、図６４Ａに示した信号処理チップ３１１１の構成を省略している。本例も図６４Ｂの例と同様に、画素ブロック３７１２の画素データを、対応する記憶ブロック３７３４以外の他の記憶ブロック３７３５～３７３７のいずれかに記憶する。ただし本例では、画素ブロック３７１２と重なる領域におけるＡ／Ｄ変換器３４１２において画素信号を画素データに変換してから、当該画素データを記憶すべき記憶ブロックに伝送する。本例では、当該画素データは、各記憶ブロック間を移動する。
【0408】
本例の制御部３７４０は、高速フレームレートの画素ブロック３７１２に対応する記憶ブロック３７３４に既に画素データが記憶されている場合に、記憶ブロック３７３４の画素データを、画素データが記憶されていない記憶ブロック３７３５、３７３６、３７３７、３７３８に移動させて、それぞれの記憶ブロックに記憶させる点で、図６４Ｂに示す実施形態と異なる。つまり、本例では、記憶部３１１４は、記憶ブロック間でデータの送受信が可能となるように、記憶ブロック同士が配線により接続されている。
【0409】
制御部３７４０は、記憶ブロック３７３４の画素データを、画素データが記憶されていない記憶ブロック３７３５、３７３６、３７３７、３７３８のいずれかに移動させて記憶させる。好ましくは、制御部３７４０は、画素領域３７００の最外周の画素ブロック３１３１に対応する記憶ブロックに向かうように、記憶ブロック３７３４の画素データを移動させて記憶させてよい。フレームレートの高い画素ブロック３７１２から画素領域３７００の外周方向に遠ざかるにしたがって画素ブロック３１３１のフレームレートが低くなる場合が比較的に多いので、制御部３７４０は、外周方向へ二次元的に画素データを分散させることが好ましい。こうすることにより、バッファメモリの容量を増加させずとも、複数の記憶ブロック３７３０を満遍なく利用することで、記憶部３１１４全体のメモリの容量を抑制することができる。なお、制御部３７４０は、各画素ブロック３１３１のフレームレート情報に基づいて、最外周以外の画素ブロック３１３１に対応する記憶ブロック３７３０を選択して、当該画素データを書き込んでもよい。
【0410】
本例においても、画素データが分散されるべき記憶ブロックの位置は固定されていても、動的に変化してもよい。分散されるべき記憶ブロックの位置が固定されている場合には、移動する画素データに付加すべき付加データから位置データを省略することができる。この場合、画素データが分散されるべき記憶ブロックが、画素領域３７００の最外周の画素ブロック３１３１に対応する記憶ブロックであることがより好ましい。また、それぞれの記憶ブロック３７３０が記憶した画素データは、高速フレームレートに同期して、順次移動されてもよい。これにより、画素データを、離間した記憶ブロック３７３０の間で伝送することができる。当該画素データの移動を繰り返すことで、任意の記憶ブロック３７３０に画素データを移動させることができる。
【0411】
後述する演算回路３４１５は、記憶ブロック３７３０に格納された画素データを処理して後段の画像処理部に引き渡す。演算回路３４１５は、信号処理チップ３１１１に設けられても良いし、記憶部３１１４に設けられても良い。なお、図では１つの画素ブロック３１３１の分の接続を示すが、実際にはこれらが画素ブロック３１３１ごとに存在して、並列で動作する。ただし、演算回路３４１５は画素ブロック３１３１ごとに存在しなくても良く、例えば、一つの演算回路がそれぞれの画素ブロック３１３１に対応する記憶ブロック３７３０の値を順に参照しながらシーケンシャルに処理しても良い。
【0412】
上記の通り、画素ブロック３１３１のそれぞれに対応して出力配線３３０９が設けられている。撮像素子３１００は撮像チップ３１１３、信号処理チップ３１１１および記憶部３１１４を積層しているので、これら出力配線３３０９にバンプ３１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
【0413】
なお、制御部３７４０には、各画素ブロック３１３１のフレームレートに関するレート情報が与えられる。制御部３７４０は、当該レート情報に基づいて、高速フレームレートの画素ブロック３１３１の画素データを記憶すべき記憶ブロック３７３０を選択する。例えば制御部３７４０は、基準フレームレートの画素ブロック３１３１に対応する記憶ブロック３７３０を、当該画素データを記憶すべき記憶ブロック３７３０とする。また、制御部３７４０は、当該レート情報に基づいて、図６４Ｃに示した形態において、画素データを移動するルートを決定してよい。例えば制御部３７４０は、各記憶ブロック３７３０の画素データを移動させる場合に、当該記憶ブロック３７３０に隣接し、且つ、基準フレームレートに対応する記憶ブロック３７３０のうち、高速フレームレートに対応する記憶ブロック３７３０からの距離が増大する記憶ブロック３７３０を選択する。
【0414】
図６５は、本実施形態に係る撮像装置の構成を示すブロック図である。撮像装置３５００は、撮影光学系としての撮影レンズ３５２０を備え、撮影レンズ３５２０は、光軸ＯＡに沿って入射する被写体光束を撮像素子３１００へ導く。撮影レンズ３５２０は、撮像装置３５００に対して着脱できる交換式レンズであっても構わない。撮像装置３５００は、撮像素子３１００、システム制御部３５０１、駆動部３５０２、測光部３５０３、ワークメモリ３５０４、記録部３５０５、および表示部３５０６を主に備える。
【0415】
撮影レンズ３５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図６１では瞳近傍に配置された仮想的な１枚のレンズで当該撮影レンズ３５２０を代表して表している。駆動部３５０２は、システム制御部３５０１からの指示に従って撮像素子３１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。この意味において駆動部３５０２は、撮像素子３１００に対して電荷蓄積を実行させて画素信号を出力させる撮像素子制御部の機能を担うと言える。
【0416】
撮像素子３１００は、画素信号をシステム制御部３５０１の画像処理部３５１１へ引き渡す。画像処理部３５１１は、ワークメモリ３５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ベイヤー配列で得られた信号からカラー映像信号を生成した後に圧縮処理を実行する。生成された画像データは、記録部３５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部３５０６に表示される。
【0417】
測光部３５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部３５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部３５０１の演算部３５１２は、測光部３５０３の出力を受けてシーンの領域ごとの輝度を算出する。演算部３５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。測光部３５０３は撮像素子３１００で兼用してもよい。なお、演算部３５１２は、撮像装置３５００を動作させるための各種演算も実行する。
【0418】
駆動部３５０２は、一部または全部が撮像チップ３１１３に搭載されてもよいし、一部または全部が信号処理チップ３１１１に搭載されてもよい。システム制御部３５０１の一部が撮像チップ３１１３または信号処理チップ３１１１に搭載されてもよい。
【0419】
図６６は、画像処理部の機能ブロック図である。本例の画像処理部３５１１は、基準フレームレートで動作する画素ブロック３１３１（後述する周辺領域３１７６）と、高速フレームレートで動作する画素ブロック３１３１（後述する注目領域３１７２）とを抽出する。画像処理部３５１１は、上記の機能に加えて、被写体推定部３１５０、グループ選択部３１５２、動画生成部３１５４および動画合成部３１５６を有する。これらの各機能は、後述する。
【0420】
図６７は、撮像装置が動画を生成して記録する動作を示すフローチャートである。図６８および図６９は撮像素子により撮像される画像の一例を示す。図７０は各フレームレートと画像信号の出力タイミングとの関係を示す。
【0421】
図６７の動作は、ユーザが録画ボタンの押下等により、撮像装置３５００に対して動画の生成を指示したときに開始する。まず、被写体推定部３１５０は、駆動部３５０２を駆動して撮像素子３１００からの画像信号に基づく画像データを取得し、当該画像データが示す画像に含まれる主要被写体を推定する（Ｓ３１００）。
【0422】
この場合に、駆動部３５０２は撮像領域全体に含まれる画素ブロック３１３１、例えばすべての画素ブロック３１３１から画像信号を出力させることが好ましい。また、駆動部３５０２は各画素ブロック３１３１に含まれるすべての画素から画像信号を出力させてもよいし、予め定められた間引き率で間引いた画素から画像信号を出力させてもよい。被写体推定部３１５０は、撮像素子３１００から時系列的に得られた複数の画像を比較して、移動している被写体を主要被写体として特定する。なお、主要被写体の推定には、他の方法が用いられてもよい。
【0423】
例えば、被写体推定部３１５０は、撮像素子３１００から時間的に前後する画像として図６８の画像３１７０および図６９の画像３１７８を取得した場合に、これらの差分から子供を主要被写体３１７１として特定する。なお、画像３１７０および画像３１７８における格子線は画素ブロック３１３１の境界を示すが、画素ブロック３１３１の数は例示であってこれらの図に示す数に限られない。
【0424】
グループ選択部３１５２は、被写体推定部３１５０により推定された主要被写体３１７１の像光が入射している画素ブロック３１３１を少なくとも一つ選択する（Ｓ３１０２）。例えば、画像３１７０において、主要被写体３１７１を少なくとも一部含んでいる画素ブロック３１３１が選択される。さらに、主要被写体３１７１が撮像領域内で移動することを考慮して、グループ選択部３１５２は、主要被写体３１７１を少なくとも一部含んでいる画素ブロック３１３１のさらに周囲の画素ブロック３１３１も選択することが好ましい。
【0425】
グループ選択部３１５２は、これら選択した画素ブロック３１３１の集合を注目領域３１７２とする。さらにグループ選択部３１５２は、撮像領域全体において注目領域３１７２にふくまれない画素ブロック３１３１からなる集合を周辺領域３１７６とする。グループ選択部３１５２は、撮像領域の全体に対する注目領域３１７２の範囲を示す領域情報３１７４を特定する。
【0426】
図６８に示す例において、注目領域３１７２は、横７個、縦４個の計２８個の画素ブロック３１３１からなる矩形の領域である。これに対し、周辺領域３１７６は、撮像領域である横２１個、縦６個の計１２６個から注目領域３１７２を除いた９８個の画素ブロック３１３１からなる。また、領域情報３１７４として、撮像領域における注目領域３１７２の図中の左上端の画素ブロック３１３１の左からおよび上から数えた位置（９，２）が特定される。さらにサイズ情報として、注目領域３１７２の縦横数７×４が特定される。
【0427】
グループ選択部３１５２が、注目領域３１７２に含まれる画素ブロック３１３１を特定する情報と周辺領域３１７６とを特定する情報とを駆動部３５０２に伝達する。この場合に、注目領域３１７２と周辺領域３１７６とにそれぞれ適用するフレームレートの情報を併せて伝達する。ここで、注目領域３１７２に適用するフレームレートは、周辺領域３１７６に適用するフレームレートより高いことが好ましい。例えば、周辺領域３１７６に適用するフレームレートが６０ｆｐｓである場合に、注目領域３１７２に適用するフレームレートは１８０ｆｐｓに設定される。これらのフレームレートの値は予め設定されて、グループ選択部３１５２が参照可能に格納されていることが好ましいが、ユーザが後から値を変更できるようになっていてもよい。
【0428】
駆動部３５０２は、撮像素子３１００を駆動して各フレームレートで撮像を行う（Ｓ３１０４）。すなわち、駆動部３５０２は、注目領域３１７２に含まれる画素ブロック３１３１に対しては、高いフレームレートで電荷蓄積および画像信号の出力を実行させ、周辺領域３１７６に含まれる画素ブロック３１３１に対しては、低いフレームレートで電荷蓄積および画像信号の出力を実行させる。言い換えれば、駆動部３５０２は、周辺領域３１７６に含まれる画素ブロック３１３１に対して１つのフレームに対応する画像信号を得る間に、注目領域３１７２に含まれる画素ブロック３１３１に対して時系列的に並んだ複数のフレームに対応する画像信号を得る。
【0429】
例えば、周辺領域３１７６のフレームレートが６０ｆｐｓであって、注目領域３１７２のフレームレートが１８０ｆｐｓに設定されている場合に、図７０に示すように、駆動部３５０２は、周辺領域３１７６から１つのフレームＢ１の画像信号を得る時間１／６０ｓまでの間に、注目領域３１７２から３つのフレームＡ１，Ａ２，Ａ３の画像信号を得る（１／６０ｓ＝３×１／１８０ｓ）。この場合に、駆動部３５０２は、周辺領域３１７６に含まれる画素ブロック３１３１のリセットトランジスタ３３０３、転送トランジスタ３３０２および選択トランジスタ３３０５の組と、注目領域３１７２に含まれる画素ブロック３１３１のリセットトランジスタ３３０３、転送トランジスタ３３０２および選択トランジスタ３３０５の組とを別個に駆動することにより、異なるフレームレートで画像信号を得る。
【0430】
なお、図７０は画像信号の出力のタイミングを示しているが、露光時間の長さまでも示しているものではない。駆動部３５０２は予め演算部３５１２で算出された露光時間となるように、周辺領域３１７６と注目領域３１７２とに対して、上記トランジスタの組を駆動する。
【0431】
これに加えて、露光時間の長さをフレームレートに応じて変化させてもよい。例えば図７０に示す例において、周辺領域３１７６の１フレームの露光時間を１／３倍にしておき、注目領域３１７２と実質的に同じ露光時間としてもよい。また、画像信号の出力後にフレームレートの比で当該画像信号を補正してもよい。また、周辺領域３１７６と注目領域３１７２との間で画像信号の出力のタイミングが図７０のように同期していなくても、非同期であってもよい。
【0432】
画像処理部３５１１は、注目領域３１７２からの画像信号をワークメモリ３５０４の予め定められた記憶領域に、フレームごとに順次、記憶する（Ｓ３１０６）。同様に、画像処理部３５１１は、周辺領域３１７６からの画像信号をワークメモリ３５０４の予め定められた記憶領域に、フレームごとに順次、記憶する（同ステップ）。ワークメモリ３５０４は、図６４Ａから図６４Ｃにおいて説明したように、複数の記憶ブロック３７３０を有する。ワークメモリ３５０４は、それぞれの画素ブロック３１３１に対応するメモリ群からなるメモリであってよい。
【0433】
動画生成部３１５４は、ワークメモリ３５０４に記憶された注目領域３１７２の画像信号を読み出して（Ｓ３１０８）、注目領域３１７２の複数のフレームが含まれる注目領域動画のデータを生成する（Ｓ３１１０）。同様に、動画生成部３１５４は、ワークメモリ３５０４に記憶された周辺領域３１７６の画像信号を読み出して、周辺領域３１７６の複数のフレームが含まれる周辺領域動画のデータを生成する（同ステップ）。ここで、注目領域動画および周辺領域動画はそれぞれ、ＭＰＥＧのような汎用のフォーマットで生成されてそれぞれ別個に再生できるようになっていてもよいし、後述する合成処理を経なければ再生できない専用のフォーマットで生成されてもよい。
【0434】
図７１は、動画生成部により生成された注目領域動画および周辺領域動画を模式的に示す。動画生成部３１５４は、駆動部３５０２が注目領域３１７２を駆動したフレームレートに対応したフレームレートで、注目領域動画を生成する。図７１に示す例において、駆動部３５０２が注目領域３１７２を駆動したフレームレート１／１８０ｆｐｓと同一のフレームレート１／１８０ｆｐｓで、注目領域動画が生成される。
【0435】
同様に、動画生成部３１５４は、駆動部３５０２が周辺領域３１７６を駆動したフレームレートに対応したフレームレートで、周辺領域動画を生成する。図７１に示す例において、駆動部３５０２が周辺領域３１７６を駆動したフレームレート１／６０ｆｐｓと同一のフレームレート１／６０ｆｐｓで、周辺領域動画が生成される。なお、周辺領域動画において注目領域３１７２に対応する領域には有効な値が存在せず、図中は斜線で示した。
【0436】
さらに動画生成部３１５４は注目領域動画および周辺領域動画にヘッダ情報を付加して、これらのデータを記録部３５０５に記録する（Ｓ３１１２）。ヘッダ情報は、撮像領域の全体に対する注目領域３１７２の位置を示す領域情報、注目領域３１７２の大きさを示すサイズ情報および、注目領域３１７２の画像信号の出力タイミングと周辺領域３１７６の画像信号の出力タイミングとの関係を示すタイミング情報を含む。
【0437】
システム制御部３５０１は次の単位時間の撮像を行うか否かを判断する（Ｓ３１１４）。次の単位時間の撮像を行うか否かは、その時点でユーザから動画の記録ボタンが押下されているか否かで判断される。次の単位時間の撮像を行う場合は（Ｓ３１１４：Ｙｅｓ）、上記ステップＳ３１０２に戻り、次の単位時間の撮像を行わない場合は（Ｓ３１１４：Ｎｏ）、当該動作を終了する。
【0438】
ここで「単位時間」は予めシステム制御部３５０１に設定されている時間であって、数秒程度である。この単位時間、注目領域３１７２のフレームレートおよび画素ブロック数、並びに、周辺領域３１７６のフレームレートおよび画素ブロック数によって、ステップＳ３１０６において記憶に用いられる記憶容量が決まる。またこれらの情報に基づいて、当該記憶容量において注目領域３１７２のデータを記憶する領域と、周辺領域３１７６のデータを記憶する領域とが定められる。
【0439】
以上により、主要被写体３１７１が含まれる注目領域３１７２からは高いフレームレートで画像信号を得ることができるとともに、周辺領域３１７６を低いフレームレートで抑えることでデータ量を減らすことができる。よって、全画素からの高速読出しに比べて、駆動および画像処理の負荷を減らし、消費電力および発熱を抑えることができる。
【0440】
なお、図６７に示す例において次の単位時間が開始されるときに、ステップＳ３１０２で改めて画素ブロック３１３１が選択され、領域情報およびサイズ情報が更新される。これにより、主要被写体３１７１に追従して注目領域３１７２を逐次、更新することができる。図７１に示す例においては、注目領域動画における単位時間の最初のフレームＡ７において、以前の単位時間の最後のフレームＡ６とは異なる画素ブロック３１３１からなる注目領域３１８２が選択されるとともに、これに伴って領域情報３１８４および周辺領域３１８６も更新されている。
【0441】
図７２は、動画生成部が付加するヘッダ情報の一例を示す。図７２のヘッダ情報は、注目領域動画を特定する注目領域動画ＩＤ、注目領域動画のフレームレート、当該注目領域動画に対応する周辺領域動画を特定する周辺領域動画ＩＤ、周辺領域動画のフレームレート、タイミング情報、領域情報およびサイズ情報を含む。これらのヘッダ情報は、注目領域動画および周辺領域動画のいずれか一方にヘッダ情報として付加されていてもよいし、両方に付加されていてもよい。
【0442】
図７３は、撮像装置が動画を再生して表示する動作を示すフローチャートである。当該動作は、表示部３５０６にサムネイル表示された注目領域動画のいずれかをユーザが特定して再生ボタンを押下したことにより開始する。
【0443】
動画合成部３１５６は、ユーザにより特定された注目領域動画のデータを記録部３５０５から読み出す（Ｓ３１５０）。動画合成部３１５６は、当該注目領域動画に対応する周辺領域動画のデータを記録部３５０５から読み出す（Ｓ３１５２）。
【0444】
この場合に、動画合成部３１５６は、ステップＳ１５０で読み出した注目領域動画のヘッダ情報に示されている周辺領域動画ＩＤにより周辺領域動画を特定する。これに代えて、ヘッダ情報に示されているタイミング情報と同一のタイミング情報をヘッダ情報として含む周辺領域画像が検索されて特定されてもよい。
【0445】
なお、上記の例では注目領域動画にヘッダ情報が含まれるとしている。一方、注目領域動画にヘッダ情報が含まれずに周辺領域動画にヘッダ情報が含まれている場合には、先にステップＳ１５０においてユーザに周辺領域動画を特定させて読出し、そのヘッダ情報からステップＳ１５２において注目領域動画を特定して読み出してもよい。
【0446】
動画合成部３１５６は、注目領域動画のフレームと周辺領域動画のフレームとを用いて、表示動画のフレームを合成する（Ｓ３１５４）。この場合にまず、注目領域動画の先頭のフレームＡ１が、周辺領域動画の先頭のフレームＢ１における領域情報３１７４が示す位置に嵌め込まれることにより、表示動画の先頭のフレームＣ１が合成される。動画合成部３１５６は、図７１に示すように、表示動画の先頭のフレームＣ１を表示部３５０６に表示させる（Ｓ３１５６）。
【0447】
動画合成部３１５６は、周辺領域動画における次のフレームＢ２までの間に注目領域動画の次のフレームがあるか否かを判断する（Ｓ３１５８）。動画合成部３１５６は、注目領域動画の次のフレームがある場合に（Ｓ３１５８：Ｙｅｓ）、注目領域３１７２を次のフレームＡ２、Ａ３で更新しかつ周辺領域３１７６を前のフレームＢ１に保持することにより（Ｓ３１６２）、表示動画の次のフレームＣ２、Ｃ３を合成して（Ｓ１６２）、順次、表示する（Ｓ３１５６）。
【0448】
一方、ステップＳ３１５８において周辺領域動画における次のフレームＢ２までの間に注目領域動画の次のフレームがない場合に（Ｓ３１５８）、動画合成部３１５６は、注目領域３１７２を次のフレームＡ４で更新しかつ周辺領域３１７６も次のフレームＢ２で更新することにより（Ｓ３１６４）、表示動画の次のフレームＣ４を合成して（Ｓ３１６２）、表示する（Ｓ３１５６）。
【0449】
周辺領域動画において周辺領域３１７６の次フレームがある限り（Ｓ３１６０：Ｙｅｓ）、ステップＳ１５４からＳ３１６０が繰り返される。周辺領域動画において周辺領域３１７６の次フレームがない場合に（Ｓ３１６０：Ｎｏ）、動画合成部３１５６は、当該注目領域動画と周辺領域動画との組の単位時間の次の単位時間における注目領域動画と周辺領域動画との組があるか否かを検索する（Ｓ３１６６）。例えば、動画合成部３１５６は、記録部３５０５の同一フォルダ内において、当該注目領域動画のタイミング情報が示すタイミングの直後を示すタイミング情報がヘッダ情報に含まれた注目領域動画があるか否かを検索する。
【0450】
次の単位時間における注目領域動画と周辺領域動画との組がある限り（Ｓ３１６６：Ｙｅｓ）、ステップＳ１５０からＳ３１６６が繰り返される。次の単位時間における注目領域動画と周辺領域動画との組がない場合に（Ｓ３１６６：Ｎｏ）、当該動作を終了する。
【0451】
以上によれば、全体のデータ量を減らしつつ、主要被写体３１７１が含まれる注目領域３１７２について滑らかな動画を表示することができる。なお、ステップＳ１６２においては、注目領域３１７２がそのまま次のフレームで更新されて表示画像のフレームが合成されているが、合成の方法はこれに限られない。他の例として、注目領域３１７２における主要被写体３１７１の境界線が画像処理により特定され、当該境界線で囲まれた主要被写体３１７１については次のフレームに更新するとともに、注目領域３１７２内であっても主要被写体３１７１の境界線外側については前のフレームを維持して、周辺領域３１７６のフレームと合成されてもよい。すなわち、注目領域３１７２における境界線外側については周辺領域３１７６のフレームレートに落としてもよい。これにより表示動画における滑らかさの境界が不自然に見えることを防ぐことができる。また、再生のフレームレートは、撮影時のフレームレート（注目領域は１８０ｆｐｓ、周辺領域は６０ｆｐｓ）と同じである必要はなく、例えば注目領域を６０ｆｐｓ、周辺領域を２０ｆｐｓなどとしてもよい。その場合はスローモーション再生となる。
【0452】
図７４は、撮像素子３１００の画素領域３７００の構成およびその動作例の平面図を示す。なお、図７４から図７７においては、画素領域３７００における各画素ブロック３１３１と、記憶部３１１４における各記憶ブロック３７３０とを同一平面上に投影した図を示す。それぞれの画素ブロック３１３１は、画素領域３７００の全体に渡って行列方向に一定間隔で離間して配置される。画素ブロック３１３１は、ｍ×ｎの画素を有し、ｎ、ｍは２以上である。画素ブロック３１３１は、マトリクス状に配置された３２×６４の画素によって構成されてよい。本例において、それぞれの記憶ブロック３７３０は、それぞれの画素ブロック３１３１毎に設けられたメモリである。つまり、それぞれの画素ブロック３１３１は、１対１で対応する記憶ブロック３７３０を有している。それぞれの記憶ブロック３７３０は、信号処理チップ３１１１において、対応する画素ブロック３１３１と重なる領域内に設けられる。
【0453】
それぞれの画素ブロック３１３１は、画素領域３７００内で一定間隔で離間して分布する複数の画素ブロック３１３１毎にグループ化されている。グループ内の画素ブロック３１３１に対応する記憶ブロック３７３０は、グループ内の画素ブロック３１３１に共有される。共有とは、複数の画素ブロック３１３１の画素データが、その記憶ブロック３７３０に直接または間接に読み書き可能であることを指す。１つのグループ内の画素ブロック３１３１間の距離が最大となるように、画素領域３７００に含まれる全ての画素ブロック３１３１をグループ化することが好ましい。また、画素ブロック３１３１のグループは、撮像チップ３１１３における画素領域３７００の最外周に位置する複数の画素ブロック３１３１を含むのがより好ましい。この場合、制御部３７４０は、当該最外周に位置する複数の画素ブロック３１３１を、高速フレームレートよりも低いフレームレート（本例では、基準フレームレート）に固定して制御する。
【0454】
ここで、画素ブロック３１３１の位置を座標（ｘ、ｙ）で表す。本例のでは、位置（４，４）、（４，１）（１，４）、（１，１）に設けられた４つの画素ブロック３１３１がグループ化されている。他の画素ブロック３１３１も同様に、一定間隔で離間した画素ブロック３１３１毎にグループ化されている。
【0455】
グループ内の画素ブロック３１３１に対応するそれぞれの記憶ブロック３７３０は、グループ内の全ての画素ブロック３１３１によって共有される。これにより、高速フレームレートの画素ブロック３１３１の画素データを、グループ内の基準フレームレートの画素ブロック３１３１に対応する記憶ブロック３７３０に記憶することができる。本例では、斜線で示す位置（４，４）の高速フレームレートの画素ブロック３１３１の画素データは、位置（４，４）、（４，１）（１，４）、（１，１）の画素ブロック３１３１に対応する記憶ブロック３７３０のうち、基準フレームレートの記憶ブロック３７３０に順番に記憶される。
【0456】
つまり、制御部３７４０は、高速フレームレートの画素ブロック３１３１に対応する記憶ブロック３７３０に既に画素データが記憶されている場合に、画素ブロック３１３１に対応する画素データを、当該画素ブロック３１３１と同一グループ内のいずれかの記憶ブロック３７３０に記憶させる。ここで、図６８において示したように、注目領域３１７２は、連続して配置された画素ブロック３１３１により形成される。したがって、画素領域３７００内で一定間隔で離間して分布する複数の画素ブロック３１３１毎にグループ化することで、グループ内に高速フレームレートの画素ブロック３１３１と、基準フレームレートの画素ブロック３１３１とが混在する確率を高めることができる。こうすることで、記憶ブロック３７３０のメモリ容量を増やすことなく、メモリの使用効率を向上させることができる。また、記憶ブロック３７３０を共有するグループが固定されているので、各記憶ブロック３７３０が記憶した画素データが、いずれの画素ブロック３１３１に対応するかを示す付加データを、低減または省略することができる。
【0457】
図７５は、図７４に示す撮像素子３１００の他の構成の一例の平面図である。本例の撮像素子３１００は、画素領域３７００の外側にあって、行方向および列方向のそれぞれの一辺に沿って設けられた記憶部３８１０を、記憶部３１１４に代えて備える点で図７４に記載の実施形態と異なる。なお、記憶部３８１０は、その物理的な位置の他は、記憶部３１１４と同一であってよい。
【0458】
本例の記憶部３８１０は、行方向および列方向において、画素領域３７００の最外周の画素ブロック３１３１と重なる領域に対向して設けられる複数の記憶領域３８１２によって構成される。それぞれの記憶領域３８１２は、２×２の記憶ブロック３７３０によって構成されてよい。それぞれの記憶ブロック３７３０は、グループ毎に設けられたメモリにおける記憶領域３８１２である。制御部３７４０は、グループ化した画素ブロック３１３１のそれぞれの位置、フレームレート、タイミングに関する情報に基づいて、アドレス情報を生成し、記憶ブロック３７３０に順次画素データを書き込む。
【0459】
本例では、グループ化された画素ブロック３１３１に対応する記憶ブロック３７３０が２×２の記憶領域３８１２を構成している。つまり、グループ化された画素ブロック３１３１に対応する記憶ブロック３７３０が隣接して一カ所にまとめられているので、記憶ブロック３７３０が画素ブロック３１３１と重複する領域ごとに設けられる場合のように離れた記憶ブロック３７３０同士を配線を介して接続する必要がない。したがって、ＲＣ遅延による画素データの書き込み／読み出しに要する時間が少なくてすむ。また、次段の演算回路に画素データを入力するとき、記憶領域３８１２に対して１本のバスを設ければよい。さらに、画素ブロック３１３１に重複する領域ごとに記憶ブロックを設ける場合に比べ、画素データの書き込み／読み出しに必要な回路構成を単純化することができる。
【0460】
図７６は、図７４に示す撮像素子３１００の他の動作例を示す平面図である。本例では、隣接する画素ブロック３１３１に対応する記憶ブロック３７３０の間で画素データを伝送する伝送路３７１０をさらに備える点で図７４に示す実施形態と異なる。伝送路３７１０は、各記憶ブロック３７３０同士を接続する配線であってよい。伝送路３７１０は、制御部３７４０と、すべての記憶ブロック３７３０を接続する。制御部３７４０は、高速フレームレートの画素ブロック３１３１に対応する画素データを、高速フレームレートに同期して、隣接する記憶ブロック３７３０に順次移動させる。ここで、高速フレームレートに同期してとは、フレームレートの高い画素ブロック３１３１が画素データを取り込むタイミングと同じタイミングで隣接する複数の記憶ブロック３７３０に画素データを順次記憶させることを指す。
【0461】
ここで、位置（４，４）の画素ブロック３１３１のフレームレートが、基準フレームレートの５倍である場合を例にとって説明する。基準フレームレートを６０ｆｐｓとすると、高速フレームレートは３００ｆｐｓとなる。高速フレームレートでの撮像タイミングは、時刻ｔ＝０のときのタイミングをＴ０、時刻ｔ＝１／３００ｓのときのタイミングをＴ１、時刻ｔ＝２／３００ｓのときのタイミングをＴ２、時刻ｔ＝３／３００ｓのときのタイミングをＴ３、時刻ｔ＝４／３００ｓのときのタイミングをＴ４、時刻ｔ＝５／３００ｓのときのタイミングをＴ５とする。
【0462】
制御部３７４０は、Ｔ０のタイミングですべての画素ブロック３１３１にそれぞれ対応する記憶ブロック３７３０に撮像した被写体の画素データを記憶させる。つぎに、制御部３７４０は、Ｔ１のタイミングで、フレームレートがより低く、且つ隣接する、位置（３，４）の記憶ブロック３７３０に記憶されている画素データを外周方向の位置（２，４）の記憶ブロック３７３０に移動させ、空き状態となった位置（３，４）の記憶ブロック３７３０に位置（４，４）の画素ブロック３１３１に対応する記憶ブロック３７３０に記憶された画素データを移動して記憶させる。同時に、制御部３７４０は、Ｔ１のタイミングで取得した位置（４，４）の画素ブロック３１３１の画素データを対応する位置（４，４）の記憶ブロック３７３０に記憶させる。
【0463】
制御部３７４０は、Ｔ２のタイミングで、位置（４，３）の記憶ブロック３７３０に記憶された画素データを外周方向の位置（４，２）の記憶ブロック３７３０に移動して記憶させ、空き状態となった位置（４，３）の記憶ブロック３７３０に位置（４，４）の画素ブロック３１３１に対応する記憶ブロック３７３０の画素データを移動して記憶させる。同時に、制御部３７４０は、Ｔ２のタイミングで取得した位置（４，４）の画素ブロック３１３１の画素データを対応する位置（４，４）の記憶ブロック３７３０に記憶させる。
【0464】
制御部３７４０は、Ｔ３のタイミングで、位置（５，４）の記憶ブロック３７３０に記憶された画素データを外周方向の位置（６，４）の記憶ブロック３７３０に移動して記憶させ、空き状態となった位置（５，４）の記憶ブロック３７３０に位置（４，４）の画素ブロック３１３１に対応する記憶ブロック３７３０の画素データを移動して記憶させる。同時に、制御部３７４０は、Ｔ３のタイミングで取得した位置（４，４）の画素ブロック３１３１の画素データを対応する位置（４，４）の記憶ブロック３７３０に記憶させる。
【0465】
制御部３７４０は、Ｔ４のタイミングで、位置（４，５）の記憶ブロック３７３０に記憶された画素データを外周方向の位置（４，６）の記憶ブロック３７３０に移動して記憶させ、空き状態となった位置（４，５）の記憶ブロック３７３０に位置（４，４）の画素ブロック３１３１に対応する記憶ブロック３７３０の画素データを移動して記憶させる。同時に、制御部３７４０は、Ｔ４のタイミングで取得した位置（４，４）の画素ブロック３１３１の画素データを対応する位置（４，４）の記憶ブロック３７３０に記憶させる。このとき、位置（４，４）の画素ブロック３１３１に対応する位置（４，４）の記憶ブロック３７３０、および、当該記憶ブロック３７３０を二次元的に包囲する位置（３，４）、（４，３）、（５，４）、（４，５）の記憶ブロック３７３０にＴ０からＴ４までのタイミングの画素データが記憶される。
【0466】
制御部３７４０は、位置（３，４）、（４，３）、（５，４）、（４，５）の記憶ブロック３７３０に記憶させたそれぞれの画素データを、隣接する記憶ブロック３７３０のうち、画素領域３７００のエッジに最も近い記憶ブロック３７３０に移動させてもよい。つまり、制御部３７４０は、位置（３，４）、（４，３）、（５，４）、（４，５）の記憶ブロック３７３０に記憶させたそれぞれの画素データを、画素領域３７００のエッジにあたる、位置（１，４）、（４，１）、（６，４）、（４，６）の記憶ブロック３７３０に移動させて記憶させてもよい。
【0467】
制御部３７４０は、Ｔ５のタイミングで、画素領域３７００のすべての記憶ブロック３７３０に記憶された画素データを、バスラインを通じて後段のメモリまたは演算回路に受け渡す。制御部３７４０は、フレームのサイクルを更新し、上述したタイミングＴ０からＴ４までの動作を繰り返す。
【0468】
制御部３７４０は、複数の画素ブロック３１３１のうち、画素領域３７００の最外周に沿った画素ブロック３１３１のフレームレートを、基準フレームレートに固定する。ところで、高速フレームレートの画素ブロック３１３１が画素領域３７００のエッジにあると、隣接する記憶ブロック３７３０が限られるので、二次元的に画素データを分散させにくい。したがって、制御部３７４０は、高速フレームレートの画素ブロック３１３１が画素領域３７００の最外周とならないようにする。たとえば、制御部３７４０は、画素領域３７００の最外周の画素ブロック３１３１のフレームレートを、基準フレームレートに固定する。
【0469】
制御部３７４０は、同時に、すべての画素ブロック３１３１のそれぞれに対応する記憶ブロック３７３０に新たな画素データを書き込んで、後段の演算処理回路へ画素ブロック３１３１ごとの画素データをまとめて送信する。このように、制御部３７４０は、画素領域３７００のエッジに近い方向へ高速フレームレートの画素ブロック３１３１の画素データを、隣接する画素ブロック３１３１に対応する記憶ブロック３７３０に順次移動させることにより、記憶ブロック３７３０を複数の画素ブロック３１３１で共有することができるので、メモリ容量を低減することができる。隣接する複数の記憶ブロック３７３０に振り分けられる画素データは、ヘッダ情報として、自己に対応する画素ブロック３１３１の画素領域３７００における位置データ、および、自己の属するフレームを示すフレームデータを付加データとして有してよい。
【0470】
本例において、制御部３７４０は、高速フレームレートの画素ブロック３１３１の画素データを隣接する画素ブロック３１３１に対応する記憶ブロック３７３０へ順次移動して記憶させたが、ひとつ置きの記憶ブロック３７３０に画素データを移動してもよく、行列方向ではなく対角方向の記憶ブロック３７３０に画素データを移動して記憶させてもよい。制御部３７４０は、各画素ブロック３１３１のフレームレート情報に基づいて、画素データを移動するべき記憶ブロック３７３０を選択してよい。
【0471】
図７７は、撮像素子３１００の他の構成例を示す平面図である。本例では、図７６に示した撮像素子３１００と同様に、隣接する画素ブロック３１３１に対応する記憶ブロック３７３０の間で画素データを伝送する。ただし、本例の撮像素子３１００は、図７５に示した撮像素子３１００と同様に、信号処理チップ３１１１において画素領域３７００に重なる領域の外側に設けられた記憶部３８１０を備える。記憶部３８１０は、行方向における画素ブロック３１３１の数（本例では６個）で分割された記憶領域３８２０および列方向における画素ブロック３１３１の数（本例では６個）で分割された記憶領域３８２２を有する。制御部３７４０は、高速フレームレートの画素ブロック３１３１に対応する画素データを、高速フレームレートに同期して、所定の記憶領域３８２０、３８２２に記憶させる。
【0472】
制御部３７４０は、フレームレートの低い最外周の画素ブロック３１３１に対応づけられた記憶領域３８２０、３８２２に、位置（４，４）の高速フレームレートの画素ブロック３１３１の画素データを、フレームレートに同期して書き込んでよい。なお、制御部３７４０は、各画素ブロック３１３１のフレームレート情報に基づいて、最外周以外の画素ブロック３１３１に対応づけられた記憶領域３８２０、３８２２を選択して、当該画素データを書き込んでもよい。記憶領域３８２０、３８２２は、高速フレームレートの画素ブロック３１３１の画素データおよび低速フレームレートの画素ブロック３１３１の画素データによって共有される。本例では、記憶領域３８２０、３８２２ごとに書き込み／読み出しを行えばよく、画素ブロック３１３１ごとに設けられた記憶ブロック３７３０ごとに書き込み／読み出しを行う必要がないので回路構成を単純化できる。また、本例の記憶部３８１０内の記憶領域３８２０、３８２２のそれぞれのメモリ空間の大きさは等しい。さらに、記憶領域３８２０、３８２２のメモリ空間の位置は、記憶部３８１０内で固定されていてもよく、動的に変化してもよい。
【0473】
図７８は、他の実施形態にかかる撮像素子３１００の一部の構成および動作を示す。本例では、記憶部３１１４が多層構造のバッファメモリにより構成される点で上述した実施形態と異なる。本例の記憶部３１１４は、一時メモリ３８５０および転送メモリ３８６０を含む。一時メモリ３８５０は、各画素ブロック３１３１に対応する記憶ブロック３８３０を有し、高速データレートの画素ブロック３７１２の画素データの制御に使用されるメモリである。転送メモリ３８６０は、一時メモリ３８５０から入力される画素データを受け取り、次段のメモリまたは演算回路へ画素データを転送する。転送メモリ３８６０は、複数の記憶ブロック３７３０における総記憶領域に対して、少なくとも同一の大きさの記憶領域を有する。ここで、総記憶領域とは、一時メモリ３８５０が有するメモリ空間の大きさを指す。本例の一時メモリ３８５０は、図７６に示した記憶ブロック３７３０と同一の機能および構成を有する。
【0474】
ここで、画素ブロック３７１２のフレームレートが、基準フレームレートの５倍である場合を例にとって説明する。基準フレームレートを６０ｆｐｓとすると、高速フレームレートは３００ｆｐｓとなる。高速フレームレートでの撮像タイミングは、時刻ｔ＝０のときのタイミングをＴ０、時刻ｔ＝１／３００ｓのときのタイミングをＴ１、時刻ｔ＝２／３００ｓのときのタイミングをＴ２、時刻ｔ＝３／３００ｓのときのタイミングをＴ３、時刻ｔ＝４／３００ｓのときのタイミングをＴ４、時刻ｔ＝５／３００ｓのときのタイミングをＴ５とする。
【0475】
制御部３７４０は、Ｔ０のタイミングで撮像した被写体のすべての画素データを、すべての画素ブロック３１３１にそれぞれ対応する記憶ブロック３８３０に記憶させる。制御部３７４０は、記憶した画素データを、Ｔ１より前のタイミングで転送メモリ３８６０に転送する。つまり、制御部３７４０は、Ｔ０のタイミングで撮像した被写体のすべての画素データを、高速フレームレートで動作する画素ブロック３７１２から次の画素データが入力される前に、転送メモリ３８６０の対応する記憶領域３８７０にコピーして記憶させる。
【0476】
制御部３７４０は、高速フレームレートに同期したＴ１のタイミングで、高速フレームレートの画素ブロック３７１２からバス３７２０を介して一時メモリ３８５０の対応する記憶ブロック３８５３に画素データを記憶させる。制御部３７４０は、記憶ブロック３８５３に記憶された画素データを、隣接する記憶ブロック３８５４に、Ｔ２のタイミング、または、Ｔ２より前のタイミングで移動し記憶させる。制御部３７４０は、Ｔ２のタイミングで、高速フレームレートに同期して、画素ブロック３７１２からバス３７２０を介して一時メモリ３８５０の対応する記憶ブロック３８５３に画素データを記憶させる。
【0477】
制御部３７４０は、記憶ブロック３８５３に記憶された画素データを、隣接する記憶ブロック３８５５に、Ｔ３のタイミング、または、Ｔ３より前のタイミングで移動し記憶させる。制御部３７４０は、Ｔ３のタイミングで、高速フレームレートに同期して、画素ブロック３７１２からバス３７２０を介して一時メモリ３８５０の対応する記憶ブロック３８５３に画素データを記憶させる。制御部３７４０は、記憶ブロック３８５３に記憶された画素データを、隣接する記憶ブロック３８５６に、Ｔ４のタイミング、または、Ｔ４より前のタイミングで移動し記憶させる。制御部３７４０は、Ｔ４のタイミングで、高速フレームレートに同期して、画素ブロック３７１２からバス３７２０を介して一時メモリ３８５０の対応する記憶ブロック３８５３に画素データを記憶させる。
【0478】
制御部３７４０は、一時メモリ３８５０の記憶ブロック３８５４、３８５５、３８５６、３８５７に記憶された画素データを、Ｔ５のタイミングまたはＴ５より前のタイミングで、バス３８４０を介して、転送メモリ３８６０の対応する記憶領域３８６４、３８６５、３８６６、３８６７に記憶させる。つまり、一時メモリ３８５０は、高速フレームレートのうち、基準タイミングの直前の高速フレームレートにおける画素データを受け取った後、次の基準タイミングにおける画素データが受け取るまでの間に、画素データを転送メモリ３８６０に転送する。
【0479】
なお、制御部３７４０は、記憶ブロック３８５３に隣接する記憶ブロック３８５４、３８５５、３８５６、３８５７に記憶させた画素データを、隣接する他の記憶ブロックに、高速フレームレートに同期して更に移動させてよい。制御部３７４０は、転送メモリ３８６０に記憶したすべての画素データを、後段のメモリまたは演算回路に転送する。
【0480】
本実施形態によれば、高速フレームレートの画素ブロック３７１２に対応する記憶ブロック３８５３と、当該記憶ブロック３８５３に隣接するそれぞれの記憶ブロック３８５４、３８５５、３８５６、３８５７とを伝送路３７１０により接続すればよいので、すべての記憶ブロックを伝送路３７１０で接続する必要がない。したがって、画素データの移動を高速に行うことができる。また、一時メモリ３８５０として、ＳＲＡＭなどのキャッシュメモリを使用することができるので読み出し／書き込みを高速に行うことができる。さらに、一時メモリ３８５０においては、記憶ブロック３８３０は共有されないので、書き込み／読み出しに必要な回路構成を単純化することができる。さらに、転送メモリ３８６０において、共有される記憶領域は、高速フレームレートの画素ブロック３７１２に対応する記憶領域３８６３に隣接する記憶領域のみとなる。よって、転送メモリ３８６０において、記憶領域３８６３同士を接続する配線は不要である。また、一時メモリ３８５０が、図７６に示した記憶ブロック３７３０の構成を有する場合を例として説明したが、一時メモリ３８５０は、図７４から図７７のいずれの記憶ブロック３７３０の構成であってもよい。
【0481】
【0482】
図７９の動作において、注目領域３１７２と周辺領域３１７６とで、図６７のフレームレートに代えて、または、加えて間引き率を異ならせている。より詳しくは、ステップＳ３１２０において、駆動部３５０２は、注目領域３１７２に含まれる画素ブロック３１３１に対しては、低い間引き率で間引いた画素に対して電荷蓄積および画像信号の出力を実行させ、周辺領域３１７６に含まれる画素ブロック３１３１に対しては、高い間引き率で間引いた画素に対して電荷蓄積および画像信号の出力を実行させる。例えば注目領域３１７２に含まれる画素ブロック３１３１に対して間引き率０すなわち全画素が読み出され、周辺領域３１７６に含まれる画素ブロック３１３１に対して間引き率０．５すなわち半分画素が読み出される。
【0483】
この場合に、駆動部３５０２は、周辺領域３１７６に含まれる画素ブロック３１３１のリセットトランジスタ３３０３、転送トランジスタ３３０２および選択トランジスタ３３０５の組と、注目領域３１７２に含まれる画素ブロック３１３１のリセットトランジスタ３３０３、転送トランジスタ３３０２および選択トランジスタ３３０５の組とを別個に駆動することにより、異なる間引き率で画像信号を得る。
【0484】
ステップＳ３１１０において、動画生成部３１５４は、低い間引き率で出力された注目領域３１７２の画像信号に基づき、注目領域３１７２に対応する注目領域動画を生成する。動画生成部３１５４は、同様に、高い間引き率で出力された周辺領域３１７６の画像信号に基づき、周辺領域３１７６に対応する周辺領域動画を生成する。またステップＳ３１１２において、動画生成部３１５４は、それぞれの間引き率の情報を付加して注目領域動画および周辺領域動画を記録部３５０５に記録する。
【0485】
図８０は、一の画素ブロックに対して間引き率０．５で読み出される画素３１８８の例を示す。図８０に示す例において、周辺領域３１７６の画素ブロック３１３２がベイヤー配列である場合に垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位でみた場合の二行づつ交互に、読み出される画素３１８８と読み出されない画素が設定される。これにより色バランスを崩すことなく間引き読出しをすることができる。
【0486】
【0487】
図８１のステップＳ３１７０において、動画合成部３１５６は、周辺領域動画のフレームの画素を補完して解像度を注目領域動画のフレームの解像度と整合させてから、注目領域動画のフレームを周辺領域動画のフレームに嵌め込むことにより、表示画像のフレームを合成する。これにより、主要被写体３１７１が含まれる注目領域３１７２からは高い解像度で画像信号を得ることができるとともに、周辺領域３１７６を低い解像度で抑えることでデータ量を減らすことができる。よって、全画素からの高速読出しに比べて、駆動および画像処理の負荷を減らし、消費電力および発熱を抑えることができる。
【0488】
なお、図６１から図８１に示す例において、注目領域３１７２は矩形であるが注目領域３１７２の形状はこれに限られない。注目領域３１７２は画素ブロック３１３１の境界線に沿っていれば凸の多角形、凹の多角形、または、中に周辺領域３１７６が入り込んだドーナツ形状等であってもよい。また、注目領域３１７２は互いに離間して複数個設定されてもよい。その場合に、互いの注目領域３１７２で異なるフレームレートが設定されてもよい。
【0489】
また、注目領域３１７２および周辺領域３１７６のフレームレートは可変であってもよい。例えば、単位時間が経過するごとに主要被写体３１７１の移動量を検出して、主要被写体３１７１の移動量が大きいほど注目領域３１７２により高いフレームレートを設定してもよい。また、単位時間内で随時、主要被写体３１７１に追従して注目領域３１７２に含まれるべき画素ブロック３１３１の選択を更新してもよい。
【0490】
図６７および図７９の動画の生成はユーザの録画ボタンの押下により開始し、図７３および図８１の動画の再生はユーザの再生ボタンの押下により開始しているが、開始時点はこれに限られない。他の例として、ユーザからの一つのボタン操作によって、動画の生成の動作と再生の動作とを連続して実行させて、表示部３５０６にスルー画表示（またはライブビュー表示ともいう）してもよい。この場合に、注目領域３１７２をユーザに認識させる表示が重畳されてもよい。例えば、表示部３５０６において注目領域３１７２の境界線に枠を表示したり、周辺領域３１７６の輝度を下げるか注目領域３１７２の輝度を上げるかしてもよい。
【0491】
図７９の動作において、注目領域３１７２と周辺領域３１７６とで間引き率を異ならせている。間引き率を異ならせることに代えて、隣接行の画素の画素信号を加算するときの行数を異ならせてもよい。例えば、注目領域３１７２においては行数が１、すなわち、隣接行で加算せずに画素信号を出力し、周辺領域３１７６においては注目領域３１７２よりも多い行数、例えば行数を２として、隣接する２行の同じ列の画素の画素信号を出力する。これにより、図７９と同様に、周辺領域３１７６よりも注目領域３１７２の解像度を高く維持しつつ、全体の信号量を減らすことができる。
【0492】
なお、動画合成部３１５６は撮像装置３５００の画像処理部３５１１に設けられていることに代えて、外部の表示装置、例えばＰＣに設けられてもよい。また、動画を生成する場合に限られず、静止画を生成する場合に上記実施形態が適用されてもよい。
【0493】
また、上記実施形態はいずれも複数の画素ブロック３１３１を、注目領域３１７２と周辺領域３１７６との２つに分けているが、これに限られず３つ以上の領域に分けてもよい。この場合に、注目領域３１７２と周辺領域３１７６との境界に該当する画素ブロック３１３１を境界領域として、当該境界領域には、注目領域３１７２に用いられる制御パラメータの値と周辺領域３１７６に用いられる制御パラメータの値との中間の値が用いられて制御されてもよい。これにより、注目領域３１７２と周辺領域３１７６との境界が不自然に見えることを防ぐことができる。
【0494】
注目領域３１７２と周辺領域３１７６とで電荷の蓄積時間、蓄積回数等を異ならせてもよい。この場合に注目領域３１７２と周辺領域３１７６とを輝度に基づいて分けてもよく、さらに中間領域を設けてもよい。
【0495】
図８２Ａおよび図８２Ｂは、シーンの例と領域分割を説明する図である。図８２Ａは、撮像チップ３１１３の画素領域が捉えるシーンを示す。具体的には、屋内環境に含まれるシャドウ被写体３６０１および中間被写体３６０２と、窓枠３６０４の内側に観察される屋外環境のハイライト被写体３６０３とが同時に写り込むシーンである。このような、ハイライト部からシャドウ部までの明暗差が大きなシーンを撮影する場合、従来の撮像素子であれば、ハイライト部を基準として電荷蓄積を実行するとシャドウ部で黒潰れが生じ、シャドウ部を基準として電荷蓄積を実行するとハイライト部で白飛びが生じた。すなわち、ハイライト部もシャドウ部も一律に一度の電荷蓄積により画像信号を出力させるには、明暗差の大きなシーンに対してフォトダイオードのダイナミックレンジが不足していると言える。そこで、本実施形態においては、シーンをハイライト部、シャドウ部といった部分領域に分割して、それぞれの領域に対応するフォトダイオードの電荷蓄積回数を互いに異ならせることにより、ダイナミックレンジの実質的な拡大を図る。
【0496】
図８２Ｂは、撮像チップ３１１３の画素領域における領域分割を示す。演算部３５１２は、測光部３５０３が捉えた図８２Ａのシーンを解析して、輝度を基準に画素領域を分割する。例えば、システム制御部３５０１は、測光部３５０３に露光時間を変更しつつ複数回のシーン取得を実行させ、演算部３５１２は、その白飛び領域、黒潰れ領域の分布の変化を参照して画素領域の分割ラインを決定する。図８２Ｂの例においては、演算部３５１２は、シャドウ領域３６１１、中間領域３６１２、およびハイライト領域３６１３の３領域に分割している。
【0497】
分割ラインは、画素ブロック３１３１の境界に沿って定義される。すなわち、分割された各領域は、整数個のグループをそれぞれ含む。そして、同一の領域に包含される各グループの画素は、演算部３５１２によって決定されたシャッタ速度に対応する期間内において、同一回数の電荷蓄積および画素信号出力を行う。属する領域が異なれば、異なる回数の電荷蓄積および画素信号出力を行う。
【0498】
図８３は、図８２Ａおよび図８２Ｂの例による分割された領域ごとの電荷蓄積制御を説明する図である。演算部３５１２は、ユーザから撮影準備指示を受けると、測光部３５０３の出力からシャッタ速度Ｔ０を決定する。さらに、上述のようにシャドウ領域３６１１、中間領域３６１２およびハイライト領域３６１３に分割して、それぞれの輝度情報から電荷蓄積回数を決定する。電荷蓄積回数は、１回あたりの電荷蓄積により画素が飽和しないように決定される。例えば、１回の電荷蓄積動作において蓄積可能な８割から９割の電荷が蓄積されることを基準として、電荷蓄積回数が決定される。
【0499】
ここでは、シャドウ領域３６１１を１回とする。すなわち、決定されたシャッタ速度Ｔ０と電荷蓄積時間を一致させる。また、中間領域３６１２の電荷蓄積回数を２回とする。すなわち、１回の電荷蓄積時間をＴ０／２として、シャッタ速度Ｔ０の間に２回の電荷蓄積を繰り返させる。また、ハイライト領域３６１３の電荷蓄積回数を４回とする。すなわち、１回の電荷蓄積時間をＴ０／４として、シャッタ速度Ｔ０の間に４回の電荷蓄積を繰り返させる。
【0500】
ユーザから撮影指示を時刻ｔ＝０で受けると、駆動部３５０２は、いずれの領域に属するグループの画素に対しても、リセットパルスと転送パルスを印加する。この印加をトリガーとして、いずれの画素も電荷蓄積を開始する。
【0501】
時刻ｔ＝Ｔ０／４となったら、駆動部３５０２は、ハイライト領域３６１３に属するグループの画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３３０９に出力させる。グループ内の全ての画素の画素信号を出力させたら、駆動部３５０２は、ハイライト領域３６１３に属するグループの画素に対して再びリセットパルスと転送パルスを印加して、２回目の電荷蓄積を開始させる。
【0502】
なお、画素信号の選択出力には時間を要するので、１回目の電荷蓄積の終了と２回目の電荷蓄積の開始の間には時間差が生じる。この時間差が実質的に無視し得るのであれば、上述のように、シャッタ速度Ｔ０に対して電荷蓄積回数で割った時間を１回の電荷蓄積時間とすれば良い。一方、無視し得ないのであれば、その時間を考慮して、シャッタ速度Ｔ０を調整したり、１回の電荷蓄積時間をシャッタ速度Ｔ０に対して電荷蓄積回数で割った時間よりも短くしたりすれば良い。
【0503】
時刻ｔ＝Ｔ０／２となったら、駆動部３５０２は、中間領域３６１２とハイライト領域３６１３に属するグループの画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３３０９に出力させる。グループ内の全ての画素の画素信号を出力させたら、駆動部３５０２は、中間領域３６１２とハイライト領域３６１３に属するグループの画素に対して再びリセットパルスと転送パルスを印加して、中間領域３６１２に対しては２回目の、ハイライト領域３６１３に対しては３回目の電荷蓄積を開始させる。
【0504】
時刻ｔ＝３Ｔ０／４となったら、駆動部３５０２は、ハイライト領域３６１３に属するグループの画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３３０９に出力させる。グループ内の全ての画素の画素信号を出力させたら、駆動部３５０２は、ハイライト領域３６１３に属するグループの画素に対して再びリセットパルスと転送パルスを印加して、４回目の電荷蓄積を開始させる。
【0505】
時刻ｔ＝Ｔ０となったら、駆動部３５０２は、全領域の画素に対して転送パルスを印加する。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３３０９に出力させる。以上の制御により、シャドウ領域３６１１に対応する画素メモリ３４１４にはそれぞれ１回分の画素信号が格納され、中間領域３６１２に対応する画素メモリ３４１４にはそれぞれ２回分の画素信号が格納され、ハイライト領域３６１３に対応する画素メモリ３４１４にはそれぞれ４回分の画素信号が格納される。
【0506】
なお、駆動部３５０２は、いずれの領域に属するグループの画素に対して、リセットパルスおよび転送パルスを順次印加し、それぞれの領域に属するグループの画素を順次リセットしてもよい。この印加をトリガーとして、それぞれのグループの画素が電荷蓄積を順次開始してよい。すべての領域に属するグループの画素に対して電荷蓄積が終了後に、駆動部３５０２は、全領域の画素に対して転送パルスを印加してよい。そして、各グループ内の画素に対して順次選択パルスを印加して、それぞれの画素信号を出力配線３３０９に出力させてよい。
【0507】
これらの画素信号は、順次、画像処理部３５１１へ転送される。画像処理部３５１１は、この画素信号から高ダイナミックレンジの画像データを生成する。具体的な処理については後述する。
【0508】
図８４は、積算回数とダイナミックレンジの関係を示す図である。繰り返し実行された電荷蓄積に対応する複数回分の画素データは、画像処理部３５１１により積算処理されて、高ダイナミックレンジの画像データの一部を形成する。
【0509】
積算回数が１回、すなわち電荷蓄積を１回行った領域のダイナミックレンジを基準とした場合、積算回数が２回、すなわち電荷蓄積を２回行って出力信号を積算した領域のダイナミックレンジの拡大分は１段分となる。同様に、積算回数を４回にすれば２段分となり、１２８回にすれば７段分となる。すなわち、ｎ段分のダイナミックレンジ拡大を図るには、２ｎ回の出力信号を積算すれば良い。
【0510】
ここで、画像処理部３５１１がいずれの分割領域が何回の電荷蓄積を行ったかを識別するために、積算回数を示す３ｂｉｔの指数桁が画像信号に付与されている。図示するように、指数桁は、積算数１回に対して０００、２回に対して００１、…１２８回に対して１１１のように順に割り当てられる。
【0511】
画像処理部３５１１は、演算回路３４１５から受け取った各画素データの指数桁を参照して、参照した結果が２回以上の積算数である場合には、画素データの積算処理を実行する。例えば、積算回数が２回の場合（１段）は、２個の画素データに対して、電荷蓄積に対応する１２ｂｉｔの画素データのうち上位１１ｂｉｔ同士を加算して、１２ｂｉｔの１つの画素データを生成する。同様に、積算回数が１２８回（７段）の場合は、１２８個の画素データに対して、電荷蓄積に対応する１２ｂｉｔの画素データのうち上位５ｂｉｔ同士を加算して、１２ｂｉｔの１つの画素データを生成する。すなわち、積算回数に対応する段数を１２から引いた上位ｂｉｔを互いに足し合わせて、１２ｂｉｔの１つの画素データを生成する。なお、加算の対象とならない下位ｂｉｔは除去される。
【0512】
このように処理することにより、階調を与える輝度範囲を積算回数に合わせて高輝度側にシフトさせることができる。すなわち、高輝度側の限られた範囲に対して１２ｂｉｔが割り当てられることになる。したがって、従来白飛びしていた画像領域に対して階調を与えることができる。
【0513】
ただし、他の分割領域については異なる輝度範囲に対して１２ｂｉｔを割り当てているので、単純に領域ごとに繋ぎ合わせる合成により画像データを生成することができない。そこで、画像処理部３５１１は、得られた階調をできる限り維持しつつ全領域を１２ｂｉｔの画像データとするために、最大輝度画素と最低輝度画素を基準として、再量子化処理を行う。具体的には、階調がより滑らかに維持されるように、ガンマ変換を施して量子化を実行する。このように処理することにより、高ダイナミックレンジの画像データを得ることができる。
【0514】
なお、積算回数は、上記のように３ｂｉｔの指数桁が画素データに付与されている場合に限らず、画素データとは別の付随情報として記述されていても良い。また、画素データから指数桁を省き、代わりに画素メモリ３４１４に格納されている画素データの数をカウントすることにより、加算処理時に積算回数を取得しても良い。
【0515】
また、上記の画像処理においては、全領域を１２ｂｉｔの画像データに収める再量子化処理を実行したが、画素データのｂｉｔ数に対し、上限の積算回数に合わせて出力ｂｉｔ数を増やしても良い。例えば、上限の積算回数を１６回（４段）と定めれば、１２ｂｉｔの画素データに対して、全領域を１６ｂｉｔの画像データとすれば良い。このように処理すれば、桁落ちさせずに画像データを生成することができる。
【0516】
次に、一連の撮影動作処理について説明する。図８５は、撮影動作の処理を示すフロー図である。フローは、撮像装置３５００の電源がＯＮにされて開始される。
【0517】
システム制御部３５０１は、ステップＳ３２０１で、撮影準備指示であるスイッチＳＷ１の押し下げがなされるまで待機する。スイッチＳＷ１の押し下げを検知したらステップＳ３２０２へ進む。
【0518】
ステップＳ３２０２では、システム制御部３５０１は、測光処理を実行する。具体的には、測光部３５０３の出力を得て、演算部３５１２がシーンの輝度分布を算出する。そして、ステップＳ３２０３へ進み、上述のように、シャッタ速度、領域分割、積算回数等を決定する。
【0519】
撮影準備動作が完了したら、ステップＳ３２０４へ進み、撮影指示であるスイッチＳＷ２の押し下げがなされるまで待機する。このとき、経過時間が予め定められた時間Ｔｗを超えたら（ステップＳ３２０５のＹＥＳ）、ステップＳ３２０１へ戻る。Ｔｗを超える前に（ステップＳ３２０５のＮＯ）スイッチＳＷ２の押し下げを検知したら、ステップＳ３２０６へ進む。
【0520】
ステップＳ３２０６では、システム制御部３５０１の指示を受けた駆動部３５０２が、図８３を用いて説明した電荷蓄積処理、信号読み出し処理を実行する。そして、全ての信号読み出しが完了したらステップＳ３２０７へ進み、図８４を用いて説明した画像処理を実行し、生成された画像データを記録部に記録する記録処理を実行する。
【0521】
記録処理が完了したらステップＳ３２０８へ進み、撮像装置３５００の電源がＯＦＦにされたか否かを判断する。電源がＯＦＦにされなければステップＳ３２０１へ戻り、ＯＦＦにされたら一連の撮影動作処理を終了する。
【0522】
図８６は、信号処理チップ３１１１の一例としての具体的構成を示すブロック図である。図中、破線により囲まれた領域は、画素ブロック３１３１ごとに設けられる画素データ処理部３９１０を示す。
【0523】
信号処理チップ３１１１は、駆動部３５０２の機能を担う。信号処理チップ３１１１は、分担化された制御機能としてのセンサ制御部３４４１、ブロック制御部３４４２、同期制御部３４４３、信号制御部３４４４と、これらの各制御部を統括制御する駆動制御部３４２０とを含む。駆動制御部３４２０は、システム制御部３５０１からの指示を、各制御部が実行可能な制御信号に変換してそれぞれに引き渡す。
【0524】
センサ制御部３４４１は、撮像チップ３１１３へ送出する、各画素の電荷蓄積、電荷読み出しに関わる制御パルスの送出制御を担う。具体的には、センサ制御部３４４１は、対象画素に対してリセットパルスと転送パルスを送出することにより、電荷蓄積の開始と終了を制御し、読み出し画素に対して選択パルスを送出することにより、画素信号を出力配線３３０９へ出力させる。
【0525】
ブロック制御部３４４２は、撮像チップ３１１３へ送出する、制御対象となる画素ブロック３１３１を特定する特定パルスの送出を実行する。図８２Ｂ等を用いて説明したように、分割された領域には、互いに隣接する複数の画素ブロック３１３１が包含され得る。これら同一の領域に属する画素ブロック３１３１は、ひとつのブロックを形成する。同一のブロックに含まれる画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。そこで、ブロック制御部３４４２は、駆動制御部３４２０からの指定に基づいて対象となる画素ブロック３１３１に特定パルスを送出することにより、画素ブロック３１３１をブロック化する役割を担う。各画素がＴＸ配線３３０７およびリセット配線３３０６を介して受ける転送パルスおよびリセットパルスは、センサ制御部３４４１が送出する各パルスとブロック制御部３４４２が送出する特定パルスの論理積となる。
【0526】
このように、各領域を互いに独立したブロックとして制御することにより、図８３を用いて説明した電荷蓄積制御を実現する。駆動制御部からのブロック化指定については、後に詳述する。なお、同一のブロックに含まれる画素は、同一のタイミングで電荷蓄積を開始しなくともよい。つまり駆動制御部３４２０は、同一のブロックに含まれる画素に対して、異なるタイミングでリセットパルスおよび転送パルスを印加してよい。また、駆動制御部３４２０は、同一のブロックに含まれる画素の電荷蓄積を同一蓄積時間で終了させた後、ブロック内の画素に対して順次選択パルスを印加して、それぞれの画素信号を順次読み出してもよい。
【0527】
同期制御部３４４３は、同期信号を撮像チップ３１１３へ送出する。各パルスは、同期信号に同期して撮像チップ３１１３においてアクティブとなる。例えば、同期信号を調整することにより、同一の画素ブロック３１３１に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実現する。
【0528】
信号制御部３４４４は、主にＡ／Ｄ変換器３４１２に対するタイミング制御を担う。出力配線３３０９を介して出力された画素信号は、ＣＤＳ回路３４１０およびマルチプレクサ３４１１を経てＡ／Ｄ変換器３４１２に入力される。Ａ／Ｄ変換器３４１２は、信号制御部３４４４によって制御されて、入力された画素信号をデジタルの画素データに変換する。デジタル信号に変換された画素データは、デマルチプレクサ３４１３に引き渡され、そしてそれぞれの画素に対応する画素メモリ３４１４にデジタルデータの画素値として格納される。画素メモリ３４１４は、記憶ブロック３７３０の一例である。
【0529】
信号処理チップ３１１１は、いずれの画素ブロック３１３１を組み合わせてブロックを形成するかについてのブロック区分情報と、形成されたそれぞれのブロックが何回の電荷蓄積を繰り返すかについての蓄積回数情報とを格納する、蓄積制御メモリとしてのタイミングメモリ３４３０を有する。タイミングメモリ３４３０は、例えばフラッシュＲＡＭによって構成される。
【0530】
上述のように、いずれの画素ブロック３１３１を組み合わせてブロックを形成するかについては、一連の撮影シーケンスに先立って実行されるシーンの輝度分布検出の検出結果に基づいて、システム制御部３５０１により決定される。決定されたブロックは、例えば第１ブロック、第２ブロック…のように区分され、それぞれのブロックがいずれの画素ブロック３１３１を包含するかにより規定される。駆動制御部３４２０は、このブロック区分情報をシステム制御部３５０１から受け取り、タイミングメモリ３４３０へ格納する。
【0531】
また、システム制御部３５０１は、輝度分布の検出結果に基づいて、各ブロックが何回の電荷蓄積を繰り返すかを決定する。駆動制御部３４２０は、この蓄積回数情報をシステム制御部３５０１から受け取り、対応するブロック区分情報と対でタイミングメモリ３４３０へ格納する。このようにタイミングメモリ３４３０へブロック区分情報と蓄積回数情報を格納することにより、駆動制御部３４２０は、一連の電荷蓄積制御を、タイミングメモリ３４３０を逐次参照して独立して実行し得る。すなわち、駆動制御部３４２０は、１枚の画像取得制御において撮影指示の信号をシステム制御部３５０１から一旦受け取ると、その後は各画素の制御についてその都度システム制御部３５０１から指示を受けること無く、蓄積制御を完了させることができる。
【0532】
駆動制御部３４２０は、撮影準備指示に同期して実行される測光結果（輝度分布の検出結果）に基づいて更新されるブロック区分情報と蓄積回数情報をシステム制御部３５０１から受け取って、タイミングメモリ３４３０の記憶内容を適宜更新する。例えば、駆動制御部３４２０は、撮影準備指示または撮影指示に同期して、タイミングメモリ３４３０を更新する。このように構成することにより、より高速な電荷蓄積制御を実現すると共に、駆動制御部３４２０が電荷蓄積制御を実行している間に、システム制御部３５０１は他の処理を並行して実行し得る。
【0533】
駆動制御部３４２０は、撮像チップ３１１３に対する電荷蓄積制御を実行するに留まらず、読み出し制御の実行においてもタイミングメモリ３４３０を参照する。例えば、駆動制御部３４２０は、各ブロックの蓄積回数情報を参照して、デマルチプレクサ３４１３から出力される画素データを画素メモリ３４１４の対応アドレスに格納する。
【0534】
駆動制御部３４２０は、システム制御部３５０１からの引渡要求に従って、画素ブロックごとの対象画素データを画素メモリ３４１４から読み出し、画像処理部３５１１へ引き渡す。このとき、駆動制御部３４２０は、それぞれの対象画素データに対応する付加データを合わせて画像処理部３５１１へ引き渡す。画素メモリ３４１４は、上述の通り、各画素ブロックに対して最大積算回数に対応する画素データを格納できるメモリ空間を有し、実行された蓄積回数に対応するそれぞれの画素データを画素値として格納する。例えば、あるブロックにおいて４回の電荷蓄積が繰り返された場合には、当該ブロックに含まれる画素は４回分の画素信号を出力するので、画素メモリ３４１４上の各画素のメモリ空間には、４つの画素値が格納される。駆動制御部３４２０は、特定画素の画素データを要求する引渡要求をシステム制御部３５０１から受けた場合には、画素メモリ３４１４上の当該特定画素のアドレスを指定して、格納されている全ての画素データを読み出し、画像処理部３５１１へ引き渡す。例えば４つの画素値が格納されている場合には、その４つの画素値全てを順次引き渡し、１つの画素値のみが格納されている場合には、その画素値を引き渡す。
【0535】
駆動制御部３４２０は、画素メモリ３４１４に格納された画素データを、演算回路３４１５に読み出して、演算回路３４１５に上述の積算処理を実行させることができる。積算処理された画素データは、画素メモリ３４１４の対象画素アドレスに格納される。対象画素アドレスは、積算処理前のアドレス空間に隣接して設けても良いし、積算処理前の画素データに対して上書きするように同一アドレスとしても良い。また、積算処理後の各画素の画素値を纏めて格納する専用空間を設けても良い。駆動制御部３４２０は、特定画素の画素データを要求する引渡要求をシステム制御部３５０１から受けた場合には、その引渡要求の態様によっては、積算処理後の画素データを画像処理部３５１１へ引き渡すことができる。もちろん、積算処理前後の画素データを共に引き渡すこともできる。
【0536】
画素メモリ３４１４には、引渡要求に従って画素データを伝送するデータ転送インタフェースが設けられている。データ転送インタフェースは、画像処理部３５１１と繋がるデータ転送ラインと接続されている。データ転送ライン３９２０は例えばシリアルバスによって構成される。この場合、システム制御部３５０１から駆動制御部３４２０への引渡要求は、アドレスバスを利用したアドレス指定によって実行される。
【0537】
データ転送インタフェースによる画素データの伝送は、アドレス指定方式に限らず、さまざまな方式を採用しうる。例えば、データ転送を行うときに、各回路の同期に用いられるクロック信号の立ち上がり・立ち下がりの両方を利用して処理を行うダブルデータレート方式を採用し得る。また、アドレス指定などの手順を一部省略することによってデータを一気に転送し、高速化を図るバースト転送方式を採用し得る。また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを１ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。
【0538】
このように構成することにより、画像処理部３５１１は、必要な画素データに限って受け取ることができるので、特に低解像度の画像を形成する場合などにおいて、高速に画像処理を完了させることができる。また、演算回路３４１５に積算処理を実行させる場合には、画像処理部３５１１が積算処理を実行しなくて良いので、機能分担と並行処理により、画像処理の高速化を図ることができる。
【0539】
図８６の信号処理チップ３１１１を用いて、注目領域３１７２と周辺領域３１７６とで異なる制御パラメータを用いて画素データ取得後に画像処理してもよい。例えば、図６７から図７０では、注目領域３１７２と周辺領域３１７６とで異なるフレームレートで取得した画像から動画を生成しているが、これに代えて、高いフレームレートで取得した画像を平均化する画像処理をしてＳ／Ｎ比を向上させてもよい。この場合に、例えば駆動制御部３４２０により周辺領域３１７６から１回の画素信号を得る間に、注目領域３１７２から複数回、例えば４回の画素信号を得て、画素データを画素メモリ３４１４に格納する。演算回路３４１５は、画素メモリ３４１４から注目領域３１７２の各画素に対して得られた複数の画素データを読み出して、画素ごとに平均する。これにより、注目領域３１７２の各画素でのランダムノイズが減って、注目領域３１７２のＳ／Ｎ比を向上させることができる。
【0540】
なお、データ転送ライン３９２０には、メモリ９３０が接続されてよい。メモリ９３０は、画素メモリ３４１４から画素データを指定されたアドレスに順次格納する揮発性メモリであってよい。たとえば、メモリ９３０は、ＤＲＡＭである。画素メモリ３４１４から、メモリ９３０への画素データの転送レートは、基準フレームレートと同じかそれよりも遅くともよい。メモリ９３０は、画素メモリ３４１４から、画像処理部３５１１へのデータ伝送のバッファとして機能する。つまり、メモリ９３０は、複数の画素メモリ３４１４からのデータ転送レートが、画像処理部３５１１におけるデータ処理レートよりも早い場合に、画素メモリ３４１４が出力する画素データの少なくとも一部をバッファする。例えばメモリ９３０は、画素メモリ３４１４から、基準フレームレートごとの画素データと、高速フレームレートで動作する画素ブロック３１３１の画素データとを格納する。
【0541】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0542】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51A】
【図51B】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【図60】
【図61】
【図62】
【図63】
【図64A】
【図64B】
【図64C】
【図65】
【図66】
【図67】
【図68】
【図69】
【図70】
【図71】
【図72】
【図73】
【図74】
【図75】
【図76】
【図77】
【図78】
【図79】
【図80】
【図81】
【図82A】
【図82B】
【図83】
【図84】
【図85】
【図86】