6239026 撮像素子および撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6239026

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】撮像素子および撮像装置

(51)【国際特許分類】

   H04N 5/225 20060101AFI20171120BHJP

【ＦＩ】

   H04N5/225 300

【請求項の数】24

【全頁数】23

(21)【出願番号】特願2016-86546(P2016-86546)

(22)【出願日】2016年4月22日

(65)【公開番号】特開2016-225972(P2016-225972A)

(43)【公開日】2016年12月28日

【審査請求日】2016年4月22日

(31)【優先権主張番号】特願2015-109428(P2015-109428)

(32)【優先日】2015年5月29日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】根岸 典央

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２００６−３１１３４７（ＪＰ，Ａ）

【文献】 特開２０１５−０４１７９２（ＪＰ，Ａ）

【文献】 特開２００１−１７７７４６（ＪＰ，Ａ）

【文献】 特開２００１−１１１９３４（ＪＰ，Ａ）

【文献】 特開２０１０−００４１７５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ５／３０−５／３３５

(57)【特許請求の範囲】

【請求項1】

入射光を受光して光電変換する撮像手段と、
前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、
前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶する記憶手段と、
静止画用デジタル画像データから動画用デジタル画像データを生成する生成手段と、
前記静止画用デジタル画像データおよび前記動画用デジタル画像データを外部に出力する出力手段と、を有し、
前記複数のＡＤ変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成されているとともに、
前記撮像手段を用いて動画および静止画を撮影する場合に、前記静止画用デジタル画像データを前記記憶手段に記憶し、前記出力手段により前記動画用デジタル画像データを前記静止画用デジタル画像データよりも先に外部に出力することが可能なように構成したことを特徴とする撮像素子。

【請求項2】

前記生成手段は、前記静止画用デジタル画像データから前記動画用デジタル画像データをリサイズして生成するためのものであることを特徴とする請求項１に記載の撮像素子。

【請求項3】

前記出力手段により前記動画用デジタル画像データを外部に出力した後で前記静止画用デジタル画像データを外部に出力可能に構成したことを特徴とする請求項１または２に記載の撮像素子。

【請求項4】

前記出力手段は、前記画像データをシリアル信号に変換して外部に出力することを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。

【請求項5】

互いに積層されている複数の半導体基板を備え、
前記記憶手段および前記生成手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。

【請求項6】

前記記憶手段および前記生成手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項５に記載の撮像素子。

【請求項7】

入射光を受光して光電変換する撮像手段と、
前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、
前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶する記憶手段と、
前記デジタル画像データに対する演算処理を行う演算手段と、
前記デジタル画像データを外部に出力する出力手段と、を有し、
前記複数のＡＤ変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成されているとともに、
前記出力手段により第１のサイズの画像データおよび前記第１のサイズと異なる第２のサイズの画像データを外部に出力する場合に、前記第１のサイズの画像データを前記記憶手段に記憶してから外部に出力することが可能なように構成したことを特徴とする撮像素子。

【請求項8】

互いに積層されている複数の半導体基板を備え、
前記記憶手段および前記演算手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項７に記載の撮像素子。

【請求項9】

前記記憶手段および前記演算手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項８に記載の撮像素子。

【請求項10】

前記演算手段は、前記第１のサイズまたは前記第２のサイズの画像データの少なくとも一方を他方のサイズに変更することを特徴とする請求項７乃至９のいずれか１項に記載の撮像素子。

【請求項11】

前記第１のサイズまたは前記第２のサイズは、前記出力手段の転送容量以下となるように設定されることを特徴とする請求項７乃至１０のいずれか１項に記載の撮像素子。

【請求項12】

前記第１および第２のサイズに対して、前記出力手段の転送容量以下となるように前記画像データのフレームレートが設定されることを特徴とする請求項７乃至１０のいずれか１項に記載の撮像素子。

【請求項13】

入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶する記憶手段と、静止画用デジタル画像データから動画用デジタル画像データを生成する生成手段と、前記静止画用デジタル画像データおよび前記動画用デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、
前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、
画像を表示する表示部と、
前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
を有し、
前記複数のＡＤ変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成され、
前記制御部は、前記撮像手段を用いて動画および静止画を撮影する場合に、前記静止画用デジタル画像データを前記記憶手段に記憶し、前記出力手段により前記動画用デジタル画像データを前記静止画用デジタル画像データよりも先に前記撮像素子から出力することを特徴とする撮像装置。

【請求項14】

前記生成手段は、前記静止画用デジタル画像データから前記動画用デジタル画像データをリサイズして生成するためのものであることを特徴とする請求項１３に記載の撮像装置。

【請求項15】

前記出力手段により前記動画用デジタル画像データを前記撮像素子の外部に出力した後で前記静止画用デジタル画像データを前記撮像素子の外部に出力可能に構成したことを特徴とする請求項１３または１４に記載の撮像装置。

【請求項16】

前記出力手段は、前記画像データをシリアル信号に変換して外部に出力することを特徴とする請求項１３乃至１５のいずれか１項に記載の撮像装置。

【請求項17】

前記撮像素子は、互いに積層されている複数の半導体基板を備え、
前記記憶手段および前記生成手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項１３乃至１６のいずれか１項に記載の撮像装置。

【請求項18】

前記記憶手段および前記生成手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項１７に記載の撮像装置。

【請求項19】

入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶する記憶手段と、前記デジタル画像データに対する演算処理を行う演算手段と、前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、
前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、
画像を表示する表示部と、
前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
を有し、
前記複数のＡＤ変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成され、
前記制御部は、前記出力手段により第１のサイズの画像データおよび前記第１のサイズと異なる第２のサイズの画像データを前記撮像素子から出力する場合に、前記第１のサイズの画像データを前記記憶手段に記憶してから出力することを特徴とする撮像装置。

【請求項20】

前記撮像素子は、互いに積層されている複数の半導体基板を備え、
前記記憶手段および前記演算手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項１９に記載の撮像装置。

【請求項21】

前記記憶手段および前記演算手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項２０に記載の撮像装置。

【請求項22】

前記演算手段は、前記第１のサイズまたは前記第２のサイズの画像データの少なくとも一方を他方のサイズに変更することを特徴とする請求項１９乃至２１のいずれか１項に記載の撮像装置。

【請求項23】

前記第１のサイズまたは前記第２のサイズは、前記出力手段の転送容量以下となるように設定されることを特徴とする請求項１９乃至２２のいずれか１項に記載の撮像装置。

【請求項24】

前記第１および第２のサイズに対して、前記出力手段の転送容量以下となるように前記画像データのフレームレートが設定されることを特徴とする請求項１９乃至２３のいずれか１項に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像素子および撮像装置に関するものである。

【背景技術】

【0002】

近年、デジタルカメラなどの撮像装置に用いられるＣＭＯＳなどの撮像素子は、画素を微細化することにより多画素化し、解像度の高い画像を撮影することが可能となっている。コンシューマ向けの撮像装置においても１０００万画素以上の画素数を備えるものが一般的になってきている（特許文献１参照）。

【0003】

図１４は、一般的な撮像装置の構成ブロック図である。図１４において、撮像素子１５００は、画素部１５０１、ＡＤ変換部１５０２、Ｐ／Ｓ変換部１５０３を備える。画素部１５０１は、被写体像を電気信号に変換してＡＤ変換部１５０２に出力する。

【0004】

ＡＤ変換部１５０２は、画素部１５０１から読み出される画像信号をデジタル信号に変換する。Ｐ／Ｓ変換部１５０３は、ＡＤ変換部１５０２により変換されたデジタル信号に対し、パラレル・シリアル変換を行う。画像信号処理回路１６００は、撮像素子１５００からの画像信号に対し各種信号処理を施す。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１３−２６６７５号

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記した撮像装置では、撮像素子１５００から画像信号処理回路１５０１に画像信号を転送する転送路の転送容量が一定であることから、撮像素子の画素数が増加することで相対的に被写体の全画像信号の転送時間が長くなるという課題がある。

【0007】

すなわち、撮像素子１５００から画像信号処理回路１５０１への信号読み出し速度が画像信号の読み出し速度のボトルネックとなる。さらに、高速転送を実現しようとすると、転送回路や処理回路などの消費電力や発熱の増大、データ転送精度などが問題となる。

【0008】

本発明は、画素数の大きな撮像素子を用いて動画撮影中に静止画撮影を行う場合に、シームレスな動画と高画質な静止画を両立させることのできる撮像素子およびそれを備えた撮像装置を提供することを目的としてなされたものである。

【課題を解決するための手段】

【0009】

上述した課題を解決するために、本発明の撮像素子は、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶する記憶手段と、静止画用デジタル画像データから動画用デジタル画像データを生成する生成手段と、前記静止画用デジタル画像データおよび前記動画用デジタル画像データを外部に出力する出力手段と、を有し、前記複数のＡＤ変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成されているとともに、前記撮像手段を用いて動画および静止画を撮影する場合に、前記静止画用デジタル画像データを前記記憶手段に記憶し、前記出力手段により前記動画用デジタル画像データを前記静止画用デジタル画像データよりも先に外部に出力することが可能なように構成したことを特徴とするものである。

【0010】

また、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶する記憶手段と、前記デジタル画像データに対する演算処理を行う演算手段と、前記デジタル画像データを外部に出力する出力手段と、を有し、前記複数のＡＤ変換手段から前記記憶手段までの間で前記画像データはパラレルに伝送されるように構成されているとともに、前記出力手段により第１のサイズの画像データおよび前記第１のサイズと異なる第２のサイズの画像データを外部に出力する場合に、前記第１のサイズの画像データを前記記憶手段に記憶してから外部に出力することが可能なように構成したことを特徴とするものである。

【0011】

さらに、本発明の撮像装置は、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶する記憶手段と、静止画用デジタル画像データから動画用デジタル画像データを生成する生成手段と、前記静止画用デジタル画像データおよび前記動画用デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、画像を表示する表示部と、前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、を有し、前記複数のＡＤ変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成され、前記制御部は、前記撮像手段を用いて動画および静止画を撮影する場合に、前記静止画用デジタル画像データを前記記憶手段に記憶し、前記出力手段により前記動画用デジタル画像データを前記静止画用デジタル画像データよりも先に前記撮像素子から出力することを特徴とするものである。

【0012】

また、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶する記憶手段と、前記デジタル画像データに対する演算処理を行う演算手段と、前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、画像を表示する表示部と、前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、を有し、前記複数のＡＤ変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成され、前記制御部は、前記出力手段により第１のサイズの画像データおよび前記第１のサイズと異なる第２のサイズの画像データを前記撮像素子から出力する場合に、前記第１のサイズの画像データを前記記憶手段に記憶してから出力することを特徴とするものである。

【発明の効果】

【0013】

本発明によれば、画素数の大きな撮像素子を用いて動画撮影中に静止画撮影を行った場合であっても、シームレスな動画と高画質な静止画を得ることが可能な撮像システムを提供することができる。

【図面の簡単な説明】

【0014】

【図1】実施例１における撮像素子の概略構造を示す図である。

【図2】実施例１におけるデータバス構成の一例を説明する図である。

【図3】実施例１における画素、カラムＡＤＣブロックの構成を示す図である。

【図4】実施例１における撮像素子の積層構成を示す図である。

【図5】実施例１における撮像素子の断面図である。

【図6】実施例１における撮像システムのシステム概要図である。

【図7】実施例１おける撮影シーケンスのフローチャートである。

【図8】実施例における画像のリサイズ処理を示す図である。

【図9】実施例１における画像データサイズ変更処理の概要を説明する図である。

【図10】実施例１における画像データサイズ変更処理の概要を説明する図である。

【図11】実施例２、３における撮影シーケンスのフローチャートである。

【図12】実施例２における画像データサイズ変更処理の概要を説明する図である。

【図13】実施例３における画像データサイズ変更処理の概要を説明する図である。

【図14】一般的な撮像装置の構成を示す図である。

【発明を実施するための形態】

【0015】

（実施例１）
以下に、本発明の好ましい実施の形態を、添付の図面を用いて詳細に説明する。実施例１では、動画撮影中に静止画を撮影することが可能な撮影モードを有する撮像システムについて説明する。なお、本実施例では、撮像素子は常に全画素読み出しモードにて撮影動作を行い、動画、静止画ともにこの全画素読み出しモードにて駆動して出力された画像信号から作成する方法を例に示す。

【0016】

図１は、本発明の実施例１における撮像素子の概略をブロック図として示したものである。

【0017】

撮像素子５０６は、第１のチップ（第１の半導体基板）１０および第２のチップ（第２の半導体基板）１１を有しており、第２のチップ１１と第１のチップ１０がお互いに積層されている。第１のチップ１０は、マトリックス状に配列された複数の画素１０１からなる画素部を有し、第２のチップ１１に対して光入射側（光学像の受光側）に配置されている。

【0018】

第１のチップ１０の画素部において、マトリックス状に配列された複数の画素１０１は行毎に転送信号線１０３、リセット信号線１０４、および行選択信号線１０５にそれぞれ接続され、列毎に複数の列出力線１０２に接続されている。なお、各列に配置された複数の列出力線１０２の各々には、同列の異なる読み出し行に配置された画素が接続される。

【0019】

第２のチップ１１は、列毎に設けられた複数のＡＤ変換器（以下、ＡＤＣと表記）１１１、行走査回路１１２、列走査回路１１３、タイミング制御回路１１４を有する。さらに、第２のチップ１１は、切り替えスイッチ１１６、フレームメモリ１１７、素子内演算部１１８、パラレル・シリアル変換部（以下、Ｐ／Ｓ変換部と表記する）１１９等を有する。タイミング制御回路１１４は、全体制御演算部５０９により駆動制御される。

【0020】

このように、第１のチップ１０に画素部を形成し、第２のチップ１１に画素部の駆動回路やメモリ、演算部等を形成することで、撮像素子５０６の撮像層と回路層とで製造プロセスを分けることができる。そして、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。

【0021】

切り替えスイッチ１１６は、チャンネル毎に設けられた水平信号線１１５−ａ、水平信号線１１５−ｂから出力される各チャンネルのデジタル画像データを素子内演算部１１８に選択的に入力する。素子内演算部１１８は、各チャンネルの画像データを並び替えて１フレームの画像データを生成し、順次フレームメモリ１１７に出力する。フレームメモリ１１７は、出力された少なくとも１フレーム分のデジタル画像データを一時的に記憶する。

【0022】

素子内演算部１１８は、フレームメモリ１１７に記憶された１フレームのデジタル画像データに対し、切り出し、間引き等の演算処理を行う。詳細は後述する。素子内演算部１１８で処理された１フレームのデジタル画像データは、Ｐ／Ｓ変換部１１９においてパラレル・シリアル変換を行い、撮像素子５０６の外部にある撮像信号処理回路５０７へと出力される。

【0023】

ここで、水平信号線１１５−ａ、水平信号線１１５−ｂ、切り替えスイッチ１１６、素子内演算部１１８、フレームメモリ１１７の間の信号転送経路は、同一チップ内に形成されるデジタル信号ラインである。そのため、水平読み出し期間内に全ての水平データの転送が完結するように、必要なデータバス幅を確保して高速化を図ることができる。

【0024】

図２は、第２のチップ１１におけるＡＤＣ１１１からＰ／Ｓ変換部１１９までのデータバス構成の一例を説明する図である。図２に示すように、第２のチップ１１において、ＡＤＣ１１１と素子内演算部１１８の間には、ＡＤＣ１１１のデジタル変換出力を一時的に保持する列メモリ１１１ａが設けられている。なお、図２では切り替えスイッチ１１６は省略されている。

【0025】

列走査回路１１３からの制御信号に応じて各列に設けられた列メモリ１１１ａに保持されている画像データは、水平転送回路１１５内に１６チャンネル設けられた水平信号線１１５−ａ，１１５−ｂに振り分けられて並列に出力される。水平信号線１１５−ａ，１１５−ｂに出力された画像データは、素子内演算部１１８内のメモリＩ／Ｆ回路を経由してフレームメモリ１１７に入力される。

【0026】

例えば、８Ｋ４Ｋ（水平８０００画素、垂直４０００画素）の３２Ｍピクセルの画像データがＡＤＣ１１１から出力される場合について説明する。３２Ｍピクセルの画像データをフレームレート６０ｆｐｓで読み出した場合に必要なデータバス帯域は、１９２０Ｍピクセル／ｓｅｃである。

【0027】

ここで、水平転送回路１１５に設けられた１６チャンネルの水平信号線１１５−ａ，１１５−ｂの各々の転送容量が１２ｂｉｔである場合、転送可能な周波数１２０ＭＨｚまで転送容量を落とす必要がある。列走査回路１１３からの制御信号により順次、列メモリの選択が行われ、水平転送回路１１５の１チャンネルあたり１２０Ｍピクセル／ｓｅｃの画像データが１６チャンネルで並列に読み出される。

【0028】

水平転送回路１１５から素子内演算部１１８を経由してフレームメモリ１１７へ入力された画像データは、フレームメモリから所定エリアのデータが部分的に読み出されて、再び、素子内演算部１１８に入力される。例えば、フレームメモリ１１７から出力された画像データは、素子内演算部１１８内の縮小変倍回路により１／１６倍の画像サイズに縮小される。その場合に必要となるデータバス帯域は、１２０Ｍピクセル／ｓｅｃまで低減される。これは、フルＨＤサイズ（２Ｍピクセル）の画像データを６０ｆｐｓで読み出す場合に相当するデータ転送容量である。

【0029】

データバス帯域が低減されて素子内演算部１１８から出力された画像データは、Ｐ／Ｓ変換部１１９で、最大シリアル転送容量１Ｇｂｐｓを超えないように、７２０Ｍｂｐｓの２チャンネル構成でシリアル信号に変換されて出力される。

【0030】

このように、第２のチップ１１内にＡＤＣ１１１、素子内演算部１１８、フレームメモリ１１７を設けることにより、第２のチップ１１内で画像データの処理に必要な広いデータバス帯域を確保し、ＡＤＣ１１１からフレームメモリ１１７までの転送速度の高速化を実現しつつ、撮像素子外に転送可能なシリアル転送容量で高画質な動画を出力することができる。

【0031】

図３は、本実施例における撮像素子５０６の画素部の各画素１０１及びＡＤＣ１１１の詳細な構成を示した図である。図１及び図３を用いて、実施例１における撮像素子の動作の概略を説明する。

【0032】

フォトダイオード（以下、ＰＤと表記する）２０１は、受光した入射光をその光量に応じた電荷量の光電荷（ここでは、電子）に光電変換する。ＰＤ２０１のカソードは、転送トランジスタ２０２を介して増幅トランジスタ２０４のゲートと電気的に接続されている。この増幅トランジスタ２０４のゲートと電気的に接続されたノードは、フローティングディフュージョン（以下、ＦＤと表記する）部２０６を構成する。

【0033】

転送トランジスタ２０２は、ＰＤ２０１のカソードとＦＤ部２０６との間に設けられ、ゲートに図１の転送信号線１０３を介して転送パルスφＴＲＧが供給されることによってオン状態となる。そして、ＰＤ２０１で光電変換された光電荷をＦＤ部２０６に転送する。

【0034】

リセットトランジスタ２０３は、ドレインが画素電源Ｖｄｄに、ソースがＦＤ部２０６にそれぞれ接続され、ゲートに図１のリセット信号線１０４を介してリセットパルスφＲＳＴが供給されることによってオン状態となる。そして、ＰＤ２０１からＦＤ部２０６への信号電荷の転送に先立って、ＦＤ部２０６の電荷を画素電源Ｖｄｄに捨てることによって当該ＦＤ部２０６をリセットする。

【0035】

増幅トランジスタ２０４は、ゲートがＦＤ部２０６に、ドレインが画素電源Ｖｄｄにそれぞれ接続され、リセットトランジスタ２０３によってリセットした後のＦＤ部２０６の電位をリセットレベルとして出力する。さらに、増幅トランジスタ２０４は、転送トランジスタ２０２によってＰＤ２０１の信号電荷を転送した後のＦＤ部２０６の電位を信号レベルとして出力する。

【0036】

選択トランジスタ２０５は、例えば、ドレインが増幅トランジスタ２０４のソースに、ソースが列出力線１０２にそれぞれ接続される。そして、ゲートに図１の行選択信号線１０５を介して選択パルスφＳＥＬが与えられることによってオン状態となり、画素１０１を選択状態として増幅トランジスタ２０４により増幅される信号を列出力線１０２に出力する。

【0037】

なお、この選択トランジスタ２０５については、画素電源Ｖｄｄと増幅トランジスタ２０４のドレインとの間に接続した回路構成を採ることも可能である。トランジスタ２０２〜２０５として、例えばＮチャネルのＭＯＳトランジスタを用いることができる。また、画素１０１としては、上記した４つのトランジスタを備えた構成に限られるものではなく、増幅トランジスタ２０４と選択トランジスタ２０５を１つのトランジスタで兼用した３つのトランジスタを備えた構成等であっても良い。

【0038】

また、画素１０１から列出力線１０２を介して出力されるアナログ画像信号は、ＡＤＣ１１１に伝送される。ＡＤＣ１１１は、比較器２１１、アップダウンカウンタ２１２、メモリ２１３、ＤＡコンバータ（以下、ＤＡＣと表記する）２１４を有する。

【0039】

比較器２１１は、一対の入力端子を備え、その一方に列出力線１０２が接続され、他方にＤＡＣ２１４が接続される。比較器２１１の出力端子は、アップダウンカウンタ２１２に接続される。図１のタイミング制御回路１１４は、全体制御演算部５０９からの指令に基づきＤＡＣ２１４へ基準信号を出力する。

【0040】

ＤＡＣ２１４は、図１のタイミング制御回路１１４から入力される基準信号に基づいて、時間の経過とともにレベルが変化するランプ信号を出力する。そして、比較器２１１は、ＤＡＣ２１４から入力されるランプ信号のレベルと、列出力線１０２から入力される画像信号のレベルとを比較する。

【0041】

例えば、比較器２１１は、画像信号のレベルがランプ信号のレベルより低い場合にはハイレベルの比較信号を出力し、画像信号のレベルがランプ信号のレベルより高い場合にはローレベルの比較信号を出力する。アップダウンカウンタ２１２は、比較信号がハイレベルとなる期間、またはローレベルとなる期間をカウントする。このカウント処理により、各画素１０１の出力信号はデジタル値へ変換される。

【0042】

なお、比較器２１１とアップダウンカウンタ２１２との間にアンド回路を設け、このアンド回路にパルス信号を入力し、このパルス信号の個数をアップダウンカウンタ２１２によりカウントさせてもよい。

【0043】

また、ＡＤＣ１１１は、画素１０１のリセット解除時のリセット信号に基づいてリセットレベルに対応したカウント値をカウントし、さらに所定の撮像時間経過後の光信号に基づいてカウント値をカウントしてもよい。そして、これらの光信号のカウント値とリセット信号のカウント値の差分値をメモリ２１３に記憶させてもよい。

【0044】

メモリ２１３は、アップダウンカウンタ２１２と接続され、アップダウンカウンタ２１２によりカウントされたカウント値を記憶する。メモリ２１３に記憶されたカウント値がデジタル画像データとして、図１の列走査回路１１３の駆動制御により図１の水平信号線１１５−ａ、水平信号線１１５−ｂに伝送される。

【0045】

図４は、図１を用いて説明した実施例１に係る撮像素子５０６の外形構成を示す。図４（ａ）は、撮像素子５０６を光の入射する側から見た斜視図、図４（ｂ）は、撮像素子５０６の断面図を示している。

【0046】

撮像素子５０６は、第１のチップ（撮像層）１０と第２のチップ（回路層）１１により構成される。第１のチップ１０と第２のチップ１１は、それぞれのチップに設けられている複数のマイクロパッド３０２を、複数のマイクロバンプ３０１を介して電気的に接続して一体化させる。すなわち、第１のチップ１０と第２のチップ１１は、複数のマクロバンプ１０１および複数のマイクロパッド３０２を介して電気的に直接接続されている。なお、マクロパッドおよびマイクロパッド以外を用いた方法により、第１のチップ１０と第２のチップ１１が電気的に直接接続されるように構成してもかまわない。

【0047】

図５に、図１〜図４で示した実施例１に係る撮像素子５０６の断面構造の詳細を示す。図５において、撮像層４０１が第１のチップ１０に対応し、回路層４０２が第２のチップ１１に対応する。

【0048】

撮像層４０１においては、シリコン（以下、Ｓｉと表記する）基板４０３上に配線層４０４が形成されている。Ｓｉ基板４０３には、ＰＤ２０１となるｎ型拡散領域４０７が形成され、ＰＤ２０１の表面部（配線層４０４との境界部）にはｐ＋拡散領域４０８が形成されている。

【0049】

Ｓｉ基板４０３には、その表面部にＦＤ部２０６となるｎ＋拡散領域４０９、スイッチ用トランジスタのｎ＋拡散領域４１０が複数形成されている。配線層４０４には、ＳｉＯ２等からなる絶縁層内に、各トランジスタのゲート配線４１１、信号伝搬用配線４１２が形成され、さらにその表面部にはＣｕ等からなるマイクロパッド３０２ａが形成されている。

【0050】

上記したｎ＋拡散領域４０９、ｎ＋拡散領域４１０とトランジスタのゲート配線４１１により転送トランジスタ２０２、リセットトランジスタ２０３、増幅トランジスタ２０４、選択トランジスタ２０５がそれぞれ構成される。配線層４０４には、ｎ＋拡散領域４１０をマイクロパッド３０２ａと接続するためのビア４１４が形成されている。

【0051】

回路層４０２においては、Ｓｉ基板４０５上に配線層４０６が形成されている。Ｓｉ基板４０５には、表面部にトランジスタ拡散領域４１６が複数形成されている。配線層４０６には、ＳｉＯ２等からなる絶縁層内に、各トランジスタのゲート配線４１７、信号伝搬用配線４１８が複数形成され、さらにその表面部にはＣｕ等からなるマイクロパッド３０２ｂが形成されている。

【0052】

回路層４０２に形成されたトランジスタ拡散領域４１６やトランジスタのゲート配線４１７、信号伝搬用配線４１８などにより各種回路が構成される。回路断面の詳細については、説明を省略する。配線層４０６には、拡散領域４１６等をマイクロパッド３０２ｂと接続するためのビア４２０が形成されている。

【0053】

撮像層４０１の配線層４０４に形成されたマイクロパッド３０２ａと、回路層４０２の配線層４０６に形成されたマイクロパッド３０２ｂは、マイクロバンプ３０１により互いに電気的に接続されている。なお、図５では撮像層４０１、回路層４０２を接続端子としてマイクロバンプ３０１を用いて接続する構成例を示したが、マイクロバンプを用いずに直接接続することも可能である。

【0054】

図６は、図１〜５で説明した撮像素子を用いた撮像装置のシステム概要図である。レンズ部５０１を通った被写体像は絞り５０４により適切な光量に調整され、図１〜図５に示した構成を有する撮像素子５０６上の撮像面に結像される。

【0055】

撮像素子５０６上の撮像面に結像された被写体像は、撮像素子５０６のＰＤ２０１により光電変換され、さらに画素内アンプや画素１０１とＡＤＣ１１１の間に設けた列アンプによるゲイン調整が行われる。そして、ＡＤＣ１１１を用いてアナログ信号からデジタル信号にＡ／Ｄ変換処理が行われ、Ｒ、Ｇ、Ｂの各色のデジタル画像信号として撮像信号処理回路５０７に取り込まれる。

【0056】

撮像信号処理回路５０７では、ノイズを軽減するローパスフィルタ処理やシェーディング補正などの各種補正処理、ホワイトバランス調整処理などの画像信号処理、さらに画像データの圧縮処理等を行う。なお、これらの処理を行う撮像信号処理回路５０７を積層構造の撮像素子５０６に内蔵するように構成してもかまわない。

【0057】

レンズ部５０１は、レンズ駆動部５０２によって駆動されることにより、ズーム、フォーカス等が制御される。メカニカルシャッタ（メカシャッタ）５０３、絞り５０４は、シャッタ・絞り駆動部５０５によって駆動制御される。

【0058】

全体制御演算部５０９は、撮像装置全体の制御と各種演算処理を行う。第１のメモリ部５０８は、画像データを一時的に記憶する。半導体メモリ等の着脱可能な記録媒体５１２は、画像データを記録する。記録媒体制御インターフェース部５１０は、記録媒体５１２に画像データを記録し、または記録媒体５１２に記録された画像データを読み出す。なお、全体制御演算部５０９を積層構造の撮像素子５０６に内蔵するように構成してもかまわない。

【0059】

表示部５１１は、画像データ等の表示を行う。外部インターフェース部５１３は、外部コンピュータ等と通信を行うためのインターフェース部である。第２のメモリ部５１４は、全体制御演算部５０９での演算結果やパラメータ等を一時的に記憶する。操作部５１５によりユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部５０９に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。

【0060】

次に、図１、図３、図７を用いて、本実施例における撮像システムの動作手順について説明する。

【0061】

図７は、実施例１の撮像システムにおける動画撮影中に静止画を撮影して記録することが可能な撮影モードの撮影シーケンスを示すフローチャートである。また、図９は、本実施例において、複数フレームの動画撮影中に１フレームの静止画撮影を行なう場合に、撮像素子５０６を全画素読み出しモードで駆動することで得られる画像データから動画および静止画を生成する方法について説明する図である。

【0062】

ステップＳ６０１では、全体制御演算部５０９において、操作部５１５からユーザーが入力した設定に基づき各種パラメータを初期化する。そして、初期化したパラメータを第２のメモリ部５１４に記録する。

【0063】

ステップＳ６０２では、撮影した被写体像の画像をリアルタイムで表示部５１１へ表示させるモニターモードで撮像システムを駆動する。具体的には、複数の画素を混合または一部の画素を間引いて画像信号を読み出す混合／間引きモードで撮像素子５０６を駆動して画像信号を読み出す。そして、読み出した画像信号に対して撮像信号処理回路５０７において各種信号処理を施してから表示部５１１に表示する。

【0064】

また、モニターモード駆動時には、適宜、撮像素子５０６から読み出した画像信号に基づいて自動露出調節（ＡＥ）制御のための測光動作や自動焦点調節（ＡＦ）制御のための測距動作を行う。そして、撮像信号処理回路５０７は、測光結果に基づいて被写体の明るさを測定し、撮影した画像が適切な明るさになるような絞り値Ａｖ、シャッタ速度Ｔｖを算出する。また、測距結果に基づいて被写体像の焦点距離を算出する。

【0065】

ここで、撮像素子５０６から読み出される画像信号から得られるコントラスト情報に基づくＡＦ制御を行っているが、撮像素子５０６に撮像用画素とは別に焦点検出用画素を設けてもよい。そして、焦点検出用画素から得られる位相差情報（デフォーカス量）を用いた撮像面位相差検出によるＡＦ制御を行ってもよい。さらに、コントラストＡＦ制御と撮像面位相差ＡＦ制御を撮影条件や被写体等に応じて適宜組み合わせて併用したり、各ＡＦ方式を切り替えるように制御してもかまわない。

【0066】

そして、全体制御演算部５０９は、算出した絞り値Ａｖ、シャッタ速度Ｔｖになるようにシャッタ・絞り駆動部５０５に指令を出す。また、全体制御演算部５０９は、算出したレンズ位置Ｌになるようにレンズ駆動部５０２に指令を出す。シャッタ・絞り駆動部５０５は、受け取った指令に基づいてメカシャッタ５０３、絞り５０４を駆動する。また、レンズ駆動部５０２は、受け取った指令に基づいてレンズ５０１を駆動する。なお、算出された絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌをそれぞれ第２のメモリ部５１４へ記録する。

【0067】

なお、ＡＥ制御を行なう場合に、撮像素子５０６の行毎や画素毎に蓄積時間（露光時間）を異ならせたり、画像信号を増幅するゲインを異ならせることで１フレーム内の行毎や画素毎に異なる露出の画像を取得するように制御してもかまわない。このように制御することで、ダイナミックレンジの広いＨＤＲ画像を生成することができる。

【0068】

ステップＳ６０３では、全体制御演算部５０９により操作部５１５にある動画撮影トリガースイッチＳＷ＿１のＯＮ／ＯＦＦを判定し、スイッチＳＷ＿１がＯＮであればステップＳ６０４へ、ＯＦＦであれば再びステップＳ６０２へ戻る。

【0069】

ステップＳ６０４では、撮影パラメータｉを０にリセットする。

【0070】

ステップＳ６０５では、第２のメモリ部５１４から絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌを読み出す。そして、撮像素子５０６から読み出された画像データと第２のメモリ部５１４から読み出した絞り値Ａｖ、シャッタ速度Ｔｖに基づいて適切な明るさになる絞り値Ａｖ、シャッタ速度Ｔｖを算出する。

【0071】

また、撮像素子５０６から読み出された画像データと第２のメモリ部５１４から読み出したレンズ位置Ｌから、適切な焦点距離になるレンズ位置Ｌを算出する。そして、算出した絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌを第２のメモリ部５１４へ記録する。

【0072】

撮影パラメータｉ＝０である場合には、第２のメモリ部５１４から読み出した絞り値Ａｖ、シャッタ速度Ｔｖを元に、ステップＳ６０６の駆動モードとステップＳ６０２での駆動モードの感度差を考慮して、絞り値Ａｖ、シャッタ速度Ｔｖを再算出する。レンズ位置Ｌは、第２のメモリ部５１４から読み出した値を使用する。

【0073】

撮影パラメータｉ≠０である場合には、第２のメモリ部５１４から読み出した絞り値Ａｖ、シャッタ速度Ｔｖ、レンズ位置Ｌをそのまま使用する。そして、絞り値Ａｖ_ｉ、シャッタ速度Ｔｖ_ｉ、レンズ位置Ｌ_ｉになるように、全体制御演算部５０９からレンズ駆動部５０２、シャッタ・絞り駆動部５０５に指令を出し、レンズ５０１、メカシャッタ５０３、絞り５０４を駆動させる。

【0074】

ステップＳ６０６では、ステップＳ６０２とは異なり、撮像素子５０６上の全ての画素から画像信号を読み出す全画素読み出しモードで撮像素子５０６を駆動して撮影動作を行う。撮影動作により得られた第１のデータサイズの１フレームの画像データは、素子内演算部１１８に送られる。

【0075】

ステップＳ６０７では、全体制御演算部５０９において操作部５１５にある静止画撮影トリガースイッチＳＷ＿２のＯＮ／ＯＦＦを判定し、スイッチＳＷ＿２がＯＮであればステップＳ６０８へ、ＯＦＦであればステップＳ６０９へ進む。

【0076】

ステップＳ６０８では、素子内演算部１１８においてステップＳ６０６で撮影した第１のデータサイズの１フレームの画像データを複製して、静止画用の画像データとしてフレームメモリ１１７へ保存する。

【0077】

ステップＳ６０９では、素子内演算部１１８においてオリジナルの第１のデータサイズの１フレームの画像データをリサイズし、第１のデータサイズよりもデータサイズの小さい第２のデータサイズの１フレームの動画用画像データに変換する処理を行う。

【0078】

リサイズ処理では、画像データを水平方向（行方向）または垂直方向（列方向）に数行または数列おきに混合または間引く混合／間引きを行ったり、画像データの一部の領域のみを使用する領域切り出したりすることによる画像サイズの縮小処理を行う。もしくは、画像データの各画素のビットデータ量をより小さいサイズへ変更する処理等を行う。（例えば１６ｂｉｔから１０ｂｉｔへ変更する。）

【0079】

図８に混合／間引き処理と領域切り出し処理の一例を示す。図８（ａ１）〜（ａ３）は、混合／間引き処理の一例として水平３画素混合、垂直１／３画素間引きを行う処理を示し、図８（ｂ１）〜（ｂ２）は、領域切り出し処理の一例を示している。

【0080】

混合／間引き処理は、図８（ａ１）の第１のデータサイズの画像データに対し、図８（ａ２）に示す画素データのみを用いて下記式（１）〜（４）の計算を行う。そして、混合／間引き処理後のデータＲ‘、Ｇｒ‘、Ｇｂ‘、Ｂ‘をそれぞれ算出することにより、第２のデータサイズの画像データを生成する。
Ｒ‘＝（Ｒ＋Ｒ＋Ｒ）／３ ・・・（式１）
Ｇｒ‘＝（Ｇｒ＋Ｇｒ＋Ｇｒ）／３ ・・・（式２）
Ｇｂ‘＝（Ｇｂ＋Ｇｂ＋Ｇｂ）／３ ・・・（式３）
Ｂ‘＝（Ｂ＋Ｂ＋Ｂ）／３ ・・・（式４）

【0081】

領域切り出し処理は、図８（ｂ１）の第１のデータサイズの画像データに対し、図８（ｂ２）の点線で囲まれた垂直、水平の上下左右を数〜数百画素省いた領域の画素データのみを用いることにより、第２のデータサイズの画像データを生成する。

【0082】

ステップＳ６１０では、ステップＳ６０９において第２のデータサイズにリサイズした画像データに対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換処理を行い、撮像信号処理回路５０７へ転送する。ここで、Ｐ／Ｓ変換部１１９から出力される画像データは、撮像素子５０６の出力転送容量以下となるように、データサイズやフレームレート等が設定されている。

【0083】

ここで、第１のデータサイズの画像データの画素数が２４００万画素、各画素のデータ量が１２ｂｉｔであるものとする。また、撮像素子５０６のＰ／Ｓ変換部１１９から撮像信号処理回路５０７までの間を８ポートで伝送するものとし、撮像素子５０６から撮像信号処理回路５０７までの間の出力転送容量は１Ｇｂｐｓとする。

【0084】

さらに、第２のデータサイズの画像データは、リサイズとして図８に示す水平３画素加算、垂直１／３画素間引きを実施することで得られ、その画素数が２００万画素、各画素のデータ量が１２ｂｉｔであるものとする。ここで、動画のフレームレートが１２０ｆｐｓで、撮像素子５０６のＰ／Ｓ変換部１１９から撮像信号処理回路５０７までの間を８ポートで伝送する場合、３６０Мｂｐｓ必要となる。撮像素子５０６から撮像信号処理回路５０７までの間の出力転送容量は１Ｇｂｐｓであることから、十分余裕を持って動画用画像データを転送することが可能である。

【0085】

ステップＳ６１１では、全体制御演算部５０９からの指令によりステップＳ６０９においてリサイズされ、ステップＳ６１０において転送された画像データに対する各種処理が撮像信号処理回路５０７により施される。撮像信号処理回路５０７で施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理等がある。そして、各種処理を施された画像データが記録媒体５１２に動画として記録される。

【0086】

ステップＳ６１２では、撮影パラメータｉに１を加える。ステップＳ６１３では、全体制御演算部５０９によりスイッチＳＷ＿１のＯＮ／ＯＦＦを判定する。スイッチＳＷ＿１がＯＮであれば静止画撮影指示がなされたものと判断してステップＳ６１４へ進み、ＯＦＦであればステップＳ６０５に戻る。

【0087】

ステップＳ６１４では、ステップＳ６０８においてフレームメモリ１１７に保存された第１のデータサイズの静止画用画像データに対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換処理を行い、撮像信号処理回路５０７に転送する。

【0088】

なお、Ｐ／Ｓ変換部１１９から出力される静止画用画像データは、撮像素子５０６の出力転送容量以下となるように、データサイズやフレームレート等が設定されている。

【0089】

ここで、第１のデータサイズの画像データの画素数は２４００万画素、各画素のデータ量は１２ｂｉｔである。フレームレートを２４ｆｐｓに設定すると、Ｐ／Ｓ変換部１１９から撮像信号処理回路５０７までの間を８ポートで伝送する場合、８６４Мｂｐｓ必要となる。撮像素子５０６から撮像信号処理回路５０７までの間の出力転送容量は１Ｇｂｐｓであることから、余裕を持って静止画用画像データを転送することが可能である。

【0090】

ステップＳ６１５では、全体制御演算部５０９からの指令によりステップＳ６１４において転送された第１のデータサイズの画像データに対する各種処理が撮像信号処理回路５０７により施される。

【0091】

撮像信号処理回路５０７により施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理等がある。そして、各種処理を施された画像データが記録媒体５１２に静止画として記録される。また、ステップＳ６１１において記憶媒体５１２に記録された動画に対し、後処理を行い所定の動画フォーマット形式で保存する。

【0092】

以上説明したように、動画用画像データは撮像素子内で第１のデータサイズから第２のデータサイズへとデータサイズを縮小して撮像素子の後段に転送する。そして、データサイズの大きな第１のデータサイズの静止画用画像データは撮像素子内のフレームメモリに一時退避しておき、動画用画像データを転送した後に撮像素子の後段に転送する。

【0093】

このようにすることで、画素数が大きな撮像素子を搭載した撮像システムにおいて、動画撮影中に静止画撮影を行う場合でも、高フレームレートでシームレスな動画を得ることが可能となる。また、その際に撮影する静止画も高速なシャッタ速度で撮影することが可能なため、ＣＭＯＳイメージセンサ特有のローリング歪の目立たない高画質な画像を得ることが出来る。

【0094】

なお、本実施例では、図７で示したように撮像素子５０６を常に全画素読み出しモードで駆動することで得られる画像信号から動画および静止画を作成する方法について示した。しかしながら、図１０で示すように通常は撮像素子５０６を水平３画素混合、垂直１／３画素間引きモードで駆動することで動画を撮影し、静止画撮影指示があった場合のみ撮像素子５０６を全画素読み出しモードで駆動するように制御しても良い。その場合、全画素読み出しモードで得られた第１のデータサイズの画像データをリサイズして第２のデータサイズの動画用画像データを生成するとともに、第１のデータサイズの画像データを静止画用画像データとして使用すれば良い。

【0095】

（実施例２）
以下、図１１と図１２を参照して、本発明の実施例２について説明する。実施例２では、通常の動画撮影中に高解像度な動画を撮影することが可能な撮影モードを有する撮像システムを例に示す。

【0096】

なお、撮像素子の構成については、実施例１の図１〜図５で示したものと同様であるため説明を省略する。また、撮像システムの概要についても、実施例１の図６で示したものと同様であるため説明を省略する。さらに、画像データのリサイズ処理についても、実施例１の図８で示したものと同様であるため、説明を省略する。

【0097】

図１１は、実施例２の撮像システムにおける撮影シーケンスを示すフローチャートである。また、図１２は、本実施例において、通常の動画撮影中に高解像度動画撮影指示があった場合に、撮像素子５０６を全画素読み出しモードで駆動することで、高解像度の動画を生成する方法について説明する図である。

【0098】

ステップＳ１００１〜ステップＳ１００５は、それぞれ実施例１の図７で示したステップＳ６０１〜ステップＳ６０５と同様であるため説明を省略する。

【0099】

ステップＳ１００６では、操作部５１５にあるスイッチＳＷ＿２を高解像度動画撮影トリガースイッチとして使用する。つまり、全体制御演算部５０９においてスイッチＳＷ＿２のＯＮ／ＯＦＦを判定し、スイッチＳＷ＿２がＯＮであればステップＳ１００７へ進み、ＯＦＦであればステップＳ１００８へ進む。

【0100】

ステップＳ１００７では、第１の動画撮影モードで通常の動画を撮影するために、撮像素子５０６を水平３画素混合、垂直１／３画素間引きモードで駆動して撮影動作を行う。撮影動作により得られた第２のデータサイズの１フレームの画像データは、素子内演算部１１８を経由してＰ／Ｓ変換部１０９に送られる。

【0101】

ステップＳ１００８では、第２の動画撮影モードで高解像度動画を撮影するために、撮像素子５０６を全画素読み出しモードで駆動して撮影動作を行う。撮影動作により得られた第１のデータサイズの１フレームの画像データは、素子内演算部１１８に送られる。

【0102】

ステップＳ１００９では、素子内演算部１１８においてステップＳ１００８で撮影した第１のデータサイズの１フレームの画像データを複製して、高解像度動画用画像データとしてフレームメモリ１１７へ保存する。また、素子内演算部１１８においてオリジナルの第１のデータサイズの１フレームの画像データをリサイズし、第１のデータサイズよりもデータサイズの小さい第２のデータサイズの１フレームの通常動画用画像データに変換する処理を行う。

【0103】

ステップＳ１０１０では、ステップＳ１００７において撮影された第２のデータサイズの画像データもしくはステップＳ１００９において第２のデータサイズにリサイズした第２のデータサイズの画像データに対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換処理を行う。そして、撮像信号処理回路５０７へ転送する。

【0104】

ステップＳ１０１０でＰ／Ｓ変換部１１９から撮像信号処理回路５０７へ転送される第２のデータサイズの画像データの画素数が２００万画素、各画素のデータ量１２ｂｉｔであるものとする。また、動画のフレームレートが１２０ｆｐｓで、撮像素子５０６のＰ／Ｓ変換部１１９から撮像信号処理回路５０７までの間を８ポートで伝送するものとし、撮像素子５０６から撮像信号処理回路５０７までの間の出力転送容量は１Ｇｂｐｓとする。その場合、実施例１のステップＳ６１０で転送するデータと同様のデータサイズとなるため、十分余裕を持って通常動画用画像データを転送することが可能である。

【0105】

ステップＳ１０１１〜ステップＳ１０１３については、それぞれ実施例１の図７で示したステップＳ６１１〜ステップＳ６１３と同様であるため、説明を省略する。

【0106】

ステップＳ１０１４では、ステップＳ１００９においてフレームメモリ１１７に保存された第１のデータサイズの高解像度動画用画像データに対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換処理を行い、撮像信号処理回路５０７に転送する。

【0107】

なお、Ｐ／Ｓ変換部１１９から出力される高解像度動画用画像データは、撮像素子５０６の出力転送容量以下となるように、データサイズやフレームレートが設定されている。

【0108】

ここで、第１のデータサイズの画像データの画素数は２４００万画素、各画素のデータ量は１２ｂｉｔである。フレームレートを２４ｆｐｓに設定すると、Ｐ／Ｓ変換部１１９から撮像信号処理回路５０７までの間を８ポートで伝送する場合、８６４Мｂｐｓ必要となる。撮像素子５０６から撮像信号処理回路５０７までの間の出力転送容量は１Ｇｂｐｓであることから、余裕を持って高解像度動画用画像データを転送することが可能である。

【0109】

ステップＳ１０１５では、全体制御演算部５０９からの指令によりステップＳ１０１４において転送された第１のデータサイズの画像データに対する各種処理が撮像信号処理回路５０７により施される。

【0110】

撮像信号処理回路５０７により施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理、後処理等がある。そして、各種処理を施された画像データが記録媒体５１２に記録される。ここで記録される動画は、１２０ｆｐｓの高フレームレートで撮像素子の全有効撮像領域（全画面）に対応した高解像度動画である。

【0111】

また、ステップＳ１０１１において記憶媒体５１２に記録された動画に対しても後処理が施され、全画面の画像サイズよりも画像サイズが小さい所定の動画フォーマット形式に対応した１２０ｆｐｓの動画として保存される。

【0112】

以上説明したように、本実施例では、図１２で示したように撮像素子５０６を水平３画素混合、垂直１／３画素間引きモードで駆動し、高解像度動画撮影指示があった場合のみ撮像素子５０６を全画素読み出しモードで駆動する。そして、撮像素子５０６を水平３画素混合、垂直１／３画素間引きモードで駆動することで得られた第２のデータサイズの画像データと、撮像素子５０６を全画素読み出しモードで駆動して得られた第１のデータサイズの画像データをリサイズした第２のデータサイズの画像データから通常動画を生成することができる。さらに、全画素読み出しモードで得られた第１のデータサイズの画像データから高解像度動画を生成することができる。

【0113】

以上のように構成することで、画素数が大きな撮像素子を搭載した撮像システムにおいて、通常の動画撮影中に高解像度動画の撮影を行う場合でも、高フレームレートでシームレスな通常動画および高解像度動画を得ることが可能となる。

【0114】

（実施例３）
以下、図１１と図１３を参照して、本発明の実施例３について説明する。実施例２では、通常の動画撮影中に高解像度な動画を撮影する方法について説明したが、本実施例３では、通常の動画撮影中に通常よりも高い（ここでは８倍）のフレームレートの高速動画を撮影する方法について説明する。

【0115】

なお、撮像素子の構成、撮像システムの概要、画像データのリサイズ処理については、実施例１、２と同様であるため、説明を省略する。本実施例の撮影シーケンスのフローチャートについても、実施例２で示した図１１を用いて説明する。図１３は、本実施例において、通常の動画撮影中に高フレームレートの高速動画を生成する方法について説明する図である。

【0116】

ステップＳ１００１〜ステップＳ１００５、ステップＳ１００７については、実施例２で説明した動画撮影中に高解像度動画を撮影する場合と同様であるため、説明を省略する。

【0117】

ステップＳ１００６では、操作部５１５にあるスイッチＳＷ＿２を高速動画撮影トリガースイッチとして使用する。つまり、全体制御演算部５０９においてスイッチＳＷ＿２のＯＮ／ＯＦＦを判定し、スイッチＳＷ＿２がＯＮであればステップＳ１００７へ進み、ＯＦＦであればステップＳ１００８へ進む。

【0118】

ステップＳ１００８では、第２の動画モードで高フレームレートの動画を撮影するために、撮像素子５０６を水平３画素混合、垂直１／３画素間引きモード、通常の８倍のフレームレートで駆動して撮影動作を行う。通常のフレームレートが１２０ｆｐｓであると９６０ｆｐｓで駆動される。撮影動作により得られた第２のデータサイズの１フレームレートの画像データは、素子内演算部１１８に送られる。

【0119】

ステップＳ１００９では、素子内演算部１１８においてステップＳ１００８で撮影した第２のデータサイズの画像データをそれぞれ複製して、高フレームレート動画用画像データとしてフレームメモリ１１７へ保存する。また、素子内演算部１１８においてオリジナルの第２のデータサイズの画像データに対して８フレームにつき７フレームを間引き、フレームレートを９６０ｆｐｓから１２０ｆｐｓへ１／８に落とした第２のデータサイズの画像データに変換する処理を行う。

【0120】

ステップＳ１０１０では、ステップＳ１００７において撮影された第２のデータサイズの画像データ（フレームレートは１２０ｆｐｓ）に対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換処理を行う。もしくはステップＳ１００９において９６０ｆｐｓから１２０ｆｐｓへとフレームレートを変更された第２のデータサイズの画像データに対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換処理を行う。そして、撮像信号処理回路５０７へ転送する。

【0121】

ステップＳ１０１１〜ステップＳ１０１３については実施例２と同様であるため、説明を省略する。

【0122】

ステップＳ１０１４では、ステップＳ１００９においてフレームメモリ１１７に保存された第２のデータサイズの高フレームレート動画用画像データに対し、Ｐ／Ｓ変換部１１９においてパラレル／シリアル変換処理を行い、撮像信号処理回路５０７に転送する。

【0123】

ここで、第２のデータサイズの画像データの画素数は２００万画素、各画素のデータ量は１２ｂｉｔであるが、９６０ｆｐｓで撮影されたものであることから、Ｐ／Ｓ変換部１１９から撮像信号処理回路５０７までの間を８ポートで伝送する場合、２．８８Ｇｂｐｓ必要である。そのため、撮像素子５０６から撮像信号処理回路５０７までの間の出力転送容量が１Ｇｂｐｓでは、転送容量が足りないことになる。

【0124】

しかし、フレームレートを９６０ｆｐｓからその１／８である１２０ｆｐｓに落として撮像素子５０６から撮像信号処理回路５０７に転送するようにすれば、３６０Ｍｂｐｓの転送容量があれば良い。ここで、撮像素子５０６から撮像信号処理回路５０７までの間の出力転送容量は１Ｇｂｐｓ以下であることから、十分余裕を持って高フレームレート動画用画像データを転送することが可能である。

【0125】

ステップＳ１０１５では、全体制御演算部５０９からの指令によりステップＳ１０１４において転送された第２のデータサイズの画像データに対する各種処理が撮像信号処理回路５０７により施される。

【0126】

撮像信号処理回路５０７により施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理、後処理等がある。そして、各種処理が施された画像データが記録媒体５１２に記録される。ここで記録される動画は、所定の動画フォーマットに対応した再生フレームレート９６０ｆｐｓの高フレームレート動画である。

【0127】

また、ステップＳ１０１１において記憶媒体５１２に記録された動画に対しても後処理が施され、所定の動画フォーマット形式に対応した再生フレームレート１２０ｆｐｓの動画として保存される。

【0128】

以上説明したように、本実施例では、図１３で示したように撮像素子５０６を水平３画素混合、垂直１／３画素間引きモード、１２０ｆｐｓで駆動する。そして、高速動画撮影指示があった場合のみ撮像素子５０６を水平３画素混合、垂直１／３画素間引きモード、フレームレート９６０ｆｐｓで駆動する。

【0129】

そして、水平３画素混合、垂直１／３画素間引きモード、１２０ｆｐｓで撮影することで得られた第２のデータサイズの画像データと、９６０ｆｐｓで撮影することで得られた画像データから複数フレーム間引いて１２０ｆｐｓにした第２のデータサイズの画像データから通常の１２０ｆｐｓの動画を作成する。また、９６０ｆｐｓで撮影動作を行うことで得られた第２のデータサイズの画像データから９６０ｆｐｓの高速動画を生成することができる。

【0130】

以上のように構成することで、画素数が大きな撮像素子を搭載した撮像システムにおいて、通常の動画撮影中に高速動画の撮影を行う場合でも、高フレームレートでシームレスな通常動画および高速動画を得ることが可能となる。

【0131】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【0132】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0133】

１０１ 画素
１０ 第１のチップ
１１ 第２のチップ
１１７ フレームメモリ
１１８ 素子内演算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】