特許第6239026号(P6239026)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

<>
  • 特許6239026-撮像素子および撮像装置 図000002
  • 特許6239026-撮像素子および撮像装置 図000003
  • 特許6239026-撮像素子および撮像装置 図000004
  • 特許6239026-撮像素子および撮像装置 図000005
  • 特許6239026-撮像素子および撮像装置 図000006
  • 特許6239026-撮像素子および撮像装置 図000007
  • 特許6239026-撮像素子および撮像装置 図000008
  • 特許6239026-撮像素子および撮像装置 図000009
  • 特許6239026-撮像素子および撮像装置 図000010
  • 特許6239026-撮像素子および撮像装置 図000011
  • 特許6239026-撮像素子および撮像装置 図000012
  • 特許6239026-撮像素子および撮像装置 図000013
  • 特許6239026-撮像素子および撮像装置 図000014
  • 特許6239026-撮像素子および撮像装置 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6239026
(24)【登録日】2017年11月10日
(45)【発行日】2017年11月29日
(54)【発明の名称】撮像素子および撮像装置
(51)【国際特許分類】
   H04N 5/225 20060101AFI20171120BHJP
【FI】
   H04N5/225 300
【請求項の数】24
【全頁数】23
(21)【出願番号】特願2016-86546(P2016-86546)
(22)【出願日】2016年4月22日
(65)【公開番号】特開2016-225972(P2016-225972A)
(43)【公開日】2016年12月28日
【審査請求日】2016年4月22日
(31)【優先権主張番号】特願2015-109428(P2015-109428)
(32)【優先日】2015年5月29日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100124442
【弁理士】
【氏名又は名称】黒岩 創吾
(72)【発明者】
【氏名】根岸 典央
【審査官】 高野 美帆子
(56)【参考文献】
【文献】 特開2006−311347(JP,A)
【文献】 特開2015−041792(JP,A)
【文献】 特開2001−177746(JP,A)
【文献】 特開2001−111934(JP,A)
【文献】 特開2010−004175(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222−5/257
H04N 5/30−5/335
(57)【特許請求の範囲】
【請求項1】
入射光を受光して光電変換する撮像手段と、
前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、
前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶する記憶手段と、
静止画用デジタル画像データから動画用デジタル画像データを生成する生成手段と、
前記静止画用デジタル画像データおよび前記動画用デジタル画像データを外部に出力する出力手段と、を有し、
前記複数のAD変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成されているとともに、
前記撮像手段を用いて動画および静止画を撮影する場合に前記静止画用デジタル画像データを前記記憶手段に記憶し、前記出力手段により前記動画用デジタル画像データを前記静止画用デジタル画像データよりも先に外部に出力することが可能なように構成したことを特徴とする撮像素子。
【請求項2】
前記生成手段は、前記静止画用デジタル画像データから前記動画用デジタル画像データをリサイズして生成するためのものであることを特徴とする請求項1に記載の撮像素子。
【請求項3】
前記出力手段により前記動画用デジタル画像データを外部に出力した後で前記静止画用デジタル画像データを外部に出力可能に構成したことを特徴とする請求項1または2に記載の撮像素子。
【請求項4】
前記出力手段は、前記画像データをシリアル信号に変換して外部に出力することを特徴とする請求項1乃至3のいずれか1項に記載の撮像素子。
【請求項5】
互いに積層されている複数の半導体基板を備え、
前記記憶手段および前記生成手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項1乃至4のいずれか1項に記載の撮像素子。
【請求項6】
記記憶手段および前記生成手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項に記載の撮像素子。
【請求項7】
入射光を受光して光電変換する撮像手段と、
前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、
前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶する記憶手段と、
前記デジタル画像データに対する演算処理を行う演算手段と、
前記デジタル画像データを外部に出力する出力手段と、を有し、
前記複数のAD変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成されているとともに、
前記出力手段により第1のサイズの画像データおよび前記第1のサイズと異なる第2のサイズの画像データを外部に出力する場合に、前記第1のサイズの画像データを前記記憶手段に記憶してから外部に出力することが可能なように構成したことを特徴とする撮像素子。
【請求項8】
互いに積層されている複数の半導体基板を備え、
前記記憶手段および前記演算手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項7に記載の撮像素子。
【請求項9】
記記憶手段および前記演算手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項に記載の撮像素子。
【請求項10】
前記演算手段は、前記第1のサイズまたは前記第2のサイズの画像データの少なくとも一方を他方のサイズに変更することを特徴とする請求項7乃至9のいずれか1項に記載の撮像素子。
【請求項11】
前記第1のサイズまたは前記第2のサイズは、前記出力手段の転送容量以下となるように設定されることを特徴とする請求項乃至10のいずれか1項に記載の撮像素子。
【請求項12】
前記第1および第2のサイズに対して、前記出力手段の転送容量以下となるように前記画像データのフレームレートが設定されることを特徴とする請求項乃至10のいずれか1項に記載の撮像素子。
【請求項13】
入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶する記憶手段と、静止画用デジタル画像データから動画用デジタル画像データを生成する生成手段と、前記静止画用デジタル画像データおよび前記動画用デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、
前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、
像を表示する表示部と、
前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
を有し、
前記複数のAD変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成され、
前記制御部は、前記撮像手段を用いて動画および静止画を撮影する場合に前記静止画用デジタル画像データを前記記憶手段に記憶し、前記出力手段により前記動画用デジタル画像データを前記静止画用デジタル画像データよりも先に前記撮像素子から出力することを特徴とする撮像装置。
【請求項14】
前記生成手段は、前記静止画用デジタル画像データから前記動画用デジタル画像データをリサイズして生成するためのものであることを特徴とする請求項13に記載の撮像装置。
【請求項15】
前記出力手段により前記動画用デジタル画像データを前記撮像素子の外部に出力した後で前記静止画用デジタル画像データを前記撮像素子の外部に出力可能に構成したことを特徴とする請求項13または14に記載の撮像装置。
【請求項16】
前記出力手段は、前記画像データをシリアル信号に変換して外部に出力することを特徴とする請求項13乃至15のいずれか1項に記載の撮像装置。
【請求項17】
前記撮像素子は、互いに積層されている複数の半導体基板を備え、
前記記憶手段および前記生成手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項13乃至16のいずれか1項に記載の撮像装置。
【請求項18】
記記憶手段および前記生成手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項17に記載の撮像装置。
【請求項19】
入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶する記憶手段と、前記デジタル画像データに対する演算処理を行う演算手段と、前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、
前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、
像を表示する表示部と、
前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
を有し、
前記複数のAD変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成され、
前記制御部は、前記出力手段により第1のサイズの画像データおよび前記第1のサイズと異なる第2のサイズの画像データを前記撮像素子から出力する場合に、前記第1のサイズの画像データを前記記憶手段に記憶してから出力することを特徴とする撮像装置。
【請求項20】
前記撮像素子は、互いに積層されている複数の半導体基板を備え、
前記記憶手段および前記演算手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項19に記載の撮像装置。
【請求項21】
記記憶手段および前記演算手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項20に記載の撮像装置。
【請求項22】
前記演算手段は、前記第1のサイズまたは前記第2のサイズの画像データの少なくとも一方を他方のサイズに変更することを特徴とする請求項19乃至21のいずれか1項に記載の撮像装置。
【請求項23】
前記第1のサイズまたは前記第2のサイズは、前記出力手段の転送容量以下となるように設定されることを特徴とする請求項19乃至22のいずれか1項に記載の撮像装置。
【請求項24】
前記第1および第2のサイズに対して、前記出力手段の転送容量以下となるように前記画像データのフレームレートが設定されることを特徴とする請求項19乃至23のいずれか1項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子および撮像装置に関するものである。
【背景技術】
【0002】
近年、デジタルカメラなどの撮像装置に用いられるCMOSなどの撮像素子は、画素を微細化することにより多画素化し、解像度の高い画像を撮影することが可能となっている。コンシューマ向けの撮像装置においても1000万画素以上の画素数を備えるものが一般的になってきている(特許文献1参照)。
【0003】
図14は、一般的な撮像装置の構成ブロック図である。図14において、撮像素子1500は、画素部1501、AD変換部1502、P/S変換部1503を備える。画素部1501は、被写体像を電気信号に変換してAD変換部1502に出力する。
【0004】
AD変換部1502は、画素部1501から読み出される画像信号をデジタル信号に変換する。P/S変換部1503は、AD変換部1502により変換されたデジタル信号に対し、パラレル・シリアル変換を行う。画像信号処理回路1600は、撮像素子1500からの画像信号に対し各種信号処理を施す。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2013−26675号
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記した撮像装置では、撮像素子1500から画像信号処理回路1501に画像信号を転送する転送路の転送容量が一定であることから、撮像素子の画素数が増加することで相対的に被写体の全画像信号の転送時間が長くなるという課題がある。
【0007】
すなわち、撮像素子1500から画像信号処理回路1501への信号読み出し速度が画像信号の読み出し速度のボトルネックとなる。さらに、高速転送を実現しようとすると、転送回路や処理回路などの消費電力や発熱の増大、データ転送精度などが問題となる。
【0008】
本発明は、画素数の大きな撮像素子を用いて動画撮影中に静止画撮影を行う場合に、シームレスな動画と高画質な静止画を両立させることのできる撮像素子およびそれを備えた撮像装置を提供することを目的としてなされたものである。
【課題を解決するための手段】
【0009】
上述した課題を解決するために、本発明の撮像素子は、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶する記憶手段と、静止画用デジタル画像データから動画用デジタル画像データを生成する生成手段と、前記静止画用デジタル画像データおよび前記動画用デジタル画像データを外部に出力する出力手段と、を有し、前記複数のAD変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成されているとともに、前記撮像手段を用いて動画および静止画を撮影する場合に前記静止画用デジタル画像データを前記記憶手段に記憶し、前記出力手段により前記動画用デジタル画像データを前記静止画用デジタル画像データよりも先に外部に出力することが可能なように構成したことを特徴とするものである。
【0010】
また、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶する記憶手段と、前記デジタル画像データに対する演算処理を行う演算手段と、前記デジタル画像データを外部に出力する出力手段と、を有し、前記複数のAD変換手段から前記記憶手段までの間で前記画像データはパラレルに伝送されるように構成されているとともに、前記出力手段により第1のサイズの画像データおよび前記第1のサイズと異なる第2のサイズの画像データを外部に出力する場合に、前記第1のサイズの画像データを前記記憶手段に記憶してから外部に出力することが可能なように構成したことを特徴とするものである。
【0011】
さらに、本発明の撮像装置は、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶する記憶手段と、静止画用デジタル画像データから動画用デジタル画像データを生成する生成手段と、前記静止画用デジタル画像データおよび前記動画用デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、像を表示する表示部と、前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、を有し、前記複数のAD変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成され、前記制御部は、前記撮像手段を用いて動画および静止画を撮影する場合に前記静止画用デジタル画像データを前記記憶手段に記憶し、前記出力手段により前記動画用デジタル画像データを前記静止画用デジタル画像データよりも先に前記撮像素子から出力することを特徴とするものである。
【0012】
また、入射光を受光して光電変換する撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のAD変換手段と、前記複数のAD変換手段により変換される少なくとも1フレームのデジタル画像データを記憶する記憶手段と、前記デジタル画像データに対する演算処理を行う演算手段と、前記デジタル画像データを外部に出力する出力手段と、を有する撮像素子と、前記撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、像を表示する表示部と、前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、を有し、前記複数のAD変換手段から前記記憶手段までの間で前記画像データがパラレルに伝送されるように構成され、前記制御部は、前記出力手段により第1のサイズの画像データおよび前記第1のサイズと異なる第2のサイズの画像データを前記撮像素子から出力する場合に、前記第1のサイズの画像データを前記記憶手段に記憶してから出力することを特徴とするものである。
【発明の効果】
【0013】
本発明によれば、画素数の大きな撮像素子を用いて動画撮影中に静止画撮影を行った場合であっても、シームレスな動画と高画質な静止画を得ることが可能な撮像システムを提供することができる。
【図面の簡単な説明】
【0014】
図1】実施例1における撮像素子の概略構造を示す図である。
図2】実施例1におけるデータバス構成の一例を説明する図である。
図3】実施例1における画素、カラムADCブロックの構成を示す図である。
図4】実施例1における撮像素子の積層構成を示す図である。
図5】実施例1における撮像素子の断面図である。
図6】実施例1における撮像システムのシステム概要図である。
図7】実施例1おける撮影シーケンスのフローチャートである。
図8】実施例における画像のリサイズ処理を示す図である。
図9】実施例1における画像データサイズ変更処理の概要を説明する図である。
図10】実施例1における画像データサイズ変更処理の概要を説明する図である。
図11】実施例2、3における撮影シーケンスのフローチャートである。
図12】実施例2における画像データサイズ変更処理の概要を説明する図である。
図13】実施例3における画像データサイズ変更処理の概要を説明する図である。
図14】一般的な撮像装置の構成を示す図である。
【発明を実施するための形態】
【0015】
(実施例1)
以下に、本発明の好ましい実施の形態を、添付の図面を用いて詳細に説明する。実施例1では、動画撮影中に静止画を撮影することが可能な撮影モードを有する撮像システムについて説明する。なお、本実施例では、撮像素子は常に全画素読み出しモードにて撮影動作を行い、動画、静止画ともにこの全画素読み出しモードにて駆動して出力された画像信号から作成する方法を例に示す。
【0016】
図1は、本発明の実施例1における撮像素子の概略をブロック図として示したものである。
【0017】
撮像素子506は、第1のチップ(第1の半導体基板)10および第2のチップ(第2の半導体基板)11を有しており、第2のチップ11と第1のチップ10がお互いに積層されている。第1のチップ10は、マトリックス状に配列された複数の画素101からなる画素部を有し、第2のチップ11に対して光入射側(光学像の受光側)に配置されている。
【0018】
第1のチップ10の画素部において、マトリックス状に配列された複数の画素101は行毎に転送信号線103、リセット信号線104、および行選択信号線105にそれぞれ接続され、列毎に複数の列出力線102に接続されている。なお、各列に配置された複数の列出力線102の各々には、同列の異なる読み出し行に配置された画素が接続される。
【0019】
第2のチップ11は、列毎に設けられた複数のAD変換器(以下、ADCと表記)111、行走査回路112、列走査回路113、タイミング制御回路114を有する。さらに、第2のチップ11は、切り替えスイッチ116、フレームメモリ117、素子内演算部118、パラレル・シリアル変換部(以下、P/S変換部と表記する)119等を有する。タイミング制御回路114は、全体制御演算部509により駆動制御される。
【0020】
このように、第1のチップ10に画素部を形成し、第2のチップ11に画素部の駆動回路やメモリ、演算部等を形成することで、撮像素子506の撮像層と回路層とで製造プロセスを分けることができる。そして、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。
【0021】
切り替えスイッチ116は、チャンネル毎に設けられた水平信号線115−a、水平信号線115−bから出力される各チャンネルのデジタル画像データを素子内演算部118に選択的に入力する。素子内演算部118は、各チャンネルの画像データを並び替えて1フレームの画像データを生成し、順次フレームメモリ117に出力する。フレームメモリ117は、出力された少なくとも1フレーム分のデジタル画像データを一時的に記憶する。
【0022】
素子内演算部118は、フレームメモリ117に記憶された1フレームのデジタル画像データに対し、切り出し、間引き等の演算処理を行う。詳細は後述する。素子内演算部118で処理された1フレームのデジタル画像データは、P/S変換部119においてパラレル・シリアル変換を行い、撮像素子506の外部にある撮像信号処理回路507へと出力される。
【0023】
ここで、水平信号線115−a、水平信号線115−b、切り替えスイッチ116、素子内演算部118、フレームメモリ117の間の信号転送経路は、同一チップ内に形成されるデジタル信号ラインである。そのため、水平読み出し期間内に全ての水平データの転送が完結するように、必要なデータバス幅を確保して高速化を図ることができる。
【0024】
図2は、第2のチップ11におけるADC111からP/S変換部119までのデータバス構成の一例を説明する図である。図2に示すように、第2のチップ11において、ADC111と素子内演算部118の間には、ADC111のデジタル変換出力を一時的に保持する列メモリ111aが設けられている。なお、図2では切り替えスイッチ116は省略されている。
【0025】
列走査回路113からの制御信号に応じて各列に設けられた列メモリ111aに保持されている画像データは、水平転送回路115内に16チャンネル設けられた水平信号線115−a,115−bに振り分けられて並列に出力される。水平信号線115−a,115−bに出力された画像データは、素子内演算部118内のメモリI/F回路を経由してフレームメモリ117に入力される。
【0026】
例えば、8K4K(水平8000画素、垂直4000画素)の32Mピクセルの画像データがADC111から出力される場合について説明する。32Mピクセルの画像データをフレームレート60fpsで読み出した場合に必要なデータバス帯域は、1920Mピクセル/secである。
【0027】
ここで、水平転送回路115に設けられた16チャンネルの水平信号線115−a,115−bの各々の転送容量が12bitである場合、転送可能な周波数120MHzまで転送容量を落とす必要がある。列走査回路113からの制御信号により順次、列メモリの選択が行われ、水平転送回路115の1チャンネルあたり120Mピクセル/secの画像データが16チャンネルで並列に読み出される。
【0028】
水平転送回路115から素子内演算部118を経由してフレームメモリ117へ入力された画像データは、フレームメモリから所定エリアのデータが部分的に読み出されて、再び、素子内演算部118に入力される。例えば、フレームメモリ117から出力された画像データは、素子内演算部118内の縮小変倍回路により1/16倍の画像サイズに縮小される。その場合に必要となるデータバス帯域は、120Mピクセル/secまで低減される。これは、フルHDサイズ(2Mピクセル)の画像データを60fpsで読み出す場合に相当するデータ転送容量である。
【0029】
データバス帯域が低減されて素子内演算部118から出力された画像データは、P/S変換部119で、最大シリアル転送容量1Gbpsを超えないように、720Mbpsの2チャンネル構成でシリアル信号に変換されて出力される。
【0030】
このように、第2のチップ11内にADC111、素子内演算部118、フレームメモリ117を設けることにより、第2のチップ11内で画像データの処理に必要な広いデータバス帯域を確保し、ADC111からフレームメモリ117までの転送速度の高速化を実現しつつ、撮像素子外に転送可能なシリアル転送容量で高画質な動画を出力することができる。
【0031】
図3は、本実施例における撮像素子506の画素部の各画素101及びADC111の詳細な構成を示した図である。図1及び図3を用いて、実施例1における撮像素子の動作の概略を説明する。
【0032】
フォトダイオード(以下、PDと表記する)201は、受光した入射光をその光量に応じた電荷量の光電荷(ここでは、電子)に光電変換する。PD201のカソードは、転送トランジスタ202を介して増幅トランジスタ204のゲートと電気的に接続されている。この増幅トランジスタ204のゲートと電気的に接続されたノードは、フローティングディフュージョン(以下、FDと表記する)部206を構成する。
【0033】
転送トランジスタ202は、PD201のカソードとFD部206との間に設けられ、ゲートに図1の転送信号線103を介して転送パルスφTRGが供給されることによってオン状態となる。そして、PD201で光電変換された光電荷をFD部206に転送する。
【0034】
リセットトランジスタ203は、ドレインが画素電源Vddに、ソースがFD部206にそれぞれ接続され、ゲートに図1のリセット信号線104を介してリセットパルスφRSTが供給されることによってオン状態となる。そして、PD201からFD部206への信号電荷の転送に先立って、FD部206の電荷を画素電源Vddに捨てることによって当該FD部206をリセットする。
【0035】
増幅トランジスタ204は、ゲートがFD部206に、ドレインが画素電源Vddにそれぞれ接続され、リセットトランジスタ203によってリセットした後のFD部206の電位をリセットレベルとして出力する。さらに、増幅トランジスタ204は、転送トランジスタ202によってPD201の信号電荷を転送した後のFD部206の電位を信号レベルとして出力する。
【0036】
選択トランジスタ205は、例えば、ドレインが増幅トランジスタ204のソースに、ソースが列出力線102にそれぞれ接続される。そして、ゲートに図1の行選択信号線105を介して選択パルスφSELが与えられることによってオン状態となり、画素101を選択状態として増幅トランジスタ204により増幅される信号を列出力線102に出力する。
【0037】
なお、この選択トランジスタ205については、画素電源Vddと増幅トランジスタ204のドレインとの間に接続した回路構成を採ることも可能である。トランジスタ202〜205として、例えばNチャネルのMOSトランジスタを用いることができる。また、画素101としては、上記した4つのトランジスタを備えた構成に限られるものではなく、増幅トランジスタ204と選択トランジスタ205を1つのトランジスタで兼用した3つのトランジスタを備えた構成等であっても良い。
【0038】
また、画素101から列出力線102を介して出力されるアナログ画像信号は、ADC111に伝送される。ADC111は、比較器211、アップダウンカウンタ212、メモリ213、DAコンバータ(以下、DACと表記する)214を有する。
【0039】
比較器211は、一対の入力端子を備え、その一方に列出力線102が接続され、他方にDAC214が接続される。比較器211の出力端子は、アップダウンカウンタ212に接続される。図1のタイミング制御回路114は、全体制御演算部509からの指令に基づきDAC214へ基準信号を出力する。
【0040】
DAC214は、図1のタイミング制御回路114から入力される基準信号に基づいて、時間の経過とともにレベルが変化するランプ信号を出力する。そして、比較器211は、DAC214から入力されるランプ信号のレベルと、列出力線102から入力される画像信号のレベルとを比較する。
【0041】
例えば、比較器211は、画像信号のレベルがランプ信号のレベルより低い場合にはハイレベルの比較信号を出力し、画像信号のレベルがランプ信号のレベルより高い場合にはローレベルの比較信号を出力する。アップダウンカウンタ212は、比較信号がハイレベルとなる期間、またはローレベルとなる期間をカウントする。このカウント処理により、各画素101の出力信号はデジタル値へ変換される。
【0042】
なお、比較器211とアップダウンカウンタ212との間にアンド回路を設け、このアンド回路にパルス信号を入力し、このパルス信号の個数をアップダウンカウンタ212によりカウントさせてもよい。
【0043】
また、ADC111は、画素101のリセット解除時のリセット信号に基づいてリセットレベルに対応したカウント値をカウントし、さらに所定の撮像時間経過後の光信号に基づいてカウント値をカウントしてもよい。そして、これらの光信号のカウント値とリセット信号のカウント値の差分値をメモリ213に記憶させてもよい。
【0044】
メモリ213は、アップダウンカウンタ212と接続され、アップダウンカウンタ212によりカウントされたカウント値を記憶する。メモリ213に記憶されたカウント値がデジタル画像データとして、図1の列走査回路113の駆動制御により図1の水平信号線115−a、水平信号線115−bに伝送される。
【0045】
図4は、図1を用いて説明した実施例1に係る撮像素子506の外形構成を示す。図4(a)は、撮像素子506を光の入射する側から見た斜視図、図4(b)は、撮像素子506の断面図を示している。
【0046】
撮像素子506は、第1のチップ(撮像層)10と第2のチップ(回路層)11により構成される。第1のチップ10と第2のチップ11は、それぞれのチップに設けられている複数のマイクロパッド302を、複数のマイクロバンプ301を介して電気的に接続して一体化させる。すなわち、第1のチップ10と第2のチップ11は、複数のマクロバンプ101および複数のマイクロパッド302を介して電気的に直接接続されている。なお、マクロパッドおよびマイクロパッド以外を用いた方法により、第1のチップ10と第2のチップ11が電気的に直接接続されるように構成してもかまわない。
【0047】
図5に、図1図4で示した実施例1に係る撮像素子506の断面構造の詳細を示す。図5において、撮像層401が第1のチップ10に対応し、回路層402が第2のチップ11に対応する。
【0048】
撮像層401においては、シリコン(以下、Siと表記する)基板403上に配線層404が形成されている。Si基板403には、PD201となるn型拡散領域407が形成され、PD201の表面部(配線層404との境界部)にはp+拡散領域408が形成されている。
【0049】
Si基板403には、その表面部にFD部206となるn+拡散領域409、スイッチ用トランジスタのn+拡散領域410が複数形成されている。配線層404には、SiO2等からなる絶縁層内に、各トランジスタのゲート配線411、信号伝搬用配線412が形成され、さらにその表面部にはCu等からなるマイクロパッド302aが形成されている。
【0050】
上記したn+拡散領域409、n+拡散領域410とトランジスタのゲート配線411により転送トランジスタ202、リセットトランジスタ203、増幅トランジスタ204、選択トランジスタ205がそれぞれ構成される。配線層404には、n+拡散領域410をマイクロパッド302aと接続するためのビア414が形成されている。
【0051】
回路層402においては、Si基板405上に配線層406が形成されている。Si基板405には、表面部にトランジスタ拡散領域416が複数形成されている。配線層406には、SiO2等からなる絶縁層内に、各トランジスタのゲート配線417、信号伝搬用配線418が複数形成され、さらにその表面部にはCu等からなるマイクロパッド302bが形成されている。
【0052】
回路層402に形成されたトランジスタ拡散領域416やトランジスタのゲート配線417、信号伝搬用配線418などにより各種回路が構成される。回路断面の詳細については、説明を省略する。配線層406には、拡散領域416等をマイクロパッド302bと接続するためのビア420が形成されている。
【0053】
撮像層401の配線層404に形成されたマイクロパッド302aと、回路層402の配線層406に形成されたマイクロパッド302bは、マイクロバンプ301により互いに電気的に接続されている。なお、図5では撮像層401、回路層402を接続端子としてマイクロバンプ301を用いて接続する構成例を示したが、マイクロバンプを用いずに直接接続することも可能である。
【0054】
図6は、図1〜5で説明した撮像素子を用いた撮像装置のシステム概要図である。レンズ部501を通った被写体像は絞り504により適切な光量に調整され、図1図5に示した構成を有する撮像素子506上の撮像面に結像される。
【0055】
撮像素子506上の撮像面に結像された被写体像は、撮像素子506のPD201により光電変換され、さらに画素内アンプや画素101とADC111の間に設けた列アンプによるゲイン調整が行われる。そして、ADC111を用いてアナログ信号からデジタル信号にA/D変換処理が行われ、R、G、Bの各色のデジタル画像信号として撮像信号処理回路507に取り込まれる。
【0056】
撮像信号処理回路507では、ノイズを軽減するローパスフィルタ処理やシェーディング補正などの各種補正処理、ホワイトバランス調整処理などの画像信号処理、さらに画像データの圧縮処理等を行う。なお、これらの処理を行う撮像信号処理回路507を積層構造の撮像素子506に内蔵するように構成してもかまわない。
【0057】
レンズ部501は、レンズ駆動部502によって駆動されることにより、ズーム、フォーカス等が制御される。メカニカルシャッタ(メカシャッタ)503、絞り504は、シャッタ・絞り駆動部505によって駆動制御される。
【0058】
全体制御演算部509は、撮像装置全体の制御と各種演算処理を行う。第1のメモリ部508は、画像データを一時的に記憶する。半導体メモリ等の着脱可能な記録媒体512は、画像データを記録する。記録媒体制御インターフェース部510は、記録媒体512に画像データを記録し、または記録媒体512に記録された画像データを読み出す。なお、全体制御演算部509を積層構造の撮像素子506に内蔵するように構成してもかまわない。
【0059】
表示部511は、画像データ等の表示を行う。外部インターフェース部513は、外部コンピュータ等と通信を行うためのインターフェース部である。第2のメモリ部514は、全体制御演算部509での演算結果やパラメータ等を一時的に記憶する。操作部515によりユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部509に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。
【0060】
次に、図1図3図7を用いて、本実施例における撮像システムの動作手順について説明する。
【0061】
図7は、実施例1の撮像システムにおける動画撮影中に静止画を撮影して記録することが可能な撮影モードの撮影シーケンスを示すフローチャートである。また、図9は、本実施例において、複数フレームの動画撮影中に1フレームの静止画撮影を行なう場合に、撮像素子506を全画素読み出しモードで駆動することで得られる画像データから動画および静止画を生成する方法について説明する図である。
【0062】
ステップS601では、全体制御演算部509において、操作部515からユーザーが入力した設定に基づき各種パラメータを初期化する。そして、初期化したパラメータを第2のメモリ部514に記録する。
【0063】
ステップS602では、撮影した被写体像の画像をリアルタイムで表示部511へ表示させるモニターモードで撮像システムを駆動する。具体的には、複数の画素を混合または一部の画素を間引いて画像信号を読み出す混合/間引きモードで撮像素子506を駆動して画像信号を読み出す。そして、読み出した画像信号に対して撮像信号処理回路507において各種信号処理を施してから表示部511に表示する。
【0064】
また、モニターモード駆動時には、適宜、撮像素子506から読み出した画像信号に基づいて自動露出調節(AE)制御のための測光動作や自動焦点調節(AF)制御のための測距動作を行う。そして、撮像信号処理回路507は、測光結果に基づいて被写体の明るさを測定し、撮影した画像が適切な明るさになるような絞り値Av、シャッタ速度Tvを算出する。また、測距結果に基づいて被写体像の焦点距離を算出する。
【0065】
ここで、撮像素子506から読み出される画像信号から得られるコントラスト情報に基づくAF制御を行っているが、撮像素子506に撮像用画素とは別に焦点検出用画素を設けてもよい。そして、焦点検出用画素から得られる位相差情報(デフォーカス量)を用いた撮像面位相差検出によるAF制御を行ってもよい。さらに、コントラストAF制御と撮像面位相差AF制御を撮影条件や被写体等に応じて適宜組み合わせて併用したり、各AF方式を切り替えるように制御してもかまわない。
【0066】
そして、全体制御演算部509は、算出した絞り値Av、シャッタ速度Tvになるようにシャッタ・絞り駆動部505に指令を出す。また、全体制御演算部509は、算出したレンズ位置Lになるようにレンズ駆動部502に指令を出す。シャッタ・絞り駆動部505は、受け取った指令に基づいてメカシャッタ503、絞り504を駆動する。また、レンズ駆動部502は、受け取った指令に基づいてレンズ501を駆動する。なお、算出された絞り値Av、シャッタ速度Tv、レンズ位置Lをそれぞれ第2のメモリ部514へ記録する。
【0067】
なお、AE制御を行なう場合に、撮像素子506の行毎や画素毎に蓄積時間(露光時間)を異ならせたり、画像信号を増幅するゲインを異ならせることで1フレーム内の行毎や画素毎に異なる露出の画像を取得するように制御してもかまわない。このように制御することで、ダイナミックレンジの広いHDR画像を生成することができる。
【0068】
ステップS603では、全体制御演算部509により操作部515にある動画撮影トリガースイッチSW_1のON/OFFを判定し、スイッチSW_1がONであればステップS604へ、OFFであれば再びステップS602へ戻る。
【0069】
ステップS604では、撮影パラメータiを0にリセットする。
【0070】
ステップS605では、第2のメモリ部514から絞り値Av、シャッタ速度Tv、レンズ位置Lを読み出す。そして、撮像素子506から読み出された画像データと第2のメモリ部514から読み出した絞り値Av、シャッタ速度Tvに基づいて適切な明るさになる絞り値Av、シャッタ速度Tvを算出する。
【0071】
また、撮像素子506から読み出された画像データと第2のメモリ部514から読み出したレンズ位置Lから、適切な焦点距離になるレンズ位置Lを算出する。そして、算出した絞り値Av、シャッタ速度Tv、レンズ位置Lを第2のメモリ部514へ記録する。
【0072】
撮影パラメータi=0である場合には、第2のメモリ部514から読み出した絞り値Av、シャッタ速度Tvを元に、ステップS606の駆動モードとステップS602での駆動モードの感度差を考慮して、絞り値Av、シャッタ速度Tvを再算出する。レンズ位置Lは、第2のメモリ部514から読み出した値を使用する。
【0073】
撮影パラメータi≠0である場合には、第2のメモリ部514から読み出した絞り値Av、シャッタ速度Tv、レンズ位置Lをそのまま使用する。そして、絞り値Av、シャッタ速度Tv、レンズ位置Lになるように、全体制御演算部509からレンズ駆動部502、シャッタ・絞り駆動部505に指令を出し、レンズ501、メカシャッタ503、絞り504を駆動させる。
【0074】
ステップS606では、ステップS602とは異なり、撮像素子506上の全ての画素から画像信号を読み出す全画素読み出しモードで撮像素子506を駆動して撮影動作を行う。撮影動作により得られた第1のデータサイズの1フレームの画像データは、素子内演算部118に送られる。
【0075】
ステップS607では、全体制御演算部509において操作部515にある静止画撮影トリガースイッチSW_2のON/OFFを判定し、スイッチSW_2がONであればステップS608へ、OFFであればステップS609へ進む。
【0076】
ステップS608では、素子内演算部118においてステップS606で撮影した第1のデータサイズの1フレームの画像データを複製して、静止画用の画像データとしてフレームメモリ117へ保存する。
【0077】
ステップS609では、素子内演算部118においてオリジナルの第1のデータサイズの1フレームの画像データをリサイズし、第1のデータサイズよりもデータサイズの小さい第2のデータサイズの1フレームの動画用画像データに変換する処理を行う。
【0078】
リサイズ処理では、画像データを水平方向(行方向)または垂直方向(列方向)に数行または数列おきに混合または間引く混合/間引きを行ったり、画像データの一部の領域のみを使用する領域切り出したりすることによる画像サイズの縮小処理を行う。もしくは、画像データの各画素のビットデータ量をより小さいサイズへ変更する処理等を行う。(例えば16bitから10bitへ変更する。)
【0079】
図8に混合/間引き処理と領域切り出し処理の一例を示す。図8(a1)〜(a3)は、混合/間引き処理の一例として水平3画素混合、垂直1/3画素間引きを行う処理を示し、図8(b1)〜(b2)は、領域切り出し処理の一例を示している。
【0080】
混合/間引き処理は、図8(a1)の第1のデータサイズの画像データに対し、図8(a2)に示す画素データのみを用いて下記式(1)〜(4)の計算を行う。そして、混合/間引き処理後のデータR‘、Gr‘、Gb‘、B‘をそれぞれ算出することにより、第2のデータサイズの画像データを生成する。
R‘=(R+R+R)/3 ・・・(式1)
Gr‘=(Gr+Gr+Gr)/3 ・・・(式2)
Gb‘=(Gb+Gb+Gb)/3 ・・・(式3)
B‘=(B+B+B)/3 ・・・(式4)
【0081】
領域切り出し処理は、図8(b1)の第1のデータサイズの画像データに対し、図8(b2)の点線で囲まれた垂直、水平の上下左右を数〜数百画素省いた領域の画素データのみを用いることにより、第2のデータサイズの画像データを生成する。
【0082】
ステップS610では、ステップS609において第2のデータサイズにリサイズした画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行い、撮像信号処理回路507へ転送する。ここで、P/S変換部119から出力される画像データは、撮像素子506の出力転送容量以下となるように、データサイズやフレームレート等が設定されている。
【0083】
ここで、第1のデータサイズの画像データの画素数が2400万画素、各画素のデータ量が12bitであるものとする。また、撮像素子506のP/S変換部119から撮像信号処理回路507までの間を8ポートで伝送するものとし、撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbpsとする。
【0084】
さらに、第2のデータサイズの画像データは、リサイズとして図8に示す水平3画素加算、垂直1/3画素間引きを実施することで得られ、その画素数が200万画素、各画素のデータ量が12bitであるものとする。ここで、動画のフレームレートが120fpsで、撮像素子506のP/S変換部119から撮像信号処理回路507までの間を8ポートで伝送する場合、360Мbps必要となる。撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbpsであることから、十分余裕を持って動画用画像データを転送することが可能である。
【0085】
ステップS611では、全体制御演算部509からの指令によりステップS609においてリサイズされ、ステップS610において転送された画像データに対する各種処理が撮像信号処理回路507により施される。撮像信号処理回路507で施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理等がある。そして、各種処理を施された画像データが記録媒体512に動画として記録される。
【0086】
ステップS612では、撮影パラメータiに1を加える。ステップS613では、全体制御演算部509によりスイッチSW_1のON/OFFを判定する。スイッチSW_1がONであれば静止画撮影指示がなされたものと判断してステップS614へ進み、OFFであればステップS605に戻る。
【0087】
ステップS614では、ステップS608においてフレームメモリ117に保存された第1のデータサイズの静止画用画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行い、撮像信号処理回路507に転送する。
【0088】
なお、P/S変換部119から出力される静止画用画像データは、撮像素子506の出力転送容量以下となるように、データサイズやフレームレート等が設定されている。
【0089】
ここで、第1のデータサイズの画像データの画素数は2400万画素、各画素のデータ量は12bitである。フレームレートを24fpsに設定すると、P/S変換部119から撮像信号処理回路507までの間を8ポートで伝送する場合、864Мbps必要となる。撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbpsであることから、余裕を持って静止画用画像データを転送することが可能である。
【0090】
ステップS615では、全体制御演算部509からの指令によりステップS614において転送された第1のデータサイズの画像データに対する各種処理が撮像信号処理回路507により施される。
【0091】
撮像信号処理回路507により施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理等がある。そして、各種処理を施された画像データが記録媒体512に静止画として記録される。また、ステップS611において記憶媒体512に記録された動画に対し、後処理を行い所定の動画フォーマット形式で保存する。
【0092】
以上説明したように、動画用画像データは撮像素子内で第1のデータサイズから第2のデータサイズへとデータサイズを縮小して撮像素子の後段に転送する。そして、データサイズの大きな第1のデータサイズの静止画用画像データは撮像素子内のフレームメモリに一時退避しておき、動画用画像データを転送した後に撮像素子の後段に転送する。
【0093】
このようにすることで、画素数が大きな撮像素子を搭載した撮像システムにおいて、動画撮影中に静止画撮影を行う場合でも、高フレームレートでシームレスな動画を得ることが可能となる。また、その際に撮影する静止画も高速なシャッタ速度で撮影することが可能なため、CMOSイメージセンサ特有のローリング歪の目立たない高画質な画像を得ることが出来る。
【0094】
なお、本実施例では、図7で示したように撮像素子506を常に全画素読み出しモードで駆動することで得られる画像信号から動画および静止画を作成する方法について示した。しかしながら、図10で示すように通常は撮像素子506を水平3画素混合、垂直1/3画素間引きモードで駆動することで動画を撮影し、静止画撮影指示があった場合のみ撮像素子506を全画素読み出しモードで駆動するように制御しても良い。その場合、全画素読み出しモードで得られた第1のデータサイズの画像データをリサイズして第2のデータサイズの動画用画像データを生成するとともに、第1のデータサイズの画像データを静止画用画像データとして使用すれば良い。
【0095】
(実施例2)
以下、図11図12を参照して、本発明の実施例2について説明する。実施例2では、通常の動画撮影中に高解像度な動画を撮影することが可能な撮影モードを有する撮像システムを例に示す。
【0096】
なお、撮像素子の構成については、実施例1の図1図5で示したものと同様であるため説明を省略する。また、撮像システムの概要についても、実施例1の図6で示したものと同様であるため説明を省略する。さらに、画像データのリサイズ処理についても、実施例1の図8で示したものと同様であるため、説明を省略する。
【0097】
図11は、実施例2の撮像システムにおける撮影シーケンスを示すフローチャートである。また、図12は、本実施例において、通常の動画撮影中に高解像度動画撮影指示があった場合に、撮像素子506を全画素読み出しモードで駆動することで、高解像度の動画を生成する方法について説明する図である。
【0098】
ステップS1001〜ステップS1005は、それぞれ実施例1の図7で示したステップS601〜ステップS605と同様であるため説明を省略する。
【0099】
ステップS1006では、操作部515にあるスイッチSW_2を高解像度動画撮影トリガースイッチとして使用する。つまり、全体制御演算部509においてスイッチSW_2のON/OFFを判定し、スイッチSW_2がONであればステップS1007へ進み、OFFであればステップS1008へ進む。
【0100】
ステップS1007では、第1の動画撮影モードで通常の動画を撮影するために、撮像素子506を水平3画素混合、垂直1/3画素間引きモードで駆動して撮影動作を行う。撮影動作により得られた第2のデータサイズの1フレームの画像データは、素子内演算部118を経由してP/S変換部109に送られる。
【0101】
ステップS1008では、第2の動画撮影モードで高解像度動画を撮影するために、撮像素子506を全画素読み出しモードで駆動して撮影動作を行う。撮影動作により得られた第1のデータサイズの1フレームの画像データは、素子内演算部118に送られる。
【0102】
ステップS1009では、素子内演算部118においてステップS1008で撮影した第1のデータサイズの1フレームの画像データを複製して、高解像度動画用画像データとしてフレームメモリ117へ保存する。また、素子内演算部118においてオリジナルの第1のデータサイズの1フレームの画像データをリサイズし、第1のデータサイズよりもデータサイズの小さい第2のデータサイズの1フレームの通常動画用画像データに変換する処理を行う。
【0103】
ステップS1010では、ステップS1007において撮影された第2のデータサイズの画像データもしくはステップS1009において第2のデータサイズにリサイズした第2のデータサイズの画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行う。そして、撮像信号処理回路507へ転送する。
【0104】
ステップS1010でP/S変換部119から撮像信号処理回路507へ転送される第2のデータサイズの画像データの画素数が200万画素、各画素のデータ量12bitであるものとする。また、動画のフレームレートが120fpsで、撮像素子506のP/S変換部119から撮像信号処理回路507までの間を8ポートで伝送するものとし、撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbpsとする。その場合、実施例1のステップS610で転送するデータと同様のデータサイズとなるため、十分余裕を持って通常動画用画像データを転送することが可能である。
【0105】
ステップS1011〜ステップS1013については、それぞれ実施例1の図7で示したステップS611〜ステップS613と同様であるため、説明を省略する。
【0106】
ステップS1014では、ステップS1009においてフレームメモリ117に保存された第1のデータサイズの高解像度動画用画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行い、撮像信号処理回路507に転送する。
【0107】
なお、P/S変換部119から出力される高解像度動画用画像データは、撮像素子506の出力転送容量以下となるように、データサイズやフレームレートが設定されている。
【0108】
ここで、第1のデータサイズの画像データの画素数は2400万画素、各画素のデータ量は12bitである。フレームレートを24fpsに設定すると、P/S変換部119から撮像信号処理回路507までの間を8ポートで伝送する場合、864Мbps必要となる。撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbpsであることから、余裕を持って高解像度動画用画像データを転送することが可能である。
【0109】
ステップS1015では、全体制御演算部509からの指令によりステップS1014において転送された第1のデータサイズの画像データに対する各種処理が撮像信号処理回路507により施される。
【0110】
撮像信号処理回路507により施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理、後処理等がある。そして、各種処理を施された画像データが記録媒体512に記録される。ここで記録される動画は、120fpsの高フレームレートで撮像素子の全有効撮像領域(全画面)に対応した高解像度動画である。
【0111】
また、ステップS1011において記憶媒体512に記録された動画に対しても後処理が施され、全画面の画像サイズよりも画像サイズが小さい所定の動画フォーマット形式に対応した120fpsの動画として保存される。
【0112】
以上説明したように、本実施例では、図12で示したように撮像素子506を水平3画素混合、垂直1/3画素間引きモードで駆動し、高解像度動画撮影指示があった場合のみ撮像素子506を全画素読み出しモードで駆動する。そして、撮像素子506を水平3画素混合、垂直1/3画素間引きモードで駆動することで得られた第2のデータサイズの画像データと、撮像素子506を全画素読み出しモードで駆動して得られた第1のデータサイズの画像データをリサイズした第2のデータサイズの画像データから通常動画を生成することができる。さらに、全画素読み出しモードで得られた第1のデータサイズの画像データから高解像度動画を生成することができる。
【0113】
以上のように構成することで、画素数が大きな撮像素子を搭載した撮像システムにおいて、通常の動画撮影中に高解像度動画の撮影を行う場合でも、高フレームレートでシームレスな通常動画および高解像度動画を得ることが可能となる。
【0114】
(実施例3)
以下、図11図13を参照して、本発明の実施例3について説明する。実施例2では、通常の動画撮影中に高解像度な動画を撮影する方法について説明したが、本実施例3では、通常の動画撮影中に通常よりも高い(ここでは8倍)のフレームレートの高速動画を撮影する方法について説明する。
【0115】
なお、撮像素子の構成、撮像システムの概要、画像データのリサイズ処理については、実施例1、2と同様であるため、説明を省略する。本実施例の撮影シーケンスのフローチャートについても、実施例2で示した図11を用いて説明する。図13は、本実施例において、通常の動画撮影中に高フレームレートの高速動画を生成する方法について説明する図である。
【0116】
ステップS1001〜ステップS1005、ステップS1007については、実施例2で説明した動画撮影中に高解像度動画を撮影する場合と同様であるため、説明を省略する。
【0117】
ステップS1006では、操作部515にあるスイッチSW_2を高速動画撮影トリガースイッチとして使用する。つまり、全体制御演算部509においてスイッチSW_2のON/OFFを判定し、スイッチSW_2がONであればステップS1007へ進み、OFFであればステップS1008へ進む。
【0118】
ステップS1008では、第2の動画モードで高フレームレートの動画を撮影するために、撮像素子506を水平3画素混合、垂直1/3画素間引きモード、通常の8倍のフレームレートで駆動して撮影動作を行う。通常のフレームレートが120fpsであると960fpsで駆動される。撮影動作により得られた第2のデータサイズの1フレームレートの画像データは、素子内演算部118に送られる。
【0119】
ステップS1009では、素子内演算部118においてステップS1008で撮影した第2のデータサイズの画像データをそれぞれ複製して、高フレームレート動画用画像データとしてフレームメモリ117へ保存する。また、素子内演算部118においてオリジナルの第2のデータサイズの画像データに対して8フレームにつき7フレームを間引き、フレームレートを960fpsから120fpsへ1/8に落とした第2のデータサイズの画像データに変換する処理を行う。
【0120】
ステップS1010では、ステップS1007において撮影された第2のデータサイズの画像データ(フレームレートは120fps)に対し、P/S変換部119においてパラレル/シリアル変換処理を行う。もしくはステップS1009において960fpsから120fpsへとフレームレートを変更された第2のデータサイズの画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行う。そして、撮像信号処理回路507へ転送する。
【0121】
ステップS1011〜ステップS1013については実施例2と同様であるため、説明を省略する。
【0122】
ステップS1014では、ステップS1009においてフレームメモリ117に保存された第2のデータサイズの高フレームレート動画用画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行い、撮像信号処理回路507に転送する。
【0123】
ここで、第2のデータサイズの画像データの画素数は200万画素、各画素のデータ量は12bitであるが、960fpsで撮影されたものであることから、P/S変換部119から撮像信号処理回路507までの間を8ポートで伝送する場合、2.88Gbps必要である。そのため、撮像素子506から撮像信号処理回路507までの間の出力転送容量が1Gbpsでは、転送容量が足りないことになる。
【0124】
しかし、フレームレートを960fpsからその1/8である120fpsに落として撮像素子506から撮像信号処理回路507に転送するようにすれば、360Mbpsの転送容量があれば良い。ここで、撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbps以下であることから、十分余裕を持って高フレームレート動画用画像データを転送することが可能である。
【0125】
ステップS1015では、全体制御演算部509からの指令によりステップS1014において転送された第2のデータサイズの画像データに対する各種処理が撮像信号処理回路507により施される。
【0126】
撮像信号処理回路507により施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理、後処理等がある。そして、各種処理が施された画像データが記録媒体512に記録される。ここで記録される動画は、所定の動画フォーマットに対応した再生フレームレート960fpsの高フレームレート動画である。
【0127】
また、ステップS1011において記憶媒体512に記録された動画に対しても後処理が施され、所定の動画フォーマット形式に対応した再生フレームレート120fpsの動画として保存される。
【0128】
以上説明したように、本実施例では、図13で示したように撮像素子506を水平3画素混合、垂直1/3画素間引きモード、120fpsで駆動する。そして、高速動画撮影指示があった場合のみ撮像素子506を水平3画素混合、垂直1/3画素間引きモード、フレームレート960fpsで駆動する。
【0129】
そして、水平3画素混合、垂直1/3画素間引きモード、120fpsで撮影することで得られた第2のデータサイズの画像データと、960fpsで撮影することで得られた画像データから複数フレーム間引いて120fpsにした第2のデータサイズの画像データから通常の120fpsの動画を作成する。また、960fpsで撮影動作を行うことで得られた第2のデータサイズの画像データから960fpsの高速動画を生成することができる。
【0130】
以上のように構成することで、画素数が大きな撮像素子を搭載した撮像システムにおいて、通常の動画撮影中に高速動画の撮影を行う場合でも、高フレームレートでシームレスな通常動画および高速動画を得ることが可能となる。
【0131】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【0132】
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【符号の説明】
【0133】
101 画素
10 第1のチップ
11 第2のチップ
117 フレームメモリ
118 素子内演算部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14