(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0015】
(実施例1)
以下に、本発明の好ましい実施の形態を、添付の図面を用いて詳細に説明する。実施例1では、動画撮影中に静止画を撮影することが可能な撮影モードを有する撮像システムについて説明する。なお、本実施例では、撮像素子は常に全画素読み出しモードにて撮影動作を行い、動画、静止画ともにこの全画素読み出しモードにて駆動して出力された画像信号から作成する方法を例に示す。
【0016】
図1は、本発明の実施例1における撮像素子の概略をブロック図として示したものである。
【0017】
撮像素子506は、第1のチップ(第1の半導体基板)10および第2のチップ(第2の半導体基板)11を有しており、第2のチップ11と第1のチップ10がお互いに積層されている。第1のチップ10は、マトリックス状に配列された複数の画素101からなる画素部を有し、第2のチップ11に対して光入射側(光学像の受光側)に配置されている。
【0018】
第1のチップ10の画素部において、マトリックス状に配列された複数の画素101は行毎に転送信号線103、リセット信号線104、および行選択信号線105にそれぞれ接続され、列毎に複数の列出力線102に接続されている。なお、各列に配置された複数の列出力線102の各々には、同列の異なる読み出し行に配置された画素が接続される。
【0019】
第2のチップ11は、列毎に設けられた複数のAD変換器(以下、ADCと表記)111、行走査回路112、列走査回路113、タイミング制御回路114を有する。さらに、第2のチップ11は、切り替えスイッチ116、フレームメモリ117、素子内演算部118、パラレル・シリアル変換部(以下、P/S変換部と表記する)119等を有する。タイミング制御回路114は、全体制御演算部509により駆動制御される。
【0020】
このように、第1のチップ10に画素部を形成し、第2のチップ11に画素部の駆動回路やメモリ、演算部等を形成することで、撮像素子506の撮像層と回路層とで製造プロセスを分けることができる。そして、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。
【0021】
切り替えスイッチ116は、チャンネル毎に設けられた水平信号線115−a、水平信号線115−bから出力される各チャンネルのデジタル画像データを素子内演算部118に選択的に入力する。素子内演算部118は、各チャンネルの画像データを並び替えて1フレームの画像データを生成し、順次フレームメモリ117に出力する。フレームメモリ117は、出力された少なくとも1フレーム分のデジタル画像データを一時的に記憶する。
【0022】
素子内演算部118は、フレームメモリ117に記憶された1フレームのデジタル画像データに対し、切り出し、間引き等の演算処理を行う。詳細は後述する。素子内演算部118で処理された1フレームのデジタル画像データは、P/S変換部119においてパラレル・シリアル変換を行い、撮像素子506の外部にある撮像信号処理回路507へと出力される。
【0023】
ここで、水平信号線115−a、水平信号線115−b、切り替えスイッチ116、素子内演算部118、フレームメモリ117の間の信号転送経路は、同一チップ内に形成されるデジタル信号ラインである。そのため、水平読み出し期間内に全ての水平データの転送が完結するように、必要なデータバス幅を確保して高速化を図ることができる。
【0024】
図2は、第2のチップ11におけるADC111からP/S変換部119までのデータバス構成の一例を説明する図である。
図2に示すように、第2のチップ11において、ADC111と素子内演算部118の間には、ADC111のデジタル変換出力を一時的に保持する列メモリ111aが設けられている。なお、
図2では切り替えスイッチ116は省略されている。
【0025】
列走査回路113からの制御信号に応じて各列に設けられた列メモリ111aに保持されている画像データは、水平転送回路115内に16チャンネル設けられた水平信号線115−a,115−bに振り分けられて並列に出力される。水平信号線115−a,115−bに出力された画像データは、素子内演算部118内のメモリI/F回路を経由してフレームメモリ117に入力される。
【0026】
例えば、8K4K(水平8000画素、垂直4000画素)の32Mピクセルの画像データがADC111から出力される場合について説明する。32Mピクセルの画像データをフレームレート60fpsで読み出した場合に必要なデータバス帯域は、1920Mピクセル/secである。
【0027】
ここで、水平転送回路115に設けられた16チャンネルの水平信号線115−a,115−bの各々の転送容量が12bitである場合、転送可能な周波数120MHzまで転送容量を落とす必要がある。列走査回路113からの制御信号により順次、列メモリの選択が行われ、水平転送回路115の1チャンネルあたり120Mピクセル/secの画像データが16チャンネルで並列に読み出される。
【0028】
水平転送回路115から素子内演算部118を経由してフレームメモリ117へ入力された画像データは、フレームメモリから所定エリアのデータが部分的に読み出されて、再び、素子内演算部118に入力される。例えば、フレームメモリ117から出力された画像データは、素子内演算部118内の縮小変倍回路により1/16倍の画像サイズに縮小される。その場合に必要となるデータバス帯域は、120Mピクセル/secまで低減される。これは、フルHDサイズ(2Mピクセル)の画像データを60fpsで読み出す場合に相当するデータ転送容量である。
【0029】
データバス帯域が低減されて素子内演算部118から出力された画像データは、P/S変換部119で、最大シリアル転送容量1Gbpsを超えないように、720Mbpsの2チャンネル構成でシリアル信号に変換されて出力される。
【0030】
このように、第2のチップ11内にADC111、素子内演算部118、フレームメモリ117を設けることにより、第2のチップ11内で画像データの処理に必要な広いデータバス帯域を確保し、ADC111からフレームメモリ117までの転送速度の高速化を実現しつつ、撮像素子外に転送可能なシリアル転送容量で高画質な動画を出力することができる。
【0031】
図3は、本実施例における撮像素子506の画素部の各画素101及びADC111の詳細な構成を示した図である。
図1及び
図3を用いて、実施例1における撮像素子の動作の概略を説明する。
【0032】
フォトダイオード(以下、PDと表記する)201は、受光した入射光をその光量に応じた電荷量の光電荷(ここでは、電子)に光電変換する。PD201のカソードは、転送トランジスタ202を介して増幅トランジスタ204のゲートと電気的に接続されている。この増幅トランジスタ204のゲートと電気的に接続されたノードは、フローティングディフュージョン(以下、FDと表記する)部206を構成する。
【0033】
転送トランジスタ202は、PD201のカソードとFD部206との間に設けられ、ゲートに
図1の転送信号線103を介して転送パルスφTRGが供給されることによってオン状態となる。そして、PD201で光電変換された光電荷をFD部206に転送する。
【0034】
リセットトランジスタ203は、ドレインが画素電源Vddに、ソースがFD部206にそれぞれ接続され、ゲートに
図1のリセット信号線104を介してリセットパルスφRSTが供給されることによってオン状態となる。そして、PD201からFD部206への信号電荷の転送に先立って、FD部206の電荷を画素電源Vddに捨てることによって当該FD部206をリセットする。
【0035】
増幅トランジスタ204は、ゲートがFD部206に、ドレインが画素電源Vddにそれぞれ接続され、リセットトランジスタ203によってリセットした後のFD部206の電位をリセットレベルとして出力する。さらに、増幅トランジスタ204は、転送トランジスタ202によってPD201の信号電荷を転送した後のFD部206の電位を信号レベルとして出力する。
【0036】
選択トランジスタ205は、例えば、ドレインが増幅トランジスタ204のソースに、ソースが列出力線102にそれぞれ接続される。そして、ゲートに
図1の行選択信号線105を介して選択パルスφSELが与えられることによってオン状態となり、画素101を選択状態として増幅トランジスタ204により増幅される信号を列出力線102に出力する。
【0037】
なお、この選択トランジスタ205については、画素電源Vddと増幅トランジスタ204のドレインとの間に接続した回路構成を採ることも可能である。トランジスタ202〜205として、例えばNチャネルのMOSトランジスタを用いることができる。また、画素101としては、上記した4つのトランジスタを備えた構成に限られるものではなく、増幅トランジスタ204と選択トランジスタ205を1つのトランジスタで兼用した3つのトランジスタを備えた構成等であっても良い。
【0038】
また、画素101から列出力線102を介して出力されるアナログ画像信号は、ADC111に伝送される。ADC111は、比較器211、アップダウンカウンタ212、メモリ213、DAコンバータ(以下、DACと表記する)214を有する。
【0039】
比較器211は、一対の入力端子を備え、その一方に列出力線102が接続され、他方にDAC214が接続される。比較器211の出力端子は、アップダウンカウンタ212に接続される。
図1のタイミング制御回路114は、全体制御演算部509からの指令に基づきDAC214へ基準信号を出力する。
【0040】
DAC214は、
図1のタイミング制御回路114から入力される基準信号に基づいて、時間の経過とともにレベルが変化するランプ信号を出力する。そして、比較器211は、DAC214から入力されるランプ信号のレベルと、列出力線102から入力される画像信号のレベルとを比較する。
【0041】
例えば、比較器211は、画像信号のレベルがランプ信号のレベルより低い場合にはハイレベルの比較信号を出力し、画像信号のレベルがランプ信号のレベルより高い場合にはローレベルの比較信号を出力する。アップダウンカウンタ212は、比較信号がハイレベルとなる期間、またはローレベルとなる期間をカウントする。このカウント処理により、各画素101の出力信号はデジタル値へ変換される。
【0042】
なお、比較器211とアップダウンカウンタ212との間にアンド回路を設け、このアンド回路にパルス信号を入力し、このパルス信号の個数をアップダウンカウンタ212によりカウントさせてもよい。
【0043】
また、ADC111は、画素101のリセット解除時のリセット信号に基づいてリセットレベルに対応したカウント値をカウントし、さらに所定の撮像時間経過後の光信号に基づいてカウント値をカウントしてもよい。そして、これらの光信号のカウント値とリセット信号のカウント値の差分値をメモリ213に記憶させてもよい。
【0044】
メモリ213は、アップダウンカウンタ212と接続され、アップダウンカウンタ212によりカウントされたカウント値を記憶する。メモリ213に記憶されたカウント値がデジタル画像データとして、
図1の列走査回路113の駆動制御により
図1の水平信号線115−a、水平信号線115−bに伝送される。
【0045】
図4は、
図1を用いて説明した実施例1に係る撮像素子506の外形構成を示す。
図4(a)は、撮像素子506を光の入射する側から見た斜視図、
図4(b)は、撮像素子506の断面図を示している。
【0046】
撮像素子506は、第1のチップ(撮像層)10と第2のチップ(回路層)11により構成される。第1のチップ10と第2のチップ11は、それぞれのチップに設けられている複数のマイクロパッド302を、複数のマイクロバンプ301を介して電気的に接続して一体化させる。すなわち、第1のチップ10と第2のチップ11は、複数のマクロバンプ101および複数のマイクロパッド302を介して電気的に直接接続されている。なお、マクロパッドおよびマイクロパッド以外を用いた方法により、第1のチップ10と第2のチップ11が電気的に直接接続されるように構成してもかまわない。
【0047】
図5に、
図1〜
図4で示した実施例1に係る撮像素子506の断面構造の詳細を示す。
図5において、撮像層401が第1のチップ10に対応し、回路層402が第2のチップ11に対応する。
【0048】
撮像層401においては、シリコン(以下、Siと表記する)基板403上に配線層404が形成されている。Si基板403には、PD201となるn型拡散領域407が形成され、PD201の表面部(配線層404との境界部)にはp+拡散領域408が形成されている。
【0049】
Si基板403には、その表面部にFD部206となるn+拡散領域409、スイッチ用トランジスタのn+拡散領域410が複数形成されている。配線層404には、SiO2等からなる絶縁層内に、各トランジスタのゲート配線411、信号伝搬用配線412が形成され、さらにその表面部にはCu等からなるマイクロパッド302aが形成されている。
【0050】
上記したn+拡散領域409、n+拡散領域410とトランジスタのゲート配線411により転送トランジスタ202、リセットトランジスタ203、増幅トランジスタ204、選択トランジスタ205がそれぞれ構成される。配線層404には、n+拡散領域410をマイクロパッド302aと接続するためのビア414が形成されている。
【0051】
回路層402においては、Si基板405上に配線層406が形成されている。Si基板405には、表面部にトランジスタ拡散領域416が複数形成されている。配線層406には、SiO2等からなる絶縁層内に、各トランジスタのゲート配線417、信号伝搬用配線418が複数形成され、さらにその表面部にはCu等からなるマイクロパッド302bが形成されている。
【0052】
回路層402に形成されたトランジスタ拡散領域416やトランジスタのゲート配線417、信号伝搬用配線418などにより各種回路が構成される。回路断面の詳細については、説明を省略する。配線層406には、拡散領域416等をマイクロパッド302bと接続するためのビア420が形成されている。
【0053】
撮像層401の配線層404に形成されたマイクロパッド302aと、回路層402の配線層406に形成されたマイクロパッド302bは、マイクロバンプ301により互いに電気的に接続されている。なお、
図5では撮像層401、回路層402を接続端子としてマイクロバンプ301を用いて接続する構成例を示したが、マイクロバンプを用いずに直接接続することも可能である。
【0054】
図6は、
図1〜5で説明した撮像素子を用いた撮像装置のシステム概要図である。レンズ部501を通った被写体像は絞り504により適切な光量に調整され、
図1〜
図5に示した構成を有する撮像素子506上の撮像面に結像される。
【0055】
撮像素子506上の撮像面に結像された被写体像は、撮像素子506のPD201により光電変換され、さらに画素内アンプや画素101とADC111の間に設けた列アンプによるゲイン調整が行われる。そして、ADC111を用いてアナログ信号からデジタル信号にA/D変換処理が行われ、R、G、Bの各色のデジタル画像信号として撮像信号処理回路507に取り込まれる。
【0056】
撮像信号処理回路507では、ノイズを軽減するローパスフィルタ処理やシェーディング補正などの各種補正処理、ホワイトバランス調整処理などの画像信号処理、さらに画像データの圧縮処理等を行う。なお、これらの処理を行う撮像信号処理回路507を積層構造の撮像素子506に内蔵するように構成してもかまわない。
【0057】
レンズ部501は、レンズ駆動部502によって駆動されることにより、ズーム、フォーカス等が制御される。メカニカルシャッタ(メカシャッタ)503、絞り504は、シャッタ・絞り駆動部505によって駆動制御される。
【0058】
全体制御演算部509は、撮像装置全体の制御と各種演算処理を行う。第1のメモリ部508は、画像データを一時的に記憶する。半導体メモリ等の着脱可能な記録媒体512は、画像データを記録する。記録媒体制御インターフェース部510は、記録媒体512に画像データを記録し、または記録媒体512に記録された画像データを読み出す。なお、全体制御演算部509を積層構造の撮像素子506に内蔵するように構成してもかまわない。
【0059】
表示部511は、画像データ等の表示を行う。外部インターフェース部513は、外部コンピュータ等と通信を行うためのインターフェース部である。第2のメモリ部514は、全体制御演算部509での演算結果やパラメータ等を一時的に記憶する。操作部515によりユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部509に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。
【0060】
次に、
図1、
図3、
図7を用いて、本実施例における撮像システムの動作手順について説明する。
【0061】
図7は、実施例1の撮像システムにおける動画撮影中に静止画を撮影して記録することが可能な撮影モードの撮影シーケンスを示すフローチャートである。また、
図9は、本実施例において、複数フレームの動画撮影中に1フレームの静止画撮影を行なう場合に、撮像素子506を全画素読み出しモードで駆動することで得られる画像データから動画および静止画を生成する方法について説明する図である。
【0062】
ステップS601では、全体制御演算部509において、操作部515からユーザーが入力した設定に基づき各種パラメータを初期化する。そして、初期化したパラメータを第2のメモリ部514に記録する。
【0063】
ステップS602では、撮影した被写体像の画像をリアルタイムで表示部511へ表示させるモニターモードで撮像システムを駆動する。具体的には、複数の画素を混合または一部の画素を間引いて画像信号を読み出す混合/間引きモードで撮像素子506を駆動して画像信号を読み出す。そして、読み出した画像信号に対して撮像信号処理回路507において各種信号処理を施してから表示部511に表示する。
【0064】
また、モニターモード駆動時には、適宜、撮像素子506から読み出した画像信号に基づいて自動露出調節(AE)制御のための測光動作や自動焦点調節(AF)制御のための測距動作を行う。そして、撮像信号処理回路507は、測光結果に基づいて被写体の明るさを測定し、撮影した画像が適切な明るさになるような絞り値Av、シャッタ速度Tvを算出する。また、測距結果に基づいて被写体像の焦点距離を算出する。
【0065】
ここで、撮像素子506から読み出される画像信号から得られるコントラスト情報に基づくAF制御を行っているが、撮像素子506に撮像用画素とは別に焦点検出用画素を設けてもよい。そして、焦点検出用画素から得られる位相差情報(デフォーカス量)を用いた撮像面位相差検出によるAF制御を行ってもよい。さらに、コントラストAF制御と撮像面位相差AF制御を撮影条件や被写体等に応じて適宜組み合わせて併用したり、各AF方式を切り替えるように制御してもかまわない。
【0066】
そして、全体制御演算部509は、算出した絞り値Av、シャッタ速度Tvになるようにシャッタ・絞り駆動部505に指令を出す。また、全体制御演算部509は、算出したレンズ位置Lになるようにレンズ駆動部502に指令を出す。シャッタ・絞り駆動部505は、受け取った指令に基づいてメカシャッタ503、絞り504を駆動する。また、レンズ駆動部502は、受け取った指令に基づいてレンズ501を駆動する。なお、算出された絞り値Av、シャッタ速度Tv、レンズ位置Lをそれぞれ第2のメモリ部514へ記録する。
【0067】
なお、AE制御を行なう場合に、撮像素子506の行毎や画素毎に蓄積時間(露光時間)を異ならせたり、画像信号を増幅するゲインを異ならせることで1フレーム内の行毎や画素毎に異なる露出の画像を取得するように制御してもかまわない。このように制御することで、ダイナミックレンジの広いHDR画像を生成することができる。
【0068】
ステップS603では、全体制御演算部509により操作部515にある動画撮影トリガースイッチSW_1のON/OFFを判定し、スイッチSW_1がONであればステップS604へ、OFFであれば再びステップS602へ戻る。
【0069】
ステップS604では、撮影パラメータiを0にリセットする。
【0070】
ステップS605では、第2のメモリ部514から絞り値Av、シャッタ速度Tv、レンズ位置Lを読み出す。そして、撮像素子506から読み出された画像データと第2のメモリ部514から読み出した絞り値Av、シャッタ速度Tvに基づいて適切な明るさになる絞り値Av、シャッタ速度Tvを算出する。
【0071】
また、撮像素子506から読み出された画像データと第2のメモリ部514から読み出したレンズ位置Lから、適切な焦点距離になるレンズ位置Lを算出する。そして、算出した絞り値Av、シャッタ速度Tv、レンズ位置Lを第2のメモリ部514へ記録する。
【0072】
撮影パラメータi=0である場合には、第2のメモリ部514から読み出した絞り値Av、シャッタ速度Tvを元に、ステップS606の駆動モードとステップS602での駆動モードの感度差を考慮して、絞り値Av、シャッタ速度Tvを再算出する。レンズ位置Lは、第2のメモリ部514から読み出した値を使用する。
【0073】
撮影パラメータi≠0である場合には、第2のメモリ部514から読み出した絞り値Av、シャッタ速度Tv、レンズ位置Lをそのまま使用する。そして、絞り値Av
i、シャッタ速度Tv
i、レンズ位置L
iになるように、全体制御演算部509からレンズ駆動部502、シャッタ・絞り駆動部505に指令を出し、レンズ501、メカシャッタ503、絞り504を駆動させる。
【0074】
ステップS606では、ステップS602とは異なり、撮像素子506上の全ての画素から画像信号を読み出す全画素読み出しモードで撮像素子506を駆動して撮影動作を行う。撮影動作により得られた第1のデータサイズの1フレームの画像データは、素子内演算部118に送られる。
【0075】
ステップS607では、全体制御演算部509において操作部515にある静止画撮影トリガースイッチSW_2のON/OFFを判定し、スイッチSW_2がONであればステップS608へ、OFFであればステップS609へ進む。
【0076】
ステップS608では、素子内演算部118においてステップS606で撮影した第1のデータサイズの1フレームの画像データを複製して、静止画用の画像データとしてフレームメモリ117へ保存する。
【0077】
ステップS609では、素子内演算部118においてオリジナルの第1のデータサイズの1フレームの画像データをリサイズし、第1のデータサイズよりもデータサイズの小さい第2のデータサイズの1フレームの動画用画像データに変換する処理を行う。
【0078】
リサイズ処理では、画像データを水平方向(行方向)または垂直方向(列方向)に数行または数列おきに混合または間引く混合/間引きを行ったり、画像データの一部の領域のみを使用する領域切り出したりすることによる画像サイズの縮小処理を行う。もしくは、画像データの各画素のビットデータ量をより小さいサイズへ変更する処理等を行う。(例えば16bitから10bitへ変更する。)
【0079】
図8に混合/間引き処理と領域切り出し処理の一例を示す。
図8(a1)〜(a3)は、混合/間引き処理の一例として水平3画素混合、垂直1/3画素間引きを行う処理を示し、
図8(b1)〜(b2)は、領域切り出し処理の一例を示している。
【0080】
混合/間引き処理は、
図8(a1)の第1のデータサイズの画像データに対し、
図8(a2)に示す画素データのみを用いて下記式(1)〜(4)の計算を行う。そして、混合/間引き処理後のデータR‘、Gr‘、Gb‘、B‘をそれぞれ算出することにより、第2のデータサイズの画像データを生成する。
R‘=(R+R+R)/3 ・・・(式1)
Gr‘=(Gr+Gr+Gr)/3 ・・・(式2)
Gb‘=(Gb+Gb+Gb)/3 ・・・(式3)
B‘=(B+B+B)/3 ・・・(式4)
【0081】
領域切り出し処理は、
図8(b1)の第1のデータサイズの画像データに対し、
図8(b2)の点線で囲まれた垂直、水平の上下左右を数〜数百画素省いた領域の画素データのみを用いることにより、第2のデータサイズの画像データを生成する。
【0082】
ステップS610では、ステップS609において第2のデータサイズにリサイズした画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行い、撮像信号処理回路507へ転送する。ここで、P/S変換部119から出力される画像データは、撮像素子506の出力転送容量以下となるように、データサイズやフレームレート等が設定されている。
【0083】
ここで、第1のデータサイズの画像データの画素数が2400万画素、各画素のデータ量が12bitであるものとする。また、撮像素子506のP/S変換部119から撮像信号処理回路507までの間を8ポートで伝送するものとし、撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbpsとする。
【0084】
さらに、第2のデータサイズの画像データは、リサイズとして
図8に示す水平3画素加算、垂直1/3画素間引きを実施することで得られ、その画素数が200万画素、各画素のデータ量が12bitであるものとする。ここで、動画のフレームレートが120fpsで、撮像素子506のP/S変換部119から撮像信号処理回路507までの間を8ポートで伝送する場合、360Мbps必要となる。撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbpsであることから、十分余裕を持って動画用画像データを転送することが可能である。
【0085】
ステップS611では、全体制御演算部509からの指令によりステップS609においてリサイズされ、ステップS610において転送された画像データに対する各種処理が撮像信号処理回路507により施される。撮像信号処理回路507で施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理等がある。そして、各種処理を施された画像データが記録媒体512に動画として記録される。
【0086】
ステップS612では、撮影パラメータiに1を加える。ステップS613では、全体制御演算部509によりスイッチSW_1のON/OFFを判定する。スイッチSW_1がONであれば静止画撮影指示がなされたものと判断してステップS614へ進み、OFFであればステップS605に戻る。
【0087】
ステップS614では、ステップS608においてフレームメモリ117に保存された第1のデータサイズの静止画用画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行い、撮像信号処理回路507に転送する。
【0088】
なお、P/S変換部119から出力される静止画用画像データは、撮像素子506の出力転送容量以下となるように、データサイズやフレームレート等が設定されている。
【0089】
ここで、第1のデータサイズの画像データの画素数は2400万画素、各画素のデータ量は12bitである。フレームレートを24fpsに設定すると、P/S変換部119から撮像信号処理回路507までの間を8ポートで伝送する場合、864Мbps必要となる。撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbpsであることから、余裕を持って静止画用画像データを転送することが可能である。
【0090】
ステップS615では、全体制御演算部509からの指令によりステップS614において転送された第1のデータサイズの画像データに対する各種処理が撮像信号処理回路507により施される。
【0091】
撮像信号処理回路507により施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理等がある。そして、各種処理を施された画像データが記録媒体512に静止画として記録される。また、ステップS611において記憶媒体512に記録された動画に対し、後処理を行い所定の動画フォーマット形式で保存する。
【0092】
以上説明したように、動画用画像データは撮像素子内で第1のデータサイズから第2のデータサイズへとデータサイズを縮小して撮像素子の後段に転送する。そして、データサイズの大きな第1のデータサイズの静止画用画像データは撮像素子内のフレームメモリに一時退避しておき、動画用画像データを転送した後に撮像素子の後段に転送する。
【0093】
このようにすることで、画素数が大きな撮像素子を搭載した撮像システムにおいて、動画撮影中に静止画撮影を行う場合でも、高フレームレートでシームレスな動画を得ることが可能となる。また、その際に撮影する静止画も高速なシャッタ速度で撮影することが可能なため、CMOSイメージセンサ特有のローリング歪の目立たない高画質な画像を得ることが出来る。
【0094】
なお、本実施例では、
図7で示したように撮像素子506を常に全画素読み出しモードで駆動することで得られる画像信号から動画および静止画を作成する方法について示した。しかしながら、
図10で示すように通常は撮像素子506を水平3画素混合、垂直1/3画素間引きモードで駆動することで動画を撮影し、静止画撮影指示があった場合のみ撮像素子506を全画素読み出しモードで駆動するように制御しても良い。その場合、全画素読み出しモードで得られた第1のデータサイズの画像データをリサイズして第2のデータサイズの動画用画像データを生成するとともに、第1のデータサイズの画像データを静止画用画像データとして使用すれば良い。
【0095】
(実施例2)
以下、
図11と
図12を参照して、本発明の実施例2について説明する。実施例2では、通常の動画撮影中に高解像度な動画を撮影することが可能な撮影モードを有する撮像システムを例に示す。
【0096】
なお、撮像素子の構成については、実施例1の
図1〜
図5で示したものと同様であるため説明を省略する。また、撮像システムの概要についても、実施例1の
図6で示したものと同様であるため説明を省略する。さらに、画像データのリサイズ処理についても、実施例1の
図8で示したものと同様であるため、説明を省略する。
【0097】
図11は、実施例2の撮像システムにおける撮影シーケンスを示すフローチャートである。また、
図12は、本実施例において、通常の動画撮影中に高解像度動画撮影指示があった場合に、撮像素子506を全画素読み出しモードで駆動することで、高解像度の動画を生成する方法について説明する図である。
【0098】
ステップS1001〜ステップS1005は、それぞれ実施例1の
図7で示したステップS601〜ステップS605と同様であるため説明を省略する。
【0099】
ステップS1006では、操作部515にあるスイッチSW_2を高解像度動画撮影トリガースイッチとして使用する。つまり、全体制御演算部509においてスイッチSW_2のON/OFFを判定し、スイッチSW_2がONであればステップS1007へ進み、OFFであればステップS1008へ進む。
【0100】
ステップS1007では、第1の動画撮影モードで通常の動画を撮影するために、撮像素子506を水平3画素混合、垂直1/3画素間引きモードで駆動して撮影動作を行う。撮影動作により得られた第2のデータサイズの1フレームの画像データは、素子内演算部118を経由してP/S変換部109に送られる。
【0101】
ステップS1008では、第2の動画撮影モードで高解像度動画を撮影するために、撮像素子506を全画素読み出しモードで駆動して撮影動作を行う。撮影動作により得られた第1のデータサイズの1フレームの画像データは、素子内演算部118に送られる。
【0102】
ステップS1009では、素子内演算部118においてステップS1008で撮影した第1のデータサイズの1フレームの画像データを複製して、高解像度動画用画像データとしてフレームメモリ117へ保存する。また、素子内演算部118においてオリジナルの第1のデータサイズの1フレームの画像データをリサイズし、第1のデータサイズよりもデータサイズの小さい第2のデータサイズの1フレームの通常動画用画像データに変換する処理を行う。
【0103】
ステップS1010では、ステップS1007において撮影された第2のデータサイズの画像データもしくはステップS1009において第2のデータサイズにリサイズした第2のデータサイズの画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行う。そして、撮像信号処理回路507へ転送する。
【0104】
ステップS1010でP/S変換部119から撮像信号処理回路507へ転送される第2のデータサイズの画像データの画素数が200万画素、各画素のデータ量12bitであるものとする。また、動画のフレームレートが120fpsで、撮像素子506のP/S変換部119から撮像信号処理回路507までの間を8ポートで伝送するものとし、撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbpsとする。その場合、実施例1のステップS610で転送するデータと同様のデータサイズとなるため、十分余裕を持って通常動画用画像データを転送することが可能である。
【0105】
ステップS1011〜ステップS1013については、それぞれ実施例1の
図7で示したステップS611〜ステップS613と同様であるため、説明を省略する。
【0106】
ステップS1014では、ステップS1009においてフレームメモリ117に保存された第1のデータサイズの高解像度動画用画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行い、撮像信号処理回路507に転送する。
【0107】
なお、P/S変換部119から出力される高解像度動画用画像データは、撮像素子506の出力転送容量以下となるように、データサイズやフレームレートが設定されている。
【0108】
ここで、第1のデータサイズの画像データの画素数は2400万画素、各画素のデータ量は12bitである。フレームレートを24fpsに設定すると、P/S変換部119から撮像信号処理回路507までの間を8ポートで伝送する場合、864Мbps必要となる。撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbpsであることから、余裕を持って高解像度動画用画像データを転送することが可能である。
【0109】
ステップS1015では、全体制御演算部509からの指令によりステップS1014において転送された第1のデータサイズの画像データに対する各種処理が撮像信号処理回路507により施される。
【0110】
撮像信号処理回路507により施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理、後処理等がある。そして、各種処理を施された画像データが記録媒体512に記録される。ここで記録される動画は、120fpsの高フレームレートで撮像素子の全有効撮像領域(全画面)に対応した高解像度動画である。
【0111】
また、ステップS1011において記憶媒体512に記録された動画に対しても後処理が施され、全画面の画像サイズよりも画像サイズが小さい所定の動画フォーマット形式に対応した120fpsの動画として保存される。
【0112】
以上説明したように、本実施例では、
図12で示したように撮像素子506を水平3画素混合、垂直1/3画素間引きモードで駆動し、高解像度動画撮影指示があった場合のみ撮像素子506を全画素読み出しモードで駆動する。そして、撮像素子506を水平3画素混合、垂直1/3画素間引きモードで駆動することで得られた第2のデータサイズの画像データと、撮像素子506を全画素読み出しモードで駆動して得られた第1のデータサイズの画像データをリサイズした第2のデータサイズの画像データから通常動画を生成することができる。さらに、全画素読み出しモードで得られた第1のデータサイズの画像データから高解像度動画を生成することができる。
【0113】
以上のように構成することで、画素数が大きな撮像素子を搭載した撮像システムにおいて、通常の動画撮影中に高解像度動画の撮影を行う場合でも、高フレームレートでシームレスな通常動画および高解像度動画を得ることが可能となる。
【0114】
(実施例3)
以下、
図11と
図13を参照して、本発明の実施例3について説明する。実施例2では、通常の動画撮影中に高解像度な動画を撮影する方法について説明したが、本実施例3では、通常の動画撮影中に通常よりも高い(ここでは8倍)のフレームレートの高速動画を撮影する方法について説明する。
【0115】
なお、撮像素子の構成、撮像システムの概要、画像データのリサイズ処理については、実施例1、2と同様であるため、説明を省略する。本実施例の撮影シーケンスのフローチャートについても、実施例2で示した
図11を用いて説明する。
図13は、本実施例において、通常の動画撮影中に高フレームレートの高速動画を生成する方法について説明する図である。
【0116】
ステップS1001〜ステップS1005、ステップS1007については、実施例2で説明した動画撮影中に高解像度動画を撮影する場合と同様であるため、説明を省略する。
【0117】
ステップS1006では、操作部515にあるスイッチSW_2を高速動画撮影トリガースイッチとして使用する。つまり、全体制御演算部509においてスイッチSW_2のON/OFFを判定し、スイッチSW_2がONであればステップS1007へ進み、OFFであればステップS1008へ進む。
【0118】
ステップS1008では、第2の動画モードで高フレームレートの動画を撮影するために、撮像素子506を水平3画素混合、垂直1/3画素間引きモード、通常の8倍のフレームレートで駆動して撮影動作を行う。通常のフレームレートが120fpsであると960fpsで駆動される。撮影動作により得られた第2のデータサイズの1フレームレートの画像データは、素子内演算部118に送られる。
【0119】
ステップS1009では、素子内演算部118においてステップS1008で撮影した第2のデータサイズの画像データをそれぞれ複製して、高フレームレート動画用画像データとしてフレームメモリ117へ保存する。また、素子内演算部118においてオリジナルの第2のデータサイズの画像データに対して8フレームにつき7フレームを間引き、フレームレートを960fpsから120fpsへ1/8に落とした第2のデータサイズの画像データに変換する処理を行う。
【0120】
ステップS1010では、ステップS1007において撮影された第2のデータサイズの画像データ(フレームレートは120fps)に対し、P/S変換部119においてパラレル/シリアル変換処理を行う。もしくはステップS1009において960fpsから120fpsへとフレームレートを変更された第2のデータサイズの画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行う。そして、撮像信号処理回路507へ転送する。
【0121】
ステップS1011〜ステップS1013については実施例2と同様であるため、説明を省略する。
【0122】
ステップS1014では、ステップS1009においてフレームメモリ117に保存された第2のデータサイズの高フレームレート動画用画像データに対し、P/S変換部119においてパラレル/シリアル変換処理を行い、撮像信号処理回路507に転送する。
【0123】
ここで、第2のデータサイズの画像データの画素数は200万画素、各画素のデータ量は12bitであるが、960fpsで撮影されたものであることから、P/S変換部119から撮像信号処理回路507までの間を8ポートで伝送する場合、2.88Gbps必要である。そのため、撮像素子506から撮像信号処理回路507までの間の出力転送容量が1Gbpsでは、転送容量が足りないことになる。
【0124】
しかし、フレームレートを960fpsからその1/8である120fpsに落として撮像素子506から撮像信号処理回路507に転送するようにすれば、360Mbpsの転送容量があれば良い。ここで、撮像素子506から撮像信号処理回路507までの間の出力転送容量は1Gbps以下であることから、十分余裕を持って高フレームレート動画用画像データを転送することが可能である。
【0125】
ステップS1015では、全体制御演算部509からの指令によりステップS1014において転送された第2のデータサイズの画像データに対する各種処理が撮像信号処理回路507により施される。
【0126】
撮像信号処理回路507により施される各種処理としては、ノイズを低減するローパスフィルタ処理や欠陥画素補正処理、シェーディング補正処理、ホワイトバランス処理などの各種の画像信号処理、現像処理、画像データの圧縮処理、後処理等がある。そして、各種処理が施された画像データが記録媒体512に記録される。ここで記録される動画は、所定の動画フォーマットに対応した再生フレームレート960fpsの高フレームレート動画である。
【0127】
また、ステップS1011において記憶媒体512に記録された動画に対しても後処理が施され、所定の動画フォーマット形式に対応した再生フレームレート120fpsの動画として保存される。
【0128】
以上説明したように、本実施例では、
図13で示したように撮像素子506を水平3画素混合、垂直1/3画素間引きモード、120fpsで駆動する。そして、高速動画撮影指示があった場合のみ撮像素子506を水平3画素混合、垂直1/3画素間引きモード、フレームレート960fpsで駆動する。
【0129】
そして、水平3画素混合、垂直1/3画素間引きモード、120fpsで撮影することで得られた第2のデータサイズの画像データと、960fpsで撮影することで得られた画像データから複数フレーム間引いて120fpsにした第2のデータサイズの画像データから通常の120fpsの動画を作成する。また、960fpsで撮影動作を行うことで得られた第2のデータサイズの画像データから960fpsの高速動画を生成することができる。
【0130】
以上のように構成することで、画素数が大きな撮像素子を搭載した撮像システムにおいて、通常の動画撮影中に高速動画の撮影を行う場合でも、高フレームレートでシームレスな通常動画および高速動画を得ることが可能となる。
【0131】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【0132】
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。