(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明を実施するための形態について説明する。
図1は、本発明の一実施の形態によるデジタルカメラ1の構成を例示する図である。デジタルカメラ1は、制御部11、撮像部12、操作部13、画像処理部14、液晶モニタ15、およびバッファメモリ16を有する。また、デジタルカメラ1には、メモリカード17が装着されている。
【0009】
制御部11は、駆動制御部111、長時間露光制御部112、および表示制御部113を有する。制御部11は、マイクロプロセッサおよびその周辺回路から構成され、不図示のROMに格納された制御プログラムを実行することにより、これらの各部の機能を実現している。各部の機能の内容については、後で詳しく説明する。
【0010】
撮像部12は、撮像素子21、増幅回路22、およびAD変換回路23を有する。撮像素子21は、複数の画素から構成され、不図示の撮影光学系を介して被写体からの光束を受光し、光電変換を行ってアナログ画像信号を出力する。増幅回路22は、撮像素子21から出力されるアナログ画像信号を所定の増幅率(ゲイン)で増幅してAD変換回路23に出力する。AD変換回路23は、アナログ画像信号をAD変換してデジタル画像信号を出力する。制御部11は、撮像部12から出力されるデジタル画像信号をバッファメモリ16に格納する。
【0011】
バッファメモリ16に格納されたデジタル画像信号は、画像処理部14において各種の画像処理が行われ、液晶モニタ15に表示されたり、メモリカード17に格納されたりする。メモリカード17は、不揮発性のフラッシュメモリなどから構成され、デジタルカメラ1に対して着脱可能である。
【0012】
操作部13は、レリーズボタンや録画ボタン、モード切り替えボタン、電源ボタンなど各種の操作ボタンから構成され、ユーザにより操作される。操作部13は、ユーザによる上記の各操作ボタンの操作に応じた操作信号を制御部11へ出力する。画像処理部14は、ASIC等により構成されている。画像処理部14は、撮像部12によって撮像された画像データに対して、補間、圧縮、ホワイトバランスなどの各種の画像処理を行う。
【0013】
<撮像素子の説明>
図2は、本実施形態に係る撮像素子21の概要を示す図である。なお、
図2では、撮像素子21の光入射側を上側とした状態を示している。このため、以下の説明では、撮像素子21の光入射側の方向を「上方」または「上」とし、光入射側に対して反対側の方向を「下方」または「下」とする。撮像素子21は、上部光電変換層31と下部光電変換層32とを有する。上部光電変換層31と下部光電変換層32とは、同一光路上に積層配置されている。上部光電変換層31は、所定の色成分(詳しくは後述する)の光を吸収(光電変換)する有機光電膜で構成される。上部光電変換層31で吸収(光電変換)されなかった色成分の光は、上部光電変換層31を透過して下部光電変換層32に入射し、下部光電変換層32で光電変換される。下部光電変換層32は、フォトダイオードにより光電変換を行う。なお、上部光電変換層31で光電変換される色成分と、下部光電変換層32で光電変換される色成分とは、補色関係である。上部光電変換層31と下部光電変換層32とは同一の半導体基板上に形成され、各画素位置は一対一に対応する。たとえば上部光電変換層31の1行1列目の画素は、下部光電変換層32の1行1列目の画素に対応する。
【0014】
図3(a)は、上部光電変換層31の画素配置を示す図である。
図3(a)において、水平方向をx軸、垂直方向をy軸とし、画素Pの座標をP(x,y)と表記する。
図3(a)に示す上部光電変換層31の例では、奇数行の各画素にMg(マジェンタ)とYe(イエロー)の光を光電変換する有機光電膜を交互に配置し、偶数行の各画素にCy(シアン)とMg(マジェンタ)の光を光電変換する有機光電膜を交互に配置している。そして、各画素で受光されない光は透過される。たとえば画素P(1,1)はMgの光を光電変換してMgの補色であるG(グリーン)の光を透過する。同様に、画素P(2,1)はYeの光を光電変換してYeの補色であるB(ブルー)の光を透過し、画素P(1,2)はCyの光を光電変換してCyの補色であるR(レッド)の光を透過する。
【0015】
図3(b)は、下部光電変換層32の画素配置を示す図である。なお、
図3(b)に示す各画素位置は、
図3(a)と同じである。たとえば下部光電変換層32の画素(1,1)は、上部光電変換層31の画素(1,1)に対応する。
図3(b)において、下部光電変換層32には、カラーフィルターなどは設けられておらず、上部光電変換層31を透過する色成分(すなわち有機光電膜で吸収されて光電変換される色成分の補色)の光を光電変換する。従って、
図3(c)に示すように、下部光電変換層32において、奇数行の画素ではGとBの色成分の画像信号、偶数行の各画素ではRとGの色成分の画像信号が得られる。たとえば画素P(1,1)ではMgの補色のG成分の画像信号が得られる。同様に、画素P(2,1)ではYeの補色のB成分の画像信号、画素P(1,2)ではCyの補色のR成分の画像信号がそれぞれ得られる。
【0016】
このように、本実施形態に係る撮像素子21では、有機光電膜で構成される上部光電変換層31が下部光電変換層32に対してカラーフィルターの役割を果たし、下部光電変換層32から上部光電変換層31の補色画像(
図3の例ではベイヤー配列の画像)が得られる。したがって、本実施形態に係る撮像素子21では、上部光電変換層31からはCy、Mg、Yeの3色からなるCMY画像を取得することができ、下部光電変換層32からはR、G、Bの3色からなるRGB画像を取得することができる。
【0017】
図4は、撮像素子21の断面の一部を例示する図である。
図4に示すように、撮像素子21では、シリコン基板上に形成された下部光電変換層32と、有機光電膜を用いた上部光電変換層31とが配線層40を介して積層されている。上部光電変換層31の上方には、1つの画素に対して1つのマイクロレンズMLが形成されている。たとえば、上部光電変換層31において、画素P(1,1)の光電変換部を構成する有機光電膜による受光部PC(1,1)は、マイクロレンズML(1,1)から入射された被写体光におけるMgの光を光電変換して補色であるGの光を透過する。下部光電変換層32において、画素P(1,1)を構成するフォトダイオードPD(1,1)は、上部光電変換層31の受光部PC(1,1)を透過したGの光を受光して光電変換する。
【0018】
図5は、撮像素子21における1つの画素P(x,y)の回路構成を例示する図である。画素P(x,y)は、下部光電変換層32を構成するための回路として、フォトダイオードPDと、転送トランジスタTxと、リセットトランジスタR2と、出力トランジスタSF2と、選択トランジスタSEL2とを有する。フォトダイオードPDは、入射光の光量に応じた電荷を蓄積する。転送トランジスタTxは、フォトダイオードPDに蓄積された電荷を出力トランジスタSF2側の浮遊拡散領域(FD部)に転送する。出力トランジスタSF2は選択トランジスタSEL2を介して電流源PW2とソースホロワを構成し、FD部に蓄積された電荷に応じた電気信号を出力信号OUT2として垂直信号線VLINE2に出力する。なお、リセットトランジスタR2は、FD部の電荷を電源電圧Vccにリセットする。
【0019】
また、画素P(x,y)は、上部光電変換層31を構成するための回路として、有機光電膜による受光部PCと、リセットトランジスタR1と、出力トランジスタSF1と、選択トランジスタSEL1とを有する。有機光電膜による受光部PCは、非透過光を光量に応じた電気信号に変換し、選択トランジスタSEL1を介して電流源PW1とソースホロワを構成する出力トランジスタSF1を介して出力信号OUT1として垂直信号線VLINE1に出力する。なお、リセットトランジスタR1は、受光部PCの出力信号をリファレンス電圧Vrefにリセットする。また、有機光電膜の動作用として高電圧Vpcが与えられている。各トランジスタはMOS_FETで構成される。
【0020】
ここで、下部光電変換層32に係る回路の動作について説明する。まず、選択信号φSEL2が”High”になると、選択トランジスタSEL2がオンする。次に、リセット信号φR2が”High”になると、FD部が電源電圧Vccにリセットされ、出力信号OUT2もリセットレベルになる。そして、リセット信号φR2が”Low”になった後、転送信号φTxが”High”になり、フォトダイオードPDに蓄積された電荷がFD部に転送され、出力信号OUT2が電荷量に応じて変化し始め、安定する。そして、転送信号φTxが”Low”になり、画素から垂直信号線VLINE2に読み出される出力信号OUT2の信号レベルが確定する。そして、垂直信号線VLINE2に読み出された各画素の出力信号OUT2は、不図示の水平出力回路に行毎に一時的に保持された後、撮像素子21から出力される。このようにして、撮像素子21の下部光電変換層32の各画素から信号が読み出される。
【0021】
また、上部光電変換層31に係る回路の動作について説明する。まず、選択信号φSEL1が”High”になると、選択トランジスタSEL1がオンする。次にリセット信号φR1が”High”になり、出力信号OUT1もリセットレベルになる。そして、リセット信号φR1が”Low”になった直後から有機光電膜による受光部PCの電荷蓄積が開始され、電荷量に応じて出力信号OUT1が変化する。そして、出力信号OUT1が不図示の水平出力回路に行毎に一時的に保持された後、撮像素子21から出力される。このようにして、撮像素子21の上部光電変換層31の各画素から信号が読み出される。
【0022】
<動画モードおよび静止画モード>
本実施形態のデジタルカメラ1には、撮像素子21の上部光電変換層31および下部光電変換層32の駆動モードとして、動画用の画像信号を出力する動画モードと静止画用の画像信号を出力する静止画モードとが設けられている。動画モードは、設定されたフレームレートで光電変換を行い、所定の画素数となるように画素加算および間引きを行って画像信号を出力するように駆動制御されるモードである。一方、静止画モードは、設定された露光時間で光電変換を行い、たとえば画素加算および間引きを行わずに全画素から読み出しを行って画像信号を出力するように駆動制御されるモードである。すなわち、動画よりも静止画の画素数が多くなるように駆動制御される。なお、動画モードは、メモリカード17に記録する記録用の動画を生成する際にも、液晶モニタ15にスルー画として表示する表示用画像を生成する際にも使用されるモードである。
【0023】
<動画撮影中に静止画撮影を行う撮影モード>
本実施形態のデジタルカメラ1には、撮影モードとして、通常の静止画撮影モード、および通常の動画撮影モードの他に、動画撮影中に静止画撮影を行うことができる動画静止画撮影モードが設けられている。デジタルカメラ1は、動画静止画撮影モードにおいて、録画ボタンが押下されると動画撮影を開始し、再度録画ボタンが押下されると動画撮影を終了して、撮影された動画をメモリカード17に記録する。この動画撮影中にレリーズボタンが押下されると、デジタルカメラ1は静止画撮影を行って撮影された静止画をメモリカード17に記録する。
【0024】
ここで、本実施形態との比較のため、従来のデジタルカメラにおいて動画撮影中に静止画撮影を行う場合の一例について、
図6(a)を用いて説明する。
図6(a)に示すように、従来のデジタルカメラは、録画ボタンが押下されることにより動画撮影が指示されると、撮像素子を動画モードで駆動させて動画撮影を行う。
【0025】
そして、レリーズボタンが押下されることにより静止画撮影が指示されると、従来のデジタルカメラは、撮像素子の駆動モードを動画モードから静止画モードに変更して、静止画撮影を行う。この静止画撮影が終了すると、従来のデジタルカメラは、撮像素子の駆動モードを静止画モードから再び動画モードに変更し、動画撮影を再開する。
【0026】
このように従来のデジタルカメラでは、動画撮影中に静止画撮影を行う際、撮像素子の駆動モードを動画モードから静止画モードに変更するので、そのための時間(モード変更時間)が必要となる。したがって、静止画撮影が指示されてから静止画撮影が行われるまでにタイムラグが生じてしまう。また、静止画撮影中は動画撮影を行うことができないため、動画のコマ落ちが生じてしまう。
【0027】
以上のような従来のデジタルカメラの問題点をふまえ、本実施形態のデジタルカメラ1は、静止画撮影が指示されてから実際に静止画撮影を行うまでのタイムラグや動画のコマ落ちが生じないように撮影処理を行うようになっている。
【0028】
図6(b)は、本実施形態のデジタルカメラ1における動画静止画撮影モードでの駆動モードを説明する図である。駆動制御部111は、録画ボタンが押下されることにより動画撮影が指示されると、撮像素子21の上部光電変換層31を動画モードで駆動させて、動画撮影を行う。画像処理部14は、上部光電変換層31から出力された画像信号に基づいて動画データを生成し、メモリカード17に記録していく。
【0029】
そして、レリーズボタンが押下されることにより静止画撮影が指示されると、駆動制御部111は、下部光電変換層32を静止画モードで駆動させて、静止画撮影を行う。画像処理部14は、下部光電変換層32から出力された画像信号に基づいて静止画データを生成し、メモリカード17に記録する。
【0030】
このようにデジタルカメラ1は、動画静止画撮影モードにおいて、動画撮影が指示されると上部光電変換層31を動画モードで駆動し、動画撮影中に静止画撮影が指示されると下部光電変換層32を静止画モードで駆動する。したがって、本実施形態のデジタルカメラ1では、従来のデジタルカメラのように、動画モードから静止画モードへのモード変更時間が必要なく、静止画撮影が指示されてからのタイムラグを生じさせずに静止画撮影を行うことができる。
【0031】
なお、駆動制御部111は、下部光電変換層32を静止画モードで駆動させている間も、上部光電変換層31の動画モードでの駆動を継続させ、動画撮影を継続させる。したがって、本実施形態のデジタルカメラ1では、静止画撮影を行っている間において動画のコマ落ちを生じさせないようにできる。
【0032】
<長時間露光撮影モード>
また、本実施形態のデジタルカメラ1には、長い露光時間で静止画を撮影する長時間露光撮影モードが設けられている。デジタルカメラ1は、モード切り替えボタンによって長時間露光撮影モードに切り替えられると、スルー画の表示を開始する。そして、レリーズボタンが押下されると、デジタルカメラ1は、長時間露光撮影を行い、撮影された長時間露光画像をメモリカード17に記録する。なお、長時間露光撮影における露光時間は、たとえば、数十秒〜1分以上の長時間である。
【0033】
ここで、本実施形態との比較のため、従来のデジタルカメラにおいて長時間露光撮影を行う場合の一例について、
図7(a)を用いて説明する。
図7(a)に示すように、従来のデジタルカメラは、モード切り替えボタンによって長時間露光撮影モードに切り替えられると、撮像素子を動画モードで駆動させ、撮像素子により撮像された画像信号に基づくスルー画を表示させる。
【0034】
そして、レリーズボタンが押下されることにより静止画撮影が指示されると、従来のデジタルカメラは、この直前に撮像素子により撮像された画像に基づいて所定の露出演算処理を行い、長時間露光撮影における露光時間を決定する。また、従来のデジタルカメラは、撮像素子の駆動モードを動画モードから静止画モードに変更し、上記決定された所定の露光時間で長時間露光撮影を行う。
【0035】
このような従来のデジタルカメラでは、長時間露光撮影中はスルー画の表示を行うことができないので、ユーザに撮影範囲(撮影画角)を確認させることができない。また、従来のデジタルカメラでは、長時間露光撮影を行う前の撮影画面の明るさに基づいて予め所定の露光時間を決定するので、長時間露光中に撮影画面の明るさが変化した場合に、適切な露光量の画像を得られない可能性がある。たとえば、長時間露光中に急に撮影画面が明るくなって、露光終了前に画像信号が飽和レベルに達してしまい、画像信号に白飛びが生じる場合などが考えられる。
【0036】
以上のような従来のデジタルカメラの問題点をふまえ、本実施形態のデジタルカメラ1は、長時間露光撮影中でも撮影範囲を確認することができ、且つ長時間露光中に撮影画面の明るさが変化した場合にも適切な露光量の画像が得られるように撮影処理を行うようになっている。
【0037】
図7(b)は、本実施形態のデジタルカメラ1における長時間露光撮影モードでの駆動モードを説明する図である。駆動制御部111は、モード切り替えボタンによって長時間露光撮影モードに切り替えられると、撮像素子21の上部光電変換層31を動画モードで駆動させる。画像処理部14は、上部光電変換層31から出力された画像信号に基づいて表示用の画像を生成する。表示制御部113は、画像処理部14により生成された表示用の画像をスルー画として液晶モニタ15に表示させる。
【0038】
そして、レリーズボタンが押下されることにより静止画撮影が指示されると、駆動制御部111は、下部光電変換層32を静止画モードで駆動させ、長時間露光の静止画撮影を開始させる。下部光電変換層32では、後述する露光終了のトリガがあるまで電荷の蓄積が継続される。
【0039】
駆動制御部111は、長時間露光撮影中も上部光電変換層31の動画モードでの駆動を継続させる。表示制御部113は、上部光電変換層31から出力された画像信号に基づくスルー画の表示を継続する。これにより、デジタルカメラ1は、長時間露光撮影中であっても、スルー画によってユーザに撮影範囲(撮影画角)を確認させることができる。
【0040】
また、長時間露光制御部112は、長時間露光撮影中において、上部光電変換層31から出力される画像信号を監視して、下部光電変換層32の露光終了のタイミングを決定する。具体的に、下部光電変換層32の露光が開始されると、画像処理部14は、上部光電変換層31から所定フレームレートで出力される画像信号を積算していく。長時間露光制御部112は、画像処理部14により積算された画像信号が飽和する直前のレベルに達すると露光終了のトリガとして、下部光電変換層32の露光を終了させる。これにより、デジタルカメラ1は、撮影画面の明るさの変化によらず、下部光電変換層32から出力される画像信号の飽和を防止し、白飛びを抑えた長時間露光画像を得ることができる。
【0041】
このようにして下部光電変換層32の露光が終了されると、画像処理部14は、下部光電変換層32から出力された画像信号に基づいて静止画データを生成し、メモリカード17に記録する。
【0042】
以上説明した実施形態によれば、次の作用効果が得られる。
(1)デジタルカメラ1において、駆動制御部111は、上部光電変換層31を動画モードで駆動させて動画撮影を行い、動画撮影中にレリーズボタンが押下されて静止画撮影が指示されると、上部光電変換層31を動画モードで駆動させたまま、下部光電変換層32を静止画モードで駆動させて静止画撮影を行うようにした。これにより、本実施形態のデジタルカメラ1は、従来のデジタルカメラと比較して、静止画撮影が指示されてから実際に静止画撮影が行われるまでのタイムラグを減らすことができる。また、静止画撮影を行っている間における動画のコマ落ちを生じさせないようにできる。
【0043】
(2)デジタルカメラ1において、上部光電変換層31は有機光電膜で構成され、下部光電変換層32はフォトダイオードで構成され、上部光電変換層31を動画モードで駆動させ、下部光電変換層32を静止画モードで駆動させるようにした。フォトダイオードで構成された光電変換層では有機光電膜で構成された光電変換層に対して比較的ノイズが小さいため、このように下部光電変換層32からの出力信号を静止画に利用することで、静止画のノイズを減らすことができる。また、動画は静止画よりもノイズが目立ちにくいので、このように上部光電変換層31からの出力信号を動画に利用する方が好ましい。また、RGB画像信号は色再現性がよいので、このように下部光電変換層32から出力されたRGB画像信号を静止画に利用することで、静止画の色再現性をよくすることができる。
【0044】
(3)デジタルカメラ1において、長時間露光制御部112は、下部光電変換層32の長時間露光の際、上部光電変換層31からの出力信号に基づいて、下部光電変換層32の長時間露光の終了タイミングを決定するようにした。これにより、長時間露光中に撮影画面の明るさが変化しても、適切な露光量の長時間露光画像を得ることができる。
【0045】
(4)デジタルカメラ1において、表示制御部113は、下部光電変換層32の長時間露光の際、上部光電変換層31からの出力信号に基づく表示用の画像を、スルー画として液晶モニタ15に表示させるようにした。これにより、長時間露光撮影中であっても、ユーザに撮影範囲を確認させることができる。
【0046】
(変形例1)
長時間露光撮影を行う状況では、撮影画面が暗い場合がある。このような場合、上述した長時間露光撮影モードにおいて、動画モードで駆動される上部光電変換層31からの画像信号に基づくスルー画が暗くなってしまい、ユーザにとって見難くなる可能性がある。そこで、このような場合には、上部光電変換層31から出力される画像信号のゲインを上げて画像信号の出力値を上げることで、当該画像信号に基づくスルー画が見やすくなるようにしてもよい。
【0047】
(変形例2)
デジタルカメラ1は、通常の静止画撮影モードにおいて、上部光電変換層31を動画モードで駆動させ、上部光電変換層31からの出力信号に基づいてスルー画を液晶モニタ15に表示するようにしてもよい。そして、レリーズボタンが押下されたら、下部光電変換層32を静止画モードで駆動させ、下部光電変換層32からの出力信号に基づく静止画データをメモリカード17に記録するようにしてもよい。
【0048】
(変形例3)
上述した実施形態では、長時間露光撮影において下部光電変換層32の露光を自動で終了させるようにしたが、これに限らなくてよく、ユーザの操作部13に対する操作に応じて終了させてもよいし、予め設定された露光時間が経過したら終了してもよい。
【0049】
(変形例4)
上述した実施形態では、上部光電変換層31を動画モードで駆動させ、下部光電変換層32を静止画モードで駆動させたが、これに限らなくてよく、上部光電変換層31を静止画モードで駆動させ、下部光電変換層32を動画モードで駆動させてもよい。
【0050】
(変形例5)
上述した実施の形態では、2層の光電変換層(上部光電変換層31および下部光電変換層32)が積層された撮像素子21を用いる例について説明したが、2層に限らず、3層以上の光電変換層が積層された撮像素子を用いるようにしてもよい。
【0051】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。