特開2019-86785(P2019-86785A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニコンの特許一覧
<>
  • 特開2019086785-撮像素子および撮像装置 図000003
  • 特開2019086785-撮像素子および撮像装置 図000004
  • 特開2019086785-撮像素子および撮像装置 図000005
  • 特開2019086785-撮像素子および撮像装置 図000006
  • 特開2019086785-撮像素子および撮像装置 図000007
  • 特開2019086785-撮像素子および撮像装置 図000008
  • 特開2019086785-撮像素子および撮像装置 図000009
  • 特開2019086785-撮像素子および撮像装置 図000010
  • 特開2019086785-撮像素子および撮像装置 図000011
  • 特開2019086785-撮像素子および撮像装置 図000012
  • 特開2019086785-撮像素子および撮像装置 図000013
  • 特開2019086785-撮像素子および撮像装置 図000014
  • 特開2019086785-撮像素子および撮像装置 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-86785(P2019-86785A)
(43)【公開日】2019年6月6日
(54)【発明の名称】撮像素子および撮像装置
(51)【国際特許分類】
   G02B 7/34 20060101AFI20190517BHJP
   H04N 5/369 20110101ALI20190517BHJP
   H04N 5/225 20060101ALI20190517BHJP
   G02B 7/28 20060101ALI20190517BHJP
   G02B 7/36 20060101ALI20190517BHJP
   G03B 13/36 20060101ALI20190517BHJP
   H04N 5/232 20060101ALI20190517BHJP
【FI】
   G02B7/34
   H04N5/369
   H04N5/225 300
   G02B7/28 N
   G02B7/36
   G03B13/36
   H04N5/232 120
【審査請求】有
【請求項の数】6
【出願形態】OL
【全頁数】18
(21)【出願番号】特願2018-244753(P2018-244753)
(22)【出願日】2018年12月27日
(62)【分割の表示】特願2014-36663(P2014-36663)の分割
【原出願日】2014年2月27日
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100084412
【弁理士】
【氏名又は名称】永井 冬紀
(74)【代理人】
【識別番号】100146709
【弁理士】
【氏名又は名称】白石 直正
(72)【発明者】
【氏名】村田 寛信
【テーマコード(参考)】
2H011
2H151
5C024
5C122
【Fターム(参考)】
2H011BA23
2H011BA33
2H011BB02
2H151BA06
2H151BA47
2H151CB09
2H151CB22
2H151CB26
2H151CB29
2H151CE14
2H151CE15
2H151DA02
2H151DA42
2H151GB01
5C024AX01
5C024AX06
5C024CY17
5C024EX43
5C024GX03
5C024GX07
5C024GX14
5C024GY39
5C024GY41
5C122DA16
5C122EA12
5C122FB05
5C122FC06
5C122FD01
5C122FD07
(57)【要約】
【課題】赤外光を用いた瞳分割位相差方式の焦点検出を行い、且つ可視光画像を撮像すること。
【解決手段】撮像素子は、マイクロレンズと、マイクロレンズを透過した光を光電変換して電荷を生成し第1方向に配置される複数の第1光電変換部と、複数の第1光電変換部を透過した光を光電変換して電荷を生成する第2光電変換部と、複数の第1光電変換部で生成された電荷に基づく第1信号、および第2光電変換部で生成された電荷に基づく第2信号の少なくとも一方を出力する出力部と、を備える。
【選択図】図5
【特許請求の範囲】
【請求項1】
マイクロレンズと、
前記マイクロレンズを透過した光を光電変換して電荷を生成し、第1方向に配置される複数の第1光電変換部と、
複数の前記第1光電変換部を透過した光を光電変換して電荷を生成する第2光電変換部と、
複数の前記第1光電変換部で生成された電荷に基づく第1信号、および前記第2光電変換部で生成された電荷に基づく第2信号の少なくとも一方を出力する出力部と、
を備える撮像素子。
【請求項2】
請求項1に記載の撮像素子において、
前記第1方向と交差する第2方向に配置される複数の前記第2光電変換部を備え、
複数の前記第2光電変換部は、複数の前記第1光電変換部を透過した光を光電変換する撮像素子。
【請求項3】
請求項1または2に記載の撮像素子において、
前記第1光電変換部と前記第2光電変換部とを異なる電荷蓄積時間で制御する制御部を備える撮像素子。
【請求項4】
請求項1から3のいずれか一項に記載の撮像素子において、
前記第1光電変換部を透過した光を前記第2光電変換部に導光する導波路を備える撮像素子。
【請求項5】
請求項1から4のいずれか一項に記載の撮像素子と、
前記第1信号および前記第2信号の少なくとも一方に基づいて、光学系による像が前記撮像素子に合焦する合焦位置の検出を行う検出部と、
を備える撮像装置。
【請求項6】
請求項5に記載の撮像装置において、
前記検出部は、前記第1信号に基づいて前記合焦位置が検出できないと前記第2信号に基づいて前記合焦位置を検出し、前記第2信号に基づいて前記合焦位置が検出できないと前記第1信号に基づいて前記合焦位置を検出する撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子および撮像装置に関する。
【背景技術】
【0002】
可視光(RGB)を光電変換する光電変換部を有する半導体基板の上方に、赤外光を吸収して光電変換する光電変換膜が配置され、可視光画像の撮影と赤外光画像の撮影とを同時に行えるように構成された撮像素子が知られている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2012−169676号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来技術では、瞳分割位相差方式による焦点検出を行うことはできなかった。
【課題を解決するための手段】
【0005】
第1の態様の撮像素子は、マイクロレンズと、前記マイクロレンズを透過した光を光電変換して電荷を生成し、第1方向に配置される複数の第1光電変換部と、複数の前記第1光電変換部を透過した光を光電変換して電荷を生成する第2光電変換部と、複数の前記第1光電変換部で生成された電荷に基づく第1信号、および前記第2光電変換部で生成された電荷に基づく第2信号の少なくとも一方を出力する出力部と、を備える。
第2の態様の撮像装置は、第1の態様の撮像素子と、前記第1信号および前記第2信号の少なくとも一方に基づいて、光学系による像が前記撮像素子に合焦する合焦位置の検出を行う検出部と、を備える。
【発明の効果】
【0006】
本発明によれば、赤外光を用いた瞳分割位相差方式の焦点検出を行うことができ、且つ可視光画像を撮像することができる。
【図面の簡単な説明】
【0007】
図1】デジタルカメラの構成例を説明するブロック図である。
図2】撮像部の概要を説明する図である。
図3】(a)はカラーフィルターの配置例を説明する図であり、(b)は第2撮像素子の各画素の出力を説明する図であり、(c)は第1撮像素子の各画素の出力を説明する図である。
図4】第1の実施の形態において、(a)は撮像部の半導体レイアウトの一例を説明する図であり、(b)は撮像部を切断線A−Bで切断したときの断面図であり、(c)は撮像部を切断線C−Dで切断したときの断面図である。
図5】(a)は撮像部を切断線A−Bで切断したときの断面図であり、(b)は第2撮像素子における切断線A−Bの画素位置を説明する図である。
図6】(a)は撮像部を切断線C−Dで切断したときの断面図であり、(b)は第2撮像素子における切断線C−Dの画素位置を説明する図である。
図7図6(a)の一部を拡大した図である。
図8】撮像部における1つの画素の回路構成を例示する図である。
図9】焦点検出処理の流れを説明するフローチャートである。
図10】撮影処理の流れを説明するフローチャートである。
図11】第2の実施の形態において、(a)は撮像部の半導体レイアウトの一例を説明する図であり、(b)は撮像部を切断線A−Bで切断したときの断面図であり、(c)は撮像部を切断線C−Dで切断したときの断面図である。
図12】変形例による撮像部を切断線C−Dで切断したときの断面図である。
図13】変形例による撮像部の概要を説明する図である。
【発明を実施するための形態】
【0008】
(第1の実施の形態)
図1は、本発明の第1の実施の形態によるデジタルカメラ1の構成を例示する図である。デジタルカメラ1は、撮影光学系10、制御部11、撮像部12、操作部13、液晶モニタ15、およびバッファメモリ16を有する。また、デジタルカメラ1には、メモリカード17が装着されている。
【0009】
撮影光学系10は、複数のレンズにより構成され、撮像部12の撮像面に被写体像を結像させる。撮影光学系10を構成する複数のレンズには、ピント位置を調節するために光軸方向に駆動されるフォーカスレンズが含まれる。フォーカスレンズは、不図示のレンズ駆動部により光軸方向に駆動される。
【0010】
制御部11は、マイクロプロセッサおよびその周辺回路から構成され、不図示のROMに格納された制御プログラムを実行することにより、デジタルカメラ1の各種の制御を行う。また、制御部11は、焦点検出部11aと、画像生成部11bとを機能的に有する。これらの各機能部は、上記の制御プログラムによりソフトウェア的に実装される。なお、これらの各機能部を電子回路により構成することも可能である。
【0011】
焦点検出部11aは、撮像部12からの出力信号に基づき、撮影光学系10の焦点調節状態を検出する。画像生成部11bは、撮像部12からの出力信号に基づき、カラー画像信号を生成する。
【0012】
撮影光学系10によって撮像部12上に結像された被写体像は、撮像部12によって光電変換される。撮像部12からの出力信号は、不図示のA/D変換部でデジタル画像信号に変換され、バッファメモリ16に格納される。
【0013】
バッファメモリ16に格納されたデジタル画像信号は、各種の画像処理が行われた後、液晶モニタ15に表示されたり、メモリカード17に格納されたりする。メモリカード17は、不揮発性のフラッシュメモリなどから構成され、デジタルカメラ1に対して着脱可能である。
【0014】
操作部13は、レリーズボタンやモード切り替えボタン、電源ボタンなど各種の操作ボタンから構成され、撮影者により操作される。操作部13は、撮影者による上記の各操作ボタンの操作に応じた操作信号を制御部11へ出力する。
【0015】
<撮像部の説明>
図2は、本実施形態に係る撮像部12の概要を示す図である。なお、図2では、撮像部12の光入射側を上側とした状態を示している。このため、以下の説明では、撮像部12の光入射側の方向を「上方」または「上」とし、光入射側に対して反対側の方向を「下方」または「下」とする。撮像部12は、第1撮像素子31と、第1撮像素子31の光入射側(上側)で同一光路上に配置された第2撮像素子32とを有する。第2撮像素子32は、赤外光を吸収(光電変換)する有機光電膜で構成される。第2撮像素子32で吸収(光電変換)されなかった可視光は、第2撮像素子32を透過して第1撮像素子31に入射し、第1撮像素子31で光電変換される。第1撮像素子31は、フォトダイオードにより光電変換を行う。第2撮像素子32と第1撮像素子31とは同一の半導体基板上に形成され、各画素位置は一対一に対応する。たとえば第2撮像素子32の1行1列目の画素は、第1撮像素子31の1行1列目の画素に対応する。
【0016】
図3(a)は、第2撮像素子32の上方に設けられるカラーフィルターCFの配置を示す。図3(b)は、第2撮像素子32の各画素の出力を示す。図3(c)は、第1撮像素子31の各画素の出力を示す。図3(a)〜(c)において、横方向をx軸、縦方向をy軸とし、画素Pの座標をP(x,y)と表記する。
【0017】
第2撮像素子32の上方には、図3(a)に示すように、赤(R)、緑(G)、青(B)の3色をそれぞれ透過するカラーフィルターCFがいわゆるベイヤ配列で設けられている。このカラーフィルターCFは、RGBいずれかの光のほか、赤外光も透過するように構成されている。なお、カラーフィルターCFの上方には赤外フィルターは設けられていない。具体的には、画素P(1,1)の上方に配置されたカラーフィルターCF(1,1)は、Gの光と赤外光とを透過する。このため、第2撮像素子の画素P(1,1)にはGの光と赤外光が入射される。同様に、画素P(2,1)の上方に配置されたカラーフィルターCF(2,1)は、Bの光と赤外光とを透過する。このため、第2撮像素子の画素P(2,1)にはBの光と赤外光が入射される。
【0018】
図3(b)に示す第2撮像素子32では、各画素Pを、赤外光を光電変換する有機光電膜としている。そのため、各画素Pで赤外光が吸収され、可視光が透過される。たとえば、赤外光およびGの光が入射される画素P(1,1)は、赤外光(IR)を光電変換してGの光を透過する。同様に、赤外光およびBの光が入射される画素P(2,1)は、赤外光(IR)を光電変換してBの光を透過する。赤外光およびRの光が入射される画素P(1,2)は、赤外光(IR)を光電変換してRの光を透過する。また、詳しくは後述するが、第2撮像素子32の各画素Pは、瞳分割位相差方式に対応する焦点検出用画素で構成される。
【0019】
図3(c)に示す第1撮像素子31では、各画素Pにおいて、第2撮像素子32を透過する可視光を光電変換する。第1撮像素子31において、たとえばGの光が入射される画素P(1,1)ではG成分の画像信号が得られる。同様に、Bの光が入射される画素P(2,1)ではB成分の画像信号、Rの光が入射される画素P(1,2)ではR成分の画像信号がそれぞれ得られる。
【0020】
このように、本実施形態に係る撮像部12では、有機光電膜で構成される第2撮像素子32が第1撮像素子31に対して赤外フィルターの役割を果たす。したがって、従来のデジタルカメラにおいて撮像素子の手前に設置していた赤外フィルターを省略することができる。
【0021】
また、本実施形態に係る撮像部12では、第1撮像素子31に撮像用画素を配置し、第2撮像素子32に焦点検出用画素を全面に均等に配置している。したがって、撮像用画素の一部に焦点検出用画素を配置する従来技術のように複雑な画素補間処理を行う必要がなく、第2撮像素子32からは赤外光による焦点検出用信号、第1撮像素子31からは可視光によるカラー(RGB)画像信号をそれぞれ独立して得ることができる。なお、撮像部12では、第1撮像素子31と第2撮像素子32とがそれぞれ独立に駆動できるように構成されているので、自由度の高い蓄積時間制御が可能となっている。
【0022】
図4(a)は、撮像部12の半導体レイアウトの一例である。尚、図4(a)は、先に説明した図3の各画素P(1,1)から画素P(2,2)に対応する。図4(b)および図5(a)は、図4(a)の画素P(1,1)および画素(2,1)を水平方向に切断線A−Bで切断したときの断面図である。また、図5(b)は、第2撮像素子32における切断線A−Bの画素位置がわかり易いように描いた図である。切断線A−Bは、光電変換部PC_A(1,1)およびPC_A(2,1)の部分を切断する。図4(c)および図6(a)は、図4(a)の画素P(2,1)および画素(2,2)を垂直方向に切断線C−Dで切断したときの断面図である。また、図6(b)は、第2撮像素子32における切断線C−Dの画素位置がわかり易いように描いた図である。切断線C−Dは、光電変換部PC_A(2,1),PC_B(2,1),PC_A(2,2)およびPC_B(2,2)の部分を切断する。図7は、図6(a)の一部を拡大した図である。
【0023】
図5に示すように、第1撮像素子31は、いわゆる表面照射型の撮像素子であり、半導体基板50の表面側に入射した光をフォトダイオードPDにより光電変換し、半導体基板50の表面側に形成された配線層51を介して光電変換信号を出力する。有機光電膜を用いた第2撮像素子32は、第1撮像素子31の上記表面側に積層配置される。また、第2撮像素子32の上方(すなわち第1撮像素子31とは反対側)には、複数のマイクロレンズMLが二次元状に配列されたマイクロレンズアレイが積層配置されている。第1撮像素子31および第2撮像素子32の各画素は、マイクロレンズMLの各々に対応して設けられている。また、第2撮像素子32の各画素と各マイクロレンズMLとの間には、上述したカラーフィルターCFが配置されている。
【0024】
第2撮像素子32から出力される光電変換信号は、配線層51を介して信号出力端52から取り出される。信号出力端52の両側は分離層53,54が配置されている。また、分離層53,54を隔ててフォトダイオードPD(1,1)およびPD(2,1)が配置されている。第1撮像素子31の各画素Pは、撮像用画素であり、1つの撮像用画素に対して1つのフォトダイオードPDが設けられている。なお、図4図6では、配線層51は3層構造になっているが2層構造であってもよい。
【0025】
また、図6に示すように、第2撮像素子32の各画素Pは、焦点検出用画素であり、1つの画素Pが図中縦方向に2分割され、1つの画素Pにつき2つの光電変換部PC_AおよびPC_Bが設けられている。たとえば、画素P(2,1)には、光電変換部PC_A(2,1)と光電変換部PC_B(2,1)が設けられている。具体的には、図7に示すように、画素P(2,1)では、共通電極uと部分電極d_A(2,1)との間に有機光電膜mを挟んで光電変換部PC_A(2,1)が構成される。また、共通電極uと部分電極d_B(2,1)との間に有機光電膜mを挟んで光電変換部PC_B(2,1)が構成される。なお、共通電極uはマイクロレンズML側に配置され、部分電極d_A,d_Bは第1撮像素子31側に配置される。また、共通電極uと部分電極d_A,d_Bは透明電極である。部分電極d_A(2,1)は、マイクロレンズML(2,1)の中心O(2,1)に対して図中上側に設けられ、部分電極d_B(2,1)は、マイクロレンズML(2,1)の中心O(2,1)に対して図中下側に設けられる。部分電極d_A(2,1)と部分電極d_B(2,1)とは、互いに接しないように、それぞれマイクロレンズML(2,1)の中心O(2,1)から若干の間隔をおいて設けられる。他の画素Pについても同様に構成される。
【0026】
第2撮像素子32の各画素Pは、光電変換部PC_Aと光電変換部PC_Bとにより撮影光学系10の一対の瞳領域をそれぞれ通過した一対の光束をそれぞれ受光し、瞳分割位相差方式により撮影光学系10の焦点調節状態を検出するための焦点検出信号を出力する。ここで、図5(a)の配線層51は、図6(a)において、配線層51Aと配線層51Bとに対応する。配線層51Aは有機光電膜の光電変換部PC_A(2,1)の信号を信号出力端52Aに出力し、配線層51Bは有機光電膜の光電変換部PC_B(2,1)の信号を信号出力端52Bに出力する。図5(a)の配線層51では、配線層51Aと配線層51Bとが重なっているため1つしか見えていない。
【0027】
第1撮像素子31および第2撮像素子32の同じ位置の画素Pは、同一のマイクロレンズMLから入射する被写体光を受光する。たとえば、図5に示すように、画素P(1,1)に対応するマイクロレンズML(1,1)から入射された被写体光のうち、赤外光およびGの光はカラーフィルターCF(1,1)を透過し、RおよびBの光はカラーフィルターCF(1,1)により遮蔽される。第2撮像素子32において、画素P(1,1)の光電変換部を構成する有機光電膜による光電変換部PC_A(1,1)および光電変換部PC_B(1,1)は、カラーフィルターCF(1,1)を透過した赤外光を光電変換し、Gの光を透過する。第1撮像素子31において、画素P(1,1)を構成するフォトダイオードPD(1,1)は、光電変換部PC(1,1)を透過したGの光を受光して光電変換する。
【0028】
また、図5に示すように、第2撮像素子32と第1撮像素子31との間には、第1撮像素子31の隣接する画素間の境界部分(信号出力端52および分離層53,54)の上に、配線層51を内部に含む平坦化層55が形成されている。さらに、第2撮像素子32と第1撮像素子31との間には、第1撮像素子31の各画素PのフォトダイオードPDの上に、平坦化層55よりも高屈折率の材料で構成された光導波路56が形成されている。光導波路56は、第2撮像素子32の各画素Pを透過した可視光を、光導波路56と平坦化層55との境界面57で全反射させ、第1撮像素子31の各画素PのフォトダイオードPDに導光する。また、光導波路56の第2撮像素子32側の寸法は、第1撮像素子31側(フォトダイオードPD側)の寸法よりも大きくなっている。以上のような構成により、第2撮像素子32の各画素を透過した光束同士でクロストークが発生して、第1撮像素子31の1つの画素に第2撮像素子32の複数の画素を通過した光束が入射するのを防止することができる。すなわち、第2撮像素子32および第1撮像素子31の同じ位置の画素が、同一のマイクロレンズMLからの入射光を受光することができる。
【0029】
図8は、撮像部12における1つの画素P(x,y)の回路構成を例示する図である。画素P(x,y)は、第1撮像素子31を構成するための回路として、フォトダイオードPDと、転送トランジスタTxと、リセットトランジスタRと、出力トランジスタSFと、選択トランジスタSELとを有する。フォトダイオードPDは、入射光の光量に応じた電荷を蓄積する。転送トランジスタTxは、フォトダイオードPDに蓄積された電荷を出力トランジスタSF側の浮遊拡散領域(FD部)に転送する。出力トランジスタSFは選択トランジスタSELを介して電流源PWとソースホロワを構成し、FD部に蓄積された電荷に応じた電気信号を出力信号OUTとして垂直信号線VLINEに出力する。なお、リセットトランジスタRは、FD部の電荷を電源電圧Vccにリセットする。
【0030】
また、画素P(x,y)は、第2撮像素子32を構成するための回路として、有機光電膜による光電変換部PC_A,PC_Bと、リセットトランジスタR_A,R_Bと、出力トランジスタSF_A,SF_Bと、選択トランジスタSEL_A,SEL_Bとを有する。有機光電膜による光電変換部PC_A,PC_Bは、非透過光を光量に応じた電気信号に変換し、選択トランジスタSEL_A,SEL_Bを介して電流源PW_AおよびPW_Bとそれぞれソースホロワを構成する出力トランジスタSF_A,SF_Bを介して出力信号OUT_A,OUT_Bとして垂直信号線VLINE_A,VLINE_Bにそれぞれ出力する。なお、リセットトランジスタR_A,R_Bは、光電変換部PC_A,PC_Bの出力信号をリファレンス電圧Vrefにリセットする。また、有機光電膜の動作用として高電圧Vpcが与えられている。各トランジスタはMOS_FETで構成される。
【0031】
ここで、第1撮像素子31に係る回路の動作について説明する。まず、選択信号φSELが”High”になると、選択トランジスタSELがオンする。次に、リセット信号φRが”High”になると、FD部で電源電圧Vccにリセットされ、出力信号OUTもリセットレベルになる。そして、リセット信号φRが”Low”になった後、転送信号φTxが”High”になり、フォトダイオードPDに蓄積された電荷がFD部に転送され、出力信号OUTが電荷量に応じて変化し始め、安定する。そして、転送信号φTxが”Low”になり、画素から垂直信号線VLINEに読み出される出力信号OUTの信号レベルが確定する。そして、垂直信号線VLINEに読み出された各画素の出力信号OUTは、不図示の水平出力回路に行毎に一時的に保持された後、撮像部12から出力される。このようにして、撮像部12の第1撮像素子31の各画素から信号が読み出される。
【0032】
また、第2撮像素子32に係る回路の動作について説明する。まず、選択信号φSEL_A(またはφSEL_B)が”High”になると、選択トランジスタSEL_A(またはSEL_B)がオンする。次にリセット信号φR_A(またはφR_B)が”High”になり、出力信号OUT_A(またはφOUT_B)もリセットレベルになる。そして、リセット信号φR_A(またはφR_B)が”Low”になった直後から有機光電膜による光電変換部PC_A(またはPC_B)の電荷蓄積が開始され、電荷量に応じて出力信号OUT_A(または出力信号OUT_B)が変化する。そして、出力信号OUT_A(または出力信号OUT_B)が不図示の水平出力回路に行毎に一時的に保持された後、撮像部12から出力される。このようにして、撮像部12の第2撮像素子32の各画素から信号が読み出される。
【0033】
<焦点検出処理>
次に、制御部11により実行される焦点検出処理の流れを、図9に示すフローチャートを用いて説明する。図9に示す焦点検出処理は、制御部11が実行する制御プログラムに含まれる。撮影者により所定の焦点検出操作(例えばレリーズボタンを半押しする操作など)が行われると、制御部11は、図9に示す焦点検出処理を開始する。
【0034】
まず、ステップS1で撮像部12に被写体像を撮像させる。これにより、第1撮像素子31および第2撮像素子32のそれぞれから光電変換信号が出力される。
【0035】
ステップS2において、焦点検出部11aは、第2撮像素子32から出力された赤外光による焦点検出信号に基づいて、瞳分割位相差方式による焦点検出処理を実行し、撮影光学系10の焦点調節状態を示すデフォーカス量を算出する。なお、瞳分割位相差方式による焦点検出処理については周知技術であるため、詳細な説明は省略する。
【0036】
ステップS3において、制御部11は、ステップS2の焦点検出処理によってデフォーカス量が算出できたか、すなわち焦点検出できたかを判定する。焦点検出できた場合には、制御部11は、ステップS3を肯定判定してステップS4へ進む。一方、焦点検出できなかった場合には、制御部11は、ステップS3を否定判定してステップS6へ進む。
【0037】
ステップS4において、焦点検出部11aは、ステップS2で算出されたデフォーカス量に基づいて、不図示のレンズ駆動部を制御して、撮影光学系10のフォーカスレンズを駆動させ、合焦位置へ移動させる。
【0038】
ステップS5において、制御部11は、焦点検出処理の終了が指示されたか否かを判定する。焦点検出処理の終了が指示された場合にはステップS5を肯定判定して、制御部11は、焦点検出処理を終了する。一方、焦点検出処理の終了が指示されていない場合にはステップS5を否定判定して、制御部11は、ステップS1に戻る。
【0039】
ステップS3が否定判定された場合に進むステップS6において、焦点検出部11aは、第2撮像素子32の各画素Pにおいて、隣接する2つの光電変換部PC_A,PC_Bから出力される光電変換信号を加算して、1つの画素Pにつき1つの信号を生成する。これにより、第2撮像素子32で撮像された赤外光画像を取得することができる。
【0040】
ステップS7において、焦点検出部11aは、ステップS6で取得した赤外光画像に基づいて、コントラスト方式による焦点検出処理を実行する。具体的には、焦点検出部11aは、取得した赤外光画像に基づいて、焦点評価値(コントラスト値)を演算する。なお、コントラスト方式を簡単に説明すると、フォーカスレンズを駆動させながら周期的に被写体像を撮像し、フォーカスレンズの位置ごとの被写体像のコントラスト量を調べ、コントラスト量が極大となるフォーカスレンズの位置を合焦位置として特定する方式である。
【0041】
ステップS8において、焦点検出部11aは、ステップS7で演算した焦点評価値に基づいてフォーカスレンズが合焦位置にあるか、すなわち焦点検出されたかを判定する。フォーカスレンズが合焦位置にあると判定された場合には、制御部11は、ステップS8を肯定判定して、ステップS5へ進む。一方、フォーカスレンズが合焦位置にないと判定された場合、または、赤外光信号による焦点検出を行えないと判定された場合には、制御部11は、ステップS8を否定判定して、ステップS9へ進む。
【0042】
ステップS9において、焦点検出部11aは赤外光信号による焦点検出が可能か否かを判定する。赤外光信号で焦点検出できない、もしくは精度が足りない、もしくは可視光での焦点検出が必要であると判定された場合には、制御部11は、ステップS9を否定判定してステップS11へ進む。一方、赤外光信号による焦点検出が可能であると判定された場合には、制御部11は、ステップS9を肯定判定してステップS10へ進む。
【0043】
ステップS10において、焦点検出部11aは、いわゆる山登り動作によって合焦位置を探索するために、不図示のレンズ駆動部を制御して、フォーカスレンズを所定方向に所定量だけ駆動させて、ステップS6に戻る。すなわち、焦点検出部11aは、ステップS6〜S10を繰り返して、焦点評価値が極大となるフォーカスレンズの位置、すなわち合焦位置を探索して、合焦位置にフォーカスレンズを駆動させる。
【0044】
ステップS9が否定判定された場合に進むステップS11において、焦点検出部11aは、第1撮像素子31で撮像された可視光画像に基づいて、コントラスト方式による焦点検出処理を実行する。具体的には、焦点検出部11aは、取得した可視光画像に基づいて、焦点評価値(コントラスト値)を演算する。
【0045】
ステップS12において、焦点検出部11aは、ステップS11で演算した焦点評価値に基づいて、フォーカスレンズが合焦位置にあるか、すなわち焦点検出されたかを判定する。フォーカスレンズが合焦位置にあると判定された場合には、制御部11は、ステップS12を肯定判定して、ステップS5へ進む。一方、フォーカスレンズが合焦位置にないと判定された場合には、制御部11は、ステップS12を否定判定して、ステップS13へ進む。
【0046】
ステップS13において、焦点検出部11aは、いわゆる山登り動作によって合焦位置を探索するために、不図示のレンズ駆動部を制御して、フォーカスレンズを所定方向に所定量だけ駆動させて、ステップS11に戻る。すなわち、焦点検出部11aは、ステップS11〜S13を繰り返して、焦点評価値が極大となるフォーカスレンズの位置、すなわち合焦位置を探索して、合焦位置にフォーカスレンズを駆動させる。
【0047】
このように、本実施形態のデジタルカメラ1では、撮像部12からの出力信号に基づいて以下の3種類の焦点検出処理を行うことができ、以下の3種類の焦点検出処理を適宜使い分けることができる。
(1)第2撮像素子32からの赤外光信号に基づく瞳分割位相差方式による焦点検出処理
(2)第2撮像素子32からの赤外光信号に基づくコントラスト方式による焦点検出処理
(3)第1撮像素子31からの可視光信号に基づくコントラスト方式による焦点検出処理
【0048】
<撮影処理>
図10は、制御部11が実行する撮影処理の流れを説明するフローチャートである。制御部11は、メインスイッチがオン操作されると、撮像部12に所定のフレームレートで光電変換を開始させ、画像信号に基づくスルー画像を液晶モニタ15に逐次再生表示させると共に、図10に例示した処理を実行するプログラムを起動する。なお、スルー画像は、撮影指示前に取得するモニタ用の画像である。
【0049】
図10のステップS21において、制御部11は、撮影指示が行われたか否かを判定する。制御部11は、レリーズボタンが押下操作されると、ステップS21を肯定判定してステップS22へ進む。制御部11は、レリーズボタンが押下操作されない場合には、ステップS21を否定判定してステップS28へ進む。
【0050】
ステップS28において、制御部11は、タイムアップか否かを判定する。制御部11は、所定時間(たとえば、5秒)を計時した場合にステップS28を肯定判定して図9による処理を終了する。制御部11は、計時時間が所定時間に満たない場合には、ステップS28を否定判定してステップS21へ戻る。
【0051】
ステップS22において、制御部11は、AE処理およびAF処理を行う。AE処理では、上記スルー画像用の画像信号のレベルに基づいて露出演算を行い、適正露出が得られるように絞り値AVとシャッター速度TVを決定する。AF処理は、設定されている焦点検出エリアに含まれる画素列からの出力信号列に基づいて、上述した焦点検出処理を行ってフォーカス調節をする。制御部11は、以上のAE、AF処理を行うとステップS23へ進む。
【0052】
ステップS23において、制御部11は撮影処理を行ってステップS24へ進む。具体的には、上記AVに基づいて不図示の絞りを制御し、上記TVに基づく蓄積時間で撮像部12に記録用の光電変換を行わせる。
【0053】
ステップS24において、制御部11の画像生成部11bは、第1撮像素子31からの出力信号を用いて画像信号を生成する。上述したように第1撮像素子31からはいわゆるベイヤ配列の画像信号を取得することができるので、画像生成部11bは、公知の色補間処理を用いて第1撮像素子31の出力信号からRGB3色のカラー画像信号を生成することができる。さらに画像生成部11bは、生成したカラー画像信号に対して所定の画像処理(階調変換処理、輪郭強調処理、ホワイトバランス調整処理など)を行う。
【0054】
ステップS25において、制御部11は、ステップS24の画像処理後の撮影画像を液晶モニタ15に表示させて、ステップS26へ進む。
【0055】
ステップS26において、制御部11は、ステップS24の画像処理後の撮影画像を記録するための画像ファイルを生成し、ステップS27へ進む。
【0056】
ステップS27において、制御部11は、ステップS26で生成した画像ファイルをメモリカード17に記録して、撮影処理を終了する。
【0057】
以上説明した実施形態によれば、次の作用効果が得られる。
デジタルカメラ1の撮像部12は、半導体基板50の表面側に入射した光を光電変換して光電変換信号を生成し、半導体基板50の表面側に形成された配線層51を介して光電変換信号を出力する第1撮像素子31を備える。また、撮像部12は、第1撮像素子31の半導体基板50の表面側に積層配置され、赤外光を吸収し可視光を透過する有機光電膜を用いて赤外光を光電変換して光電変換信号を生成し、配線層51を介して光電変換信号を出力する第2撮像素子32を備える。また、撮像部12は、第2撮像素子32の第1撮像素子31とは反対側に積層配置され、複数のマイクロレンズMLが二次元状に配列されたマイクロレンズアレイを備える。第1撮像素子31は、マイクロレンズMLの各々に対応して設けられた撮像用画素を複数有する。第2撮像素子32は、マイクロレンズMLの各々に対応して設けられた焦点検出用画素を複数有する。焦点検出用画素は、瞳分割位相差方式により撮影光学系10の焦点調節状態を検出するための焦点検出信号を出力する焦点検出用の画素である。第2撮像素子32と第1撮像素子31との間には、第2撮像素子32の焦点検出用画素を透過した可視光を第1撮像素子31の撮像用画素に導光する光導波路56が形成されている。このような構成により、第2撮像素子32からの赤外光の焦点検出信号に基づいて、高速且つ高精度な瞳分割位相差方式による焦点検出を行うことができる。赤外光により焦点検出を行うので、暗視野、低輝度時にも焦点検出精度を高めることができる。さらに、第2撮像素子32の各焦点検出用画素を透過した光束同士でクロストークが発生するのを防止することができ、第1撮像素子31により可視光画像を適切に撮像することができる。
【0058】
(第2の実施の形態)
次に、本発明の第2の実施の形態を説明する。以下の説明では、第2の実施形態における撮像部112について、第1の実施形態と異なっている点を主に説明し、第1の実施形態と同様の構成については説明を省略する。
【0059】
図11を用いて第2の実施の形態による撮像部112の構成について説明する。図11(a)は、撮像部112の半導体レイアウトの一例である。尚、図11(a)は、先に説明した図3の各画素P(1,1)から画素P(2,2)に対応する。図11(b)は、図11(a)の画素P(1,1)および画素(2,1)を水平方向に切断線A−Bで切断したときの断面図である。図11(c)は、図11(a)の画素P(2,1)および画素(2,2)を垂直方向に切断線C−Dで切断したときの断面図である。
【0060】
第1の実施の形態と異なり、第2の実施の形態における第1撮像素子131は、いわゆる裏面照射型の撮像素子である。したがって第1撮像素子131は、半導体基板150の裏面側に入射した光をフォトダイオードPDにより光電変換して光電変換信号を生成し、半導体基板150の表面側に形成された配線層151を介して上記光電変換信号を出力する。第1の実施の形態と同様の有機光電膜を用いた第2撮像素子132は、第1撮像素子131の上記裏面側に積層配置される。第1の実施の形態と同様に、第2撮像素子132の上方(すなわち第1撮像素子131とは反対側)には、複数のマイクロレンズMLが二次元状に配列されたマイクロレンズアレイが積層配置されている。また、第2撮像素子132の各画素と各マイクロレンズMLとの間には、第1の実施の形態と同様に、カラーフィルターCFが配置されている。
【0061】
第1撮像素子131の半導体基板150には、第2撮像素子132と配線層151とを接続するための貫通ビア(シリコン貫通電極(TSV:Through Silicon Via))152が形成されている。第2撮像素子132から出力される光電変換信号は、貫通ビア152を介して配線層151から出力される。貫通ビア152は、第2撮像素子132の各画素Pの各光電変換部PC_A,PC_B(部分電極d_A,d_B)ごとに設けられている。
【0062】
第2の実施の形態の撮像部112では、第1撮像素子131を裏面照射型で構成したので、第1の実施の形態と異なり、第2撮像素子132と第1撮像素子131の受光面との間に配線層が設けられていない。したがって、第2の実施の形態では、第1の実施形態と比べて第2撮像素子132と第1撮像素子131の受光面との間の距離を短くできるので、第2撮像素子132の各画素を透過した光束同士でクロストークが発生して、第1撮像素子31の1つの画素に第2撮像素子132の複数の画素を通過した光束が入射するのを防止することができる。すなわち、第2撮像素子132および第1撮像素子131の同じ位置の画素が、同一のマイクロレンズMLからの入射光を受光することができる。
【0063】
以上説明した実施形態によれば、次の作用効果が得られる。
撮像部112は、半導体基板150の裏面側に入射した光を光電変換して光電変換信号を生成し、半導体基板150の表面側に形成された配線層151を介して光電変換信号を出力する裏面照射型の第1撮像素子131を備える。また、撮像部112は、第1撮像素子131の半導体基板150の裏面側に積層配置され、赤外光を吸収し可視光を透過する有機光電膜を用いて赤外光を光電変換して光電変換信号を生成し、配線層151を介して光電変換信号を出力する第2撮像素子132を備える。また、撮像部112は、第2撮像素子132の第1撮像素子131とは反対側に積層配置され、複数のマイクロレンズMLが二次元状に配列されたマイクロレンズアレイを備える。第1撮像素子131は、マイクロレンズMLの各々に対応して設けられた撮像用画素を複数有する。第2撮像素子132は、マイクロレンズMLの各々に対応して設けられた焦点検出用画素を複数有する。焦点検出用画素は、瞳分割位相差方式により撮影光学系10の焦点調節状態を検出するための焦点検出信号を出力する焦点検出用の画素である。このような構成により、第2撮像素子32からの赤外光の焦点検出信号に基づいて、高速且つ高精度な瞳分割位相差方式による焦点検出を行うことができる。さらに、第2撮像素子32の各焦点検出用画素を透過した光束同士でクロストークが発生するのを防止することができ、第1撮像素子31により可視光画像を適切に撮像することができる。
【0064】
(変形例1)
上述した実施の形態では、第2撮像素子32の焦点検出用画素の各々が2つの光電変換部PC_AおよびPC_Bを有し、光電変換部PC_Aが撮影光学系10の一対の瞳領域をそれぞれ通過した一対の光束のうちの一方を受光し、光電変換部PC_Bが、上記一対の光束のうちの他方を受光する例について説明した。
【0065】
しかしながら、焦点検出用画素は上記のような構成に限らなくてよく、たとえば、図12に示すように、光電変換部PC_Aのみを有する焦点検出用画素と、光電変換部PC_Bのみを有する焦点検出用画素が交互に配置されているようにしてもよい。たとえば、画素P(2,1)は、共通電極uと部分電極d_A(2,1)との間に有機光電膜mを挟んで構成された光電変換部PC_A(2,1)のみを有する。部分電極d_A(2,1)は、マイクロレンズML(2,1)の中心O(2,1)に対して図中上側に設けられる。また、画素P(2,2)は、共通電極uと部分電極d_B(2,2)との間に有機光電膜mを挟んで構成された光電変換部PC_B(2,2)のみを有する。部分電極d_B(2,2)は、マイクロレンズML(2,2)の中心O(2,2)に対して図中下側に設けられる。図12に示す構成では、部分電極d_Aおよび部分電極d_BをそれぞれマイクロレンズMLの中心Oから間隔を空けずに設けることができるので、上述した実施の形態の構成(図7)と比べて、光電変換部PC_Aおよび光電変換部PC_Bの面積を広くすることができる。
【0066】
なお、第2撮像素子32において、各焦点検出用画素における瞳分割方向は、上述した方向に限らなくてよく、縦方向、横方向、斜め方向のいずれであってもよいし、様々な方向の焦点検出用画素が混在するようにしてもよい。
【0067】
(変形例2)
上述した第2の実施の形態による撮像部112において、第1撮像素子131についても、瞳分割位相差方式の焦点検出を行えるようにしてもよい。すなわち、第1撮像素子131の各画素Pに2つのフォトダイオードPD_AおよびPD_Bを設け、2つのフォトダイオードPD_AおよびPD_Bが撮影光学系10の一対の瞳領域をそれぞれ通過した一対の光束をそれぞれ受光するように構成してもよい。第1撮像素子131には赤外光がカットされた光束が入射されるため、可視光での瞳分割位相差方式の焦点検出を行うことができる。また、この場合、たとえば、図13に示すように、第2撮像素子132においては各焦点検出用画素の瞳分割方向を縦方向とし、第1撮像素子131においては各焦点検出用画素の瞳分割方向を横方向とするなど、第2撮像素子132と第1撮像素子131とで瞳分割方向を変えるようにしてもよい。こうすることにより、たとえば、瞳分割方向が縦方向である方が焦点検出しやすい被写体の場合には第2撮像素子132からの出力信号を用いて焦点検出を行うことができる。一方、瞳分割方向が横方向である方が焦点検出しやすい被写体の場合には第1撮像素子131からの出力信号を用いて焦点検出を行うことができる。このように、第1撮像素子131と第2撮像素子132を適宜使い分けることができ、焦点検出精度を高めることができる。また、第1撮像素子131において瞳分割方向が縦方向の焦点検出用画素と横方向の焦点検出用画素とを混在させるようにしてもよいし、第2撮像素子132において瞳分割方向が縦方向の焦点検出用画素と横方向の焦点検出用画素とを混在させるようにしてもよい。
【0068】
(変形例3)
上述した実施の形態のデジタルカメラ1に、赤外線投光器を設けるようにしてもよい。赤外線投光器により赤外線を投光することにより、上述した赤外光による焦点検出処理においてさらに焦点検出精度を高めることができる。赤外線投光器は一様な赤外光を照射してもよいし、照射する赤外光にパターンを持たせてもよい。照射する赤外光にパターンを持たせる場合は、焦点検出を補助するような投影像としてもよいし、グリッド状に配置した多点像を投影してもよい。グリッド状に配置した多点像を投影する場合は、投影されたグリッドの歪量を演算することで、距離検出を行うこともできる。
【0069】
(変形例4)
上述した実施の形態では、第2撮像素子32の各焦点検出用画素において隣接する光電変換部同士の光電変換信号を加算することで赤外光画像を取得し、コントラスト方式による焦点検出に用いる例について説明したが、赤外光画像をこの他の用途に用いてもよい。たとえば、第1撮像素子31により撮像された可視光画像と第2撮像素子32により撮像された赤外光画像とを比較して、可視光画像上ではヘッドライトなどの強い光によって隠れた人物を赤外光画像上で検出するようにしてもよい。また、赤外光は波長が長く物体の最表面よりも深部の像が得られるため、人間の顔を撮影した赤外光画像に基づいて人間の肌の内部を解析して、たとえば、肌の内部に隠れたしみなどの検出を行うこともできる。
【0070】
(変形例5)
上述した実施の形態では、カラーフィルターの配置をベイヤ配列として、第1撮像素子31からベイヤ配列の画像信号を得られる例について説明したが、カラーフィルターの配置をこの他の配置としてもよい。また、R、G、Bの光をそれぞれ透過するカラーフィルターを配置する例について説明したが、これに限らなくてよく、たとえば、Cy、Mg、Yeの光をそれぞれ透過するカラーフィルターを配置するようにしてもよい。
【0071】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。各実施形態および変形例は、適宜組合せてもよい。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【0072】
1…デジタルカメラ、10…撮影光学系、11…制御部、11a…焦点検出部、11b…画像生成部、12,112…撮像部、31,131…第1撮像素子、32,132…第2撮像素子
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13