(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024111763
(43)【公開日】2024-08-19
(54)【発明の名称】撮像素子及び撮像装置
(51)【国際特許分類】
H04N 25/704 20230101AFI20240809BHJP
H04N 25/702 20230101ALI20240809BHJP
G03B 13/36 20210101ALI20240809BHJP
G02B 7/34 20210101ALI20240809BHJP
H04N 23/54 20230101ALI20240809BHJP
H04N 23/67 20230101ALI20240809BHJP
H01L 27/146 20060101ALI20240809BHJP
【FI】
H04N25/704
H04N25/702
G03B13/36
G02B7/34
H04N23/54
H04N23/67
H01L27/146 D
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023016462
(22)【出願日】2023-02-06
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(71)【出願人】
【識別番号】319006047
【氏名又は名称】シャープセミコンダクターイノベーション株式会社
(71)【出願人】
【識別番号】591053926
【氏名又は名称】一般財団法人NHKエンジニアリングシステム
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100161148
【弁理士】
【氏名又は名称】福尾 誠
(74)【代理人】
【識別番号】100185225
【弁理士】
【氏名又は名称】齋藤 恭一
(72)【発明者】
【氏名】北村 和也
(72)【発明者】
【氏名】菊地 幸大
(72)【発明者】
【氏名】安江 俊夫
(72)【発明者】
【氏名】山下 誉行
(72)【発明者】
【氏名】釼崎 智誠
(72)【発明者】
【氏名】永井 謙一
(72)【発明者】
【氏名】小西 武文
(72)【発明者】
【氏名】肥田 聡太
(72)【発明者】
【氏名】島本 洋
【テーマコード(参考)】
2H011
2H151
4M118
5C024
5C122
【Fターム(参考)】
2H011BA23
2H151BA06
2H151BA07
2H151BA14
2H151BA17
2H151CB05
2H151CB06
2H151CB09
2H151CB21
2H151CB26
4M118AA10
4M118AB01
4M118BA09
4M118CA01
4M118GB03
4M118GD07
5C024CY17
5C024EX12
5C024EX43
5C024GX01
5C024GX21
5C122EA12
5C122EA37
5C122FB05
5C122FC06
5C122FC07
5C122FD01
5C122FD07
5C122HA88
(57)【要約】
【課題】画素欠陥を増やさず、かつ画素数の増加無しで上下方向、左右方向の位相差検出を可能とする撮像素子及び撮像装置を提供する。
【解決手段】位相差画素を備える撮像素子において、前記位相差画素は、第1の方向に隣接する2つの画素からなり、前記2つの画素上に一体的なマイクロレンズを備え、前記2つの画素の一方は、前記第1の方向と直交する第2の方向の一方の半分に遮光マスクが形成され、前記2つの画素の他方は、前記第2の方向の他方の半分に遮光マスクが形成されることを特徴とする。
【選択図】
図1
【特許請求の範囲】
【請求項1】
位相差画素を備える撮像素子であって、
前記位相差画素は、第1の方向に隣接する2つの画素からなり、前記2つの画素上に一体的なマイクロレンズを備え、前記2つの画素の一方は、前記第1の方向と直交する第2の方向の一方の半分に遮光マスクが形成され、前記2つの画素の他方は、前記第2の方向の他方の半分に遮光マスクが形成されてなる、撮像素子。
【請求項2】
請求項1に記載の撮像素子において、
前記位相差画素は、前記第1の方向に第1の間隔で複数配置され、前記第2の方向に第2の間隔で複数配置されることを特徴とする、撮像素子。
【請求項3】
請求項2に記載の撮像素子において、
前記位相差画素の前記2つの画素の遮光マスクの向きを任意の位置で反転して配置することを特徴とする、撮像素子。
【請求項4】
請求項1乃至3のいずれか一項に記載の撮像素子と、
前記撮像素子の前記位相差画素の出力信号から、合焦状態を示す位相差を検出する信号処理部と、
を備える、撮像装置。
【請求項5】
請求項4に記載の撮像装置において、
前記信号処理部は、前記位相差画素の前記第1の方向の一方の画素の画像と前記第1の方向の他方の画素の画像のシフト量から位相差を求めるマイクロレンズ方式の位相差検出法と、
前記位相差画素の前記第2の方向の一方の半分に遮光マスクが形成された画素の画像と前記第2の方向の他方の半分に遮光マスクが形成された画素の画像のシフト量から位相差を求める遮光マスク方式の位相差検出法と、
の少なくとも一方の位相差検出法により、合焦状態を検出することを特徴とする、撮像装置。
【請求項6】
請求項5に記載の撮像装置において、
前記位相差画素の遮光マスク方式とマイクロレンズ方式それぞれの出力レベルの入射角度依存性から補正係数を求め、遮光マスク方式とマイクロレンズ方式の少なくとも一方のデフォーカス時の位相差画素出力のシフト量を補正することを特徴とする、撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮像素子及び撮像装置に関し、特に、像面位相差画素を有する撮像素子及び撮像装置に関する。
【背景技術】
【0002】
撮像時のオートフォーカスを実現する方法の一つとして、像面位相差検出オートフォーカス(PDAF: Phase detection auto focus)がある。PDAFは、撮像素子への入射光を瞳分割する画素(位相差画素)を用いて、分割領域の異なる位相差画素から取得される画像間の差(位相差)を検出し、合焦状態を判定する。PDAFの方式として、遮光マスクをマイクロレンズ付きの2つの画素の右半分及び左半分にそれぞれ配置して瞳分割する方式がある。しかしこの方向では左右方向の位相差しか検出できない。したがって、例えば、縦縞模様の被写体の位相差は検出できるが、横縞模様の被写体の位相差が検出できないといった問題がある。
【0003】
上記問題を解決するため、左右に加え上下方向も検出できるPDAF方式が提案されている。
【0004】
特許文献1は、左右方向の位相差検出のために、右半分及び左半分をそれぞれ遮光した遮光画素(位相差画素)を用い、これに加え、上下方向の位相差検出のために、上半分及び下半分をそれぞれ遮光した遮光画素を用いている。
【0005】
特許文献2は、画素ごとにマイクロレンズと複数の光電変換領域を備える撮像素子を提案している。具体的には、一つのマイクロレンズの下に2×2の4つの光電変換部を配置し、上下方向に隣接する光電変換部を組み合わせた副(半)画素と、左右方向に隣接する光電変換部を組み合わせた副(半)画素を構成し、これら副画素から得られた信号を処理して、視差信号を取得する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】国際公開第2019/035374号
【特許文献2】特開2016-111678号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1の方式は、上下左右方向の位相差検出が可能であるが、遮光画素(位相差画素)は通常の撮像に使用できない。したがって、遮光画素を2倍にすることは、撮像に利用できない欠陥画素が2倍に増えることであり、画質が劣化するという課題がある。
【0008】
特許文献2の方式は、欠陥画素を生ずることなく上下左右の位相差検出が可能であるが、1画素に4つの光電変換部を形成する必要があり、これは4倍の画素を配置することに等しい。したがって、画素の微細化が必要であり、また、画素数の増加とそれに伴う読み出しデータ量の増加が課題となる。
【0009】
このように、従来技術では、位相差を検出する方向を左右だけでなく上下方向に増やそうとすると、画素欠陥が増える、もしくは画素数を増やさなければならないという点が課題であった。
【0010】
したがって、上記のような問題点に鑑みてなされた本発明の目的は、画素欠陥を増やさず、かつ画素数の増加無しで上下方向、左右方向の位相差検出を可能とする撮像素子及び撮像装置を提供することにある。
【課題を解決するための手段】
【0011】
上記課題を解決するために本発明に係る撮像素子は、
(1)位相差画素を備える撮像素子であって、前記位相差画素は、第1の方向に隣接する2つの画素からなり、前記2つの画素上に一体的なマイクロレンズを備え、前記2つの画素の一方は、前記第1の方向と直交する第2の方向の一方の半分に遮光マスクが形成され、前記2つの画素の他方は、前記第2の方向の他方の半分に遮光マスクが形成されてなる、撮像素子である。
【0012】
(2)上記(1)の撮像素子は、更に、前記位相差画素が、前記第1の方向に第1の間隔で複数配置され、前記第2の方向に第2の間隔で複数配置されることが好ましい。
【0013】
(3)上記(1)または(2)の撮像素子は、更に、前記位相差画素の前記2つの画素の遮光マスクの向きを任意の位置で反転して配置することが好ましい。
【0014】
上記課題を解決するために本発明に係る撮像装置は、
(4)上記(1)~(3)のいずれかの撮像素子と、前記撮像素子の前記位相差画素の出力信号から、合焦状態を示す位相差を検出する信号処理部と、を備える、撮像装置である。
【0015】
(5)上記(4)の撮像装置は、更に、前記信号処理部が、前記位相差画素の前記第1の方向の一方の画素の画像と前記第1の方向の他方の画素の画像のシフト量から位相差を求めるマイクロレンズ方式の位相差検出法と、前記位相差画素の前記第2の方向の一方の半分に遮光マスクが形成された画素の画像と前記第2の方向の他方の半分に遮光マスクが形成された画素の画像のシフト量から位相差を求める遮光マスク方式の位相差検出法と、の少なくとも一方の位相差検出法により、合焦状態を検出することが好ましい。
【0016】
(6)上記(4)または(5)の撮像装置は、更に、前記位相差画素の遮光マスク方式とマイクロレンズ方式それぞれの出力レベルの入射角度依存性から補正係数を求め、遮光マスク方式とマイクロレンズ方式の少なくとも一方のデフォーカス時の位相差画素出力のシフト量を補正することが好ましい。
【発明の効果】
【0017】
本発明における撮像素子及び撮像装置によれば、画素欠陥を増やさず、かつ画素数の増加無しで上下方向、左右方向の位相差検出が可能となる。
【図面の簡単な説明】
【0018】
【
図2】本発明の撮像素子の一部の斜視図の例である。
【
図3】本発明の撮像素子の撮像面における位相差画素の配置の一例である。
【
図4】遮光マスク方式とマイクロレンズ方式の位相差画素の出力の例である。
【
図5】位相差画素の光線入射角度特性の一例を示す図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施の形態について、図面を用いて説明する。
【0020】
<撮像素子>
図1は、本発明の撮像素子の構成例である。本実施形態に係る撮像素子100は、像面位相差画素(単に、位相差画素ということがある。)50を備えている。
図1において、中央の図は撮像素子100の平面図(撮像面の一部)であり、下側の図はX
1のラインにおける位相差画素50の断面図であり、上側の図はX
2のラインにおける位相差画素50の断面図(上下反対に描かれている。)である。また、左側の図は、位相差画素50の縦方向(Y方向)の断面図である。
【0021】
本実施形態では、撮像素子100はカラー撮像素子であり、画素(光電変換素子)10が縦横アレイ状に配列され、各画素10上に例えばベイヤー配列のカラーフィルタ30が設けられている。なお、カラーフィルタはどのような構成のものであってもよく、さらに、撮像素子100は、単色対応の撮像素子であってもよい。
【0022】
撮像に用いる通常の画素10は、光電変換部であるフォトダイオード20上に、フィルタ30と画素ごとに独立したマイクロレンズ31を備えている。通常、マイクロレンズ31は、ほぼ半球状に形成される。また、各画素10のフォトダイオード20は、互いにDTI(Deep Trench Isolation)40で分離され、隣接画素からの光及び電荷の混入が防止されている。
【0023】
一方、像面位相差画素50は、一方向(第1の方向)に隣接する2つの画素からなり、本実施形態では、縦方向に隣接する画素11と画素12から構成される。この2つの画素11,12上に、一体的にマイクロレンズ(2×1マイクロレンズ)32が形成される。このマイクロレンズ32は、平面視で縦長のほぼ楕円形であり、X方向及びY方向の断面は、ほぼ円弧状のレンズ形状となっている。
【0024】
また、像面位相差画素50の画素11,12には、第1の方向と直交する第2の方向(横方向)に画素の半分を遮光する遮光マスク(遮光膜)が形成される。本実施形態では、画素11のフォトダイオード21上に、受光領域の左半分を遮光する遮光マスク41が設けられる。また、画素12のフォトダイオード22上に、受光領域の右半分を遮光する遮光マスク42が設けられる。なお、後述のとおり、遮光マスク41,42の配置を逆にして、画素11に右半分を遮光する遮光マスク42を形成し、画素12に左半分を遮光する遮光マスク41を形成してもよい。
【0025】
なお、連続する2画素は横方向に隣接した画素でも良く、その場合、遮光マスクは上下方向に画素半分を覆うように配置される。
【0026】
この像面位相差画素50は、縦方向及び横方向の瞳分割が可能である。マイクロレンズ32は、縦方向に位相差画素50を覆う縦長のレンズである。マイクロレンズ32の効果により、マイクロレンズ32の上半分を通る光は下部(B)の画素11に、下半分を通る光は上部(T)の画素12に入射するため、上下方向の瞳分割が可能となる。また、遮光画素については、
図1の例では、上部の画素12ではレンズの右半分を通る光が入射され、下部の画素11ではレンズの左半分を通る光が入射されるため、左右方向の瞳分割が可能となる。
【0027】
図2は、本発明の撮像素子の一部の斜視図の例である。撮像素子100は、撮像用の画素10と像面位相差画素50を備えている。画素10は、フォトダイオード20と、フィルタ30と、マイクロレンズ31とを有しており、隣接画素とDTI40で分離されている。中央の像面位相差画素50は、縦長の2×1マイクロレンズ32のみが見えている。なお、
図2は、シミュレーションで作成した撮像素子100の構造であり、最下層には、回路素子が配置されている。
【0028】
図3は、撮像素子の撮像面における位相差画素の配置の一例である。
図3では、8×8画素に1つの位相差画素50,51が設けられている。すなわち、縦方向の位相差画素50と51の間隔は6画素であり、横方向の位相差画素50と51の間隔は7画素である。位相差画素50,51は、一定の画素間隔で縦方向及び横方向に複数配置するのが望ましい。なお、
図3に示す位相差画素50,51の間隔は一例であり、縦方向及び横方向の間隔は、求める位相差の検出感度に応じて、それぞれ適宜設定することができる。また、横方向の位相差画素50,51の配置は、列ごとにずらしてもよい。
【0029】
図3は、縦方向に隣接する2画素からなる位相差画素50,51を用いた縦2画素方式の場合を示している。配置方法は、縦2画素方式のみ、横2画素方式(横方向に隣接する2画素からなる位相差画素を使用)のみ、もしくはそれらを組み合わせたものでも良い。
【0030】
図1及び
図3のカラーフィルタがベイヤー配列であった場合、位相差画素50,51の一方の画素12を青フィルタの位置に配置し、他方の画素11を緑フィルタの位置に配置することができる。しかし、画素11,12が配置されるフィルタの色は限定されるものではない。位相差画素50,51を構成する画素のフィルタは任意の色でよく、また、フィルタが削除されていてもよい。なお、位相差画素50,51は撮像の観点からは欠陥画素となるので、本実施形態では、人間の目の感度の低い青色と画素数の多い緑色の位置に位相差画素50,51が配置され、画質の劣化を抑えている。
【0031】
図1に示す位相差画素50は、上下左右方向だけでなく、斜め方向の位相差の検出も可能である。ただし、例えば
図1の例では、遮光マスク42,41が右上と左下に配置されることから、この斜め向き(右上-左下方向)の位相差の検出ができない。このため、
図3に示すように、位相差検出部を構成する複数の位相差画素は、遮光画素の向き(遮光マスクの配置)を任意の位置で反転させてもよい。すなわち、
図1の位相差画素50と反対に、上部の画素に左半分を遮光する遮光マスク41が設けられ、下部の画素に右半分を遮光する遮光マスク42が設けられた、位相差画素51を形成し、位相差画素50と位相差画素51を、交互に配置してもよい。このような配置により、上下左右方向の位相差検出に加え、右上-左下方向の斜めの位相差検出、及び左上-右下方向の斜めの位相差検出が可能となる。
【0032】
<位相差検出>
本発明の撮像素子を用いた撮像装置による位相差検出について、
図3の撮像素子100に基づいて、概要を説明する。撮像装置は、撮像素子100と、撮像素子100の出力信号を処理する信号処理部(図示せず)とを備える。
【0033】
信号処理部は、撮像素子100の出力信号(画像信号)から、位相差画素50,51の信号を取り出し、レンズの合焦状態を示す位相差を検出する。
【0034】
位相差画素50,51のうち、左側が遮光された画素の信号から右目画像が取得され、右側が遮光された画素の信号から左目画像が取得される。左目画像及び右目画像に対し、水平方向のブロックマッチングを行って、両画像の左右方向のシフト量(相対位置)を求める。このシフト量(相対位置)から、合焦状態(位相差)が検出できる。
【0035】
一方、位相差画素50,51のうち、隣接する上部の画素12の信号からトップ画像が取得され、下部の画素11の信号からボトム画像が取得される。トップ画像及びボトム画像に対し、垂直方向のブロックマッチングを行って、両画像の上下方向のシフト量(相対位置)を求める。このシフト量(相対位置)から、合焦状態(位相差)が検出できる。なお、後述のとおり、マイクロレンズ方式のシフト量に基づく位相差を検出するにあたり、必要に応じて補正を行ってもよい。
【0036】
図3の縦2画素方式の位相差画素を用いた場合は、左右方向に位相差が現れる被写体(例えば、縦縞模様を有する被写体)は、遮光マスク方式で合焦状態(位相差)が検出できる。また、上下方向に位相差が現れる被写体(例えば、横縞模様を有する被写体)は、マイクロレンズ方式で合焦状態(位相差)が検出できる。合焦状態の検出は、遮光マスク方式とマイクロレンズ方式の少なくとも一方の位相差検出法を用いて行い、両方の方式を用いることにより、より精度の高い合焦状態の検出が可能となる。
【0037】
なお、横2画素方式の位相差画素を用いる場合には、左右方向の位相差をマイクロレンズ方式で検出し、上下方向の位相差を遮光マスク方式で検出する。
【0038】
その後、求めた合焦状態(位相差)に基づいて、レンズ位置を制御する。
【0039】
また、撮像素子100から取得された画像のうち、通常画素の画像(通常画像)は、画素補間処理がなされる。すなわち、位相差画素50,51は欠陥画素となるため、位相差画素50,51の周囲の画素の信号から、補間処理等により位相差画素50,51の位置の画素信号を推定する。こうして、画素補間により画素欠陥の無い画像が生成され、この後は通常の信号処理がなされて、表示用の画像(映像)が生成される。
【0040】
本発明の像面位相差画素50,51を用いた撮像装置は、縦方向と横方向に異なる方法の位相差検出を用いることから、遮光マスク方式で算出される位相差とマイクロレンズ方式で算出される位相差が合わない場合がある。
図4は、遮光マスク方式とマイクロレンズ方式の位相差画素の出力の例であり、特に、遮光マスク方式とマイクロレンズ方式の位相差にずれがある場合の、デフォーカス時の映像出力(位相差画素の出力)の例を示している。
【0041】
図4において、左側の図はフォーカスが合っているとき(結像時)の、位相差画素から得られた画像信号である。前述した右目画像と左目画像、及びトップ画像とボトム画像は、フォーカスが合っているときは全ての画像位置が中央で一致する。なお、
図4の各図において、横軸は、位相差画素の位置を示し、縦軸は信号値を示している。
【0042】
図4において、右側の図はデフォーカス時の位相差画素から得られた画像信号である。
図1の位相差画素50を用いた場合、上側は遮光マスク方式の右目画像と左目画像の相対位置を示し、下側はマイクロレンズ方式のトップ画像とボトム画像の相対位置を示している。デフォーカス時には、右目画像と左目画像の重心位置は左右方向に離れるようにシフトし、トップ画像とボトム画像の重心位置は上下方向に離れるようにシフトする。このシフト量(相対位置)から合焦状態(位相差)が検出できる。しかしながら、
図4に示すように、遮光マスク方式とマイクロレンズ方式でシフト量が異なるときは、少なくとも一方のシフト量を補正する必要がある。
【0043】
<補正処理>
位相差はレンズへの入射角度に対する左右もしくは上下画素の出力レベル差から算出されることから、遮光マスク方式とマイクロレンズ方式のそれぞれの出力レベルの入射角度依存性を事前に測定し、特性を合わせるための補正係数を求める。
【0044】
ここで補正係数は、デフォーカス時の位相差画素出力の重心位置のシフト量(距離)を補正するものである。例えば、
図4のように、遮光マスク方式よりもマイクロレンズ方式の入射角度特性の分離が小さい、つまり位相差が出づらい場合は、マイクロレンズ方式の重心位置のシフト量が遮光マスク方式に一致するように補正を行う。シフト量の補正係数は、遮光マスク方式とマイクロレンズ方式の入射角度特性の重心位置の差から計算する。入射角度特性の重心位置の差が、デフォーカス時のシフト量の差に対応する。
【0045】
図5は、像面位相差画素の光線入射角度特性の一例であり、ここでは、遮光マスク方式とマイクロレンズ方式のそれぞれについて、片側素子(例えば、右目画素、トップ画素)のみの特性を表示している。
図5の横軸は光線の入射角、縦軸は画素の感度(出力レベル)である。
図5において、遮光マスク方式のグラフは光線の入射角を左右方向に変化させたときの感度特性であり、マイクロレンズ方式のグラフは光線の入射角を上下方向に変化させたときの感度特性である。レンズのF値によって定まる入射角度範囲で、両方式の感度特性の重心位置を比較する。
【0046】
図5の例では、遮光マスク方式の感度特性の重心位置が-20度、マイクロレンズ方式の感度特性の重心位置が-10度であるから、シフト量を補正するための補正係数は2(マイクロレンズ方式の値を2倍にする)となる。
【0047】
なお、シフト量の補正係数は、遮光マスク方式とマイクロレンズ方式の開口偏心率の差から求めてもよい。
【0048】
図4に戻って、デフォーカス時の位相差画素出力のシフト量から位相差を算出するときに、
図5で求めた補正係数(例えば「2」)を用いて補正を行う。すなわち、
図4に示すように、マイクロレンズ方式のシフト量を2倍にする補正することで、遮光マスク方式とマイクロレンズ方式の位相差のずれを合わせることができる。このように、デフォーカス時の位相差画素出力のシフト量を補正することにより、遮光マスク方式とマイクロレンズ方式のいずれの方式でも、正確に位相差を検出できる。
【0049】
上記の実施の形態では、撮像装置の構成と動作について説明したが、本発明はこれに限らず、撮像装置の位相差検出を行う方法として構成されてもよい。すなわち、
図1,
図3の位相差画素の出力信号から、右目画像と左目画像、又はトップ画像とボトム画像を作成し、ブロックマッチングを行って、両画像のシフト量(相対位置)を求め、合焦状態(位相差)を検出する方法として構成されても良い。
【0050】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態に記載の各ブロック、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成ブロック、ステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
【符号の説明】
【0051】
10,11,12 画素
20,21,22 フォトダイオード
30 フィルタ
31,32 マイクロレンズ
40 DTI
41,42 遮光マスク
50,51 像面位相差画素
100 撮像素子