IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニコンの特許一覧

<>
  • 特許-撮像素子および撮像装置 図1
  • 特許-撮像素子および撮像装置 図2
  • 特許-撮像素子および撮像装置 図3
  • 特許-撮像素子および撮像装置 図4
  • 特許-撮像素子および撮像装置 図5
  • 特許-撮像素子および撮像装置 図6
  • 特許-撮像素子および撮像装置 図7
  • 特許-撮像素子および撮像装置 図8
  • 特許-撮像素子および撮像装置 図9
  • 特許-撮像素子および撮像装置 図10
  • 特許-撮像素子および撮像装置 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-10
(45)【発行日】2025-02-19
(54)【発明の名称】撮像素子および撮像装置
(51)【国際特許分類】
   H04N 25/40 20230101AFI20250212BHJP
   H04N 25/79 20230101ALI20250212BHJP
【FI】
H04N25/40
H04N25/79
【請求項の数】 69
(21)【出願番号】P 2023511347
(86)(22)【出願日】2022-03-29
(86)【国際出願番号】 JP2022015318
(87)【国際公開番号】W WO2022210660
(87)【国際公開日】2022-10-06
【審査請求日】2023-09-28
(31)【優先権主張番号】P 2021061148
(32)【優先日】2021-03-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】山▲崎▼ 弘喜
(72)【発明者】
【氏名】中村 文樹
【審査官】櫃本 研太郎
(56)【参考文献】
【文献】特開2019-086775(JP,A)
【文献】特開2004-320487(JP,A)
【文献】特開2014-143666(JP,A)
【文献】特開2008-085463(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222-5/257、
5/30-5/33、23/11、
23/20-23/76、
23/90-23/959、
25/00、25/20-25/61、
25/615-25/79
H01L 27/14-27/148、
29/762-29/768
H10K 39/30-39/38
(57)【特許請求の範囲】
【請求項1】
光電変換された電荷に基づく信号を出力する複数の画素を有する第1基板と、
前記複数の画素のうち、少なくとも第1画素から出力された第1信号と、前記第1画素から、前記第1信号の後に出力された第2信号とをデジタル信号に変換する第1変換部を有する第2基板と、
前記第1変換部で前記第1信号からデジタル信号に変換された第1デジタル信号を用いて得られた第1評価値と、前記第1変換部で前記第2信号からデジタル信号に変換された第2デジタル信号を用いて得られた第2評価値とに基づいて、前記第1デジタル信号と前記第2デジタル信号とのうち、少なくとも一方のデジタル信号を出力するように制御する演算部を有する第3基板と
を備える撮像素子。
【請求項2】
請求項1に記載の撮像素子において、
前記演算部は、前記第1評価値と前記第2評価値とを算出する算出部を有する撮像素子。
【請求項3】
請求項2に記載の撮像素子において、
前記演算部は、前記算出部で算出された前記第1評価値と、前記算出部で算出された前記第2評価値とに基づいて、前記第1デジタル信号と前記第2デジタル信号とのうち、少なくとも一方のデジタル信号を出力させる選択部を有する撮像素子。
【請求項4】
請求項1から請求項3のいずれか一項に記載の撮像素子において、
前記演算部は、前記第1評価値と前記第2評価値とに基づいて、前記第1デジタル信号と前記第2デジタル信号とのうち、一方のデジタル信号を出力させ、かつ、他方のデジタル信号を出力させない撮像素子。
【請求項5】
請求項1から請求項4のいずれか一項に記載の撮像素子において、
前記演算部は、前記第1デジタル信号と前記第2デジタル信号とのうち、出力されなかったデジタル信号を消去する撮像素子。
【請求項6】
請求項1から請求項5のいずれか一項に記載の撮像素子において、
前記第1デジタル信号と前記第2デジタル信号とのうち、前記演算部により出力されたデジタル信号を外部に出力するための出力部を有する第4基板を備える撮像素子。
【請求項7】
請求項6に記載の撮像素子において、
前記第2基板は、前記第1画素から前記第1信号を読み出すための第1制御信号と、前記第1画素から前記第2信号を読み出すための第2制御信号とを供給する走査部を有し、
前記第4基板は、前記走査部から前記第1制御信号と前記第2制御信号とを供給するための指示信号が入力される入力部を有する撮像素子。
【請求項8】
請求項1から請求項6のいずれか一項に記載の撮像素子において、
前記第2基板は、前記第1画素から前記第1信号を読み出すための第1制御信号と、前記第1画素から前記第2信号を読み出すための第2制御信号とを供給する走査部を有する撮像素子。
【請求項9】
請求項に記載の撮像素子において、
前記走査部は、前記第1画素から前記第1信号を出力するときに設定される撮像条件と、前記第1画素から前記第2信号を出力するときに設定される撮像条件とが異なる撮像条件になるように前記第1制御信号と前記第2制御信号とをそれぞれ供給する撮像素子。
【請求項10】
請求項に記載の撮像素子において、
前記撮像条件は、シャッタースピードである撮像素子。
【請求項11】
請求項9または請求項10に記載の撮像素子において、
前記撮像条件は、ISO感度である撮像素子。
【請求項12】
請求項1から請求項11のいずれか一項に記載の撮像素子において、
前記第3基板は、前記第1デジタル信号と前記第2デジタル信号とのうち、少なくとも一方のデジタル信号を記憶するメモリ部を有する撮像素子。
【請求項13】
請求項12に記載の撮像素子において、
前記メモリ部は、前記第1デジタル信号と前記第2デジタル信号とを記憶する撮像素子。
【請求項14】
請求項12または請求項13に記載の撮像素子において、
前記演算部は、前記第1評価値と前記第2評価値とに基づいて、前記第1デジタル信号と前記第2デジタル信号とのうち、少なくとも一方のデジタル信号を前記メモリ部から出力させる撮像素子。
【請求項15】
請求項1から請求項14のいずれか一項に記載の撮像素子において、
前記演算部は、前記第1デジタル信号と前記第2デジタル信号とのうち、前記第1評価値と前記第2評価値とを比較して評価が高いと判定された評価値のデジタル信号を出力するように制御する撮像素子。
【請求項16】
請求項1から請求項14のいずれか一項に記載の撮像素子において、
前記演算部は、前記第1デジタル信号と前記第2デジタル信号とのうち、前記第1評価値および前記第2評価値を所定の基準値と比較して評価が高いと判定された評価値のデジタル信号を出力するように制御する撮像素子。
【請求項17】
請求項1から請求項16のいずれか一項に記載の撮像素子において、
前記第1評価値と前記第2評価値とは、撮像された被写体の明るさに関する評価値である撮像素子。
【請求項18】
請求項1から請求項17のいずれか一項に記載の撮像素子において、
前記複数の画素は、撮影光学系を通過した光が入射され、
前記第1評価値と前記第2評価値とは、撮像が行われたときの前記撮影光学系の合焦状態に関する評価値である撮像素子。
【請求項19】
請求項1から請求項18のいずれか一項に記載の撮像素子において、
前記第1評価値と前記第2評価値とは、撮像された被写体の動きに関する評価値である撮像素子。
【請求項20】
請求項1から請求項19のいずれか一項に記載の撮像素子において、
前記第2基板は、前記第1基板と積層されている撮像素子。
【請求項21】
請求項1から請求項20のいずれか一項に記載の撮像素子において、
前記第3基板は、前記第1基板と積層されている撮像素子。
【請求項22】
請求項20または請求項21に記載の撮像素子において、
前記第1基板と前記第2基板とを電気的に接続するための接続部であって、前記第1基板と前記第2基板とが積層される積層方向において互いに向かい合うように配置された導電部材を有する第1接続部を備える撮像素子。
【請求項23】
請求項20から請求項22のいずれか一項に記載の撮像素子において、
前記第2基板と前記第3基板とを電気的に接続するための接続部であって、前記第2基板を貫通する貫通電極を有する第2接続部を備える撮像素子。
【請求項24】
請求項1から請求項23のいずれか一項に記載の撮像素子において、
前記第2基板は、前記複数の画素のうち、少なくとも第2画素から出力された第3信号と、前記第2画素から出力された信号であって前記第2画素から前記第3信号が出力された後の第4信号とをデジタル信号に変換する第2変換部を有する撮像素子。
【請求項25】
請求項24に記載の撮像素子において、
前記第2画素は、行方向において前記第1画素と並んで配置される撮像素子。
【請求項26】
請求項25に記載の撮像素子において、
前記第2画素は、前記行方向において前記第1画素の隣に配置される撮像素子。
【請求項27】
請求項24に記載の撮像素子において、
前記第2画素は、列方向において前記第1画素と並んで配置される撮像素子。
【請求項28】
請求項27に記載の撮像素子において、
前記第2画素は、前記列方向において前記第1画素の隣に配置される撮像素子。
【請求項29】
請求項24に記載の撮像素子において、
前記第2基板は、前記複数の画素のうち、少なくとも第3画素から出力された第5信号と、前記第3画素から出力された信号であって前記第3画素から前記第5信号が出力された後の第6信号とをデジタル信号に変換する第3変換部を有する撮像素子。
【請求項30】
請求項29に記載の撮像素子において、
前記第2画素は、第1方向において前記第1画素と並んで配置される撮像素子。
【請求項31】
請求項30に記載の撮像素子において、
前記第2画素は、前記第1方向において前記第1画素の隣に配置される撮像素子。
【請求項32】
請求項30または請求項31に記載の撮像素子において、
前記第3画素は、前記第1方向において前記第1画素と並んで配置される撮像素子。
【請求項33】
請求項32に記載の撮像素子において、
前記第3画素は、前記第1方向において前記第1画素の隣に配置される撮像素子。
【請求項34】
請求項30または請求項31に記載の撮像素子において、
前記第3画素は、前記第1方向と交差する第2方向において前記第1画素と並んで配置される撮像素子。
【請求項35】
請求項34に記載の撮像素子において、
前記第3画素は、前記第2方向において前記第1画素の隣に配置される撮像素子。
【請求項36】
請求項1から請求項35のいずれか一項に記載の撮像素子と、
前記第1デジタル信号と前記第2デジタル信号とのうち、前記演算部により前記撮像素子から出力されたデジタル信号に画像処理を行う制御部と
を備える撮像装置。
【請求項37】
請求項36に記載の撮像装置において、
前記制御部は、前記第1デジタル信号と前記第2デジタル信号とのうち、前記演算部により前記撮像素子から出力されたデジタル信号には画像処理を行い、前記演算部により前記撮像素子から出力されなかったデジタル信号には画像処理を行わない撮像装置。
【請求項38】
焦点検出に用いられる信号を出力する第1画素と、画像生成に用いられる信号を出力する第2画素とを少なくとも有する第1基板と、
前記第1画素から出力された第1信号と、前記第1画素から出力された信号であって、前記第1信号の後に出力された第2信号とをデジタル信号に変換する第1変換部と、前記第2画素から出力された第3信号と、前記第2画素から出力された信号であって、前記第3信号の後に出力された第4信号とをデジタル信号に変換する第2変換部とを有する第2基板と、
前記第変換部で前記第1信号からデジタル信号に変換された第1デジタル信号を用いて得られた第1評価値と、前記第変換部で前記第2信号からデジタル信号に変換された第2デジタル信号を用いて得られた第2評価値とに基づいて、前記第変換部で前記第3信号からデジタル信号に変換された第3デジタル信号と、前記第変換部で前記第4信号からデジタル信号に変換された第4デジタル信号とのうち、少なくとも一方のデジタル信号を出力するように制御する演算部を有する第3基板
を備える撮像素子。
【請求項39】
請求項38に記載の撮像素子において、
前記演算部は、前記第1評価値と前記第2評価値とを算出する算出部を有する撮像素子。
【請求項40】
請求項39に記載の撮像素子において、
前記演算部は、前記算出部で算出された前記第1評価値と、前記算出部で算出された前記第2評価値とに基づいて、前記第3デジタル信号と前記第4デジタル信号とのうち、少なくとも一方のデジタル信号を出力させる選択部を有する撮像素子。
【請求項41】
請求項38から請求項40のいずれか一項に記載の撮像素子において、
前記演算部は、前記第1評価値と前記第2評価値とに基づいて、前記第3デジタル信号と前記第4デジタル信号とのうち、一方のデジタル信号を出力させ、かつ、他方のデジタル信号を出力させない撮像素子。
【請求項42】
請求項38から請求項41のいずれか一項に記載の撮像素子において、
前記演算部は、前記第3デジタル信号と前記第4デジタル信号とのうち、出力されなかったデジタル信号を消去する撮像素子。
【請求項43】
請求項38から請求項42のいずれか一項に記載の撮像素子において、
前記第3デジタル信号と前記第4デジタル信号とのうち、前記演算部により出力されたデジタル信号を外部に出力するための出力部を有する第4基板を備える撮像素子。
【請求項44】
請求項43に記載の撮像素子において、
前記第2基板は、前記第1画素から前記第1信号を読み出すための第1制御信号と、前記第1画素から前記第2信号を読み出すための第2制御信号と、前記第2画素から前記第3信号を読み出すための第3制御信号と、前記第2画素から前記第4信号を読み出すための第4制御信号とを供給する走査部を有し、
前記第4基板は、前記走査部から前記第1制御信号、前記第2制御信号、前記第3制御信号および前記第4制御信号を供給するための指示信号が入力される入力部を有する撮像素子。
【請求項45】
請求項38から請求項42のいずれか一項に記載の撮像素子において、
前記第2基板は、前記第1画素から前記第1信号を読み出すための第1制御信号と、前記第1画素から前記第2信号を読み出すための第2制御信号と、前記第2画素から前記第3信号を読み出すための第3制御信号と、前記第2画素から前記第4信号を読み出すための第4制御信号とを供給する走査部を有する撮像素子。
【請求項46】
請求項45に記載の撮像素子において、
前記走査部は、前記第2画素から前記第3信号を出力するときに設定される撮像条件と、前記第2画素から前記第4信号を出力するときに設定される撮像条件とが異なる撮像条件になるように前記第1制御信号、前記第2制御信号、前記第3制御信号および前記第4制御信号をそれぞれ供給する撮像素子。
【請求項47】
請求項46に記載の撮像素子において、
前記撮像条件は、シャッタースピードである撮像素子。
【請求項48】
請求項46または請求項47に記載の撮像素子において、
前記撮像条件は、ISO感度である撮像素子。
【請求項49】
請求項38から請求項48のいずれか一項に記載の撮像素子において、
前記第3基板は、前記第3デジタル信号と前記第4デジタル信号とのうち、少なくとも一方のデジタル信号を記憶するメモリ部を有する撮像素子。
【請求項50】
請求項49に記載の撮像素子において、
前記メモリ部は、前記第3デジタル信号と前記第4デジタル信号とを記憶する撮像素子。
【請求項51】
請求項49または請求項50に記載の撮像素子において、
前記演算部は、前記第1評価値と前記第2評価値とに基づいて、前記第3デジタル信号と前記第4デジタル信号とのうち、少なくとも一方のデジタル信号を前記メモリ部から出力させる撮像素子。
【請求項52】
請求項38から請求項51のいずれか一項に記載の撮像素子において、
前記演算部は、前記第3デジタル信号と前記第4デジタル信号とのうち、前記第1評価値と前記第2評価値とを比較して評価が高いと判定された評価値のデジタル信号を出力するように制御する撮像素子。
【請求項53】
請求項38から請求項52のいずれか一項に記載の撮像素子において、
前記演算部は、前記第3デジタル信号と前記第4デジタル信号とのうち、前記第1評価値および前記第2評価値を所定の基準値と比較して評価が高いと判定された評価値のデジタル信号を出力するように制御する撮像素子。
【請求項54】
請求項38から請求項53のいずれか一項に記載の撮像素子において、
前記第1評価値と前記第2評価値とは、撮像された被写体の明るさに関する評価値である撮像素子。
【請求項55】
請求項38から請求項54のいずれか一項に記載の撮像素子において、
前記複数の画素は、撮影光学系を通過した光が入射され、
前記第1評価値と前記第2評価値とは、撮像が行われたときの前記撮影光学系の合焦状態に関する評価値である撮像素子。
【請求項56】
請求項38から請求項55のいずれか一項に記載の撮像素子において、
前記第1評価値と前記第2評価値とは、撮像された被写体の動きに関する評価値である撮像素子。
【請求項57】
請求項38から請求項56のいずれか一項に記載の撮像素子において、
前記第2基板は、前記第1基板と積層されている撮像素子。
【請求項58】
請求項38から請求項57のいずれか一項に記載の撮像素子において、
前記第3基板は、前記第1基板と積層されている撮像素子。
【請求項59】
請求項57または請求項58に記載の撮像素子において、
前記第1基板と前記第2基板とを電気的に接続するための接続部であって、前記第1基板と前記第2基板とが積層される積層方向において互いに向かい合うように配置された導電部材を有する第1接続部を備える撮像素子。
【請求項60】
請求項57から請求項59のいずれか一項に記載の撮像素子において、
前記第2基板と前記第3基板とを電気的に接続するための接続部であって、前記第2基板を貫通する貫通電極を有する第2接続部を備える撮像素子。
【請求項61】
請求項38から請求項60のいずれか一項に記載の撮像素子において、
前記第2画素は、行方向において前記第1画素と並んで配置される撮像素子。
【請求項62】
請求項38から請求項60のいずれか一項に記載の撮像素子において、
前記第2画素は、列方向において前記第1画素と並んで配置される撮像素子。
【請求項63】
請求項38から請求項60のいずれか一項に記載の撮像素子において、
前記第1基板は、画像生成に用いられる信号を出力する第3画素を有し、
前記第2基板は、前記第3画素から出力された第5信号と、前記第3画素から出力された信号であって、前記第3画素から前記第5信号が出力された後の第6信号とをデジタル信号に変換する第3変換部を有する撮像素子。
【請求項64】
請求項63に記載の撮像素子において、
前記第3画素は、行方向において前記第2画素と並んで配置される撮像素子。
【請求項65】
請求項63に記載の撮像素子において、
前記第3画素は、前記行方向において前記第2画素の隣に配置される撮像素子。
【請求項66】
請求項63に記載の撮像素子において、
前記第3画素は、列方向において前記第2画素と並んで配置される撮像素子。
【請求項67】
請求項66に記載の撮像素子において、
前記第3画素は、前記列方向において前記第2画素の隣に配置される撮像素子。
【請求項68】
請求項38から請求項67のいずれか一項に記載の撮像素子と、
前記第3デジタル信号と前記第4デジタル信号とのうち、前記演算部により前記撮像素子から出力されたデジタル信号に画像処理を行う制御部と
を備える撮像装置。
【請求項69】
請求項68に記載の撮像装置において、
前記制御部は、前記第3デジタル信号と前記第4デジタル信号とのうち、前記演算部により前記撮像素子から出力されたデジタル信号には画像処理を行い、前記演算部により前記撮像素子から出力されなかったデジタル信号には画像処理を行わない撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子および撮像装置に関する。
本願は、2021年3月31日に出願された日本国特願2021-061148号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【0002】
イメージセンサで撮像された画像のデータは、画像処理エンジンと呼ばれる外部の回路等で画像処理が行われる。イメージセンサから外部の回路等へ送出する画像のデータが多くなるほど、イメージセンサからデータを出力する処理の時間が長くなってしまう。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2011-30097号公報
【発明の概要】
【0004】
本発明に係る第1の態様による撮像素子は、光電変換された電荷に基づく信号を出力する複数の画素を有する第1基板と、前記複数の画素のうち、少なくとも第1画素から出力された第1信号と、前記第1画素から、前記第1信号の後に出力された第2信号とをデジタル信号に変換する第1変換部を有する第2基板と、前記第1変換部で前記第1信号からデジタル信号に変換された第1デジタル信号を用いて得られた第1評価値と、前記第1変換部で前記第2信号からデジタル信号に変換された第2デジタル信号を用いて得られた第2評価値とに基づいて、前記第1デジタル信号と前記第2デジタル信号とのうち、少なくとも一方のデジタル信号を出力するように制御する演算部を有する第3基板と、を備える。
本発明に係る第2の態様による撮像装置は、第1の態様による撮像素子と、前記第3デジタル信号と前記第4デジタル信号とのうち、前記演算部により前記撮像素子から出力されたデジタル信号に画像処理を行う制御部とを備える。
【図面の簡単な説明】
【0005】
図1】実施の形態に係る撮像装置の構成を例示するブロック図である。
図2】撮像素子の断面構造を例示する図である。
図3】撮像素子における第1基板~第4基板の各層の構成を例示するブロック図である。
図4】第1の実施の形態に係る撮像素子と画像処理エンジンとの間のデータの受け渡しを説明する模式図である。
図5】撮像素子によって撮像される撮影範囲を説明する図である。
図6図6(a)は、半押し操作時に取得された画像を例示する図である。図6(b)~図6(e)は、全押し操作中に取得された画像を例示する図である。図6(f)~図6(i)は、それぞれ図6(b)~図6(e)に例示する画像の撮像時に焦点検出用の光電変換部を有する画素で取得された、上記一対の像の像ずれ量を模式的に示す図である。
図7】第2の実施の形態に係る撮像素子と画像処理エンジンとの間のデータの受け渡しを説明する模式図である。
図8図8(a)は、半押し操作時に取得された画像を例示する図である。図8(b)~図8(e)は、全押し操作中に取得された画像を例示する図である。図8(f)~図8(i)は、それぞれ図8(b)~図8(e)に例示する画像の撮像時に焦点検出用の光電変換部を有する画素で取得された、上記一対の像の像ずれ量を模式的に示す図である。
図9】第3の実施の形態に係る撮像素子と画像処理エンジンとの間のデータの受け渡しを説明する模式図である。
図10図10(a)は、半押し操作時に取得された画像を例示する図である。図10(b)~図10(e)は、全押し操作中に取得された画像を例示する図である。図10(f)は、図10(b)および図10(c)に例示する画像のデータの差分を模式的に示す図、図10(g)は、図10(c)および図10(d)に例示する画像のデータの差分を模式的に示す図、図10(h)は、図10(d)および図10(e)に例示する画像のデータの差分を模式的に示す図である。
図11】演算部の構成を例示する図である。
【発明を実施するための形態】
【0006】
以下、図面を参照して発明を実施するための形態について説明する。
(第1の実施の形態)
<撮像装置の構成>
図1は、実施の形態に係る撮像素子を搭載する撮像装置の構成を例示するブロック図である。撮像装置1は、撮影光学系2、撮像素子3、および制御部4を備え、メモリカード等の記憶媒体5が装脱可能に構成される。撮像装置1は、例えばカメラである。撮影光学系2は、撮像素子3上に被写体像を結像する。撮像素子3は、撮影光学系2により結像される被写体像を撮像して画像信号を生成する。撮像素子3は、例えばCMOSイメージセンサである。制御部4は、撮像素子3の動作を制御するための制御信号を撮像素子3に出力する。制御部4はさらに、撮像素子3から出力された画像信号に対して各種の画像処理を施し、画像データを生成する画像生成部として機能する。記憶媒体5には、生成された画像データが所定のファイル形式で記録される。
なお、撮影光学系2は、撮像装置1から着脱可能に構成してもよい。
【0007】
<撮像素子の断面構造>
図2は、図1の撮像素子3の断面構造を例示する図である。図2に示す撮像素子3は、裏面照射型の撮像素子である。撮像素子3は、第1基板111と、第2基板112と、第3基板113と、第4基板114とを備える。第1基板111、第2基板112、第3基板113および第4基板114は、それぞれ半導体基板等により構成される。第1基板111は、配線層140と配線層141を介して第2基板112に積層される。第2基板112は、配線層142と配線層143を介して第3基板113に積層される。第3基板113は、配線層144と配線層145を介して第4基板114に積層される。
【0008】
白抜き矢印で示す入射光Lは、Z軸プラス方向へ向かって入射する。また、座標軸に示すように、Z軸に直交する紙面右方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。撮像素子3は、入射光Lが入射する方向に、第1基板111と第2基板112と第3基板113と第4基板114とが積層されている。
【0009】
撮像素子3はさらに、マイクロレンズ層101、カラーフィルタ層102、パッシベーション層103を有する。これらのパッシベーション層103、カラーフィルタ層102およびマイクロレンズ層101は、第1基板111に順次積層されている。
マイクロレンズ層101は、複数のマイクロレンズMLを有する。マイクロレンズMLは、入射した光を後述する光電変換部に集光する。カラーフィルタ層102は、複数のカラーフィルタFを有する。パッシベーション層103は、窒化膜や酸化膜で構成される。
【0010】
第1基板111、第2基板112、第3基板113、および第4基板114は、それぞれゲート電極やゲート絶縁膜が設けられる第1面105a、106a、107a、108aと、第1面とは異なる第2面105b、106b、107b、108bとを有する。また、第1面105a、106a、107a、108aには、それぞれトランジスタ等の各種素子が設けられる。第1基板111の第1面105a、第2基板112の第1面106a、第3基板113の第1面107a、および第4基板114の第1面108aには、それぞれ配線層140、141、144、145が積層して設けられる。また、第2基板112の第2面106bおよび第3基板113の第2面107bには、それぞれ配線層(基板間接続層)142、143が積層して設けられる。配線層140~配線層145は、導体膜(金属膜)および絶縁膜を含む層であり、それぞれ複数の配線やビアなどが配置される。
【0011】
第1基板111の第1面105aの素子および第2基板112の第1面106aの素子は、配線層140、141を介してバンプや電極等の接続部109により電気的に接続される。同様に第3基板113の第1面107aの素子および第4基板114の第1面108aの素子は、配線層144、145を介してバンプや電極等の接続部109により電気的に接続される。また、第2基板112および第3基板113は、複数の貫通電極110を有する。第2基板112の貫通電極110は、第2基板112の第1面106aおよび第2面106bに設けられた回路を互いに接続し、第3基板113の貫通電極110は、第3基板113の第1面107aおよび第2面107bに設けられた回路を互いに接続する。第2基板112の第2面106bに設けられた回路および第3基板113の第2面107bに設けられた回路は、基板間接続層142、143を介してバンプや電極等の接続部109により電気的に接続される。
なお、実施の形態では第1基板111、第2基板112、第3基板113、および第4基板114が積層される場合を例示するが、積層される基板の数は、実施の形態より多くても少なくてもよい。
また、第1基板111、第2基板112、第3基板113、および第4基板114を、それぞれ第1層、第2層、第3層および第4層と称してもよい。
【0012】
<撮像素子の構成例>
図3は、実施の形態に係る撮像素子3における第1基板111~第4基板114の各層の構成を例示するブロック図である。第1基板111は、例えば、2次元状に配置される複数の画素10と、信号の読出部20とを有する(画素アレイ210と呼ぶ)。画素10は、図2に示すX軸方向(行方向)およびY軸方向(列方向)に並べて配置されている。画素10は、フォトダイオード(PD)等の光電変換部を有し、入射光Lを電荷に変換する。読出部20は、画素10ごとに設けられ、対応する画素10で光電変換された電荷に基づく信号(光電変換信号)を読み出す。読出部20が画素10から信号を読み出すために必要な読出制御信号は、第2基板112の走査部260から読出部20へ供給される。読出部20により読み出された信号は、第2基板112へ送出される。
【0013】
第2基板112は、例えば、A/D変換部230と、走査部260とを有する。A/D変換部230は、対応する画素10から出力される信号をデジタル信号に変換する。A/D変換部230で変換された信号は、第3基板113へ送出される。
走査部260は、第4基板114の入力部290を介して入力される指示信号に基づき、読出部20に対する読出制御信号を生成する。指示信号は、図4を参照して後述する画像処理エンジン30から送出される。走査部260で生成された読出制御信号は、第1基板111へ送出される。
【0014】
第3基板113は、例えば、メモリ250と、演算部240と、評価値記憶部280と、を有する。メモリ250は、A/D変換部230で変換されたデジタル信号を記憶する。メモリ250は、例えば、A/D変換部230で変換されたデジタル信号に基づいて生成される画像を、少なくとも2フレーム分記憶することが可能な記憶容量を有する。実施の形態では、1枚の画像を1フレームの画像と呼ぶ。
【0015】
演算部240は、メモリ250に記憶されているデジタル信号、および前記A/D変換部230で変換されたデジタル信号の少なくとも一方のデジタル信号を用いて所定の演算を行う。この演算により、画像に対する評価値が算出される。評価値は、例えば、撮影光学系2のフォーカス調節の状態、デジタル信号に基づいて生成される画像の明るさ、および主要被写体の動きの状態のいずれかを示している。演算部240は、算出した評価値に基づいて、複数の画像間の優劣を判定することができる。
評価値記憶部280は、演算部240で算出された評価値を客観的に評価する場合の基準値を記憶する。基準値は、評価値記憶部280にあらかじめ記録されている。
なお、評価値記憶部280は、第2および第3の実施の形態において使用するので、第1の実施の形態では省略して構わない。
【0016】
第4基板114は、例えば、出力部270と、入力部290とを有する。出力部270は、メモリ250に記憶されているデジタル信号、または上記A/D変換部230で変換されたデジタル信号を、後述する画像処理エンジン30(図4)へ送出する。
例えば、後述する記録用の画像のデータを画像処理エンジン30へ送出する場合は、メモリ250に記憶されているデジタル信号を記録用の画像のデータとして画像処理エンジン30へ送出する。また、後述するモニタ表示用の画像のデータを画像処理エンジン30へ送出する場合は、A/D変換部230で変換されたデジタル信号をモニタ表示用の画像のデータとして画像処理エンジン30へ送出する。
入力部290には、第4基板114の入力部290を介して入力される画像処理エンジン30からの指示信号が入力される。指示信号は、第2基板112へ送られる。
【0017】
<撮像素子と画像処理エンジン>
図4は、第1の実施の形態に係る撮像素子3と、画像処理エンジン30との間のデータの受け渡しを説明する模式図である。撮像素子3は、例えば、画像処理エンジン30から記録用の撮影指示が入力されると、撮影指示が継続されている間に複数枚の画像を撮像し、複数枚の画像の中から優れた画像を評価値に基づいて選択し、選択した画像のデータを記録用の画像のデータとして画像処理エンジン30へ送出する。また、撮像素子3は、画像処理エンジン30からモニタ表示用の撮影指示が入力されると、モニタ表示用の画像の撮像を繰り返し行い、撮像した画像のデータをモニタ表示用の画像(スルー画ともライブビュー画像とも称される)のデータとして画像処理エンジン30へ送出する。
画像処理エンジン30は、制御部4の一部を構成しており、撮像素子制御部310と、入力部320と、画像処理部330と、メモリ340とを有する。
【0018】
レリーズボタンや操作スイッチ等を含む操作部材6は、例えば、撮像装置1の外装面に設けられている。操作部材6は、ユーザの操作に応じた操作信号を撮像素子制御部310へ送出する。ユーザは、操作部材6を操作することにより、撮像装置1に対する撮影指示や撮影条件等の設定指示を行う。
【0019】
撮像素子制御部310は、撮影条件等の設定指示が行われると、設定された撮影条件を示す情報を撮像素子3へ送出する。また、撮像素子制御部310は、レリーズボタンが全押し操作時のストロークよりも短いストロークで半押し操作されたことを示す半押し操作信号が操作部材6から入力されると、不図示の表示部またはビューファインダーで連続的にモニタ表示用の画像を表示させるため、モニタ表示用の撮影開始を指示する指示信号を、撮像素子3へ送出する。
さらにまた、撮像素子制御部310は、レリーズボタンが半押し操作時よりも長いストロークで全押し操作されたことを示す全押し操作信号が操作部材6から入力されると、記録用の静止画の撮影開始を指示する指示信号を、撮像素子3へ送出する。
【0020】
入力部320には、撮像素子3から出力された上記デジタル信号が入力される。入力されたデジタル信号は、画像処理部330へ送られる。画像処理部330は、撮像素子3から取得したデジタル信号に対して所定の画像処理を行って画像データを生成する。生成された記録用の画像データは、メモリ340に記録されたり、撮影後の確認画像の表示に用いられたりする。また、生成されたモニタ表示用の画像データは、ビューファインダー等での表示に用いられる。メモリ340に記録した画像データは、上記記憶媒体5に記録することができる。
【0021】
<演算部の詳細な説明>
第1の実施の形態では、撮像素子3の演算部240で、撮影光学系2のフォーカス調節の状態を示す評価値を算出する。
撮像素子3の画素アレイ210を構成する画素10は、画像生成用の光電変換部を有する。ただし、フォーカスポイントに対応する領域の一部または全部には、画像生成用の光電変換部の代わりに焦点検出用の光電変換部を有する画素10が配置される。
【0022】
フォーカスポイントについて説明する。図5は、撮像素子3によって撮像される撮影範囲50を説明する図である。撮影範囲50には、例えば、あらかじめ複数のフォーカスポイントPが設けられている。図5では、フォーカスポイントPを、撮像されたライブビュー画像とともに例示している。
フォーカスポイントPは、撮影範囲50において撮影光学系2のフォーカス調節が可能な位置を示し、焦点検出エリア、焦点検出位置、測距点とも称される。
なお、図示したフォーカスポイントPの数と撮影範囲50における位置は一例に過ぎず、図5の態様に限定されるものではない。
【0023】
演算部240の算出部244は、例えば、焦点検出用の光電変換部を有する画素10からの光電変換信号に基づき、撮影光学系2の異なる領域を通過する一対の光束による一対の像の像ずれ量(位相差)を、評価値として算出する。像ずれ量の算出は、フォーカスポイントPごとに算出することができる。
上記一対の像の像ずれ量は、撮影光学系2を通過した光束により形成される被写体の像の位置と、撮像素子3の撮像面の位置とのずれ量であるデフォーカス量の算出の元になる値であり、上記一対の像の像ずれ量に所定の変換係数をかけることによってデフォーカス量を算出することができる。
【0024】
算出部244は、例えば、複数のフォーカスポイントPのうちの撮影範囲50のほぼ中央に位置するフォーカスポイントPで算出された上記一対の像の像ずれ量を、その画像における評価値とする。
なお、演算部240は、全てのフォーカスポイントPの中から上記一対の像の像ずれ量の算出(換言すると、評価値の算出)に用いるフォーカスポイントPを自動で選ぶことも、ユーザの操作によって指示されたフォーカスポイントPを選ぶこともできる。
【0025】
算出部244は、記録用の撮影指示が継続されている間に撮像される複数の画像に対してそれぞれ評価値を算出する。演算部240の選択部245は、複数の画像の中から優れた画像を評価値に基づいて選択する。第1の実施の形態では、上記一対の像の像ずれ量が最も小さい画像、換言すると、一番ピントが合っている画像を選択する。選択部245で選択された画像のデータは、出力部270を介して画像処理エンジン30へ送出される。
【0026】
図6を参照して、演算部240が行う処理を詳細に説明する。図6(a)~図6(e)は、画像生成用の光電変換部を有する画素10で撮像された画像を例示する図である。図6(a)は、記録用の撮影指示の前、換言すると、半押し操作時に取得された画像の例である。また、図6(b)~図6(e)は、記録用の撮影指示が継続されている間、換言すると、全押し操作中に取得された画像の例である。
【0027】
図6(f)~図6(i)は、それぞれ図6(b)~図6(e)に例示する画像の撮像時に焦点検出用の光電変換部を有する画素10で取得された、上記一対の像の像ずれ量を模式的に示す図である。
焦点検出用の光電変換部を有する画素10は、撮影光学系2の異なる領域を通過する一対の光束による一対の像を取得する。撮影光学系2が予定焦点面にて鮮鋭像を結ぶ、いわゆる合焦時には、図6(g)に例示するように、上記一対の像が相対的に一致(ずれ量がほぼ0の状態)する。これに対し、撮影光学系2が予定焦点面よりも前に鮮鋭像を結ぶ、いわゆる前ピン状態、および、予定焦点面よりも後に鮮鋭像を結ぶ、いわゆる後ピン状態では、図6(f)または図6(h)に例示するように、上記一対の像は相対的に離れて像ずれ量が大きくなる。
演算部240は、例えば、X軸方向に並べて配置されている焦点検出用の光電変換部を有する複数の画素10で取得される上記一対の像を示す信号列に対して公知の像ずれ検出演算処理(相関演算処理、位相差検出処理)を施すことによって、像ずれ量を算出する。
【0028】
図6(a)において、レリーズボタンを半押し操作したユーザは、例えば、紐で吊るされた物体70を撮像装置1で撮影する準備を行う。物体70は、図の左右方向および奥行き方向に振れているものとする。ユーザは、振れる物体70が撮影範囲のほぼ中央に収まるように撮像装置1を持って構える。ユーザが全押し操作を行うと、撮像装置1は、全押し操作されている間に図6(b)~図6(e)に例示するように、撮像素子3により複数枚の画像を撮像する。実施の形態では4枚の画像を撮像する。
なお、実施の形態では撮影範囲のほぼ中央に、演算部240で評価値を算出する領域60があらかじめ設定されるものとする。領域60が撮影範囲の一部に設定されることにより、撮影範囲の全域に設定される場合と比べて、演算部240が評価値を算出する処理の負担を軽減することができる。演算部240は、領域60を自動で設定することも、ユーザの操作によって指示された範囲を領域60に設定することもできる。
【0029】
全押し操作中において撮像素子3で撮像された1枚目の画像のデータは、メモリ250の第1領域251に格納される。全押し操作中において撮像素子3で撮像された2枚目の画像のデータは、メモリ250の第2領域252に格納される。メモリ250に格納された画像のデータは、画像生成用の光電変換部を有する画素10で撮像された画像および焦点検出用の光電変換部を有する画素10で取得された上記一対の像を含む。選択部245は、メモリ250の第1領域251および第2領域252に格納された画像に対して算出部244で算出された評価値に基づき、1枚目の画像と2枚目の画像との間の優劣を判断する。図6(b)に例示する1枚目の画像は、図6(c)に例示する2枚目の画像に比べて物体70が奥行き方向に遠ざかっている。そのため、図6(f)に例示するように、1枚目の画像に対応する上記一対の像は、2枚目の画像に対応する上記一対の像(図6(g))に比べて相対的に離れている。
【0030】
選択部245は、図6(g)で示される上記一対の像の像ずれ量が、図6(f)に示される上記一対の像の像ずれ量よりも小さい(換言すると、評価値がより高い)ため、図6(c)に例示する2枚目の画像を選ぶ。演算部240は、選ばなかった画像のデータを消去可にする。選ばなかった画像のデータを消去可にするのは、メモリ250の同じ領域に次の画像のデータを格納するためである。演算部240は、消去可にした画像のデータが格納されていたメモリ250の同じ領域に、次に撮像された3枚目の画像を格納させる。実施の形態では、選ばなかった1枚目の画像のデータが格納されていたメモリ250の第1領域251に格納させる。
【0031】
選択部245は、メモリ250の第1領域251および第2領域252に格納された画像に対する評価値に基づき、3枚目の画像と2枚目の画像との間の優劣を判断する。図6(d)に例示する3枚目の画像は、図6(c)に例示する2枚目の画像に比べて物体70が手前方向に近づいている。そのため、図6(h)に例示するように、3枚目の画像に対応する上記一対の像は、2枚目の画像に対応する上記一対の像(図6(g))に比べて相対的に離れている。
【0032】
選択部245は、図6(g)で示される上記一対の像の像ずれ量が、図6(h)で示される上記一対の像の像ずれ量よりも小さい(換言すると、評価値がより高い)ため、図6(c)に例示する2枚目の画像を選ぶ。演算部240は、選ばなかった画像のデータを消去可にする。演算部240は、消去可にした画像のデータが格納されていたメモリ250の同じ領域に、次に撮像された4枚目の画像を格納させる。実施の形態では、選ばなかった3枚目の画像のデータが格納されていたメモリ250の第1領域251に格納させる。
【0033】
選択部245は、メモリ250の第1領域251および第2領域252に格納された画像に対する評価値に基づき、4枚目の画像と2枚目の画像との間の優劣を判断する。図6(e)に例示する4枚目の画像は、図6(c)に例示する2枚目の画像に比べて物体70が僅かに奥行き方向に遠ざかっている。そのため、図6(i)に例示するように、4枚目の画像に対応する上記一対の像は、2枚目の画像に対応する上記一対の像(図6(g))に比べて相対的に僅かに離れている。
【0034】
選択部245は、図6(g)で示される上記一対の像の像ずれ量が、図6(i)で示される上記一対の像の像ずれ量よりも小さい(換言すると、評価値がより高い)ため、図6(c)に例示する2枚目の画像を選ぶ。
【0035】
以上説明したように、撮像素子3の演算部240は、メモリ250の第1領域251または第2領域252に撮像された画像のデータが格納されると、算出部244によりその画像に対する評価値(上記一対の像の像ずれ量)を算出する。そして、算出された評価値に基づき、全押し操作中において撮像素子3で撮像された4枚の画像の中から物体70に最もピントが合う1枚の画像を選択部245により選択する。出力部270を介して画像処理エンジン30へ送出されるのは、選択部245で選択された画像のデータのみである。
【0036】
撮像素子3から出力された画像のデータを受け取った画像処理エンジン30は、画像処理部330で所定の画像処理を行って記録用の画像データを生成し、メモリ340に記録する。
【0037】
以上説明した第1の実施の形態によれば、以下の作用効果が得られる。
(1)撮像素子3は、光電変換された電荷に基づく信号を出力する複数の画素10と、上記信号に基づいて生成される画像の評価値を算出する算出部244と、算出部244で算出された複数の画像のそれぞれの評価値に基づいて、複数の画像から1つの画像を選択する選択部245と、選択部245で選択された画像のデータを出力する出力部270と、を備える。
このように構成したので、撮像素子3で撮像された複数の画像の全ての画像のデータが撮像素子3から画像処理エンジン30へ出力される場合に比べて、撮像素子3から出力される画像のデータを減らすことができる。これにより、データを出力する処理時間および撮像素子3における消費電力を低減することができる。
【0038】
(2)撮像素子3の選択部245は、複数の画像のうち評価値が最も高い1枚の画像を選択する。このように構成したので、撮像素子3から出力される画像のデータを画像1枚分に減らすことができる。また、複数の画像のうち、評価値に基づいて最良と考えられる画像のデータを画像処理エンジン30へ出力することができる。
【0039】
(4)撮像素子3の複数の画素10は、撮影光学系2を通過した光を光電変換し、算出部244は、撮影光学系2の焦点調節の状態を示す評価値を算出する。
このように構成したので、複数の画像のうち一番ピントが合っている画像のデータを画像処理エンジン30へ出力することができる。
【0040】
(5)撮像素子3の算出部244は、上記信号のうち、画像の所定の領域60に対応する信号に基づいて評価値を算出する。
このように構成したので、撮影範囲50の全域に対応する信号に基づいて評価値を算出する場合と比べて、算出部244が評価値を算出する処理の負担を軽減することができる。
【0041】
(第2の実施の形態)
第1の実施の形態では、全押し操作中において撮像素子3で撮像された複数枚の画像の中から物体70に最もピントが合う1枚の画像を選択し、選択した画像のデータを画像処理エンジン30へ送出した。この代わりに、第2の実施の形態では、全押し操作中において撮像素子3で撮像された複数枚の画像の中から、物体70にピントが合う画像のデータを画像処理エンジン30へ送出する。画像処理エンジン30へ送出される画像の数は1枚とは限られない。このような構成について以下に説明する。
【0042】
<撮像素子と画像処理エンジン>
図7は、第2の実施の形態に係る撮像素子3Aと、画像処理エンジン30との間のデータの受け渡しを説明する模式図である。撮像素子3Aは、第1の実施の形態に係る撮像素子3に代えて用いられる。撮像素子3Aは、演算部240Aを有する点と、評価値記憶部280を有する点とにおいて撮像素子3と相違する。そのため、これらの相違点を中心に説明を行い、撮像素子3と同じ構成には図4と同じ符号を付して説明を省略する。
【0043】
撮像素子3Aは、例えば、画像処理エンジン30から記録用の撮影指示が入力されると、撮影指示が継続されている間に複数枚の画像を撮像し、複数枚の画像のうち物体70にピントが合っていると判断した画像のデータを記録用の画像のデータとして画像処理エンジン30へ送出する。
なお、画像処理エンジン30からモニタ表示用の撮影指示が入力されると、モニタ表示用の画像の撮像を繰り返し行い、撮像した画像のデータをモニタ表示用の画像のデータとして画像処理エンジン30へ送出する点は、撮像素子3の場合と同様である。
【0044】
<演算部の詳細な説明>
第2の実施の形態では、撮像素子3Aの演算部240Aで、撮影光学系2のフォーカス調節の状態を示す評価値を算出する。この評価値は、第1の実施の形態に係る撮像素子3の演算部240が算出する評価値と同様である。
【0045】
演算部240Aの算出部244は、記録用の撮影指示が継続されている間に撮像される複数の画像に対してそれぞれ評価値を算出する。演算部240Aの選択部245は、あらかじめ評価値記憶部280に記録されている基準値と、算出部244で算出された評価値とを比較する。基準値は、例えば上記一対の像の像ずれ量の許容値とする。選択部245は、算出された評価値が基準値を満たす、換言すると、評価値としての上記一対の像の像ずれ量が、基準値に対応する像ずれ量よりも小さい画像を選択する。
第2の実施の形態では、画像に対する評価値が基準値よりも高い、換言すると、評価値が基準値を満たす場合に、その画像を選択する。選択部245で選択された画像のデータは、出力部270を介して画像処理エンジン30へ送出される。
【0046】
図8を参照して、演算部240Aが行う処理を詳細に説明する。図8(a)~図8(e)は、画像生成用の光電変換部を有する画素10で撮像された画像を例示する図である。図8(a)は、記録用の撮影指示の前、換言すると、半押し操作時に取得された画像の例である。また、図8(b)~図8(e)は、記録用の撮影指示が継続されている間、換言すると、全押し操作中に取得された画像の例である。
【0047】
図8(f)~図8(i)は、それぞれ図8(b)~図8(e)に例示する画像の撮像時に焦点検出用の光電変換部を有する画素10で取得された、上記一対の像の像ずれ量を模式的に示す図である。演算部240Aは、第1の実施の形態の演算部240と同様に上記一対の像の像ずれ量を算出する。
【0048】
図8(a)において、レリーズボタンを半押し操作したユーザは、紐で吊るされた物体70を撮像装置1で撮影する準備を行う。第1の実施の形態と同様に、ユーザは、振れる物体70が撮影範囲のほぼ中央に収まるように撮像装置1を持って構える。ユーザが全押し操作を行うと、撮像装置1は、全押し操作されている間に図8(b)~図8(e)に例示する複数枚の画像を撮像素子3Aにより撮像する。実施の形態では4枚の画像を撮像する。
【0049】
全押し操作中において撮像素子3Aで撮像された1枚目の画像のデータは、メモリ250の所定領域に格納される。メモリ250に格納された画像のデータは、画像生成用の光電変換部を有する画素10で撮像された画像および焦点検出用の光電変換部を有する画素10で取得された上記一対の像を含む。選択部245は、1枚目の画像に対して算出部244で算出された評価値と、評価値記憶部280に記録されている基準値とを比較する。
【0050】
図8(b)に例示する1枚目の画像は、物体70が奥行き方向に遠ざかっている。そのため、図8(f)に例示するように、1枚目の画像に対応する上記一対の像は相対的に離れている。例えば、基準値が図8(g)で示される一対の像の像ずれ量と同等に設定されている場合、1枚目の画像(図8(b))に対する評価値は、基準値を満たさないといえる。
【0051】
選択部245は、図8(f)に例示する上記一対の像の像ずれ量が基準値に対応する像ずれ量よりも大きい(換言すると、評価値が基準値を満たしていない)ため、図8(b)に例示する1枚目の画像を選ばない。演算部240Aは、1枚目の画像のデータを消去可にする。1枚目の画像のデータを消去可にするのは、メモリ250の同じ領域に2枚目の画像のデータを上書きするためである。
【0052】
全押し操作中において撮像素子3Aで撮像された2枚目の画像のデータは、消去可にした画像のデータが格納されていたメモリ250の同じ領域に格納される。選択部245は、2枚目の画像に対する評価値と評価値記憶部280に記録されている基準値とを比較する。図8(g)に例示するように、2枚目の画像(図8(c))に対応する上記一対の像は相対的に一致(ずれ量がほぼ0の状態)する。基準値が、図8(g)で示される一対の像の像ずれ量と同等に設定されている場合、2枚目の画像(図8(c))に対する評価値は、基準値を満たすといえる。
【0053】
選択部245は、図8(g)に例示する上記一対の像の像ずれ量が基準値に対応する像ずれ量よりも小さいか同等である(換言すると、評価値が基準値を満たしている)場合、図8(c)に例示する2枚目の画像を選ぶ。演算部240Aは、選択部245で選択された2枚目の画像のデータを出力対象にする。演算部240Aは、出力対象にした画像のデータを画像処理エンジン30へ送出した後、図8(c)に例示する2枚目の画像のデータを消去可にする。
【0054】
全押し操作中において撮像素子3Aで撮像された3枚目の画像のデータは、消去可にした画像のデータが格納されていたメモリ250の同じ領域に格納される。選択部245は、3枚目の画像に対する評価値と評価値記憶部280に記録されている基準値とを比較する。
【0055】
図8(d)に例示する3枚目の画像は、物体70が手前方向に近づいている。そのため、図8(h)に例示するように、3枚目の画像に対応する上記一対の像は相対的に離れている。基準値が図8(g)で示される一対の像の像ずれ量と同等に設定されている場合、3枚目の画像に対する評価値は、基準値を満たさないといえる。
【0056】
選択部245は、図8(h)に例示する上記一対の像の像ずれ量が基準値に対応する像ずれ量よりも大きい(換言すると、評価値が基準値を満たしていない)ため、図8(d)に例示する3枚目の画像を選ばない。演算部240Aは、3枚目の画像のデータを消去可にする。
【0057】
全押し操作中において撮像素子3Aで撮像された4枚目の画像のデータは、消去可にした画像のデータが格納されていたメモリ250の同じ領域に格納される。選択部245は、4枚目の画像に対する評価値と評価値記憶部280に記録されている基準値とを比較する。図8(i)に例示するように、4枚目の画像(図8(d))に対応する上記一対の像は相対的に一致(ずれ量がほぼ0の状態)する。基準値が、図8(g)で示される一対の像の像ずれ量と同等に設定されている場合、4枚目の画像(図8(d))に対する評価値は、基準値を満たすといえる。
【0058】
選択部245は、図8(i)に例示する上記一対の像の像ずれ量が基準値に対応する像ずれ量よりも小さいか同等である(換言すると、評価値が基準値を満たしている)場合、図8(d)に例示する4枚目の画像を選ぶ。演算部240Aは、選択部245で選択された4枚目の画像のデータを出力対象にする。演算部240Aは、出力対象にした画像のデータを画像処理エンジン30へ送出した後、図8(d)に例示する4枚目の画像のデータを消去可にする。
【0059】
以上説明したように、撮像素子3Aの演算部240Aは、メモリ250の所定領域に撮像された画像のデータが格納されると、算出部244によりその画像に対する評価値(上記一対の像の像ずれ量)を算出する。そして、算出された評価値が評価値記憶部280に記録されている基準値を満たしている場合に、その画像を選択部245により選択する。出力部270を介して画像処理エンジン30へ送出されるのは、選択部245で選択された画像のデータのみである。
【0060】
撮像素子3Aから出力された画像のデータを受け取った画像処理エンジン30は、画像処理部330で所定の画像処理を行って記録用の画像データを生成し、メモリ340に記録する。
【0061】
以上説明した第2の実施の形態によれば、以下の作用効果が得られる。
(1)撮像素子3Aは、光電変換された電荷に基づく信号を出力する複数の画素10と、上記信号に基づいて生成される画像の評価値を算出する算出部244と、算出部244で算出された複数の画像のそれぞれの評価値に基づいて、複数の画像から少なくとも1つの画像を選択する選択部245と、選択部245で選択された画像のデータを出力する出力部270と、を備える。
このように構成したので、撮像素子3Aで撮像された複数の画像の全ての画像のデータが撮像素子3Aから画像処理エンジン30へ出力される場合に比べて、撮像素子3Aから出力される画像のデータを減らすことができる。これにより、データを出力する処理時間および撮像素子3Aにおける消費電力を低減することができる。
【0062】
(2)撮像素子3Aの選択部245は、複数の画像のうち評価値が所定値を超える画像を選択する。このように構成したので、撮像素子3Aから出力される画像のデータを、全画像のデータを出力する場合に比べて減らすことができる。また、複数の画像のうち評価値が所定値より高い(換言すると、基準値を満たす)画像のデータを画像処理エンジン30へ出力することができる。
【0063】
(3)撮像素子3Aの複数の画素10は、撮影光学系2を通過した光を光電変換し、算出部244は、撮影光学系2の焦点調節の状態を示す評価値を算出する。
このように構成したので、複数の画像のうちピントがある程度合っている画像のデータを画像処理エンジン30へ出力することができる。
【0064】
(4)撮像素子3Aの算出部244は、上記信号のうち、画像の所定の領域60に対応する信号に基づいて評価値を算出する。
このように構成したので、撮影範囲50の全域に対応する信号に基づいて評価値を算出する場合と比べて、算出部244が評価値を算出する処理の負担を軽減することができる。
【0065】
(第3の実施の形態)
第3の実施の形態では、全押し操作中において撮像素子3で撮像された複数枚の画像の中から、画像に写る被写体の動きが小さい画像のデータを画像処理エンジン30へ送出する。画像処理エンジン30へ送出される画像の数は1枚とは限られない。このような構成について以下に説明する。
【0066】
<撮像素子と画像処理エンジン>
図9は、第3の実施の形態に係る撮像素子3Bと、画像処理エンジン30との間のデータの受け渡しを説明する模式図である。撮像素子3Bは、第1の実施の形態に係る撮像素子3または第2の実施の形態に係る撮像素子3Aに代えて用いられる。撮像素子3Bは、演算部240Bを有する点において撮像素子3および3Aと相違する。そのため、これらの相違点を中心に説明を行い、撮像素子3および3Aと同じ構成には図4および図7と同じ符号を付して説明を省略する。
【0067】
撮像素子3Bは、例えば、画像処理エンジン30から記録用の撮影指示が入力されると、撮影指示が継続されている間に複数枚の画像を撮像し、複数枚の画像のうち主要被写体に動きが少ない、換言すると、主要被写体の像ブレが小さいと推定できる画像のデータを記録用の画像のデータとして画像処理エンジン30へ送出する。
なお、画像処理エンジン30からモニタ表示用の撮影指示が入力されると、モニタ表示用の画像の撮像を繰り返し行い、撮像した画像のデータをモニタ表示用の画像のデータとして画像処理エンジン30へ送出する点は、撮像素子3および3Aの場合と同様である。
【0068】
<演算部の詳細な説明>
第3の実施の形態では、撮像素子3Bの演算部240Bで、主要被写体の動きの大きさを示す評価値を算出する。この評価値は、複数枚の画像のうちの前後して撮像された画像のデータの差分に基づく。
【0069】
演算部240Bは、記録用の撮影指示が継続されている間に撮像される複数の画像に対して、それぞれ評価値を算出する。評価値の算出は、図11を参照して後述する算出部244で行う。演算部240Bは、あらかじめ評価値記憶部280に記録されている基準値と、算出部244で算出された評価値とを比較する。評価値の比較は、図11を参照して後述する選択部245で行う。選択部245は、算出された評価値が基準値を満たす、換言すると、評価値が基準値よりも小さい画像を選択する。選択部245で選択された画像のデータは、出力部270を介して画像処理エンジン30へ送出される。
【0070】
図10を参照して、演算部240Bが行う処理を詳細に説明する。図10(a)~図8(e)は、画像生成用の光電変換部を有する画素10で撮像された画像を例示する図である。図10(a)は、記録用の撮影指示の前、換言すると、半押し操作時に取得された画像の例である。また、図10(b)~図10(e)は、記録用の撮影指示が継続されている間、換言すると、全押し操作中に取得された画像の例である。
【0071】
図10(f)は、全押し操作されている間に撮像された図10(b)および図10(c)に例示する画像のデータの差分を模式的に示す図である。図10(g)は、全押し操作されている間に撮像された図10(c)および図10(d)に例示する画像のデータの差分を模式的に示す図である。図10(h)は、全押し操作されている間に撮像された図10(d)および図10(e)に例示する画像のデータの差分を模式的に示す図である。
【0072】
図10(a)において、レリーズボタンを半押し操作したユーザは、主要被写体としての人物80を撮像装置1で撮影する準備を行う。ユーザは、人物80が撮影範囲のほぼ中央に収まるように撮像装置1を持って構える。ユーザが全押し操作を行うと、撮像装置1は、全押し操作されている間に図10(b)~図10(e)に例示する複数枚の画像を撮像素子3Bにより撮像する。実施の形態では4枚の画像を撮像する。
【0073】
図11は、演算部240Bの構成を例示する図である。演算部240Bは、メモリ250からのデータを読み出すメモリ読出部241と、差分算出部242と、累積加算部243と、算出部244と、選択部245とを有する。
【0074】
演算部240Bは、全押し操作中において撮像素子3Bで撮像された1枚目の画像(図10(b))のデータを、例えば、メモリ250の第2領域252に格納させる。演算部240Bは、全押し操作中において撮像素子3Bで撮像された2枚目の画像(図10(b))のデータを、例えば、メモリ250の第1領域251に格納させる。
【0075】
演算部240Bは、メモリ250の第1領域251に格納されている上記2枚目の画像のデータと、メモリ250の第2領域252に格納されている上記1枚目の画像のデータとの差分を、対応する画素毎に差分算出部242により算出する。このような算出を行うと、図10(f)に例示するように、人物80(主要被写体)の像に動きがある領域(換言すると、上記1枚目の画像と上記2枚目の画像間で人物80が動いた部位)に含まれる画素について算出される差分値は大きく、人物80の像に動きがない領域に含まれる画素について算出される差分値は小さくなる。
なお、実施の形態では、被写体像のうち動きがある領域が、演算部240Bで評価値を算出する領域60として設定されるものとする。領域60が撮影範囲の一部に設定されることにより、撮影範囲の全域に設定される場合と比べて、演算部240Bが評価値を算出する処理の負担を軽減することができる。演算部240Bは、領域60を自動で設定することも、ユーザの操作によって指示された範囲を領域60に設定することもできる。
【0076】
演算部240Bは、領域60に含まれる各画素について算出された複数の差分値を累積加算部243により加算する。算出部244は、累積加算部243で算出された累積加算値を、上記2枚目の画像に対する評価値とする。選択部245は、2枚目の画像に対する評価値と評価値記憶部280に記録されている基準値とを比較する。
【0077】
例えば、基準値が図10(h)に例示した差分と同等に設定されている場合、2枚目の画像(図10(c))に対する評価値は、基準値を満たさないといえる。
選択部245は、図10(f)に例示する差分が基準値に対応する差分よりも大きい(換言すると、評価値が基準値を満たしていない)ため、図10(b)に例示する1枚目の画像を選ばない。演算部240Bは、1枚目の画像のデータを消去可にする。1枚目の画像のデータを消去可にするのは、メモリ250の第2領域252に上記2枚目の画像のデータを上書きするためである。
【0078】
演算部240Bは、全押し操作中において撮像素子3Bで撮像された3枚目の画像(図10(d))のデータを、メモリ250の第1領域251に格納させる。
演算部240Bは、メモリ250の第1領域251に格納されている上記3枚目の画像のデータと、メモリ250の第2領域252に格納されている上記2枚目の画像のデータとの差分を、対応する画素毎に差分算出部242により算出する。
【0079】
演算部240Bは、領域60に含まれる各画素について算出された複数の差分値を累積加算部243により加算する。算出部244は、累積加算部243で算出された累積加算値を、上記3枚目の画像に対する評価値とする。選択部245は、3枚目の画像に対する評価値と評価値記憶部280に記録されている基準値とを比較する。
【0080】
上述したように、基準値が図10(h)で例示した差分と同等に設定されている場合、3枚目の画像(図10(d))に対する評価値は、基準値を満たさないといえる。
選択部245は、図10(g)に例示する差分が基準値に対応する差分よりも大きい(換言すると、評価値が基準値を満たしていない)ため、図10(c)に例示する2枚目の画像を選ばない。演算部240Bは、2枚目の画像のデータを消去可にする。2枚目の画像のデータを消去可にするのは、メモリ250の第2領域252に上記3枚目の画像のデータを上書きするためである。
【0081】
このように、全押し操作中において撮像素子3Bで撮像された2枚目以降の画像は、新たに撮像された画像のデータをメモリ250の第1領域251に格納しながら、メモリ250の第2領域252に格納されている画像のデータとの間の差分を、対応する画素毎に差分算出部242により算出する。
【0082】
演算部240Bは、全押し操作中において撮像素子3Bで撮像された4枚目の画像(図10(e))のデータを、メモリ250の第1領域251に格納させる。
演算部240Bは、メモリ250の第1領域251に格納されている上記4枚目の画像のデータと、メモリ250の第2領域252に格納されている上記3枚目の画像のデータとの差分を、対応する画素毎に差分算出部242により算出する。
【0083】
演算部240Bは、領域60に含まれる各画素について算出された複数の差分値を累積加算部243により加算する。算出部244は、累積加算部243で算出された累積加算値を、上記4枚目の画像に対する評価値とする。選択部245は、4枚目の画像に対する評価値と評価値記憶部280に記録されている基準値とを比較する。
【0084】
図10(h)に例示するように、上記3枚目の画像のデータと上記4枚目の画像のデータとは相対的に一致(差分値がほぼ0の状態)する。基準値が図10(h)で例示される差分値と同等に設定されている場合、4枚目の画像(10(e))に対する評価値は、基準値を満たすといえる。
【0085】
選択部245は、図10(h)に例示する差分が基準値に対応する差分よりも小さいか同等である(換言すると、評価値が基準値を満たしている)場合、図10(e)に例示する4枚目の画像を選ぶ。演算部240Bは、選択部245で選択された4枚目の画像のデータを出力対象にする。演算部240Bは、出力対象にした画像のデータを画像処理エンジン30へ送出した後、送出した4枚目の画像のデータを消去可にする。
【0086】
以上説明したように、撮像素子3Bの演算部240Bは、新たに撮像された画像がメモリ250の第1領域251に格納されると、差分算出部242、累積加算部243および算出部244によりその画像に対する評価値(前に撮像された画像との差分の累積加算値)を算出する。そして、算出された評価値が評価値記憶部280に記録されている基準値を満たしている場合に、その画像を選択部245により選択する。出力部270を介して画像処理エンジン30へ送出されるのは、選択部245で選択された画像のデータのみである。
【0087】
撮像素子3Bから出力された画像のデータを受け取った画像処理エンジン30は、画像処理部330で所定の画像処理を行って記録用の画像データを生成し、メモリ340に記録する。
【0088】
以上説明した第3の実施の形態によれば、以下の作用効果が得られる。
(1)撮像素子3Bは、光電変換された電荷に基づく信号を出力する複数の画素10と、上記信号に基づいて生成される画像の評価値を算出する算出部244と、算出部244で算出された複数の画像のそれぞれの評価値に基づいて、複数の画像から少なくとも1つの画像を選択する選択部245と、選択部245で選択された画像の画像信号を出力する出力部270と、を備える。
このように構成したので、撮像素子3Bで撮像された複数の画像の全ての画像のデータが撮像素子3Bから画像処理エンジン30へ出力される場合に比べて、撮像素子3Bから出力される画像のデータを減らすことができる。これにより、データを出力する処理時間および撮像素子3Bにおける消費電力を低減することができる。
【0089】
(2)撮像素子3Bの算出部244は、評価値として現フレームおよび前フレームの画像の差分に基づいて評価値を算出し、選択部245は、複数の画像のうち評価値が所定値未満の画像を選択する。
このように構成したので、撮像素子3Bで撮像された複数の画像の全ての画像のデータが撮像素子3Bから画像処理エンジン30へ出力される場合に比べて、撮像素子3Bから出力される画像のデータを減らすことができる。これにより、データを出力するための処理時間および撮像素子3Bにおける消費電力を低減することができる。
【0090】
(3)撮像素子3Bの算出部244は、画像に写る被写体(例えば人物80)の動きを示す評価値を算出する。このように構成したので、例えば、複数の画像のうち人物80の像ブレが少ない画像のデータを画像処理エンジン30へ出力することができる。
【0091】
(4)撮像素子3Bの算出部244は、上記信号のうち、画像の所定の領域60に対応する信号に基づいて評価値を算出する。
このように構成したので、撮影範囲50の全域に対応する信号に基づいて評価値を算出する場合と比べて、算出部244が評価値を算出する処理の負担を軽減することができる。
【0092】
(変形例1)
上述した第1~第3の実施の形態では、撮像素子3、3Aおよび3Bは、裏面照射型の構成とする例について説明した。これに代えて、撮像素子3、3Aおよび3Bを、それぞれ、光が入射する入射面側に配線層140を設ける表面照射型の構成としてもよい。
【0093】
(変形例2)
上述した第1~第3の実施の形態では、光電変換部としてフォトダイオードを用いる例について説明した。しかし、光電変換部として光電変換膜を用いるようにしてもよい。
【0094】
(変形例3)
撮像素子3、3Aおよび3Bは、カメラ、スマートフォン、タブレット、PCに内蔵のカメラ、車載カメラ等に適用されてもよい。
【0095】
(変形例4)
上述した第1~第3の実施の形態では、撮影光学系2のフォーカス調節の状態を示す評価値または主要被写体の動きの大きさを示す評価値を算出する例を説明した。フォーカス調節の状態および主要被写体の動きの大きさ以外の他の情報を示す評価値として、例えば、撮影された画像の明るさを示す評価値、または、撮影された画像の色温度(ホワイトバランスと呼んでもよい)を示す評価値、または撮影された画像のコントラストを示す評価値を算出する構成にしてもよい。選択部は、算出した評価値に基づいて画像処理エンジン30へ送出する画像を選択する。
【0096】
(変形例5)
上述した第1~第3の実施の形態では、例えば、レリーズボタンに対して全押し操作が継続して行われている間に撮像素子3、3Aまたは3Bで複数枚の画像を撮像し、各画像に対して算出した評価値に基づいて、撮像素子3、3Aまたは3Bから画像処理エンジン30へ送出する画像を複数枚の画像の中から選択する例を説明した。撮像素子3、3Aまたは3Bから画像処理エンジン30へ送出する画像を複数枚の画像の中から選択することは、レリーズボタンに対して全押し操作が継続して行われている場合に限らず、例えば、所定の時刻になると複数枚の画像の撮像を開始する撮影設定が撮像装置1に設定されている場合、撮影範囲50のうちのあらかじめ定めた領域に被写体が移動すると複数枚の画像の撮像を開始する撮影設定が撮像装置1に設定されている場合、外部機器から撮像装置1に対する撮影開始指示が送信される場合等、撮像装置1が自動で撮影を開始する場合にも適用してよい。
【0097】
(変形例6)
上述した第1~第3の実施の形態では、撮像素子3、3Aまたは3Bで撮像する複数枚の画像は、とくに撮像条件を変更することなく、同じ撮影条件を適用するものとして説明した。撮影条件は、例えば、シャッタースピード、絞り値、ISO感度等である。この代わりに、撮像素子3、3Aまたは3Bで複数枚の画像を撮像する場合に、撮影条件の少なくとも一部を段階的に変更しながら撮影するブラケット撮影を行ってもよい。変形例6においては、撮像素子3、3Aまたは3Bから画像処理エンジン30へ送出する画像を、ブラケット撮影した複数枚の画像の中から選択する。
【0098】
(変形例7)
上述した第3の実施の形態の変形例として、第3の実施の形態で説明したメモリ250に第3領域を確保し、撮像素子3Bで新たに撮像された画像のデータ(データAと呼ぶ)を第3領域に格納する構成にしてもよい。変形例7において、メモリ250の第1領域251および第2領域252には、それぞれ、上記データAを所定の間引き率で間引くことによってデータ数を削減した間引き画像のデータ(データA-と呼ぶ)、および、撮像素子3BでデータAの前に撮像された画像のデータ(データBと呼ぶ)をデータAと同じ間引き率で間引くことによってデータ数を削減した間引き画像のデータ(データB-と呼ぶ)を格納する。
【0099】
演算部240Bは、撮像素子3Bで新たに撮像された画像(その画像のデータが上記メモリ250の第3領域に格納された画像)に対する評価値(データの差分を累積加算した値)を、メモリ250の第1領域251および第2領域に格納されたデータA-およびデータB-に基づいて算出し、算出した評価値が評価値記憶部280に記録されている基準値を満たしている場合に、上記メモリ250の第3領域に格納された画像のデータを画像処理エンジン30へ送出する。
【0100】
以上説明した変形例7において、メモリ250の第1領域251および第2領域252の記憶容量の和がメモリ250の第3領域の記憶容量よりも小さくなるように、第1領域251および第2領域252に格納する画像のデータの間引き率を設定する。このように構成することにより、第3の実施の形態で必要なメモリ250の記憶容量(第1領域251および第2領域252の和)に比べて、変形例7で必要なメモリ250の記憶容量(第1領域251および第2領域252および第3領域の和)を小さく抑えることができる。
【0101】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。実施の形態および変形例で示された各構成を組み合わせて用いる態様も本発明の範囲内に含まれる。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【0102】
1…撮像装置、3、3A、3B…撮像素子、4…制御部、10…画素、20…読出部、30…画像処理エンジン、60…領域、210…画素アレイ、240、240A、240B…演算部、244…算出部、245…選択部、250…メモリ、251…第1領域、252…第2領域、260…走査部、270…出力部、280…評価値記憶部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11