特許 7572926 撮像素子、及び撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-16

(45)【発行日】2024-10-24

(54)【発明の名称】撮像素子、及び撮像装置

(51)【国際特許分類】

   H04N 23/54 20230101AFI20241017BHJP

   H04N 23/611 20230101ALI20241017BHJP

   H04N 25/70 20230101ALI20241017BHJP

【ＦＩ】

H04N23/54

H04N23/611

H04N25/70

【請求項の数】 19

(21)【出願番号】P 2021145150

(22)【出願日】2021-09-07

(62)【分割の表示】P 2020009351の分割

【原出願日】2013-03-15

(65)【公開番号】P2021193811

(43)【公開日】2021-12-23

【審査請求日】2021-09-07

【審判番号】

【審判請求日】2023-07-18

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(72)【発明者】

【氏名】木下 朗

【合議体】

【審判長】千葉 輝久

【審判官】樫本 剛

【審判官】高橋 宣博

(56)【参考文献】

【文献】特開２００６－１５７８６２（ＪＰ，Ａ）

【文献】特開２００６－１９７１９２（ＪＰ，Ａ）

【文献】特開２００２－４４５２７（ＪＰ，Ａ）

【文献】特開２００７－１３０８９（ＪＰ，Ａ）

【文献】特開２０１２－２８９４９（ＪＰ，Ａ）

【文献】特開２０１０－２３３１８６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０１７６５０５（ＵＳ，Ａ１）

【文献】特開２００９－１０６１６（ＪＰ，Ａ）

【文献】特開２０１２－５４８７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G02B 5/20 - 5/28

H01L 27/14 - 27/148

H04N 5/30 - 5/378

(57)【特許請求の範囲】

【請求項1】

光を電荷に変換する第１光電変換部と、
光を電荷に変換する光電変換部であって第１方向において前記第１光電変換部の隣に配置される第２光電変換部と、
光を電荷に変換する光電変換部であって前記第１方向と交差する第２方向において前記第１光電変換部の隣に配置される第３光電変換部と、
光を電荷に変換する光電変換部であって前記第１方向において前記第１光電変換部と並んで配置される第４光電変換部と、
光を電荷に変換する光電変換部であって前記第１方向において前記第４光電変換部の隣に配置される第５光電変換部と、
光を電荷に変換する光電変換部であって前記第２方向において前記第４光電変換部の隣に配置される第６光電変換部と、
光を電荷に変換する光電変換部であって前記第２方向において前記第１光電変換部と並んで配置される第７光電変換部と、
光を電荷に変換する光電変換部であって前記第１方向において前記第７光電変換部の隣に配置される第８光電変換部と、
光を電荷に変換する光電変換部であって前記第２方向において前記第７光電変換部の隣に配置される第９光電変換部と、
前記第１光電変換部で変換された電荷を転送する第１転送部と、
前記第２光電変換部で変換された電荷を転送する第２転送部と、
前記第３光電変換部で変換された電荷を転送する第３転送部と、
前記第４光電変換部で変換された電荷を転送する第４転送部と、
前記第５光電変換部で変換された電荷を転送する第５転送部と、
前記第６光電変換部で変換された電荷を転送する第６転送部と、
前記第７光電変換部で変換された電荷を転送する第７転送部と、
前記第８光電変換部で変換された電荷を転送する第８転送部と、
前記第９光電変換部で変換された電荷を転送する第９転送部と
を有する第１半導体基板と、
前記第１半導体基板とともに積層される半導体基板であって、
前記第１光電変換部で変換された電荷に基づく第１画素信号と、前記第２光電変換部で変換された電荷に基づく第２画素信号と、前記第３光電変換部で変換された電荷に基づく第３画素信号とをデジタル信号に変換する第１変換部と、
前記第４光電変換部で変換された電荷に基づく第４画素信号と、前記第５光電変換部で変換された電荷に基づく第５画素信号と、前記第６光電変換部で変換された電荷に基づく第６画素信号とをデジタル信号に変換する第２変換部と、
前記第７光電変換部で変換された電荷に基づく第７画素信号と、前記第８光電変換部で変換された電荷に基づく第８画素信号と、前記第９光電変換部で変換された電荷に基づく第９画素信号とをデジタル信号に変換する第３変換部と、
前記第１光電変換部、前記第２光電変換部および前記第３光電変換部で変換された電荷を蓄積する第１蓄積時間と、前記第４光電変換部、前記第５光電変換部および前記第６光電変換部で変換された電荷を蓄積する第２蓄積時間と、前記第７光電変換部、前記第８光電変換部および前記第９光電変換部で変換された電荷を蓄積する第３蓄積時間とのうち、少なくとも２つの蓄積時間が互いに異なる蓄積時間になるように、前記第１転送部、前記第２転送部、前記第３転送部、前記第４転送部、前記第５転送部、前記第６転送部、前記第７転送部、前記第８転送部および前記第９転送部を制御する駆動部とを有する第２半導体基板と
を備え、
前記第１転送部は、前記第１転送部を制御するための第１転送制御信号が出力される第１転送制御線に接続され、
前記第２転送部は、前記第２転送部を制御するための第２転送制御信号が出力される第２転送制御線に接続され、
前記第３転送部は、前記第３転送部を制御するための第３転送制御信号が出力される第３転送制御線に接続され、
前記第４転送部は、前記第４転送部を制御するための第４転送制御信号が出力される第４転送制御線に接続され、
前記第５転送部は、前記第５転送部を制御するための第５転送制御信号が出力される第５転送制御線に接続され、
前記第６転送部は、前記第６転送部を制御するための第６転送制御信号が出力される第６転送制御線に接続され、
前記第７転送部は、前記第７転送部を制御するための第７転送制御信号が出力される第７転送制御線に接続され、
前記第８転送部は、前記第８転送部を制御するための第８転送制御信号が出力される第８転送制御線に接続され、
前記第９転送部は、前記第９転送部を制御するための第９転送制御信号が出力される第９転送制御線に接続される、
撮像素子。

【請求項2】

請求項１に記載の撮像素子において、
前記駆動部は、
前記第１蓄積時間、前記第２蓄積時間および前記第３蓄積時間のうち、少なくとも２つの蓄積時間が互いに異なる蓄積時間になるように、
前記第１転送制御信号を前記第１転送制御線に出力するタイミングと、
前記第２転送制御信号を前記第２転送制御線に出力するタイミングと、
前記第３転送制御信号を前記第３転送制御線に出力するタイミングと、
前記第４転送制御信号を前記第４転送制御線に出力するタイミングと、
前記第５転送制御信号を前記第５転送制御線に出力するタイミングと、
前記第６転送制御信号を前記第６転送制御線に出力するタイミングと、
前記第７転送制御信号を前記第７転送制御線に出力するタイミングと、
前記第８転送制御信号を前記第８転送制御線に出力するタイミングと、
前記第９転送制御信号を前記第９転送制御線に出力するタイミングと
を制御する、
撮像素子。

【請求項3】

請求項１または請求項２のいずれかに記載の撮像素子において、
前記第１光電変換部で変換された電荷が転送される第１フローティングディフュージョンと、
前記第４光電変換部で変換された電荷が転送される第２フローティングディフュージョンと、
前記第７光電変換部で変換された電荷が転送される第３フローティングディフュージョンと、
前記第１フローティングディフュージョンの電位をリセットする第１リセット部と
前記第２フローティングディフュージョンの電位をリセットする第２リセット部と
前記第３フローティングディフュージョンの電位をリセットする第３リセット部と
を備える、
撮像素子。

【請求項4】

請求項３に記載の撮像素子において、
前記駆動部は、前記第１蓄積時間、前記第２蓄積時間および前記第３蓄積時間のうち、少なくとも２つの蓄積時間が互いに異なる蓄積時間になるように、前記第１リセット部、前記第２リセット部および前記第３リセット部を制御する、
撮像素子。

【請求項5】

請求項４に記載の撮像素子において、
前記第１リセット部は、前記第１リセット部を制御するための第１リセット制御信号が出力される第１リセット制御線に接続され、
前記第２リセット部は、前記第２リセット部を制御するための第２リセット制御信号が出力される第２リセット制御線に接続され、
前記第３リセット部は、前記第３リセット部を制御するための第３リセット制御信号が出力される第３リセット制御線に接続され、
前記駆動部は、前記第１蓄積時間、前記第２蓄積時間および前記第３蓄積時間のうち、少なくとも２つの蓄積時間が互いに異なる蓄積時間になるように、
前記第１リセット制御信号を前記第１リセット制御線に出力するタイミングと、
前記第２リセット制御信号を前記第２リセット制御線に出力するタイミングと、
前記第３リセット制御信号を前記第３リセット制御線に出力するタイミングとを制御する、
撮像素子。

【請求項6】

請求項１または請求項２のいずれか一項に記載の撮像素子において、
前記第１光電変換部で変換された電荷を排出する第１リセット部と、
前記第２光電変換部で変換された電荷を排出する第２リセット部と、
前記第３光電変換部で変換された電荷を排出する第３リセット部と、
前記第４光電変換部で変換された電荷を排出する第４リセット部と、
前記第５光電変換部で変換された電荷を排出する第５リセット部と、
前記第６光電変換部で変換された電荷を排出する第６リセット部と、
前記第７光電変換部で変換された電荷を排出する第７リセット部と、
前記第８光電変換部で変換された電荷を排出する第８リセット部と、
前記第９光電変換部で変換された電荷を排出する第９リセット部と
を備え、
前記駆動部は、前記第１蓄積時間、前記第２蓄積時間および前記第３蓄積時間のうち、少なくとも２つの蓄積時間が互いに異なる蓄積時間になるように、前記第１リセット部、前記第２リセット部、前記第３リセット部、前記第４リセット部、前記第５リセット部、前記第６リセット部、前記第７リセット部、前記第８リセット部および前記第９リセット部を制御する、
撮像素子。

【請求項7】

請求項６に記載の撮像素子において、
前記第１リセット部は、前記第１リセット部を制御するための第１リセット制御信号が出力される第１リセット制御線に接続され、
前記第２リセット部は、前記第２リセット部を制御するための第２リセット制御信号が出力される第２リセット制御線に接続され、
前記第３リセット部は、前記第３リセット部を制御するための第３リセット制御信号が出力される第３リセット制御線に接続され、
前記第４リセット部は、前記第４リセット部を制御するための第４リセット制御信号が出力される第４リセット制御線に接続され、
前記第５リセット部は、前記第５リセット部を制御するための第５リセット制御信号が出力される第５リセット制御線に接続され、
前記第６リセット部は、前記第６リセット部を制御するための第６リセット制御信号が出力される第６リセット制御線に接続され、
前記第７リセット部は、前記第７リセット部を制御するための第７リセット制御信号が出力される第７リセット制御線に接続され、
前記第８リセット部は、前記第８リセット部を制御するための第８リセット制御信号が出力される第８リセット制御線に接続され、
前記第９リセット部は、前記第９リセット部を制御するための第９リセット制御信号が出力される第９リセット制御線に接続され、
前記駆動部は、
前記第１蓄積時間、前記第２蓄積時間および前記第３蓄積時間のうち、少なくとも２つの蓄積時間が互いに異なる蓄積時間になるように、
前記第１リセット制御信号を前記第１リセット制御線に出力するタイミングと、
前記第２リセット制御信号を前記第２リセット制御線に出力するタイミングと、
前記第３リセット制御信号を前記第３リセット制御線に出力するタイミングと、
前記第４リセット制御信号を前記第４リセット制御線に出力するタイミングと、
前記第５リセット制御信号を前記第５リセット制御線に出力するタイミングと、
前記第６リセット制御信号を前記第６リセット制御線に出力するタイミングと、
前記第７リセット制御信号を前記第７リセット制御線に出力するタイミングと、
前記第８リセット制御信号を前記第８リセット制御線に出力するタイミングと、
前記第９リセット制御信号を前記第９リセット制御線に出力するタイミングと
を制御する、
撮像素子。

【請求項8】

請求項１から請求項７のいずれか一項に記載の撮像素子において、
前記第１半導体基板とともに積層される半導体基板であって、
前記第１変換部でデジタル信号に変換された前記第１画素信号を格納する第１格納部と、
前記第１変換部でデジタル信号に変換された前記第２画素信号を格納する第２格納部と、
前記第１変換部でデジタル信号に変換された前記第３画素信号を格納する第３格納部と、
前記第２変換部でデジタル信号に変換された前記第４画素信号を格納する第４格納部と、
前記第２変換部でデジタル信号に変換された前記第５画素信号を格納する第５格納部と、
前記第２変換部でデジタル信号に変換された前記第６画素信号を格納する第６格納部と、
前記第３変換部でデジタル信号に変換された前記第７画素信号を格納する第７格納部と、
前記第３変換部でデジタル信号に変換された前記第８画素信号を格納する第８格納部と、
前記第３変換部でデジタル信号に変換された前記第９画素信号を格納する第９格納部とを有する第３半導体基板を備える撮像素子。

【請求項9】

請求項１から請求項８のいずれか一項に記載の撮像素子において、
前記第１画素信号、前記第２画素信号および前記第３画素信号が出力される第１出力線と、
前記第４画素信号、前記第５画素信号および前記第６画素信号が出力される第２出力線と、
前記第７画素信号、前記第８画素信号および前記第９画素信号が出力される第３出力線と
を備え、
前記第１変換部は、前記第１出力線に出力された前記第１画素信号、前記第２画素信号および前記第３画素信号をデジタル信号に変換し、
前記第２変換部は、前記第２出力線に出力された前記第４画素信号、前記第５画素信号および前記第６画素信号をデジタル信号に変換し、
前記第３変換部は、前記第３出力線に出力された前記第７画素信号、前記第８画素信号および前記第９画素信号をデジタル信号に変換する、
撮像素子。

【請求項10】

請求項９に記載の撮像素子において、
前記第２半導体基板は、
前記第１出力線に電流を供給する第１電流源と、
前記第２出力線に電流を供給する第２電流源と、
前記第３出力線に電流を供給する第３電流源と
を有する撮像素子。

【請求項11】

請求項１から請求項１０のいずれか一項に記載の撮像素子において、
前記駆動部は、前記第１画素信号、前記第２画素信号および前記第３画素信号を読み出すための第１フレームレートと、前記第４画素信号、前記第５画素信号および前記第６画素信号を読み出すための第２フレームレートと、前記第７画素信号、前記第８画素信号および前記第９画素信号を読み出すための第３フレームレートとのうち、少なくとも２つのフレームレートが互いに異なるフレームレートになるように制御する、
撮像素子。

【請求項12】

請求項１から請求項１１のいずれか一項に記載の撮像素子において、
前記駆動部は、前記第１画素信号、前記第２画素信号および前記第３画素信号を増幅するための第１ゲインと、前記第４画素信号、前記第５画素信号および前記第６画素信号を増幅するための第２ゲインと、前記第７画素信号、前記第８画素信号および前記第９画素信号を増幅する第３ゲインとのうち、少なくとも２つのゲインが互いに異なるゲインになるように制御する、
撮像素子。

【請求項13】

請求項１から請求項１２のいずれか一項に記載の撮像素子において、
前記第１半導体基板は、
光を電荷に変換する光電変換部であって、前記第１方向において前記第１光電変換部と並んで配置される第１０光電変換部と、
光を電荷に変換する光電変換部であって前記第１方向において前記第１０光電変換部の隣に配置される第１１光電変換部と、
光を電荷に変換する光電変換部であって前記第２方向において前記第１０光電変換部の隣に配置される第１２光電変換部と、
前記第１０光電変換部で変換された電荷を転送する第１０転送部と、
前記第１１光電変換部で変換された電荷を転送する第１１転送部と、
前記第１２光電変換部で変換された電荷を転送する第１２転送部と
を有し、
前記第２半導体基板は、前記第１０光電変換部で変換された電荷に基づく第１０画素信号と、前記第１１光電変換部で変換された電荷に基づく第１１画素信号と、前記第１２光電変換部で変換された電荷に基づく第１２画素信号とをデジタル信号に変換する第４変換部を有し、
前記駆動部は、前記第１蓄積時間と、前記第２蓄積時間と、前記第３蓄積時間と、前記第１０光電変換部、前記第１１光電変換部および前記第１２光電変換部で変換された電荷を蓄積する第４蓄積時間とのうち、少なくとも２つの蓄積時間が異なる蓄積時間になるように、前記第１転送部、前記第２転送部、前記第３転送部、前記第４転送部、前記第５転送部、前記第６転送部、前記第７転送部、前記第８転送部、前記第９転送部、前記第１０転送部、前記第１１転送部および前記第１２転送部を制御し、
前記第１０転送部は、前記第１０転送部を制御するための第１０転送制御信号が出力される第１０転送制御線に接続され、
前記第１１転送部は、前記第１１転送部を制御するための第１１転送制御信号が出力される第１１転送制御線に接続され、
前記第１２転送部は、前記第１２転送部を制御するための第１２転送制御信号が出力される第１２転送制御線に接続される、
撮像素子。

【請求項14】

請求項１３に記載の撮像素子において、
前記第１半導体基板は、
光を電荷に変換する光電変換部であって、前記第２方向において前記第１光電変換部と並んで配置される第１３光電変換部と、
光を電荷に変換する光電変換部であって前記第１方向において前記第１３光電変換部の隣に配置される第１４光電変換部と、
光を電荷に変換する光電変換部であって前記第２方向において前記第１３光電変換部の隣に配置される第１５光電変換部と、
前記第１３光電変換部で変換された電荷を転送する第１３転送部と、
前記第１４光電変換部で変換された電荷を転送する第１４転送部と、
前記第１５光電変換部で変換された電荷を転送する第１５転送部と
を有し、
前記第２半導体基板は、前記第１３光電変換部で変換された電荷に基づく第１３画素信号と、前記第１４光電変換部で変換された電荷に基づく第１４画素信号と、前記第１５光電変換部で変換された電荷に基づく第１５画素信号とをデジタル信号に変換する第５変換部を有し、
前記駆動部は、前記第１蓄積時間と、前記第２蓄積時間と、前記第３蓄積時間と、前記第４蓄積時間と、前記第１３光電変換部、前記第１４光電変換部および前記第１５光電変換部で変換された電荷を蓄積する第５蓄積時間とのうち、少なくとも２つの蓄積時間が異なる蓄積時間になるように、前記第１転送部、前記第２転送部、前記第３転送部、前記第４転送部、前記第５転送部、前記第６転送部、前記第７転送部、前記第８転送部、前記第９転送部、前記第１０転送部、前記第１１転送部、前記第１２転送部、前記第１３転送部、前記第１４転送部および前記第１５転送部を制御し、
前記第１３転送部は、前記第１３転送部を制御するための第１３転送制御信号が出力される第１３転送制御線に接続され、
前記第１４転送部は、前記第１４転送部を制御するための第１４転送制御信号が出力される第１４転送制御線に接続され、
前記第１５転送部は、前記第１５転送部を制御するための第１５転送制御信号が出力される第１５転送制御線に接続される、
撮像素子。

【請求項15】

請求項１から請求項１２のいずれか一項に記載の撮像素子において、
前記第１半導体基板は、
光を電荷に変換する光電変換部であって、前記第２方向において前記第１光電変換部と並んで配置される第１０光電変換部と、
光を電荷に変換する光電変換部であって前記第１方向において前記第１０光電変換部の隣に配置される第１１光電変換部と、
光を電荷に変換する光電変換部であって前記第２方向において前記第１０光電変換部の隣に配置される第１２光電変換部と、
前記第１０光電変換部で変換された電荷を転送する第１０転送部と、
前記第１１光電変換部で変換された電荷を転送する第１１転送部と、
前記第１２光電変換部で変換された電荷を転送する第１２転送部と
を有し、
前記第２半導体基板は、前記第１０光電変換部で変換された電荷に基づく第１０画素信号と、前記第１１光電変換部で変換された電荷に基づく第１１画素信号と、前記第１２光電変換部で変換された電荷に基づく第１２画素信号とをデジタル信号に変換する第４変換部を有し、
前記駆動部は、前記第１蓄積時間と、前記第２蓄積時間と、前記第３蓄積時間と、前記第１０光電変換部、前記第１１光電変換部および前記第１２光電変換部で変換された電荷を蓄積する第４蓄積時間とのうち、少なくとも２つの蓄積時間が異なる蓄積時間になるように、前記第１転送部、前記第２転送部、前記第３転送部、前記第４転送部、前記第５転送部、前記第６転送部、前記第７転送部、前記第８転送部、前記第９転送部、前記第１０転送部、前記第１１転送部および前記第１２転送部を制御し、
前記第１０転送部は、前記第１０転送部を制御するための第１０転送制御信号が出力される第１０転送制御線に接続され、
前記第１１転送部は、前記第１１転送部を制御するための第１１転送制御信号が出力される第１１転送制御線に接続され、
前記第１２転送部は、前記第１２転送部を制御するための第１２転送制御信号が出力される第１２転送制御線に接続される、
撮像素子。

【請求項16】

請求項１から請求項１５のいずれか一項に記載の撮像素子を備える撮像装置。

【請求項17】

請求項１６に記載の撮像装置において、
前記撮像素子で撮像された被写体から特定被写体を検出する検出部を備え、
前記駆動部は、前記検出部の検出結果に基づいて、前記第１蓄積時間、前記第２蓄積時間および前記第３蓄積時間のうち、少なくとも２つの蓄積時間が互いに異なる蓄積時間になるように、前記第１転送部、前記第２転送部、前記第３転送部、前記第４転送部、前記第５転送部、前記第６転送部、前記第７転送部、前記第８転送部および前記第９転送部を制御する、
撮像装置。

【請求項18】

請求項１７に記載の撮像装置において、
前記検出部は、前記撮像素子で撮像された被写体から人物と推定される被写体を前記特定被写体として検出する撮像装置。

【請求項19】

請求項１７または請求項１８に記載の撮像装置において、
前記検出部は、前記撮像素子で撮像された被写体から人物の目又は人物の口と推定される被写体を前記特定被写体として検出する撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像素子、及び撮像装置に関する。

【背景技術】

【0002】

撮像素子の特定の撮像領域からのみ画素信号を部分的に読み出すことで、高速読み出しが可能なデジタルカメラが知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－５８４６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記従来技術では、撮像素子の特定の撮像領域からのみ画素信号を部分的に読み出すため、この部分読み出しのときには、撮像素子の全体の撮像領域から画像信号を読み出すことはできない。

【課題を解決するための手段】

【0005】

発明の一態様による撮像素子は、光を電荷に変換する第１光電変換部と、光を電荷に変換する光電変換部であって第１方向において前記第１光電変換部の隣に配置される第２光電変換部と、光を電荷に変換する光電変換部であって前記第１方向と交差する第２方向において前記第１光電変換部の隣に配置される第３光電変換部と、光を電荷に変換する光電変換部であって前記第１方向において前記第１光電変換部と並んで配置される第４光電変換部と、光を電荷に変換する光電変換部であって前記第１方向において前記第４光電変換部の隣に配置される第５光電変換部と、光を電荷に変換する光電変換部であって前記第２方向において前記第４光電変換部の隣に配置される第６光電変換部と、光を電荷に変換する光電変換部であって前記第２方向において前記第１光電変換部と並んで配置される第７光電変換部と、光を電荷に変換する光電変換部であって前記第１方向において前記第７光電変換部の隣に配置される第８光電変換部と、光を電荷に変換する光電変換部であって前記第２方向において前記第７光電変換部の隣に配置される第９光電変換部と、前記第１光電変換部で変換された電荷を転送する第１転送部と、前記第２光電変換部で変換された電荷を転送する第２転送部と、前記第３光電変換部で変換された電荷を転送する第３転送部と、前記第４光電変換部で変換された電荷を転送する第４転送部と、前記第５光電変換部で変換された電荷を転送する第５転送部と、前記第６光電変換部で変換された電荷を転送する第６転送部と、前記第７光電変換部で変換された電荷を転送する第７転送部と、前記第８光電変換部で変換された電荷を転送する第８転送部と、前記第９光電変換部で変換された電荷を転送する第９転送部とを有する第１半導体基板と、前記第１半導体基板とともに積層される半導体基板であって、前記第１光電変換部で変換された電荷に基づく第１画素信号と、前記第２光電変換部で変換された電荷に基づく第２画素信号と、前記第３光電変換部で変換された電荷に基づく第３画素信号とをデジタル信号に変換する第１変換部と、前記第４光電変換部で変換された電荷に基づく第４画素信号と、前記第５光電変換部で変換された電荷に基づく第５画素信号と、前記第６光電変換部で変換された電荷に基づく第６画素信号とをデジタル信号に変換する第２変換部と、前記第７光電変換部で変換された電荷に基づく第７画素信号と、前記第８光電変換部で変換された電荷に基づく第８画素信号と、前記第９光電変換部で変換された電荷に基づく第９画素信号とをデジタル信号に変換する第３変換部と、前記第１光電変換部、前記第２光電変換部および前記第３光電変換部で変換された電荷を蓄積する第１蓄積時間と、前記第４光電変換部、前記第５光電変換部および前記第６光電変換部で変換された電荷を蓄積する第２蓄積時間と、前記第７光電変換部、前記第８光電変換部および前記第９光電変換部で変換された電荷を蓄積する第３蓄積時間とのうち、少なくとも２つの蓄積時間が互いに異なる蓄積時間になるように、前記第１転送部、前記第２転送部、前記第３転送部、前記第４転送部、前記第５転送部、前記第６転送部、前記第７転送部、前記第８転送部および前記第９転送部を制御する駆動部とを有する第２半導体基板とを備え、前記第１転送部は、前記第１転送部を制御するための第１転送制御信号が出力される第１転送制御線に接続され、前記第２転送部は、前記第２転送部を制御するための第２転送制御信号が出力される第２転送制御線に接続され、前記第３転送部は、前記第３転送部を制御するための第３転送制御信号が出力される第３転送制御線に接続され、前記第４転送部は、前記第４転送部を制御するための第４転送制御信号が出力される第４転送制御線に接続され、前記第５転送部は、前記第５転送部を制御するための第５転送制御信号が出力される第５転送制御線に接続され、前記第６転送部は、前記第６転送部を制御するための第６転送制御信号が出力される第６転送制御線に接続され、前記第７転送部は、前記第７転送部を制御するための第７転送制御信号が出力される第７転送制御線に接続され、前記第８転送部は、前記第８転送部を制御するための第８転送制御信号が出力される第８転送制御線に接続され、前記第９転送部は、前記第９転送部を制御するための第９転送制御信号が出力される第９転送制御線に接続される。

【発明の効果】

【0006】

本発明によれば、撮像素子の全体の撮像領域から画像信号を読み出しても、撮像素子の特定の撮像領域から画素信号を高速に読み出すことができる。

【図面の簡単な説明】

【0007】

【図1】カメラの構成を示すブロック図である。

【図2】撮像素子の断面図である。

【図3】撮像チップの画素配列と単位グループを説明する図である。

【図4】撮像チップの単位グループに対応する回路図である。

【図5】撮像素子の機能的構成を示すブロック図である。

【図6】第１の実施形態に係る自動撮影モードの処理を説明するフローチャートである。

【図7】撮像素子の撮像面の一例を示す図である。

【図8】撮像素子の撮像面の一例を示す図である。

【図9】撮像素子の撮像面の一例を示す図である。

【図10】第２の実施形態に係る自動撮影モードの処理を説明するフローチャートである。

【発明を実施するための形態】

【0008】

－第１の実施形態－
図面を参照して本発明の第１の実施形態について説明する。

【0009】

図１は、撮像装置の一例であるカメラ１００の構成を示すブロック図である。カメラ１００は、撮像光学系としての撮影レンズ１２０及びカメラボディ１１０を備える。カメラボディ１１０には、撮影レンズ１２０が装着される。カメラ１００は、カメラボディ１１０及び撮影レンズ１２０が一体として構成されていてもよい。撮影レンズ１２０は、光軸に沿って入射する被写体光束を撮像素子２００へ導く。カメラボディ１１０は、撮像素子２００、制御部１０１、駆動部１０２、画像処理部１０３、ワークメモリ部１０４、記録部１０５及び表示部１０６を備える。

【0010】

撮影レンズ１２０は、複数の光学レンズで構成され、シーンからの被写体光束を撮像素子２００の受光面に結像させる。図１では仮想的な１枚のレンズで当該撮影レンズ１２０を代表して表している。

【0011】

駆動部１０２は、制御部１０１からの指示に従って撮像素子２００のタイミング制御や撮像素子２００に含まれる撮像領域制御等の電荷蓄積制御を実行する制御回路である。駆動部１０２は、撮像素子２００に対して電荷蓄積を実行させて画素信号を出力させる撮像素子制御部の機能を担う。駆動部１０２は、一部または全部が後述する撮像素子２００に含まれる撮像チップ２１３に搭載されてもよい。駆動部１０２は、一部または全部が信号処理チップ２１１に搭載されてもよい。制御部１０１は、一部が撮像チップ２１３または信号処理チップ２１１に搭載されてもよい。

【0012】

撮像素子２００から出力された画像信号は、画像処理部１０３へ入力される。画像処理部１０３は、ワークメモリ部１０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、画像データを生成した後に圧縮処理を実行する。生成された画像データは、記録部１０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部１０６に表示される。

【0013】

また画像処理部１０３は、機能ブロックとして、主要被写体検出部１１１及び特徴領域検出部１１２を有する。これらの各機能は、後述する。

【0014】

図２は、カメラボディ１１０が備える撮像素子２００の断面図である。撮像素子２００は、入射光に対応した画素信号を生成する撮像チップ２１３と、撮像チップ２１３から出力された画素信号を処理する信号処理チップ２１１と、画素信号を記憶するメモリチップ２１２とを備える。

【0015】

撮像チップ２１３は、信号処理チップ２１１に積層されている。撮像チップ２１３は、例えば、Ｃｕ等の導電性を有するバンプ２０９により信号処理チップ２１１と互いに電気的に接続される。信号処理チップ２１１は、メモリチップ２１２に積層されている。信号処理チップ２１１は、例えば、Ｃｕ等の導電性を有するバンプ２０９によりメモリチップ２１２と互いに電気的に接続される。

【0016】

図２に示すように、入射光は主に白抜き矢印で示され、Ｚ軸プラス方向に沿って撮像素子２００へ向かって入射する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸及びＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

【0017】

撮像チップ２１３の一例は、裏面照射型のＣＭＯＳイメージセンサである。撮像チップ２１３は、入射光が入射する側から順にＺ軸プラス方向に沿って、マイクロレンズ２０１、カラーフィルタ２０２、パッシベーション膜２０３、受光層２０６及び配線層２０８を有する。受光層２０６は、入射光に応じた電荷を蓄積する複数のフォトダイオード２０４とフォトダイオード２０４で蓄積された電荷に応じた画素信号を読み出すための読出回路２０５とを有する。読出回路２０５は、複数のトランジスタを含む。

【0018】

マイクロレンズ２０１は、対応するフォトダイオード２０４へ向けて入射光を集光する。カラーフィルタ２０２は、互いに異なる波長を透過する複数の種類を有しており、フォトダイオード２０４のそれぞれに対応して特定の配列を有している。カラーフィルタ２０２の配列については後述する。パッシベーション膜２０３は、受光層２０６を保護するとともに平坦化膜としての機能を有する。

【0019】

配線層２０８は、それぞれのフォトダイオード２０４から読出回路２０５を介して読み出された画素信号を信号処理チップ２１１に出力するための配線２０７を有する。配線２０７は多層配線で構成されてもよく、また、受動素子及び能動素子が設けられてもよい。

【0020】

配線層２０８における受光層２０６と反対側の面には複数のバンプ２０９が配される。当該複数のバンプ２０９は、信号処理チップ２１１の対向する面に設けられた複数のバンプ２０９と位置合わせされて、撮像チップ２１３と信号処理チップ２１１とが加圧等されることにより、位置合わせされたバンプ２０９同士が接合されて、電気的に接続される。

【0021】

同様に、信号処理チップ２１１及びメモリチップ２１２の互いに対向する面には、複数のバンプ２０９が配される。これらのバンプ２０９は、互いに位置合わせされて、信号処理チップ２１１とメモリチップ２１２とが加圧等されることにより、位置合わせされたバンプ２０９同士が接合されて、電気的に接続される。

【0022】

撮像チップ２１３と信号処理チップ２１１との間の接合は、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。信号処理チップ２１１とメモリチップ２１２との間の接合は、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。バンプ２０９は、例えば後述する一つの単位グループに対して一つ程度設ければよい。したがって、バンプ２０９の大きさは、隣り合うフォトダイオード２０４間のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ２０９よりも大きなバンプを併せて設けてもよい。

【0023】

信号処理チップ２１１は、表裏面にそれぞれ設けられた回路を互いに接続するシリコン貫通電極（ＴＳＶ）２１０を有する。シリコン貫通電極２１０は、周辺領域に設けられることが好ましい。また、シリコン貫通電極２１０は、撮像チップ２１３の周辺領域又はメモリチップ２１２にも設けられてもよい。

【0024】

図３は、撮像チップ２１３の画素配列と単位グループ２３１を説明する図である。特に、撮像チップ２１３を入射面側から観察した様子を示す。撮像チップ２１３は、画素領域を有する。画素領域には複数の画素がマトリックス状に配列されている。本実施形態においては、隣接する４画素×４画素の１６画素が一つの単位グループ２３１を形成する。一つの単位グループ２３１は、換言すれば一つの撮像領域であり、撮像チップ２１３は複数の撮像領域（単位グループ２３１）を有している。図の格子線は、隣接する画素がグループ化されて単位グループ２３１を形成する概念を示す。単位グループ２３１を形成する画素の数はこれに限られず２０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。

【0025】

画素領域の部分拡大図に示すように、単位グループ２３１は、緑色画素Ｇｂ、緑色画素Ｇｒ、青色画素Ｂ及び赤色画素Ｒの４画素から成るいわゆるベイヤー配列で配列されている。緑色画素Ｇｂ及び緑色画素Ｇｒは、カラーフィルタ２０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。青色画素Ｂは、カラーフィルタ２０２として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素Ｒは、カラーフィルタ２０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

【0026】

本実施形態の撮像素子２００では、特定の単位グループ２３１について、他の単位グループ２３１とは異なる撮像条件での撮像を行えるように構成されている。撮像条件とは、例えば、フレームレート、画素の間引き率、画素の加算数、画素信号のゲイン等である。

【0027】

単位グループ２３１の画素の間引き率とは、単位グループ２３１に含まれる画素のうち、画素信号の読み出しを行わない画素の数を規定するものである。例えば、間引き率が「０」の場合には、単位グループ２３１に含まれる全ての画素から画素信号が読み出されるが、間引き率が「０．５」の場合には、単位グループ２３１に含まれる画素のうち、半分の画素については画素信号の読み出しが行われ、残り半分の画素については画素信号の読み出しが行われない。画素を間引く場合には、画像の情報が減るものの、消費電力を低減することができる。

【0028】

また、単位グループ２３１の画素の加算数とは、単位グループ２３１に含まれる画素について、画素信号を加算する画素の数を規定するものである。例えば、加算数が「１」の場合には、隣接する画素同士で加算が行われずに画素信号の読み出しが行われるが、加算数が「２」の場合には、隣接する２つの画素同士で画素信号が加算されて読み出しが行われる。画素同士の画素信号を加算する場合には、画像の情報を維持しつつも画素数を減らすことができるので、その後の画像処理の演算量を低減することができる。

【0029】

図４は、撮像チップ２１３の単位グループ２３１に対応する回路図である。図において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。以下に説明する各トランジスタは、図２の読出回路２０５に含まれる。

【0030】

上述のように、単位グループ２３１は、１６画素から形成される。それぞれの画素に対応する１６個のフォトダイオード２０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２の各ゲートに対して共通接続される。

【0031】

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソースとの間に形成されたいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３５０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３の各ゲートに対して共通接続される。

【0032】

各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３５０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタ３０５の各ゲートは、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３５１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。負荷電流源３５１は、撮像チップ２１３側に設けてもよいし、信号処理チップ２１１側に設けてもよい。

【0033】

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３のゲートに印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２のゲートに印加されると、フォトダイオード２０４及びフローティングディフュージョンＦＤの電位は、電源電圧に対応した電圧であるリセット電位にリセットされる。

【0034】

フォトダイオード２０４は、転送パルスの印加が解除されると、受光した入射光を電荷に変換して蓄積する。その後、リセットパルスがリセットトランジスタ３０３のゲートに印加されていない状態で再び転送パルスが転送トランジスタ３０２のゲートに印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５のゲートに印加されると、フローティングディフュージョンＦＤのリセット電圧から信号電位への変動に対応した画素信号が、増幅トランジスタ３０４及び選択トランジスタ３０５を介して出力配線３０９に伝わる。

【0035】

図示するように、本実施形態においては、単位グループ２３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、単位グループ２３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５が選択パルスによって順次印加されて、選択的に出力配線３０９に出力される。また、リセット配線３０６、ＴＸ配線３０７及び出力配線３０９は、単位グループ２３１毎に別個に設けられる。ＴＸ配線３０７は、本実施形態では１６個の転送トランジスタ３０２の各ゲートに対して共通接続されるとしたが、これに限定されず、行方向に配列される画素に含まれる転送トランジスタ３０２の各ゲートに対して共通接続されてもよいし、１６個それぞれの転送トランジスタ３０２の各ゲートに対して接続されてもよい。リセット配線３０６は、本実施形態では１６個のリセットトランジスタ３０３の各ゲートに対して共通接続されるとしたが、これに限定されず、行方向に配列される画素に含まれるリセットトランジスタ３０３の各ゲートに対して共通接続されてもよいし、１６個それぞれのリセットトランジスタ３０３の各ゲートに対して接続されてもよい。

【0036】

このように単位グループ２３１を基準として回路を構成することにより、単位グループ２３１ごとに電荷蓄積時間を制御することができる。換言すると、隣接する単位グループ２３１同士で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ２３１に１回の電荷蓄積を行わせている間に、他方の単位グループ２３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ２３１同士で異なるフレームレートで動画用の各フレームを出力することもできる。

【0037】

図５は、撮像素子２００の機能的構成を示すブロック図である。マルチプレクサ４１１は、単位グループ２３１を形成する１６個のフォトダイオード２０４を順番に選択して、それぞれの画素信号を当該単位グループ２３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、フォトダイオード２０４と共に、撮像チップ２１３に形成される。

【0038】

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ２１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳ及びＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。画素メモリ４１４のそれぞれは、後述する最大積算回数に対応する画素信号を格納できる容量を有する。デマルチプレクサ４１３及び画素メモリ４１４は、メモリチップ２１２に形成される。

【0039】

演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ２１１に設けられてもよいし、メモリチップ２１２に設けられてもよい。図では１つの単位グループ２３１の分の接続を示すが、実際にはこれらが単位グループ２３１ごとに存在して、並列で動作する。ただし、演算回路４１５は単位グループ２３１ごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれの単位グループ２３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。

【0040】

上記の通り、単位グループ２３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子２００は撮像チップ２１３、信号処理チップ２１１及びメモリチップ２１２を積層しているので、これら出力配線３０９にバンプ２０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

【0041】

カメラ１００は、自動で静止画を撮影する自動撮影モードを有する。図６は、この自動撮影モードにおける処理の流れを説明するフローチャートである。また、図７～図９は、撮像素子２００の撮像面の一例を示す図である。図７～図９では、格子線が単位グループ２３１の境目を示しており、一つの矩形領域が一つの単位グループ２３１の撮像領域に対応している。カメラ１００は、ユーザにより不図示の操作部材を介して自動撮影モードが指示されたときに、図６に示す処理を開始する。

【0042】

ステップＳ１０１において、画像処理部１０３の主要被写体検出部１１１は、駆動部１０２を駆動して撮像素子２００からの画像信号に基づく画像データを取得し、当該画像データが示す画像に含まれる主要被写体５００を検出する。本実施形態において、主要被写体５００とは、人物の顔である。画像から人物の顔を検出する顔検出処理については、公知の手法を用いればよいため、説明を省略する。

【0043】

ステップＳ１０２において、画像処理部１０３の特徴領域検出部１１２は、撮像素子２００から取得した画像データに基づいて、主要被写体検出部１１１により検出された主要被写体５００における特徴的な領域（特徴領域）５１０を検出する。本実施形態において、特徴領域５１０とは、人物の目や口の領域である。画像から人物の目や口を検出する処理については、公知の手法を用いればよいため、説明を省略する。

【0044】

ステップＳ１０３において、画像処理部１０３は、特徴領域検出部１１２により検出された特徴領域５１０の少なくとも一部を撮像している単位グループ２３１の集合を特徴領域単位グループ群５２０として設定する。また、画像処理部１０３は、主要被写体検出部１１１により検出された主要被写体５００の少なくとも一部を撮像している単位グループ２３１のうち、特徴領域単位グループ群５２０に含まれない単位グループ２３１の集合を被写体単位グループ群５３０として設定する。さらに、画像処理部１０３は、撮像素子２００が有する単位グループ２３１のうち、特徴領域単位グループ群５２０及び被写体単位グループ群５３０に含まれない単位グループ２３１の集合を周辺単位グループ群５４０として設定する。

【0045】

制御部１０１は、特徴領域単位グループ群５２０に含まれる単位グループ２３１については撮像条件として特徴領域用フレームレートを設定する。制御部１０１は、被写体単位グループ群５３０に含まれる単位グループ２３１については撮像条件として被写体用フレームレートを設定する。制御部１０１は、周辺単位グループ群５４０に含まれる単位グループ２３１については撮像条件として周辺用フレームレートを設定する。このとき制御部１０１は、周辺用フレームレートよりも被写体用フレームレートのフレームレートを高く設定する。また、制御部１０１は、被写体用フレームレートよりも特徴領域用フレームレートのフレームレートを高く設定する。すなわち制御部１０１は、特徴領域５１０に対応する特徴領域単位グループ群５２０については最も高いフレームレートを設定する。また制御部１０１は、特徴領域５１０以外の主要被写体５００に対応する被写体単位グループ群５３０については、特徴領域５１０に対応する特徴領域単位グループ群５２０に設定されたフレームレートよりは低いフレームレートであるが周辺領域に対応する周辺単位グループ群５４０に設定されたフレームレートよりは高いフレームレートを設定する。特徴領域用フレームレート、被写体用フレームレート及び周辺用フレームレートの値については、予め設定されてカメラ１００内に格納されていてもよいし、ユーザが後から設定値を変更できるようになっていてもよい。

【0046】

ステップＳ１０４において、制御部１０１は、主要被写体５００に対して撮影レンズ１２０のピントを合わせるＡＦ処理を行った後、撮像素子２００に撮像を行わせる。

【0047】

制御部１０１は、特徴領域単位グループ群５２０、被写体単位グループ群５３０及び周辺単位グループ群５４０のそれぞれに含まれる単位グループ２３１を特定する情報とそれぞれに設定したフレームレートの情報とを駆動部１０２に伝達する。駆動部１０２は、制御部１０１から伝達された情報に従って撮像素子２００を駆動して撮像を行わせる。すなわち、駆動部１０２は、特徴領域単位グループ群５２０、被写体単位グループ群５３０及び周辺単位グループ群５４０について、それぞれ設定されたフレームレートに従って、単位グループ２３１に含まれる画素の電荷蓄積及び画素信号の出力を実行させる。

【0048】

例えば、制御部１０１により特徴領域用フレームレート、被写体用フレームレート及び周辺用フレームレートがそれぞれ１２０ｆｐｓ、６０ｆｐｓ、及び３０ｆｐｓに設定されたとする。この場合、駆動部１０２は、周辺単位グループ群５４０から１フレーム分の画像信号を得る時間（１／３０ｓｅｃ）の間に、被写体単位グループ群５３０からは２フレーム分の画像信号を得ると共に、特徴領域単位グループ群５２０からは４フレーム分の画像信号を得る。このとき駆動部１０２は、周辺単位グループ群５４０に含まれる単位グループ２３１のリセットトランジスタ３０３、転送トランジスタ３０２及び選択トランジスタ３０５の組と、被写体単位グループ群５３０に含まれる単位グループ２３１のリセットトランジスタ３０３、転送トランジスタ３０２及び選択トランジスタ３０５の組と、特徴領域単位グループ群５２０に含まれる単位グループ２３１のリセットトランジスタ３０３、転送トランジスタ３０２及び選択トランジスタ３０５の組とを別個に駆動することにより、異なるフレームレートで画像信号を得る。

【0049】

ステップＳ１０５において、画像処理部１０３は、特徴領域単位グループ群５２０からの画像信号をワークメモリ部１０４の予め定められた記憶領域に、フレームごとに順次、記憶する。同様に、画像処理部１０３は、被写体単位グループ群５３０からの画像信号をワークメモリ部１０４の予め定められた記憶領域に、フレームごとに順次、記憶する。また同様に、画像処理部１０３は、周辺単位グループ群５４０からの画像画号をワークメモリ部１０４の予め定められた記憶領域に、フレームごとに順次、記憶する。

【0050】

ステップＳ１０６において、画像処理部１０３は、ワークメモリ部１０４から特徴領域単位グループ群５２０の複数フレームの画像信号を読み出し、この複数フレーム間の差分を算出することで、特徴領域５１０の変化を検出する。そして画像処理部１０３は、この検出結果に基づいて主要被写体５００の状態を判定する。

【0051】

図８及び図９は、図７に示す撮像面から、主要被写体５００を含む領域のみを切り出した図である。図８は、人物が瞬きをしている状態を示す。図９は、人物が視線の方向を変化させている状態を示す。画像処理部１０３は、例えば、主要被写体５００の状態として、図８に示すような瞬きの状態を判定する。瞬きの状態を判定する場合、画像処理部１０３は、例えば、目の黒目部分が検出されていた箇所で黒目部分が検出されなくなった場合に瞬きが行われたと判定する。また、画像処理部１０３は、例えば、主要被写体５００の状態として、図９に示すような視線の方向を判定する。視線の方向を判定する場合、画像処理部１０３は、例えば、目の黒目部分の位置の変化に基づいて判定する。画像処理部１０３は、例えば、人物の目及び口が笑っている状態であれば、笑顔と判定するなど、顔の表情を主要被写体５００の状態として判定するようにしてもよい。

【0052】

ステップＳ１０７において、画像処理部１０３は、ワークメモリ部１０４から特徴領域単位グループ群５２０、被写体単位グループ群５３０及び周辺単位グループ群５４０からの画像信号をそれぞれ読み出し、この画像信号に基づいて表示用の動画（スルー画）を生成する。画像処理部１０３は、被写体単位グループ群５３０からの画像信号に基づくフレームを周辺単位グループ群５４０からの画像信号に基づくフレームの被写体単位グループ群５３０に対応する箇所に嵌め込む。また、画像処理部１０３は、特徴領域単位グループ群５２０からの画像信号に基づくフレームを被写体単位グループ群５３０からの画像信号に基づくフレームの特徴領域単位グループ群５２０に対応する箇所に嵌めこむ。このようにして画像処理部１０３は、特徴領域５１０、主要被写体５００及び周辺領域のフレームを合成して、スルー画を生成する。スルー画の表示フレームレートについては、特徴領域用フレームレート、被写体用フレームレート及び周辺用フレームレートのいずれのフレームレートにしてもよいし、その他のフレームレートにしてもよい。また、単位時間あたりにおけるフレーム数は、特徴領域５１０、主要被写体５００及び周辺領域でそれぞれ異なるので、適宜フレームを間引いたり補完したりしてフレーム数を整合させるようにすればよい。

【0053】

ステップＳ１０８において、画像処理部１０３は、ステップＳ１０７で生成したスルー画を表示部１０６に表示する。このとき画像処理部１０３は、人物の顔等の主要被写体５００と人物の目又は人物の口等の特徴領域５１０との位置を示す枠などをスルー画に重ねて表示する。また画像処理部１０３は、ステップＳ１０６で判定した瞬き、視線の方向及び顔の表情等の主要被写体５００の状態を示すアイコンなどをスルー画に重ねて表示する。このようにすることで、カメラ１００が認識している人物の顔の位置や状態と人物の目の位置や状態と人物の口の位置や状態とをユーザに通知することができる。

【0054】

ステップＳ１０９において、画像処理部１０３は、ステップＳ１０６で判定した主要被写体５００の状態に基づいて、静止画記録（静止画撮影）を行うか否かを判定する。画像処理部１０３は、ステップＳ１０６で判定した人物の目の視線がカメラ１００側を向いている場合や、ステップＳ１０６で判定した人物の顔の表情が笑顔である場合などに静止画記録を行う。このとき、画像処理部１０３は、特徴領域、主要被写体５００及び周辺領域のフレームを合成して１枚の静止画を生成して、記録部１０５に記録する。一方、画像処理部１０３は、ステップＳ１０６で瞬きをしていると判定した場合などには、静止画記録を行わない。

【0055】

ステップＳ１１０において、制御部１０１は、次の単位時間の撮像を行うか否かを判断する。次の単位時間の撮像を行うか否かは、その時点でユーザから自動撮影モードの終了が指示されているか否かで判断される。制御部１０１は、次の単位時間の撮像を行う場合は、ステップ１１０を肯定判定して上記ステップＳ１０１に戻り、次の単位時間の撮像を行わない場合は、ステップ１１０を否定判定して図６の処理を終了する。

【0056】

「単位時間」とは、予め制御部１０１に設定されている時間であって、例えば、数秒程度である。また、図６に示す処理において、次の単位時間が開始されるときに、ステップＳ１０１及びＳ１０２で改めて主要被写体５００及び特徴領域５１０が検出され、特徴領域単位グループ群５２０、被写体単位グループ群５３０及び周辺単位グループ群５４０が更新される。これにより、主要被写体５００及び特徴領域５１０が移動してもこれに追従して特徴領域単位グループ群５２０、被写体単位グループ群５３０及び周辺単位グループ群５４０を逐次、更新することができる。また、ステップＳ１０１及びＳ１０２で改めて主要被写体５００及び特徴領域５１０を検出する際には、前の単位時間で周辺領域よりも高いフレームレートで撮像した主要被写体５００及び特徴領域５１０の撮像画像を参照で
きるので、主要被写体５００及び特徴領域５１０を精度よく検出することができる。

【0057】

以上説明した実施形態によれば、次の作用効果が得られる。
（１）カメラ１００は、複数の単位グループ２３１（撮像領域）を有し、単位グループ２３１に入射した光像に応じた画像信号を生成する撮像チップ２１３を有する。またカメラ１００は、撮像チップ２１３から出力された画像信号に基づいて当該画像信号の示す画像の特徴領域５１０を検出する特徴領域検出部１１２と、複数の単位グループ２３１のうち特徴領域５１０に対応する光像が入射した単位グループ２３１を特徴領域用フレームレートで撮像を行うように制御し、複数の単位グループ２３１のうち特徴領域５１０に対応する光像が入射した単位グループ２３１以外の単位グループ２３１を特徴領域用フレームレートとは異なるフレームレートで撮像を行うように制御する制御部１０１と、を含む信号処理チップ２１１を有する。これにより、撮像素子２００の全体の撮像領域から画像信号を読み出しても、撮像素子２００の特定の撮像領域（特徴領域５１０に対応する光像が入射した単位グループ２３１）から画素信号を高速に読み出すことができ、特徴領域５１０の認識精度を向上することができる。また、特徴領域５１０以外の他の領域についてはフレームレートを低くして画像信号を取得しているので、全画素からの高速読み出しに比べて、撮像素子２００の駆動や画像処理の負荷を減らし、消費電力や発熱を抑えることができる。

【0058】

（２）カメラ１００は、特徴領域５１０に対応する単位グループ２３１から出力される画像信号に基づいて、主要被写体５００の状態を判定する。これにより、主要被写体５００の状態の判定結果を用いて適切なシャッターチャンスを捉えて自動で静止画を記録することができる。

【0059】

－第２の実施形態－
次に、本発明の第２の実施形態について説明する。第２の実施形態のカメラ１００及び撮像素子２００の構成は、第１の実施形態と同様であるため、説明を省略する。

【0060】

図１０は、第２の実施形態における自動撮影モードにおける処理の流れを説明するフローチャートである。第２の実施形態に係るカメラ１００は、ユーザにより不図示の操作部材を介して自動撮影モードが指示されたときに、図１０に示す処理を開始する。ステップＳ２０１～Ｓ２０２については、上記第１の実施形態のステップＳ１０１～Ｓ１０２と同様の処理を行う。すなわち、画像処理部１０３は、撮像素子２００により撮像された画像から主要被写体を検出し、主要被写体から特徴領域を検出する。

【0061】

ステップＳ２０３において、画像処理部１０３は、上記第１の実施形態と同様にして、特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群を設定する。そして画像処理部１０３は、主要被写体の状況に応じて、特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群のそれぞれに含まれる単位グループ２３１の画素の間引き率または加算数を設定する。

【0062】

主要被写体の状況として、例えば、制御部１０１が、主要被写体に対する撮影レンズ１２０の焦点調節状態（デフォーカス量）を算出する。デフォーカス量の算出方法については、公知の方法を用いればよいので説明を省略する。

【0063】

デフォーカス量が大きく（すなわち所定値以上であり）、主要被写体がある程度ボケていると判定できる場合には、細かいパターンを認識できず、主要被写体の状態を精度よく認識できないことが予測される。そこで、画像処理部１０３は、全ての単位グループ２３１において画素の間引き率または加算数を大きい値に設定する。これにより、撮像素子２００から読み出す画像信号の画素数が少なくなり、その後の画像処理における演算量の低減や撮像素子２００の消費電力を抑制することができる。

【0064】

一方、デフォーカス量が小さく（すなわち所定値以下であり）、主要被写体に撮影レンズ１２０のピントが合っていると判定できる場合には、主要被写体の状態を正しく認識するために撮像素子２００から読み出す画像信号の画素数が多い方が望ましいが、画素数が多くなるとその分演算量や消費電力が大きくなってしまう。そこで、画像処理部１０３は、主要被写体の状態を認識するために使用する特徴領域に対応する特徴領域単位グループ群については、上記デフォーカス量が大きい場合よりも画素の間引き率または加算数を小さい値に設定する。これにより、特徴領域単位グループ群からの画像信号については画素数が多くなるため、精度よく主要被写体の状態を認識することができる。また画像処理部１０３は、この他被写体単位グループ群及び周辺単位グループ群については、特徴領域単位グループ群よりも画素の間引き率または加算数を大きい値に設定する。これにより、全体としては、画像処理の演算量が増えるのを防止でき、且つ撮像素子２００の消費電力を抑制できる。ただし、ＡＦ動作が行われる場合には主要被写体である顔に焦点を合わせるので、これからデフォーカス量が小さくなるものとして、デフォーカス量が所定値以下の場合と同様に間引き率と加算数を小さい設定にしてもよい。ＡＦ動作が行われる場合とは、撮影者によるＡＦ起動部材の操作や動画などの常時ＡＦ動作中に行われる。

【0065】

また、主要被写体の状況として、画像処理部１０３が、撮像素子２００の撮像面において主要被写体が占める割合、すなわち撮像面の大きさに対する主要被写体の大きさの割合を算出するようにしてもよい。

【0066】

撮像面において主要被写体が占める割合が所定値（たとえば３０％）以上である場合には、撮像画像上で主要被写体に関する情報量が多くなるので、画素の間引き率または加算数をある程度大きくしても、精度よく主要被写体の状態を認識できることが予測される。そこで画像処理部１０３は、全ての単位グループ２３１において、画素の間引き率または加算数を大きい値に設定する。これにより、撮像素子２００から読み出す画像信号の画素数が少なくなり、その後の画像処理における演算量の低減や撮像素子２００の消費電力を抑制することができる。

【0067】

一方、撮像面において主要被写体が占める割合が所定値（たとえば１０％）以下である場合には、撮像画像上で主要被写体に関する情報量が少なくなるので、細かいパターンを認識しづらく、主要被写体の状態を認識しづらくなることが予測される。そこで、画像処理部１０３は、全ての単位グループ２３１において、上記主要被写体が占める割合が大きい場合よりも画素の間引き率または加算数を小さい値に設定する。これにより、撮像素子２００から読み出す画像信号の画素数が多くなるので、精度よく主要被写体の状態を認識することができる。

【0068】

設定する画素の間引き率または加算数の値については、画像の用途に応じて上限値を設定しておくことが望ましい。画像をスルー画像として表示する場合には、表示画像の品質を損ねない程度の間引き率または加算数を上限値とする。例えば、表示部１０６の解像度を満たす画素数となる間引き率または加算数を上限値として設定する。また、画像を静止画あるいは動画として記録する場合には、記録画像の品質を損ねない程度の間引き率または加算数を上限値とする。例えば、記録解像度を満たす画素数となる間引き率または加算数を上限値として設定する。

【0069】

ステップＳ２０３では、このようにして、画像処理部１０３が、主要被写体の状況に応じて、特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群のそれぞれに対する画素の間引き率または加算数を設定する。

【0070】

ステップＳ２０４において、制御部１０１は、特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群のそれぞれに含まれる単位グループ２３１を特定する情報と、それぞれに設定した画素の間引き率または加算数の情報とを、駆動部１０２に伝達する。駆動部１０２は、制御部１０１から伝達された情報に従って撮像素子２００を駆動して撮像を行わせ、画像信号を出力させる。すなわち、駆動部１０２は、特徴領域単位グループ群５２０、被写体単位グループ群５３０及び周辺単位グループ群５４０について、それぞれ設定された画素の間引き率または加算数に従って、単位グループ２３１に含まれる画素の電荷蓄積及び画像信号の出力を実行させる。この場合、駆動部１０２は、特徴領域単位グループ群に含まれる単位グループ２３１のリセットトランジスタ３０３、転送トランジスタ３０２及び選択トランジスタ３０５の組と、被写体単位グループ群に含まれる単位グループ２３１のリセットトランジスタ３０３、転送トランジスタ３０２及び選択トランジスタ３０５の組と、周辺単位グループ群に含まれる単位グループ２３１のリセットトランジスタ３０３、転送トランジスタ３０２及び選択トランジスタ３０５の組とを別個に駆動することにより、異なる画素の間引き率または加算数で画像信号を得る。

【0071】

ステップＳ２０５～Ｓ２１０の処理は、上記第１の実施形態のステップＳ１０５～Ｓ５１０と同様の処理を行う。すなわち、画像処理部１０３は、撮像素子２００からの画像信号をワークメモリ部１０４に記憶した後、特徴領域単位グループ群からの画像信号に基づいて主要被写体の状態を判定する。画像処理部１０３は、この判定結果に応じて静止画記録を行う。

【0072】

また画像処理部１０３は、撮像素子２００からの画像信号に基づいてスルー画像を生成して、表示部１０６に表示する。特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群においてそれぞれ画素の間引き率または加算数が異なる場合には、特徴領域、主要被写体及び周辺領域で画素数がそれぞれ異なるので、適宜画素を間引いたり補間したりして画素数を整合させるようにすればよい。

【0073】

以上説明した実施形態によれば、次の作用効果が得られる。
（１）カメラ１００は、主要被写体領域のデフォーカス量が大きいほど、主要被写体領域に対応する光像が入射した撮像領域（単位グループ２３１）を撮像する際の画素の間引き率または加算数を大きくするようにした。このように、撮像画像の画素数を増やしても主要被写体の状態を精度よく認識できない状況では、撮像画像の画素数を減らすことで消費電力や演算負荷を抑制することができる。

【0074】

（２）カメラ１００は、撮像チップ２１３から出力された画像信号の示す画像において主要被写体領域が占める割合が大きいほど、主要被写体領域に対応する光像が入射した撮像領域（単位グループ２３１）を撮像する際の画素の間引き率または加算数を大きくするようにした。このように、主要被写体の状態を十分認識できる状況では、撮像画像の画素数を減らすことで消費電力や演算負荷を抑制することができる。

【0075】

（変形例１）
上述した実施形態において、画像処理部１０３は、複数の主要被写体(顔)を検出した場合には、その複数の主要被写体の中から優先する被写体（優先被写体）を１つ選択するようにしてもよい。

【0076】

この場合、画像処理部１０３は、上述したステップＳ１０６と同様に、特徴領域の変化を検出して、主要被写体（顔）の状態を判定する。例えば、瞬きをしている顔は本物の人物の顔であるが、瞬きをしていない顔は絵や写真など本物の人物ではない可能性がある。そこで画像処理部１０３は、瞬きをしている顔を、優先被写体として選択する。

【0077】

また、喋っている人物は、優先度が高いと考えられる。そこで、カメラ１００は、主要被写体の状態として、人物が喋っているか否かを判定する。カメラ１００は、マイクから得られる音声信号の変化と特徴領域である口の形の変化とが同時に検出された場合には、その人物が喋っていると判定する。そして、喋っている人物（顔）を、優先被写体として選択する。

【0078】

制御部１０１は、優先被写体として選択した主要被写体について、撮影レンズ１２０のピントを合わせるＡＦ処理を行うようにする。また、優先被写体として選択されなかった主要被写体については、その後、特徴領域の検出を行わず、例えば周辺領域と同じフレームレートで撮像するようにする。

【0079】

（変形例２）
上述した第１の実施形態において、特徴領域に対応する特徴領域単位グループ群については、主要被写体及び周辺領域よりも高いフレームレートで撮像を行うので、その分電荷の蓄積時間が短くなり、画像信号の出力が小さくなる場合がある。そこで、画像処理部１０３は、特徴領域単位グループ群については、被写体単位グループ群及び周辺単位グループ群よりも、単位グループ２３１に含まれる画素から読み出す画素信号のゲインを大きく設定するようにしてもよい。

【0080】

この場合、駆動部１０２は、特徴領域単位グループ群、被写体単位グループ群及び周辺単位グループ群について、それぞれ設定されたゲインで、単位グループ２３１に含まれる画素から読み出した画素信号を増幅して出力させる。特徴領域単位グループ群については、ゲインの設定値が大きいので、画像信号の出力が大きくなり、特徴領域の変化の検出精度を高めることができる。

【0081】

（変形例３）
上述した第１の実施形態において、画像処理部１０３は、特徴領域単位グループ群に特徴領域用フレームレートを設定する際、撮像面における主要被写体の占める割合に応じて設定する値を変化させるようにしてもよい。撮像面における主要被写体の占める割合が大きいほど特徴領域用フレームレートの設定値を低くし、撮像面における主要被写体の占める割合が小さいほど特徴領域用フレームレートの設定値を高くする。撮像面における主要被写体の占める割合が大きい場合には、撮像画像上で主要被写体に関する情報量が多く、特徴領域の変化も検出しやすいので、特徴領域用フレームレートを下げることで消費電力を低減できる。一方、撮像面における主要被写体の占める割合が小さい場合には、撮像画像上で主要被写体に関する情報量が少なく、特徴領域の変化も検出しにくいので、特徴領域用フレームレートを上げることで、主要被写体の状態の認識精度を高くできる。

【0082】

（変形例４）
主要被写体として複数の人物の顔を検出した際、顔の数が所定値よりも多い場合には、撮像画像において一つ一つの顔に関する情報量が少なく、顔の状態を認識しにくいことが予測される。そこで、画像処理部１０３は、このような場合には、特徴領域についての画素の間引き率または加算数を小さい値に設定して、顔の状態の認識精度を高くするようにしてもよい。

【0083】

また、主要被写体として検出した人物の顔の位置が撮像面の中央近傍である場合には、ポートレート撮影であり、撮像画像における顔の情報量が多く、顔の状態を認識しやすいことが予測される。そこで画像処理部１０３は、このような場合には、全体的に、画素の間引き率または加算数を大きい値に設定して、消費電力や演算負荷を低減するようにしてもよい。

【0084】

（変形例５）
特徴領域、主要被写体領域及び周辺領域について、上述した第１の実施形態ではフレームレートを設定し、上述した第２の実施形態では、画素の間引き率または加算数を設定する例について説明した。しかしながら、設定する撮像条件は、上述した実施形態で説明した例に限定しなくてもよい。例えば、特徴領域、主要被写体領域及び周辺領域について、画素の間引き率と加算数の両方を設定するようにしてもよい。この場合は、画素が間引かれた後、残った画素の画素信号を加算することで、さらに画素数を少なくする。また、フレームレートと画素の間引き率または加算数との両方を設定するようにしてもよい。

【0085】

また、主要被写体領域及び周辺領域のフレームレートは同じにして、特徴領域だけフレームレートを高くしてもよい。特徴領域のフレームレートを所定のフレームレートよりも高くすれば、特徴領域の認識精度を高めることができる。また、逆に特徴領域と主要被写体領域のフレームレートは同じにして周辺領域だけフレームレートを低くしたりしてもよい。特徴領域や主要被写体領域のフレームレートを所定のフレームレートのまま維持し、周辺領域のフレームレートを低くすることで、特徴領域や主要被写体領域の認識精度を維持しながら、消費電力や画像処理の負荷を低減することができる。

【0086】

（変形例６）
上述した実施形態では、静止画の自動撮影を行う自動撮影モードに本発明を適用する例について説明したが、通常の撮影モード（すなわちユーザのレリーズボタン押下により静止画を記録するモード）に本発明を適用するようにしてもよい。この場合、カメラ１００は、例えば、ユーザがレリーズボタンを半押しした場合に上述した図６の処理を開始し、上述した実施形態と同様にステップＳ１０１～Ｓ１０８の処理を行う。そして、カメラ１００は、ユーザによりレリーズボタンが全押しされると、静止画を記録する。

【0087】

また、動画撮影モードに本発明を適用するようにしてもよい。この場合、カメラ１００は、例えば、ユーザが録画ボタンを押下した場合に上術した図６の処理を開始して、撮像素子２００により撮像された動画を記録し、再度ユーザが録画ボタンを押下した場合に図６の処理を終了する。

【0088】

（変形例７）
上述した実施形態では、人物の顔を主要被写体として検出する例について説明したが、この他の被写体を主要被写体として検出するようにしてもよい。例えば、動物を主要被写体として検出するようにしてもよい。この場合、例えば、動物の目、口、鼻、耳、尾などを特徴領域として上述した実施形態と同様の制御を行う。これにより、動物の状態等の認識精度や認識速度を向上させることができる。

【0089】

また、主要被写体は、人工物であってもよい。この場合は、人工物の色情報やパターン情報などから特徴領域を検出する。例えば、色や輝度のコントラストが大きい部分を特徴領域として上述した実施形態と同様の制御を行う。これにより、人工物の状態等の認識精度や認識速度を向上させることができる。

【0090】

（変形例８）
上述した実施形態では、複数の画素から構成される単位グループ２３１ごとに撮像条件を設定可能な撮像素子２００を用いる例について説明したが、１つの画素ごとに個別に撮像条件を設定可能な撮像素子を用いるようにしてもよい。この場合、上述したステップＳ１０３，Ｓ２０３では、特徴領域、主要被写体領域及び周辺領域のそれぞれに対応する画素群を設定し、各画素群に対してフレームレートや画素の間引き率または加算数を設定すればよい。

【0091】

（変形例９）
本発明による撮像装置は、デジタルカメラだけに限定されない。例えば、携帯電話機、スマートフォン、タブレット端末なども本発明による撮像装置に含まれる。

【0092】

（変形例１０）
上述した実施の形態では、各画素に対応してフローティングディフュージョンが設けられた撮像素子を用いる例を説明した。しかしながら、少なくとも２つの画素でフローティングディフュージョンを共有する撮像素子を用いるようにしてもよい。

【0093】

以上の説明はあくまで一例であり、上記実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。

【符号の説明】

【0094】

１００…カメラ、１０１…制御部、１０２…駆動部、１０３…画像処理部、１１１…主要被写体検出部、１１２…特徴領域検出部、１２０…撮影レンズ、２００…撮像素子、２０４…フォトダイオード、２０９…バンプ、２１１…信号処理チップ、２１３…撮像チップ、ＦＤ…フローティングディフュージョン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】