(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023010785
(43)【公開日】2023-01-20
(54)【発明の名称】撮像素子および撮像装置
(51)【国際特許分類】
H04N 25/77 20230101AFI20230113BHJP
H01L 27/146 20060101ALI20230113BHJP
【FI】
H04N5/3745
H01L27/146 A
H01L27/146 D
【審査請求】有
【請求項の数】44
【出願形態】OL
(21)【出願番号】P 2022180358
(22)【出願日】2022-11-10
(62)【分割の表示】P 2021038379の分割
【原出願日】2013-03-14
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】宮越 徹
(57)【要約】
【課題】光電変換データを適切に処理すること。
【解決手段】撮像素子は、複数の半導体基板を備える撮像素子であって、複数の半導体基板は、複数の光電変換部と、第1光電変換部で変換された電荷に基づく第1信号をデジタル信号に変換する第1変換部と、第2光電変換部で変換された電荷に基づく第2信号をデジタル信号に変換する第2変換部と、第3光電変換部で変換された電荷に基づく第3信号をデジタル信号に変換する第3変換部と、第1変換部でデジタル信号に変換された第1信号を用いた第1加算処理を行う第1加算器と、第2変換部でデジタル信号に変換された第2信号を用いた第2加算処理を行う第2加算器と、第3変換部でデジタル信号に変換された第3信号を用いた第3加算処理を行う第3加算器と、を有し、第1光電変換部と第2光電変換部とは、行方向に並んで配置され、第1光電変換部と第3光電変換部とは、列方向に並んで配置される。
【選択図】
図4
【特許請求の範囲】
【請求項1】
積層された複数の半導体基板を備える撮像素子であって、
前記複数の半導体基板は、
光を電荷に変換する複数の光電変換部と、
前記複数の光電変換部のうち第1光電変換部で変換された電荷に基づく第1信号をデジタル信号に変換する第1変換部と、
前記複数の光電変換部のうち第2光電変換部で変換された電荷に基づく第2信号をデジタル信号に変換する第2変換部と、
前記複数の光電変換部のうち第3光電変換部で変換された電荷に基づく第3信号をデジタル信号に変換する第3変換部と、
前記第1変換部でデジタル信号に変換された前記第1信号を用いた第1加算処理を行う第1加算器と、
前記第2変換部でデジタル信号に変換された前記第2信号を用いた第2加算処理を行う第2加算器と、
前記第3変換部でデジタル信号に変換された前記第3信号を用いた第3加算処理を行う第3加算器と、
を有し、
前記第1光電変換部と前記第2光電変換部とは、行方向に並んで配置され、
前記第1光電変換部と前記第3光電変換部とは、列方向に並んで配置される撮像素子。
【請求項2】
請求項1に記載の撮像素子において、
前記第1信号を前記第1変換部に出力するための第1出力線と、
前記第2信号を前記第2変換部に出力するための第2出力線と、
前記第3信号を前記第3変換部に出力するための第3出力線と、
を備える撮像素子。
【請求項3】
請求項2に記載の撮像素子において、
前記複数の半導体基板は、
前記第1出力線に電流を供給する第1負荷電流源と、
前記第2出力線に電流を供給する第2負荷電流源と、
前記第3出力線に電流を供給する第3負荷電流源と、
を有し、
前記第1負荷電流源、前記第2負荷電流源および前記第3負荷電流源は、前記複数の半導体基板のうち、前記複数の光電変換部が配置される半導体基板にそれぞれ配置される撮像素子。
【請求項4】
請求項2に記載の撮像素子において、
前記複数の半導体基板は、
前記第1出力線に電流を供給する第1負荷電流源と、
前記第2出力線に電流を供給する第2負荷電流源と、
前記第3出力線に電流を供給する第3負荷電流源と、
を有し、
前記第1負荷電流源、前記第2負荷電流源および前記第3負荷電流源は、前記複数の半導体基板のうち、前記複数の光電変換部が配置される半導体基板とは異なる半導体基板にそれぞれ配置される撮像素子。
【請求項5】
請求項1から請求項4のいずれか一項に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部で変換された電荷を転送する第1転送部と、
前記第2光電変換部で変換された電荷を転送する第2転送部と、
前記第3光電変換部で変換された電荷を転送する第3転送部と、
を有し、
前記第1転送部は、前記第1転送部を制御するための第1転送制御信号が出力される第1転送制御線に接続され、
前記第2転送部は、前記第2転送部を制御するための第2転送制御信号が出力される第2転送制御線に接続され、
前記第3転送部は、前記第3転送部を制御するための第3転送制御信号が出力される第3転送制御線に接続される撮像素子。
【請求項6】
請求項5に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部で変換された電荷が転送される第1フローティングディフュージョンと、
前記第2光電変換部で変換された電荷が転送される第2フローティングディフュージョンと、
前記第3光電変換部で変換された電荷が転送される第3フローティングディフュージョンと、
前記第1フローティングディフュージョンの電位をリセットする第1リセット部と、
前記第2フローティングディフュージョンの電位をリセットする第2リセット部と、
前記第3フローティングディフュージョンの電位をリセットする第3リセット部と、
を有し、
前記第1リセット部は、前記第1リセット部を制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部は、前記第2リセット部を制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部は、前記第3リセット部を制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項7】
請求項5に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部の電位をリセットする第1リセット部と、
前記第2光電変換部の電位をリセットする第2リセット部と、
前記第3光電変換部の電位をリセットする第3リセット部と、
を有し、
前記第1リセット部は、前記第1リセット部を制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部は、前記第2リセット部を制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部は、前記第3リセット部を制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項8】
請求項1から請求項4のいずれか一項に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部で変換された電荷が転送される第1フローティングディフュージョンと、
前記第2光電変換部で変換された電荷が転送される第2フローティングディフュージョンと、
前記第3光電変換部で変換された電荷が転送される第3フローティングディフュージョンと、
前記第1フローティングディフュージョンの電位をリセットする第1リセット部と、
前記第2フローティングディフュージョンの電位をリセットする第2リセット部と、
前記第3フローティングディフュージョンの電位をリセットする第3リセット部と、
を有し、
前記第1リセット部は、前記第1リセット部を制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部は、前記第2リセット部を制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部は、前記第3リセット部を制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項9】
請求項1から請求項4のいずれか一項に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部の電位をリセットする第1リセット部と、
前記第2光電変換部の電位をリセットする第2リセット部と、
前記第3光電変換部の電位をリセットする第3リセット部と、
前記第1リセット部は、前記第1リセット部を制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部は、前記第2リセット部を制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部は、前記第3リセット部を制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項10】
請求項1に記載の撮像素子において、
前記第1変換部は、前記複数の光電変換部のうち第4光電変換部で変換された電荷に基づく第4信号をデジタル信号に変換し、
前記第2変換部は、前記複数の光電変換部のうち第5光電変換部で変換された電荷に基づく第5信号をデジタル信号に変換し、
前記第3変換部は、前記複数の光電変換部のうち第6光電変換部で変換された電荷に基づく第6信号をデジタル信号に変換し、
前記第1光電変換部と前記第4光電変換部とは、前記行方向に並んで配置され、
前記第2光電変換部と前記第5光電変換部とは、前記行方向に並んで配置され、
前記第3光電変換部と前記第6光電変換部とは、前記行方向に並んで配置される撮像素子。
【請求項11】
請求項10に記載の撮像素子において、
前記第1光電変換部と前記第4光電変換部とは、隣に並んで配置され、
前記第2光電変換部と前記第5光電変換部とは、隣に並んで配置され、
前記第3光電変換部と前記第6光電変換部とは、隣に並んで配置される撮像素子。
【請求項12】
請求項10または請求項11に記載の撮像素子において、
前記複数の半導体基板は、
前記第1変換部でデジタル信号に変換された前記第4信号を用いた第4加算処理を行う第4加算器と、
前記第2変換部でデジタル信号に変換された前記第5信号を用いた第5加算処理を行う第5加算器と、
前記第3変換部でデジタル信号に変換された前記第6信号を用いた第6加算処理を行う第6加算器と、
を有する撮像素子。
【請求項13】
請求項10から請求項12のいずれか一項に記載の撮像素子において、
前記第1信号と前記第4信号とを前記第1変換部に出力するための第1出力線と、
前記第2信号と前記第5信号とを前記第2変換部に出力するための第2出力線と、
前記第3信号と前記第6信号とを前記第3変換部に出力するための第3出力線と、
を備える撮像素子。
【請求項14】
請求項13に記載の撮像素子において、
前記複数の半導体基板は、
前記第1出力線に電流を供給する第1負荷電流源と、
前記第2出力線に電流を供給する第2負荷電流源と、
前記第3出力線に電流を供給する第3負荷電流源と、
を有し、
前記第1負荷電流源、前記第2負荷電流源および前記第3負荷電流源は、前記複数の半導体基板のうち、前記複数の光電変換部が配置される半導体基板にそれぞれ配置される撮像素子。
【請求項15】
請求項13に記載の撮像素子において、
前記複数の半導体基板は、
前記第1出力線に電流を供給する第1負荷電流源と、
前記第2出力線に電流を供給する第2負荷電流源と、
前記第3出力線に電流を供給する第3負荷電流源と、
を有し、
前記第1負荷電流源、前記第2負荷電流源および前記第3負荷電流源は、前記複数の半導体基板のうち、前記複数の光電変換部が配置される半導体基板とは異なる半導体基板にそれぞれ配置される撮像素子。
【請求項16】
請求項10から請求項15のいずれか一項に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部で変換された電荷を転送する第1転送部と、
前記第2光電変換部で変換された電荷を転送する第2転送部と、
前記第3光電変換部で変換された電荷を転送する第3転送部と、
前記第4光電変換部で変換された電荷を転送する第4転送部と、
前記第5光電変換部で変換された電荷を転送する第5転送部と、
前記第6光電変換部で変換された電荷を転送する第6転送部と、
を有し、
前記第1転送部と前記第4転送部とは、前記第1転送部と前記第4転送部とを制御するための第1転送制御信号が出力される第1転送制御線に接続され、
前記第2転送部と前記第5転送部とは、前記第2転送部と前記第5転送部とを制御するための第2転送制御信号が出力される第2転送制御線に接続され、
前記第3転送部と前記第6転送部とは、前記第3転送部と前記第6転送部とを制御するための第3転送制御信号が出力される第3転送制御線に接続される撮像素子。
【請求項17】
請求項16に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部で変換された電荷が転送される第1フローティングディフュージョンと、
前記第2光電変換部で変換された電荷が転送される第2フローティングディフュージョンと、
前記第3光電変換部で変換された電荷が転送される第3フローティングディフュージョンと、
前記第4光電変換部で変換された電荷が転送される第4フローティングディフュージョンと、
前記第5光電変換部で変換された電荷が転送される第5フローティングディフュージョンと、
前記第6光電変換部で変換された電荷が転送される第6フローティングディフュージョンと、
前記第1フローティングディフュージョンの電位をリセットする第1リセット部と、
前記第2フローティングディフュージョンの電位をリセットする第2リセット部と、
前記第3フローティングディフュージョンの電位をリセットする第3リセット部と、
前記第4フローティングディフュージョンの電位をリセットする第4リセット部と、
前記第5フローティングディフュージョンの電位をリセットする第5リセット部と、
前記第6フローティングディフュージョンの電位をリセットする第6リセット部と、
を有し、
前記第1リセット部と前記第4リセット部とは、前記第1リセット部と前記第4リセット部とを制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部と前記第5リセット部とは、前記第2リセット部と前記第5リセット部とを制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部と前記第6リセット部とは、前記第3リセット部と前記第6リセット部とを制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項18】
請求項16に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部の電位をリセットする第1リセット部と、
前記第2光電変換部の電位をリセットする第2リセット部と、
前記第3光電変換部の電位をリセットする第3リセット部と、
前記第4光電変換部の電位をリセットする第4リセット部と、
前記第5光電変換部の電位をリセットする第5リセット部と、
前記第6光電変換部の電位をリセットする第6リセット部と、
を有し、
前記第1リセット部と前記第4リセット部とは、前記第1リセット部と前記第4リセット部とを制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部と前記第5リセット部とは、前記第2リセット部と前記第5リセット部とを制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部と前記第6リセット部とは、前記第3リセット部と前記第6リセット部とを制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項19】
請求項10から請求項15のいずれか一項に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部で変換された電荷が転送される第1フローティングディフュージョンと、
前記第2光電変換部で変換された電荷が転送される第2フローティングディフュージョンと、
前記第3光電変換部で変換された電荷が転送される第3フローティングディフュージョンと、
前記第4光電変換部で変換された電荷が転送される第4フローティングディフュージョンと、
前記第5光電変換部で変換された電荷が転送される第5フローティングディフュージョンと、
前記第6光電変換部で変換された電荷が転送される第6フローティングディフュージョンと、
前記第1フローティングディフュージョンの電位をリセットする第1リセット部と、
前記第2フローティングディフュージョンの電位をリセットする第2リセット部と、
前記第3フローティングディフュージョンの電位をリセットする第3リセット部と、
前記第4フローティングディフュージョンの電位をリセットする第4リセット部と、
前記第5フローティングディフュージョンの電位をリセットする第5リセット部と、
前記第6フローティングディフュージョンの電位をリセットする第6リセット部と、
を有し、
前記第1リセット部と前記第4リセット部とは、前記第1リセット部前記第4リセット部とを制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部と前記第5リセット部とは、前記第2リセット部と前記第5リセット部とを制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部と前記第6リセット部とは、前記第3リセット部と前記第6リセット部とを制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項20】
請求項10から請求項15のいずれか一項に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部の電位をリセットする第1リセット部と、
前記第2光電変換部の電位をリセットする第2リセット部と、
前記第3光電変換部の電位をリセットする第3リセット部と、
前記第4光電変換部の電位をリセットする第4リセット部と、
前記第5光電変換部の電位をリセットする第5リセット部と、
前記第6光電変換部の電位をリセットする第6リセット部と、
を有し、
前記第1リセット部と前記第4リセット部とは、前記第1リセット部と前記第4リセット部とを制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部と前記第5リセット部とは、前記第2リセット部と前記第5リセット部とを制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部と前記第6リセット部とは、前記第3リセット部と前記第6リセット部とを制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項21】
請求項10に記載の撮像素子において、
前記第1変換部は、前記複数の光電変換部のうち第7光電変換部で変換された電荷に基づく第7信号をデジタル信号に変換し、
前記第2変換部は、前記複数の光電変換部のうち第8光電変換部で変換された電荷に基づく第8信号をデジタル信号に変換し、
前記第3変換部は、前記複数の光電変換部のうち第9光電変換部で変換された電荷に基づく第9信号をデジタル信号に変換し、
前記第1光電変換部と前記第7光電変換部とは、前記列方向に並んで配置され、
前記第2光電変換部と前記第8光電変換部とは、前記列方向に並んで配置され、
前記第3光電変換部と前記第9光電変換部とは、前記列方向に並んで配置される撮像素子。
【請求項22】
請求項21に記載の撮像素子において、
前記第1光電変換部と前記第7光電変換部とは、隣に並んで配置され、
前記第2光電変換部と前記第8光電変換部とは、隣に並んで配置され、
前記第3光電変換部と前記第9光電変換部とは、隣に並んで配置される撮像素子。
【請求項23】
請求項21または請求項22に記載の撮像素子において、
前記複数の半導体基板は、
前記第1変換部でデジタル信号に変換された前記第7信号を用いた第7加算処理を行う第7加算器と、
前記第2変換部でデジタル信号に変換された前記第8信号を用いた第8加算処理を行う第8加算器と、
前記第3変換部でデジタル信号に変換された前記第9信号を用いた第9加算処理を行う第9加算器と、
を有する撮像素子。
【請求項24】
請求項21から請求項23のいずれか一項に記載の撮像素子において、
前記第1信号、前記第4信号および前記第7信号を前記第1変換部に出力するための第1出力線と、
前記第2信号、前記第5信号および前記第8信号を前記第2変換部に出力するための第2出力線と、
前記第3信号、前記第6信号および前記第9信号を前記第3変換部に出力するための第3出力線と、
を備える撮像素子。
【請求項25】
請求項24に記載の撮像素子において、
前記複数の半導体基板は、
前記第1出力線に電流を供給する第1負荷電流源と、
前記第2出力線に電流を供給する第2負荷電流源と、
前記第3出力線に電流を供給する第3負荷電流源と、
を有し、
前記第1負荷電流源、前記第2負荷電流源および前記第3負荷電流源は、前記複数の半導体基板のうち、前記複数の光電変換部が配置される半導体基板にそれぞれ配置される撮像素子。
【請求項26】
請求項24に記載の撮像素子において、
前記複数の半導体基板は、
前記第1出力線に電流を供給する第1負荷電流源と、
前記第2出力線に電流を供給する第2負荷電流源と、
前記第3出力線に電流を供給する第3負荷電流源と、
を有し、
前記第1負荷電流源、前記第2負荷電流源および前記第3負荷電流源は、前記複数の半導体基板のうち、前記複数の光電変換部が配置される半導体基板とは異なる半導体基板にそれぞれ配置される撮像素子。
【請求項27】
請求項21から請求項26のいずれか一項に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部で変換された電荷を転送する第1転送部と、
前記第2光電変換部で変換された電荷を転送する第2転送部と、
前記第3光電変換部で変換された電荷を転送する第3転送部と
前記第4光電変換部で変換された電荷を転送する第4転送部と、
前記第5光電変換部で変換された電荷を転送する第5転送部と、
前記第6光電変換部で変換された電荷を転送する第6転送部と、
前記第7光電変換部で変換された電荷を転送する第7転送部と、
前記第8光電変換部で変換された電荷を転送する第8転送部と、
前記第9光電変換部で変換された電荷を転送する第9転送部と、
を有し、
前記第1転送部、前記第4転送部および前記第7転送部は、前記第1転送部、前記第4転送部および前記第7転送部を制御するための第1転送制御信号が出力される第1転送制御線に接続され、
前記第2転送部、前記第5転送部および前記第8転送部は、前記第2転送部、前記第5転送部および前記第8転送部を制御するための第2転送制御信号が出力される第2転送制御線に接続され、
前記第3転送部、前記第6転送部および前記第9転送部は、前記第3転送部、前記第6転送部および前記第9転送部を制御するための第3転送制御信号が出力される第3転送制御線に接続される撮像素子。
【請求項28】
請求項27に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部で変換された電荷が転送される第1フローティングディフュージョンと、
前記第2光電変換部で変換された電荷が転送される第2フローティングディフュージョンと、
前記第3光電変換部で変換された電荷が転送される第3フローティングディフュージョンと、
前記第4光電変換部で変換された電荷が転送される第4フローティングディフュージョンと、
前記第5光電変換部で変換された電荷が転送される第5フローティングディフュージョンと、
前記第6光電変換部で変換された電荷が転送される第6フローティングディフュージョンと、
前記第7光電変換部で変換された電荷が転送される第7フローティングディフュージョンと、
前記第8光電変換部で変換された電荷が転送される第8フローティングディフュージョンと、
前記第9光電変換部で変換された電荷が転送される第9フローティングディフュージョンと、
前記第1フローティングディフュージョンの電位をリセットする第1リセット部と、
前記第2フローティングディフュージョンの電位をリセットする第2リセット部と、
前記第3フローティングディフュージョンの電位をリセットする第3リセット部と、
前記第4フローティングディフュージョンの電位をリセットする第4リセット部と、
前記第5フローティングディフュージョンの電位をリセットする第5リセット部と、
前記第6フローティングディフュージョンの電位をリセットする第6リセット部と、
前記第7フローティングディフュージョンの電位をリセットする第7リセット部と、
前記第8フローティングディフュージョンの電位をリセットする第8リセット部と、
前記第9フローティングディフュージョンの電位をリセットする第9リセット部と、
を有し、
前記第1リセット部、前記第4リセット部および前記第7リセット部は、前記第1リセット部、前記第4リセット部および前記第7リセット部を制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部、前記第5リセット部および前記第8リセット部は、前記第2リセット部、前記第5リセット部および前記第8リセット部を制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部、前記第6リセット部および前記第9リセット部は、前記第3リセット部、前記第6リセット部および前記第9リセット部を制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項29】
請求項27に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部の電位をリセットする第1リセット部と、
前記第2光電変換部の電位をリセットする第2リセット部と、
前記第3光電変換部の電位をリセットする第3リセット部と
前記第4光電変換部の電位をリセットする第4リセット部と、
前記第5光電変換部の電位をリセットする第5リセット部と、
前記第6光電変換部の電位をリセットする第6リセット部と、
前記第7光電変換部の電位をリセットする第7リセット部と、
前記第8光電変換部の電位をリセットする第8リセット部と、
前記第9光電変換部の電位をリセットする第9リセット部と、
を有し、
前記第1リセット部、前記第4リセット部および前記第7リセット部は、前記第1リセット部、前記第4リセット部および前記第7リセット部を制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部、前記第5リセット部および前記第8リセット部は、前記第2リセット部、前記第5リセット部および前記第8リセット部を制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部、前記第6リセット部および前記第9リセット部は、前記第3リセット部、前記第6リセット部および前記第9リセット部を制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項30】
請求項21から請求項26のいずれか一項に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部で変換された電荷が転送される第1フローティングディフュージョンと、
前記第2光電変換部で変換された電荷が転送される第2フローティングディフュージョンと、
前記第3光電変換部で変換された電荷が転送される第3フローティングディフュージョンと、
前記第4光電変換部で変換された電荷が転送される第4フローティングディフュージョンと、
前記第5光電変換部で変換された電荷が転送される第5フローティングディフュージョンと、
前記第6光電変換部で変換された電荷が転送される第6フローティングディフュージョンと、
前記第7光電変換部で変換された電荷が転送される第7フローティングディフュージョンと、
前記第8光電変換部で変換された電荷が転送される第8フローティングディフュージョンと、
前記第9光電変換部で変換された電荷が転送される第9フローティングディフュージョンと、
前記第1フローティングディフュージョンの電位をリセットする第1リセット部と、
前記第2フローティングディフュージョンの電位をリセットする第2リセット部と、
前記第3フローティングディフュージョンの電位をリセットする第3リセット部と、
前記第4フローティングディフュージョンの電位をリセットする第4リセット部と、
前記第5フローティングディフュージョンの電位をリセットする第5リセット部と、
前記第6フローティングディフュージョンの電位をリセットする第6リセット部と、
前記第7フローティングディフュージョンの電位をリセットする第7リセット部と、
前記第8フローティングディフュージョンの電位をリセットする第8リセット部と、
前記第9フローティングディフュージョンの電位をリセットする第9リセット部と、
を有し、
前記第1リセット部、前記第4リセット部および前記第7リセット部は、前記第1リセット部、前記第4リセット部および前記第7リセット部を制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部、前記第5リセット部および前記第8リセット部は、前記第2リセット部、前記第5リセット部および前記第8リセット部を制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部、前記第6リセット部および前記第9リセット部は、前記第3リセット部、前記第6リセット部および前記第9リセット部を制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項31】
請求項21から請求項26のいずれか一項に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部の電位をリセットする第1リセット部と、
前記第2光電変換部の電位をリセットする第2リセット部と、
前記第3光電変換部の電位をリセットする第3リセット部と
前記第4光電変換部の電位をリセットする第4リセット部と、
前記第5光電変換部の電位をリセットする第5リセット部と、
前記第6光電変換部の電位をリセットする第6リセット部と、
前記第7光電変換部の電位をリセットする第7リセット部と、
前記第8光電変換部の電位をリセットする第8リセット部と、
前記第9光電変換部の電位をリセットする第9リセット部と、
を有し、
前記第1リセット部、前記第4リセット部および前記第7リセット部は、前記第1リセット部、前記第4リセット部および前記第7リセット部を制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部、前記第5リセット部および前記第8リセット部は、前記第2リセット部、前記第5リセット部および前記第8リセット部を制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部、前記第6リセット部および前記第9リセット部は、前記第3リセット部、前記第6リセット部および前記第9リセット部を制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項32】
請求項1に記載の撮像素子において、
前記第1変換部は、前記複数の光電変換部のうち第4光電変換部で変換された電荷に基づく第4信号をデジタル信号に変換し、
前記第2変換部は、前記複数の光電変換部のうち第5光電変換部で変換された電荷に基づく第5信号をデジタル信号に変換し、
前記第3変換部は、前記複数の光電変換部のうち第6光電変換部で変換された電荷に基づく第6信号をデジタル信号に変換し、
前記第1光電変換部と前記第4光電変換部とは、前記列方向に並んで配置され、
前記第2光電変換部と前記第5光電変換部とは、前記列方向に並んで配置され、
前記第3光電変換部と前記第6光電変換部とは、前記列方向に並んで配置される撮像素子。
【請求項33】
請求項32に記載の撮像素子において、
前記第1光電変換部と前記第4光電変換部とは、隣に並んで配置され、
前記第2光電変換部と前記第5光電変換部とは、隣に並んで配置され、
前記第3光電変換部と前記第6光電変換部とは、隣に並んで配置される撮像素子。
【請求項34】
請求項32または請求項33に記載の撮像素子において、
前記複数の半導体基板は、
前記第1変換部でデジタル信号に変換された前記第4信号を用いた第4加算処理を行う第4加算器と、
前記第2変換部でデジタル信号に変換された前記第5信号を用いた第5加算処理を行う第5加算器と、
前記第3変換部でデジタル信号に変換された前記第6信号を用いた第6加算処理を行う第6加算器と、
を有する撮像素子。
【請求項35】
請求項32から請求項34のいずれか一項に記載の撮像素子において、
前記第1信号と前記第4信号とを前記第1変換部に出力するための第1出力線と、
前記第2信号と前記第5信号とを前記第2変換部に出力するための第2出力線と、
前記第3信号と前記第6信号とを前記第3変換部に出力するための第3出力線と、
を備える撮像素子。
【請求項36】
請求項35に記載の撮像素子において、
前記複数の半導体基板は、
前記第1出力線に電流を供給する第1負荷電流源と、
前記第2出力線に電流を供給する第2負荷電流源と、
前記第3出力線に電流を供給する第3負荷電流源と、
を有し、
前記第1負荷電流源、前記第2負荷電流源および前記第3負荷電流源は、前記複数の半導体基板のうち、前記複数の光電変換部が配置される半導体基板にそれぞれ配置される撮像素子。
【請求項37】
請求項35に記載の撮像素子において、
前記複数の半導体基板は、
前記第1出力線に電流を供給する第1負荷電流源と、
前記第2出力線に電流を供給する第2負荷電流源と、
前記第3出力線に電流を供給する第3負荷電流源と、
を有し、
前記第1負荷電流源、前記第2負荷電流源および前記第3負荷電流源は、前記複数の半導体基板のうち、前記複数の光電変換部が配置される半導体基板とは異なる半導体基板にそれぞれ配置される撮像素子。
【請求項38】
請求項32から請求項37のいずれか一項に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部で変換された電荷を転送する第1転送部と、
前記第2光電変換部で変換された電荷を転送する第2転送部と、
前記第3光電変換部で変換された電荷を転送する第3転送部と、
前記第4光電変換部で変換された電荷を転送する第4転送部と、
前記第5光電変換部で変換された電荷を転送する第5転送部と、
前記第6光電変換部で変換された電荷を転送する第6転送部と、
を有し、
前記第1転送部と前記第4転送部とは、前記第1転送部と前記第4転送部とを制御するための第1転送制御信号が出力される第1転送制御線に接続され、
前記第2転送部と前記第5転送部とは、前記第2転送部と前記第5転送部とを制御するための第2転送制御信号が出力される第2転送制御線に接続され、
前記第3転送部と前記第6転送部とは、前記第3転送部と前記第6転送部とを制御するための第3転送制御信号が出力される第3転送制御線に接続される撮像素子。
【請求項39】
請求項38に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部で変換された電荷が転送される第1フローティングディフュージョンと、
前記第2光電変換部で変換された電荷が転送される第2フローティングディフュージョンと、
前記第3光電変換部で変換された電荷が転送される第3フローティングディフュージョンと、
前記第4光電変換部で変換された電荷が転送される第4フローティングディフュージョンと、
前記第5光電変換部で変換された電荷が転送される第5フローティングディフュージョンと、
前記第6光電変換部で変換された電荷が転送される第6フローティングディフュージョンと、
前記第1フローティングディフュージョンの電位をリセットする第1リセット部と、
前記第2フローティングディフュージョンの電位をリセットする第2リセット部と、
前記第3フローティングディフュージョンの電位をリセットする第3リセット部と、
前記第4フローティングディフュージョンの電位をリセットする第4リセット部と、
前記第5フローティングディフュージョンの電位をリセットする第5リセット部と、
前記第6フローティングディフュージョンの電位をリセットする第6リセット部と、
を有し、
前記第1リセット部と前記第4リセット部とは、前記第1リセット部と前記第4リセット部とを制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部と前記第5リセット部とは、前記第2リセット部と前記第5リセット部とを制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部と前記第6リセット部とは、前記第3リセット部と前記第6リセット部とを制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項40】
請求項38に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部の電位をリセットする第1リセット部と、
前記第2光電変換部の電位をリセットする第2リセット部と、
前記第3光電変換部の電位をリセットする第3リセット部と、
前記第4光電変換部の電位をリセットする第4リセット部と、
前記第5光電変換部の電位をリセットする第5リセット部と、
前記第6光電変換部の電位をリセットする第6リセット部と、
を有し、
前記第1リセット部と前記第4リセット部とは、前記第1リセット部と前記第4リセット部とを制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部と前記第5リセット部とは、前記第2リセット部と前記第5リセット部とを制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部と前記第6リセット部とは、前記第3リセット部と前記第6リセット部とを制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項41】
請求項32から請求項37のいずれか一項に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部で変換された電荷が転送される第1フローティングディフュージョンと、
前記第2光電変換部で変換された電荷が転送される第2フローティングディフュージョンと、
前記第3光電変換部で変換された電荷が転送される第3フローティングディフュージョンと、
前記第4光電変換部で変換された電荷が転送される第4フローティングディフュージョンと、
前記第5光電変換部で変換された電荷が転送される第5フローティングディフュージョンと、
前記第6光電変換部で変換された電荷が転送される第6フローティングディフュージョンと、
前記第1フローティングディフュージョンの電位をリセットする第1リセット部と、
前記第2フローティングディフュージョンの電位をリセットする第2リセット部と、
前記第3フローティングディフュージョンの電位をリセットする第3リセット部と、
前記第4フローティングディフュージョンの電位をリセットする第4リセット部と、
前記第5フローティングディフュージョンの電位をリセットする第5リセット部と、
前記第6フローティングディフュージョンの電位をリセットする第6リセット部と、
を有し、
前記第1リセット部と前記第4リセット部とは、前記第1リセット部前記第4リセット部とを制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部と前記第5リセット部とは、前記第2リセット部と前記第5リセット部とを制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部と前記第6リセット部とは、前記第3リセット部と前記第6リセット部とを制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項42】
請求項32から請求項37のいずれか一項に記載の撮像素子において、
前記複数の半導体基板は、
前記第1光電変換部の電位をリセットする第1リセット部と、
前記第2光電変換部の電位をリセットする第2リセット部と、
前記第3光電変換部の電位をリセットする第3リセット部と、
前記第4光電変換部の電位をリセットする第4リセット部と、
前記第5光電変換部の電位をリセットする第5リセット部と、
前記第6光電変換部の電位をリセットする第6リセット部と、
を有し、
前記第1リセット部と前記第4リセット部とは、前記第1リセット部と前記第4リセット部とを制御するための第1リセット制御信号が出力される第1リセット制御線に接続され、
前記第2リセット部と前記第5リセット部とは、前記第2リセット部と前記第5リセット部とを制御するための第2リセット制御信号が出力される第2リセット制御線に接続され、
前記第3リセット部と前記第6リセット部とは、前記第3リセット部と前記第6リセット部とを制御するための第3リセット制御信号が出力される第3リセット制御線に接続される撮像素子。
【請求項43】
請求項1から請求項42のいずれか一項に記載の撮像素子において、
前記複数の半導体基板は、3以上の半導体基板により構成される撮像素子。
【請求項44】
請求項1から請求項43のいずれか一項に記載の撮像素子を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子および撮像装置に関する。
【背景技術】
【0002】
裏面照射型撮像チップと信号処理チップとが積層された撮像素子(以下、積層型撮像素子という)を備えた電子機器が提案されている(特許文献1参照)。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、所定の領域ごとにマイクロバンプを介して接続されるように積層されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の積層型撮像素子を備えた電子機器において、1または2以上の上記領域を有するブロックに画像を分けて、該ブロックごとに撮像画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分とはいえなかった。さらに、異なる露光条件で別々に撮像した複数枚の画像を合成する従来技術では、動いている被写体の撮影に不向きであった。
【課題を解決するための手段】
【0005】
発明の第1の態様による撮像素子は、積層された複数の半導体基板を備える撮像素子であって、前記複数の半導体基板は、光を電荷に変換する複数の光電変換部と、前記複数の光電変換部のうち第1光電変換部で変換された電荷に基づく第1信号をデジタル信号に変換する第1変換部と、前記複数の光電変換部のうち第2光電変換部で変換された電荷に基づく第2信号をデジタル信号に変換する第2変換部と、前記複数の光電変換部のうち第3光電変換部で変換された電荷に基づく第3信号をデジタル信号に変換する第3変換部と、前記第1変換部でデジタル信号に変換された前記第1信号を用いた第1加算処理を行う第1加算器と、前記第2変換部でデジタル信号に変換された前記第2信号を用いた第2加算処理を行う第2加算器と、前記第3変換部でデジタル信号に変換された前記第3信号を用いた第3加算処理を行う第3加算器と、を有し、前記第1光電変換部と前記第2光電変換部とは、行方向に並んで配置され、前記第1光電変換部と前記第3光電変換部とは、列方向に並んで配置される。
発明の第2の態様による撮像装置は、第1の態様による撮像素子を備える。
【発明の効果】
【0006】
本発明によれば、光電変換データを適切に処理できる。
【図面の簡単な説明】
【0007】
【
図2】撮像チップの画素配列と単位領域を説明する図である。
【
図3】撮像チップの単位領域に対応する回路図である。
【
図4】撮像素子の機能的構成を示すブロック図である。
【
図5】1画素当たりの画素信号の流れを説明する図である。
【
図6】撮像素子を有する撮像装置の構成を例示するブロック図である。
【
図7】撮像素子における注目領域および周辺領域を例示する図である。
【
図8】読み出しタイミング、蓄積信号、および演算回路を介して撮像素子から読み出される画素信号を説明する図である。
【
図9】第一の実施形態の制御部が実行する撮影動作の流れを説明するフローチャートである。
【
図10】第二の実施形態の制御部が実行する撮影動作の流れを説明するフローチャートである。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明を実施するための形態について説明する。
(第一の実施形態)
<積層型撮像素子の説明>
始めに、本発明の第一の実施形態による電子機器(例えば撮像装置1)に搭載する積層型撮像素子100について説明する。なお、この積層型撮像素子100は、本願出願人が先に出願した特願2012-139026号に記載されているものである。
図1は、積層型撮像素子100の断面図である。撮像素子100は、入射光に対応した画素信号を出力する裏面照射型撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
【0009】
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、
図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【0010】
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のPD(フォトダイオード)104、および、PD104に対応して設けられたトランジスタ105を有する。
【0011】
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104およびトランジスタ105の組が、一つの画素を形成する。
【0012】
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
【0013】
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
【0014】
配線層108の表面には複数のバンプ109が配される。当該複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされて、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
【0015】
同様に、信号処理チップ111およびメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
【0016】
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つの単位領域に対して一つ程度設ければよい。したがって、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
【0017】
信号処理チップ111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、撮像チップ113の周辺領域、メモリチップ112にも設けられてよい。
【0018】
図2は、撮像チップ113の画素配列と単位領域131を説明する図である。特に、撮像チップ113を裏面側から観察した様子を示す。画素領域には例えば2000万個以上もの画素がマトリックス状に配列されている。本実施形態においては、例えば隣接する4画素×4画素の16画素が一つの単位領域131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域131を形成する概念を示す。単位領域131を形成する画素の数は、これに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
【0019】
画素領域の部分拡大図に示すように、単位領域131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
【0020】
本実施形態において、1ブロックにつき単位領域131を少なくとも1つ含むように複数のブロックが定義され、各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
【0021】
図3は、撮像チップ113の単位領域131に対応する回路図である。
図3において、代表的に点線で囲む矩形が、1画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、
図1のトランジスタ105に対応する。
【0022】
上述のように、単位領域131は、16画素から形成される。それぞれの画素に対応する16個のPD104は、それぞれ転送トランジスタ302に接続され、各転送トランジスタ302の各ゲートには、転送パルスが供給されるTX配線307に接続される。本実施形態において、TX配線307は、16個の転送トランジスタ302に対して共通接続される。
【0023】
各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されると共に、転送トランジスタ302のドレインとリセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFDが増幅トランジスタ304のゲートに接続される。リセットトランジスタ303のドレインは電源電圧が供給されるVdd配線310に接続され、そのゲートはリセットパルスが供給されるリセット配線306に接続される。本実施形態において、リセット配線306は、16個のリセットトランジスタ303に対して共通接続される。
【0024】
各々の増幅トランジスタ304のドレインは、電源電圧が供給されるVdd配線310に接続される。また、各々の増幅トランジスタ304のソースは、対応する各々の選択トランジスタ305のドレインに接続される。選択トランジスタ305の各ゲートは、選択パルスが供給されるデコーダ配線308に接続される。本実施形態において、デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
【0025】
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303に印加され、同時にTX配線307を通じて転送パルスが転送トランジスタ302に印加されると、PD104およびフローティングディフュージョンFDの電位がリセットされる。
【0026】
PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304および選択トランジスタ305を介して出力配線309に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
【0027】
図3に示すように、本実施形態においては、単位領域131を形成する16画素に対して、リセット配線306とTX配線307が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、16画素全てに対して同時に印加される。したがって、単位領域131を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305に選択パルスが順次印加されることにより、選択的に出力配線309から出力される。また、リセット配線306、TX配線307、出力配線309は、単位領域131毎に別個に設けられる。
【0028】
このように単位領域131を基準として回路を構成することにより、単位領域131ごとに電荷蓄積時間を制御することができる。換言すると、単位領域131間で、異なったフレームレートによる画素信号をそれぞれ出力させることができる。更に言えば、一方の単位領域131に1回の電荷蓄積を行わせている間に、他方の単位領域131に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位領域131間で異なるフレームレートで動画用の各フレームを出力することもできる。
【0029】
図4は、撮像素子100の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位領域131を形成する16個のPD104を順番に選択して、それぞれの画素信号を当該単位領域131に対応して設けられた出力配線309へ出力させる。マルチプレクサ411は、PD104と共に、撮像チップ113に形成される。
【0030】
マルチプレクサ411を介して出力された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ413に引き渡される。デマルチプレクサ413から出力された画素信号は、それぞれの画素に対応する加算器416へ入力される。加算器416は、それぞれの画素に対応させて、デマルチプレクサ413から出力された画素信号と画素メモリ414から読み出された画素信号とを加算し、加算後の画素信号を再び画素メモリ414へ出力する。
【0031】
画素メモリ414は、加算器416からの画素信号を格納する。画素メモリ414のそれぞれは、加算後の画素信号を格納できる容量を有する。デマルチプレクサ413、加算器416および画素メモリ414は、メモリチップ112に形成される。
【0032】
図5は、1画素当たりの画素信号の流れを説明する図である。
図5において、デマルチプレクサ413から出力された画素信号Sが、加算器416のうち対応する加算器nへ入力される。このとき、画素メモリ414の対応するメモリnに格納されている画素信号Pが、該メモリnから読み出されて加算器nへ入力される。
【0033】
加算器nは、入力された画素信号Sと画素信号Pとを加算し、加算後の画素信号S+Pを画素メモリnへ出力する。画素メモリnは、入力された画素信号S+Pを格納し、演算回路415へ読み出されるのを待つ。ここで、加算器nにより加算が行われる際に、画素メモリnに格納されている画素信号Pを読み出さないように画素メモリ414を制御することにより、加算器nに入力された画素信号Sのみをそのまま加算器nから画素メモリnへ出力させることができる。すなわち、加算器nで加算することなく、撮像チップ113からの画素信号Sをそのままメモリnから演算回路415へ読み出させることもできる。
【0034】
演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路415は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。
【0035】
駆動制御部417は、撮像チップ113から信号処理チップ111およびメモリチップ112へ画素信号が送られるタイミングと、画素メモリ414における画素信号の読み出しおよび格納タイミングと、加算器416における画素信号の加算タイミングと、演算回路415に対する画素信号の受け渡しタイミングとを同期させるため、タイミング制御信号を生成する。
【0036】
なお、
図4では1つの単位領域131の分の接続を示すが、実際にはこれらが単位領域131ごとに存在して、並列で動作する。ただし、演算回路415は単位領域131ごとに存在しなくても良く、例えば、一つの演算回路415がそれぞれの単位領域131に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
【0037】
上記の通り、単位領域131のそれぞれに対応して出力配線309が設けられている。撮像素子100は撮像チップ113、信号処理チップ111およびメモリチップ112を積層しているので、これら出力配線309にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
【0038】
<撮像装置の説明>
図6は、上述した撮像素子100を有する撮像装置1の構成を例示するブロック図である。
図6において、撮像装置1は、撮像光学系10、撮像部20、画像処理部30、ワークメモリ40、表示部50、記録部60、および制御部70を有する。
【0039】
撮像光学系10は、複数のレンズから構成され、被写界からの光束を撮像部20へ導く。撮像光学系10は、撮像装置1と一体に構成されていても、撮像装置1に対して交換可能に構成されていてもよい。また、撮像光学系10には、フォーカスレンズを内蔵していても、ズームレンズを内蔵していてもよい。
【0040】
撮像部20は、上述した撮像素子100と、撮像素子100を駆動する駆動部21とを有する。撮像素子100は、駆動部21から出力される制御信号によって駆動制御されることにより、上述したブロック単位で独立した蓄積制御が可能である。駆動部21に対する上記ブロックの位置や形状、その範囲などの指示は、制御部70が行う。
【0041】
画像処理部30は、ワークメモリ40と協働して、撮像部20で撮像された画像データに対する画像処理を行う。本実施形態において、画像処理部30は、通常の画像処理(色信号処理、ガンマ補正など)に加えて、画像に含まれる主要被写体の検出処理も行う。画像処理部30による主要被写体の検出は、公知の顔検出機能を用いて行うことができる。また、顔検出に加えて、例えば特開2010-16621号公報(US2010/0002940号)に記載されているように、画像に含まれる人体を主要被写体として検出するようにしてもよい。
【0042】
ワークメモリ40は、JPEG圧縮前後やMPEG圧縮前後の画像データなどを一時的に記憶する。表示部50は、例えば液晶表示パネル51によって構成され、撮像部20で撮像された画像(静止画や動画)や各種情報を表示したり、操作入力用画面を表示したりする。表示部50は、液晶表示パネル51の表示面にタッチパネル52が積層された構成を有する。タッチパネル52は、液晶表示パネル51にユーザが触れた位置を示す信号を出力する。
【0043】
記録部60は、メモリカードなどの記憶媒体に画像データなどの各種データを記憶させる。制御部70はCPUを有し、撮像装置1による全体の動作を制御する。本実施形態において制御部70は、撮像素子100(撮像チップ113)の撮像面を複数のブロックに分け、ブロック間において異なるフレームレート(蓄積時間)、ゲインで画像を取得させる。このために制御部70は、ブロックの位置、形状、範囲、および各ブロック用の制御パラメータを駆動部21へ指示する。
【0044】
また、制御部70は、撮像光学系10による焦点調節状態をAF演算部71により算出する。制御部70はさらに、適正露出が得られるようにAE、AWB演算部72で露出演算を行う。
【0045】
<注目領域と周辺領域>
本実施形態では、画面内に注目領域と周辺領域という概念を導入し、上記複数のブロックに対応させる。
図7は、撮像素子100(撮像チップ113)における注目領域80および周辺領域90を例示する図である。制御部70は、撮像素子100(撮像チップ113)における注目領域80と周辺領域90の位置を、ライブビュー画像に基づくシーン認識を経て決定する。
【0046】
ここで、ライブビュー画像は本撮像が行われる前のプレビュー画像とも呼ばれ、撮像素子100によって所定のフレームレート(例えば30fps)で取得されるモニタ用の画像をいう。
図7において、ライブビュー画像の画面右寄りに人物が含まれ、ライブビュー画像の画面左側に樹木が含まれている。制御部70は画像処理部30へ指示を送り、ライブビュー画像データに対して公知のシーン認識処理を行わせる。画像処理部30は、シーン認識処理を行うことにより、ライブビュー画像を解析して主要被写体領域を抽出する。
【0047】
画像処理部30は、上述したように検出した人体を含む範囲を主要被写体領域とする。なお、人物に限らずペットなどの動物を検出し、この動物を含む範囲を主要被写体領域としてもよい。そして、制御部70は、主要被写体領域を注目領域80とし、注目領域80以外の領域を周辺領域90とする。
【0048】
なお、表示部50のうち液晶表示パネル51にライブビュー画像を表示した状態で、このライブビュー画像を視認するユーザがタッチパネル52に触れた位置に対応する(表示されている)主要被写体の領域を注目領域80としてもよい。
【0049】
制御部70は、例えばライブビュー画像取得時において、注目領域80および周辺領域90から第1蓄積時間の蓄積後に出力される画素信号に基づいて、自動露出演算およびホワイトバランス調整値の決定をAE、AWB演算部72により行わせる。AE、AWB演算部72は、例えば画素信号の平均的なレベルを所定のレベルへ近づけるように、露出(露光時間、ゲイン等)を演算する。また、AE、AWB演算部72は、白い色を白く表現するためのホワイトバランス調整値を決定する。
【0050】
さらにまた、制御部70は、注目領域80および周辺領域90から上記第1蓄積時間の蓄積後に出力される画素信号に基づいてモニタ用の画像を生成し、上記ライブビュー画像として表示部50に表示させる。
【0051】
制御部70はさらに、例えばライブビュー画像取得時において、注目領域80から第2蓄積時間の蓄積後に出力される画素信号に基づいて、撮像光学系10による焦点調節状態をAF(オートフォーカス)演算部71により算出させる。本実施形態では、第2蓄積時間を第1蓄積時間より長く制御する。
【0052】
AF演算部71は、例えばコントラスト検出方式によって焦点調節状態を検出する。具体的には、撮像光学系10のフォーカスレンズの位置を移動させながら、注目領域80から出力される画素信号で構成される画像のコントラストを高めるように撮像光学系10のフォーカスレンズの位置を調節する。
【0053】
なお、焦点検出処理を、位相差検出方式によって行う構成にしてもよい。この場合には、撮像素子100(撮像チップ113)において、あらかじめ焦点検出用の画素を設けておく。そして、注目領域80に含まれる焦点検出用の画素からの出力信号を用いて位相差検出演算を行うことにより、撮像光学系10による焦点調節状態(具体的にはデフォーカス量)を検出する。焦点検出用の画素および位相差検出演算は、例えば特開2009-94881号公報に記載されるように公知であるため、詳細な説明を省略する。
【0054】
制御部70は、ライブビュー画像を取得する際に駆動部21へ指示を送り、撮像素子100(撮像チップ113)の注目領域80から、上述したように蓄積時間が異なる画素信号(すなわち第1蓄積時間経過後の画素信号と、第2蓄積時間経過後の画素信号)を複数回に分けて読み出す。ここで、注目領域80および周辺領域90に分けて蓄積制御するのは、不図示のレリーズスイッチが操作されることによる本撮像(静止画記録や動画記録)の指示が行われる前とする。
【0055】
すなわち、本撮像指示が行われるまでは、注目領域80および周辺領域90で取得された画像に基づいて露出演算、ホワイトバランス調整値の決定、およびライブビュー画像の表示を行うとともに、注目領域80で取得された画像に基づいて焦点検出処理を行う。
【0056】
<蓄積時間が異なる画素信号の読み出し>
画素信号の読み出しタイミングと、撮像チップ113における蓄積信号と、演算回路415を介して撮像素子100から読み出される画素信号とを説明する
図8を参照して、蓄積時間が異なる画素信号の読み出しを説明する。
【0057】
駆動部21は、以下のように撮像素子100を制御する。すなわち、ライブビュー画像の各フレームにおいて蓄積開始時刻t0から時刻t1までを上記第1蓄積時間とし、時刻t0から時刻t2までを上記第2蓄積時間とする。駆動部21は、時刻t0において、上記注目領域80および周辺領域90に含まれる画素に対して電荷蓄積を開始させる。そして、時刻t1において、
図5に例示した画素メモリnに格納されている画素信号を読み出さないように画素メモリ414を制御しながら、上記注目領域80および周辺領域90から画素信号を出力させる。これにより、第1蓄積時間(時刻t0から時刻t1)の間に蓄積された画素信号aがデマルチプレクサ413から出力され、そのまま信号Aとして演算回路415を介して出力される。この画素信号A(=a)は、画素メモリnにも格納される。
【0058】
駆動部21はさらに、時刻t1において上記画素信号の読み出しを行うと、ただちに上記注目領域80に含まれる画素に対して電荷蓄積を開始させる。そして、時刻t2において、
図5に例示した画素メモリnに格納されている画素信号aを読み出すように画素メモリ414を制御しながら、上記注目領域80から画素信号を出力させる。これにより、時刻t1から時刻t2までの間に蓄積された画素信号bがデマルチプレクサ413から出力され、この画素信号bと、画素メモリnから読み出された画素信号aとが加算器nで加算される。加算後の画素信号a+bは、信号Bとして演算回路415を介して出力される。画素信号B(=a+b)は、時刻t0から時刻t1までと、時刻t1から時刻t2までに蓄積された画素信号の和であるため、第2蓄積時間(時刻t0から時刻t2)の間に蓄積される画素信号に相当する。
【0059】
上述したように、第一の実施形態では、第1蓄積時間より長い第2蓄積時間で蓄積された高い信号レベルの画素信号Bを焦点検出処理に用いるので、信号レベルが低い画素信号Aを焦点検出処理に用いる場合に比べて、高い焦点検出精度が得られる。また、第2蓄積時間より短い第1蓄積時間で蓄積された画素信号Aを露出演算、ホワイトバランス調整値の決定、およびライブビュー画像の表示に用いるので、ノイズの影響を避けて精度よく演算でき、明るすぎることなく見やすいライブビュー画像が得られる。
【0060】
<フローチャートの説明>
図9は、第一の実施形態において撮像装置1の制御部70が実行する撮影動作の流れを説明するフローチャートである。制御部70は、不図示のON-OFFスイッチが電源オン操作され、撮像装置1の各部に対して通電が行われている場合に、
図9による処理を繰り返し起動させる。
図9のステップS101において、制御部70は、注目領域80および周辺領域90用のフレームレート、ゲインなどの制御パラメータをそれぞれ決定してステップS102へ進む。例えば、後述するステップS102、S110において適用する値を、プログラムデータから読み出して用意しておく。
【0061】
ステップS102において、制御部70は駆動部21へ指示を送り、撮像部20によるライブビュー撮像を開始させる。ステップS102で開始するライブビュー画像の取得は、例えば撮像素子100の撮像面の略全域を対象に周辺領域90用の制御パラメータを設定して行う。
【0062】
ステップS103において、制御部70は駆動部21へ指示を送り、撮像部20から第1データの転送を行わせる。第1データは、上記時刻t1において読み出す画素信号A(=a)に対応する。ステップS104において、制御部70は、撮像部20から出力される画素信号Aに基づくライブビュー画像データを画像処理部30により画像処理させた後、表示部50に表示させる。
【0063】
ステップS105において、制御部70は駆動部21へ指示を送り、撮像部20から第2データの転送を行わせる。第2データは、上記時刻t2において読み出す画素信号B(=a+b)に対応する。ステップS106において、制御部70は、AF演算領域を対象に、画素信号Bに基づくAF演算(焦点調節状態の検出)をAF演算部71に行わせる。これにより、撮像光学系10の焦点調節を行える。なお、電源オン操作後最初のフレームにおいてはAF演算領域が未決定であるので、撮像素子100の撮像面の略全域を対象にAF演算を行うものとする。
【0064】
ステップS107において、制御部70は画像処理部30へ指示を送り、ライブビュー画像から主要被写体領域を抽出させる。ステップS108において、制御部70は、主要被写体を含む領域を注目領域80とし、この注目領域80をAF演算領域に決定してステップS109へ進む。AF演算領域は、次フレームで取得されるライブビュー画像に対して適用する。
【0065】
ステップS109において、制御部70は、レリーズ操作されたか否かを判定する。レリーズ操作は、撮像装置1に対する本撮像指示として用いられる。制御部70は、不図示のレリーズボタンが押下操作された場合に、ステップS109を肯定判定してステップS110へ進み、押下操作が行われない場合には、ステップS109を否定判定してステップS112へ進む。
【0066】
なお、液晶表示パネル51に表示させたレリーズアイコンに対するタップ操作を検出して本撮像指示を判断する場合には、表示中のレリーズアイコンがタップ操作された場合にステップS109を肯定判定すればよい。
【0067】
ステップS110において、制御部70は駆動部21へ指示を送り、第1データ(画素信号A(=a))に基づいて決定した撮影用の露出条件に必要な制御パラメータ(露光時間、ゲインなど)を設定してステップS111へ進む。
【0068】
ステップS111において、制御部70は撮影処理を実行し、取得された画像のデータを記録部60によってメモリカードなどに記憶させて、ステップS102へ戻る。撮影処理では、撮像素子100の全領域で共通(同じ)に設定した撮影用の制御パラメータを適用して、1コマの静止画像を取得(本撮像)、記録するとともに、静止画像を取得した後も複数フレームの画像を取得する。そして、レリーズ操作の前後所定時間の間に取得した複数フレームの画像に基づいて、スロー再生動画データを生成、記録する。スロー再生動画データは、撮像素子100で取得した際のフレームレート(例えば30fps)より遅いフレームレート(例えば15fps)で再生する動画像のデータをいう。
【0069】
制御部70は、以下のようにスロー再生動画データを生成する。すなわち、レリーズ操作時刻(txとする)より先撮り時間前(例えば0.6秒前)から時刻txまでに、上述したライブビュー画像の表示のためにワークメモリ40に一時的に記憶された第1データ(画素信号A(=a))に基づく複数のフレーム画像(例えばフレームレートが30fpsで取得された場合の0.6秒分は18フレームである)、および時刻txから時刻txより後撮り時間後(例えば0.4秒後)までにワークメモリ40に記憶された第1データ(画素信号A(=a))に基づく複数のフレーム画像(例えばフレームレートが30fpsで取得された場合の0.4秒分は12フレームである)に基づいて、スロー再生動画データを生成する。これにより、時刻txを挟む1秒間(時刻txの0.6秒前から時刻txの0.4秒後)にワークメモリ40に記憶された複数のフレーム画像(計30枚)に基づいて、再生時間が約2秒間のスロー再生動画データを生成する。このように、レリーズ操作前後に取得したフレーム画像に基づくスロー再生動画データが得られる。なお、スロー再生動画データは、画像処理部30によりMPEGデータまたはJPEGデータとして生成される。
【0070】
上述したステップS109を否定判定して進むステップS112において、制御部70は、電源オフ操作されたか否かを判定する。制御部70は、不図示のON-OFFスイッチが電源オフ操作された場合にステップS112を肯定判定し、所定の電源オフ処理を行って
図9による処理を終了する。制御部70は、不図示のON-OFFスイッチが電源オフ操作されない場合には、ステップS112を否定判定してステップS102へ戻る。ステップS102へ戻る場合は、上述した処理を繰り返す。
【0071】
以上説明した第一の実施形態によれば、次の作用効果が得られる。
(1)撮像素子100は、光電変換を行う複数の画素からのデータを入力するデマルチプレクサ413と、上記入力データを画素別に格納する画素メモリ414と、画素メモリ414に格納されているデータおよび上記入力データを画素別に加算する加算器416と、上記入力データまたは加算器416により加算されたデータを出力する演算回路415と、を備えるようにした。これにより、光電変換データを適切に処理できるから、撮像素子100の使い勝手をよくすることができる。
【0072】
(2)画素メモリ414は、加算器416により加算されたデータを画素別に格納するようにしたので、入力データを積算することが可能になる。これにより、光電変換データを積算して出力させたり、積算しないで出力させたりすることができる。
【0073】
(3)加算器416は、光電変換時間が異なるデータを画素別に加算するようにしたので、光電変換時間を長く変更した場合に相当するデータが得られる。
【0074】
(4)画素からのデータが入力されるタイミングで、画素メモリ414に格納されているデータを読み出させるとともに加算器416に加算をさせる駆動制御部417を備えるようにしたので、適切なタイミングで制御できる。
【0075】
(5)演算回路415から出力されるデータが上記入力データである場合に露出演算、ホワイトバランス調整値の決定、およびライブビュー画像の表示を行い、演算回路415から出力されるデータが加算データである場合に焦点検出処理を行うようにしたので、光電変換データと、これを用いる処理とを適切に組み合わせできる。
【0076】
(6)演算回路415から上記入力データを出力させるか、または加算データを出力させるかを、入力データによって構成される画像を解析して決定するようにしたので、画像に応じて適切な光電変換データを出力させることができる。
【0077】
(7)上記決定では、画像の主要被写体領域に対応する画素については加算データを出力させ、画像の主要被写体領域以外の領域に対応する画素について入力データを出力させるようにしたので、適切な光電変換データを出力させることができる。
【0078】
(8)複数の画素を有する撮像チップ113と、光電変換データを処理するメモリチップ112とを積層したので、各チップを面方向に大きくすることなく、撮像素子100をコンパクトに構成できる。
【0079】
(9)電子機器の一例である撮像装置1は、光電変換データを処理するメモリチップ112と、複数の画素を有する撮像チップ113とを備えたので、光電変換データを適切に処理して使い勝手のよい撮像装置1を提供できる。
【0080】
(第二の実施形態)
第一の実施形態では、画面を注目領域80と周辺領域90とに分け、本撮像の指示前において、注目領域80と周辺領域90とで異なる蓄積時間の画像を得る例を説明したが、第二の実施形態では、画面を明部領域85と暗部領域95とに分け、本撮像の指示後において、明部領域85と暗部領域95とで異なる蓄積時間の画像を得る。ここで、明部領域85は、例えばライブビュー画像を解析して所定の画素信号値より高い値(所定の輝度値より高い)の画素信号で構成される領域とする。暗部領域95は、明部領域85以外の領域とする。
【0081】
第二の実施形態による撮像装置1は、明部領域85において第1蓄積時間で蓄積された画素信号による画像と、暗部領域95において第2蓄積時間で蓄積された画素信号による画像とを取得し、両画像を合成してダイナミックレンジが広い画像を得る。このため、制御部70は、記録用画像を取得する際に駆動部21へ指示を送り、撮像素子100(撮像チップ113)の暗部領域95から、第1蓄積時間経過後の画素信号と第2蓄積時間経過後の画素信号とを複数回に分けて読み出す。
【0082】
<蓄積時間が異なる画素信号の読み出し>
画素信号の読み出しタイミングと、撮像チップ113における蓄積信号と、演算回路415を介して撮像素子100から読み出される画素信号とを、
図8を参照して説明する。
【0083】
駆動部21は、以下のように撮像素子100を制御する。すなわち、本撮像指示後の記録用画像の蓄積開始時刻t0から時刻t1までを上記第1蓄積時間とし、時刻t0から時刻t2までを上記第2蓄積時間とする。駆動部21は、時刻t0において、上記明部領域85および暗部領域95に含まれる画素に対して電荷蓄積を開始させる。そして、時刻t1において、
図5に例示した画素メモリnに格納されている画素信号を読み出さないように画素メモリ414を制御しながら、上記明部領域85および暗部領域95から画素信号を出力させる。これにより、第1蓄積時間(時刻t0から時刻t1)の間に蓄積された画素信号aがデマルチプレクサ413から出力され、そのまま信号Aとして演算回路415を介して出力される。この画素信号A(=a)は、画素メモリnにも格納される。
【0084】
駆動部21はさらに、時刻t1において上記画素信号の読み出しを行うと、ただちに上記暗部領域95に含まれる画素に対して電荷蓄積を開始させる。そして、時刻t2において、
図5に例示した画素メモリnに格納されている画素信号aを読み出すように画素メモリ414を制御しながら、上記暗部領域95から画素信号を出力させる。これにより、時刻t1から時刻t2までの間に蓄積された画素信号bがデマルチプレクサ413から出力され、この画素信号bと、画素メモリnから読み出された画素信号aとが加算器nで加算される。加算後の画素信号a+bは、信号Bとして演算回路415を介して出力される。画素信号B(=a+b)は、時刻t0から時刻t1までと、時刻t1から時刻t2までに蓄積された画素信号の和であるため、第2蓄積時間(時刻t0から時刻t2)の間に蓄積される画素信号に相当する。
【0085】
上述したように、第二の実施形態では、第1蓄積時間より長い第2蓄積時間で蓄積された画素信号Bで暗部領域95の画像を形成するので、蓄積時間が短く信号レベルが低い画素信号Aで暗部領域95の画像を形成する場合に比べて、画像の黒潰れを生じにくい。また、第2蓄積時間より短い第1蓄積時間で蓄積された画素信号Aで明部領域85の画像を形成するので、蓄積時間が長く信号レベルが高い画素信号Bで明部領域85の画像を形成する場合に比べて、画像の白飛びが生じにくい。この結果、明部から暗部までのダイナミックレンジの広い画像が、時刻t0から時刻t2までの蓄積処理を1回行うだけで得られる。また、第1蓄積時間と第2蓄積時間とで蓄積開始時刻が同じ(ともに時刻t0)であるので、開示蓄積開始時刻が異なる複数枚の画像を合成する従来技術と違って、動いている被写体を撮影する場合にも好適である。
【0086】
<フローチャートの説明>
図10は、第二の実施形態において撮像装置1の制御部70が実行する撮影動作の流れを説明するフローチャートである。制御部70は、不図示のON-OFFスイッチが電源オン操作され、撮像装置1の各部に対して通電が行われている場合に、
図10による処理を繰り返し起動させる。
図10のステップS201において、制御部70は、明部領域85および暗部領域95用のフレームレート、ゲインなどの制御パラメータをそれぞれ決定してステップS202へ進む。例えば、後述するステップS202、S205、S208において適用する値を、プログラムデータから読み出して用意しておく。
【0087】
ステップS202において、制御部70は駆動部21へ指示を送り、撮像部20によるライブビュー撮像を開始させる。ステップS202で開始するライブビュー画像の取得は、例えば撮像素子100の撮像面の略全域を対象に暗部領域95用の制御パラメータを設定して行う。
【0088】
ステップS203において、制御部70は、ライブビュー画像に基づいて明部領域85および暗部領域95を判定してステップS204へ進む。ステップS204において、制御部70は、レリーズ操作されたか否かを判定する。レリーズ操作は、撮像装置1に対する本撮像指示として用いられる。制御部70は、不図示のレリーズボタンが押下操作された場合に、ステップS204を肯定判定してステップS205へ進み、押下操作が行われない場合には、ステップS204を否定判定してステップS211へ進む。
【0089】
なお、液晶表示パネル51に表示させたレリーズアイコンに対するタップ操作を検出して本撮像指示を判断する場合には、表示中のレリーズアイコンがタップ操作された場合にステップS204を肯定判定すればよい。
【0090】
ステップS205において、制御部70は駆動部21へ指示を送り、撮像部20による記録用撮像を開始させる。ステップS205で開始する記録用画像の取得は、例えば撮像素子100の撮像面の略全域を対象に明部領域85用の制御パラメータを設定して行う。
【0091】
ステップS206において、制御部70は駆動部21へ指示を送り、撮像部20から第1データの転送を行わせる。第1データは、上記時刻t1において読み出す画素信号A(=a)に対応する。ステップS207において、制御部70は、画像処理部30へ指示を送り、第1データのうち明部領域85に対応するデータをワークメモリ40に一時格納してステップS208へ進む。
【0092】
ステップS208において、制御部70は駆動部21へ指示を送り、撮像部20から第2データの転送を行わせる。第2データは、上記時刻t2において読み出す画素信号B(=a+b)に対応する。ステップS209において、制御部70は、画像処理部30へ指示を送り、第2データ(すなわち暗部領域95に対応するデータ)をワークメモリ40に一時格納してステップS210へ進む。
【0093】
ステップS210において、制御部70は画像処理部30へ指示を送り、ワークメモリ40に一時格納されている第1データおよび第2データを画像合成する。具体的には、第1データによる画像のうち、暗部領域95に対応する領域を第2データによる画像で置換する。これにより、暗部領域95は画素信号B(=a+b)で構成され、明部領域は画素信号A(=a)で構成される合成画像が得られる。制御部70は、画像合成が終了するとステップS202へ戻る。ステップS202へ戻る場合は、上述した処理を繰り返す。
【0094】
上述したステップS204を否定判定して進むステップS211において、制御部70は、電源オフ操作されたか否かを判定する。制御部70は、不図示のON-OFFスイッチが電源オフ操作された場合にステップS211を肯定判定し、所定の電源オフ処理を行って
図10による処理を終了する。制御部70は、不図示のON-OFFスイッチが電源オフ操作されない場合には、ステップS211を否定判定してステップS202へ戻る。
【0095】
以上説明した第二の実施形態によれば、次の作用効果が得られる。
(1)撮像素子100は、演算回路415から出力されるデータがデマルチプレクサ413に入力されたデータである場合に画像の明部領域85を形成し、演算回路415から出力されるデータが加算器416により加算されたデータである場合に画像の暗部領域95を形成するようにしたので、光電変換データと、これを用いる処理とを適切に組み合わせて広いダイナミックレンジの画像を得ることができる。
【0096】
(2)演算回路415から上記入力データを出力させるか、または加算データを出力させるかを、入力データによって構成される画像を解析して決定するようにしたので、画像に応じて適切な光電変換データを出力させることができる。
【0097】
(3)上記決定では、画像の輝度が所定値より高い領域に対応する画素については上記入力データを出力させ、画像の輝度が所定値より低い領域に対応する画素について上記加算されたデータを出力させるようにしたので、適切な光電変換データを出力させることができる。
【0098】
(変形例1)
上述した第一の実施形態および第二の実施形態に係る撮像装置1を、高機能携帯電話機、またはタブレット端末によって構成してもよい。この場合、高機能携帯電話機(またはタブレット端末)に搭載されるカメラユニットを、上記積層型撮像素子100を用いて構成する。
【0099】
(変形例2)
上述した第二の実施形態では、画像処理部30が、ワークメモリ40に一時格納されている第1データおよび第2データを用いて画像合成する例を説明した。この代わりに、
図4および
図5に例示した画素メモリ414および加算器416を用いて画像合成を行うように構成してもよい。例えば、時刻t1における画素信号の読み出しの際、撮像素子100から明部領域85に対応する画素信号Aのみを選択的に読み出すように制御する。また、時刻t2における画素信号の読み出しの際、撮像素子100から暗部領域95に対応する画素信号Bのみを選択的に読み出すように制御する。
【0100】
(変形例3)
上述した第一の実施形態、および第二の実施形態では、撮像素子100(撮像チップ113)の所定の領域から、第1蓄積時間経過後の画素信号と、第2蓄積時間経過後の画素信号とを2回に分けて読み出す例を説明した。複数回の読み出し回数は、上述した2回だけでなく、3回でも4回でもそれ以上であってもよい。
【0101】
また、本撮像の指示前に複数回に分けて読み出した画像については、それぞれAF演算に用いる画像、露出演算、ホワイトバランス調整値の決定に用いる画像、主要被写体の抽出に用いる画像、ライブビュー表示に用いる画像などとして、その用途を分けてもよい。また、本撮像の指示後に複数回に分けて読み出した画像については、それぞれ、きわめて明部領域、明部領域、暗部領域、きわめて暗部領域などとして、その用途を画像の明るさ別に分けてもよい。
【0102】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。上記各実施形態および各変形例の構成は、適宜組合せて構わない。
【符号の説明】
【0103】
1…撮像装置
10…撮像光学系
20…撮像部
30…画像処理部
40…ワークメモリ
50…表示部
51…液晶表示パネル
52…タッチパネル
60…記録部
70…制御部
71…AF演算部
72…AE、AWB演算部
100…撮像素子
109…バンプ
111…信号処理チップ
112…メモリチップ
113…撮像チップ
131…単位領域
413…デマルチプレクサ
414…画素メモリ
415…演算回路
416…加算器
417…駆動制御部