IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニコンの特許一覧

<>
  • 特許-撮像素子及び電子機器 図1
  • 特許-撮像素子及び電子機器 図2
  • 特許-撮像素子及び電子機器 図3
  • 特許-撮像素子及び電子機器 図4
  • 特許-撮像素子及び電子機器 図5
  • 特許-撮像素子及び電子機器 図6
  • 特許-撮像素子及び電子機器 図7
  • 特許-撮像素子及び電子機器 図8
  • 特許-撮像素子及び電子機器 図9
  • 特許-撮像素子及び電子機器 図10
  • 特許-撮像素子及び電子機器 図11
  • 特許-撮像素子及び電子機器 図12
  • 特許-撮像素子及び電子機器 図13
  • 特許-撮像素子及び電子機器 図14
  • 特許-撮像素子及び電子機器 図15
  • 特許-撮像素子及び電子機器 図16
  • 特許-撮像素子及び電子機器 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-12
(45)【発行日】2022-12-20
(54)【発明の名称】撮像素子及び電子機器
(51)【国際特許分類】
   H04N 5/369 20110101AFI20221213BHJP
   H04N 5/232 20060101ALI20221213BHJP
   H04N 5/225 20060101ALI20221213BHJP
【FI】
H04N5/369
H04N5/232
H04N5/225 300
【請求項の数】 44
(21)【出願番号】P 2020191181
(22)【出願日】2020-11-17
(62)【分割の表示】P 2018196396の分割
【原出願日】2014-08-07
(65)【公開番号】P2021036719
(43)【公開日】2021-03-04
【審査請求日】2020-11-17
(31)【優先権主張番号】P 2013167308
(32)【優先日】2013-08-12
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100107836
【弁理士】
【氏名又は名称】西 和哉
(72)【発明者】
【氏名】土谷 聡志
【審査官】松永 隆志
(56)【参考文献】
【文献】特開2013-051674(JP,A)
【文献】特開2012-175234(JP,A)
【文献】特開平09-200617(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/225-5/378
H04N 9/00-9/11
(57)【特許請求の範囲】
【請求項1】
複数の半導体基板が積層された撮像素子であって、
前記複数の半導体基板は、
光を電荷に変換する複数の光電変換部が行方向に並んで配置される第1半導体基板と、
前記複数の光電変換部のうち第1光電変換部と第2光電変換部とそれぞれ変換された電荷を蓄積する第1蓄積時間と、前記複数の光電変換部のうち第3光電変換部と第4光電変換部とそれぞれ変換された電荷を蓄積する第2蓄積時間とが異なる蓄積時間となるように制御する駆動部と、前記第1光電変換部の電荷に基づく第1信号と前記第2光電変換部の電荷に基づく第2信号とをデジタル信号に変換する第1変換部と、前記第3光電変換部の電荷に基づく第3信号と前記第4光電変換部の電荷に基づく第4信号とをデジタル信号に変換する第2変換部とを有する第2半導体基板とを備える撮像素子。
【請求項2】
請求項1に記載の撮像素子において、
前記第1信号と前記第2信号とが出力される第1出力配線と、
前記第3信号と前記第4信号とが出力される第2出力配線と、を備え、
前記第1変換部は、前記第1出力配線に出力された前記第1信号と前記第2信号とをデジタル信号に変換し、
前記第2変換部は、前記第2出力配線に出力された前記第3信号と前記第4信号とをデジタル信号に変換する撮像素子。
【請求項3】
請求項2に記載の撮像素子において、
前記第1半導体基板は、
前記第1出力配線に電流を供給するための第1電流源と、
前記第2出力配線に電流を供給するための第2電流源と、を備える撮像素子。
【請求項4】
請求項2に記載の撮像素子において、
前記第2半導体基板は、
前記第1出力配線に電流を供給するための第1電流源と、
前記第2出力配線に電流を供給するための第2電流源と、を備える撮像素子。
【請求項5】
請求項1から請求項4のいずれか一項に記載の撮像素子において、
前記第2半導体基板は、
前記第1信号と前記第2信号とを増幅するための第1増幅部と、
前記第3信号と前記第4信号とを増幅するための第2増幅部と、を有する撮像素子。
【請求項6】
請求項5に記載の撮像素子において、
前記駆動部は、前記第1増幅部と前記第2増幅部とで異なる増幅率となるように制御する撮像素子。
【請求項7】
請求項5又は請求項6に記載の撮像素子において、
前記第1変換部は、前記第1増幅部で増幅された前記第1信号と前記第2信号とをデジタル信号に変換し、
前記第2変換部は、前記第2増幅部で増幅された前記第3信号と前記第4信号とをデジタル信号に変換する撮像素子。
【請求項8】
請求項1から請求項7のいずれか一項に記載の撮像素子において、
前記複数の半導体基板は、
前記第1変換部によりデジタル信号に変換された前記第1信号を記憶する第1記憶部と、前記第1変換部によりデジタル信号に変換された前記第2信号を記憶する第2記憶部と、前記第2変換部によりデジタル信号に変換された前記第3信号を記憶する第3記憶部と、前記第2変換部によりデジタル信号に変換された前記第4信号を記憶する第4記憶部と、を有する第3半導体基板を備える撮像素子。
【請求項9】
請求項8に記載の撮像素子において、
前記第2半導体基板は、前記複数の半導体基板の積層方向において、前記第1半導体基板と前記第3半導体基板との間に配置される撮像素子。
【請求項10】
請求項8又は請求項9に記載の撮像素子において、
前記第1記憶部に記憶された前記第1信号と、前記第2記憶部に記憶された前記第2信号とに演算処理を行う第1演算回路と、
前記第3記憶部に記憶された前記第3信号と、前記第4記憶部に記憶された前記第4信号とに演算処理を行う第2演算回路と、を備える撮像素子。
【請求項11】
請求項10に記載の撮像素子において、
前記駆動部は、前記第1演算回路と前記第2演算回路とで異なる演算処理が行われるように制御する撮像素子。
【請求項12】
請求項10又は請求項11に記載の撮像素子において、
前記第1演算回路と前記第2演算回路とは、前記第2半導体基板に配置される撮像素子。
【請求項13】
請求項10又は請求項11に記載の撮像素子において、
前記第1演算回路と前記第2演算回路とは、前記第3半導体基板に配置される撮像素子。
【請求項14】
請求項1から請求項13のいずれか一項に記載の撮像素子において、
前記駆動部は、前記第1蓄積時間を終了するタイミングと、前記第2蓄積時間を終了するタイミングと、を制御する撮像素子。
【請求項15】
請求項1から請求項14のいずれか一項に記載の撮像素子において、
前記第1半導体基板は、前記第1光電変換部の電荷を転送するための第1転送部と、前記第2光電変換部の電荷を転送するための第2転送部と、前記第3光電変換部の電荷を転送するための第3転送部と、前記第4光電変換部の電荷を転送するための第4転送部と、を有し、
前記駆動部は、前記第1蓄積時間と前記第2蓄積時間とが異なる蓄積時間となるように前記第1転送部、前記第2転送部、前記第3転送部及び前記第4転送部を制御する撮像素子。
【請求項16】
請求項15に記載の撮像素子において、
前記第1転送部と前記第2転送部とに接続される第1転送制御配線と、
前記第3転送部と前記第4転送部とに接続される第2転送制御配線と、を備え、
前記駆動部は、前記第1転送部と前記第2転送部とを制御するための第1転送制御信号を前記第1転送制御配線に出力し、前記第3転送部と前記第4転送部とを制御するための第2転送制御信号を前記第2転送制御配線に出力する撮像素子。
【請求項17】
請求項1から請求項16のいずれか一項に記載の撮像素子において、
前記駆動部は、前記第1蓄積時間を開始するタイミングと、前記第2蓄積時間を開始するタイミングと、を制御する撮像素子。
【請求項18】
請求項1から請求項17のいずれか一項に記載の撮像素子において、
前記第1半導体基板は、前記第1光電変換部の電荷を排出するための第1リセット部と、前記第2光電変換部の電荷を排出するための第2リセット部と、前記第3光電変換部の電荷を排出するための第3リセット部と、前記第4光電変換部の電荷を排出するための第4リセット部と、を有し、
前記駆動部は、前記第1蓄積時間と前記第2蓄積時間とが異なる蓄積時間となるように前記第1リセット部、前記第2リセット部、前記第3リセット部及び前記第4リセット部を制御する撮像素子。
【請求項19】
請求項18に記載の撮像素子において、
前記第1リセット部と前記第2リセット部とに接続される第1リセット制御配線と、
前記第3リセット部と前記第4リセット部とに接続される第2リセット制御配線と、を備え、
前記駆動部は、前記第1リセット部と前記第2リセット部とを制御するための第1リセット制御信号を前記第1リセット制御配線に出力し、前記第3リセット部と前記第4リセット部とを制御するための第2リセット制御信号を前記第2リセット制御配線に出力する撮像素子。
【請求項20】
請求項1から請求項19のいずれか一項に記載の撮像素子において、
前記第1光電変換部と前記第2光電変換部とは、隣に並んで配置され、
前記第3光電変換部と前記第4光電変換部とは、隣に並んで配置される撮像素子。
【請求項21】
複数の半導体基板が積層された撮像素子であって、
前記複数の半導体基板は、
光を電荷に変換する複数の光電変換部を有する第1半導体基板と、
前記複数の光電変換部のうち、第1光電変換部、第2光電変換部及び第3光電変換部それぞれ変換された電荷を蓄積する第1蓄積時間と、前記複数の光電変換部のうち、第4光電変換部、第5光電変換部及び第6光電変換部それぞれ変換された電荷を蓄積する第2蓄積時間とが異なる蓄積時間となるように制御する駆動部と、前記第1光電変換部の電荷に基づく第1信号と前記第2光電変換部の電荷に基づく第2信号と前記第3光電変換部の電荷に基づく第3信号とをデジタル信号に変換する第1変換部と、前記第4光電変換部の電荷に基づく第4信号と前記第5光電変換部の電荷に基づく第5信号と前記第6光電変換部の電荷に基づく第6信号とをデジタル信号に変換する第2変換部とを有する第2半導体基板とを備え、
前記第1光電変換部と前記第2光電変換部とは、行方向に並んで配置され、
前記第1光電変換部及び前記第2光電変換部のうちいずれか一方の光電変換部と前記第3光電変換部とは、列方向に並んで配置され、
前記第4光電変換部と前記第5光電変換部とは、前記行方向に並んで配置され、
前記第4光電変換部及び前記第5光電変換部のうちいずれか一方の光電変換部と前記第6光電変換部とは、前記列方向に並んで配置される撮像素子。
【請求項22】
請求項21に記載の撮像素子において、
前記第1信号、前記第2信号及び前記第3信号が出力される第1出力配線と、
前記第4信号、前記第5信号及び前記第6信号が出力される第2出力配線と、を備え、
前記第1変換部は、前記第1出力配線に出力された前記第1信号、前記第2信号及び前記第3信号をデジタル信号に変換し、
前記第2変換部は、前記第2出力配線に出力された前記第4信号、前記第5信号及び前記第6信号をデジタル信号に変換する撮像素子。
【請求項23】
請求項22に記載の撮像素子において、
前記第1半導体基板は、
前記第1出力配線に電流を供給するための第1電流源と、
前記第2出力配線に電流を供給するための第2電流源と、を備える撮像素子。
【請求項24】
請求項22に記載の撮像素子において、
前記第2半導体基板は、
前記第1出力配線に電流を供給するための第1電流源と、
前記第2出力配線に電流を供給するための第2電流源と、を備える撮像素子。
【請求項25】
請求項21から請求項24のいずれか一項に記載の撮像素子において、
前記第2半導体基板は、前記第1信号、前記第2信号及び前記第3信号を増幅するための第1増幅部と、前記第4信号、前記第5信号及び前記第6信号を増幅するための第2増幅部と、を有する撮像素子。
【請求項26】
請求項25に記載の撮像素子において、
前記駆動部は、前記第1増幅部と前記第2増幅部とで異なる増幅率となるように制御する撮像素子。
【請求項27】
請求項25又は請求項26に記載の撮像素子において、
前記第1変換部は、前記第1増幅部で増幅された前記第1信号、前記第2信号及び前記第3信号をデジタル信号に変換し、
前記第2変換部は、前記第2増幅部で増幅された前記第4信号、前記第5信号及び前記第6信号をデジタル信号に変換する撮像素子。
【請求項28】
請求項21から請求項27のいずれか一項に記載の撮像素子において、
前記複数の半導体基板は、前記第1変換部によりデジタル信号に変換された前記第1信号を記憶する第1記憶部と、前記第1変換部によりデジタル信号に変換された前記第2信号を記憶する第2記憶部と、前記第1変換部によりデジタル信号に変換された前記第3信号を記憶する第3記憶部と、前記第2変換部によりデジタル信号に変換された前記第4信号を記憶する第4記憶部と、前記第2変換部によりデジタル信号に変換された前記第5信号を記憶する第5記憶部と、前記第2変換部によりデジタル信号に変換された前記第6信号を記憶する第6記憶部と、を有する第3半導体基板を備える撮像素子。
【請求項29】
請求項28に記載の撮像素子において、
前記第2半導体基板は、前記複数の半導体基板の積層方向において、前記第1半導体基板と前記第3半導体基板との間に配置される撮像素子。
【請求項30】
請求項28又は請求項29に記載の撮像素子において、
前記第1記憶部に記憶された前記第1信号と、前記第2記憶部に記憶された前記第2信号と、前記第3記憶部に記憶された前記第3信号とに演算処理を行う第1演算回路と、
前記第4記憶部に記憶された前記第4信号と、前記第5記憶部に記憶された前記第5信号と前記第6記憶部に記憶された前記第6信号とに演算処理を行う第2演算回路と、を備える撮像素子。
【請求項31】
請求項30に記載の撮像素子において、
前記駆動部は、前記第1演算回路と前記第2演算回路とで異なる演算処理が行われるように制御する撮像素子。
【請求項32】
請求項30又は請求項31に記載の撮像素子において、
前記第1演算回路と前記第2演算回路とは、前記第2半導体基板に配置される撮像素子。
【請求項33】
請求項30又は請求項31に記載の撮像素子において、
前記第1演算回路と前記第2演算回路とは、前記第3半導体基板に配置される撮像素子。
【請求項34】
請求項21から請求項33のいずれか一項に記載の撮像素子において、
前記駆動部は、前記第1蓄積時間を終了するタイミングと、前記第2蓄積時間を終了するタイミングと、を制御する撮像素子。
【請求項35】
請求項21から請求項34のいずれか一項に記載の撮像素子において、
前記第1半導体基板は、前記第1光電変換部の電荷を転送するための第1転送部と、前記第2光電変換部の電荷を転送するための第2転送部と、前記第3光電変換部の電荷を転送するための第3転送部と、前記第4光電変換部の電荷を転送するための第4転送部と、前記第5光電変換部の電荷を転送するための第5転送部と、前記第6光電変換部の電荷を転送するための第6転送部と、を有し、
前記駆動部は、前記第1蓄積時間と前記第2蓄積時間とが異なる蓄積時間となるように前記第1転送部、前記第2転送部、前記第3転送部、前記第4転送部、前記第5転送部及び前記第6転送部を制御する撮像素子。
【請求項36】
請求項35に記載の撮像素子において、
前記第1転送部、前記第2転送部及び前記第3転送部に接続される第1転送制御配線と、
前記第4転送部、前記第5転送部及び前記第6転送部に接続される第2転送制御配線と、を備え、
前記駆動部は、前記第1転送部、前記第2転送部及び前記第3転送部を制御するための第1転送制御信号を前記第1転送制御配線に出力し、前記第4転送部、前記第5転送部及び前記第6転送部を制御するための第2転送制御信号を前記第2転送制御配線に出力する撮像素子。
【請求項37】
請求項21から請求項36のいずれか一項に記載の撮像素子において、
前記駆動部は、前記第1蓄積時間を開始するタイミングと、前記第2蓄積時間を開始するタイミングと、を制御する撮像素子。
【請求項38】
請求項21から請求項37のいずれか一項に記載の撮像素子において、
前記第1半導体基板は、前記第1光電変換部の電荷を排出するための第1リセット部と、前記第2光電変換部の電荷を排出するための第2リセット部と、前記第3光電変換部の電荷を排出するための第3リセット部と、前記第4光電変換部の電荷を排出するための第4リセット部と、前記第5光電変換部の電荷を排出するための第5リセット部と、前記第6光電変換部の電荷を排出するための第6リセット部と、を有し、
前記駆動部は、前記第1蓄積時間と前記第2蓄積時間とが異なる蓄積時間となるように前記第1リセット部、前記第2リセット部、前記第3リセット部、前記第4リセット部、前記第5リセット部及び前記第6リセット部を制御する撮像素子。
【請求項39】
請求項38に記載の撮像素子において、
前記第1リセット部、前記第2リセット部及び前記第3リセット部に接続される第1リセット制御配線と、
前記第4リセット部、前記第5リセット部及び前記第6リセット部に接続される第2リセット制御配線と、を備え、
前記駆動部は、前記第1リセット部、前記第2リセット部及び前記第3リセット部を制御するための第1リセット制御信号を前記第1リセット制御配線に出力し、前記第4リセット部、前記第5リセット部及び前記第6リセット部を制御するための第2リセット制御信号を前記第2リセット制御配線に出力する撮像素子。
【請求項40】
請求項21から請求項39のいずれか一項に記載の撮像素子において、
前記第1光電変換部と前記第2光電変換部とは、隣に並んで配置され、
前記第1光電変換部及び前記第2光電変換部のうちいずれか一方の光電変換部と前記第3光電変換部とは、隣に並んで配置され、
前記第4光電変換部と前記第5光電変換部とは、隣に並んで配置され、
前記第4光電変換部及び前記第5光電変換部のうちいずれか一方の光電変換部と前記第6光電変換部とは、隣に並んで配置される撮像素子。
【請求項41】
請求項1から請求項40のいずれか一項に記載の撮像素子において、
前記駆動部は、前記第1変換部と前記第2変換部とで異なる信号処理が行われるように制御する撮像素子。
【請求項42】
請求項41に記載の撮像素子において、
前記駆動部は、前記第1変換部と前記第2変換部とで異なるビット数でデジタル信号への変換が行われるように制御する撮像素子。
【請求項43】
請求項1から請求項42のいずれか一項に記載の撮像素子を備える電子機器。
【請求項44】
請求項43に記載の電子機器において、
前記撮像素子に接続され、画像データを生成する生成部を備える電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子及び電子機器に関する。
【背景技術】
【0002】
裏面照射型撮像チップと信号処理チップとが積層された撮像素子(以下、この撮像素子を積層型撮像素子という。)を備えた電子機器が提案されている(例えば特許文献1参照)。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、複数画素をまとめたブロック単位ごとにマイクロバンプを介して接続されるように積層されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2006-49361号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来の積層型撮像素子を備えた電子機器において、複数のブロック単位ごとに撮像して画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分ではなかった。
【0005】
本発明の態様では、撮像領域を異なる撮像条件が設定された複数の領域に分割し、複数の領域に対応する複数の動画を生成することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の態様においては、複数の半導体基板が積層された撮像素子を提供する。複数の半導体基板は、光を電荷に変換する複数の光電変換部が行方向に並んで配置される第1半導体基板を備える。複数の半導体基板は、複数の光電変換部のうち第1光電変換部と第2光電変換部とそれぞれ変換された電荷を蓄積する第1蓄積時間と、複数の光電変換部のうち第3光電変換部と第4光電変換部とそれぞれ変換された電荷を蓄積する第2蓄積時間とが異なる蓄積時間となるように制御する駆動部と、第1光電変換部の電荷に基づく第1信号と第2光電変換部の電荷に基づく第2信号とをデジタル信号に変換する第1変換部と、第3光電変換部の電荷に基づく第3信号と第4光電変換部の電荷に基づく第4信号とをデジタル信号に変換する第2変換部とを有する第2半導体基板を備える。本発明の第2の態様においては、複数の半導体基板が積層された撮像素子を提供する。複数の半導体基板は、光を電荷に変換する複数の光電変換部を有する第1半導体基板を備える。複数の半導体基板は、複数の光電変換部のうち、第1光電変換部、第2光電変換部及び第3光電変換部それぞれ変換された電荷を蓄積する第1蓄積時間と、複数の光電変換部のうち、第4光電変換部、第5光電変換部及び第6光電変換部それぞれ変換された電荷を蓄積する第2蓄積時間とが異なる蓄積時間となるように制御する駆動部と、第1光電変換部の電荷に基づく第1信号と第2光電変換部の電荷に基づく第2信号と第3光電変換部の電荷に基づく第3信号とをデジタル信号に変換する第1変換部と、第4光電変換部の電荷に基づく第4信号と第5光電変換部の電荷に基づく第5信号と第6光電変換部の電荷に基づく第6信号とをデジタル信号に変換する第2変換部とを有する第2半導体基板を備える。第1光電変換部と第2光電変換部とは、行方向に並んで配置される。第1光電変換部及び第2光電変換部のうちいずれか一方の光電変換部と第3光電変換部とは、列方向に並んで配置される。第4光電変換部と第5光電変換部とは、行方向に並んで配置される。第4光電変換部及び第5光電変換部のうちいずれか一方の光電変換部と第6光電変換部とは、列方向に並んで配置される。本発明の第3の態様においては、電子機器を提供する。電子機器は、第1の態様又は第2の態様の撮像素子を備える。
【発明の効果】
【0007】
本発明の態様によれば、異なる撮像条件が設定された複数の領域に対応する複数の動画を生成することができる。
【図面の簡単な説明】
【0008】
図1】積層型撮像素子の断面図である。
図2】撮像チップの画素配列と単位グループを説明する図である。
図3】撮像チップの単位グループに対応する回路図である。
図4】撮像素子の機能的構成を示すブロック図である。
図5】第1実施形態に係る電子機器の構成を示すブロック図である。
図6】表示部における表示画面の一例を示す図である。
図7】画像処理部及びシステム制御部の機能ブロック図である。
図8】各ブロックにおける配列パターンを示す図である。
図9】システム制御部が実行する撮影動作を説明するためのフローチャートである。
図10】配列パターン設定処理を説明するためのフローチャートである。
図11】第2動画モードが実行されるときの第2配列パターンの設定例を示す図である。
図12】画像表示領域におけるライブビュー画像の表示例を示す図である。
図13】画像表示領域における電子ズームの範囲及び位置を示す図である。
図14】画像表示領域におけるサブ画面の範囲及び位置を示す図である。
図15】第2動画モードの実行中の動作を説明するためのフローチャートである。
図16】第2動画モードにおける電荷蓄積のタイミングを示すタイミングチャートである。
図17】第2実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現している。
【0010】
<第1実施形態>
図1は、積層型撮像素子の断面図である。なお、この積層型撮像素子100は、本願出願人が先に出願した特願2012-139026号に記載されているものである。撮像素子100は、入射光に対応した画素信号を出力する撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111、及びメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
【0011】
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸及びX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【0012】
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード(Photodiode;以下、PDという。)104、及び、PD104に対応して設けられたトランジスタ105を有する。
【0013】
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104、及びトランジスタ105の組が一つの画素を形成する。
【0014】
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
【0015】
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層108の表面には複数のバンプ109が配される。これら複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされる。そして、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
【0016】
同様に、信号処理チップ111及びメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされる。そして、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
【0017】
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域(図2に示す画素領域113A)以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
【0018】
信号処理チップ111は、表面及び裏面にそれぞれ設けられた回路を互いに接続するTSV(Through-Silicon Via;シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられる。また、TSV110は、撮像チップ113の周辺領域や、メモリチップ112に設けられてもよい。
【0019】
図2は、撮像チップの画素配列と単位グループを説明する図である。図2では、特に、撮像チップ113を裏面側から観察した様子を示す。撮像チップ113において画素が配列された領域を画素領域113Aという。画素領域113Aには2000万個以上もの画素がマトリックス状に配列されている。図2に示す例では、隣接する4画素×4画素の16画素が一つの単位グループ131を形成する。図2の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示す。単位グループ131を形成する画素の数はこれに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
【0020】
画素領域113Aの部分拡大図に示すように、単位グループ131は、緑色画素Gb,Gr、青色画素B、及び赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素は、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
【0021】
図3は、撮像チップの単位グループに対応する回路図である。図3において、代表的に点線で囲む矩形が、1画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図1のトランジスタ105に対応する。
【0022】
上述したように、単位グループ131は、16画素から形成される。それぞれの画素に対応する16個のPD104は、それぞれ転送トランジスタ302に接続される。各転送トランジスタ302のゲートには、転送パルスが供給されるTX配線307に接続される。本実施形態において、TX配線307は、16個の転送トランジスタ302に対して共通接続される。
【0023】
各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されるとともに、転送トランジスタ302のドレインと各リセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFD(電荷検出部)が増幅トランジスタ304のゲートに接続される。各リセットトランジスタ303のドレインは電源電圧が供給されるVdd配線310に接続される。各リセットトランジスタ303のゲートはリセットパルスが供給されるリセット配線306に接続される。本実施形態において、リセット配線306は、16個のリセットトランジスタ303に対して共通接続される。
【0024】
各々の増幅トランジスタ304のドレインは電源電圧が供給されるVdd配線310に接続される。また、各々の増幅トランジスタ304のソースは、対応する各々の選択トランジスタ305のドレインに接続される。各々の選択トランジスタ305のゲートには、選択パルスが供給されるデコーダ配線308に接続される。本実施形態において、デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
【0025】
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303に印加される。これと同時に、TX配線307を通じて転送パルスが転送トランジスタ302に印加される。これにより、PD104及びフローティングディフュージョンFDの電位はリセットされる。
【0026】
PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、PD104において蓄積された電荷はフローティングディフュージョンFDへ転送される。これにより、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304及び選択トランジスタ305を介して出力配線309に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
【0027】
図3に示すように、本実施形態においては、単位グループ131を形成する16画素に対して、リセット配線306とTX配線307が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、16画素すべてに対して同時に印加される。従って、単位グループ131を形成するすべての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305に選択パルスが順次印加されることにより、選択的に出力配線309に出力される。また、リセット配線306、TX配線307、出力配線309は、単位グループ131ごとに別個に設けられる。
【0028】
このように単位グループ131を基準として回路を構成することにより、単位グループ131ごとに電荷蓄積時間を制御することができる。換言すると、単位グループ131間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ131に1回の電荷蓄積を行わせている間に、他方の単位グループ131に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ131間で異なるフレームレートで動画用の各フレームを出力することもできる。
【0029】
図4は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位グループ131を形成する16個のPD104を順番に選択する。そして、マルチプレクサ411は、16個のPD104のそれぞれの画素信号を当該単位グループ131に対応して設けられた出力配線309へ出力させる。マルチプレクサ411は、PD104とともに、撮像チップ113に形成される。
【0030】
マルチプレクサ411を介して出力されたアナログ信号の画素信号は、信号処理チップ111に形成されたアンプ412により増幅される。そして、アンプ412で増幅された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS;Correlated Double Sampling)・アナログ/デジタル(Analog/Digital)変換を行う信号処理回路413により、相関二重サンプリングの信号処理が行われるとともに、A/D変換(アナログ信号からデジタル信号への変換)が行われる。画素信号が信号処理回路413において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。A/D変換された画素信号は、デマルチプレクサ414に引き渡され、それぞれの画素に対応する画素メモリ415に格納される。デマルチプレクサ414及び画素メモリ415は、メモリチップ112に形成される。
【0031】
演算回路416は、画素メモリ415に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路416は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図4では1つの単位グループ131の分の接続を示すが、実際にはこれらが単位グループ131ごとに存在して、並列で動作する。ただし、演算回路416は単位グループ131ごとに存在しなくてもよい。例えば、一つの演算回路416がそれぞれの単位グループ131に対応する画素メモリ415の値を順に参照しながらシーケンシャルに処理してもよい。
【0032】
上記した通り、単位グループ131のそれぞれに対応して出力配線309が設けられている。撮像素子100は、撮像チップ113、信号処理チップ111、及びメモリチップ112を積層している。このため、これら出力配線309にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
【0033】
次に、撮像素子100の画素領域113A(図2参照)に設定されるブロックについて説明する。本実施形態において、撮像素子100の画素領域113Aは、複数のブロックに分割される。複数のブロックは、1ブロックにつき単位グループ131を少なくとも1つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数などがあげられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
【0034】
ここで、電荷の蓄積時間とは、PD104が電荷の蓄積を開始してから終了するまでの時間のことをいう。また、電荷の蓄積回数とは、単位時間あたりにPD104が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理(表示又は記録)されるフレーム数を表す値のことをいう。フレームレートの単位はfps(Frames Per Second)で表される。フレームレートが高くなる程、動画における被写体(すなわち撮像される対象物)の動きが滑らかになる。
【0035】
また、ゲインとは、アンプ412の利得率(増幅率)のことをいう。このゲインを変更することにより、ISO感度を変更することができる。このISO感度は、ISOで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子100の感度を表現する場合もISO感度が用いられる。この場合、ISO感度は撮像素子100が光をとらえる能力を表す値となる。ゲインを上げるとISO感度も向上する。例えば、ゲインを倍にすると電気信号(画素信号)も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
【0036】
また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が0である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が0.5である場合は、その所定領域内の半分の画素から画素信号を読み出しが行われることを意味する。具体的には、単位グループ131がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の2画素ずつ(2行ずつ)交互に画素信号が読み出される画素と読み出されない画素とが設定される。なお、画素信号の読み出しの間引きが行われると画像の解像度が低下する。しかし、撮像素子100には2000万以上の画素が配置されているため、例えば間引き率0.5で間引きを行ったとしても、1000万以上の画素で画像を表示することができる。このため、使用者(撮影者)にとって解像度の低下は気にならないものと考えられる。
【0037】
また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数(行数)をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数(列数)をいう。このような加算の処理は、例えば演算回路416において行われる。演算回路416が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路416が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
【0038】
また、デジタル化のビット数とは、信号処理回路413がA/D変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
【0039】
本実施形態において、蓄積条件とは、撮像素子100における電荷の蓄積に関する条件のことをいう。具体的には、蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは蓄積条件に含まれる。
【0040】
また、撮像条件とは、被写体の撮像に関する条件をいう。具体的には、撮像条件は、上記した蓄積条件を含む制御パラメータのことをいう。撮像条件は、撮像素子100を制御するための制御パラメータ(例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン)のほかに、撮像素子100からの信号の読み出しを制御するための制御パラメータ(例えば、間引き率)、撮像素子100からの信号を処理するための制御パラメータ(例えば、画素信号を加算する加算行数又は加算列数、デジタル化のビット数、後述する画像処理部30が画像処理を実行するための制御パラメータ)も含まれる。
【0041】
図5は、第1実施形態に係る電子機器の構成を示すブロック図である。図5に示す電子機器1は、例えば撮像機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成される。図5に示すように、電子機器1は、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、表示部50、操作部55、記録部60、及びシステム制御部70を備える。レンズ部10は、複数のレンズ群から構成された撮像光学系である。このレンズ部10は、被写体からの光束を撮像部20へ導く。このレンズ部10は、電子機器1と一体構成であってもよく、また電子機器1に対して着脱可能な交換式レンズであってもよい。また、このレンズ部10は、フォーカスレンズを内蔵していてもよく、またズームレンズを内蔵していてもよい。
【0042】
撮像部20は、撮像素子100及び駆動部21を有している。駆動部21は、システム制御部70からの指示に従って、撮像素子100の駆動を制御する制御回路である。ここで、駆動部21は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ303及び転送トランジスタ302に印加するタイミング(又はタイミングの周期)を制御することにより、制御パラメータである電荷の蓄積時間又は蓄積回数を制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ303、転送トランジスタ302、及び選択トランジスタ305に印加するタイミング(又はタイミングの周期)を制御することにより、フレームレートを制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。
【0043】
また、駆動部21は、アンプ412のゲイン(利得率、増幅率ともいう。)を制御することにより、撮像素子100のISO感度を制御する。また、駆動部21は、演算回路416に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部21は、信号処理回路413に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部21は、撮像素子100の画素領域(撮像領域)113Aにおけるブロックの設定を行う。このように、駆動部21は、撮像素子100に対して複数のブロックごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部70は、駆動部21に対するブロックの位置、形状、範囲などの指示を行う。
【0044】
撮像素子100は、撮像素子100からの画素信号を画像処理部30へ引き渡す。画像処理部30は、ワークメモリ40をワークスペースとして、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、画像データを生成する。この画像処理部30は第1画像処理部30Aと第2画像処理部30Bとが設けられている。画像処理の負荷が高い場合は、第1画像処理部30A及び第2画像処理部30Bに対して、それぞれ処理が割り当てられる。そして、第1画像処理部30A及び第2画像処理部30Bは、それぞれ、割り当てられた処理を並列に実行する。
【0045】
本実施形態においては、後述するように、システム制御部70(具体的には、図7に示す分割部71)は、撮像素子100の画素領域(撮像領域)113Aを少なくとも第1領域と第2領域とに分割する。また、システム制御部70(具体的には、図7に示す撮像制御部72)は、第1領域と第2領域とで異なる撮像条件によって撮像を行うように撮像素子100を駆動制御する。この場合、例えば、第1画像処理部30Aは、第1領域からの信号の画像処理を実行する。また、第2画像処理部30Bは、第2領域からの信号の画像処理を実行する。なお、撮像素子100の画素領域(撮像領域)113Aは、第1領域と第2領域との2つの領域に分割される場合に限らず、第1領域、第2領域、第3領域・・・というような複数の領域に分割され得る。そして、複数の領域についての画像処理は、適宜、第1画像処理部30Aと第2画像処理部30Bとに割り当てられる。画像処理の割り当ては、分割される領域の数や範囲などによって予め決められていてもよく、また、システム制御部70が分割される領域の数や範囲などに基づいて決定してもよい。
【0046】
画像処理部30は、種々の画像処理を実行する。例えば、画像処理部30は、ベイヤー配列で得られた信号に対して色信号処理(色調補正)を行うことによりRGB画像信号を生成する。また、画像処理部30は、RGB画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部30は、必要に応じて、所定の圧縮形式(JPEG形式、MPEG形式等)で圧縮する処理を行う。画像処理部30は、生成した画像データを記録部60に出力する。また、画像処理部30は、生成した画像データを表示部50に出力する。
【0047】
本実施形態では、画像処理部30は、上記した処理のほかに、画像データから主要被写体を検出する処理を行う。ここで、「主要被写体」とは、撮像される対象物である被写体のうち、使用者(撮影者)に注目される被写体又は使用者に注目されると推定される被写体のことをいう。主要被写体は、画像データ中に1つだけ存在する場合に限らず、複数存在する場合もある(例えば図11参照)。
【0048】
画像処理部30が画像処理を行う際に参照されるパラメータも制御パラメータ(撮像条件)に含まれる。例えば、色信号処理(色調補正)、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子100から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部30は、ブロック単位ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。
【0049】
画像処理部30は、撮像部20から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを抽出する。または、画像処理部30は、撮像部20から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを廃棄する。これにより、データ量を減らすことができるため、後段処理の負荷を軽減することができる。また、画像処理部30は、撮像部20から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する1又は複数のフレームを算出する。そして、画像処理部30は、算出した1又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。また、駆動部21が間引き率を制御するように構成しているが、このような構成に限られない。例えば、駆動部21はすべての画素から画素信号を読み出すが、画像処理部30又は演算回路416は読み出した画素信号のうち所定の画素信号を廃棄することにより、間引き率を制御するようにしてもよい。
【0050】
ワークメモリ40は、画像処理部30による画像処理が行われる際に画像データなどを一時的に記憶する。表示部50は、例えば液晶表示パネルによって構成されている。この表示部50は、図5に示すように、表示パネル51及びタッチパネル52を有している。表示パネル51は、撮像部20で撮像された画像(静止画、動画、ライブビュー画像)や各種情報を表示する。タッチパネル52は、表示パネル51の表示画面上に形成されている。このタッチパネル52は、使用者が画像中の領域の選択などを行う際に、使用者が触れた位置を示す信号をシステム制御部70に出力する。また、タッチパネル52は、使用者が撮影モード、撮像条件、及び画面切替の設定を行う際に、使用者が触れた位置を示す信号をシステム制御部70に出力する。
【0051】
操作部55は、使用者によって操作されるレリーズスイッチ、動画スイッチ、各種の操作スイッチなどである。この操作部55は、使用者による操作に応じた信号をシステム制御部70に出力する。なお、レリーズスイッチの半押し操作が行われることによって、AF(Automatic Focusing)やAE(Automatic Exposure)などの撮影準備が行われる。
【0052】
記録部60は、メモリカードなどの2つの記憶媒体(第1記録媒体61及び第2記録媒体62)を装着可能な2つのカードスロットを有する。記録部60は、カードスロットに装着された記録媒体(第1記録媒体61及び第2記録媒体62)に画像処理部30において生成された画像データや各種データを記憶する。本実施形態においては、上述したように、第1画像処理部30Aと第2画像処理部30Bとは、それぞれ、第1領域からの信号に基づく画像処理と第2領域からの信号に基づく画像処理とを並列に実行する。この場合、第1記録媒体61は、レリーズスイッチや動画スイッチの操作に応じて、第1領域からの信号に基づく画像データを記憶する。また、第2記録媒体62は、レリーズスイッチや動画スイッチの操作に応じて、第2領域からの信号に基づく画像データを記憶する。また、記録部60は、内部メモリを有する。記録部60は、画像処理部30において生成された画像データや各種データを内部メモリに記録することも可能である。
【0053】
システム制御部70は、電子機器1の全体の処理及び動作を制御する。このシステム制御部70はCPU(Central Processing Unit)70Aを有する。本実施形態において、システム制御部70は、撮像素子100(撮像チップ113)の撮像面(画素領域113A)を複数のブロックに分け、ブロック間において異なる電荷蓄積時間(又は電荷蓄積回数)、フレームレート、ゲインで画像を取得させる。このため、システム制御部70は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部21に対して指示する。また、システム制御部70は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部70は、各ブロック用の撮像条件(間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数)を駆動部21に対して指示する。また、画像処理部30は、ブロック間で異なる撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)で画像処理を実行する。このため、システム制御部70は、各ブロック用の撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)を画像処理部30に指示する。
【0054】
また、システム制御部70は、画像処理部30において生成された画像データを記録部60に記録させる。また、システム制御部70は、画像処理部30において生成された画像データを表示部50に出力させることにより、表示部50に画像を表示させる。また、システム制御部70は、記録部60に記録されている画像データを読み出して表示部50に出力させることにより、表示部50に画像を表示させる。表示部50に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。ここで、ライブビュー画像は、画像処理部30で生成された画像データを表示部50に順次出力して表示部50に表示される画像である。ライブビュー画像は、撮像部20により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。
【0055】
図6は、表示部における表示画面の一例を示す図である。図6に示すように、表示部50の表示パネル51は、画像表示領域510と操作ボタン表示領域520とが設けられている。画像表示領域510は、撮像部20で撮像された画像、すなわち、静止画、動画、及びライブビュー画像を表示する領域である。また、操作ボタン表示領域520は、使用者が撮像条件などを設定するためのメニューを表示する領域である。
【0056】
操作ボタン表示領域520は、画像表示領域510の近傍に設けられている。操作ボタン表示領域520内には、使用者が撮影モード、撮像条件、及び表示画面を設定するためのメニュー(メニュー画像)が表示される。使用者が撮影モードを設定するためのメニューは、撮影モードのボタン521である。使用者が撮像条件を設定するためのメニューは、ISO感度のボタン522、及びフレームレートのボタン523である。使用者が画面の切替を設定するためのメニューは、画面切替のボタン524である。以下、撮影モードのボタン521、ISO感度のボタン522、フレームレートのボタン523、及び画面切替のボタン524のことを、それぞれ、単に、「撮影モード521」、「ISO感度522」、「フレームレート523」、及び「画面切替524」と記す。
【0057】
撮影モード521は、使用者が撮影モードを設定(選択)する場合に押すボタンである。ISO感度522は、使用者がISO感度(すなわちゲイン)を設定する場合に押すボタンである。フレームレート523は、使用者が動画のフレームレートを設定する場合に押すボタンである。画面切替524は、使用者が電子ズーム(デジタルズーム)により一部領域の画像を表示画面全体に拡大表示させる場合(図13図14参照)や、サブ画面に画像を表示させる場合(図14参照)に押すボタンである。
【0058】
ここで、撮影モードとして、静止画を撮影する静止画モードと、動画を撮影する動画モードとが設けられている。また、動画モードとして、第1動画モードと、第2動画モードとが設けられている。静止画モードとは、分割部71が撮像素子100の画素領域(撮像領域)113Aを分割せずに、撮像素子100が画素領域113Aを1つの領域として被写体の静止画を撮影する撮影モードをいう。この静止画モードは、一般に行われている通常の静止画撮影モードである。
【0059】
第1動画モードとは、分割部71が撮像素子100の画素領域(撮像領域)113Aを分割せずに、撮像素子100が画素領域113Aを1つの領域として被写体の動画を撮影する撮影モードをいう。この第1動画モードは、一般的に行われている通常の動画撮影モードである。第2動画モードとは、分割部71が画素領域113Aを少なくとも第1領域と第2領域を含む複数の領域に分割し、撮像素子100が複数の領域のそれぞれにおいて同一被写体の動画を撮影する撮影モードをいう。
【0060】
タッチパネル52が画像表示領域510及び操作ボタン表示領域520上に設けられている。タッチパネル52において、タッチ領域510aが画像表示領域510上に形成されている。タッチ領域510aは、使用者により押された(タッチされた)ことを検出すると、押された位置を示す検出信号をシステム制御部70に出力する。
【0061】
また、タッチ領域521aが撮影モード521上に重なるように形成されている。また、タッチ領域522aがISO感度522上に重なるように形成されている。また、タッチ領域523aがフレームレート523上に重なるように形成されている。また、タッチ領域524aが画面切替524上に重なるように形成されている。各タッチ領域521a~524aは、使用者により押された(タッチされた)ことを検出すると、押された位置(いずれのタッチ領域であるか)を示す検出信号をシステム制御部70に出力する。
【0062】
なお、使用者が撮影モード、撮像条件、及び表示画面の切替を選択する場合に、タッチパネル52の操作に代えて、操作部55の操作を行うようにしてもよい。
【0063】
図7は、図5に示す画像処理部及びシステム制御部の機能ブロック図である。図7に示すように、第1画像処理部30Aは画像生成部(動画生成部)31A及び検出部32Aを含んでいる。画像生成部31Aは、撮像部20から出力される第1領域の各画素の画素信号からなるRAWデータに対して種々の画像処理を施して画像データを生成する。また、検出部32Aは、画像生成部31Aで生成した画像データから主要被写体を検出する。本実施形態において、検出部32Aは、画像生成部31Aが生成するライブビュー画像から時系列的に得られる複数の画像データを比較して、移動する被写体(移動被写体)を主要被写体として検出する。また、検出部32Aは、例えば特開2010-16621号公報(US2010/0002940号)に記載されているような顔検出機能を用いて主要被写体の検出を行う。また、検出部32Aは、顔検出に加えて、例えば特開2010-16621号公報(US2010/0002940号)に記載されているように、画像データに含まれる人体を主要被写体として検出する。
【0064】
また、第2画像処理部30Bは画像生成部(動画生成部)31Bを含んでいる。画像生成部31Bは、撮像部20から出力される第2領域の各画素の画素信号からなるRAWデータに対して種々の画像処理を施して画像データを生成する。なお、第2画像処理部30Bは検出部を含んでいないが、検出部を含んでもよい。また、第1画像処理部30Aが検出部32Aを含まず、第2画像処理部30Bが検出部を含む構成でもよい。本実施形態において、画像生成部31Aと画像生成部31Bを総称して画像生成部31と記すことがある。
【0065】
また、システム制御部70は、分割部71、撮像制御部72、記録制御部73、及び表示制御部74を含んでいる。分割部71は、撮像素子100の画素領域(撮像領域)113Aをブロック単位で複数の領域に分割する。この分割部71は、画素領域113Aの各ブロックにおける所定の配列パターンに基づいて画素領域113Aを複数の領域に分割する(図8(A)~(D)参照)。撮像制御部72は、使用者による撮像条件を設定するためのメニュー(ISO感度522、フレームレート523)のタッチ操作に応じて、分割部71が分割した複数の領域において異なる撮像条件を設定する。また、撮像制御部72は、使用者によるレリーズスイッチや動画スイッチの操作に応じて撮像素子100の駆動制御を実行する。また、撮像制御部72は、ライブビュー画像の撮像時(すなわち、電源投入後の撮影動作の開始後)においても、撮像素子100の駆動制御を実行する。
【0066】
記録制御部73は、画像生成部31により生成された複数の領域における動画データをそれぞれ記録部60に記録する制御を行う。例えば、記録制御部73は、画像生成部31Aにより生成された第1領域の画像データを第1記録媒体61に記録し、画像生成部31Bにより生成された第2領域の画像データを第2記録媒体62に記録する。表示制御部74は、画像生成部31によって生成された画像データを表示部50に出力させ、表示部50の画像表示領域510に画像(静止画、動画、ライブビュー画像)を表示させる制御を行う。また、表示制御部74は、使用者による画面切替524の操作に応じて、表示画面の切り替えを行う。例えば、表示制御部74は、使用者による画面切替524の操作に応じて、電子ズームにより一部領域の画像を表示画面全体に拡大表示させ、サブ画面に画像を表示させる。
【0067】
なお、システム制御部70において、分割部71、撮像制御部72、記録制御部73、及び表示制御部74は、CPU70Aが制御プログラムに基づいて処理を実行することにより実現される。
【0068】
次に、分割部71により設定される各ブロックにおける配列パターンについて説明する。図8は、各ブロックにおける配列パターンを示す図である。ここで、図8(A)は、各ブロックにおける第1配列パターンを示す。また、図8(B)は、各ブロックにおける第2配列パターンを示す。また、図8(C)は、各ブロックにおける第3配列パターンを示す。また、図8(D)は、各ブロックにおける第4配列パターンを示す。
【0069】
図8(A)に示す第1配列パターンは、画素領域113Aが第1領域と第2領域とに2分割される配列パターンである。この第1配列パターンでは、画素領域113Aにおいて、第1領域が奇数の列(2m-1)のブロックで構成され、第2領域が偶数の列(2m)のブロックで構成されている。すなわち、画素領域113Aにおける各ブロックが奇数列と偶数列とに分割されている。mは正の整数(m=1,2,3,・・・)である。
【0070】
図8(B)に示す第2配列パターンも、画素領域113Aが第1領域と第2領域とに2分割される配列パターンである。この第2配列パターンでは、画素領域113Aにおいて、第1領域が奇数の行(2n-1)のブロックで構成され、第2領域が偶数の行(2n)のブロックで構成されている。すなわち、画素領域113Aにおける各ブロックが奇数行と偶数行とに分割されている。nは正の整数(n=1,2,3,・・・)である。
【0071】
図8(C)に示す第3配列パターンも、画素領域113Aが第1領域と第2領域とに2分割される配列パターンである。この第3配列パターンでは、画素領域113Aにおいて、奇数の列(2m-1)における奇数の行(2n-1)のブロックと、偶数の列(2m)における偶数の行(2n)のブロックとで第1領域が構成されている。また、偶数の列(2m)における奇数の行(2n-1)のブロックと、奇数の列(2m-1)における偶数の行(2n)のブロックとで第2領域が構成されている。すなわち、画素領域113Aにおける各ブロックが市松模様となるように分割されている。m及びnは正の整数(m=1,2,3,・・・、n=1,2,3,・・・)である。
【0072】
図8(D)に示す第4配列パターンは、画素領域113Aが第1領域と第2領域と第3領域とに3分割される配列パターンである。この第4配列パターンでは、画素領域113Aにおいて、第1領域が3の倍数の列から2列前の列(3m-2)のブロックで構成され、第2領域が3の倍数の列から1列前の列(3m-1)のブロックで構成され、第3領域が3の倍数の列(3m)のブロックで構成されている。mは正の整数(m=1,2,3,・・・)である。
【0073】
なお、図8において、領域ごとのブロックの配置を見えやすくするために、画素領域113Aにおいて少ない数のブロックを設定しているが、図8に示すブロックの数よりも多い数のブロックを設定するようにしてもよい。
【0074】
次に、第1実施形態に係る撮影動作について説明する。図9は、システム制御部が実行する撮影動作を説明するためのフローチャートである。また、図10は、設定処理を説明するためのフローチャートである。図9に示す処理において、電子機器1に電源が投入されると、システム制御部70が撮影動作を開始する。また、図9において示していないが、撮影が開始されると、表示制御部73は、撮像部20で撮像されたライブビュー画像を表示パネル51の画像表示領域510に表示するとともに、表示パネル51の操作ボタン表示領域520に各種メニュー521~524を表示する。このとき、ライブビュー画像は被写体の動きの滑らかな画像である必要がないため、撮像制御部72は、低いフレームレートで撮像するように撮像素子100を駆動制御する。
【0075】
使用者は、撮影モード521をタッチ操作して撮影モードを選択する。分割部71は、使用者による撮影モード521のタッチ操作によって選択された撮影モードを確認する(ステップS1)。分割部71は、使用者により選択された撮影モードが静止画モードであるか否かを判定する(ステップS2)。分割部71は、撮影モードが静止画モードであると判定した場合は、撮影モードを静止画モードに設定する処理を行う(ステップS3)。その後、撮像制御部72は、使用者によりレリーズスイッチの操作(半押し操作に続く、全押し操作)が行われたか否かを判定する(ステップS4)。
【0076】
撮像制御部72は、レリーズスイッチの操作が行われたと判定した場合は、静止画モードによる撮像を撮像部20に実行させる(ステップS5)。また、ステップS5において、記録制御部73は、撮像部20が撮像した静止画を記録部60(第1記録媒体61又は第1記録媒体61)に記録するように制御する。さらに、ステップS5において、表示制御部74は、撮像部20が撮像した静止画を表示パネル51の画像表示領域510に表示するように制御する。なお、静止画モードによる撮像については、通常の静止画撮影と同様であるため、詳しい説明を省略する。
【0077】
また、分割部71は、ステップS2において撮影モードが静止画モードでないと判定した場合、すなわち、撮影モードが動画モードであると判定した場合は、動画モードが第1動画モードであるか否かを判定する(ステップS10)。分割部71は、動画モードが第1動画モードであると判定した場合は、撮影モードを第1動画モードに設定する処理を行う(ステップS11)。一方、分割部71は、動画モードが第1動画モードでないと判定した場合、すなわち、第2動画モードであると判定した場合は、撮影モードを第2動画モードに設定する処理を行う(ステップS12)。
【0078】
ステップS11又はステップS12の処理において、分割部71は、図10に示す設定処理を実行する。図10に示す処理において、分割部71は、画像処理部30(第1画像処理部30A)に対して主要被写体の検出を指示する(ステップS21)。検出部32Aは、ライブビュー画像から時系列的に得られる複数の画像データを比較して、移動被写体と非移動被写体とを検出する。また、本実施形態では、検出部32Aは、画像データの中から目、口、肌の色などで顔を認識し、顔を主要被写体として検出する。さらに、本実施形態では、検出部32Aは、顔検出に加えて、画像データに含まれる人体(人物)を主要被写体として検出する。そして、検出部32Aは、検出結果を画像データとともにシステム制御部70に出力する。分割部71は、検出部32Aの検出結果に基づいて主要被写体の有無を確認する。そして、分割部71は、画素領域113Aにおいて主要被写体及び撮影モードに応じた領域を設定する(ステップS22)。
【0079】
具体的には、分割部71は、撮影モードが第1動画モードであるときは、画素領域113Aを複数の領域に分割しない。すなわち、分割部71は、すべての画素領域113Aを1つの領域として設定する。このとき、分割部71は、駆動部21に対してすべての画素領域113Aを1つの領域として設定することを指示する指示信号を出力する。
【0080】
一方、分割部71は、撮影モードが第2動画モードであるときは、図8(A)~(D)のいずれかに示した配列パターンを選択する。そして、分割部71は、検出部32Aの検出結果に基づいて、主要被写体が移動被写体であるか否かを確認する。分割部71は、主要被写体が移動被写体でなく非移動被写体である場合は、図8(C)に示した第3配列パターンに従って第1領域と第2領域とを設定する。分割部71は、主要被写体が移動被写体である場合は、移動被写体の移動方向を確認する。移動被写体の移動方向が主に上下方向である場合は、分割部71は、図8(A)に示した第1配列パターンに従って第1領域と第2領域とを設定する。移動被写体の移動方向が主に左右方向である場合は、分割部71は、図8(B)に示した第2配列パターンに従って第1領域と第2領域とを設定する。さらに、移動被写体の上下方向の移動速度が速い場合は、分割部71は、図8(D)に示した第4配列パターンに従って第1領域と第2領域と第3領域とを設定する。なお、分割部71は、ステップS22において、駆動部21に対して各領域(第1領域及び第2領域、第1領域~第3領域)のブロックの位置などを指示する指示信号を出力する。
【0081】
図11は、第2動画モードが実行されるときの第2配列パターンの設定例を示す図である。なお、図11においては、ブロックの配置を見えやすくするために、各ブロックを大きくして表現している。しかし、実際には図11に示すブロックの大きさよりも小さなブロックが画素領域113Aに設定される。図11に示す例では、検出部32Aは、主要被写体(移動被写体)として、サッカーをしている人物O1,O2と、サッカーボールO3とを検出する。分割部71は、検出部32Aの検出結果に基づいて、主要被写体O1~O3が移動被写体であり、移動被写体の移動方向が主に左右方向であると判定する。その結果、分割部71は、図8(B)に示した第2配列パターンに従って第1領域と第2領域とを設定する。このとき、分割部は、第1領域と第2領域とが主要被写体O1~O3を含むように画素領域113Aの分割を行う。
【0082】
図10の説明に戻り、撮像制御部72は、使用者によるISO感度522やフレームレート523のタッチ操作に応じて、ステップS22で設定した領域(図11に示す例では、第1領域及び第2領域)ごとの撮像条件を設定する(ステップS23)。具体的には、分割部71は、使用者によるISO感度522やフレームレート523のタッチ操作に応じた撮像条件(ゲイン、フレームレート)を指示する指示信号を駆動部21に出力する。
【0083】
なお、撮像制御部72は、ゲインの変更に応じて、最適な露出になるようなフレームレートの値を自動的に設定するようにしてもよい。また、撮像制御部72は、フレームレートの変更に応じて、最適な露出になるようなゲインの値を自動的に設定するようにしてもよい。また、撮像制御部72は、ゲインやフレームレートの変更に応じて最適な映像補正を行うように、色信号処理、ホワイトバランス調整、階調調整、圧縮率などのパラメータ(撮像条件)を指示する指示信号を画像処理部30に出力してもよい。
【0084】
ステップS23において、使用者により第1領域と第2領域とで異なるフレームレートの設定が行われた場合は、第1記録媒体61と第2記録媒体62とで、単位時間あたりに記録されるフレーム数が異なることになる。従って、第1記録媒体61と第2記録媒体62とが同じ記録容量である場合は、第1記録媒体61における第1動画の録画時間と第2記録媒体62における第2動画の録画時間も異なることになる。すなわち、第1領域のフレームレートが第2領域のフレームレートよりも高い場合は、第1記録媒体61における第1動画の録画時間が第2記録媒体62における第2動画の録画時間よりも短くなる。
【0085】
その後、表示制御部74は、使用者による画面切替524のタッチ操作に応じて、表示画面の設定(切り替え)を行う(ステップS24)。図12は、画像表示領域におけるライブビュー画像の表示例を示す図である。また、図13は、画像表示領域における電子ズームの範囲及び位置を示す図である。また、図14は、画像表示領域におけるサブ画面の範囲及び位置を示す図である。
【0086】
ステップS24において、使用者が画面切替524をタッチ操作していない状態では、図12に示すようなライブビュー画像(複数の人がサッカーをしている画像)が画像表示領域510に表示されている。具体的には、図12に示すライブビュー画像では、主要被写体として、複数の人物O1,O2,O4~O7と、サッカーボールO3と、ゴールO8とが表示されている。
【0087】
ステップS24において、使用者が画面切替524をタッチ操作して電子ズームを選択した場合は、表示制御部74は、検出部32Aの検出結果に基づいて、主要被写体O1~O8を検出する。また、表示制御部74は、主要被写体O1~O8から、人物の主要被写体O1,O2,O4~O7を検出する。次に、表示制御部74は、図13に示すように、画像表示領域510のうち、人物の主要被写体O1,O2,O4~O7が多数集まっている一部領域511を抽出する。そして、表示制御部74は、図14に示すように、抽出した一部領域511のライブビュー画像を画像表示領域510全面に拡大して表示させる制御を行う。このとき、撮像制御部72は、画像表示領域510のうち、一部領域511以外の領域(ライブビュー画像の表示が行われていない領域)については撮像を実行させないように駆動部21を制御する。これにより、電子ズームによるライブビュー画像の拡大表示が行われているときの消費電力を抑制することができる。
【0088】
ステップS24において、使用者が画面切替524をタッチ操作してサブ画面(特定領域)512の表示を選択した場合は、表示制御部74は、第1領域又は第2領域におけるライブビュー画像を、図14に示すサブ画面512に表示させる制御を実行する。具体的には、表示制御部74は、画像表示領域510において第1領域のライブビュー画像が表示されているときは、第2領域のライブビュー画像がサブ画面512に表示されるように、画像処理部30に対して第1領域と第2領域のライブビュー画像の合成を指示する。また、表示制御部74は、画像表示領域510において第2領域のライブビュー画像が表示されているときは、第1領域のライブビュー画像がサブ画面512に表示されるように、画像処理部30に対して第1領域と第2領域のライブビュー画像の合成を指示する。そして、表示制御部74は、画像処理部30により合成されたライブビュー画像を表示部50に出力させて、そのライブビュー画像を画像表示領域510に表示させる。なお、図14に示す例では、サブ画面512は、画像表示領域510の右下の隅に設けられている。
【0089】
図9の説明に戻り、撮像制御部72は、使用者により動画スイッチの操作が行われたか否かを判定する(ステップS13)。撮像制御部72は、動画スイッチの操作が行われたと判定した場合は、動画モード(第1動画モード又は第2動画モード)による撮像を撮像部20に実行させる(ステップS14)。なお、第1動画モードによる撮像については、通常の動画撮影と同様であるため、詳しい説明を省略する。
【0090】
図15は、第2動画モードの実行中(ステップS14)の動作を説明するためのフローチャートである。図15に示す処理において、分割部71は、使用者によるブロック配列(すなわち領域)の設定操作が行われたか否かを判定する(ステップS31)。また、撮像制御部72は、使用者による撮像条件の設定操作が行われたか否かを判定する(ステップS31)。本実施形態においては、使用者は、動画撮影の開始前におけるブロック配列や撮像条件の設定(図10のステップS22,S23参照)のほかに、動画撮影の開始後におけるブロック配列や撮像条件の設定を行うことができる。
【0091】
例えば、使用者が操作部55を操作して、表示パネル51に表示された図8(A)~(D)のいずれかの配列パターンを選択することにより、ブロック配列の設定が行われる。また、例えば、図10のステップS23と同様に、使用者がISO感度522やフレームレート523をタッチ操作することにより、撮像条件(ゲインやフレームレート)の設定が行われる。
【0092】
分割部71は、使用者によるブロック配列の設定操作が行われたと判定した場合は、ブロック配列の再設定を行う(ステップS32)。すなわち、撮像制御部72は、駆動部21に対して各領域(第1領域及び第2領域、第1領域~第3領域)のブロックの位置などを指示する指示信号を出力する。また、撮像制御部72は、使用者による撮像条件の設定操作が行われたと判定した場合は、撮像条件の再設定を行う(ステップS32)。すなわち、撮像制御部72は、駆動部21に対して撮像条件(ゲインやフレームレート)を指示する指示信号を出力する。
【0093】
次に、表示制御部74は、使用者により電子ズームを選択する操作(すなわち、画面切替524のタッチ操作)が行われたか否かを判定する(ステップS33)。表示制御部74は、電子ズームを選択する操作が行われたと判定した場合は、図10のステップS24で説明したように、一部領域511を画像表示領域510全面に拡大表示させる制御を行う(ステップS34)。また、表示制御部74は、使用者によりサブ画面512の表示を選択する操作(すなわち、画面切替524のタッチ操作)が行われたか否かを判定する(ステップS35)。表示制御部74は、サブ画面512の表示を選択する操作が行われたと判定した場合は、図10のステップS24で説明したように、画像表示領域510における右下の隅にサブ画面512を表示させる制御を行う(ステップS36)。
【0094】
次に、撮像制御部72は、ステップS22又はステップS32で設定されたブロック配列、ステップS34で電子ズームにより拡大表示が行われている場合は電子ズームの範囲(すなわち一部領域511)、ステップS23又はステップS32で設定された撮像条件において被写体を撮像するように、撮像素子100を駆動制御する(ステップS37)。そして、記録制御部73は、撮像素子100で撮像され、画像処理部30で画像処理された動画の画像データを記録部60に記録する(ステップS38)。具体的には、記録制御部73は、第1領域における第1動画の画像データを第1記録媒体61に記録する。また、記録制御部73は、第2領域における第2動画の画像データを第2記録媒体62に記録する。
【0095】
ステップS38において、記録制御部73は、第1領域における第1動画の画像データに対して第2領域の動画の画像データを補間するように、画像処理部30に指示信号を出力する。また、記録制御部73は、第2領域における第2動画の画像データに対して第1領域の動画の画像データを補間するように、画像処理部30に指示信号を出力する。画素領域(撮像領域)113Aが2つの領域(第1領域、第2領域)に分割されると、解像度が半分に低下してしまう。しかし、上記したような処理を行うことにより、領域を分割したことによって生じる欠陥画素の画像データが補間されるので、解像度が低下しないようにすることができる。
【0096】
また、ステップS38において、表示制御部74が、第1領域の一部領域511の撮像による動画を電子ズームにより画像表示領域510に拡大表示している場合に(ステップS34)、記録制御部73は、第2領域における第2動画を第2記録媒体62に記録し、第1領域の一部領域511の撮像による動画を第1記録媒体61に記録する。このような構成によれば、画像表示領域510に拡大表示されている一部領域511の動画だけでなく、画像表示領域510に表示されていない動画も記録することができる。
【0097】
また、ステップS38において、表示制御部74が、第1領域の一部領域511の撮像による動画と、第2動画とのいずれか一方の動画を画像表示領域510に表示するとともに、他方の動画をサブ画面512に表示している場合に(ステップS37)、記録制御部73は、一方の動画と他方の動画とを合成した動画(図14参照)を記録部60に記録する。このような構成によれば、異なる画角の動画(電子ズームの範囲の動画と画像表示領域510全面の動画)を1つの動画として記録することができる。このとき、画像処理部30は、一方の動画と他方の動画とのフレームレートが異なる場合は、同じフレームレートになるように、フレームの間引き又はフレームの追加を行う。これにより、画角の異なる動画を1つの動画として第1記録媒体61又は第2記録媒体62に記録することができる。
【0098】
図16は、第2動画モード(ステップS37の撮像)における電荷蓄積のタイミングを示すタイミングチャートである。図16に示す第2動画モードにおいては、例えば第1領域と第2領域とが設定される。第2動画モードでは、撮像制御部72は、動画スイッチの操作が行われている間、第1領域に対して動画の撮像を実行するとともに、第2領域に対して動画の撮像を実行するように、駆動部21に対して指示信号を出力する。図16において、駆動部21は、動画スイッチの操作が行われている間、第1領域における各画素について電荷蓄積時間T1で動画を撮像させる。また、駆動部21は、動画スイッチの操作が行われている間、第2領域における各画素について電荷蓄積時間T1よりも長い電荷蓄積時間T2で動画を撮像させる。フレームレートは電荷の蓄積時間に応じて変化する。このため、電荷蓄積時間T1で撮像が実行される場合と電荷蓄積時間T2で撮像が実行される場合とで、それぞれ、動画のフレームレートが異なる。例えば、第1領域の電荷蓄積時間T1に対応するフレームレートは60fpsであり、第2領域の電荷蓄積時間T2に対応するフレームレートは30fpsである。電荷蓄積時間やフレームレートは、ステップS23又はステップS32の撮像条件の設定処理において設定される。
【0099】
また、撮像素子100の第1領域から読み出された各画素の画素信号は、アンプ412において撮像制御部72から指示されたゲインで増幅された後、画像処理部30に出力される。画像生成部31Aは、撮像制御部72から出力された第1領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部31Aは、第1領域の各画素の画素信号からなるRAWデータに対して、パラメータに基づいて種々の画像処理を行うことにより第1領域の画像データを生成する。
【0100】
また、撮像素子100の第2領域から読み出された各画素の画素信号は、アンプ412において撮像制御部72から指示されたゲインで増幅された後、画像処理部30に出力される。画像生成部31Bは、撮像制御部72から出力された第2領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部31Bは、第2領域の各画素の画素信号からなるRAWデータに対して、パラメータに基づいて種々の画像処理を行うことにより第2領域の画像データを生成する。
【0101】
このように、第1領域のフレームレートが第2領域のフレームレートよりも高くしているので、第1動画における人物の主要被写体の動きが第2動画における人物の主要被写体の動きよりも滑らかになる。
【0102】
以上に説明したように、第1実施形態では、撮像素子100を有する撮像部20と、撮像素子100の撮像領域113Aを少なくとも第1領域と第2領域とに分割する分割部71と、第1領域と第2領域とで異なる撮像条件を設定する撮像制御部72と、第1領域の撮像による第1動画と、第2領域の撮像による第2動画とのそれぞれを生成する動画生成部31と、を備える。このような構成によれば、異なる撮像条件が設定された複数の領域に対応する複数種類の動画を生成することができる。従って、被写体や撮影状況に応じた複数種類の動画を生成することができ、撮像素子100を備えた電子機器1の使い勝手が向上する。
【0103】
また、動画生成部は、同一被写体に対して第1領域の撮像による第1動画と、第2領域の撮像による第2動画とのそれぞれを生成するので、同一被写体に対する複数種類の動画を生成することができる。また、分割部71は、第1領域の画素数と、第2領域の画素数とを同一にするので、すなわち、第1領域のブロックと第2領域のブロックとが画像表示領域510において均等に配置されているので、画像表示領域510において解像度のばらつきが生じてしまうことはない。分割部71は、第1領域を複数の離散的な領域(複数の離散的なブロック)から形成するので、動画において部分的に解像度が低下してしまうことがなくなる。また、分割部71は、第1領域と、第2領域とを可変に分割するので、被写体の種類などの様々な状況に応じた領域に分割することができる。
【0104】
撮像制御部72は、撮像素子100の第1領域と第2領域との撮像条件として、少なくともフレームレートを異ならせるので、使用者は異なる撮像条件で撮像された複数種類の動画を取得することができる。また、動画生成部31は、第1画像と第2画像とに対してホワイトバランス、階調、色調補正のうち、少なくとも1つを異ならせた補正を行うので、使用者は異なるパラメータに基づいて画像処理された複数種類の動画を取得することができる。
【0105】
また、動画生成部31は、第1動画に対して第2領域の動画を補間し、第2動画に対して第1領域の動画を補間する。このような構成によれば、撮像領域113Aを分割したことによって生じる欠陥画素の画像データが補間され、解像度が低下しない。また、動画生成部31により生成された第1動画と第2動画とをそれぞれ記録部60に記録する記録制御部73を備えるので、同時に生成された2種類の動画を記録することができる。
【0106】
また、動画生成部31により生成された動画を表示部50に表示させる表示制御部74を備えるので、使用者は表示部50に表示された画像を確認することができる。また、表示制御部74は、第1領域の一部領域511の撮像による動画を表示部50に拡大表示し、記録制御部73は、第2動画と、一部領域511の撮像による動画とをそれぞれ記録部60に記録する。このような構成によれば、表示部50に拡大表示されている一部領域511の動画だけでなく、表示部50に表示されていない表示部50の全体領域(画像表示領域510全面)の動画も記録することができる。
【0107】
また、表示制御部74は、第1領域の一部領域511の撮像による動画と、第2動画とのいずれか一方の動画を表示部50に表示するとともに、他方の動画を表示部50の特定領域(サブ画面512)に表示し、記録制御部73は、一方の動画と他方の動画とを合成した動画(図14参照)を記録部60に記録する。このような構成によれば、異なる画角の動画を1つの動画として記録することができる。
【0108】
また、動画生成部31で生成した動画から主要被写体を検出する検出部32Aを備え、分割部71は、第1領域と第2領域とが主要被写体を含むように分割を行うので、主要被写体に対して第1領域の第1動画と第2領域の第2動画とを生成することができる。また、撮像素子100は、裏面照射型撮像チップと信号処理チップとが積層された構造であるので、撮像素子100を収容するための容積を小さくすることができる。また、システム制御部70からの指示に基づいて撮像素子100の駆動制御を行うことができ、システム制御部70の負担が軽減されるとともに、撮像素子100の電子機器1への搭載が容易となる。
【0109】
なお、図5に示す第1実施形態に係る電子機器1において、表示部50は電子機器の外部に設けられる構成であってもよい。この場合、システム制御部70及び表示部50のそれぞれには、有線又は無線で信号(画像データや制御信号など)を送受信する通信部が設けられる。また、画像処理部30とシステム制御部70は一体で構成されてもよい。この場合、1つ又は複数のCPUを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部30の機能とシステム制御部70の機能を担う。また、画像処理部30は2つの画像処理部30A,30Bを備えていたが、1つの画像処理部だけを備えている構成でもよい。
【0110】
<第2実施形態>
第2実施形態では、上記した第1実施形態における電子機器1を、撮像装置1Aと電子機器1Bとに分離した構成としている。
【0111】
図17は、第3実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。図17に示す構成において、撮像装置1Aは、被写体の撮像を行う装置である。この撮像装置1Aは、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、操作部55、記録部60、及び第1システム制御部75を備える。なお、撮像装置1Aのうち、10、撮像部20、画像処理部30、ワークメモリ40、操作部55、及び記録部60の構成は、図5に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
【0112】
また、電子機器1Bは、画像(静止画、動画、ライブビュー画像)の表示を行う装置である。この電子機器1Bは、表示部50及び第2システム制御部(制御部)70Bを備える。なお、電子機器1Bのうちの表示部50の構成は、図5に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
【0113】
第1システム制御部75は、第1通信部75Aを有している。また、第2システム制御部76は、第2通信部76Bを有している。第1通信部75Aと第2通信部76Bとは、互いに有線又は無線で信号を送受信する。また、第1システム制御部75は、図7に示す構成のうち、例えば分割部71、撮像制御部72、及び記録制御部73に相当する構成を有している。また、第2システム制御部76は、図7に示す構成のうち、例えば表示制御部74に相当する構成のみ有している。
【0114】
図7に示す構成(分割部71、撮像制御部72、記録制御部73、及び表示制御部74)は、第1システム制御部75と第2システム制御部76のいずれに設けられてもよい。図7に示すすべての構成は、第1システム制御部75又は第2システム制御部76に設けられてもよく、また図7に示す構成の一部が第1システム制御部75に設けられ、図7に示す構成の一部以外の構成が第2システム制御部76に設けられてもよい。
【0115】
なお、撮像装置1Aは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器1Bは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。
【0116】
図17に示す第1システム制御部75は、CPU(図示せず)が制御プログラムに基づいて処理を実行することにより実現される。また、図17に示す第2システム制御部76は、CPU(図示せず)が制御プログラムに基づいて処理を実行することにより実現される。
【0117】
なお、図17に示す構成において、画像処理部30と第1システム制御部75とは一体で構成されてもよい。この場合、1つ又は複数のCPUを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部30の機能と第1システム制御部75の機能を担う。
【0118】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
【0119】
図8(A)~(C)では、第1領域の面積と第2領域の面積とが同じ面積となるように各ブロックの配列パターンが設定されていた。すなわち、第1領域の画素数と第2領域の画素数とが同じ画素数となるように各ブロックの配列パターンが設定されていた。また、図8(D)では、第1領域の面積と第2領域の面積と第3領域の面積とが同じ面積となるように各ブロックの配列パターンが設定されていた。すなわち、第1領域の画素数と第2領域の画素数と第3領域の画素数とが同じ画素数となるように各ブロックの配列パターンが設定されていた。しかし、各領域の面積(画素数)が異なるように各ブロックの配列パターンが設定されてもよい。
【0120】
また、上記した各実施形態において、カラーフィルタ102の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ131を形成する画素の数は、少なくとも1つの画素を含んでいればよい。また、ブロックも少なくとも1画素を含んでいればよい。従って、1画素ごとに異なる撮像条件で撮像を実行することも可能である。
【0121】
また、上記した各実施形態において、駆動部21は、一部又はすべての構成が撮像チップ113に搭載されてもよいし、一部又はすべての構成が信号処理チップ111に搭載されてもよい。また、画像処理部30の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。また、システム制御部70の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。
【0122】
また、上記した第1実施形態において、撮像条件として、ゲイン及びフレームレートが変更可能に構成されているが、これらの少なくとも1つを変更可能であればよい。また、撮像条件が使用者の操作によって設定される場合についてのみ説明したが、主要被写体などに応じて自動的に撮像条件が設定されるようにしてもよい。
【0123】
また、上記した各実施形態において、ブロックの配列パターンとして、図8(A)~(D)に例示したが、これらの配列パターンに限られない。また、上記した各実施形態では、ブロックの領域の大きさが予め設定されている場合について説明したが、使用者がブロックの領域の大きさを設定するように構成してもよい。
【0124】
また、上記した第1実施形態において、分割部71は、ライブビュー画像に基づいて被写体を認識し、領域の設定を行っていた。しかし、分割部71は、レリーズスイッチ55aや動画スイッチ55cの半押し操作が行われたときに、そのときの画像に基づいて被写体を認識し、領域の設定を行いようにしてもよい。
【符号の説明】
【0125】
1,1B…電子機器、1A…撮像装置、20…撮像部、30…画像処理部、31…画像生成部(動画生成部)、32A…検出部、50…表示部、51…表示パネル、52…タッチパネル、70…システム制御部、70A…第1システム制御部、70B…第2システム制御部、71…分割部、72…撮像制御部、73…記録制御部、74…表示制御部、100…撮像素子
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17