(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-20
(45)【発行日】2024-05-28
(54)【発明の名称】撮像素子、および撮像装置
(51)【国際特許分類】
H04N 25/76 20230101AFI20240521BHJP
H04N 25/79 20230101ALI20240521BHJP
【FI】
H04N25/76
H04N25/79
(21)【出願番号】P 2019067724
(22)【出願日】2019-03-29
【審査請求日】2022-03-01
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】船水 航
【審査官】鈴木 明
(56)【参考文献】
【文献】特開2015-213257(JP,A)
【文献】国際公開第2014/103140(WO,A1)
【文献】特開2006-094192(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 25/00-25/79
(57)【特許請求の範囲】
【請求項1】
第1領域において第1方向及び前記第1方向とは異なる第2方向に配置され、第1基板に設けられる複数の画素と、
前記第1領域に対して前記第2方向に配置される第2領域において前記第1方向及び前記第2方向に配置され、前記第1基板に設けられる複数の画素と、
前記第2領域に対して前記第2方向に配置される第3領域において前記第1方向及び前記第2方向に配置され、前記第1基板に設けられる複数の画素と、
前記第1領域の画素の信号の読み出しを前記第2方向に前記第1領域の一方側から他方側に行う
第1読み出し動作と
、前記第2領域の画素の信号の読み出しを前記第2方向に前記第2領域の一方側から他方側に行う
第2読み出し動作と
、前記第3領域の画素の信号の読み出しを前記第2方向に前記第3領域の一方側から他方側に行う
第3読み出し動作
とを行い、前記第1基板に積層される第2基板に設けられる読み出し部と、
第1フレームにおいて前記第1読み出し動作により読み出された前記画素の信号と、第2フレームにおいて前記第2読み出し動作により読み出された前記画素の信号と、第3フレームにおいて前記第3読み出し動作により読み出された前記画素の信号とに基づいて画像信号を出力する出力部と、
を備える撮像素子。
【請求項2】
請求項1に記載の撮像素子において、
前記出力部は、第1フレームにおいて前記第
1読み出し動作により読み出された
前記画素の信号と、
第2フレームにおいて前
記第2読み出し動作によ
り読み出された
前記画素の信号と、
第3フレームにおいて前
記第3読み出し動作によ
り読み出された
前記画素の信号と
に基づいて1つの画像信号を出力す
る撮像素子。
【請求項3】
請求項1または請求項2に記載の撮像素子において、
前記読み出し部は、前記第
1読み出
し動作
と前記第
2読み出
し動作
と前記第
3読み出
し動作
とを同時に行う撮像素子。
【請求項4】
請求項1から請求項3のいずれか一項に記載の撮像素子において、
前記読み出し部は、前記第2基板において、前記第1領域の下に設けられ
前記第1読み出し動作を行う第1読み出し部と、前記第2領域の下に設けられ
前記第2読み出し動作を行う第2読み出し部と、前記第3領域の下に設けられ
前記第3読み出し動作を行う第3読み出し部とを有する撮像素子。
【請求項5】
請求項1から請求項4までのいずれか一項に記載の撮像素子と、
前記撮像素子から出力された
前記画像信号に基づいて、画像データを生成する生成部と、
を備える撮像装置。
【請求項6】
請求項5に記載の撮像装置において、
動画撮影または連写撮影を指示する指示部を備え、
前記読み出し部は、前記指示部によって動画撮影または連写撮影が指示された場合に、前記第
1読み出
し動作
と前記第2読み出し動作と前記第3読み出し動作を行う撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子、および撮像装置に関する。
【背景技術】
【0002】
画素部が2つの領域に分割され、画素の読み出しを行う撮像装置が知られている(特許文献1)。しかし、従来の撮像装置によって比較的高速で移動する被写体を撮像した場合は、2つの領域の境界において画像がずれてしまい、非常に不自然な像になってしまうと言う問題が有った。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【0004】
本発明の第1の態様によると、撮像素子は、第1領域において第1方向及び前記第1方向とは異なる第2方向に配置され、第1基板に設けられる複数の画素と、前記第1領域に対して前記第2方向に配置される第2領域において前記第1方向及び前記第2方向に配置され、前記第1基板に設けられる複数の画素と、前記第2領域に対して前記第2方向に配置される第3領域において前記第1方向及び前記第2方向に配置され、前記第1基板に設けられる複数の画素と、前記第1領域の画素の信号の読み出しを前記第2方向に前記第1領域の一方側から他方側に行う第1読み出し動作と共に、前記第2領域の画素の信号の読み出しを前記第2方向に前記第2領域の一方側から他方側に行う第2読み出し動作と、前記第3領域の画素の信号の読み出しを前記第2方向に前記第3領域の一方側から他方側に行う第3読み出し動作とを行い、前記第1基板に積層される第2基板に設けられる読み出し部と、第1フレームにおいて前記第1読み出し動作により読み出された前記画素の信号と、第2フレームにおいて前記第2読み出し動作により読み出された前記画素の信号と、第3フレームにおいて前記第3読み出し動作により読み出された前記画素の信号とに基づいて画像信号を出力する出力部と、を備える。
本発明の第2の態様によると、撮像装置は、第1の態様による撮像素子と、前記撮像素子から出力された前記画像信号に基づいて、画像データを生成する生成部と、を備える。
【図面の簡単な説明】
【0005】
【
図1】第1の実施の形態に係る撮像装置の構成を示すブロック図である。
【
図2】第1の実施の形態に係る撮像素子の一部の構成を示すブロック図である。
【
図3】第1の実施の形態に係る撮像素子の画素の構成を示す回路図である。
【
図4】第1の実施の形態に係る撮像装置の撮像制御部による動画撮影時の画素信号の読み出し方法の一例を示す図である。
【
図5】第1の実施の形態に係る撮像装置が高速で移動する被写体を動画撮影した場合の被写体像の歪みの有無を説明するための図である。
【
図6】第2の実施の形態に係る撮像素子の一部の構成を示すブロック図である。
【
図7】第2の実施の形態に係る撮像装置の撮像制御部による動画撮影時の画素信号の読み出し方法の一例を示す図である。
【
図8】変形例1に係る撮像装置の撮像制御部による動画撮影時の画素信号の読み出し方法の一例を示す図である。
【発明を実施するための形態】
【0006】
(第1の実施の形態)
図1は、第1の実施の形態に係る撮像装置の一例である電子カメラ1(以下、カメラ1と称する)の構成例を示す図である。カメラ1は、撮影光学系(結像光学系)2、撮像素子3、制御部4、メモリ5、表示部6、及び操作部7を備える。撮影光学系2は、複数のレンズ及び絞りを有し、撮像素子3に被写体像を結像する。なお、撮影光学系2は、カメラ1から着脱可能にしてもよい。
【0007】
撮像素子3は、例えば、CMOSイメージセンサである。撮像素子3は、撮影光学系2により形成された被写体像を撮像する。撮像素子3には、光電変換部を有する複数の画素が行方向及び列方向に配置される。光電変換部は、例えばフォトダイオード(PD)によって構成される。撮像素子3は、入射した光を光電変換して画素信号を生成し、生成した画素信号を制御部4に出力する。画素信号は、光電変換部によって光電変換された電荷に基づいて生成される信号である。
【0008】
メモリ5は、例えば、メモリカード等の記録媒体である。メモリ5には、画像データ等が記録される。メモリ5へのデータの書き込みや、メモリ5からのデータの読み出しは、制御部4によって行われる。表示部6は、画像データに基づく画像、シャッター速度や絞り値等の撮影に関する情報、及びメニュー画面等を表示する。操作部7は、動画撮影ボタン、電源スイッチなどの各種設定スイッチ等を含み、それぞれの操作に応じた操作信号を制御部4へ出力する。
【0009】
制御部4は、CPU、ROM、RAM等により構成され、制御プログラムに基づきカメラ1の各部を制御する。また、制御部4は、撮影指示部41と、撮像制御部42と、合成部43と、動画データ生成部44とを有する。撮影指示部41は、操作部7から出力される操作信号に基づいて、動画撮影ボタンが操作されたことを検知した場合に、動画撮影を行うように撮像制御部42に指示する。
【0010】
撮像制御部42は、撮像素子3に制御信号を供給して、撮像素子3の動作を制御する。撮像制御部42は、撮影指示部41によって動画撮影が指示された場合に、撮像素子3に所定周期のフレームごとに繰り返し被写体像を撮像させて、画素信号を出力させる。この場合に、撮像制御部42は、撮像素子3の画素を行単位で順次選択して、選択した画素から画素信号を読み出す、いわゆるローリングシャッタ方式の読み出し制御を行う。
【0011】
撮像制御部42は、後述する第1の画素領域内の画素を順次選択するタイミングと、第2の画素領域内の画素を順次選択するタイミングとを決定する。撮像制御部42は、決定したタイミングに基づいて撮像素子3を制御する。
【0012】
合成部43は、動画撮影時において撮像素子3から繰り返し出力される画素信号を用いて合成処理を行うことによって、フレーム毎の画像信号を生成する。詳細は後述するが、合成部43は、相前後する二つのフレームのうちの、第1のフレームで生成された第1の画素領域の各画素の画素信号と第2のフレームで生成された第2の画素領域の各画素の画素信号とを合成して、1フレーム(1画面)分の画像信号を生成する。
【0013】
動画データ生成部44は、動画撮影が指示された場合に、合成部43によって生成された各フレームの画像信号に対して各種の画像処理を行って、動画像データを生成する。画像処理には、例えば、階調変換処理、色補間処理、輪郭強調処理等の公知の画像処理が含まれる。動画像データの記録を行う場合には、動画データ生成部44は、生成した動画像データに対して圧縮処理を施した後、圧縮された動画像データをメモリ5に記録させる。
【0014】
図2は、第1の実施の形態に係る撮像素子3の一部の構成を示すブロック図である。撮像素子3は、画素部(画素領域)20と、垂直駆動部30と、第1のカラム回路部40aと、第2のカラム回路部40bと、第1の水平転送部50aと、第2の水平転送部50bと、出力処理部60と、出力部70とを備える。
【0015】
画素部20はm行×n列の画素10を含み、画素10は行方向に第1の間隔で、列方向に第2の間隔でそれぞれ配置されている。なお、画素10の数は例えば数百万画素~数億画素である。画素部20は、列方向、即ち上下方向に第1の画素領域21a及び第2の画素領域21bの2つの領域に2等分されている。従って、第1の画素領域21a及び第2の画素領域21bの各々では、(m×n/2)個の画素10を含む。第1の画素領域21aには、列方向、すなわち縦方向に並んだ複数の画素10の列毎に垂直信号線25aが設けられる。第2の画素領域21bにも、列方向、すなわち縦方向に並んだ複数の画素10の列毎に垂直信号線25bが設けられる。
【0016】
垂直駆動部30は、カメラ1の撮像制御部42によって制御され、後述する信号TX、信号RST、信号SELなどの制御信号を各画素10に供給して、各画素10の動作を制御する。垂直駆動部30は、第1の画素領域21aの画素10を行単位で、最下行から最上行に向かって順次選択すると同時に、第2の画素領域21bの画素10を行単位で、最下行から最上行に向かって順次選択する。すなわち、垂直駆動部30は、第1の画素領域21a内の画素と、第2の画素領域21b内の画素とを、行毎に同時に同一方向に走査しながら画素信号を読み出す。
【0017】
垂直駆動部30によって順次選択される第1の画素領域21aの画素10の画素信号は、その画素10に接続された垂直信号線25aに順次読み出される。同様に、垂直駆動部30によって順次選択される第2の画素領域21bの画素10の画素信号は、その画素10に接続された垂直信号線25bに読み出される。
【0018】
第1の画素領域21aに対して第1のカラム回路部40aが設けられ、第1のカラム回路部40aは、複数の電流源41a、複数のアンプ部42a、及び複数のアナログ/デジタル変換部(AD変換部)43aを含んで構成される。第1のカラム回路部40a内の電流源41a、アンプ部42a、及びAD変換部43aは、第1の画素領域21a内の垂直信号線25a毎に設けられている。詳述すると、電流源41aは、垂直信号線25aを介して各画素10に接続される。電流源41aは、各画素10から画素信号を読み出すための電流を生成し、生成した電流を垂直信号線25a及び各画素10に供給する。アンプ部42aは、垂直信号線25aを介して入力される画素信号を所定のゲイン(増幅率)で増幅し、増幅した画素信号をAD変換部43aに出力する。
【0019】
AD変換部43aは、各画素10からアンプ部42aを介して入力される信号をデジタル信号に変換し、変換後のデジタル信号を第1の水平転送部50aに出力する。第1の水平転送部50aは、各AD変換部43aによってデジタル信号に変換された画素信号を、出力処理部60に順次出力する。
【0020】
第2の画素領域21bに対して第2のカラム回路部40bが設けられ、第2のカラム回路部40bは、複数の電流源41b、複数のアンプ部42b、及び複数のAD変換部43bを含んで構成される。第2のカラム回路部40b内の電流源41b、アンプ部42b、及びAD変換部43bは、第2の画素領域21b内の垂直信号線25b毎に設けられている。詳述すると、電流源41bは、垂直信号線25bを介して各画素10に接続される。電流源41bは、各画素10から画素信号を読み出すための電流を生成し、生成した電流を垂直信号線25b及び各画素10に供給する。アンプ部42bは、垂直信号線25bを介して入力される画素信号を所定のゲインで増幅し、増幅した画素信号をAD変換部43bに出力する。
【0021】
AD変換部43bは、各画素10からアンプ部42bを介して入力される信号をデジタル信号に変換し、変換後のデジタル信号を水平転送部50bに出力する。水平転送部50bは、各AD変換部43bによってデジタル信号に変換された画素信号を、出力処理部60に順次出力する。
【0022】
出力処理部60は、タイミング制御部61及び記憶部62を含んで構成される。タイミング制御部61は、詳細は後述するが、第1の水平転送部50aから順次入力される第1の画素領域21aの画素10の画素信号を、記憶部62に記憶させる処理と、記憶部62に記憶された第1の画素領域21aの画素10の画素信号を所定のタイミングで読み出して出力部70に出力する処理とを行う。これにより、記憶部62には、動画撮影時のフレーム毎に、そのフレームにおいて第1の画素領域21aのそれぞれの画素10から読み出された画素信号が記憶される。
【0023】
また、タイミング制御部61は、第2の水平転送部50bから入力される第2の画素領域21bの画素10の画素信号を、所定のタイミングで出力部70に出力する処理を行う。こうして、出力処理部60は、後に詳述するように、或るフレームにおいて第1の画素領域21aから読み出された画素信号を出力部70に出力し、この出力に引き続き次のフレームにおいて第2の画素領域21bから読み出された画素信号を出力部70に出力する。出力部70は、SLVSやLVDS等の高速インタフェースに対応した入出力回路等を有し、信号を制御部4に高速に出力(伝送)する。
【0024】
撮像素子3では、第1の画素領域21aの画素10の画素信号と、第2の画素領域21bの画素10の画素信号とを別々の経路で読み出す。即ち、撮像素子3では、第1の画素領域21a及び第2の画素領域21bの各々の画素10を行単位で同時に選択することによって、2行分の画素10から画素信号を同時に読み出すことができる。このため、撮像素子3は、1つの経路のみで各画素10から画素信号の読み出しを行う場合と比較して、略半分の時間で画素信号を読み出すことが可能となり、2倍のフレームレートを実現することができる。
【0025】
図3は、第1の実施の形態に係る撮像素子3の画素10の構成を示す回路図である。
図3に示すように、画素10は、光電変換部11と、転送部12と、リセット部13と、フローティングディフュージョン14と、増幅部15と、選択部16とを有する。光電変換部11は、入射した光を電荷に変換し、光電変換された電荷を蓄積する機能を有する。
【0026】
転送部12は、信号TXにより制御され、光電変換部11で光電変換された電荷をフローティングディフュージョン14に転送する。すなわち、転送部12は、光電変換部11及びフローティングディフュージョン14の間に電荷転送路を形成する。フローティングディフュージョン14の容量FDは、電荷を蓄積する。増幅部15は、容量FDに蓄積された電荷による信号を増幅した画素信号を出力する。
図3に示す例では、増幅部15は、ドレイン端子、ゲート端子及びソース端子がそれぞれ、電源VDD、フローティングディフュージョン14及び選択部16に接続されるトランジスタM3により構成される。増幅部15のソース端子は、選択部16を介して垂直信号線25(25a、25b)に接続される。増幅部15は、垂直信号線25に接続される
図2の電流源41(41a、41b)を負荷電流源として、ソースフォロワ回路の一部として機能する。
【0027】
リセット部13は、信号RSTにより制御され、容量FDの電荷をリセットし、フローティングディフュージョン14の電位をリセット電位(基準電位)にリセットする。選択部16は、信号SELにより制御され、増幅部15からの画素信号を垂直信号線25に出力する。転送部12、リセット部13、及び選択部16は、例えば、それぞれトランジスタM1、トランジスタM2、トランジスタM4により構成される。
【0028】
図4は、第1の実施の形態に係る撮像装置1の撮像制御部42による動画撮影時の画素信号の読み出し方法の一例を示す図である。縦軸は、第1の画素領域21a及び第2の画素領域21bのそれぞれの画素10の行を示し、横軸は、第1の画素領域21a及び第2の画素領域21bのそれぞれの画素10から画素信号が出力されるタイミング(時刻t)を示す。
図4では、第1の画素領域21a及び第2の画素領域21bのそれぞれについて、垂直駆動部30によって選択される画素10の行の遷移、すなわち、画素信号を出力する画素10の遷移を模式的に示している。
図4に示す例では、説明を簡略化するために、第1の画素領域21a及び第2の画素領域21bの4行分の画素10から画素信号の読み出しを行う例を示している。
【0029】
図4に示す第Nフレームにおいて、矢印A1は、第1の画素領域21aの1行目(最下行)の画素10の画素信号の読み出しが時刻t1から開始されることを示し、矢印A2は、第1の画素領域21aの2行目の画素10の画素信号の読み出しが時刻t2から開始されることを示す。また、矢印A3、A4は、それぞれ第1の画素領域21aの3行目、4行目(最上行、即ち最終行)の画素10の画素信号の読み出しが時刻t3、t4から開始されることを示す。
【0030】
第Nフレームにおいて、矢印B1は、第2の画素領域21bの1行目(最下行)の画素10の画素信号の読み出しが時刻t1から開始されることを示す。矢印B2、B3、B4は、それぞれ第2の画素領域21bの2行目、3行目、4行目(最上行、即ち最終行)の画素10の画素信号の読み出しが時刻t2、t3、t4から開始されることを示す。
【0031】
同様に、第(N+1)フレームにおいて、矢印A1、A2、A3、A4は、それぞれ第1の画素領域21aの1、2、3、4行目の画素10の画素信号の読み出しが時刻t5、t6、t7、t8から開始されることを示す。矢印B1、B2、B3、B4は、第(N+1)フレームにおいて、それぞれ第2の画素領域21bの1、2、3、4行目の画素10の画素信号の読み出しが時刻t5、t6、t7、t8から開始されることを示す。
第(N+2)フレームにおいては、矢印A1、A2、A3、A4は、それぞれ第1の画素領域21aの1、2、3、4行目の画素10の画素信号の読み出しが時刻t9、t10、t11、t12から開始されることを示す。矢印B1、B2、B3、B4は、第(N+2)フレームにおいて、それぞれ第2の画素領域21bの1、2、3、4行目の画素10の画素信号の読み出しが時刻t9、t10、t11、t12から開始されることを示す。
【0032】
以上のように、各フレームにおいて、第1の画素領域21aの1行目の画素と、これに対応する第2の画素領域21bの1行目の画素とは、それぞれの画素信号が同時に読み出される。即ち、各フレームにおいて、第1の画素領域21aと第2の画素領域21bとは、対応する行の画素は、同時に読み出される。
【0033】
時刻t1からt2、t2からt3、t3からt4、t4からt5、t5からt6、t6からt7、t7からt8、t8からt9、t9からt10、t10からt11、t11からt12、及びt12からt13の時間間隔は、同一の一定間隔(Δt)である。
【0034】
即ち、各フレームにおいて、第1及び第2の画素領域21a、21bの1行目、2行目、3行目、4行目の画素10からの画素信号の読み出しは、それぞれが同じ一定間隔(Δt)で行われる。更に、第Nフレームの第1及び第2の画素領域21a、21bの4行目(最終行)の画素の読み出し時刻t4と、第(N+1)フレームの第1及び第2の画素領域21a、21bの1行目の画素の読み出し時刻t5との間隔も、上述の一定間隔(Δt)である。同様に、第(N+1)フレームの第1及び第2の画素領域21a、21bの4行目(最終行)の画素の読み出し時刻t8と、第(N+2)フレームの第1及び第2の画素領域21a、21bの1行目の画素の読み出し時刻t9との間隔も、上述の一定間隔(Δt)である。
【0035】
従って、
図4に破線で示した枠G1で囲まれた、第Nフレームの第1の画素領域21aの各行の画素の読み出しA1、A2、A3、A4と、第(N+1)フレームの第2の画素領域21bの各行の画素の読み出しB1、B2、B3、B4とは、全て同一の一定間隔(Δt)で行われる。同様に、
図4に破線で示した枠G2で囲まれた、第(N+1)フレームの第1の画素領域21aの各行の画素の読み出しA1、A2、A3、A4と、第(N+2)フレームの第2の画素領域21bの各行の画素の読み出しB1、B2、B3、B4も、全て同一の一定間隔(Δt)で行われる。
【0036】
図1に示した合成部43は、第Nフレームの第1の画素領域21aから読み出された画素信号と、第(N+1)フレームの第2の画素領域21bから読み出された画素信号とを合成して、1フレーム分の画像信号を生成する。同様に、合成部43は、第(N+1)フレームの第1の画素領域21aから読み出された画素信号と、第(N+2)フレームの第2の画素領域21bから読み出された画素信号とを合成して、1フレーム分の画像信号を生成する。このように、合成部43は、上述のように、相前後する二つのフレームのうちの、第1のフレームで生成された第1の画素領域の各画素の画素信号と第2のフレームで生成された第2の画素領域の各画素の画素信号とを合成して、1フレーム分の画像信号を生成する。
【0037】
次に、本実施の形態に係るカメラ1の動作を説明する。撮影指示部41が動画撮影を指示すると、撮像制御部42は、第1及び第2の画素領域21a、21bから
図4に示した読み出しタイミングで画素信号を読み出す。即ち、垂直駆動部30は、第Nフレームにおいて、第1及び第2の画素領域21a、21bの各々の1行目の画素10から最終行目の画素10まで順に、画素信号の読み出しを行う。
【0038】
出力処理部60のタイミング制御部61は、第Nフレームにおいて第1の画素領域21aから読み出された画素信号を、記憶部62に順次記憶させると共に、第Nフレームにおいて第2の画素領域21bから読み出された画素信号を、出力部70を介して制御部4に順次出力する。
【0039】
垂直駆動部30は、第(N+1)フレームにおいても、第1及び第2の画素領域21a、21bの各々の1行目の画素10から最終行目の画素10まで順に、画素信号の読み出しを行う。出力処理部60のタイミング制御部61は、記憶部62に記憶された第Nフレームの第1の画素領域21aの画素信号を出力部70を介して制御部4に順次出力し、この出力終了後に引き続き、第(N+1)フレームの第2の画素領域21bの画素信号を出力部70を介して制御部4に順次出力する。このような第Nフレームの第1の画素領域21aの画素信号及び第(N+1)フレームの第2の画素領域21bの画素信号の、制御部4への出力は、例えば、第(N+1)フレームの時間間隔4Δtの間に行われる。もちろん、第Nフレームの第1の画素領域21aの画素信号及び第(N+1)フレームの第2の画素領域21bの画素信号の制御部4への出力は、第(N+1)フレームの間に限るものではなく、時間間隔4Δt内であれば、第(N+1)フレームと第(N+2)フレームとに跨がってもよい。
【0040】
こうして、
図4において、破線枠G1で囲われた、第Nフレームの第1の画素領域21aの画素信号と第(N+1)フレームの第2の画素領域21bの画素信号とが一塊の時系列信号として、制御部4の合成部43に送られる。
また、出力処理部60のタイミング制御部61は、第(N+1)フレームにおいて第1の画素領域21aから読み出された画素信号を記憶部62に順次記憶させる。
【0041】
垂直駆動部30は、第(N+2)フレームにおいて、第N及び第(N+1)フレームと同様に、第1及び第2の画素領域21a、21bから、画素信号の読み出しを行う。出力処理部60のタイミング制御部61は、記憶部62に記憶された第(N+1)フレームの第1の画素領域21aの画素信号を出力部70を介して制御部4に順次出力し、この出力終了後に引き続き、第(N+2)フレームの第2の画素領域21bの画素信号を出力部70を介して制御部4に順次出力する。この第(N+1)フレームの第1の画素領域21aの画素信号及び第(N+2)フレームの第2の画素領域21bの画素信号の、制御部4への出力も、例えば、第(N+2)フレームの時間間隔4Δtの間に行われる。この場合も、第(N+1)フレームの第1の画素領域21aの画素信号及び第(N+2)フレームの第2の画素領域21bの画素信号の出力は、第(N+2)フレームの間に限るものではなく、時間間隔4Δt内であれば、第(N+2)フレームと第(N+3)フレームとに跨がってもよい。
【0042】
こうして、
図4において、破線枠G2で囲われた、第(N+1)フレームの第1の画素領域21aの画素信号と第(N+2)フレームの第2の画素領域21bの画素信号とが一塊の時系列信号として、制御部4の合成部43に送られる。
また、出力処理部60のタイミング制御部61は、第(N+2)フレームにおいて第1の画素領域21aから読み出された画素信号を記憶部62に順次記憶させる。
【0043】
制御部4の合成部43は、第Nフレームの第1の画素領域21aの画素信号と、第(N+1)フレームの第2の画素領域21bの画素信号とを合成して、1フレーム分の画像信号を生成する。また、合成部43は、第(N+1)フレームの第1の画素領域21aの画素信号と、第(N+2)フレームの第2の画素領域21bの画素信号とを合成して、1フレーム分の画像信号を生成する。合成部43は、第(N+2)フレームの後の各フレームにおいて撮像素子3から出力される画素信号に対して、同様の合成処理を施すことによって、複数のフレームの画像信号を生成する。動画データ生成部44は、合成部43によって生成された各フレームの画像信号に対して各種の画像処理を行って、動画像データを生成する。
【0044】
図5は、本実施の形態のカメラ1が高速で移動する被写体を動画撮影した場合の被写体像の歪みの有無を説明するための図である。
図5(a)は、矢印方向に高速に移動する被写体90の形状を模式的に示す図である。
図5(b)は、本実施の形態のカメラ1が被写体90を撮像した被写体画像を模式的に示した図である。
図5(c)は、
図5(b)の被写体画像に対する比較例であり、従来の撮像装置による被写体画像を模式的に示す図である。
【0045】
図5(b)において、カメラ1による被写体画像90Aは、例えば第Nフレームの第1の画素領域21aの画素信号による撮像画像101と、例えば第(N+1)フレームの第2の画素領域21bの画素信号による撮像画像102とから構成される。被写体画像90Aは、矩形の被写体90に対して、所謂ローリングシャッタ歪み(フォーカルプレーン歪み)により平行四辺形に変形しているが、しかしながら、撮像画像101の側部101aと撮像画像102の側部102aとは、直線状に滑らかに連なっている。
【0046】
この撮像画像101の側部101aと撮像画像102の側部102aとが直線状に滑らかに連なっているのは、以下の理由である。即ち、
図4に示した第Nフレームの第1の画素領域21a内の行毎の読み出しタイミングA1、A2、A3、A4と第(N+1)フレームの第2の画素領域21b内の行毎の読み出しタイミングB1、B2、B3、B4とが全て、一定間隔(Δt)で行われるからである。
【0047】
図5(c)は、画素部を上下に第1及び第2の画素領域に2分割して同一フレームにおいて第1及び第2の画素領域からそれぞれ読み出した画素信号を合成した場合の被写体画像90Bを、比較例として示すものである。
図5(c)において、例えば第Nフレームの第1の画素領域の画素信号による撮像画像101と、同じ第Nフレームの第2の画素領域の画素信号による撮像画像102とは、その境界が被写体の移動方向にずれてしまう。即ち、撮像画像101の側部101bと撮像画像102の側部102bとは、境界でずれてしまい段差を生じ、被写体90の矩形形状に比べて、非常に不自然な像となってしまう。
【0048】
このように、本実施の形態の撮像素子3では、2つの経路を用いて第1の画素領域21a及び第2の画素領域21bのそれぞれから画素信号の読み出しを行う。また、カメラ1の合成部43は、第1のフレームに第1の画素領域21aから読み出した画素信号と、第2のフレームに第2の画素領域21bから読み出した画素信号とを合成する。この結果、本実施の形態によるカメラ1は、フレームレートを高速化できると共に、不自然な歪みが低減された画像を得ることができる。
【0049】
上述した実施の形態によれば、次の作用効果が得られる。
(1)撮像装置1は、第1方向及び第1方向とは異なる第2方向に配置された複数の画素10を有する第1領域(第1の画素領域21a)と、第1領域に対して第2方向に配置され、第1方向及び第2方向に配置された複数の画素10を有する第2領域(第2の画素領域21b)と、第1領域内の画素10の信号の読み出しを第2方向に第1領域の一方側から他方側に行うと共に第2領域内の画素10の信号の読み出しを第2方向に第2領域の一方側から他方側に行う読み出し動作を、複数回繰り返す読み出し部(撮像制御部42、垂直駆動部30)と、複数回の読み出し動作のうちの、第1の読み出し動作によって第1領域から読み出された信号と、第1の読み出し動作に続く第2の読み出し動作によって第2領域から読み出された信号とから画像を生成する画像生成部(合成部43)と、を備える。このようにしたので、フレームレートを高速化できると共に、不自然な歪みが低減された画像を得ることができる。
【0050】
(第2の実施の形態)
図面を参照して、第2の実施の形態に係る撮像装置を説明する。第2の実施の形態の撮像装置は、
図1に示した撮像装置1の構成と同様の構成を有する。
図6は、第2の実施の形態に係る撮像素子3の一部の構成を示すブロック図である。第1の実施の形態では、画素部20が第1及び第2の画素領域21a、21bに2分割された。これに対して、第2の実施の形態では、画素部が三つの画素領域以上に分割されると共に、各画素領域に対するカラム回路部及び水平転送部が、画素部20が設けられる基板とは別の基板に設けられている。なお、図中、第1の実施の形態と同一もしくは相当部分には、同一の参照番号を付し、相違点を主に説明する。
【0051】
撮像素子3は、第1基板201及び第2基板202を備える。第1基板201及び第2基板202は、それぞれ半導体基板等により構成され、互いに積層されている。第1基板201には、複数の画素10が行方向及び列方向に配置される画素部20が設けられる。画素部20は、第1の画素領域21a、第2の画素領域21b、及び第3の画素領域21cの3つの領域に3等分されている。
【0052】
第1の画素領域21aには、複数の画素10の列毎に垂直信号線25aが設けられる。同様に、第2の画素領域21bには、複数の画素10の列毎に垂直信号線25bが設けられ、第3の画素領域21cには、複数の画素10の列毎に垂直信号線25cが設けられる。第1の画素領域21aの画素10の画素信号は、その画素10に接続された垂直信号線25aに順次読み出される。同様に、第2の画素領域21bの画素10の画素信号は、垂直信号線25bに順次読み出され、第3の画素領域21cの画素10の画素信号は、垂直信号線25cに順次読み出される。
【0053】
第2基板202には、第1のカラム回路部40a及び第1の水平転送部50aと、第2のカラム回路部40b及び第2の水平転送部50bと、第3のカラム回路部40c及び第3の水平転送部50cとが、設けられる。第1の画素領域21aに対して第1のカラム回路部40a及び第1の水平転送部50aが設けられ、第2の画素領域21bに対して第2のカラム回路部40b及び第2の水平転送部50bが設けられ、第3の画素領域21cに対して第3のカラム回路部40c及び第3の水平転送部50cが設けられる。
【0054】
なお、第1基板201と第2基板202とにおいて、第1基板201の第1の画素領域21aと第2基板202の第1のカラム回路部40a及び第1の水平転送部50aとは、位置的に対応、即ち互いに重なっている。同様に、第2の画素領域21bと第2のカラム回路部40b及び第2の水平転送部50bも、位置的に対応しており、また、第3の画素領域21cと第3のカラム回路部40c及び第3の水平転送部50cも、位置的に対応している。
【0055】
垂直信号線25aと第1のカラム回路部40aのアンプ部42aとは、破線210で模式的に示すように、貫通電極やバンプ等を介して接続される。同様に、第2の画素領域21bの画素10と第2のカラム回路部40bのアンプ部42b、第3の画素領域21cの画素10と第3のカラム回路部40cのアンプ部42cは、それぞれ破線210で示すように、貫通電極やバンプ等を介して接続される。
【0056】
第2の実施の形態では、撮像制御部42は、第1の画素領域21a内の画素を順次選択するタイミングと、第2の画素領域21b内の画素を順次選択するタイミングと、第3の画素領域21c内の画素を順次選択するタイミングとを決定する。垂直駆動部30は、第1の画素領域21a内の画素10、第2の画素領域21b内の画素10、及び第3の画素領域21c内の画素10を、行毎に同時に同一方向に走査して画素信号を読み出す。合成部43は、第1のフレームの第1の画素領域21aの各画素の画素信号と、第2のフレームの第2の画素領域21bの各画素の画素信号と、第3のフレームの第3の画素領域21cの各画素の画素信号とを合成して、1フレーム分の画像信号を生成する。
【0057】
このように、本実施の形態による撮像素子3では、画素部20を第1及び第2及び第3の画素領域21a、21b、21cに3分割し、3つの垂直信号線25a、25b、25cを設けている。これにより、1つの垂直信号線の長さが短くなり、1つの垂直信号線に接続される画素10の数が少なくなる。このため、垂直信号線の負荷(寄生容量や寄生抵抗等)を軽減することができ、画素10からの画素信号の読み出し時間を短縮することができる。
【0058】
図7は、第2の実施の形態に係る撮像装置1の撮像制御部42による動画撮影時の画素信号の読み出し方法の一例を示す図である。縦軸は、第1の画素領域21a、第2の画素領域21b、及び第3の画素領域21cのそれぞれの画素10の行を示す。横軸は、第1の画素領域21a、第2の画素領域21b、及び第3の画素領域21cのそれぞれの画素10から画素信号が出力されるタイミング(時刻t)を示す。
図7は、第1、第2、及び第3の画素領域21a、21b、21cの各々について、垂直駆動部30により選択される画素10の行の遷移、即ち画素信号を出力する画素10の遷移を模式的に示している。
図7に示す例では、説明を簡略化するために、第1の画素領域21a、第2の画素領域21b、及び第3の画素領域21cの各々の4行分の画素10から画素信号の読み出しを行う例を示している。矢印C1、C2、C3、C4は、それぞれ第3の画素領域21cの1、2、3、4行目の画素10の画素信号の読み出しが行われることを示す。
【0059】
時刻t1からt2、t2からt3、t3からt4、t4からt5、t5からt6、t6からt7、t7からt8、t8からt9、t9からt10、t10からt11、t11からt12、t12からt13、t13からt14、t14からt15、t15からt16、及びt16からt17の時間間隔は、同一の一定間隔(Δt)である。
【0060】
即ち、各フレームにおいて、第1、第2、及び第3の画素領域21a、21b、21cの1行目、2行目、3行目、4行目の画素10からの画素信号の読み出しは、それぞれが同じ一定間隔(Δt)で行われる。更に、第Nフレームの第1~第3の画素領域21a~21cの4行目(最終行)の読み出し時刻t4と、第(N+1)フレームの第1~第3の画素領域21a~21cの1行目の読み出し時刻t5との間隔も、上述の一定間隔(Δt)である。同様に、第(N+1)フレームの第1~第3の画素領域21a~21cの4行目(最終行)の画素の読み出し時刻t8と、第(N+2)フレームの第1~第3の画素領域21a~21cの1行目の画素の読み出し時刻t9との間隔も、上述の一定間隔(Δt)である。また、第(N+2)フレームの第1~第3の画素領域21a~21cの4行目(最終行)の画素の読み出し時刻t12と、第(N+3)フレームの第1~第3の画素領域21a~21cの1行目の画素の読み出し時刻t13との間隔も、上述の一定間隔(Δt)である。
【0061】
枠G1で囲まれた、第Nフレームの第1の画素領域21aの読み出しA1~A4と、第(N+1)フレームの第2の画素領域21bの読み出しB1~B4と、第(N+2)フレームの第3の画素領域21cの読み出しC1~C4は、互いに同一の間隔(Δt)で行われる。枠G2で囲まれた、第(N+1)フレームの第1の画素領域21aの読み出しA1~A4と、第(N+2)フレームの第2の画素領域21bの読み出しB1~B4と、第(N+3)フレームの第3の画素領域21cの読み出しC1~C4も、互いに同一の間隔(Δt)で行われる。
【0062】
合成部43は、第Nフレームの第1の画素領域21aの画素信号と、第(N+1)フレームの第2の画素領域21bの画素信号と、第(N+2)フレームの第3の画素領域21cの画素信号とを合成して、1フレーム分の画像信号を生成する。同様に、合成部43は、第(N+1)フレームの第1の画素領域21aの画素信号と、第(N+2)フレームの第2の画素領域21bの画素信号と、第(N+3)フレームの第3の画素領域21cの画素信号とを合成して、1フレーム分の画像信号を生成する。このように、合成部43は、連続する三つのフレームのうちの、第1のフレームの第1の画素領域の各画素の画素信号と、第2のフレームの第2の画素領域の各画素の画素信号と、第3のフレームの第3の画素領域の各画素の画素信号とを合成して、1フレーム分の画像信号を生成する。
【0063】
次に、本実施の形態に係るカメラ1の動作を説明する。撮影指示部41が動画撮影を指示すると、撮像制御部42は、第1、第2、及び第3の画素領域21a、21b、21cから
図7に示した読み出しタイミングで画素信号を読み出す。垂直駆動部30は、第Nフレームにおいて、第1、第2、及び第3の画素領域21a、21b、21cの各々の1行目の画素10から最終行目の画素10まで順に、画素信号の読み出しを行う。出力処理部60のタイミング制御部61は、第Nフレームにおいて第1の画素領域21a及び第2の画素領域21bから読み出された画素信号を、記憶部62に順次記憶させる。
【0064】
垂直駆動部30は、第(N+1)フレームにおいて、第1、第2、及び第3の画素領域21a、21b、21cの各々の1行目の画素10から最終行目の画素10まで順に、画素信号の読み出しを行う。タイミング制御部61は、第(N+1)フレームにおいて第1の画素領域21a及び第2の画素領域21bから読み出された画素信号を、記憶部62に順次記憶させる。
【0065】
垂直駆動部30は、第(N+2)フレームにおいて、第1、第2、及び第3の画素領域21a、21b、21cの各々の1行目の画素10から最終行目の画素10まで順に、画素信号の読み出しを行う。タイミング制御部61は、記憶部62に記憶された第Nフレームの第1の画素領域21aの画素信号を、出力部70を介して制御部4に順次出力する。タイミング制御部61は、第Nフレームの第1の画素領域21aの画素信号の出力終了後に引き続き、記憶部62に記憶された第(N+1)フレームの第2の画素領域21bの画素信号を、出力部70を介して制御部4に順次出力する。タイミング制御部61は、第(N+1)フレームの第2の画素領域21aの画素信号の出力終了後に引き続き、第(N+2)フレームの第3の画素領域21cの画素信号を、出力部70を介して制御部4に順次出力する。
【0066】
第Nフレームの第1の画素領域21aの画素信号、第(N+1)フレームの第2の画素領域21bの画素信号、及び第(N+2)フレームの第3の画素領域21cの画素信号の制御部4への出力は、例えば第(N+2)フレームの時間間隔4Δtの間に行われる。 こうして、枠G1で囲われた、第Nフレームの第1の画素領域21aの画素信号と、第(N+1)フレームの第2の画素領域21bの画素信号と、第(N+2)フレームの第3の画素領域21cの画素信号とが一塊の時系列信号として、制御部4に送られる。
また、タイミング制御部61は、第(N+2)フレームにおいて第1の画素領域21a及び第2の画素領域21bから読み出された画素信号を、記憶部62に順次記憶させる。
【0067】
垂直駆動部30は、第(N+3)フレームにおいて、第1、第2、及び第3の画素領域21a、21b、21cから、画素信号の読み出しを行う。タイミング制御部61は、記憶部62に記憶された第(N+1)フレームの第1の画素領域21aの画素信号を、出力部70を介して制御部4に順次出力する。タイミング制御部61は、第(N+1)フレームの第1の画素領域21aの画素信号の出力終了後に引き続き、記憶部62に記憶された第(N+2)フレームの第2の画素領域21bの画素信号を、出力部70を介して制御部4に順次出力する。タイミング制御部61は、第(N+2)フレームの第2の画素領域21aの画素信号の出力終了後に引き続き、第(N+3)フレームの第3の画素領域21cの画素信号を、出力部70を介して制御部4に順次出力する。
【0068】
第(N+1)フレームの第1の画素領域21aの画素信号、第(N+2)フレームの第2の画素領域21bの画素信号、及び第(N+3)フレームの第3の画素領域21cの画素信号の制御部4への出力は、例えば第(N+3)フレームの時間間隔4Δtの間に行われる。こうして、枠G2で囲われた、第(N+1)フレームの第1の画素領域21aの画素信号と、第(N+2)フレームの第2の画素領域21bの画素信号と、第(N+3)フレームの第3の画素領域21cの画素信号とが一塊の時系列信号として、制御部4に送られる。
また、タイミング制御部61は、第(N+3)フレームにおいて第1の画素領域21aから読み出された画素信号と、第(N+3)フレームにおいて第2の画素領域21bから読み出された画素信号とを、記憶部62に順次記憶させる。
【0069】
制御部4の合成部43は、第Nフレームの第1の画素領域21aの画素信号と、第(N+1)フレームの第2の画素領域21bの画素信号と、第(N+2)フレームの第3の画素領域21cの画素信号とを合成して、1フレーム分の画像信号を生成する。また、合成部43は、第(N+1)フレームの第1の画素領域21aの画素信号と、第(N+2)フレームの第2の画素領域21bの画素信号と、第(N+3)フレームの第3の画素領域21cの画素信号とを合成して、1フレーム分の画像信号を生成する。合成部43は、第(N+3)フレームの後の各フレームにおいて撮像素子3から出力される画素信号に対して、同様の合成処理を施すことによって、複数のフレームの画像信号を生成する。動画データ生成部44は、合成部43によって生成された各フレームの画像信号に対して各種の画像処理を行って、動画像データを生成する。
【0070】
本実施の形態のカメラ1では、3つの経路を用いて第1の画素領域21a、第2の画素領域21b、及び第3の画素領域21cのそれぞれから画素信号の読み出しを行う。また、カメラ1の合成部43は、第1のフレームに第1の画素領域21aから読み出した画素信号と、第2のフレームに第2の画素領域21bから読み出した画素信号と、第3のフレームに第3の画素領域21cから読み出した画素信号とを合成する。この結果、本実施の形態によるカメラ1は、フレームレートを高速化できると共に、不自然な歪みが低減された画像を得ることができる。
【0071】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
【0072】
(変形例1)
上述した第1の実施の形態では、第1の画素領域21aの画素10を最下行から最上行に向かって順次選択して読み出すと同時に、第2の画素領域21bの画素10を最下行から最上行に向かって順次選択して読み出す例について説明した。しかし、
図8に示すように、垂直駆動部30は、第1の画素領域21aの画素10を最上行から最下行に向かって順次選択して読み出すと同時に、第2の画素領域21bの画素10を最上行から最下行に向かって順次選択して読み出してもよい。この場合には、出力処理部60は、第1のフレームにおいて第2の画素領域21bから読み出された画素信号を制御部4に出力し、この出力に引き続き次の第2のフレームにおいて第1の画素領域21aから読み出された画素信号を制御部4に出力する。制御部4の合成部43は、第1のフレームの第2の画素領域の各画素の画素信号と第2のフレームの第1の画素領域の各画素の画素信号とを合成して、1フレーム分の画像信号を生成する。
【0073】
上述した第2の実施の形態では、垂直駆動部30は、第1、第2及び第3の画素領域21a、21b、21c内の画素10をそれぞれ最下行から最上行に向かって順次選択して読み出す例を説明した。しかし、垂直駆動部30は、第1の画素領域21a内の画素10と、第2の画素領域21b内の画素10と、第3の画素領域21c内の画素10とを、行毎に同時に最上行から最下行に向かって走査しながら画素信号を読み出すようにしてもよい。出力処理部60は、第1のフレームの第3の画素領域21cの画素信号を制御部4に出力し、これに続き次の第2のフレームの第2の画素領域21bの画素信号を制御部4に出力し、これに続き次の第3のフレームの第1の画素領域21aの画素信号を制御部4に出力する。制御部4の合成部43は、第1のフレームの第3の画素領域の各画素の画素信号と、第2のフレームの第2の画素領域の各画素の画素信号と、第3のフレームの第1の画素領域の各画素の画素信号とを合成して、1フレーム分の画像信号を生成する。
【0074】
(変形例2)
上述した第2の実施の形態では、画素部を3等分する例について説明した。しかし、画素部は4分割以上に分割することができる。画素部を4分割以上に分割した場合には、第4の画素領域以上の各画素領域に対するカラム回路部及び水平転送部も、第2基板202に設けることが望ましい。
【0075】
(変形例3)
また、画素部は必ずしも等分に分割されなくてもよい。例えば、画素部における第1の画素領域内の画素行の数と第2の画素領域内の画素行の数とが異なってもよい。
【0076】
(変形例4)
上述した第1の実施の形態では、第Nフレームの第1の画素領域の画素信号と第(N+1)フレームの第2の画素領域の画素信号とを出力処理部60において、一塊の時系列信号として、制御部4に出力する例について説明した。しかし、撮像素子3に出力処理部60を設けずに、第1及び第2の水平転送部50a、50bによって順次出力される第1及び第2の画素領域からの画素信号を、出力部70を介して制御部4に出力するようにしてもよい。この場合、制御部4は、第1及び第2の画素領域からの画素信号を、制御部4に設けたメモリに記憶させる。合成部43は、メモリから第Nフレームの第1の画素領域の画素信号と第(N+1)フレームの第2の画素領域の画素信号とを読み出して合成し、1フレーム分の画像信号を生成する。第2の実施の形態についても同様である。
【0077】
(変形例5)
上述した実施の形態では、撮像装置1を用いて動画撮影を行う場合について説明した。しかし、動画撮影の代わり、又は動画撮影に加えて、撮像装置1が連写撮影による静止画の撮影を行う場合にも適用できる。
【0078】
(変形例6)
上述した実施の形態では、光電変換部としてフォトダイオードを用いる例について説明した。しかし、光電変換部として光電変換膜を用いるようにしてもよい。
【0079】
(変形例7)
上述の実施の形態および変形例で説明した撮像素子および撮像装置は、カメラ、スマートフォン、タブレット、PCに内蔵のカメラ、車載カメラ、無人航空機(ドローン、ラジコン機等)に搭載されるカメラ等に適用されてもよい。
【0080】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【0081】
1 撮像装置、3 撮像素子、4 制御部、10 画素、20 画素部、21a 第1の画素領域、21b 第2の画素領域、21c 第3の画素領域、30 垂直駆動部、42 撮像制御部、43 合成部、44 動画データ画像生成部