特表-17149962IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2017-149962撮像制御装置、撮像制御方法、およびプログラム
<>
  • 再表WO2017149962-撮像制御装置、撮像制御方法、およびプログラム 図000003
  • 再表WO2017149962-撮像制御装置、撮像制御方法、およびプログラム 図000004
  • 再表WO2017149962-撮像制御装置、撮像制御方法、およびプログラム 図000005
  • 再表WO2017149962-撮像制御装置、撮像制御方法、およびプログラム 図000006
  • 再表WO2017149962-撮像制御装置、撮像制御方法、およびプログラム 図000007
  • 再表WO2017149962-撮像制御装置、撮像制御方法、およびプログラム 図000008
  • 再表WO2017149962-撮像制御装置、撮像制御方法、およびプログラム 図000009
  • 再表WO2017149962-撮像制御装置、撮像制御方法、およびプログラム 図000010
  • 再表WO2017149962-撮像制御装置、撮像制御方法、およびプログラム 図000011
  • 再表WO2017149962-撮像制御装置、撮像制御方法、およびプログラム 図000012
  • 再表WO2017149962-撮像制御装置、撮像制御方法、およびプログラム 図000013
  • 再表WO2017149962-撮像制御装置、撮像制御方法、およびプログラム 図000014
  • 再表WO2017149962-撮像制御装置、撮像制御方法、およびプログラム 図000015
  • 再表WO2017149962-撮像制御装置、撮像制御方法、およびプログラム 図000016
  • 再表WO2017149962-撮像制御装置、撮像制御方法、およびプログラム 図000017
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2017年9月8日
【発行日】2018年12月27日
(54)【発明の名称】撮像制御装置、撮像制御方法、およびプログラム
(51)【国際特許分類】
   H04N 5/235 20060101AFI20181130BHJP
   H04N 5/225 20060101ALI20181130BHJP
   H04N 5/378 20110101ALI20181130BHJP
   H04N 5/345 20110101ALI20181130BHJP
【FI】
   H04N5/235 300
   H04N5/225 300
   H04N5/235 100
   H04N5/378
   H04N5/345
【審査請求】未請求
【予備審査請求】未請求
【全頁数】27
【出願番号】特願2018-502561(P2018-502561)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年1月17日
(31)【優先権主張番号】特願2016-39868(P2016-39868)
(32)【優先日】2016年3月2日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】110001357
【氏名又は名称】特許業務法人つばさ国際特許事務所
(72)【発明者】
【氏名】三上 拓也
【テーマコード(参考)】
5C024
5C122
【Fターム(参考)】
5C024CX37
5C024CX51
5C024GX14
5C024GY39
5C024GY41
5C024HX23
5C024HX29
5C122DA03
5C122DA11
5C122EA12
5C122FC02
5C122FC08
5C122FC11
5C122FF01
5C122FF11
5C122FF23
5C122FH10
5C122FH12
5C122HA13
5C122HA86
5C122HA88
5C122HB01
5C122HB02
5C122HB05
(57)【要約】
本開示の撮像制御装置は、撮像素子における複数の画素に対して読出動作を行い、動体検出結果に基づいて、動体が検出された検出領域に対応する第1の画素に対する読出動作の時間長が、検出領域以外の領域に対応する第2の画素に対する読出動作の時間長と異なるように制御する制御部を備える。
【特許請求の範囲】
【請求項1】
撮像素子における複数の画素に対して読出動作を行い、動体検出結果に基づいて、動体が検出された検出領域に対応する第1の画素に対する前記読出動作の時間長が、前記検出領域以外の領域に対応する第2の画素に対する前記読出動作の時間長と異なるように制御する制御部を備えた
撮像制御装置。
【請求項2】
前記制御部は、さらに、前記複数の画素に対して撮像動作を行い、前記第1の画素に対する前記撮像動作の時間長が、前記第2の画素に対する前記撮像動作の時間長と異なるように制御する
請求項1に記載の撮像制御装置。
【請求項3】
前記制御部は、前記読出動作の対象である画素から供給された画素信号を、その画素信号の信号レベルに応じた長さの画素時間に変換し、その画素時間の長さに基づいてAD変換動作を行うことにより前記読出動作を行う
請求項1に記載の撮像制御装置。
【請求項4】
前記制御部は、信号レベルが順次変化する参照信号を生成する参照信号生成部と、前記画素信号と前記参照信号とを比較することにより比較信号を生成する比較部とを有し、前記比較信号に基づいて前記画素時間の長さを検出する
請求項3に記載の撮像制御装置。
【請求項5】
前記制御部は、前記参照信号の前記信号レベルの変化度合いを制御することにより、前記読出動作の時間長を制御する
請求項4に記載の撮像制御装置。
【請求項6】
前記制御部は、前記読出動作の時間長を制御することにより、フレームレートを制御する
請求項1に記載の撮像制御装置。
【請求項7】
前記制御部は、前記読出動作の時間長を制御することにより、前記読出動作の対象である画素から供給された画素信号に対するAD変換動作の分解能を制御する
請求項1に記載の撮像制御装置。
【請求項8】
前記制御部は、さらに、被写体を認識する画像認識部における認識結果に基づいて、前記読出動作の時間長を制御する
請求項1に記載の撮像制御装置。
【請求項9】
前記撮像素子における前記複数の画素のうちの外側に配置された画素に対して前記読出動作を行い、その読出結果を利用した前記動体検出結果に基づいて、前記読出動作の時間長を制御する
請求項1に記載の撮像制御装置。
【請求項10】
前記撮像素子における前記複数の画素のうちの互いに離間して配置された画素に対して前記読出動作を行い、その読出結果を利用した前記動体検出結果に基づいて、前記読出動作の時間長を制御する
請求項1に記載の撮像制御装置。
【請求項11】
前記撮像素子をさらに備えた
請求項1に記載の撮像制御装置。
【請求項12】
前記制御部は、前記第1の画素に対する前記読出動作の時間長を、前記第2の画素に対する前記読出動作の時間長よりも短くする
請求項1に記載の撮像制御装置。
【請求項13】
前記制御部は、前記第1の画素に対する前記読出動作の時間長を、前記第2の画素に対する前記読出動作の時間長よりも長くする
請求項1に記載の撮像制御装置。
【請求項14】
前記制御部は、前記第1の画素に対する前記撮像動作の時間長を、前記第2の画素に対する前記撮像動作の時間長よりも短くする
請求項2に記載の撮像制御装置。
【請求項15】
撮像素子における複数の画素に対して読出動作を行い、
動体検出結果に基づいて、動体が検出された検出領域に対応する第1の画素に対する前記読出動作の時間長が、前記検出領域以外の領域に対応する第2の画素に対する前記読出動作の時間長と異なるように制御する
撮像制御方法。
【請求項16】
撮像素子における複数の画素に対して読出動作を行い、
動体検出結果に基づいて、動体が検出された検出領域に対応する第1の画素に対する前記読出動作の時間長が、前記検出領域以外の領域に対応する第2の画素に対する前記読出動作の時間長と異なるように制御する
ことを撮像制御装置に行わせるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像動作を制御する撮像制御装置、そのような撮像制御装置において用いられる撮像制御方法、および撮像動作を制御するプログラムに関する。
【背景技術】
【0002】
近年、様々な電子機器に撮像装置が搭載されている。撮像装置には、例えば、被写体に応じて読出領域を設定し、その読出領域から画素信号を読み出す撮像装置が開示されている(例えば特許文献1,2)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−8855号公報
【特許文献2】特開2012−60371号公報
【発明の概要】
【0004】
ところで、撮像装置では、撮像画像の品質(画質)が高いことが望まれており、さらなる画質の向上が期待されている。
【0005】
撮像画像の画質を高めることができる撮像制御装置、撮像制御方法、およびプログラムを提供することが望ましい。
【0006】
本開示の一実施の形態における撮像制御装置は、制御部を備えている。制御部は、撮像素子における複数の画素に対して読出動作を行い、動体検出結果に基づいて、動体が検出された検出領域に対応する第1の画素に対する読出動作の時間長が、検出領域以外の領域に対応する第2の画素に対する読出動作の時間長と異なるように制御するものである。
【0007】
本開示の一実施の形態における撮像制御方法は、撮像素子における複数の画素に対して読出動作を行い、動体検出結果に基づいて、動体が検出された検出領域に対応する第1の画素に対する読出動作の時間長が、検出領域以外の領域に対応する第2の画素に対する読出動作の時間長と異なるように制御するものである。
【0008】
本開示の一実施の形態におけるプログラムは、撮像素子における複数の画素に対して読出動作を行い、動体検出結果に基づいて、動体が検出された検出領域に対応する第1の画素に対する読出動作の時間長が、検出領域以外の領域に対応する第2の画素に対する読出動作の時間長と異なるように制御することを撮像制御装置に行わせるものである。
【0009】
本開示の一実施の形態における撮像制御装置、撮像制御方法、およびプログラムでは、撮像素子における複数の画素に対して読出動作が行われる。その際、動体検出結果に基づいて、動体が検出された検出領域に対応する第1の画素に対する読出動作の時間長が、検出領域以外の領域に対応する第2の画素に対する読出動作の時間長と異なるように制御される。
【0010】
本開示の一実施の形態における撮像制御装置、撮像制御方法、およびプログラムによれば、動体検出結果に基づいて、動体が検出された検出領域に対応する第1の画素に対する読出動作の時間長が、検出領域以外の領域に対応する第2の画素に対する読出動作の時間長と異なるように制御するようにしたので、撮像画像の画質を高めることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果があってもよい。
【図面の簡単な説明】
【0011】
図1】本開示の一実施の形態に係る撮像装置の一構成例を表すブロック図である。
図2図1に示したイメージセンサの一構成例を表すブロック図である。
図3図1に示したイメージセンサの一構成例を表す説明図である。
図4図3に示した画素ブロックの一構成例を表す回路図である。
図5図2に示した読出部の一構成例を表すブロック図である。
図6図5に示した参照信号の一例を表す波形図である。
図7】検出画素の配置例を表す説明図である。
図8図1に示したイメージセンサの一動作例を表すタイミング波形図である。
図9図1に示した撮像装置の一動作例を表すフローチャートである。
図10図1に示したイメージセンサの一動作例を表すタイミング図である。
図11図1に示したイメージセンサの一動作例を表す他のタイミング波形図である。
図12】変形例に係る検出画素の配置例を表す説明図である。
図13】変形例に係る撮像装置の一構成例を表すブロック図である。
図14】変形例に係る撮像装置におけるモニタに表示される表示画像の一例を表す説明図である。
図15】実施の形態を適用したビデオカメラの外観構成を表す斜視図である。
【発明を実施するための形態】
【0012】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.適用例
【0013】
<1.実施の形態>
[構成例]
(全体構成例)
図1は、実施の形態に係る撮像装置(撮像装置1)の一構成例を表すものである。撮像装置1は、電子シャッタ方式を用いた、動画を撮像可能な撮像装置である。なお、本開示の実施の形態に係る撮像制御装置および撮像制御方法は、本実施の形態により具現化されるので、併せて説明する。
【0014】
撮像装置1は、イメージセンサ20と、操作部12と、メモリ13と、モニタ14と、処理部30とを備えている。
【0015】
イメージセンサ20は、撮像動作を行うものであり、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサのチップを用いて構成されるものである。イメージセンサ20は、処理部30から供給される撮像制御信号Sctrlに基づいて撮像動作を行うとともに、取得した撮像画像を画像信号Spicとして処理部30に供給するようになっている。
【0016】
図2は、イメージセンサ20の一構成例を表すものである。イメージセンサ20は、画素アレイ21と、撮像制御部22と、駆動部23とを有している。
【0017】
画素アレイ21は、複数の画素Pがマトリックス状に配置されたものである。画素Pは、受光光量に応じた大きさの信号を出力するものである。
【0018】
図3は、イメージセンサ20の一構成例を表すものである。イメージセンサ20は、上基板28と、下基板29とを有している。上基板28には、画素アレイ21が形成されている。画素アレイ21は、複数(この例では9つ)のエリアに区分され、各エリアに、複数(この例では16個)の画素Pを含む画素ブロックBLが形成されるようになっている。また、下基板29には、駆動部23の読出部50(後述)が形成されている。具体的には、下基板29には、上基板28における画素ブロックBLにそれぞれ対応する位置に、読出部50に含まれるAD変換部ADC(後述)がそれぞれ形成されている。上基板28と下基板29とは、例えばCu−Cu接合により、電気的に接続されるようになっている。なお、この例では、画素アレイ21を9つのエリアに区分したが、これに限定されるものではなく、これに代えて、例えば8つ以下または10個以上のエリアに区分してもよい。また、この例では、画素ブロックBLのそれぞれが16個の画素Pを含むようにしたが、これに限定されるものではなく、これに代えて、例えば15個以下または17個以上の画素Pを含むようにしてもよい。
【0019】
図4は、画素ブロックBLの回路構成の一例を表すものである。画素ブロックBLは、複数の画素P(この例では16個の画素P1〜P16)と、フローティングディフュージョン49と、トランジスタ43〜45とを有している。
【0020】
画素Pは、フォトダイオード41と、トランジスタ42とを有している。フォトダイオード41は、受光量に応じた量の電荷を生成して内部に蓄積する光電変換素子である。フォトダイオード41は、例えば、図示しないカラーフィルタを透過した光を受光するものである。フォトダイオード41のアノードは接地され、カソードはトランジスタ42のソースに接続されている。トランジスタ42は、この例ではN型のMOS(Metal Oxide Semiconductor)トランジスタである。トランジスタ42のゲートには駆動部23の走査部24(後述)により転送制御信号TGが供給されている。具体的には、画素P1のトランジスタ42のゲートには、転送制御信号TG1が供給され、画素P2のトランジスタ42のゲートには、転送制御信号TG2が供給される。画素P3〜P16についても同様である。トランジスタ42のソースはフォトダイオード41のカソードに接続され、ドレインはフローティングディフュージョン49、トランジスタ43のソース、およびトランジスタ44のゲートに接続されている。
【0021】
フローティングディフュージョン49は、電荷を蓄えるものである。この図では、フローティングディフュージョン49を容量素子として描いている。フローティングディフュージョン49は、画素P1〜P16のトランジスタ42のドレイン、トランジスタ43のソース、およびトランジスタ44のゲートに接続されている。
【0022】
この構成により、画素ブロックBLでは、例えば、転送制御信号TG1〜TG16に基づいて、画素P1〜P16のいずれか1つの画素のトランジスタ42がオン状態になり、その画素のフォトダイオード41で発生した電荷がフローティングディフュージョン49に転送される(転送動作)ようになっている。
【0023】
トランジスタ43は、この例ではN型のMOSトランジスタであり、ゲートには駆動部23の走査部24(後述)によりリセット制御信号RSTが供給され、ドレインには電源電圧VDDが供給され、ソースはフローティングディフュージョン49、画素P1〜P16のトランジスタ42のドレイン、およびトランジスタ44のゲートに接続されている。
【0024】
この構成により、画素ブロックBLでは、画素P1〜P16のいずれかからのフローティングディフュージョン49への電荷の転送に先立って、リセット制御信号RSTに基づいてトランジスタ43がオン状態になり、フローティングディフュージョン49に電源電圧VDDが供給される。これにより、画素ブロックBLでは、フローティングディフュージョン49の電圧がリセットされる(リセット動作)ようになっている。
【0025】
トランジスタ44,45は、この例ではN型のMOSトランジスタである。トランジスタ44のゲートはフローティングディフュージョン49、画素P1〜P16のトランジスタ42のドレイン、およびトランジスタ43のソースに接続され、ドレインには電源電圧VDDが供給され、ソースはトランジスタ45のドレインに接続されている。トランジスタ45のゲートには、駆動部23の走査部24(後述)により出力制御信号OUTが供給され、ドレインはトランジスタ44のソースに接続され、ソースは駆動部23の読出部50(後述)に接続されている。
【0026】
この構成により、画素ブロックBLでは、出力制御信号OUTに基づいてトランジスタ45がオン状態になり、トランジスタ44が、フローティングディフュージョン49の電圧に応じた電圧を、信号SIGとして、トランジスタ45を介して出力する。具体的には、トランジスタ44は、後述するように、フローティングディフュージョン49の電圧がリセットされた後のP相(Pre-charge相)期間TPにおいて、その時のフローティングディフュージョン49の電圧に対応する電圧Vresetを信号SIGとして出力する。また、トランジスタ44は、フォトダイオード41からフローティングディフュージョン49へ電荷が転送された後のD相(Data相)期間TDにおいて、その時のフローティングディフュージョン49の電圧に対応する電圧Vsigを信号SIGとして出力するようになっている。
【0027】
なお、画素ブロックBLの構成は、図4に示した構成に限定されるものではない。具体的には、この例では、1つのフローティングディフュージョン49を設けるようにしたが、これに限定されるものではなく、これに代えて、例えば、各画素P1〜P16のそれぞれにフローティングディフュージョンを設けてもよい。
【0028】
撮像制御部22(図2)は、撮像制御信号Sctrlに基づいて、駆動部23に対して制御信号を供給することにより、イメージセンサ20の動作を制御するものである。
【0029】
駆動部23は、画素アレイ21に対して読出駆動を行うものである。駆動部23は、走査部24と、読出部50とを有している。
【0030】
走査部24は、撮像制御部22から供給される制御信号に基づいて、画素アレイ21に含まれる複数の画素ブロックBLの動作をそれぞれ制御するものである。具体的には、走査部24は、画素ブロックBLのそれぞれ対して、転送制御信号TG1〜TG16、リセット制御信号RST、および出力制御信号OUTを含む信号のセットをそれぞれ供給する。これにより、各画素ブロックBLでは、画素P1〜P16が順次選択され、電圧Vresetおよび画素P1〜P16に係る電圧Vsigを含む信号SIGを出力する。このように、撮像装置1では、各画素ブロックBLをそれぞれ別々に制御することにより、各画素ブロックBLが互いに異なる動作を行うことができるようになっている。
【0031】
読出部50は、撮像制御部22から供給される制御信号、および各画素ブロックBLから供給された信号SIGに基づいて、画像信号Spicを生成するものである。
【0032】
図5は、読出部50の一構成例を表すものである。この図では、読出部50に加えて、撮像制御部22をも描いている。読出部50は、参照信号生成部51と、複数のAD(Analog/Digital)変換部ADC(この例では9つのAD変換部ADC1〜ADC9)と、画像信号生成部55と、読出制御部56とを有している。
【0033】
参照信号生成部51は、参照信号REFを生成するものである。参照信号REFは、この例では、P相期間TPおよびD相期間TDにおいて、時間の経過に応じて電圧レベルが徐々に低下する、いわゆるランプ波形を有するものである。
【0034】
図6は、参照信号REFの一波形例を表すものである。参照信号生成部51は、図6に示したように、P相期間TPおよびD相期間TDにおいてランプ波形を有する参照信号REFを生成する。この例では、波形W1は、ランプ波形の傾きが大きいものであり、波形W2は、ランプ波形の傾きが中程度であり、波形W3は、ランプ波形の傾きが小さいものである。具体的には、波形W1におけるランプ波形の傾きは、波形W2におけるランプ波形の傾きの2倍であり、波形W3におけるランプ波形の傾きは、波形W2におけるランプ波形の傾きの半分である。参照信号生成部51は、読出制御部56から供給される制御信号に基づいて、このように、ランプ波形の傾きを変更することができるようになっている。
【0035】
AD変換部ADCは、画素ブロックBLから供給された信号SIG(電圧Vresetおよび電圧Vsig)に基づいてAD変換を行うものである。複数のAD変換部ADCは、複数の画素ブロックBLにそれぞれ対応して設けられている。AD変換部ADCは、コンパレータ53と、カウンタ54とを有している。
【0036】
コンパレータ53は、そのAD変換部ADCに対応する画素ブロックBLから供給された信号SIGと、参照信号REFとを比較して、その比較結果を比較信号CMPとして出力するものである。
【0037】
カウンタ54は、比較信号CMPと、読出制御部56から供給されたクロック信号CLKおよび制御信号CCとに基づいて、カウントアップ動作またはカウントダウン動作を行うものである。具体的には、カウンタ54は、後述するように、P相期間TPでは、制御信号CCに基づいてカウントダウン動作を開始し、比較信号CMPに基づいてカウントダウン動作を停止する。また、カウンタ54は、D相期間TDでは、制御信号CCに基づいてカウントアップ動作を開始し、比較信号CMPに基づいてカウントアップ動作を停止する。そして、カウンタ54は、D相期間TDの後に、その最終カウント値を出力するようになっている。
【0038】
画像信号生成部55は、AD変換部ADC1〜ADC9から供給された最終カウント値に基づいて、画像信号Spicを生成するものである。その際、画像信号生成部55は、読出制御部56から供給される制御信号に基づいて、参照信号REFにおけるランプ波形の傾き、および蓄積時間tc(後述)の長さに応じて最終カウント値を補正することにより、画素値PVを求め、この画素値PVに基づいて、画像信号Spicを生成するようになっている。
【0039】
読出制御部56は、撮像制御部22からの指示に基づいて、クロック信号CLKおよび制御信号CCを生成してAD変換部ADC1〜ADC9に供給することにより、AD変換部ADC1〜ADC9の動作を制御するとともに、参照信号生成部51および画像信号生成部55に対して制御信号を供給することにより、参照信号生成部51および画像信号生成部55の動作を制御するものである。
【0040】
この構成により、読出部50では、後述するように、電圧VsigをAD変換するとともに電圧VresetをAD変換し、そのAD変換結果の差分値を補正することにより、画素値PVを求める。イメージセンサ20では、このような相関2重サンプリングを行うことにより、電圧Vsigに含まれるノイズ成分を取り除くことができる。その結果、撮像装置1では、画質を高めることができるようになっている。
【0041】
また、読出部50では、図6に示したように、参照信号REFにおけるランプ波形の傾きを変更できるようにした。これにより、後述するように、例えば、波形W3を有する参照信号REFを用いた場合には、波形W2を有する参照信号REFを用いた場合に比べて、AD変換における分解能を2倍にすることができ、より高い精度でAD変換を行うことができる。また、例えば、波形W1を有する参照信号REFを用いた場合には、波形W2を有する参照信号REFを用いた場合に比べて、AD変換時間を短くすることができ、その結果、撮像動作におけるフレームレートを高めることができるようになっている。
【0042】
操作部12(図1)は、例えばタッチパネルや各種ボタンを含んで構成されるものであり、ユーザからの操作を受け付けるものである。そして、操作部12は、ユーザからの操作に基づいて制御信号を生成し、その制御信号を処理部30に供給するようになっている。メモリ13は、例えば不揮発性の半導体メモリを含んで構成されるものであり、処理部30から供給された撮像データを記憶するものである。モニタ14は、例えば液晶表示装置を用いて構成されるものであり、処理部30から供給された画像データに基づいて、画像を表示するものである。
【0043】
処理部30は、画像信号Spicに基づいて信号処理を行うものであり、例えば集積回路により構成されるものである。処理部30は、ハードウェアで構成してもよいし、機能の全部または一部をソフトウェアで構成してもよい。処理部30は、制御部31と、動体検出部32と、動体速度検出部33と、画像処理部34と、メモリ制御部35と、表示画像生成部36とを有している。
【0044】
制御部31は、撮像装置1の動作を制御するものである。具体的には、制御部31は、操作部12、動体検出部32、および動体速度検出部33から供給された制御信号に基づいて、処理部30内の各ブロックの動作を制御する。また、制御部31は、撮像制御信号Sctrlを生成して、この撮像制御信号Sctrlをイメージセンサ20に供給することにより、イメージセンサ20の動作を制御する。その際、制御部31は、動体検出部32および動体速度検出部33による検出結果に基づいて、画素ブロックBLごとに駆動方法を設定することができるようになっている。
【0045】
動体検出部32は、画像信号Spicに基づいて、動体を検出するものである。具体的には、動体検出部32は、イメージセンサ20における複数の画素Pのうちの所定の画素P(検出画素Q)における画素値PVの時間変化に基づいて、動体を検出するようになっている。
【0046】
図7は、画素アレイ21における検出画素Qの配置の一例を表すものである。この例では、画素アレイ21における複数の画素Pのうちの最も外側に配置された画素Pを、検出画素Qとして用いている。
【0047】
撮像装置1では、例えば、まず最初に、イメージセンサ20が、これらの検出画素Qにおける画素値PVのみを、所定の頻度で取得する。そして、動体検出部32は、検出画素Qにおける画素値PVの時間変化を検出する。すなわち、この例では、検出画素Qは、画素アレイ21における複数の画素Pのうちの最も外側に配置されているため、動体がイメージセンサ20の撮像可能領域内に入ってきたときに、その動体に応じて複数の検出画素Qのうちの一部の検出画素Qにおける画素値PVが変化する。動体検出部32は、このように、検出画素Qにおける画素値PVに時間変化が生じた場合に、そのような検出画素Qを含む画素ブロックBLの位置を制御部31に通知する。そして、制御部31は、動体検出部32から通知された画素ブロックBLにおける全ての画素P1〜P16の画素値PVを取得するように、イメージセンサ20に対して指示するようになっている。
【0048】
動体速度検出部33は、画像信号Spicに基づいて、動体の速度Vを検出するものである。具体的には、動体速度検出部33は、動体検出部32により動体が検出された画素ブロックBLの画素P1〜P16における画素値PVに基づいて、動体の速度Vを検出するものである。そして、動体速度検出部33は、検出した動体の速度Vを制御部31に通知する。制御部31は、動体速度検出部33が検出した動体の速度Vに基づいて、その画素ブロックBLにおける駆動方法を設定するようになっている。
【0049】
画像処理部34は、画像信号Spicに基づいて、例えばホワイトバランス調整などの所定の画像処理を行うことにより画像信号Spic2を生成するものである。メモリ制御部35は、画像信号Spic2に基づいて、メモリ13に画像を記憶させるものである。表示画像生成部36は、画像信号Spic2に基づいて所定の画像処理を行うことにより、モニタ14に表示する表示画像を生成するものである。
【0050】
ここで、画素アレイ21は、本開示における「撮像素子」の一具体例に対応する。駆動部23および制御部31は、本開示における「制御部」の一具体例に対応する。コンパレータ53は、本開示における「比較部」の一具体例に対応する。
【0051】
[動作および作用]
続いて、本実施の形態の撮像装置1の動作および作用について説明する。
【0052】
(全体動作概要)
まず、図1を参照して、撮像装置1の全体動作概要を説明する。イメージセンサ20は、撮像制御信号Sctrlに基づいて撮像動作を行い、取得した撮像画像を画像信号Spicとして処理部30に供給する。動体検出部32は、イメージセンサ20における複数の画素Pのうちの検出画素Qにおける画素値PVの時間変化に基づいて、動体を検出する。動体速度検出部33は、動体検出部32により動体が検出された画素ブロックBLの画素P1〜P16における画素値PVに基づいて、動体の速度Vを検出する。制御部31は、操作部12、動体検出部32、および動体速度検出部33から供給された制御信号に基づいて、処理部30内の各ブロックの動作を制御する。また、制御部31は、撮像制御信号Sctrlを生成して、この撮像制御信号Sctrlをイメージセンサ20に供給することにより、イメージセンサ20の動作を制御する。画像処理部34は、画像信号Spicに基づいて、例えばホワイトバランス調整などの所定の画像処理を行うことにより画像信号Spic2を生成する。メモリ制御部35は、画像信号Spic2に基づいて、メモリ13に画像を記憶させる。メモリ13は、メモリ制御部35から供給された撮像データを記憶する。表示画像生成部36は、画像信号Spic2に基づいて所定の画像処理を行うことにより、モニタ14に表示する表示画像を生成する。モニタ14は、表示画像生成部36が生成した表示画像を表示する。
【0053】
(詳細動作)
イメージセンサ20では、まず、画素Pが蓄積動作M1を行った後に、読出部50がその画素Pに対して読出動作M2を行う。蓄積動作M1では、フォトダイオード41が、受光量に応じた量の電荷を生成して内部に蓄積する。また、読出動作M2では、画素ブロックBLが、電圧Vresetおよび電圧Vsigを順次出力し、読出部50が、その電圧Vresetおよび電圧Vsigに基づいて画素値PVを求める。ここで、蓄積動作M1は、本開示における「撮像動作」の一具体例に対応する。読出動作M2は、本開示における「読出動作」の一具体例に対応する。
【0054】
図8は、着目した画素ブロックBL1の画素P1に対する読出動作M2の一例を表すものであり、(A)はリセット制御信号RSTの波形を示し、(B)は転送制御信号TG1の波形を示し、(C)は出力制御信号OUTの波形を示し、(D)は参照信号REFの波形を示し、(E)は信号SIGの波形を示し、(F)は比較信号CMPの波形を示し、(G)はクロック信号CLKの波形を示し、(H)はカウンタ54におけるカウント値CNTを示す。ここで、図8(D),(E)では、各信号の波形を同じ電圧軸で示している。
【0055】
イメージセンサ20では、ある1水平期間(1H)において、まず、走査部24が画素ブロックBL1にリセット動作を行わせ、画素ブロックBL1に対応するAD変換部ADC1が、その後のP相期間TPにおいて、画素ブロックBL1が出力した電圧Vresetに基づいてAD変換を行う。そして、走査部24が、画素P1に転送動作を行わせ、AD変換部ADC1が、D相期間TDにおいて、その画素ブロックBL1が出力した電圧Vsigに基づいてAD変換を行う。以下に、この動作について詳細に説明する。
【0056】
まず、タイミングt1において、走査部24は、リセット制御信号RSTの電圧を低レベルから高レベルに変化させる(図8(A))。これにより、画素ブロックBL1では、トランジスタ43がオン状態になり、その結果、フローティングディフュージョン49の電圧が電源電圧VDDに設定され、フローティングディフュージョン49の電圧がリセットされる。また、これと同時に、走査部24は、出力制御信号OUTの電圧を低レベルから高レベルに変化させる(図8(C))。これにより、画素ブロックBL1では、トランジスタ45がオン状態になり、画素ブロックBL1がAD変換部ADC1に電気的に接続される。
【0057】
次に、タイミングt2において、走査部24は、リセット制御信号RSTの電圧を高レベルから低レベルに変化させる(図8(A))。これにより、画素ブロックBL1では、トランジスタ43がオフ状態になる。そして、画素ブロックBL1は、このタイミングt2以降において、このときのフローティングディフュージョン49の電圧に対応する電圧Vresetを信号SIGとして出力する。
【0058】
次に、タイミングt3〜t5の期間(P相期間TP)において、読出部50は、電圧Vresetに基づいてAD変換を行う。具体的には、まず、タイミングt3において、読出制御部56は、クロック信号CLKの生成を開始し(図8(G))、参照信号生成部51は、読出制御部56から供給される制御信号に基づいて、参照信号REFの電圧を、電圧V1から所定の変化度合いで低下させ始める(図8(D))。これに応じて、AD変換部ADC1のカウンタ54は、これ以降、カウントダウン動作を行い、カウント値CNTを順次低下させる(図8(H))。
【0059】
そして、タイミングt4において、参照信号REFの電圧が信号SIGの電圧Vresetを下回る(図8(D),(E))。これに応じて、AD変換部ADC1のコンパレータ53は、比較信号CMPの電圧を高レベルから低レベルに変化させる(図8(F))。その結果、カウンタ54は、カウントダウン動作を停止する(図8(H))。このようにして、AD変換部ADC1は、電圧Vresetをデジタル値(カウント値CNT1)に変換する。
【0060】
次に、タイミングt5において、読出制御部56は、クロック信号CLKの生成を停止し(図8(G))、参照信号生成部51は、読出制御部56から供給される制御信号に基づいて、参照信号REFの電圧の変化を停止させ、その後に、参照信号REFの電圧を電圧V1に戻す(図8(D))。その際、タイミングt6において、参照信号REFの電圧が信号SIGの電圧Vresetを上回る(図8(D),(E))。これに応じて、AD変換部ADC1のコンパレータ53は、比較信号CMPの電圧を低レベルから高レベルに変化させる(図8(F))。
【0061】
そして、タイミングt7において、走査部24は、転送制御信号TG1の電圧を低レベルから高レベルに変化させる(図8(B))。これにより、画素ブロックBL1では、画素P1のトランジスタ42がオン状態になり、その結果、画素P1のフォトダイオード41で発生した電荷がフローティングディフュージョン49に転送される。これに応じて、信号SIGの電圧は徐々に低下する(図8(E))。
【0062】
そして、タイミングt8において、走査部24は、転送制御信号TG1の電圧を高レベルから低レベルに変化させる(図8(B))。これにより、画素ブロックBL1では、画素P1のトランジスタ42がオフ状態になる。そして、画素ブロックBL1は、このタイミングt8以降において、このときのフローティングディフュージョン49の電圧に対応する電圧Vsigを信号SIGとして出力する。
【0063】
次に、タイミングt9〜t11の期間(D相期間TD)において、読出部50は、電圧Vsigに基づいてAD変換を行う。具体的には、まず、タイミングt9において、読出制御部56は、クロック信号CLKの生成を開始し(図8(G))、参照信号生成部51は、読出制御部56から供給される制御信号に基づいて、参照信号REFの電圧を、電圧V1から所定の変化度合いで低下させ始める(図8(D))。これに応じて、AD変換部ADC1のカウンタ54は、これ以降、カウントアップ動作を行い、カウント値CNTを順次上昇させる(図8(H))。
【0064】
そして、タイミングt10において、参照信号REFの電圧が信号SIGの電圧Vsigを下回る(図8(D),(E))。これに応じて、AD変換部ADC1のコンパレータ53は、比較信号CMPの電圧を高レベルから低レベルに変化させる(図8(F))。その結果、カウンタ54は、カウントアップ動作を停止する(図8(H))。このようにして、AD変換部ADC1は、電圧Vsigをデジタル値(カウント値CNT2)に変換する。そして、AD変換部ADC1は、カウント値CNT(CNT2−CNT1)を出力する。
【0065】
次に、タイミングt11において、読出制御部56は、クロック信号CLKの生成を停止し(図8(G))、参照信号生成部51は、読出制御部56から供給される制御信号に基づいて、参照信号REFの電圧の変化を停止させ、その後に、参照信号REFの電圧を電圧V1に戻す(図8(D))。その際、タイミングt12において、参照信号REFの電圧が信号SIGの電圧Vsigを上回る(図8(D),(E))。これに応じて、AD変換部ADC1のコンパレータ53は、比較信号CMPの電圧を低レベルから高レベルに変化させる(図8(F))。
【0066】
次に、タイミングt13において、走査部24は、出力制御信号OUTの電圧を高レベルから低レベルに変化させる(図8(C))。これにより、画素ブロックBL1では、トランジスタ45がオフ状態になり、画素ブロックBL1がAD変換部ADC1から電気的に切り離される。
【0067】
そして、画像信号生成部55は、読出制御部56から供給される制御信号に基づいて、参照信号REFにおけるランプ波形の傾き、および画素Pが蓄積動作M1を行う時間(蓄積時間tc)の長さに応じて、カウント値CNTを補正することにより画素値PVを求め、この画素値PVに基づいて画像信号Spicを生成する。
【0068】
このように、イメージセンサ20では、電圧VresetをAD変換してデジタル値(カウント値CNT1)を取得するとともに、電圧VsigをAD変換してデジタル値(カウント値CNT2)を取得し、デジタル値の差分(CNT2−CNT1)を求めるようにした。イメージセンサ20では、このように相関2重サンプリングを行うようにしたので、電圧Vsigに含まれるノイズ成分を取り除くことができ、その結果、撮像画像の画質を高めることができる。
【0069】
(駆動方法の設定について)
撮像装置1では、動体検出部32および動体速度検出部33による検出結果に基づいて、画素ブロックBLごとに駆動方法を設定する。以下に、この動作について詳細に説明する。
【0070】
図9は、撮像装置1の一動作例を表すものである。撮像装置1では、まず、検出画素Qにおける画素値PVの時間変化を検出する。そして、検出画素Qにおける画素値PVに時間変化が生じた場合には、その検出画素Qを含む画素ブロックBLの全ての画素P1〜P16における画素値PVに基づいて、動体の速度Vを検出し、その動体の速度Vに基づいて、その画素ブロックBLにおける駆動方法を設定する。以下に、この動作について詳細に説明する。
【0071】
まず、イメージセンサ20は、制御部31からの指示に基づいて、検出画素Qに対して読出動作M2を行う(ステップS1)。その際、イメージセンサ20では、例えば、検出画素Q以外の画素Pに対しては、より低い頻度で読出動作M2を行う。
【0072】
次に、動体検出部32は、動体を検出したか否かを確認する(ステップS2)。具体的には、動体検出部32は、検出画素Qにおける画素値PVの時間変化を検出することにより、動体を検出したか否かを確認する。動体を検出していない場合(ステップS2において“N”)には、ステップS1に戻り、動体を検出するまで、ステップS1〜S2を繰り返す。
【0073】
ステップS2において動体を検出した場合には、イメージセンサ20は、制御部31からの指示に基づいて、動体が検出された画素ブロックBLにおける全ての画素Pに対して、読出動作M2を行う(ステップS3)。イメージセンサ20は、このような読出動作M2を、所定の頻度で行う。これにより、処理部30は、その画素ブロックBLにおける画像を順次取得する。
【0074】
次に、動体速度検出部33は、動体の速度Vを検出する(ステップS4)。具体的には、動体速度検出部33は、ステップS3において順次取得した複数の画像に基づいて、動体の速度Vを検出する。
【0075】
次に、制御部31は、動体の速度Vが所定の速度Vthよりも速い(V>Vth)か否かを確認する(ステップS5)。
【0076】
動体の速度Vが所定の速度Vthよりも速い場合(ステップS5において“Y”)には、イメージセンサ20は、制御部31からの指示に基づいて、動体が検出された画素ブロックBLにおけるフレームレートを高くする(ステップS6)。具体的には、イメージセンサ20は、後述するように、例えば読出動作M2を行う時間を短くすることにより、フレームレートを高くする。これにより、撮像装置1では、速く移動する動体を鮮明に撮像することができる。
【0077】
また、動体の速度Vが所定の速度Vthよりも速くない場合(ステップS5において“N”)には、イメージセンサ20は、制御部31からの指示に基づいて、動体が検出された画素ブロックBLにおけるフレームレートを低くする(ステップS7)。具体的には、イメージセンサ20は、後述するように、例えば読出動作M2を行う時間を長くすることにより、フレームレートを低くする。これにより、撮像装置1では、例えば、ゆっくりと移動する動体を、高い分解能できれいに撮像することができる。
【0078】
なお、この例では、動体の速度Vが所定の速度Vthよりも速い場合に、動体が検出された画素ブロックBLにおけるフレームレートを高くしたが、これに限定されるものではない。例えば、動体の速度Vが所定の速度Vthよりも速い場合に、参照信号REFのランプ波形の傾きを小さくすることにより、動体が検出された画素ブロックBLに対するAD変換を高い分解能で行うようにしてもよい。この動作は、ユーザが操作部12を用いて予め設定するようにしてもよい。
【0079】
次に、制御部31は、ユーザから撮影終了が指示されたか否か確認する(ステップS8)。撮影終了が指示されていない場合(ステップS8において“N”)には、ステップS1に戻る。また、撮影終了が指示された場合(ステップS8において“Y”)には、このフローを終了する。
【0080】
(フレームレートの変更)
次に、図9のステップS6,S7におけるフレームレートの変更について説明する。
【0081】
図10は、イメージセンサ20の一動作例を表すものであり、(A)はフレームレートが低い場合を示し、(B)はフレームレートが高い場合を示す。この例では、画素ブロックBLにおける複数の画素Pは、時間Δtの間隔で蓄積動作M1を順次開始する。そして、読出部50は、画素Pが所定時間にわたり蓄積動作M1を行った後、その画素Pに対して読出動作M2を行う。
【0082】
図10(A)に示したように、フレームレートを低くする場合には、イメージセンサ20は、この例では、蓄積動作M1を行う蓄積時間tcを長くするとともに読出動作M2を行う読出時間trを長くする。これにより、走査時間tscanが長くなるため、フレームレートが低くなる。また、図10(B)に示したように、フレームレートを高くする場合には、イメージセンサ20は、この例では、蓄積時間tcを短くするとともに読出時間trを短くする。これにより、走査時間tscanが短くなるため、フレームレートが高くなる。
【0083】
図11(A)〜(G)は、フレームレートが低い場合における、画素P1に対する読出動作M2の一例を表すものであり、図11(H)〜(N)は、フレームレートが高い場合における、画素P1に対する読出動作M2の一例を表すものである。
【0084】
フレームレートが低い場合には、画素ブロックBLは、図11(A)〜(G)に示したように、タイミングt11〜t12までの期間において、リセット制御信号RST、転送制御信号TG1、および出力制御信号OUTに基づいて、リセット動作、電圧Vresetの出力、転送動作、および電圧Vsigの出力を行う。フレームレートが低い場合には、参照信号生成部51は、参照信号REFにおけるランプ波形の傾きを小さくする(図11(D))。そして、AD変換部ADCは、このような参照信号REFを用いて、AD変換を行う。これにより、読出部50では、AD変換における分解能を高くすることができ、より高い精度でAD変換を行うことができる。これにより、撮像装置1では、例えば、動体を高い分解能できれいに撮像することができる。
【0085】
また、フレームレートが高い場合には、画素ブロックBLは、図11(H)〜(N)に示したように、タイミングt13〜t14までの期間において、リセット制御信号RST、転送制御信号TG1、および出力制御信号OUTに基づいて、リセット動作、電圧Vresetの出力、転送動作、および電圧Vsigの出力を行う。フレームレートが高い場合には、参照信号生成部51は、参照信号REFにおけるランプ波形の傾きを大きくする(図11(K))。そして、AD変換部ADCは、このような参照信号REFを用いて、AD変換を行う。これにより、読出部50では、読出時間trを短くすることができ、走査時間tscanを短くすることができる。これにより、撮像装置1では、速く移動する動体を鮮明に撮像することができる。
【0086】
画像信号生成部55は、参照信号REFにおけるランプ波形の傾きに応じてカウント値CNTを補正することにより画素値PVを求める。このとき、例えばフレームレートが高い場合には、ランプ波形の傾きが大きいため、カウンタ54の最終カウント値は、フレームレートが低い場合に比べて小さくなる。さらに、この例では、図10(B)に示したように、蓄積時間tcの長さも短くしているため、カウンタ54の最終カウント値は、さらに小さくなる。よって、画像信号生成部55は、参照信号REFにおけるランプ波形の傾き、および蓄積時間tcの長さに応じて、カウンタ54の最終カウント値を補正することにより画素値PVを求める。これにより、撮像装置1では、フレームレートによらず、同様の画素値PVを得ることができる。
【0087】
このように、撮像装置1では、被写体に応じて、複数の画素ブロックBLのそれぞれに対する駆動方法を制御するようにした。具体的には、動体が検出された画素ブロックBLに対して、その動体の速度Vに応じて駆動方法を変更するようにした。これにより、撮像装置1では、画素ブロックBLごとに、被写体に応じて適切な撮影方法を選択することができる。例えば、動体の速度Vに応じてフレームレートを変更するようにした場合には、速く移動する動体を鮮明に撮像することができる。また、例えば、動体の速度Vに応じて、AD変換の分解能を高くするようにした場合には、動体を高い分解能できれいに撮像することができる。その結果、撮像装置1では、撮像画像の画質を高めることができる。
【0088】
また、撮像装置1では、検出画素Qに対して読出動作M2を行い、検出画素Qにおける画素値PVに基づいて動体を検出した場合に、その検出画素Qを含む画素ブロックBLにおける全ての画素P1〜P16に対して読出動作M2を行うようにした。これにより、動体を検出するまでの間は、検出画素Q以外の画素Pに対して、より低い頻度で読出動作M2を行うことができるため、消費電力を低減することができる。
【0089】
特に、撮像装置1では、検出画素Qを、画素アレイ21における複数の画素Pのうちの最も外側に配置したので、動体がイメージセンサ20の撮像可能領域内に入ってくるまで、画素アレイ21における複数の画素Pのうちの検出画素Q以外の画素Pに対して、より低い頻度で読出動作M2を行うことができるため、消費電力を低減することができる。
【0090】
また、撮像装置1では、動体の速度Vに応じて、画素ブロックBLにおけるフレームレートを制御するようにしたので、動体の速度Vが低い画素ブロックBLにおけるフレームレートを低くすることができるため、消費電力を低減することができる。
【0091】
[効果]
以上のように本実施の形態では、被写体に応じて、複数の画素ブロックのそれぞれに対する駆動方法を制御するようにしたので、画素ブロックごとに、被写体に応じて適切な撮影方法を選択することができる。その結果、撮像画像の画質を高めることができる。
【0092】
本実施の形態では、検出画素に対して読出動作を行い、検出画素における画素値に基づいて動体を検出した場合に、その検出画素を含む画素ブロックにおける全ての画素に対して読出動作を行うようにしたので、消費電力を低減することができる。
【0093】
本実施の形態では、検出画素を、画素アレイにおける複数の画素のうちの最も外側に配置したので、動体がイメージセンサの撮像可能領域内に入ってくるまで、画素アレイにおける複数の画素のうちの検出画素以外の画素に対して、より低い頻度で読出動作を行うことができるため、消費電力を低減することができる。
【0094】
本実施の形態では、動体の速度に応じて、画素ブロックにおけるフレームレートを制御するようにしたので、消費電力を低減することができる。
【0095】
[変形例1]
上記実施の形態では、動体の速度Vに基づいて蓄積時間tcおよび読出時間trの両方を変更したが、これに限定されるものではない。これに代えて、例えば、動体の速度Vに基づいて蓄積時間tcを変更してもよいし、動体の速度Vに基づいて読出時間trを変更してもよい。また、上記実施の形態では、動体の速度Vに基づいてフレームレートを変更したが、これに限定されるものではなく、AD変換における分解能を変更してもよい。
【0096】
[変形例2]
上記実施の形態では、動体検出部32が、検出画素Qにおける画素値PVに基づいて動体を検出した場合に、イメージセンサ20が、その検出画素Qを含む画素ブロックBLにおける全ての画素Pに対して読出動作M2を行うようにしたが、これに限定されるものではない。これに加え、例えば、動体速度検出部33が、ある画素ブロックBLにおける動体の速度Vを検出した結果、その動体が隣の画素ブロックBLに移動しつつあると判断した場合に、イメージセンサ20が、動体が移動しつつある隣の画素ブロックBLにおける全ての画素Pに対して読出動作M2を行うようにしてもよい。
【0097】
[変形例3]
上記実施の形態では、検出画素Qを、画素アレイ21における複数の画素Pのうちの最も外側に配置したが、これに限定されるものではない。これに代えて、例えば、図12に示すように、検出画素Qを、画素アレイ21全体にわたって均一になるように配置してもよい。これにより、例えば、動体がイメージセンサ20の撮像可能領域に入ってきた場合に加え、撮像可能領域内において静止していた物体が動き出した場合でも、その物体を動体として検出することができる。
【0098】
[変形例4]
上記実施の形態では、イメージセンサ20は、図9に示したように、動体が検出された画素ブロックBLにおける全ての画素P1〜P16に対して読出動作M2を行い(ステップS3)、動体速度検出部33は、この画素P1〜P16における画素値PVに基づいて動体の速度Vを求めた(ステップS4)が、これに限定されるものではない。例えば、検出画素Qを図12のように配置した場合には、動体速度検出部33が、この検出画素Qにおける画素値PVに基づいて動体の速度Vを求めてもよい。すなわち、検出画素Qを図12のように配置した場合には、撮像装置1は、検出画素Qにおける画素値PVに基づいて、粗い撮像画像を取得することができるので、この粗い撮像画像に基づいて、動体の速度Vを求めることができる。
【0099】
[変形例5]
上記実施の形態では、処理部30を集積回路により構成したが、これに限定されるものではない。これに代えて、例えば、処理部30の全部または一部のブロックをイメージセンサに集積してもよい。具体的には、例えば、図13に示す撮像装置1Eのように、動体検出部32および動体速度検出部33をイメージセンサ20Eに集積してもよい。撮像装置1Eは、イメージセンサ20Eと、処理部30Eとを備えている。イメージセンサ20Eは、制御部311Eと、動体検出部32と、動体速度検出部33とを有している。処理部30Eは、制御部312Eを有している。制御部311E,312Eは、上記実施の形態の制御部31に対応するものである。なお、これに限定されるものではなく、例えば、さらに画像処理部34をイメージセンサに集積してもよい。
【0100】
[変形例6]
上記実施の形態では、画像処理部34が、画像信号Spicに基づいて所定の画像処理を行ったが、その際、全体画像に対していわゆるブレンディング処理を行ってもよい。すなわち、画素ブロックBLによって駆動方法が異なる場合には、画素ブロックBLの境界付近の画像が不自然になるおそれがあるので、このように全体画像に対してブレンディング処理を行うことにより、画素ブロックBLの境界付近における画像の不自然さが目立たないようにすることができる。
【0101】
[変形例7]
上記実施の形態では、被写体に応じて、複数の画素ブロックBLのそれぞれに対する駆動方法を制御するようにしたが、その際、例えば、画像処理部34が、被写体の種類を判断し、その種類に応じて、駆動方法を設定するようにしてもよい。具体的には、例えば、1つのエリア(画素ブロックBL)において、人および車の両方が動体として検出された場合において、動体速度検出部33は、車の速度Vではなく、人の速度Vを検出するようにしてもよい。すなわち、この例では、撮像装置1は、車よりも人の方が優先されるように設定されている。また、例えば、あるエリア(画素ブロックBL)において人が動体として検出され、他のエリアにおいて車が動体として検出された場合において、人が検出された画素ブロックBLに対して駆動方法を変更せず、車が検出された画素ブロックBLについて駆動方法を変更してもよい。この例では、撮像装置1は、人よりも車の方が優先されるように設定されている。ここで、画像処理部34は、本開示における「画像認識部」の一具体例に対応する。
【0102】
[変形例8]
上記実施の形態では、動体速度検出部33は、動体の速度Vを検出したが、その際、その動体の奥行情報(デプス情報)をも取得してもよい。この場合、制御部31は、そのデプス情報にも基づいて複数の画素ブロックBLのそれぞれに対する駆動方法を制御してもよい。
【0103】
[変形例9]
上記実施の形態では、蓄積時間tcを制御するようにしたが、その際、あるエリアにおいて蓄積時間tcを短くするとともに複数回撮像動作を行い、得られた複数の撮像画像を合成してもよい。
【0104】
[変形例10]
上記実施の形態では、画素アレイ21に複数の画素Pを設けたが、その複数の画素Pのうちの検出画素Q以外の画素の一部を、赤外線を検出可能な画素で構成し、動体検出部32が動体を検出した場合において、その赤外線を検出可能な画素に対して読出動作M2を行うようにしてもよい。
【0105】
[変形例11]
上記実施の形態では、表示画像生成部36は、画像信号Spic2に基づいて所定の画像処理を行うことにより、モニタ14に表示する表示画像を生成したが、その際、検出した動体を囲む枠をモニタ14に表示させる動作モードを設けてもよい。図14は、この動作モードにおいてモニタ14に表示される表示画像PPの一例を表すものである。この例では、走行する車(動体)を検出し、その車を囲む枠FAを表示している。この図14において、領域RAは、動体検出結果に基づいて駆動方法が変更されたエリア(1または複数の画素ブロックBL)を示している。この例では、制御部31は、動体速度検出部33における検出結果に基づいて、走行する車の全体像とその走行方向(この例では左方向)を認識し、車全体を含みかつその走行方向にマージンを設けた領域RAにおいて、例えばフレームレートを高くする。なお、この例では、領域RAを枠FAよりも大きくしたが、これに限定されるものではなく、これに代えて、例えば、領域RAを枠FAと一致させてもよい。
【0106】
[その他の変形例]
また、これらの変形例のうちの2以上を組み合わせてもよい。
【0107】
<2.適用例>
次に、上記実施の形態および変形例で説明した撮像装置の適用例について説明する。
【0108】
図15は、上記実施の形態等の撮像装置が適用されたビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部610、レンズ620、スタート/ストップスイッチ630、および表示部640を有している。このビデオカメラには、上記実施の形態等の撮像装置が適用されている。
【0109】
上記実施の形態等の撮像装置は、このようなビデオカメラの他、デジタルカメラ、ステレオカメラ、携帯電話等の携帯端末装置などのあらゆる分野の電子機器に適用することが可能である。この撮像装置は、例えば、顔、人物、車などを監視する監視カメラに適用することができる。また、例えば、歩行者、車、信号機などを監視する車載カメラに適用してもよい。
【0110】
以上、いくつかの実施の形態および変形例、ならびにそれらの適用例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
【0111】
例えば、上記の各実施の形態では、撮像装置1は動画を撮像するものとしたが、これに限定されるものではない。例えば静止画を撮像してもよいし、連写画像を撮像してもよい。また、いわゆるタイムラプス動画を撮像してもよい。この場合には、例えば、画素ブロックBLごとに、蓄積時間tcやAD変換における分解能を設定することができる。
【0112】
例えば、上記の各実施の形態では、画素ブロックBLに含まれる複数の画素Pが1つの矩形のエリアを構成するようにしたが、これに限定されるものではなく、これに代えて、例えば、画素ブロックBLに含まれる複数の画素Pが、垂直方向に延伸する帯状のエリアを構成するようにしてもよい。
【0113】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0114】
なお、本技術は以下のような構成とすることができる。
【0115】
(1)撮像素子における複数の画素に対して読出動作を行い、動体検出結果に基づいて、動体が検出された検出領域に対応する第1の画素に対する前記読出動作の時間長が、前記検出領域以外の領域に対応する第2の画素に対する前記読出動作の時間長と異なるように制御する制御部を備えた
撮像制御装置。
(2)前記制御部は、さらに、前記複数の画素に対して撮像動作を行い、前記第1の画素に対する前記撮像動作の時間長が、前記第2の画素に対する前記撮像動作の時間長と異なるように制御する
前記(1)に記載の撮像制御装置。
(3)前記制御部は、前記読出動作の対象である画素から供給された画素信号を、その画素信号の信号レベルに応じた長さの画素時間に変換し、その画素時間の長さに基づいてAD変換動作を行うことにより前記読出動作を行う
前記(1)または(2)に記載の撮像制御装置。
(4)前記制御部は、信号レベルが順次変化する参照信号を生成する参照信号生成部と、前記画素信号と前記参照信号とを比較することにより比較信号を生成する比較部とを有し、前記比較信号に基づいて前記画素時間の長さを検出する
前記(3)に記載の撮像制御装置。
(5)前記制御部は、前記参照信号の前記信号レベルの変化度合いを制御することにより、前記読出動作の時間長を制御する
前記(4)に記載の撮像制御装置。
(6)前記制御部は、前記読出動作の時間長を制御することにより、フレームレートを制御する
前記(1)から(5)のいずれかに記載の撮像制御装置。
(7)前記制御部は、前記読出動作の時間長を制御することにより、前記読出動作の対象である画素から供給された画素信号に対するAD変換動作の分解能を制御する
前記(1)から(6)のいずれかに記載の撮像制御装置。
(8)前記制御部は、さらに、被写体を認識する画像認識部における認識結果に基づいて、前記読出動作の時間長を制御する
前記(1)から(7)のいずれかに記載の撮像制御装置。
(9)前記撮像素子における前記複数の画素のうちの外側に配置された画素に対して前記読出動作を行い、その読出結果を利用した前記動体検出結果に基づいて、前記読出動作の時間長を制御する
前記(1)から(8)のいずれかに記載の撮像制御装置。
(10)前記撮像素子における前記複数の画素のうちの互いに離間して配置された画素に対して前記読出動作を行い、その読出結果を利用した前記動体検出結果に基づいて、前記読出動作の時間長を制御する
前記(1)から(8)のいずれかに記載の撮像制御装置。
(11)前記撮像素子をさらに備えた
前記(1)から(10)のいずれかに記載の撮像制御装置。
(12)前記制御部は、前記第1の画素に対する前記読出動作の時間長を、前記第2の画素に対する前記読出動作の時間長よりも短くする
前記(1)から(11)のいずれかに記載の撮像制御装置。
(13)前記制御部は、前記第1の画素に対する前記読出動作の時間長を、前記第2の画素に対する前記読出動作の時間長よりも長くする
前記(1)から(11)のいずれかに記載の撮像制御装置。
(14)前記制御部は、前記第1の画素に対する前記撮像動作の時間長を、前記第2の画素に対する前記撮像動作の時間長よりも短くする
前記(2)に記載の撮像制御装置。
(15)撮像素子における複数の画素に対して読出動作を行い、
動体検出結果に基づいて、動体が検出された検出領域に対応する第1の画素に対する前記読出動作の時間長が、前記検出領域以外の領域に対応する第2の画素に対する前記読出動作の時間長と異なるように制御する
撮像制御方法。
(16)撮像素子における複数の画素に対して読出動作を行い、
動体検出結果に基づいて、動体が検出された検出領域に対応する第1の画素に対する前記読出動作の時間長が、前記検出領域以外の領域に対応する第2の画素に対する前記読出動作の時間長と異なるように制御する
ことを撮像制御装置に行わせるプログラム。
【0116】
本出願は、日本国特許庁において2016年3月2日に出願された日本特許出願番号2016−039868号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
【0117】
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
【国際調査報告】