特開2019-4382(P2019-4382A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーセミコンダクタソリューションズ株式会社の特許一覧
<>
  • 特開2019004382-撮像装置 図000003
  • 特開2019004382-撮像装置 図000004
  • 特開2019004382-撮像装置 図000005
  • 特開2019004382-撮像装置 図000006
  • 特開2019004382-撮像装置 図000007
  • 特開2019004382-撮像装置 図000008
  • 特開2019004382-撮像装置 図000009
  • 特開2019004382-撮像装置 図000010
  • 特開2019004382-撮像装置 図000011
  • 特開2019004382-撮像装置 図000012
  • 特開2019004382-撮像装置 図000013
  • 特開2019004382-撮像装置 図000014
  • 特開2019004382-撮像装置 図000015
  • 特開2019004382-撮像装置 図000016
  • 特開2019004382-撮像装置 図000017
  • 特開2019004382-撮像装置 図000018
  • 特開2019004382-撮像装置 図000019
  • 特開2019004382-撮像装置 図000020
  • 特開2019004382-撮像装置 図000021
  • 特開2019004382-撮像装置 図000022
  • 特開2019004382-撮像装置 図000023
  • 特開2019004382-撮像装置 図000024
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-4382(P2019-4382A)
(43)【公開日】2019年1月10日
(54)【発明の名称】撮像装置
(51)【国際特許分類】
   H04N 5/355 20110101AFI20181207BHJP
   H04N 5/3745 20110101ALI20181207BHJP
   H04N 5/376 20110101ALI20181207BHJP
   H04N 5/374 20110101ALI20181207BHJP
【FI】
   H04N5/355 720
   H04N5/3745 700
   H04N5/376
   H04N5/374
【審査請求】未請求
【請求項の数】15
【出願形態】OL
【全頁数】33
(21)【出願番号】特願2017-118894(P2017-118894)
(22)【出願日】2017年6月16日
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
【住所又は居所】神奈川県厚木市旭町四丁目14番1号
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】田中 秀樹
【住所又は居所】神奈川県厚木市旭町四丁目14番1号 ソニーセミコンダクタソリューションズ株式会社内
(72)【発明者】
【氏名】河津 直樹
【住所又は居所】神奈川県厚木市旭町四丁目14番1号 ソニーセミコンダクタソリューションズ株式会社内
【テーマコード(参考)】
5C024
【Fターム(参考)】
5C024BX01
5C024CX47
5C024CX61
5C024GX03
5C024GX14
5C024GX16
5C024GY31
5C024HX55
(57)【要約】
【課題】露光時間を細かく制御することができるようにする。
【解決手段】複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する画素のアドレスを記憶する第1のアドレス記憶部と、第1のアドレス記憶部から転送されたアドレスを記憶する第2のアドレス記憶部とを備え、第2のアドレス記憶部に記憶されたアドレスに基づき、露光の開始を制御する。第1のアドレス記憶部から第2のアドレス記憶部へのアドレスの転送を制御する転送制御部をさらに備える。本技術は、例えば、異なる露光時間で撮像された画像を合成して1枚の画像を生成する撮像装置に適用できる。
【選択図】図11
【特許請求の範囲】
【請求項1】
複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する画素のアドレスを記憶する第1のアドレス記憶部と、
前記第1のアドレス記憶部から転送された前記アドレスを記憶する第2のアドレス記憶部と
を備え、
前記第2のアドレス記憶部に記憶された前記アドレスに基づき、前記露光の開始を制御する
撮像装置。
【請求項2】
前記第1のアドレス記憶部から前記第2のアドレス記憶部への前記アドレスの転送を制御する転送制御部をさらに備える
請求項1に記載の撮像装置。
【請求項3】
前記第1のアドレス記憶部は、デコードされた前記アドレスを記憶し、
前記第2のアドレス記憶部は、前記露光が開始されるより前の時点に、前記第1のアドレス記憶部から転送されてきた前記アドレスを記憶する
請求項1に記載の撮像装置。
【請求項4】
前記第1のアドレス記憶部への前記アドレスの記憶と、前記第1のアドレス記憶部から前記第2のアドレス記憶部への前記アドレスの転送は、1水平同期期間内に行われる
請求項1に記載の撮像装置。
【請求項5】
前記露光は、1水平同期期間内の所定のタイミングで開始され、前記所定のタイミングは可変とされている
請求項1に記載の撮像装置。
【請求項6】
前記転送制御部は、前記第1のアドレス記憶部が、前記アドレスを記憶している状態であるか否かを監視し、前記アドレスを記憶している状態であるとき、前記第2のアドレス記憶部に前記アドレスを転送させる
請求項2に記載の撮像装置。
【請求項7】
前記転送制御部は、前記第1のアドレス記憶部が記憶している前記アドレスを記憶し、
前記第1のアドレス記憶部が、前記アドレスを記憶していない状態であり、前記転送制御部が、前記アドレスを記憶している状態のとき、前記第2のアドレス記憶部をリセットする
請求項2に記載の撮像装置。
【請求項8】
前記転送制御部は、前記第1のアドレス記憶部が、前記アドレスを記憶している状態のときに、リセットを指示する信号を受信した場合、記憶しているアドレスをリセットする
請求項2に記載の撮像装置。
【請求項9】
異なる露光時間で撮像された画像を合成した画像を生成する撮像装置であり、
前記異なる露光時間毎に、前記露光の開始を調整する
請求項1に記載の撮像装置。
【請求項10】
前記露光時間と、前記画素からの信号の読み出しの周期が重なった場合、前記読み出しのタイミングをずらして読み出しを行う
請求項9に記載の撮像装置。
【請求項11】
複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する画素のアドレスを記憶する第1の露光用アドレス記憶部と第2の露光用アドレス記憶部と、
読み出しを行う画素のアドレスを記憶する読み出し用アドレス記憶部と
を備える撮像装置。
【請求項12】
前記第1の露光用アドレス記憶部と、前記第2の露光用アドレス記憶部は、それぞれラッチで構成されている
請求項11に記載の撮像装置。
【請求項13】
異なる露光時間で画像を撮像し、
前記ラッチは、前記異なる露光時間の数に応じたビット数で構成される
請求項11に記載の撮像装置。
【請求項14】
前記第1の露光用アドレス記憶部と同様の構成を含み、前記第1の露光用アドレス記憶部に記憶されている前記アドレスを記憶する第3の露光用アドレス記憶部をさらに備える
請求項11に記載の撮像装置。
【請求項15】
前記第1の露光用アドレス記憶部に記憶されている前記アドレスは、所定のタイミングで、前記第2の露光用アドレス記憶部と前記3の露光用アドレス記憶部に転送される
請求項14に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は撮像装置に関し、例えば、露光時間を細かく設定できるようにした撮像装置に関する。
【背景技術】
【0002】
近年、ビデオカメラやデジタルスチルカメラなどの応用に適した固体撮像装置として知られるCCD(Charge Coupled Device)イメージセンサや増幅型のイメージセンサは、高感度での画素数の増加やイメージサイズの縮小による画素サイズの微細化が進んでいる。一方で、一般にCCDイメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像装置は、屋内や野外、昼間や夜間といった多様な環境下で使用される傾向があり、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御することによって露光時間を調整し、感度を最適値にする電子シャッタ動作などが必要となることが多い。
【0003】
ところで、CMOSイメージセンサにおいて、そのダイナミックレンジを拡大する方法として、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、1つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像(HDR画像)を得ることができる。
【0004】
例えば特許文献1は、複数の異なる露光時間を設定した2枚の画像を撮影し、これらの画像を合成して広いダイナミックレンジの画像を得る構成を開示している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2000−50151号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に記載された構成は、長時間露光画像と短時間露光画像を個別に撮影して合成するという処理を行うことが必要となる。この場合、長時間露光画像と短時間露光画像の撮像時の露光時間を、それぞれ適切に調整する必要がある。
【0007】
本技術は、このような状況に鑑みてなされたものであり、露光時間を細かく調整することができるようにするものである。
【課題を解決するための手段】
【0008】
本技術の一側面の第1の撮像装置は、複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する 画素のアドレスを記憶する第1のアドレス記憶部と、前記第1のアドレス記憶部から転送された前記アドレスを記憶する第2のアドレス記憶部とを備え、前記第2のアドレス記憶部に記憶された前記アドレスに基づき、前記露光の開始を制御するする。
【0009】
本技術の一側面の第2の撮像装置は、複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する画素のアドレスを記憶する第1の露光用アドレス記憶部と第2の露光用アドレス記憶部と、読み出しを行う画素のアドレスを記憶する読み出し用アドレス記憶部とを備える。
【0010】
本技術の一側面の第1の撮像装置においては、複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する画素のアドレスを記憶する第1のアドレス記憶部と、第1のアドレス記憶部から転送されたアドレスを記憶する第2のアドレス記憶部とが備えられる。露光は、第2のアドレス記憶部に記憶されたアドレスに基づき制御される。
【0011】
本技術の一側面の第2の撮像装置においては、複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する画素のアドレスを記憶する第1の露光用アドレス記憶部と第2の露光用アドレス記憶部と、読み出しを行う画素のアドレスを記憶する読み出し用アドレス記憶部とが備えられる。
【0012】
なお、撮像装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【0013】
本技術の一側面によれば、露光時間を細かく調整することができる。
【0014】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0015】
図1】本技術を適用した撮像装置の一実施の形態の構成を示す図である。
図2】画素の構成について説明するための図である。
図3】画素を駆動する駆動パルスを示す図である。
図4】AD変換部の駆動を説明する図である。
図5】画素配置について説明するための図である。
図6】シャッタと読み出しのタイミングについて説明するための図である。
図7】画素を駆動する駆動パルスを示す図である。
図8】シャッタと読み出しのタイミングが重なる場合について説明するための図である。
図9】シャッタと読み出しのタイミングが重なったときの電荷の流れについて説明するための図である。
図10】シャッタと読み出しのタイミングについて説明するための図である。
図11】アドレスレコーダの構成について説明するための図である。
図12】シャッタのタイミングについて説明するための図である。
図13】シャッタのタイミングについて説明するための図である。
図14】アドレス記憶部の状態遷移について説明するための図である。
図15】アドレス記憶部の内部構成例について説明するための図である。
図16】シャッタアドレスの転送タイミングについて説明するための図である。
図17】アドレス記憶部の他の内部構成例について説明するための図である。
図18】シャッタアドレスの転送タイミングについて説明するための図である。
図19】シャッタアドレスの転送タイミングについて説明するための図である。
図20】電子機器に搭載される撮像装置の構成例を示すブロック図である。
図21】車両制御システムの概略的な構成の一例を示すブロック図である。
図22】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【0016】
以下に、本技術を実施するための形態(以下、実施の形態という)について説明する。
【0017】
<撮像装置の構成>
図1は、本技術を適用した撮像装置の実施の形態の構成例を示すブロック図である。
【0018】
図1において、撮像装置11は、画素アレイ部12、アドレスレコーダ13、画素タイミング駆動部14、カラム信号処理部15、およびセンサコントローラ16を備えて構成される。
【0019】
画素アレイ部12には、複数の画素21がアレイ状に配置されており、それぞれの画素21は、水平信号線を介して画素タイミング駆動部14に接続されるとともに、垂直信号線VSLを介してカラム信号処理部15に接続される。複数の画素21は、図示しない光学系を介して照射される光の光量に応じた画素信号をそれぞれ出力し、それらの画素信号から、画素アレイ部12に結像する被写体の画像が構築される。
【0020】
画素21は、光電変換を行うフォトダイオード22、フォトダイオード22の電荷をフローティングディフュージョン(FD:Floating Diffusion)24に転送する転送トランジスタ23、浮遊拡散領域であるフローティングディフュージョン24、ソースフォロワ部を介して信号を伝搬する増幅トランジスタ25、電子シャッタ行および読み出し行を選択する選択トランジスタ26、および、フローティングディフュージョン24をリセットするリセットトランジスタ27を備えて構成される。
【0021】
画素アレイ部12は、画素21が平面状または曲面状に配置されている画素領域である。画素アレイは、各単位画素を互いに異なる2方向に分類(グループ化)することができる構成であればどのようなものであってもよく、互いに直交する2直線方向に並べられるNxMの典型的な行列構成でなくてもよい。すなわち、例えばハニカム構造のように、単位画素のライン(行)やカラム(列)が直線でなくてもよい。すなわち、各ラインや各カラムの単位画素が直線状に並べられていなくてもよいし、単位画素のラインとカラムが直交していなくてもよい。
【0022】
アドレスデコーダ13と画素タイミング駆動部14は、垂直走査部を構成し、センサコントローラ16に制御されて、画素アレイ部12の各画素をライン毎に駆動させ、画素信号を読み出させる。
【0023】
アドレスレコーダ13は、センサコントローラ16から供給されるアドレス指定情報をデコードし、画素タイミング駆動部14の指定されたアドレスに対応する構成に制御信号を供給する。画素タイミング駆動部14は、アドレスレコーダ13からの制御信号とセンサコントローラ16からの画素駆動パルスとの論理和に従って、画素アレイ部12の各画素に対して駆動させる制御信号を供給する。
【0024】
カラム信号処理部15は、複数の画素21から垂直信号線VSLを介して出力される画素信号に対してCDS(Correlated Double Sampling:相関2重サンプリング)処理を施すことで、画素信号のAD変換を行うとともにリセットノイズを除去する。例えば、カラム信号処理部15は、画素21の列数に応じた複数のAD変換器33を有して構成され、画素21の列ごとに並列的にCDS処理を行うことができる。また、カラム信号処理部15は、ソースフォロワ部の負荷MOS部を形成する定電流部31、垂直信号線VSLの電位をアナログデジタル変換するためのシングルスロープ型のDAコンバータ32を備える。
【0025】
また、AD変換器33は、キャパシタ34および35、コンパレータ36、カウンタ37を備えて構成される。キャパシタ34には、垂直信号線VSLを介して画素信号の電位が印加され、キャパシタ35には、DAコンバータ32から出力されるランプ波の電位が印加される。そして、コンパレータ36は、垂直信号線VSLを介して供給される画素信号の電位と、DAコンバータ32から供給されるランプ波の電位とを比較して、それらの電位が交差するタイミングにおいて反転する反転パルスを出力する。カウンタ37は、アナログ値をデジタル値に変換するために、画素信号の電位とランプ波の電位とが交差するタイミングに応じたAD期間をカウントする。
【0026】
センサコントローラ16は、撮像装置11の全体の駆動を制御する。例えば、センサコントローラ16は、撮像装置11を構成する各ブロックの駆動周期に従ったクロック信号を生成して、それぞれのブロックに供給する。
【0027】
<画素の構成>
ここで、図1を参照し、画素21の構成について説明を加える。以下、画素21を単位画素21と記述する。画素アレイ部12において、単位画素21は、例えばアレイ状に配置されている。各単位画素21には、画素信号を転送する垂直信号線VSLが単位画素21のカラム毎に割り当てられる。また、画素信号の読み出しに関する動作は、単位画素のライン毎に制御される。
【0028】
図1を参照するに、単位画素21のフォトダイオード22は、受光した光を、その光量に応じた電荷量の光電荷(ここでは、光電子)に光電変換してその光電荷を蓄積する。フォトダイオード22のアノード電極は、画素領域のグランド(画素グランド)に接続され、カソード電極は、転送トランジスタ23を介してフローティングディフュージョン24に接続される。
【0029】
転送トランジスタ23は、フォトダイオード22からの光電荷の読み出しを制御する。転送トランジスタ23は、ドレイン電極が、フローティングディフュージョン24に接続され、ソース電極が、フォトダイオード22のカソード電極に接続される。また、転送トランジスタ23のゲート電極には、画素タイミング駆動部14から制御信号TRGが供給される。制御信号TRG(すなわち、転送トランジスタ23のゲート電位)がオフ状態のとき、フォトダイオード22からの光電荷の読み出しが行われない(フォトダイオード22において光電荷が蓄積される)。制御信号TRG(すなわち、転送トランジスタ23のゲート電位)がオン状態のとき、フォトダイオード22に蓄積された光電荷が読み出され、フローティングディフュージョン24に供給される。
【0030】
リセットトランジスタ27は、フローティングディフュージョン24の電位をリセットする。リセットトランジスタ27は、ドレイン電極が電源電位に接続され、ソース電極がフローティングディフュージョン24に接続される。また、リセットトランジスタ27のゲート電極には、画素タイミング駆動部14から制御信号RSTが供給される。制御信号RST(すなわち、リセットトランジスタ27のゲート電位)がオフ状態のとき、フローティングディフュージョン24は電源電位と切り離されている。制御信号RST(すなわち、リセットトランジスタ27のゲート電位)がオン状態のとき、フローティングディフュージョン24の電荷が電源電位に捨てられ、フローティングディフュージョン24がリセットされる。
【0031】
増幅トランジスタ25は、フローティングディフュージョン24の電位変化を増幅し、電気信号(アナログ信号)として出力する。増幅トランジスタ25は、ゲート電極がフローティングディフュージョン24に接続され、ドレイン電極が電源電位に接続され、ソース電極が選択トランジスタ26のドレイン電極に接続されている。例えば、増幅トランジスタ25は、リセットトランジスタ27によってリセットされたフローティングディフュージョン24の電位をリセット信号(リセットレベル)として選択トランジスタ26に出力する。また、増幅トランジスタ25は、転送トランジスタ23によって光電荷が転送されたフローティングディフュージョン24の電位を光蓄積信号(信号レベル)として選択トランジスタ26に出力する。
【0032】
選択トランジスタ26は、増幅トランジスタ25から供給される電気信号の垂直信号線VSLへの出力を制御する。選択トランジスタ26は、ドレイン電極が増幅トランジスタ25のソース電極に接続され、ソース電極が垂直信号線VSLに接続されている。また、選択トランジスタ26のゲート電極には、画素タイミング駆動部14から制御信号SELが供給される。
【0033】
制御信号SEL(すなわち、選択トランジスタ26のゲート電位)がオフ状態のとき、増幅トランジスタ25と垂直信号線VSLは電気的に切り離されている。したがって、この状態のとき、当該単位画素から画素信号が出力されない。制御信号SEL(すなわち、選択トランジスタ26のゲート電位)がオン状態のとき、当該単位画素が選択状態となる。すなわち、増幅トランジスタ25と垂直信号線VSLが電気的に接続され、増幅トランジスタ25から出力される信号が、当該単位画素の画素信号として、垂直信号線VSLに供給される。すなわち、当該単位画素から画素信号が読み出される。
【0034】
<単位画素の他の例>
単位画素21の構成は任意であり、図1の例に限定されない。例えば、転送トランジスタ23が省略されていてもよい。また、1単位画素当たりの画素数は任意であり、図1の例のように1画素であってもよいし、複数画素であってもよい。
【0035】
複数画素を有する場合の単位画素の構成例を図2に示す。図2の例の場合、単位画素21は、フォトダイオード22を2つ有する(フォトダイオード22−1とフォトダイオード22−2)。すなわち、この場合、単位画素21は、2画素により構成される。また、図2の例の場合、単位画素21は、転送トランジスタ23を2つ有する(転送トランジスタ23−1と転送トランジスタ23−2)。転送トランジスタ23−1は、画素タイミング駆動部14から供給される制御信号TRGに基づいて、フォトダイオード22−1からの光電荷の読み出しを制御する。転送トランジスタ23−2は、画素タイミング駆動部14から供給される制御信号TRGに基づいて、フォトダイオード22−2からの光電荷の読み出しを制御する。
【0036】
図2の例の場合、フローティングディフュージョン24、増幅トランジスタ25、選択トランジスタ26、リセットトランジスタ27等の構成は、単位画素内で共有される。そして、各画素(フォトダイオード22−1とフォトダイオード22−2)の画素信号は、互いに同一垂直信号線VSLを介して伝送される。
【0037】
次に、図3に示す信号を参照して、図1または図2に示すように構成される画素21の駆動について説明する。
【0038】
図3には、1水平同期期間を示す水平同期信号、転送トランジスタ23を駆動するTRG駆動パルス(読み出し時転送パルスおよび電子シャッタ時転送パルス)、リセットトランジスタ27を駆動するRST駆動パルス(電子シャッタ時リセットパルスおよび読み出し時リセットパルス)、および、選択トランジスタ26を駆動するSEL駆動パルス(読み出し時選択パルス)が示されている。
【0039】
電子シャッタ時には、電子シャッタ時転送パルスおよび電子シャッタ時リセットパルスをオンすることでフォトダイオード22の電位をリセット状態にする。その後、蓄積時間中にフォトダイオード22に電荷を蓄積し、センサコントローラ16から読み出しパルスが発行される。
【0040】
読み出し時には、読み出し時リセットパルスをオンすることでフローティングディフュージョン24の電位をリセットさせた後、プリデータ相(P相)の電位をAD変換する。その後、読み出し時転送パルスにてフォトダイオード22の電荷をフローティングディフュージョン24へ転送させデータ相(D相)をAD変換する。なお、読み出し時には読み出し時選択パルスはオン状態になっている。
【0041】
次に、図4に示す信号を参照して、図1に示すように構成されるAD変換器33の駆動について説明する。
【0042】
図4には、1水平同期期間を示す水平同期信号、DAコンバータ32から出力されるランプ信号の電位(実線)、垂直信号線VSLから出力される画素信号の電位(破線)、コンパレータ36から出力される反転パルス、およびカウンタ37の動作イメージが示されている。
【0043】
DAコンバータ32は、画素信号のリセットレベルを読み出すためのP相において一定の勾配で電位が順次降下する第1の傾斜を有し、画素信号のデータレベルを読み出すためのD相において一定の勾配で電位が順次降下する第2の傾斜を有するランプ波を生成する。また、コンパレータ36は、画素信号の電位とランプ波の電位とを比較して、画素信号の電位とランプ波の電位とが交差するタイミングにおいて反転する反転パルスを出力する。
【0044】
そして、カウンタ37は、P相においてランプ波が降下し始めたタイミングから、ランプ波の電位が画素信号の電位以下になったタイミングまでをカウント(P相カウント値)した後、D相においてランプ波が降下し始めたタイミングから、ランプ波の電位が画素信号の電位以下になったタイミングまでをカウント(D相カウント値)する。これにより、P相カウント値とD相カウント値との差分が、リセットノイズが除去された画素信号として取得される。
【0045】
このように、図4に示すようなランプ波を利用して画素信号のAD変換が行われる。
【0046】
<撮像装置の画素配置>
画素アレイ部12の画素配置について、図5を参照して説明する。図5Aは、2×2の4画素を1単位とし、その単位内の、左上の画素21−1が主に赤(R)の帯域を光電変換するR画素とされ、左下の画素21−2が主に緑(G)の帯域を光電変換するG画素とされ、右上の画素21−3が主に緑(G)の帯域を光電変換するG画素とされ、右下の画素21−4が主に青(B)の帯域を光電変換するB画素とされている。このようにすることにより、画素21がベイヤ配列の1単位を構成するようにすることができる。
【0047】
R画素、G画素、B画素は、それぞれの色に特性のある分光感度の画素として機能する。
【0048】
図5Bに、他の画素配置を示す。図5Bは、2×2の4画素を1単位とし、その単位内の、左上の画素21−1がR画素とされ、左下の画素21−2、右上の画素21−3、および右下の画素21−4が全整色性の分光感度のあるC画素とされている。C画素は、上記したR画素、G画素、B画素よりも高感度の画素であり、C画素を設けることで、例えば、暗い場所においても明るい画像が得られやすくなる。このように、全整色性である分光感度を有するC画素を含む構成とすることもできる。
【0049】
図5に示した画素配置は、一例であり、本技術は、図5に示した画素配置に適用範囲が限定されるわけではない。例えば、図5Aに示した画素配置において、2つあるG画素の一方にC画素を配置した構成としても良い。
【0050】
<撮像装置の撮影動作について>
撮像装置11は、3枚の画像を撮像し、その3枚の画像の合成処理に基づく広ダイナミックレンジ(HDR:High Dynamic Range)画像の生成処理を行う。ここで3枚の画像は、露光時間が異なる画像である。長い露光時間を長時間露光と記述し、長時間露光で撮像された画像を長時間露光画像と記述する。短い露光時間を短時間露光と記述し、短時間露光で撮像された画像を短時間露光画像と記述する。長時間露光よりも短いが、短時間露光よりも長い露光時間を中時間露光と記述し、中時間露光で撮像された画像を中時間露光画像と記述する。
【0051】
なお、ここでは、長時間露光、中時間露光、および短時間露光で、それぞれ撮像された長時間露光画像、中時間露光画像、および短時間露光画像を合成処理することで、広ダイナミックレンジの画像を生成されるとして説明を続けるが、3つの露光時間ではなく、例えば2つの露光時間(長時間露光と短時間露光)で撮像された2つの画像を合成処理することで、広ダイナミックレンジの画像を生成される場合などにも、本技術を適用することはできる。
【0052】
長時間露光画像、中時間露光画像、および短時間露光画像は、時間をずらすことで撮像が行われる。例えば、長時間露光画像が撮像された後、中時間露光画像が撮像され、中時間露光画像が撮像された後、短時間露光画像が撮像される。ここでは、長時間露光画像、中時間露光画像、短時間露光画像の順で撮像される場合を例に挙げて説明を続けるが、短時間露光画像、中時間露光画像、長時間露光画像の順で撮像が行われても良い。
【0053】
この撮像について、図6を参照して説明する。ここでは、図2に示したように、1単位画素に2個のフォトダイオード22を含む構成、換言すれば2画素共有の場合を例に挙げて説明する。また、ここでは、図5Bに示した画素配置、すなわちR画素とC画素が配置されている場合を例に挙げて説明を続け、縦方向に配置されているR画素とC画素が1単位画素に含まれ、共有されているとして説明を続ける。
【0054】
図6の左側に、画素アレイ部12(図1)に配置されている画素群の一部を示す。R画素21−1、C画素21−2、R画素21−3、C画素21−4、R画素21−5、およびC画素21−6は、縦方向に配置されている画素である。また、C画素21−2とR画素21−3は、共有画素とされ、C画素21−4とR画素21−5は、共有画素とされている。
【0055】
図6中、四角形内に示した“S”は、シャッタが切られるタイミングを示し、“R”は、読み出しのタイミングを示す。時刻t1において、R画素21−1とC画素21−2に対して、シャッタが切られ、露光が開始される。時刻t2において、R画素21−3とC画素21−4に対して、シャッタが切られ、露光が開始される。時刻t3において、R画素21−5とC画素21−6に対して、シャッタが切られ、露光が開始される。
【0056】
時刻t4において、R画素21−1とC画素21−2からの読み出しが開始される。R画素21−1とC画素21−2は、時刻t1から時刻t4までの時間T1だけ露光され、この時間T1が、長時間露光T1となる。同じく、時刻t2から露光が開始され、長時間露光T1だけ経過した時刻t5において、R画素21−3とC画素21−4からの読み出しが開始される。同じく、時刻t3から露光が開始され、長時間露光T1だけ経過した時刻t6において、R画素21−5とC画素21−6からの読み出しが開始される。
【0057】
次に、中時間露光における撮像が開始される。時刻t6において、R画素21−1とC画素21−2に対して、シャッタが切られ、露光が開始される。時刻t7において、R画素21−3とC画素21−4に対して、シャッタが切られ、露光が開始される。時刻t8において、R画素21−5とC画素21−6に対して、シャッタが切られ、露光が開始される。
【0058】
時刻t8において、R画素21−1とC画素21−2からの読み出しが開始される。R画素21−1とC画素21−2は、時刻t6から時刻t8までの時間T2だけ露光され、この時間T2が、中時間露光T2となる。同じく、時刻t7から露光が開始され、中時間露光T2だけ経過した時刻t10において、R画素21−3とC画素21−4からの読み出しが開始される。同じく、時刻t3から露光が開始され、中時間露光T2だけ経過した時刻t13において、R画素21−5とC画素21−6からの読み出しが開始される。
【0059】
さらに、短時間露光における撮像が開始される。時刻t9において、R画素21−1とC画素21−2に対して、シャッタが切られ、露光が開始される。時刻t12において、R画素21−3とC画素21−4に対して、シャッタが切られ、露光が開始される。時刻t15において、R画素21−5とC画素21−6に対して、シャッタが切られ、露光が開始される。
【0060】
時刻t11において、R画素21−1とC画素21−2からの読み出しが開始される。R画素21−1とC画素21−2は、時刻t9から時刻t11までの時間T3だけ露光され、この時間T3が、短時間露光T3となる。同じく、時刻t13から露光が開始され、短時間露光T3だけ経過した時刻t14において、R画素21−3とC画素21−4からの読み出しが開始される。同じく、時刻t15から露光が開始され、短時間露光T3だけ経過した時刻t16において、R画素21−5とC画素21−6からの読み出しが開始される。
【0061】
長時間露光T1、中時間露光T2、および短時間露光T3は、以下の関係にある。
長時間露光T1>中時間露光T2>短時間露光T3
【0062】
ここで、例えば、R画素21−1に注目し、図3図6を参照するに、R画素21−1は、時刻t1において、シャッタが切られる。すなわち時刻t1において、R画素21−1に対して、電子シャッタ時転送パルス(STR)と電子シャッタ時リセットパルス(SRST)が出されることで、露光が開始される。そして時刻t4において、読み出しが開始されるとき、読み出し時リセットパルス(RRST)がオンにされる。
【0063】
図3に示したように1水平同期期間内に、シャッタが切られ、1水平同期期間内に読み出しが行われる。例えば、所定の水平同期期間にシャッタが切られ、その1つ後の水平同期期間で読み出しが行われた場合、露光時間は、1水平同期期間と同等となる。また例えば、所定の水平同期期間にシャッタが切られ、その2つ後の水平同期期間で読み出しが行われた場合、露光時間は、2水平同期期間と同等となる。
【0064】
すなわち、シャッタが切られるタイミングと読み出しが開始されるタイミングが、水平同期期間内で固定とされている場合、露光時間は、1水平同期期間の整数倍となる。
【0065】
カラム信号処理部15は、複数の画素21から垂直信号線VSLを介して出力される画素信号に対して相関2重サンプリング処理を施すことで、画素信号のAD変換を行うが、このAD変換を行う期間をAD期間とする。またここでは1AD期間は、1水平同期期間とする
【0066】
よって、シャッタが切られるタイミングと読み出しが開始されるタイミングが、水平同期期間内で固定とされている場合、露光時間は、1AD期間の整数倍になる。
【0067】
図6を参照して説明したように、長時間露光T1、中時間露光T2、および短時間露光T3を設定し、撮像を行う場合、これらの露光時間は、それぞれ1AD期間の整数倍となる。このことは、シャッタが切られるタイミングと読み出しが開始されるタイミングが、1AD期間内で固定とされている場合、短時間露光T3は、最短でも1AD期間となることを表している。
【0068】
長時間露光画像、中時間露光画像、および短時間露光画像を合成して、高ダイナミックレンジの画像を生成するとき、例えば、明るい所を撮像しているときには、短時間露光画像の合成比率が高くされる。このとき、短時間露光画像自体が、適切な露光でない場合、例えば、露光時間が適切な露光時間よりも長かった場合、白飛びが発生した画像となってしまう可能性がある。このような場合、結果として、適切な広ダイナミックレンジの画像を生成できない可能性がある。
【0069】
上記したように、シャッタが切られるタイミングと読み出しが開始されるタイミングが、それぞれ1AD期間内で固定とされている場合、短時間露光T3は、最短でも1AD期間となるため、短時間露光T3の露光時間が、適切な露光時間よりも長かった場合であっても、短時間露光T3は、1AD期間と同等の時間に設定されてしまい、最適な撮像が行えない可能性がある。
【0070】
ここでは、短時間露光画像を例に挙げて説明したが、長時間露光画像と中時間露光画像のそれぞれの画像においても同様に、露光時間が、1AD期間の整数倍でしか設定できなければ、短時間露光画像の場合と同じく、適切な露光時間で撮像がされない可能性がある。また、露光時間が、1AD期間単位でしか調整できない場合、長時間露光、中時間露光、短時間露光の設定が粗い設定しかできず、これらの露光時間の比を所望とする比とできない可能性もある。これらの露光時間の比が所望の比とならないことにより、合成後の画像の画質が低下してしまう可能性もある。
【0071】
そこで、露光時間を細かく調整できるようにし、適切とされる露光時間を設定できるようにする。
【0072】
ここでは、図7に示すように、電子シャッタ時転送パルス(STR)と、電子シャッタ時リセットパルス(RRST)を、1水平動期間内の任意のタイミングで出せるようにする。図7では、1水平動期間内の任意のタイミングで出せることを示すために、複数のクロックを図示してあるが、この複数のクロックのうちの1クロックが、電子シャッタ時転送パルス(STR)および電子シャッタ時リセットパルス(RRST)とされる。
【0073】
このようにすることで、シャッタを切るタイミングを、1クロック単位で調整することができる。シャッタを切るタイミングは、露光の開始のタイミングであるため、1クロック単位で、露光時間を調整できるようになる。以下の説明においては、“シャッタを切る”との記述をするが、この記述は、“露光の開始”と読み替えることができる。
【0074】
例えば、1AD期間が、8μsであり、1クロックが0.02μsと設定されていた場合、シャッタが切られるタイミング(露光が開始されるタイミング)と読み出しが開始されるタイミングが、AD期間内で固定とされている場合、露光時間は、8μs単位で調整され、シャッタが切られるタイミンを可変とし読み出しが開始されるタイミングは、水平同期期間内で固定とされている場合、露光時間は、0.02μs単位で調整することができる。
【0075】
よって、この例の場合、露光時間は、400倍(=8/0.02)の精度で調整できることになる。1クロックを細かくとれば(周波数を高くすれば)、さらに細かい露光時間の調整を行うことができる。なお、このクロックの周波数は、撮像装置11に求められる精度に適した数値に設定されれば良い。
【0076】
<シャッタと読み出しが重なる場合について>
このように、シャッタのタイミングを調整し、適切な露光時間を実現できるようにした場合、露光時間が可変となるため、露光時間によっては、シャッタのタイミングと読み出しのタイミングが重なってしまう可能性がある。このことについて、図8を参照して説明するが、まず、図6を再度参照する。
【0077】
図6の時刻t4において、C画素21−2から読み出しが行われ、時刻t5において、R画素21−3から読み出しが行われる。この時刻t4から時刻t5は、3AD期間となる。同じく、時刻t5において、C画素21−4から読み出しが行われ、時刻t6において、R画素21−5から読み出しが行われる。この時刻t5から時刻t6は、3AD期間となる。
【0078】
すなわち、読み出しは、3AD期間毎に行われることになる。3AD期間となるのは、長時間露光、中時間露光、短時間露光の順でAD変換しているからである。
【0079】
本技術によると、シャッタの切るタイミングを可変とすることができ、露光時間を可変とすることができるため、露光時間と、読み出しの周期(3AD期間)が一致するときがある可能性がある。
【0080】
図8を参照するに、図6と同じく、左側に画素配置を示している。図8では、縦方向に配置されている画素21−1乃至21−5を示し、C画素21―2とR画素21−3は共有画素とされ、C画素21―4とR画素21−5は共有画素とされている。
【0081】
時刻t31において、R画素21−1とC画素21−2に対して、シャッタが切られ、時刻t32において、読み出しが開始される。この時刻t31から時刻32までの時間T31は、露光時間となり、この露光時間は、3AD期間となっている。
【0082】
時刻t32において、R画素21−3とC画素21−4に対して、シャッタが切られ、時刻t33において、読み出しが開始される。この時刻t32から時刻33までの時間T32は、露光時間となり、この露光時間は、3AD期間となっている。
【0083】
図8に示した例では、時刻t32において、R画素21−1とC画素21−2に対して読み出しが行われ、時刻t33において、R画素21−3とC画素21−4に対して読み出しが行われる。よって、読み出しの周期は、時刻t32から時刻t33の時間T32となる。この時間T32は、上記したように、R画素21−3とC画素21−4の露光時間に該当し、3AD期間となる。
【0084】
このように、露光時間と読み出しの周期が一致すると、図8を参照するに、時刻t32において、C画素21−2に対する読み出しと、R画素21−3に対するシャッタが、同時刻に行われる状態が発生する可能性がある。
【0085】
このC画素21−2とR画素21−3は、共有画素である。図9に、仮にC画素21−2に対する読み出しと、R画素21−3に対するシャッタが、同時刻に行われる状態を示す。図9は、図2に示した画素21に対して、電荷の流れの矢印を追加した図である。
【0086】
図9では、フォトダイオード22−2が、C画素21−2に含まれるフォトダイオードであるとし、フォトダイオード22−3が、R画素21−3に含まれるフォトダイオードであるとする。
【0087】
R画素21−3(フォトダイオード22−3)に対してシャッタが切られた状態は、電子シャッタ時転送パルスおよび電子シャッタ時リセットパルスがオンにされた状態であり、そのような状態のときには、図9に示したように、フォトダイオード22−3に蓄積されている電荷が、転送トランジスタ23−1を介して、リセットトランジスタ27の方に流れることで、リセットが行われる状態である。
【0088】
C画素21−2(フォトダイオード22−2)に対して読み出しが開始された状態は、読み出し時リセットパルスがオンにされた状態であり、そのような状態のときには、図9に示したように、C画素21−2に蓄積されていた電荷が、フローティングディフュージョン24に流れ、蓄積されるが、リセットトランジスタ27がオンの状態になっているため、フローティングディフュージョン24に蓄積されることなく、リセットトランジスタ27の方に流れてしまう。
【0089】
このように、共有画素に対して、シャッタのタイミングと読み出しのタイミングが重なった状態が発生すると、読み出しが正常に行えない状態が発生してしまう。
【0090】
そこで、図10に示すように、露光時間が読み出し周期と同じ時間、この場合、3AD期間となってしまうときには、読み出しのタイミングをずらす制御が行われる。
【0091】
図10は、図6と同じく、左側に画素配置を示し、それぞれの画素に対するシャッタのタイミングと読み出しのタイミングを示した図である。なお、図6を参照して説明した場合と同様のタイミングなどに関しては説明を省略し、また、適宜、図6に示した場合と比較しながら説明を行う。
【0092】
図6は、露光時間が読み出し周期と同じ時間、この場合、3AD期間とはなっていない場合を示していた。
【0093】
図6に示したC画素21−2に対しては、時刻t4において読み出しが開始され、このC画素21−2と共有画素にされているR画素21−3に対しては、時刻t5において読み出しが開始される。この時刻t4から時刻t5までの時間は、3AD期間となっている。
【0094】
図6に示したような状況に対して、図10は、露光時間が読み出し周期と同じ時間であるため、読み出しのタイミングがずらす制御が行われる場合を示している。
【0095】
上記したように、本実施の形態においては、シャッタのタイミングを可変とすることで、露光時間を変化させることができる。また、長時間露光、中時間露光、および短時間露光のそれぞれの露光時間で撮像を行う。長時間露光、中時間露光、および短時間露光のうちの全て、2つ、または1つが、読み出し周期(の整数倍)と同じ時間となる場合がある。
【0096】
図10では、長時間露光と短時間露光が、読み出し周期と重なった場合を示している。図10に示したC画素21−2に対しては、時刻t54において読み出しが開始され、このC画素21−2と共有画素にされているR画素21−3に対しては、時刻t55において読み出しが開始される。この時刻t54から時刻t55までの時間は、4AD期間となるように、読み出しのタイミングが制御される。
【0097】
すなわちこの場合、通常3AD期間で読み出しが行われるが、1AD期間、読み出しを遅延させることで、読み出し周期が4AD期間になるような制御が行われる。シャッタが切られるタイミングを、1AD期間遅延させることで、読み出しが1AD期間遅延される。
【0098】
また、図6に示したC画素21−4に対しては、時刻t55において読み出しが開始され、このC画素21−4と共有画素にされているR画素21−5に対しては、時刻t56において読み出しが開始される。この時刻t55から時刻t56までの時間は、2AD期間となるように、読み出しのタイミングが制御される。
【0099】
すなわちこの場合、通常3AD期間で読み出しが行われるが、1AD期間、読み出しを早めることで、読み出し周期が2AD期間になるような制御が行われる。この場合、シャッタが切られるタイミングを、1AD期間早くさせることで、読み出しが1AD期間早く行われる。
【0100】
短時間露光時も同様に、読み出しのタイミングの間隔が、4AD期間または2AD期間となるように制御される。また、読み出しのタイミングの変更に伴い、シャッタを切るタイミングを早める、または遅延させることで、この場合、露光時間が3AD期間となるように制御される。
【0101】
このように、露光時間が読み出し周期と同じ時間、この場合、3AD期間となるような場合には、読み出しのタイミングをずらすことで、シャッタのタイミングと読み出しのタイミングが重ならないように制御される。
【0102】
図10では、長時間露光、中時間露光、短時間露光のうちの、露光時間が読み出し周期と同じ時間になる露光に対して、読み出しのタイミングをずらす制御が行われる場合を例に挙げて説明した。長時間露光、中時間露光、短時間露光のうちの1つの露光時間が、読み出し周期と同じ時間になるような状況のときには、長時間露光、中時間露光、短時間露光の全ての露光における読み出しのタイミングを、同じように制御する、換言すれば、上記した例では、4AD期間または2AD期間となるように読み出しのタイミングを制御するようにしても良い。
【0103】
ここでは、露光時間が、3AD期間となる場合に、上記したような読み出しタイミングの制御が行われる場合を例に挙げて説明した。これは、長時間露光、中時間露光、短時間露光で撮像を行うため、3AD期間となるためである。
【0104】
よって、例えば、長時間露光と短時間露光で撮像を行う場合、3AD期間ではなく、2AD期間となる。すなわち、露光時間が2AD期間となるときに、読み出しのタイミングをずらす制御が行われる。
【0105】
すなわち、ここでは、3AD期間を例に挙げて説明をしたが、異なる露光時間で撮像を行い、複数枚の撮像画像を取得し、合成するときに、その取得される画像数に応じたAD期間と、露光時間が一致したときに、読み出しのタイミングをずらす制御が行われる。
【0106】
また、このような読み出しのタイミングの制御は、共有画素構成としたときに行われる制御であり、共有画素構成としない場合、換言すれば、図1に示したように1画素21に、1個のフォトダイオード22が含まれるような構成の場合には、行われない制御である。
【0107】
<回路構成>
上記したように、シャッタのタイミングを制御するための回路構成について説明する。
【0108】
図11は、アドレスデコーダ13(図1)の内部構成例を示す図である。アドレスデコーダ13は、画素アレイ部12のライン毎に、シャッタ用アドレス記憶部101と読み出し用アドレス記憶部102が設けられている。
【0109】
シャッタ用アドレス記憶部101は、シャッタを切る画素のアドレスを記憶する。読み出し用アドレス記憶部102は、読み出しを行う画素のアドレスを記憶する。シャッタ用アドレス記憶部101は、第1のアドレス記憶部121と第2のアドレス記憶部122を含む。
【0110】
第1のアドレス記憶部121に記憶されているアドレスは、所定のタイミングで、第2のアドレス記憶部122に転送される。第2のアドレス記憶部122に記憶されているアドレスが、後段の画素タイミング駆動部14に供給されることで、そのアドレスで指定された画素21のシャッタが切られる。
【0111】
このように、シャッタのアドレス(以下、適宜シャッタアドレスと記述する)は、2段のアドレス記憶部で管理される。シャッタは、上記したように、1AD期間内の所望のタイミングで切ることができるように構成されている。
【0112】
このことを、図12を参照して再度説明する。図12では、水平同期信号と、電子シャッタ時転送パルスを示した。電子シャッタ時転送パルスは、シャッタを切るタイミングの説明のために図示した。
【0113】
本技術によると、AD期間T32の時刻t71、時刻t72、または時刻t73のいずれのタイミングにおいても、シャッタを切るための制御を行うことができる。換言すれば、AD期間T72が開始された時点、中間の時点、終盤の時点の、いずれのタイミングでもシャッタを切れるように制御することができる。
【0114】
ここで、AD期間T72の時刻t71、すなわち、AD期間T72が開始された時点でシャッタを切る場合を考える。AD期間T72が開始された時点でシャッタを切る場合、その前の時点で、シャッタを切る画素21のアドレスを特定する(デコードしておく)必要がある。
【0115】
図12に示した例では、AD期間T71のときに、シャッタアドレスをデコードしておき、AD期間T72のときに、デコードされたシャッタアドレスを用いてシャッタが切られるようにしておく必要がある。
【0116】
図13を参照する。AD期間T31の間に、シャッタを切る画素21(画素21内のフォトダイオード22)のシャッタアドレスが、後述するパルスに基づく期間で、デコードされ、シャッタ用アドレス記憶部101の第1のアドレス記憶部121に記憶される。
【0117】
第1のアドレス記憶部121に記憶されたシャッタアドレスは、第1のアドレス記憶部121から第2のアドレス記憶部122にシャッタアドレスの転送を指示するパルスに基づき、第1のアドレス記憶部121から第2のアドレス記憶部122に転送される。
【0118】
AD期間T31にデコードされたシャッタアドレスは、AD期間T32より前の時点(AD期間T31内)において、第1のアドレス記憶部121から第2のアドレス記憶部122に転送され、記憶される。そして、AD期間T32において、第2のアドレス記憶部122に記憶されたシャッタアドレスに基づき、シャッタが切られる。
【0119】
このように、デコードするAD期間と、シャッタアドレスに基づきシャッタを切るAD期間を、異なるAD期間とすることで、AD期間の所望とされるタイミングでシャッタを切ることが可能となる。所望とされるタイミングが、例えば、AD期間内の前の方であっても、シャッタを切ることができる。
【0120】
ここでは、デコードするAD期間と、シャッタアドレスに基づきシャッタを切るAD期間を、異なるAD期間とする場合を例に挙げて説明したが、例えば、シャッタを切るタイミングが、AD期間の後ろの方である場合、デコードされたアドレスが、第2のアドレス記憶部122に転送されるAD期間と、シャッタアドレスに基づきシャッタを切るAD期間が、同一のAD期間となってもよい。
【0121】
すなわち、シャッタアドレスが、第1のアドレス記憶部121から第2のアドレス記憶部122に転送されるタイミングは、シャッタがAD期間内のどのタイミングで切られるかにより、常に同じタイミングではなく、異なるタイミングとしてもよい。
【0122】
例えば、上記したように、AD期間の前の方でシャッタが切られる場合、そのシャッタが切られる前のAD期間でシャッタアドレスの転送が実行され、AD期間の後の方でシャッタが切られる場合、そのシャッタが切られるAD期間と同一のAD期間内でシャッタアドレスの転送が実行されるようにしてもよい。
【0123】
第1のアドレス記憶部121と第2のアドレス記憶部122は、例えば、ラッチで構成することができる。第1のアドレス記憶部121と第2のアドレス記憶部122を、それぞれラッチで構成した場合、図15に示すように、3ビットのラッチとなる。
【0124】
本実施の形態においては、長時間露光、中時間露光、および短時間露光の3つの露光制御を行うため、それぞれの露光におけるアドレスを記憶するために、3ビットのラッチ構成となる。図15に示した例では、第1のアドレス記憶部121は、ラッチ141−1乃至ラッチ141−3から構成され、第2のアドレス記憶部122は、ラッチ142−1乃至142−3から構成されている。
【0125】
例えば、ラッチ141−1とラッチ142−1は、長時間露光用のシャッタアドレスを記憶し、ラッチ141−2とラッチ142−2は、中時間露光用のシャッタアドレスを記憶し、ラッチ141−3とラッチ142−3は、短時間露光用のシャッタアドレスを記憶するように構成することができる。
【0126】
このようなラッチの構成は、一例であり、限定を示す記載ではない。例えば、ラッチ以外で、第1のアドレス記憶部121と第2のアドレス記憶部122を構成しても良い。また、ここでは、長時間露光、中時間露光、および短時間露光の3つの露光制御を行うため、それぞれの露光におけるアドレスを記憶するための3ビットのラッチ構成を例に挙げて説明したが、例えば、長時間露光と短時間露光の2つの露光制御を行う場合には、2ビットのラッチ構成とすることができる。
【0127】
<アドレス記憶部の状態遷移>
シャッタ用アドレス記憶部101の状態遷移について説明する。状態遷移については、第1のアドレス記憶部121と第2のアドレス記憶部122のどちらも同様であるため、ここでは、第1のアドレス記憶部121を例に挙げて説明する。
【0128】
第1のアドレス記憶部121は、シャッタ状態、露光状態、およびアイドリング状態の3つの状態を有する。なお、シャッタ動作には関係がないため、第1のアドレス記憶部121には、設定されないが、読み出し状態もあるため、読み出し状態も含めて説明を続ける。
【0129】
シャッタ状態は、シャッタアドレスを記憶している状態である。第1のアドレス記憶部121は、シャッタ状態のとき、シャッタアドレスを記憶している状態である。
【0130】
第1のアドレス記憶部121に記憶されているシャッタアドレスは、上記したように、所定のタイミングで、第2のアドレス記憶部122に転送される。第2のアドレス記憶部122に転送されると、第2のアドレス記憶部122に記憶されたシャッタアドレスに基づき、シャッタが切られる。シャッタが切られることにより、露光が開始される。
【0131】
第1のアドレス記憶部121は、シャッタ状態のとき、リセットが実行されると、露光状態に遷移する。露光が終了されると、画素21からの読み出しが行われる。読み出しに関するアドレスは、読み出し用アドレス記憶部102に記憶されるため、シャッタアドレスを記憶する第1のアドレス記憶部121は遷移しない状態であるが、状態としては、設けられている。
【0132】
画素21からの読み出しから、次のシャッタが切られるまでの間は、アイドリング状態とされる。第1のアドレス記憶部121は、アイドリング状態のときは、シャッタアドレスを記憶していない状態である。
【0133】
第1のアドレス記憶部121は、シャッタ状態、露光状態、およびアイドリング状態の3状態の間を順次遷移する。
【0134】
<シャッタ用アドレス記憶部の動作>
図16を参照し、図11に示したシャッタ用アドレス記憶部101の動作について説明する。
【0135】
AD期間T91において、第1のアドレス記憶部121は、アイドル状態である。AD期間T92において、シャッタアドレスリセットパルスがシャッタ用アドレス記憶部101に出されると、第1のアドレス記憶部121は、リセットされ、シャッタ状態に遷移する。その後、シャッタアドレスセットパルスに基づき、シャッタアドレスが、第1のアドレス記憶部121に設定(記憶)される。
【0136】
第2のアドレス転送パルスがシャッタ用アドレス記憶部101に出されると、第1のアドレス記憶部121に記憶されていたシャッタアドレスが、第2のアドレス記憶部122に転送され、記憶される。第2のアドレス転送パルスは、このように、第1のアドレス記憶部121から第2のアドレス記憶部122にシャッタアドレスを転送させるときに出されるパルスであり、所定の周期で出されるパルスである。
【0137】
AD期間T92において、第2のアドレス記憶部122は、転送されてきたシャッタアドレスを記憶すると、シャッタ状態に遷移する。このように、第2のアドレス記憶部122にシャッタアドレスが記憶されたことで、シャッタを切ることができる状態となる。この場合、AD期間T92の後の期間である、AD期間T93内の所望のタイミングで、シャッタを切ることができる。
【0138】
図16には図示していないが、電子シャッタ時転送パルスと電子シャッタ時リセットパルスが出されることで、第2のアドレス記憶部122に記憶されているアドレスに対応する画素21に対してシャッタが切られる。
【0139】
AD期間T93において、第1のアドレス記憶部121に、シャッタアドレスリセットパルスが出されると、第1のアドレス記憶部121は、リセットされ、シャッタ状態から、蓄積状態へと遷移する。また、AD期間T93において、第2のアドレス転送パルスが出されると、第2のアドレス記憶部122は、リセットされ、シャッタ状態から蓄積状態へと遷移する。
【0140】
このように、第2のアドレス記憶部122の状態は、第1のアドレス記憶部121に追従した状態に遷移する。
【0141】
AD期間T94において、第1のアドレス記憶部121に、シャッタアドレスリセットパルスが出されると、第1のアドレス記憶部121は、リセットされ、蓄積状態から、シャッタ状態へと遷移する。またデコードされたシャッタアドレスがある場合、シャッタアドレスセットパルスに応じて、第1のアドレス記憶部121は、シャッタアドレスを記憶する。
【0142】
このような処理が繰り返されることで、第1のアドレス記憶部121にシャッタアドレスが記憶され、第1のアドレス記憶部121から第2のアドレス記憶部122にシャッタアドレスが転送され、第2のアドレス記憶部122に記憶されているシャッタアドレスに基づきシャッタが制御される。
【0143】
<シャッタ用アドレス記憶部の他の構成と動作>
図17は、シャッタ用アドレス記憶部101の他の構成を示す図である。第2の実施の形態における図17に示したシャッタ用アドレス記憶部101b(図11に示したシャッタ用アドレス記憶部101と区別を付けるため、101bとの符号を付す)は、第1のアドレス記憶部121、第2のアドレス記憶部122、および状態監視部151を備える構成とされている。
【0144】
第1のアドレス記憶部121と第2のアドレス記憶部122は、図11に示した第1のアドレス記憶部121と第2のアドレス記憶部122と、基本的に同様の構成、動作のため、同一の符号を付し、その説明は適宜省略する。
【0145】
状態監視部151は、第1のアドレス記憶部121と第2のアドレス記憶部122の状態を、それぞれ監視し、適切なタイミングで、第1のアドレス記憶部121から第2のアドレス記憶部122に、シャッタアドレスが転送されるように制御を行う制御部として機能する。
【0146】
図17に示したシャッタ用アドレス記憶部101の動作について、図16を再度参照して説明する。図16を参照した説明は既にしたが、状態監視部151が、第1のアドレス記憶部121と第2のアドレス記憶部122の状態を監視し、状態監視部151が、第1のアドレス記憶部121から第2のアドレス記憶部122へのシャッタアドレスの転送を制御する点が、上記した場合と異なる。この点について説明を加える。
【0147】
AD期間T92において、第2のアドレス転送パルスが出されたとき、状態監視部151は、第1のアドレス記憶部121が、シャッタ状態であるか否かを判定する。状態監視部151は、第2のアドレス転送パルスが出されたときに、第1のアドレス記憶部121が、シャッタ状態である場合、第1のアドレス記憶部121から第2のアドレス記憶部122へと、シャッタアドレスが転送されるように制御を行う。また、第2のアドレス記憶部122の状態を、シャッタ状態に遷移させる。
【0148】
AD期間T93において、第2のアドレス転送パルスが出されたとき、状態監視部151は、第1のアドレス記憶部121が、シャッタ状態であるか否かを判定する。AD期間T93において、第2のアドレス転送パルスが出されたときには、第1のアドレス記憶部121は、蓄積状態であるため、シャッタ状態では無いと判定される。
【0149】
このように、第1のアドレス記憶部121は、シャッタ状態では無いと判定された場合、第1のアドレス記憶部121から第2のアドレス記憶部122へのシャッタアドレスの転送は行わずに、第2のアドレス記憶部122の状態を、シャッタ状態から蓄積状態へと遷移させる。
【0150】
さらに、AD期間T94において、第2のアドレス転送パルスが出されたとき、状態監視部151は、第1のアドレス記憶部121が、シャッタ状態であるか否かを判定する。状態監視部151は、第2のアドレス転送パルスが出されたときに、第1のアドレス記憶部121が、シャッタ状態である場合、第1のアドレス記憶部121から第2のアドレス記憶部122へと、シャッタアドレスが転送されるように制御を行う。また、第2のアドレス記憶部122の状態を、シャッタ状態に遷移させる。
【0151】
このように、状態監視部151を設け、第1のアドレス記憶部121と第2のアドレス記憶部122の状態を監視し、その状態に応じて、シャッタアドレスの転送を制御したり、第2のアドレス記憶部122の状態を遷移させたりするような構成とすることもできる。
【0152】
<シャッタ用アドレス記憶部の他の構成と動作>
シャッタ用アドレス記憶部101のさらに他の構成と動作について説明する(第3の実施の形態とする)。
【0153】
第3の実施の形態におけるシャッタ用アドレス記憶部101の構成としては、図17に示した第2の実施の形態におけるシャッタ用アドレス記憶部101bと同様の構成とすることができる。ここでは、第3の実施の形態におけるシャッタ用アドレス記憶部101は、図17に示したシャッタ用アドレス記憶部101bであるとし、図示はしないが、シャッタ用アドレス記憶部101bと区別するために、シャッタ用アドレス記憶部101cと記述する。
【0154】
第3の実施の形態におけるシャッタ用アドレス記憶部101cの状態監視部151の内部構成は、ラッチで構成され、第1のアドレス記憶部121に記憶されているシャッタアドレスを適宜記憶する構成とされている。この点が、第2の実施の形態と異なる。
【0155】
状態監視部151も、図15の第1のアドレス記憶部121と同じく3ビット分のラッチ141−1乃至141−3を備える構成とすることができる。すなわち、状態監視部151は、第1のアドレス記憶部121に記憶されているシャッタアドレスを記憶するため、第1のアドレス記憶部121と同様の構成とすることができる。
【0156】
このように、状態監視部151も、シャッタアドレスを記憶する構成とした場合のシャッタ用アドレス記憶部101の動作について、図18を参照して説明する。
【0157】
図18は、図16に示したタイミングチャートに、監視部リセットのチャートと、監視部セットのチャートを追記した図である。
【0158】
AD期間T112において、第2のアドレス転送パルスが出されたとき、状態監視部151は、第1のアドレス記憶部121が、シャッタ状態であるか否かを判定する。状態監視部151は、第2のアドレス転送パルスが出されたときに、第1のアドレス記憶部121が、シャッタ状態である場合、第1のアドレス記憶部121から第2のアドレス記憶部122へと、シャッタアドレスが転送されるように制御を行う。また、第2のアドレス記憶部122の状態を、シャッタ状態に遷移させる。
【0159】
AD期間T113において、監視部リセットパルスが状態監視部151に出されると、状態監視部151は、記憶しているシャッタアドレスをリセットする。リセット後に、監視部セットパルスを受け取ると、状態監視部151は、第1のアドレス記憶部121に記憶されているシャッタアドレスを読み出し、記憶する。
【0160】
このように、第1のアドレス記憶部121がシャッタ状態のときに、状態監視部151がリセットされると、状態監視部151は、第1のアドレス記憶部121に記憶されているシャッタアドレスを記憶する。そして、状態監視部151は、自身の状態を、シャッタ状態に設定する。
【0161】
一方で、AD期間T113においては、第2のアドレス転送パルスが出されたとき、状態監視部151は、第1のアドレス記憶部121が、シャッタ状態であるか否かを判定する。AD期間T113において、第2のアドレス転送パルスが出されたときには、第1のアドレス記憶部121は、蓄積状態であるため、シャッタ状態ではないと判定される。
【0162】
状態監視部151は、第1のアドレス記憶部121が、シャッタ状態では無いと判定した場合、さらに自己の状態を見て、シャッタ状態であるか否かを判定する。AD期間T113のとき、状態監視部151は、シャッタ状態であるため、シャッタ状態であると判定する。
【0163】
状態監視部151は、第1のアドレス記憶部121の状態がシャッタ状態以外の状態であり、状態監視部151の状態が、シャッタ状態である場合、第1のアドレス記憶部121から第2のアドレス記憶部122へのシャッタアドレスの転送を制御する。
【0164】
AD期間T113の、第2のアドレス転送パルスが出されたとき、第1のアドレス記憶部121は、露光状態であるため、シャッタアドレスは記憶していないため、第2のアドレス記憶部122にシャッタアドレスは転送されず、第2のアドレス記憶部122は、リセットされた状態となる。よって、第2のアドレス記憶部122は、第1のアドレス記憶部121と同じ露光状態へと遷移する。
【0165】
AD期間T114において、状態監視部151は、監視部リセットパルスを受け取ると、記憶しているシャッタアドレスをリセットするが、第1のアドレス記憶部121が、シャッタ状態以外のときには、リセットを行わないように設定されている。
【0166】
状態監視部151は、リセット動作を行うとき、第1のアドレス記憶部121の状態を見て、シャッタ状態のときだけリセットを行うように自己の状態を制御する。
【0167】
または、図19に示すように、第1のアドレス記憶部121がシャッタ状態では無い場合、監視部リセットパルスはマスク(図中、ばつ印はマスクを示す)されるようにしても良い。監視部リセットパルスがマスクされることで、状態監視部151は監視部リセットパルスを受け取らない状態となるため、状態監視部151はリセット動作を行わない。
【0168】
このように、状態監視部151が制御されることで、AD期間T114では、状態監視部151のシャッタ状態が維持される。
【0169】
AD期間T114において、第2のアドレス転送パルスが出されたとき、状態監視部151は、第1のアドレス記憶部121が、シャッタ状態であるか否かを判定するが、この場合、シャッタ状態であると判定されるため、第1のアドレス記憶部121から第2のアドレス記憶部122へと、シャッタアドレスが転送される。また、このとき、第2のアドレス記憶部122の状態は、シャッタ状態に遷移される。
【0170】
このように、状態監視部151を設け、第1のアドレス記憶部121と第2のアドレス記憶部122の状態を監視し、その状態に応じて、シャッタアドレスの転送を制御したり、第2のアドレス記憶部122の状態を遷移させたりするような構成とすることもできる。
【0171】
本技術によれば、AD期間の所望とされるタイミングでシャッタを切る、換言すれば、露光の開始を行うことができる。露光の開始を所望のタイミングで行えることで、露光時間をより細かく調整することができるようになる。
【0172】
露光時間をより細かく調整することができることで、適切な露光時間で撮像を行うことが可能となり、画質を向上させることが可能となる。
【0173】
また、異なる露光時間の画像をそれぞれ撮像し、合成する場合も、異なる露光時間のそれぞれを、細かく調整でき、適切な露光時間で撮像を行い、合成された画像の画質を向上させることができる。
【0174】
<電子機器の構成>
なお、上述したような各実施の形態の撮像装置11は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
【0175】
図20は、電子機器に搭載される撮像装置の構成例を示すブロック図である。
【0176】
図20に示すように、撮像装置201は、光学系202、撮像素子203、信号処理回路204、モニタ205、およびメモリ206を備えて構成され、静止画像および動画像を撮像可能である。
【0177】
光学系202は、1枚または複数枚のレンズを有して構成され、被写体からの像光(入射光)を撮像素子203に導き、撮像素子203の受光面(センサ部)に結像させる。
【0178】
撮像素子203としては、上述した実施の形態の撮像装置11が適用される。撮像素子203には、光学系202を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子203に蓄積された電子に応じた信号が信号処理回路204に供給される。
【0179】
信号処理回路204は、撮像素子203から出力された画素信号に対して各種の信号処理を施す。信号処理回路204が信号処理を施すことにより得られた画像(画像データ)は、モニタ205に供給されて表示されたり、メモリ206に供給されて記憶(記録)されたりする。
【0180】
このように構成されている撮像装置201では、上述した実施の形態の撮像装置11を適用することによって、例えば、画質が向上した画像を撮像することができる。
【0181】
<移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0182】
図21は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0183】
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図21に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
【0184】
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0185】
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0186】
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0187】
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0188】
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0189】
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【0190】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0191】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12030に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0192】
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図21の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0193】
図22は、撮像部12031の設置位置の例を示す図である。
【0194】
図22では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
【0195】
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0196】
なお、図22には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
【0197】
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0198】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0199】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0200】
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
【0201】
本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0202】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0203】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0204】
なお、本技術は以下のような構成も取ることができる。
(1)
複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する 画素のアドレスを記憶する第1のアドレス記憶部と、
前記第1のアドレス記憶部から転送された前記アドレスを記憶する第2のアドレス記憶部と
を備え、
前記第2のアドレス記憶部に記憶された前記アドレスに基づき、前記露光の開始を制御する
撮像装置。
(2)
前記第1のアドレス記憶部から前記第2のアドレス記憶部への前記アドレスの転送を制御する転送制御部 をさらに備える
前記(1)に記載の撮像装置。
(3)
前記第1のアドレス記憶部は、デコードされた前記アドレスを記憶し、
前記第2のアドレス記憶部は、前記露光が開始されるより前の時点に、前記第1のアドレス記憶部から転送されてきた前記アドレスを記憶する
前記(1)または(2)に記載の撮像装置。
(4)
前記第1のアドレス記憶部への前記アドレスの記憶と、前記第1のアドレス記憶部から前記第2のアドレス記憶部への前記アドレスの転送は、1水平同期期間内に行われる
前記(1)乃至(3)のいずれかに記載の撮像装置。
(5)
前記露光は、1水平同期期間内の所定のタイミングで開始され、前記所定のタイミングは可変とされている
前記(1)乃至(4)のいずれかに記載の撮像装置。
(6)
前記転送制御部は、前記第1のアドレス記憶部が、前記アドレスを記憶している状態であるか否かを監視し、前記アドレスを記憶している状態であるとき、前記第2のアドレス記憶部に前記アドレスを転送させる
前記(2)に記載の撮像装置。
(7)
前記転送制御部は、前記第1のアドレス記憶部が記憶している前記アドレスを記憶し、
前記第1のアドレス記憶部が、前記アドレスを記憶していない状態であり、前記転送制御部が、前記アドレスを記憶している状態のとき、前記第2のアドレス記憶部をリセットする
前記(2)に記載の撮像装置。
(8)
前記転送制御部は、前記第1のアドレス記憶部が、前記アドレスを記憶している状態のときに、リセットを指示する信号を受信した場合、記憶しているアドレスをリセットする
前記(2)に記載の撮像装置。
(9)
異なる露光時間で撮像された画像を合成した画像を生成する撮像装置であり、
前記異なる露光時間毎に、前記露光を開始するタイミングを調整する
前記(1)乃至(8)のいずれかに記載の撮像装置。
(10)
前記露光時間と、前記画素からの信号の読み出しの周期が重なった場合、前記読み出しのタイミングをずらして読み出しを行う
前記(9)に記載の撮像装置。
(11)
複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する画素のアドレスを記憶する第1の露光用アドレス記憶部と第2の露光用アドレス記憶部と、
読み出しを行う画素のアドレスを記憶する読み出し用アドレス記憶部と
を備える撮像装置。
(12)
前記第1の露光用アドレス記憶部と、前記第2の露光用アドレス記憶部は、それぞれラッチで構成されている
前記(11)に記載の撮像装置。
(13)
異なる露光時間で画像を撮像し、
前記ラッチは、前記異なる露光時間の数に応じたビット数で構成される
前記(11)または(12)に記載の撮像装置。
(14)
前記第1の露光用アドレス記憶部と同様の構成を含み、前記第1の露光用アドレス記憶部に記憶されている前記アドレスを記憶する第3の露光用アドレス記憶部をさらに備える
前記(11)乃至(13)のいずれかに記載の撮像装置。
(15)
前記第1の露光用アドレス記憶部に記憶されている前記アドレスは、所定のタイミングで、前記第2の露光用アドレス記憶部と前記3の露光用アドレス記憶部に転送される
前記(14)に記載の撮像装置。
【符号の説明】
【0205】
11 撮像装置, 12 画素アレイ部, 13 アドレスレコーダ, 14 画素タイミング駆動部, 15 カラム信号処理部, 16 センサコントローラ, 21 画素, 22 フォトダイオード, 23 転送トランジスタ, 24 フローティングディフュージョン, 25 増幅トランジスタ, 26 選択トランジスタ, 27 リセットトランジスタ, 31 定電流部, 32 DAコンバータ, 33 AD変換器, 34および35 キャパシタ, 36 コンパレータ, 37 カウンタ, 101 シャッタ用アドレス記憶部, 102 読み出し用アドレス記憶部, 121 第1のアドレス記憶部, 122 第2のアドレス記憶部, 141 ラッチ, 151 状態監視部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22