特許 7570856 撮像装置、撮像装置の駆動方法、撮像システムおよび移動体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-11

(45)【発行日】2024-10-22

(54)【発明の名称】撮像装置、撮像装置の駆動方法、撮像システムおよび移動体

(51)【国際特許分類】

   H04N 23/54 20230101AFI20241015BHJP

   H04N 23/745 20230101ALI20241015BHJP

   H04N 25/53 20230101ALI20241015BHJP

   H04N 25/532 20230101ALI20241015BHJP

   H04N 25/77 20230101ALI20241015BHJP

   H04N 25/771 20230101ALI20241015BHJP

【ＦＩ】

H04N23/54

H04N23/745

H04N25/53

H04N25/532

H04N25/77

H04N25/771

【請求項の数】 7

(21)【出願番号】P 2020152281

(22)【出願日】2020-09-10

(65)【公開番号】P2022046310

(43)【公開日】2022-03-23

【審査請求日】2023-08-22

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】山中 信司

(72)【発明者】

【氏名】面谷 聡

【審査官】藏田 敦之

(56)【参考文献】

【文献】特開２００７－３２９６５８（ＪＰ，Ａ）

【文献】特表２０１７－５０１６２７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０３４０７２１（ＵＳ，Ａ１）

【文献】特開２００９－２１２９０９（ＪＰ，Ａ）

【文献】特開２０１７－１０３７２６（ＪＰ，Ａ）

【文献】特開２０１５－０９２６６０（ＪＰ，Ａ）

【文献】特開２００４－１３５３４７（ＪＰ，Ａ）

【文献】特表２０２０－５２２９０７（ＪＰ，Ａ）

【文献】特開２０１１－２１６９６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７４５

Ｈ０４Ｎ ２３／５４

Ｈ０４Ｎ ２５／５３

Ｈ０４Ｎ ２５／５３２

Ｈ０４Ｎ ２５／７７

Ｈ０４Ｎ ２５／７７１

(57)【特許請求の範囲】

【請求項1】

被写体からの入射光に応じた電荷を発生させる光電変換部を有する複数の画素と、
前記光電変換部の露光期間外に前記光電変換部で発生した電荷を計測する計測部と、
前記計測部による計測結果に基づいて光源の特性を特定する特定部と、
前記特定部によって特定された特性に基づいて前記光電変換部の露光期間を調整する調整部と、
を有し、
前記計測部は、（１）前記光電変換部に接続され、前記露光期間外にオンにされるＯＦＤトランジスタと、（２）前記ＯＦＤトランジスタに接続され、前記ＯＦＤトランジスタを介して前記光電変換部の信号を検出する電流計と、を有し、前記光電変換部で発生した電荷の電流値を計測し、
前記特定部は、前記計測部によって計測される前記電流値に基づいて、前記光源の周波数およびデューティ比を特定し、
前記調整部は、前記特定された前記光源の周波数およびデューティ比に基づいて、露光期間が前記光源の発光期間と重なるように前記光電変換部の露光期間を調整する、
ことを特徴とする撮像装置。

【請求項2】

前記光電変換部に対して、前記光電変換部で発生した電荷を保持する電荷保持部と、前記光電変換部で発生した電荷の前記電荷保持部への転送を制御するトランジスタとの複数の組をさらに有し、
前記調整部は、前記複数の組の各組における前記トランジスタの動作タイミングを変更することで、前記各組における前記光電変換部で発生した電荷の前記電荷保持部への転送をフレーム単位で交互に行う、
ことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記調整部は、前記複数の画素に対して１フレームの読み出し対象の行の読み出しが完了してから次フレームの読み出し対象の行の読み出しが開始するまでの期間に前記トランジスタがオンになるように、前記トランジスタの動作タイミングを変更することを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記複数の画素は、グローバルシャッター方式で動作する画素であることを特徴とする
請求項１から３のいずれか１項に記載の撮像装置。

【請求項5】

請求項１から４のいずれか１項に記載の撮像装置と、
前記撮像装置から出力される信号を処理する処理装置と、
を有することを特徴とする撮像システム。

【請求項6】

移動体であって、
請求項１から４のいずれか１項に記載の撮像装置と、
移動装置と、
前記撮像装置から出力される信号から情報を取得する処理装置と、
前記情報に基づいて前記移動装置を制御する制御装置と、
を有することを特徴とする移動体。

【請求項7】

被写体からの入射光に応じた電荷を発生させる光電変換部を有する複数の画素を有する撮像装置の駆動方法であって、
前記光電変換部の露光期間外に前記光電変換部で発生した電荷を計測するステップと、
前記計測するステップによる計測結果に基づいて光源の特性を特定するステップと、
前記特定するステップによって特定された特性に基づいて前記光電変換部の露光期間を調整するステップと、
を有し、
前記計測するステップは、（１）前記光電変換部に接続され、前記露光期間外にオンにされるＯＦＤトランジスタと、（２）前記ＯＦＤトランジスタに接続され、前記ＯＦＤトランジスタを介して前記光電変換部の信号を検出する電流計と、によって、前記光電変換部で発生した電荷の電流値を計測し、
前記特定するステップは、前記計測するステップによって計測される前記電流値に基づいて、前記光源の周波数およびデューティ比を特定し、
前記調整するステップは、前記特定された前記光源の周波数およびデューティ比に基づいて、露光期間が前記光源の発光期間と重なるように前記光電変換部の露光期間を調整する、
ことを特徴とする撮像装置の駆動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、撮像装置の駆動方法、撮像システムおよび移動体に関するものである。

【背景技術】

【0002】

近年、撮像装置において、明滅を繰り返す被写体を均一の明るさで撮影する（フリッカレス）技術が提案されている。特許文献１には、取得された画像を数学的に解析することで光源の周波数成分を算出し、フリッカレス撮影を実現する技術が記載されている。また、光源の周波数成分の２倍以上の周期（ナイキスト周波数）で露光（分割露光）を行うことでフリッカレス撮影を行う技術も提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５-１０１７９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の技術を用いる場合、撮影された各フレームの画像毎に数学的処理を実行するため、撮像装置の構成が複雑化する可能性がある。また、ナイキスト周波数での分割露光を行った場合においても、光源の明滅周期（デューティ比）によっては（例えば、デューティ比が５０％ではない場合など）、フレーム毎に明るさのばらつきが生じることがある。

【0005】

本発明は、上記の課題に鑑みてなされたものであって、任意の周期で明滅を繰り返す被写体を撮影する際の明るさのばらつきを低減可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示は、被写体からの入射光に応じた電荷を発生させる光電変換部を有する複数の画素と、前記光電変換部の露光期間外に前記光電変換部で発生した電荷を計測する計測部と、前記計測部による計測結果に基づいて光源の特性を特定する特定部と、前記特定部によって特定された特性に基づいて前記光電変換部の露光期間を調整する調整部と、を有し、前記計測部は、（１）前記光電変換部に接続され、前記露光期間外にオンにされるＯＦＤトランジスタと、（２）前記ＯＦＤトランジスタに接続され、前記ＯＦＤトランジスタを介して前記光電変換部の信号を検出する電流計と、を有し、前記光電変換部で発生した電荷の電流値を計測し、前記特定部は、前記計測部によって計測される前記電流値に基づいて、前記光源の周波数およびデューティ比を特定し、前記調整部は、前記特定された前記光源の周波数およびデューティ比に基づいて、露光期間が前記光源の発光期間と重なるように前記光電変換部の露光期間を調整する、ことを特徴とする撮像装置を含む。

【0007】

また、本開示は、被写体からの入射光に応じた電荷を発生させる光電変換部を有する複数の画素を有する撮像装置の駆動方法であって、前記光電変換部の露光期間外に前記光電変換部で発生した電荷を計測するステップと、前記計測するステップによる計測結果に基づいて光源の特性を特定するステップと、前記特定するステップによって特定された特性に基づいて前記光電変換部の露光期間を調整するステップと、を有し、前記計測するステップは、（１）前記光電変換部に接続され、前記露光期間外にオンにされるＯＦＤトランジスタと、（２）前記ＯＦＤトランジスタに接続され、前記ＯＦＤトランジスタを介して前記光電変換部の信号を検出する電流計と、によって、前記光電変換部で発生した電荷の電流値を計測し、前記特定するステップは、前記計測するステップによって計測される前記電流値に基づいて、前記光源の周波数およびデューティ比を特定し、前記調整するステップは、前記特定された前記光源の周波数およびデューティ比に基づいて、露光期間が前記光源の発光期間と重なるように前記光電変換部の露光期間を調整する、ことを特徴とする撮像装置の駆動方法を含む。

【0008】

また、本開示は、上記の撮像装置と、前記撮像装置から出力される信号を処理する処理
装置と、有することを特徴とする撮像システムを含む。

【発明の効果】

【0009】

本発明によれば、撮像装置において任意の周期で明滅を繰り返す被写体を均一の明るさで撮影することができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態における撮像装置のブロック図

【図2】第１実施形態における撮像装置が実行する処理の一例を示すフローチャート

【図3】第１実施形態における撮像素子のブロック図

【図4】第１実施形態における画素の等価回路を示す図

【図5】デューティ比と露光量の関係の一例を説明するための図

【図6】デューティ比と露光量の関係の別の例を説明するための図

【図7】第１実施形態における撮像装置の駆動方法の一例を示すタイムチャート

【図8】第１実施形態における撮像装置の駆動方法の別の例を示すタイムチャート

【図9】第１実施形態における撮像装置の駆動方法の制限を示すタイムチャート

【図10】第１実施形態における撮像装置の駆動方法の制限を示すタイムチャート

【図11】第２実施形態における画素の等価回路を示す図

【図12】第２実施形態における撮像装置の駆動方法の一例を示すタイムチャート

【図13】第３実施形態における画素の等価回路を示す図

【図14】第３実施形態における光源の特性の特定方法を示す模式図

【図15】第４実施形態における撮像システムのブロック図

【図16】第５実施形態における撮像システムおよび移動体のブロック図

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施形態を説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において構成要素、部材、処理の一部は省略して表示する。

【0012】

第１実施形態における撮像装置では、各画素が、被写体からの入射光に応じた電荷を蓄積する光電変換部を有する。また、撮像装置は、撮影者である撮像装置のユーザによる撮影期間以外の期間において光電変換部で発生する電荷を電流として計測する計測部を有する。また、撮像装置の制御部は、計測部によって計測された電流値の変化から被写体の明滅周期を算出し、算出結果に基づいて駆動部の駆動を変更する。

【0013】

本実施形態によれば、ユーザによる撮影期間以外の期間において発生する電荷により生じる電流を計測することで、明滅を繰り返す被写体に対して一定の明るさを維持した撮像を行なうことが可能となる。

【0014】

（第１実施形態）
図１は、第１実施形態における撮像装置の概略構成を示すブロック図である。撮像装置１は、撮像素子１０、検出部２０、制御部２１を備える。撮像素子１０は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの固体撮像素子である。撮像素子１０には、撮像装置１の光学系（図示せず）によって被写体像が結像され、撮像素子１０は、被写体像に応じた画像信号を出力する。

【0015】

検出部２０は、明滅検出部２０１を備える。明滅検出部２０１は、ユーザが設定した露光期間以外の期間に発生する電荷により生じる電流を計測することにより、被写体の明滅周期などを特定する特定部である。また、検出部２０は、計測した電流の電流値の低い期
間と電流値の高い期間の比を算出する。

【0016】

制御部２１は、露光期間制御部２１１、同期信号発生回路２１２を備える。露光期間制御部２１１は、検出部２０の明滅検出部２０１による検出結果に基づいて、露光期間や露光期間の開始タイミングなどを調整する調整部である。同期信号発生回路２１２は、クロック回路およびゲート回路を備え、読み出し対象の行の読み出しを開始するための垂直同期信号および水平同期信号を生成する。

【0017】

図２は、本実施形態に係る撮像装置１において実行される撮像装置１の駆動方法の処理の一例を示すフローチャートである。一例として撮像装置１の制御部２１が装置内の各部の動作を制御してフローチャートの処理を実行する。ステップＳ１において、制御部２１が撮像装置１による被写体の撮像を開始する。ステップＳ２において、撮像素子１０の光電変換部で発生する電荷を計測する。ステップＳ３において、検出部２０が、ステップＳ２における計測結果を基に被写体である光源の特性（周波数やデューティ比など）を特定する。ステップＳ４において、制御部２１が撮像素子１０の光電変換部の露光期間を調整する。各ステップの処理を実現する撮像装置１の構成や処理の詳細については、以下に説明する。

【0018】

図３は、本実施形態における撮像素子１０の概略構成を示すブロック図である。撮像素子１０は、画素部１００、垂直走査回路（駆動部）１０１、列増幅回路１０２、水平走査回路１０３、出力回路１０４、制御回路１０５を備える。画素部１００は、ＸＹ直交座標で複数行および複数列に配置された複数の画素１１を備える。なお、本明細書では、行方向とは図面における水平方向を示し、列方向とは図面における垂直方向を示すものとする。各画素１１上にはマイクロレンズ、カラーフィルタが配置されてもよい。カラーフィルタは、例えば、赤、青、緑の原色フィルタであって、ベイヤー配列に従って各画素１１に設けられる。一部の画素１１は、ＯＢ（オプティカルブラック）画素として遮光されている。また、複数の画素１１に、焦点検出用の画素信号を出力する焦点検出画素が配された測距行と、画像を生成するための画素信号を出力する撮像画素が配された撮像行とを設けることができる。なお、本実施形態では、撮像素子１０の画素１１は、いわゆるグローバルシャッター方式で動作するものとする。つまり、画素部１００に配されたすべての画素１１において、光電変換部ＰＤから電荷保持部ＭＥＭへの電荷の転送を一括で制御する。

【0019】

垂直走査回路１０１は、シフトレジスタ、ゲート回路、バッファ回路などから構成される。垂直走査回路１０１は、垂直同期信号、水平同期信号、クロック信号などに基づいて制御信号を画素１１に出力し、行毎に画素１１を駆動する。また、列信号線１１０は、画素１１の列毎に設けられ、同一列の画素１１は共通の列信号線１１０に画素信号を出力する。列増幅回路１０２は、列信号線１１０に出力された画素信号を増幅し、画素１１のリセット時の信号および光電変換時の信号に基づく相関二重サンプリング処理を行う。水平走査回路１０３は、列増幅回路１０２の増幅器に接続されたスイッチと、該スイッチをオンまたはオフに制御するための制御信号を供給する。出力回路１０４は、バッファアンプ、差動増幅器などから構成され、列増幅回路１０２からの画素信号を撮像装置の外部の信号処理部に出力する。なお、撮像素子１０にＡＤ変換部を設けて、デジタルの画像信号を出力してもよい。制御回路１０５は、クロック信号、同期信号などに基づいて様々な制御信号、駆動信号を生成して、垂直走査回路１０１、列増幅回路１０２、水平走査回路１０３を制御する。

【0020】

図４は、本実施形態における画素１１の等価回路ならびに電流検知部を示す。図４には、行方向および列方向の２次元に配列された複数の画素１１のうち、２行×２列の４個の画素１１を示すが、撮像装置１はさらに多くの画素を有する。各画素１１は、光電変換部ＰＤと、転送トランジスタＭ２、浮遊拡散部ＦＤ、転送トランジスタＭ１、増幅トランジ
スタＭ３、選択トランジスタＭ４、リセットトランジスタＭ５、ＯＦＤトランジスタＭ６を備える。

【0021】

光電変換部ＰＤは、被写体からの入射光を光電変換するとともに、光電変換によって生じる電荷を蓄積する。転送トランジスタＭ２は、オンとなる（導通する）ことにより光電変換部ＰＤで蓄積された電荷を電荷保持部ＭＥＭに転送する。本実施形態では、全ての画素の転送トランジスタＭ２が一括して制御される。つまり、すべての画素において光電変換部ＰＤでの露光期間が同じになる。転送トランジスタＭ１は、オンとなることにより電荷保持部ＭＥＭに保持されている電荷を浮遊拡散部ＦＤに転送する。増幅トランジスタＭ３のドレインには電源電圧ＶＤＤが印加され、増幅トランジスタＭ３のソースは選択トランジスタＭ４を介して列信号線１１０に接続されている。増幅トランジスタＭ３は、ソースフォロアを構成し、浮遊拡散部ＦＤの電圧に基づく信号を選択トランジスタＭ４を介して列信号線１１０に出力する。列信号線１１０には定電流源１６が接続されている。リセットトランジスタＭ５のドレインには電源電圧ＶＤＤが印加され、リセットトランジスタＭ５は、オンとなることにより浮遊拡散部ＦＤの電圧をリセットする。受光により光電変換部ＰＤで発生した電荷のうち不要電荷を排出するためにＯＦＤトランジスタＭ６を備えている。本実施形態では、画素１１のＯＦＤトランジスタＭ６がオンとなると、検知用電圧Ｖ＿Ｓｅｎｓｅによって電荷が電流となって電流計１７で計測される。

【0022】

画素部１００において、同一行の画素１１に対しては、共通の制御信号が垂直走査回路１０１から供給される。すなわち、第ｍ（ｍは正の整数）行の画素１１の転送トランジスタＭ１、選択トランジスタＭ４、リセットトランジスタＭ５、トランジスタＭ６には、制御信号ＴＸ（ｍ）、ＳＥＬ（ｍ）、ＲＥＳ（ｍ）、ＯＦＤ（ｍ）がそれぞれ供給される。転送トランジスタＭ２に対しては、画素部１００のすべての画素１１について同一の制御信号ＧＳが供給される。これらのトランジスタは、制御信号がハイレベルのときにオンとなり、ローレベルのときにオフとなる。各行の制御信号を同時にオンまたはオフに制御することにより、複数の画素１１における露光期間を同時に制御することができる。なお、複数の画素１１が１つの増幅トランジスタＭ３を共有するように構成してもよい。

【0023】

図５および図６は、所定のデューティ比で明滅を繰り返す光源を撮影する場合の課題を説明するための図である。図５は、周波数２Ｈｚ、デューティ比５０％で明滅を繰り返す光源に対して、ナイキストのサンプリング定理に基づいて光源の明滅の周波数の２倍の周波数である４Ｈｚでの分割露光を実施した場合を示す。図５では、光源の位相によらず、１フレームで画素に露光される光量（図中、網掛け部分）、つまり撮影される画像の明るさは一定である。図６は、周波数２Ｈｚ、デューティ比２５％で明滅を繰り返す光源に対して、図５と同様の分割露光を実施した場合を示す。図６では、光源の位相が異なると、１フレームで画素に露光される光量も異なるため、この光源を撮影する場合、撮像される画像の明るさにばらつきが生じる。このような画像の明るさのばらつきは、動画撮影においては特に懸念される課題となる。

【0024】

図７は、上記の課題を解決するためのフリッカ除去を行う撮像装置の駆動方法のタイムチャートの一例を示す図である。図４に示すＯＦＤトランジスタＭ６は、ユーザが設定した露光期間の開始までオン状態となり、光電変換部ＰＤにて発生する電荷を検知用電圧Ｖ＿Ｓｅｎｓｅに流す。露光期間が開始すると、トランジスタＭ６はオフ状態となり、光電変換部ＰＤへの電荷を蓄積する。そして、露光期間が経過すると、すべての画素について一括で転送トランジスタＭ２がオン状態になり、蓄積された電荷が電荷保持部ＭＥＭに転送される。なお、ここで露光期間とは、一例として、転送トランジスタＭ２がオフの状態でＯＦＤトランジスタＭ６をオフにしてから、転送トランジスタＭ２を一旦オンにして再度オフにするまでの期間である。

【0025】

図７に示すタイムチャートにおいて、Ｎフレームでは、光源が明滅を繰り返しているため、露光期間と光源の発光期間が重ならず、撮影される画像では光源が消灯した状態（または暗い状態）となる。また、Ｎフレームでは、トランジスタＭ６がオンの期間中、検知用電圧Ｖ＿Ｓｅｎｓｅに流れる電流が電流計１７によって計測される。一般的に、光電変換部ＰＤで発生する電荷量は光電変換部ＰＤへの入光量に比例する。したがって、電流計１７による検知用電圧Ｖ＿Ｓｅｎｓｅの電流値の計測結果を基に、光源の周波数およびデューティ比を算出することができる。例えば、電流計１７の計測結果が、電流値の高い期間が１０ｍｓ、低い期間が３ｍｓで繰り返されている場合、光源の周波数は２５０Ｈｚ、デューティ比は２５％と算出される。電流計１７により計測された、光電変換部の露光期間外に発生した電荷の電流値に基づき、制御部２１は、算出された周波数およびデューティ比から、Ｎフレームにおいて光源の発光期間と露光期間とが重なる期間を特定する。そして、制御部２１は、特定した期間を基に、Ｎ＋１フレームにおける露光期間が開始するタイミングを変更する。

【0026】

図７のタイムチャートでは、Ｎフレームにおいて光源の周波数とデューティ比の算出を行い、Ｎ＋１フレームにおいて露光期間の変更を行っている。ただし、図７のタイムチャートにおいて、制御部２１が、Ｎフレームの電流計１７による検知用電圧Ｖ＿Ｓｅｎｓｅの電流値の計測結果に基づいて、Ｎフレームにおける露光期間を調整してもよい。

【0027】

本実施形態は、図８に例示するタームチャートによる分割露光の場合にも適用可能である。分割露光を実施する際には、図４のトランジスタＭ６とＭ２の動作タイミングが制御される。図８のタイムチャートの例では、１つのフレーム内で２回の分割露光を行うように、トランジスタＭ６とトランジスタＭ２の駆動がそれぞれ制御される。図８のタイムチャートでは、図７と同様に、Ｎフレームにおいて露光期間と光源の発光期間が重ならず、撮影される画像では光源が消灯した状態（または暗い状態）となる。一方、Ｎ＋１フレームにおいては、Ｎフレームでの電流計１７によって計測される検知用電圧Ｖ＿Ｓｅｎｓｅの電流値を用いて周波数とデューティ比が算出され、制御部２１が算出結果を基に露光期間を調整するため、光源の発光期間と露光期間とが重なる。なお、図７の場合と同様、制御部２１は、Ｎフレームにおける光源の周波数とデューティ比の算出結果に基づいて、Ｎフレームにおける露光期間を調整することも可能である。

【0028】

上記の説明では、露光期間を任意に変更できることを想定している。しかしながら、実際には図４の転送トランジスタＭ１が行毎の読み出しを行うため、露光期間を任意に変更することができない。このことについて、図８のタイムチャートを参照しながら説明する。図９に示すタイムチャートでは、転送トランジスタＭ１を用いた転送が全行分終了していない状態でトランジスタＭ２がオンにされる。この場合、トラジスタＭ２がオンになるまでは、Ｎ－１フレームにおいて電荷保持部ＭＥＭに蓄積された電荷の転送が行われる。そして、トランジスタＭ２がオンになると、電荷保持部ＭＥＭには、Ｎ－１フレームで電荷保持部ＭＥＭに保持された電荷に加え、Ｎフレームで光電変換部ＰＤにより発生した電荷が保持される。トランジスタＭ２がオンとなった以降の行では、転送トランジスタＭ１がオンとなったときに、Ｎ－１フレームで発生した電荷とＮフレームで発生した電荷の合計の電荷が転送されることとなる。つまり、１フレームの画像において、転送トランジスタＭ２がオンとなった行を境に、露光期間の異なる撮像結果が生じることとなる。

【0029】

このため、図１０のタイムチャートに示すように、転送トランジスタＭ２をオンにするタイミングは、読み出し対象の行の読み出しが完了した時点から次フレームの読み出しが開始する時点（垂直同期信号が発生する時点）までの期間に制限される。図１０では、この期間を「Ｐ１」で示す。本実施形態では、露光期間がこの期間Ｐ１内に設定される。

【0030】

本実施形態によれば、撮像装置としての性能を低下させることなく、明滅する光源の撮
影を、フレーム間で光源が一定の明るさとなるように行うことができる。

【0031】

（第２実施形態）
第１実施形態では、露光期間は、読み出し対象の行の読み出しが完了した時点から次フレームの読み出しが開始する時点までの期間Ｐ１に設定する必要がある。そして、撮像装置において分割露光を行う場合は、この制限はより厳しくなる。転送トランジスタＭ２をオンにすることができる期間をより広くする方法として、転送期間の短縮、読み出し行数の削減、フレームレートの低下（全行読み出し終了から次の垂直同期信号発生までの時間を長くする）などが挙げられる。しかしながら、いずれの方法を採用しても撮像装置としての性能が低下する可能性がある。そこで、第２実施形態の撮像装置は以下の構成を採用することで、分割露光を行う場合でも、撮像装置としての性能を低下させることなく、明滅する光源の撮影を、フレーム間で光源が一定の明るさとなるように行うことができる。

【0032】

第２実施形態における撮像装置について説明する。以下の説明では、第１実施形態における撮像装置と異なる構成に焦点を当てる。また、以下の説明において、第１実施形態と同様の構成については、同一の符号を付し、詳細な説明を省略する。

【0033】

図１１は、本実施形態における画素１０１１の等価回路を示す図である。図１１には、行方向および列方向の２次元に配列された複数の画素１０１１のうち、２行×２列の４個の画素１０１１を示すが、撮像装置１はさらに多くの画素を有する。各画素１０１１は、光電変換部ＰＤ、浮遊拡散部ＦＤ、第１のメモリ転送トランジスタＭ１１、第２のメモリ転送トランジスタＭ２１を備える。さらに、各画素１０１１は、第１の転送トランジスタＭ１２、第２の転送トランジスタＭ２２、増幅トランジスタＭ３、選択トランジスタＭ４、リセットトランジスタＭ５、第１の保持部Ｃ１、第２の保持部Ｃ２を備える。

【0034】

光電変換部ＰＤは、被写体からの入射光を光電変換するとともに、光電変換によって生じる電荷を蓄積する。第１のメモリ転送トランジスタＭ１１は、光電変換部ＰＤの電荷を第１の保持部Ｃ１に転送し、第１の転送トランジスタＭ１２は、第１の保持部Ｃ１の電荷を浮遊拡散部ＦＤに転送する。同様に、第２のメモリ転送トランジスタＭ２１は光電変換部ＰＤの電荷を第２の保持部Ｃ２に転送し、第２の転送トランジスタＭ２２は第２の保持部Ｃ２の電荷を浮遊拡散部ＦＤに転送する。また、増幅トランジスタＭ３のドレインには電源電圧ＶＤＤが印加され、ソースは選択トランジスタＭ４を介して列信号線１１０に接続されている。増幅トランジスタＭ３は、ソースフォロアを構成し、浮遊拡散部ＦＤの電圧に基づく信号を選択トランジスタＭ４を介して列信号線１１０に出力する。列信号線１１０には定電流源１６が接続されている。リセットトランジスタＭ５のドレインには電源電圧ＶＤＤが印加され、リセットトランジスタＭ５は、オンとなることにより浮遊拡散部ＦＤの電圧をリセットする。

【0035】

画素部１００において、同一行の画素１０１１に対しては、共通の制御信号が垂直走査回路１０１から供給される。すなわち、第ｍ行の画素１０１１の第１のメモリ転送トランジスタＭ１１、第２のメモリ転送トランジスタＭ２１には、制御信号ＧＳ１（ｍ）、ＧＳ２（ｍ）がそれぞれ供給される。また、第１の転送トランジスタＭ１２、第２の転送トランジスタＭ２２には、制御信号ＴＸ１（ｍ）、ＴＸ２（ｍ）がそれぞれ供給される。また、選択トランジスタＭ４、リセットトランジスタＭ５には、制御信号ＳＥＬ（ｍ）、ＲＥＳ（ｍ）がそれぞれ供給される。

【0036】

これらのトランジスタは、制御信号がハイレベルのときにオンとなり、ローレベルのときにオフとなる。各行の制御信号を同時にオンまたはオフに制御することにより、複数の画素１０１１における露光期間を同時に制御することができる。なお、複数の画素１１が１つの増幅トランジスタＭ３を共有するように構成してもよい。また、光電変換部ＰＤに
オーバーフロードレイントランジスタを設けてもよい。画素部１００には、有効画素の他に、遮光画素、光電変換部を有しないいわゆるダミー画素など、画像を出力しない画素が含まれていてもよい。

【0037】

画素１０１１では、第１のメモリ転送トランジスタＭ１１、第２のメモリ転送トランジスタＭ２１のオンまたはオフのタイミングを制御することによって、いわゆる短秒露光や長秒露光の画像を取得することができる。第１のメモリ転送トランジスタＭ１１をオンとすることで、長秒露光の電荷を光電変換部ＰＤから第１の保持部Ｃ１に転送することができる。また、第２のメモリ転送トランジスタＭ２１をオンとすることで、短秒露光の電荷を光電変換部ＰＤから第２の保持部Ｃ２に転送することができる。ただし、本実施形態では、露光時間の短長に関係なく（露光時間が同じであっても）、第１のメモリ転送トランジスタＭ１１、第２のメモリ転送トランジスタＭ２１のオンまたはオフのタイミングが制御されてよい。

【0038】

光電変換部ＰＤから第１の保持部Ｃ１、第２の保持部Ｃ２に電荷を転送する順序および回数は適宜決定されてよい。例えば、第１のメモリ転送トランジスタＭ１１をオンにした後に、第２のメモリ転送トランジスタＭ２１にオンにし、さらに第１のメモリ転送トランジスタＭ１１をオンにすることができる。第１のメモリ転送トランジスタＭ１１、第２のメモリ転送トランジスタＭ２１を排他的にオン、オフさせることにより、長秒露光の電荷を第１の保持部Ｃ１に蓄積し、短秒露光の電荷を第２の保持部Ｃ２に蓄積することもできる。この場合、第１の保持部Ｃ１に保持される電荷量は、第１のメモリ転送トランジスタＭ１１のオンとなる期間に露光された電荷量となる。また、第２の保持部Ｃ２に保持される電荷量は、第２のメモリ転送トランジスタＭ２１のオンとなる期間に露光された露光量となる。また、メモリ転送トランジスタＭ１１、Ｍ２１がオフとなる期間（図１２中「Ｔｃ１」、「Ｔｃ２」）において光電変換部ＰＤに電荷を蓄積し、メモリ転送トランジスタＭ１１、Ｍ２１をオンにして電荷を第１の保持部Ｃ１、第２の保持部Ｃ２に転送してもよい。この場合、第１の保持部Ｃ１、第２の保持部Ｃ２に保持される電荷量は、メモリ転送トランジスタＭ１１、Ｍ２１がオフである期間に光電変換部ＰＤに蓄積された電荷量となる。

【0039】

図１２に、図１１に示す画素１０１１を使用して明滅を繰り返す光源の撮影を行う場合のタイムチャートを示す。図１１に示すタイムチャートにおいて、ＮフレームでトランジスタＭ２２にて転送される電荷は、Ｎ－１フレームで第２の保持部Ｃ２に蓄積されていた電荷である。このため、Ｎフレームにおいて、第１の保持部Ｃ１への電荷転送を行うトランジスタＭ１１を操作しても、第２の保持部Ｃ２に蓄積されている電荷に影響はない。また、Ｎ＋１フレームにおいて、トランジスタＭ１２が動作し、第１の保持部Ｃ１に蓄積された電荷が転送される。Ｎ＋１フレームにおいても、第２の保持部Ｃ２への電荷転送を行うトランジスタＭ２１を操作しても第１の保持部Ｃ１に蓄積されている電荷に影響はない。

【0040】

このように、本実施形態では、光電変換部ＰＤに対して、光電変換部で発生した電荷を保持する電荷保持部Ｃ１、Ｃ２と、光電変換部ＰＤで発生した電荷の電荷保持部Ｃ１、Ｃ２への転送を制御するトランジスタＭ１１、Ｍ２１との複数の組が設けられる。そして、制御部２１は、複数の組の各組におけるトランジスタＭ１１、Ｍ２１の動作タイミングを変更することで、各組における光電変換部で発生した電荷の電荷保持部への転送をフレーム単位で交互に行う。したがって、このような駆動制御を繰り返すことで、トランジスタＭ２をオンにすることが可能なタイミングに対する制限をなくす、すなわち、１フレームの任意のタイミングでトランジスタＭ２をオンにすることができる。

【0041】

また、本実施形態によれば、電流計１７による検知用電圧Ｖ＿Ｓｅｎｓｅの電流値の計
測結果から算出される光源の周波数とデューティ比に基づいて、メモリ転送トランジスタＭ１１、Ｍ２１を光源の発光と重なるタイミングでオン状態にすることができる。これにより、所定のデューティ比で明滅する光源を撮影する場合においても、撮影画像において光源の明るさが一定になるように撮影することができる。

【0042】

（第３実施形態）
次に、第３実施形態における撮像装置について説明する。以下の説明では、第１実施形態における撮像装置と異なる構成に焦点を当てる。また、以下の説明において、第１実施形態と同様の構成については、同一の符号を付し、詳細な説明を省略する。

【0043】

第１実施形態における撮像装置１では、ユーザの撮像装置１の操作による撮影期間以外の期間に発生する電荷により生じる電流を計測するための、電流の計測装置を用いている。一方、第３実施形態における撮像装置１では、上記電流の計測は行わずに光源の周波数およびデューティ比を検出する方法を用いる。

【0044】

図１３は、本実施形態における画素１１１１の等価回路を示す。本実施形態における撮像装置１は、撮像に用いる光電変換部ＰＤとは別に、撮像面の全行に対応するサイズの検知用画素１１２０を備える。検知用画素１１２０は、撮像面の全行にまたがって設けられる光電変換部１１２１（第２光電変換部）を有し、検知用画素１１２０は、撮像用の画素１１１１の各行の読み出しに同期し、各行の先頭で読み出される。

【0045】

図１４は、図１３に示す画素１１１１を用いて明滅する光源を被写体として撮像した場合の画像を模式的に示す。本実施形態では、撮像装置１による撮影中に読み出される検知用画素１１２０の画素値のプロファイル（図１４に示す列１２０１）を基に、全行読み出し時間に対する光源の周波数およびデューティ比を算出することが可能である。なお、算出された周波数およびデューティ比を用いて、トランジスタＭ２、あるいはメモリ転送トランジスタＭ１１、Ｍ２１を移動し、露光期間を光源の発光期間と重なるように制御する駆動は第１実施形態と同様である。

【0046】

（第４実施形態）
本発明の第４実施形態による撮像システムについて、図１５を用いて説明する。図１５は、本実施形態による撮像システムの概略構成を示すブロック図である。

【0047】

上記第１ないし第３の実施形態で述べた撮像装置１は、種々の撮像システムに適用可能である。適用可能な撮像システムとしては、特に限定されるものではないが、例えば、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星、医療用カメラなどの各種の機器が挙げられる。また、レンズなどの光学系と固体撮像素子（光電変換素子）とを備えるカメラモジュールも、撮像システムに含まれる。図１５にはこれらのうちの一例として、デジタルスチルカメラのブロック図を例示している。

【0048】

撮像システム２０００は、図１５に示すように、撮像装置１、撮像光学系２００２を備える。撮像システム２０００はさらに、ＣＰＵ２０１０、レンズ制御部２０１２、撮像装置制御部２０１４、画像処理部２０１６、絞りシャッター制御部２０１８、表示部２０２０、操作スイッチ２０２２、記録媒体２０２４を備える。

【0049】

撮像光学系２００２は、被写体の光学像を形成するための光学系であり、レンズ群、絞り２００４等を含む。絞り２００４は、その開口径を調節することで撮影時の光量調節を行なう機能を備えるほか、静止画撮影時には露光秒時調節用シャッターとしての機能も備える。レンズ群及び絞り２００４は、光軸方向に沿って進退可能に保持されており、これ
らの連動した動作によって変倍機能（ズーム機能）や焦点調節機能を実現する。撮像光学系２００２は、撮像システムに一体化されていてもよいし、撮像システムへの装着が可能な撮像レンズでもよい。

【0050】

撮像光学系２００２の像空間には、その撮像面が位置するように撮像装置１が配置されている。撮像装置１は、第１ないし第３実施形態で説明した撮像装置であり、ＣＭＯＳセンサ（画素部）とその周辺回路（周辺回路領域）とを含んで構成される。撮像装置１は、複数の光電変換部を有する画素が２次元配置され、これらの画素に対してカラーフィルタが配置されることで、２次元単板カラーセンサを構成している。撮像装置１は、撮像光学系２００２により結像された被写体像を光電変換し、画像信号や焦点検出信号として出力する。

【0051】

レンズ制御部２０１２は、撮像光学系２００２のレンズ群の進退駆動を制御して変倍操作や焦点調節を行うためのものであり、その機能を実現するように構成された回路や処理装置により構成されている。絞りシャッター制御部２０１８は、絞り２００４の開口径を変化して（絞り値を可変として）撮影光量を調節するためのものであり、その機能を実現するように構成された回路や処理装置により構成される。

【0052】

ＣＰＵ２０１０は、カメラ本体の種々の制御を司るカメラ内の制御装置であり、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を含む。ＣＰＵ２０１０は、ＲＯＭ等に記憶されたコンピュータプログラムに従ってカメラ内の各部の動作を制御し、撮像光学系２００２の焦点状態の検出（焦点検出）を含むＡＦ、撮像、画像処理、記録等の一連の撮影動作を実行する。ＣＰＵ２０１０は、信号処理部でもある。

【0053】

撮像装置制御部２０１４は、撮像装置１の動作を制御するとともに、撮像装置１から出力された信号をＡ／Ｄ変換してＣＰＵ２０１０に送信するためのものであり、それら機能を実現するように構成された回路や制御装置により構成される。Ａ／Ｄ変換機能は、撮像装置１が備えていてもかまわない。画像処理部２０１６は、Ａ／Ｄ変換された信号に対してγ変換やカラー補間等の画像処理を行って画像信号を生成する処理装置であり、その機能を実現するように構成された回路や制御装置により構成される。表示部２０２０は、液晶表示装置（ＬＣＤ）等の表示装置であり、カメラの撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態等を表示する。操作スイッチ２０２２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。記録媒体２０２４は、撮影済み画像等を記録するためのものであり、撮像システムに内蔵されたものでもよいし、メモリカード等の着脱可能なものでもよい。

【0054】

このようにして、第１ないし第３実施形態による撮像装置１を適用した撮像システム２０００を構成することにより、高性能の撮像システムを実現することができる。

【0055】

（第５実施形態）
本発明の第５実施形態による撮像システムおよび移動体について、図１６Ａおよび図１６Ｂを用いて説明する。図１６Ａ及び図１６Ｂは、本実施形態による撮像システムおよび移動体の構成を示す図である。

【0056】

図１６Ａは、車載カメラに関する撮像システム２１００の一例を示したものである。撮像システム２１００は、撮像装置１を有する。撮像装置１は、第１ないし第３実施形態で説明した撮像装置である。また、撮像システム２１００は、画像処理部２１１２と、視差取得部２１１４と、距離取得部２１１６と、衝突判定部２１１８と、を有する。画像処理
部２１１２は、撮像装置１により取得された複数の画像データに対し、画像処理を行う処理装置である。視差取得部２１１４は、撮像装置１により取得された複数の画像データから視差（視差画像の位相差）の算出を行う処理装置である。距離取得部２１１６は、算出された視差に基づいて対象物までの距離を算出する処理装置である。衝突判定部２１１８は、算出された距離に基づいて衝突可能性があるか否かを判定する処理装置である。ここで、視差取得部２１１４や距離取得部２１１６は、対象物までの距離情報等の情報を取得する情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部２１１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。上述の処理装置は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールに基づいて演算を行う汎用のハードウェアによって実現されてもよい。また、処理装置はＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって実現されてもよい。さらに、処理装置はこれらの組合せによって実現されてもよい。

【0057】

撮像システム２１００は、車両情報取得装置２１２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム２１００は、衝突判定部２１１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ２１３０が接続されている。すなわち、制御ＥＣＵ２１３０は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム２１００は、衝突判定部２１１８での判定結果に基づいて、ドライバーへ警報を発する警報装置２１４０とも接続されている。例えば、衝突判定部２１１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ２１３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置２１４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

【0058】

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム２１００で撮像する。図１６Ｂに、車両前方（撮像範囲２１５０）を撮像する場合の撮像システム２１００を示した。車両情報取得装置２１２０は、撮像システム２１００を動作させ撮像を実行させるように指示を送る。上述の第１ないし第３実施形態の撮像装置１を用いることにより、本実施形態の撮像システム２１００は、測距の精度をより向上させることができる。

【0059】

以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自動車等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの可動部を有する移動体（輸送機器）に適用することができる。移動体（輸送機器）における移動装置はエンジン、モーター、車輪、プロペラなどの推進部である各種の駆動源である。可動部または推進部を有する機械装置を有する機器に加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器にも適用することができる。

【0060】

（その他の実施形態）
上述した実施形態は本発明の具体例を示すものにすぎない。本発明の範囲は上述した実施形態の構成に限られることはなく、その要旨を変更しない範囲のさまざまな実施形態を採ることができる。

【符号の説明】

【0061】

１：撮像装置
１０：撮像素子
１１：画素
１７：電流計
２０：検出部
２１：制御部
ＰＤ：光電変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】