特開 2024-171629 光電変換装置、移動体、光電変換方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024171629

(43)【公開日】2024-12-12

(54)【発明の名称】光電変換装置、移動体、光電変換方法、及びコンピュータプログラム

(51)【国際特許分類】

   H04N 25/40 20230101AFI20241205BHJP

   H04N 25/773 20230101ALI20241205BHJP

【ＦＩ】

H04N25/40

H04N25/773

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023088746

(22)【出願日】2023-05-30

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】斉藤 正則

(72)【発明者】

【氏名】木村 孝行

(72)【発明者】

【氏名】藤森 壮也

(72)【発明者】

【氏名】鍋島 拓文

(72)【発明者】

【氏名】横山 順哉

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024CX53

5C024GX03

5C024GX15

5C024GY39

5C024GY41

5C024GY45

5C024HX57

5C024JX42

(57)【要約】

【課題】
短時間の蓄積結果を途中で読み出すことが可能な光電変換装置を提供する。
【解決手段】
光電変換装置において、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、前記カウンタのカウント値を記憶するメモリと、をそれぞれ備える複数の画素と、蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、フルフレーム内で第１の蓄積期間と第２の蓄積期間を持ち、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御する制御手段と、を有する。
【選択図】 図７

【特許請求の範囲】

【請求項1】

光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、
前記カウンタのカウント値を記憶するメモリと、をそれぞれ備える複数の画素と、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、
フルフレーム内で第１の蓄積期間と第２の蓄積期間を持ち、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御する制御手段と、を有することを特徴とする光電変換装置。

【請求項2】

前記第１の蓄積期間と前記第２の蓄積期間は重複していることを特徴とする請求項１に記載の光電変換装置。

【請求項3】

前記第１の蓄積期間と前記第２の蓄積期間は同時に開始することを特徴とする請求項２に記載の光電変換装置。

【請求項4】

前記第２の蓄積期間の終了時がフルフレームの終了時と一致することを特徴とする請求項１に記載の光電変換装置。

【請求項5】

少なくとも前記第１の蓄積期間に生成される信号に基づき被写体を認識する認識手段を有することを特徴とする請求項１に記載の光電変換装置。

【請求項6】

前記認識手段は、更に前記第２の蓄積期間に生成される信号に基づき前記被写体を認識することを特徴とする請求項５に記載の光電変換装置。

【請求項7】

少なくとも前記第２の蓄積期間に生成される信号を画像として表示する表示手段を有することを特徴とする請求項１に記載の光電変換装置。

【請求項8】

前記センサ部はアバランシェフォトダイオードを含むことを特徴とする請求項１に記載の光電変換装置。

【請求項9】

請求項１～８のいずれか１項に記載の光電変換装置と、
移動体の動作を制御する移動制御手段と、を有することを特徴とする移動体。

【請求項10】

光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、
前記カウンタのカウント値を記憶するメモリと、をそれぞれ備える複数の画素により光電変換を行うための光電変換方法であって、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、
フルフレーム内で第１の蓄積期間と第２の蓄積期間を持ち、
前記第１の蓄積期間は前記第２の蓄積期間よりも短く、
前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御することを特徴とする光電変換方法。

【請求項11】

請求項１～８のいずれか１項に記載の光電変換装置又は請求項９に記載の移動体の各手段をコンピュータにより制御するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光電変換装置、移動体、光電変換方法、及びコンピュータプログラム等に関するものである。

【背景技術】

【0002】

近年、アバランシェフォトダイオード（ＡＰＤ）に入射する光子の数をデジタル的に計数し、計数値を光電変換されたデジタル信号として画素から出力する光電変換装置が開発されている。

【0003】

又、例えば特許文献１では、ＡＰＤを有する光電変換装置において、蓄積期間が互いに重複する複数の映像を出力することができ、それにより低照度でも連写が可能となる構成が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許７２２３０７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、例えば移動体に設置される車載用のカメラの撮像素子を想定した場合、通常のセンサ駆動ではフレーム単位で認識処理をかけるため、例えば３０ｆｐｓの場合、３３．３ｍｓごとにしか認識処理を実行できない。従って、車載用のカメラではフレーム切り替わり直後に物体が飛び込んできても、フレームの終了まで認識処理をかけることができない。

【0006】

又、車載用のカメラでは信号機によるフリッカを抑制するために一定期間（１１ｍｓ）以上の蓄積期間とすることが多く、特に低照度下では蓄積期間を長くすることで明るく撮影している。しかし蓄積期間が長いので高速で動く物体には被写体ブレが生じ、認識率が下がる。

【0007】

そこで、本発明は、短時間の蓄積結果を途中で読み出すことが可能な光電変換装置を提供することを目的の１つとする。

【課題を解決するための手段】

【0008】

本発明の１側面の光電変換装置は、
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、
前記カウンタのカウント値を記憶するメモリと、をそれぞれ備える複数の画素と、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、
フルフレーム内で第１の蓄積期間と第２の蓄積期間を持ち、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御する制御手段と、を有することを特徴とする。

【発明の効果】

【0009】

本発明によれば、短時間の蓄積結果を途中で読み出すことが可能な光電変換装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態の光電変換素子の構成例を示す図である。

【図2】センサ基板１１の構成例を示す図である。

【図3】回路基板２１の構成例を示す図である。

【図4】図２及び図３のうち、画素１０１及び、画素１０１に対応した信号処理回路１０３の等価回路を示した図である。

【図5】ＡＰＤ２０１の動作と出力信号の関係を模式的に示した図である。

【図6】実施形態に係る光電変換装置６００及び移動体７００の機能ブロック図である。

【図7】実施形態に係るカメラ制御部６０５による光電変換方法を説明するための図である。

【図8】分割された複数のフレームの画像の例を示す図である。

【図9】実施形態におけるメモリ回路とバッファとの関係を示す図である。

【図10】実施形態における光電変換素子の駆動例の詳細を示すフローチャートである。

【図11】図１０の続きのフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

【0012】

図１は、本発明の実施形態の光電変換素子の構成例を示す図である。以下では、光電変換素子１００が、センサ基板１１と、回路基板２１の２枚の基板が積層され、且つ電気的に接続されることにより構成される、所謂、積層構造である光電変換装置を例にとって説明する。しかしながら、センサ基板に含まれる構成と回路基板に含まれる構成が共通の半導体層に配された、所謂、非積層構造であっても良い。センサ基板１１は、画素領域１２を含む。回路基板２１は、画素領域１２で検出された信号を処理する回路領域２２を含む。

【0013】

図２は、センサ基板１１の構成例を示す図である。センサ基板１１の画素領域１２は、複数行及び列方向に渡って二次元状に複数配置された画素１０１を含む。画素１０１は、アバランシェフォトダイオード（以下、ＡＰＤ）を含む光電変換部１０２を備える。

【0014】

ここで、光電変換部１０２は、光子の受光頻度に応じた頻度でパルスを発するセンサ部として機能している。尚、画素領域１２を成す画素アレイの行数及び列数は、特に限定されるものではない。

【0015】

図３は、回路基板２１の構成例を示す図である。回路基板２１は、図２の各光電変換部１０２で光電変換された電荷を処理する信号処理回路１０３、読み出し回路１１２、制御パルス生成部１１５、水平走査回路１１１、垂直信号線１１３、垂直走査回路１１０、出力回路１１４を有している。

【0016】

垂直走査回路１１０は、制御パルス生成部１１５から供給された制御パルスを受け、行方向に配列された複数の画素に、順次的に制御パルスを供給する。垂直走査回路１１０にはシフトレジスタやアドレスデコーダといった論理回路が用いられる。

【0017】

各画素の光電変換部１０２から出力された信号は、各信号処理回路１０３で処理される。信号処理回路１０３は、カウンタやメモリなどが設けられており、メモリにはデジタル値が保持される。水平走査回路１１１は、デジタル信号が保持された各画素のメモリから信号を読みだすために、各列を順次選択する制御パルスを信号処理回路１０３に入力する。

【0018】

垂直信号線１１３には、垂直走査回路１１０により選択された行の画素の信号処理回路１０３から信号が出力される。垂直信号線１１３に出力された信号は、読み出し回路１１２、出力回路１１４を介して、光電変換素子１００の外部に出力される。読み出し回路１１２には各垂直信号線１１３に接続された、複数のバッファが内蔵されている。

【0019】

図２及び図３に示すように、平面視で画素領域１２に重なる領域に、複数の信号処理回路１０３が配される。そして、平面視で、センサ基板１１の端と画素領域１２の端との間に重なるように、垂直走査回路１１０、水平走査回路１１１、読み出し回路１１２、出力回路１１４、制御パルス生成部１１５が配される。

【0020】

言い換えると、センサ基板１１は、画素領域１２と画素領域１２の周りに配された非画素領域とを有する。そして、平面視で非画素領域に重なる領域に、垂直走査回路１１０、水平走査回路１１１、読み出し回路１１２、出力回路１１４、制御パルス生成部１１５が配される。

【0021】

尚、垂直信号線１１３の配置、読み出し回路１１２、出力回路１１４の配置は、図３に示した例に限定されない。例えば、垂直信号線１１３が行方向に延びて配されており、読み出し回路１１２を垂直信号線１１３が延びる先に配しても良い。又、信号処理回路１０３は、必ずしもすべての光電変換部に１つずつ設けられる必要はなく、複数の光電変換部に対して１つの信号処理部が共有され、順次信号処理を行う構成となっていても良い。

【0022】

図４は、図２及び図３における画素１０１と、画素１０１に対応した信号処理回路１０３の等価回路を示した図である。

【0023】

光電変換部１０２に含まれるＡＰＤ２０１は、光電変換により入射光に応じた電荷対を生成する。ＡＰＤ２０１の２つのノードのうちの一方のノードは、駆動電圧ＶＬ（第１電圧）が供給される電源線と接続されている。又、ＡＰＤ２０１の２つのノードのうちの他方のノードは、電圧ＶＬよりも高い駆動電圧ＶＨ（第２電圧）が供給される電源線と接続されている。

【0024】

図４では、ＡＰＤ２０１の一方のノードはアノードであり、ＡＰＤの他方のノードはカソードである。ＡＰＤ２０１のアノードとカソードには、ＡＰＤ２０１がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。

【0025】

尚、逆バイアスの電圧が供給される場合において、アノード及びカソードの電圧差が降伏電圧より大きい電圧差で動作させるガイガーモードと、アノード及びカソードの電圧差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。ガイガーモードで動作させるＡＰＤをＳＰＡＤと呼ぶ。ＳＰＡＤの場合、例えば、電圧ＶＬ（第１電圧）は、－３０Ｖ、電圧ＶＨ（第２電圧）は、１Ｖである。

【0026】

信号処理回路１０３は、クエンチ素子２０２、波形整形部２１０、カウンタ回路２１１、メモリ回路２１２を有する。クエンチ素子２０２は、駆動電圧ＶＨが供給される電源線とＡＰＤ２０１のアノード及びカソードのうちの一方のノードに接続される。

【0027】

クエンチ素子２０２は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、ＡＰＤ２０１に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。又、クエンチ素子２０２は、クエンチ動作で電圧降下した分の電流を流すことにより、ＡＰＤ２０１に供給する電圧を駆動電圧ＶＨへと戻す働きを持つ（リチャージ動作）。

【0028】

図４では、信号処理回路１０３は、クエンチ素子２０２の他に波形整形部２１０、カウンタ回路２１１、及びメモリ回路２１２を有する例を示した。

【0029】

波形整形部２１０は、光子検出時に得られるＡＰＤ２０１のカソードの電圧変化を整形して、パルス信号を出力する。波形整形部２１０としては、例えば、インバータ回路が用いられる。図４では、波形整形部２１０としてインバータを１つ用いた例を示したが、複数のインバータを直列接続した回路を用いても良いし、波形整形効果があるその他の回路を用いても良い。

【0030】

カウンタ回路２１１は、波形整形部２１０から出力されたパルスの数をカウントし、カウント値を保持する。又、駆動線２１３を介して制御パルスＲＥＳが供給されたとき、カウンタ回路２１１に保持された信号がリセットされる。ここでカウンタ回路２１１は、蓄積期間の開始時と終了時のカウント値の差分に基づいて信号を生成している。

【0031】

メモリ回路２１２には、図３の垂直走査回路１１０から、図４の駆動線２１４（図３では不図示）を介して制御パルスＳＥＬが供給され、カウンタ回路２１１と垂直信号線１１３との電気的な接続、非接続を切り替える。メモリ回路２１２は、カウンタのカウント値を一時的に記憶するメモリとして機能しており、画素のカウンタ回路２１１からの出力信号を垂直信号線１１３に出力する。

【0032】

尚、クエンチ素子２０２とＡＰＤ２０１との間や、光電変換部１０２と信号処理回路１０３との間にトランジスタ等のスイッチを配して、電気的な接続を切り替えても良い。同様に、光電変換部１０２に供給される電圧ＶＨ又は電圧ＶＬの供給をトランジスタ等のスイッチを用いて電気的に切り替えても良い。

【0033】

図５は、ＡＰＤ２０１の動作と出力信号の関係を模式的に示した図である。波形整形部２１０の入力側をｎｏｄｅＡ、出力側をｎｏｄｅＢとしている。時刻ｔ０から時刻ｔ１の間において、ＡＰＤ２０１には、ＶＨ－ＶＬの電位差が印加されている。時刻ｔ１において光子がＡＰＤ２０１に入射すると、ＡＰＤ２０１でアバランシェ増倍が生じ、クエンチ素子２０２にアバランシェ増倍電流が流れ、ｎｏｄｅＡの電圧は降下する。

【0034】

電圧降下量が更に大きくなり、ＡＰＤ２０１に印加される電位差が小さくなると、時刻ｔ２のようにＡＰＤ２０１のアバランシェ増倍が停止し、ｎｏｄｅＡの電圧レベルはある一定値以下には降下しなくなる。

【0035】

その後、時刻ｔ２から時刻ｔ３の間において、ｎｏｄｅＡには電圧ＶＬから電圧降下分を補う電流が流れ、時刻ｔ３においてｎｏｄｅＡは元の電位レベルに静定する。このとき、ｎｏｄｅＡにおいて出力波形がある閾値を越えた部分は、波形整形部２１０で波形整形され、ｎｏｄｅＢでパルス信号として出力される。

【0036】

次に、実施形態の光電変換装置６００及び移動体７００について説明する。図６は実施形態に係る光電変換装置６００及び移動体７００の機能ブロック図である。尚、図６に示される機能ブロックの一部は、光電変換装置６００及び移動体７００に含まれる不図示のコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。

【0037】

しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。又、図６に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

【0038】

光電変換装置６００は、図１～図５で説明した光電変換素子１００、結像光学系６０１、画像処理部６０３、認識部６０４、カメラ制御部６０５、記憶部６０６、通信部６０７等を有する。光電変換素子１００は、光学像を光電変換するための図１～図５で説明したアバランシェフォトダイオードで構成されている。

【0039】

実施形態の光電変換装置は移動体７００に搭載されており、結像光学系６０１と光電変換素子１００のセットからなるカメラユニットは例えば移動体の前方、後方、側方の少なくとも１方向を撮影するように構成されている。尚、カメラユニットを移動体７００に複数設けても良い。

【0040】

画像処理部６０３は、光電変換素子１００で取得された像信号に対して例えば黒レベル補正や、ガンマカーブ調整、ノイズリダクション、デジタルゲイン調整、デモザイク処理、データ圧縮等の画像処理を行い、最終的な画像信号を生成する。尚、光電変換素子１００がＲＧＢ等のオンチップカラーフィルタを有する場合、画像処理部６０３においてホワイトバランス補正、色変換などの処理を行うことが望ましい。

【0041】

又、画像処理部６０３の出力は認識部６０４、移動体７００のＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）７０１、カメラ制御部６０５に供給される。認識部６０４は、画像信号に基づき画像認識を行うことによって周囲の人や車両等を認識し、必要に応じて警告等を発する。

【0042】

尚、本実施形態では移動体７００は例えば自動車の例を用いて説明するが、移動体は航空機、電車、船舶、ドローン、ＡＧＶ、ロボットなど、移動可能なものであれば、どのようなものであっても良い。

【0043】

カメラ制御部６０５はコンピュータとしてのＣＰＵ及びコンピュータプログラムを記憶したメモリを内蔵しており、メモリに記憶されたコンピュータプログラムをＣＰＵが実行することにより光電変換装置６００の各部の制御を行う。

【0044】

尚、カメラ制御部６０５は制御手段として機能しており、例えば光電変換素子１００の制御パルス生成部を介して、光電変換素子１００の各フレームの露光期間の長さや、制御信号ＣＬＫのタイミングの制御などを行う。

【0045】

記憶部６０６は、例えば、メモリカード、ハードディスク等の記録媒体を含み、画像信号を記憶、読出すことができる。通信部６０７は無線や有線のインターフェースを備え、生成した画像信号を光電変換装置６００の外部に出力すると共に外部からの各種信号を受信する。

【0046】

ＥＣＵ７０１はコンピュータとしてのＣＰＵ及びコンピュータプログラムを記憶したメモリを内蔵しており、メモリに記憶されたコンピュータプログラムをＣＰＵが実行することにより移動体７００の各部の制御を行う。

【0047】

ＥＣＵ７０１の出力は車両制御部７０２と表示部７０３に供給される。車両制御部７０２は、ＥＣＵ７０１の出力に基づき移動体としての車両の駆動、停止、方向制御等を行う移動制御手段として機能している。又、表示部７０３は表示手段として機能しており、例えば液晶デバイスや有機ＥＬ等の表示素子を含み、移動体７００に搭載されている。

【0048】

表示部７０３は、ＥＣＵ７０１の出力に基づき例えばＧＵＩを用いて移動体７００の運転者に対して、光電変換素子１００により取得した画像や、車両の走行状態等に関する各種情報を表示する。

【0049】

尚、図６における画像処理部６０３、認識部６０４等は移動体７００に搭載されていなくても良く、例えば移動体７００とは別に設けられた、移動体７００をリモートコントロールため、或いは移動体の走行をモニターするための外部端末等に設けても良い。

【0050】

図７は、実施形態に係るカメラ制御部６０５による光電変換方法を説明するための図である。本実施形態では、例えば３０フルフレーム／秒で光電変換を周期的に駆動する。又、３３．３ｍｓの長さの１垂直期間分のフレームをフルフレームと呼び、フルフレームを４分割したものを夫々フレームと呼ぶ。

【0051】

即ち、図７に示すように、時刻Ｔ０～時刻Ｔ１２までのフルフレーム１を均等な期間（８．３３ｍｓ）ずつフレーム１＿１、１＿２、１＿３、１＿４に分割している。

【0052】

尚、フレーム１＿１は、フルフレーム１の開始時刻Ｔ０～時刻Ｔ１までの蓄積期間（光電変換期間）を有し、フレーム１＿２は、時刻Ｔ０～時刻Ｔ２までの蓄積期間を有する。又、フレーム１＿３は、時刻Ｔ０～時刻Ｔ３までの蓄積期間を有し、フレーム１＿４は、時刻Ｔ０～時刻Ｔ４までの蓄積期間を有する。

【0053】

そして時刻Ｔ０においてカウンタ回路２１１はリセットされ、時刻Ｔ１～Ｔ４において夫々カウント値Ｃ１＿１、Ｃ１＿２、Ｃ１＿３、Ｃ１＿４をカウンタ回路２１１から取得している。

【0054】

又、カウント値Ｃ１＿１、Ｃ１＿２、Ｃ１＿３、Ｃ１＿４はメモリ回路２１２に一時的に保存される。そしてメモリ回路２１２に一時的に保存された１行分の信号は読み出し回路１１２のバッファを介して光電変換素子から逐次出力される。

【0055】

このように、本実施形態によれば、フレーム１＿１の期間に蓄積された信号は時刻Ｔ１～Ｔ２にかけて読出され、認識部６０４で速やかに処理される。従って画像認識を速やかに行うことができる。同様に、フレーム１＿２、フレーム１＿３、フレーム１＿４の期間に蓄積された信号は夫々時刻Ｔ２～Ｔ３、Ｔ３～Ｔ４、Ｔ４～Ｔ１にかけて順次読出され、画像認識を繰り返し行うことができる。

【0056】

図８は、分割された複数のフレームの画像の例を示す図である。図８に示すようにフレーム１＿１の画像は蓄積期間が短いので暗くなるが、飛び出してきた人の被写体ブレは少ない。一方、フレーム１＿２、フレーム１＿３、フレーム１＿４の順に、蓄積期間が長くなるので被写体ブレが生じやすくなる。尚、停止している車両や白線にはブレは生じにくく、蓄積期間が長い程コントラストが向上しやすい。

【0057】

このように、本実施形態では、フルフレーム内で第１の蓄積期間と第２の蓄積期間を持ち、第１の蓄積期間は第２の蓄積期間よりも短く、第１の蓄積期間に生成される信号を第１の蓄積期間終了から第２の蓄積期間終了までの間に出力するように制御している。

【0058】

又、本実施形態では、第１の蓄積期間と第２の蓄積期間は重複しており、第１の蓄積期間と第２の蓄積期間は同時に開始する。更に、第２の蓄積期間の終了時がフルフレームの終了時と一致しており、第２の蓄積期間は前記第１の蓄積期間の整数倍となっている。

【0059】

ただし、第２の蓄積期間は前記第１の蓄積期間の整数倍である必要はない。第２の蓄積期間は第１の蓄積期間よりも長く（第１の蓄積期間は第２の蓄積期間よりも短く）、第２の蓄積期間の終了が第１の蓄積期間も終了よりも後になればよい。

【0060】

即ち、蓄積期間が短い画像と長い画像を作り、短い蓄積期間が終わるタイミングを、長い蓄積期間が終わるタイミングよりも早くしておき、短い蓄積期間が終わり次第、その画像を出力して後段の認識部に送っている。そして少なくとも第１の蓄積期間に生成される信号に基づき被写体を認識している。認識手段としての認識部６０４は、少なくとも第１の蓄積期間に生成される信号に基づき被写体を認識する。

【0061】

従って、従来ではフルフレーム経過しないと画像認識できなかったのに対して、本実施形態では、最短で１／４フルフレーム期間後に画像認識を行うことができ、例えば移動体が高速で移動している際に、障害物等を速やかに認識することができる。従って、速やかにブレーキをかけることなどができる。或いは障害物を早期に回避することが可能となる。

【0062】

尚、蓄積期間が長い画像はコントラストを向上させることができるので、表示用画像として用いることができる。即ち、蓄積期間が短い画像は速やかな被写体認識に適しており、蓄積期間が長い画像は表示用画像に適している。このように、本実施形態の表示装置は、少なくとも第２の蓄積期間に生成される信号を画像として表示している。

【0063】

又、本実施形態においてはＡＰＤを用いているので、ＣＭＯＳセンサと異なり、読み出すことによって蓄積された電荷が劣化することはないので蓄積期間を重複させることができる。又、読出しノイズがないので１度の蓄積で何度読み出しても元の信号が劣化しない。

【0064】

図９は、実施形態におけるメモリ回路とバッファとの関係を示す図である。図９においては、図３の信号処理回路１０３内のメモリ回路２１２を、Ｎ行Ｍ列に配列した状態を示しており、各メモリ回路はメモリ１－１～メモリＮ－Ｍのように表されている。又、図９におけるバッファ１～バッファＭは図３における読み出し回路１１２に含まれるバッファを示している。図９における出力回路１１４は図３の出力回路１１４に対応している。

【0065】

図１０は、実施形態における光電変換素子の駆動例の詳細を示すフローチャートであり、図１１は図１０の続きのフローチャートである。尚、カメラ制御部６０５内のコンピュータとしてのＣＰＵ等がメモリに記憶されたコンピュータプログラムを実行することによって図１０、図１１のフローチャートの各ステップの動作が順次行われる。

【0066】

図１０のステップＳ１０１において、ｉ＝１にセットする。次にステップＳ１０２において時刻Ｔｉにおけるカウンタ回路２１１のカウント値Ｃｏｕｎｔをメモリ回路２１２に出力する。この時、全てのメモリ回路に対して同時に出力を行う。この動作は図７の時刻Ｔ１の動作に対応している。

【0067】

次にステップＳ１０３においてｊ＝１をセットし、ステップＳ１０４において図９のメモリ回路ｊ－ｋにおけるカウント値Ｃｏｕｎｔ（ｊ－ｋ－ｉ）をバッファに出力する。この時、１～Ｍ列同時にバッファに出力する。この動作は、図９の１行目のカウント値をバッファに取り込む動作を意味している。

【0068】

次にステップＳ１０５においてｋ＝１にセットし、ステップＳ１０６においてバッファｋのカウント値Ｃｏｕｎｔ（ｊ－ｋ－ｉ）を出力回路１１４に出力する。この動作は、図９の一番左の列のバッファの信号を出力回路から読出す動作に対応している。

【0069】

次にＡを介して図１１のステップＳ１０７に進み、ステップＳ１０７においてｋ＜Ｍか判定し、ＹｅｓであればステップＳ１０８においてｋ＝ｋ＋１としてｋを１アップし、Ｂを介してステップＳ１０６に戻りステップＳ１０６の動作を行う。この動作は図９の左から２列目のバッファの信号を出力回路から読出す動作に対応している。

【0070】

ステップＳ１０７でＮｏになった場合、即ち、ｋ＝Ｍになった場合には、図９のＭ列目のバッファの信号を出力回路から読出し終わったことを意味し、次にステップＳ１０９に進み、ｊ＜Ｎか判定する。ステップＳ１０９でＹｅｓの場合にはステップＳ１１０でｊ＝Ｊ＋１とし、ｊを１アップし、Ｃを介してステップＳ１０４に戻る。これは次の行の読出しを開始するための動作に対応している。

【0071】

ステップＳ１０９でＮｏと判定された場合には、全ての行の読出しが終了したことを意味するので、ステップＳ１１１に進み、ｊ＜４か否か判定する。ステップＳ１１１でＹｅｓと判定された場合にはｉ＝ｉ＋１としｉを１アップしてＤを介してステップＳ１０２に戻る。この動作は次の時刻Ｔ２の読出しを開始する動作に対応している。

【0072】

ステップＳ１１１でＮｏと判定された場合には、時刻Ｔ４における読出しが完了したことを意味するので、ステップＳ１１３に進み、リセット信号でカウンタ回路２１１をリセットする。この動作は図７における時刻Ｔ４のカウンタ回路２１１のリセット動作に対応している。以上のようにして、光電変換素子１００に蓄積された信号を順次読出すことができる。

【0073】

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

【0074】

例えば、上記実施形態では、最短で１／４フルフレーム期間の蓄積を行っているが、認識部６０４における認識精度に応じて、最短の蓄積期間の長さを例えば１／５フルフレーム期間や１／３フルフレーム期間などに変更しても良い。或いは、被写体の明るさに応じて、最短の蓄積期間の長さを変更しても良い。

【0075】

更に、読出し周期を１／４フルフレーム期間ごととした場合であっても、被写体の明るさや画像認識精度などに応じて、図７のフレーム１＿１の蓄積期間内の途中でカウンタ回路をリセットしても良い。それにより実質的な蓄積期間を１／４フルフレーム期間よりも短くしても良い。

【0076】

或いは図７の時刻Ｔ１などにおいて、カウンタ回路を一旦リセットしても良い。それにより、時刻Ｔ４において読出されるカウント値を調整するようにしても良い。尚、本実施形態は、以下の組み合わせを含む。

【0077】

（構成１）光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、前記カウンタのカウント値を記憶するメモリと、をそれぞれ備える複数の画素と、蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、フルフレーム内で第１の蓄積期間と第２の蓄積期間を持ち、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御する制御手段と、を有することを特徴とする光電変換装置。

【0078】

（構成２）前記第１の蓄積期間と前記第２の蓄積期間は重複していることを特徴とする構成１に記載の光電変換装置。

【0079】

（構成３）前記第１の蓄積期間と前記第２の蓄積期間は同時に開始することを特徴とする構成２に記載の光電変換装置。

【0080】

（構成４）前記第２の蓄積期間の終了時がフルフレームの終了時と一致することを特徴とする構成１～３のいずれか１つに記載の光電変換装置。

【0081】

（構成５）少なくとも前記第１の蓄積期間に生成される信号に基づき被写体を認識する認識手段を有することを特徴とする構成１～４のいずれか１つに記載の光電変換装置。

【0082】

（構成６）前記認識手段は、更に前記第２の蓄積期間に生成される信号に基づき前記被写体を認識することを特徴とする構成５に記載の光電変換装置。

【0083】

（構成７）少なくとも前記第２の蓄積期間に生成される信号を画像として表示する表示手段を有することを特徴とする構成１～６のいずれか１つに記載の光電変換装置。

【0084】

（構成８）前記センサ部はアバランシェフォトダイオードを含むことを特徴とする構成１～７のいずれか１つに記載の光電変換装置。

【0085】

（構成９）構成１～８のいずれか１項に記載の光電変換装置と、
移動体の動作を制御する移動制御手段と、を有することを特徴とする移動体。

【0086】

（方法）光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、前記カウンタのカウント値を記憶するメモリと、をそれぞれ備える複数の画素により光電変換を行うための光電変換方法であって、蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、フルフレーム内で第１の蓄積期間と第２の蓄積期間を持ち、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御することを特徴とする光電変換方法。

【0087】

（プログラム）構成１～８のいずれか１つに記載の光電変換装置又は構成９に記載の移動体の各手段をコンピュータにより制御するためのコンピュータプログラム。

【0088】

尚、本実施例における制御の一部又は全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して光電変換装置に供給するようにしても良い。そしてその光電変換装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしても良い。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

【符号の説明】

【0089】

１１：センサ基板
１２：画素領域
２１：回路基板
２２：回路領域
１００：光電変換素子
１０１：画素
１０２：光電変換部
１０３：信号処理回路
１１０：垂直走査回路
１１１：水平走査回路
１１２：読み出し回路
１１３：垂直信号線
１１４：出力回路
１１５：制御パルス生成部
２０１：アバランシェフォトダイオード
２０２：クエンチ素子
２１０：波形整形部
２１１：カウンタ回路
２１２：メモリ回路
２１３：駆動線
６００：光電変換装置
６０１：結像光学系
６０３：信号処理部
６０４：認識部
６０５：カメラ制御部
６０６：記憶部
６０７：通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】