特開 2024-171687 光電変換装置、移動体、光電変換方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024171687

(43)【公開日】2024-12-12

(54)【発明の名称】光電変換装置、移動体、光電変換方法、及びコンピュータプログラム

(51)【国際特許分類】

   H04N 25/40 20230101AFI20241205BHJP

   H04N 25/773 20230101ALI20241205BHJP

【ＦＩ】

H04N25/40

H04N25/773

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023088836

(22)【出願日】2023-05-30

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】斉藤 正則

(72)【発明者】

【氏名】木村 孝行

(72)【発明者】

【氏名】藤森 壮也

(72)【発明者】

【氏名】鍋島 拓文

(72)【発明者】

【氏名】横山 順哉

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024CX53

5C024GX03

5C024GX15

5C024GY39

5C024GY41

5C024GY45

5C024HX57

5C024JX42

(57)【要約】

【課題】
短時間の蓄積結果を途中で読み出すことが可能な光電変換装置を提供する。
【解決手段】
光電変換装置において、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、を夫々備える複数の画素と、蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、フルフレーム内で第１の蓄積期間と第２の蓄積期間を持ち、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御する制御手段と、を有する。
【選択図】 図７

【特許請求の範囲】

【請求項1】

光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、を夫々備える複数の画素と、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、
フルフレーム内で第１の蓄積期間と第２の蓄積期間を持ち、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御する制御手段と、を有することを特徴とする光電変換装置。

【請求項2】

前記制御手段は、前記カウンタのカウント値を読み出す際に前記カウンタにおけるカウントを停止するように制御することを特徴とする請求項１に記載の光電変換装置。

【請求項3】

前記第１の蓄積期間と前記第２の蓄積期間は重複していることを特徴とする請求項１に記載の光電変換装置。

【請求項4】

前記第１の蓄積期間と前記第２の蓄積期間は同時に開始することを特徴とする請求項１に記載の光電変換装置。

【請求項5】

前記第２の蓄積期間の終了時がフルフレームの終了時と一致することを特徴とする請求項１に記載の光電変換装置。

【請求項6】

少なくとも前記第１の蓄積期間に生成される信号に基づき被写体を認識する認識手段を有することを特徴とする請求項１に記載の光電変換装置。

【請求項7】

前記認識手段は、更に前記第２の蓄積期間に生成される信号に基づき前記被写体を認識することを特徴とする請求項６に記載の光電変換装置。

【請求項8】

少なくとも前記第２の蓄積期間に生成される信号を画像として表示する表示手段を有することを特徴とする請求項１に記載の光電変換装置。

【請求項9】

前記センサ部はアバランシェフォトダイオードを含むことを特徴とする請求項１に記載の光電変換装置。

【請求項10】

請求項１～９のいずれか１項に記載の光電変換装置と、
移動体の動作を制御する移動制御手段と、を有することを特徴とする移動体。

【請求項11】

光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、
を夫々備える複数の画素により光電変換を行うための光電変換方法であって、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、
フルフレーム内で第１の蓄積期間と第２の蓄積期間を持ち、
前記第１の蓄積期間は前記第２の蓄積期間よりも短く、
前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御することを特徴とする光電変換方法。

【請求項12】

請求項１～９のいずれか１項に記載の光電変換装置又は請求項１０に記載の移動体の各手段をコンピュータにより制御するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光電変換装置、移動体、光電変換方法、及びコンピュータプログラム等に関するものである。

【背景技術】

【0002】

近年、アバランシェフォトダイオード（ＡＰＤ）に入射する光子の数をデジタル的に計数し、計数値を光電変換されたデジタル信号として画素から出力する光電変換装置が開発されている。

【0003】

又、例えば特許文献１では、ＡＰＤを有する光電変換装置において、蓄積期間が互いに重複する複数の映像を出力することができ、それにより低照度でも連写が可能となる構成が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許７２２３０７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、例えば移動体に設置される車載用のカメラの撮像素子を想定した場合、通常のセンサ駆動ではフレーム単位で認識処理をかけるため、例えば３０ｆｐｓの場合、３３．３ｍｓごとにしか認識処理を実行できない。従って、車載用のカメラではフレーム切り替わり直後に物体が飛び込んできても、フレームの終了まで認識処理をかけることができない。

【0006】

又、車載用のカメラではＬＥＤ信号機によるフリッカを抑制するためにＬＥＤの点滅周期（例えば１００Ｈｚであれば１０ｍｓｅｃ）以上の蓄積期間とすることが多く、特に低照度下では蓄積期間を長く設定することで明るく撮影している。しかし蓄積期間が長くなると、高速で動く被写体には被写体ブレが生じ、被写体が停止していてもカメラが高速で移動している場合にはブレが生じ、認識率が下がるという課題がある。

【0007】

そこで、本発明は、短時間の蓄積結果を途中で読み出すことが可能な光電変換装置を提供することを目的の１つとする。

【課題を解決するための手段】

【0008】

本発明の１側面の光電変換装置は、
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、を夫々備える複数の画素と、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、
フルフレーム内で第１の蓄積期間と第２の蓄積期間を持ち、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御する制御手段と、を有することを特徴とする。

【発明の効果】

【0009】

本発明によれば、短時間の蓄積結果を途中で読み出すことが可能な光電変換装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態の光電変換素子の構成例を示す図である。

【図2】センサ基板１１の構成例を示す図である。

【図3】回路基板２１の構成例を示す図である。

【図4】図２及び図３のうち、画素１０１及び、画素１０１に対応した信号処理回路１０３の等価回路の例を示した図である。

【図5】ＡＰＤ２０１の動作と出力信号の関係を模式的に示した図である。

【図6】実施形態に係る光電変換装置６００及び移動体７００の機能ブロック図である。

【図7】実施形態に係るカメラ制御部６０５による光電変換方法の例を説明するための図である。

【図8】実施形態に係るバッファを介した出力の例について説明するための図である。

【図9】分割された複数のフレームの画像の例を示す図である。

【図10】実施形態におけるカウンタ回路とバッファとの関係の例を示す図である。

【図11】実施形態における光電変換素子の駆動例の詳細を示すフローチャートである。

【図12】図１１の続きを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施形態を説明する。但し、本発明は以下の実施形態に限定されるものではない。尚、各図において、同一の部材又は要素については同一の参照番号を付し、重複する説明は省略又は簡略化する。

【0012】

図１は、本発明の実施形態の光電変換素子の構成例を示す図である。以下においては、光電変換素子１００は、センサ基板１１と、回路基板２１の２枚の基板が積層され、且つ電気的に接続されることにより構成される、所謂、積層構造である光電変換装置を例にとって説明する。

【0013】

しかしながら、センサ基板に含まれる構成と回路基板に含まれる構成が共通の半導体層に配された、所謂、非積層構造であっても良い。センサ基板１１は、画素領域１２を含む。回路基板２１は、画素領域１２で検出された信号を処理する回路領域２２を含む。

【0014】

図２は、センサ基板１１の構成例を示す図である。センサ基板１１の画素領域１２は、複数行及び複数列方向に二次元状に複数配置された画素１０１を含む。画素１０１は、アバランシェフォトダイオード（以下、ＡＰＤと呼ぶ。）を含む光電変換部１０２を備える。

【0015】

ここで、光電変換部１０２は、光子の受光頻度に応じた頻度でパルスを発するセンサ部として機能している。尚、画素領域１２を成す画素アレイの行数及び列数は、特に限定されるものではない。

【0016】

図３は、回路基板２１の構成例を示す図である。回路基板２１は、図２の各光電変換部１０２で光電変換された電荷を処理する信号処理回路１０３、読み出し回路１１２、制御パルス生成部１１５、水平走査回路１１１、垂直信号線１１３、垂直走査回路１１０、出力回路１１４を有している。

【0017】

垂直走査回路１１０は、制御パルス生成部１１５から供給された制御パルスを受け、行方向に配列された複数の画素に、行毎に順次、制御パルスを供給する。垂直走査回路１１０にはシフトレジスタやアドレスデコーダといった論理回路が用いられる。

【0018】

各画素の光電変換部１０２から出力された信号は、各信号処理回路１０３で処理される。信号処理回路１０３は、カウンタやメモリなどが設けられており、メモリにはデジタル値が保持される。水平走査回路１１１は、デジタル信号が保持された各画素のメモリから信号を読みだすために、各列を順次選択する制御パルスを信号処理回路１０３に入力する。

【0019】

垂直信号線１１３には、垂直走査回路１１０により選択された行の画素の信号処理回路１０３から信号が出力される。垂直信号線１１３に出力された信号は、読み出し回路１１２、出力回路１１４を介して、光電変換素子１００の外部に出力される。読み出し回路１１２には各垂直信号線１１３に接続された、複数のバッファが内蔵されている。

【0020】

図２及び図３に示すように、平面視で画素領域１２に重なる領域に、複数の信号処理回路１０３が配される。そして、平面視で、センサ基板１１の端と画素領域１２の端との間に重なるように、垂直走査回路１１０、水平走査回路１１１、読み出し回路１１２、出力回路１１４、制御パルス生成部１１５が配される。

【0021】

言い換えると、センサ基板１１は、画素領域１２と画素領域１２の周りに配された非画素領域とを有する。そして、平面視で非画素領域に重なる領域に、垂直走査回路１１０、水平走査回路１１１、読み出し回路１１２、出力回路１１４、制御パルス生成部１１５が配置される。

【0022】

尚、垂直信号線１１３の配置、読み出し回路１１２、出力回路１１４の配置は、図３に示した例に限定されない。例えば、垂直信号線１１３が行方向に延びて配されており、読み出し回路１１２を垂直信号線１１３が延びる先に配しても良い。又、信号処理回路１０３は、必ずしもすべての光電変換部に１つずつ設けられる必要はなく、複数の光電変換部に対して１つの信号処理回路が共有され、順次、信号処理を行う構成となっていても良い。

【0023】

図４は、図２及び図３における画素１０１と、画素１０１に対応した信号処理回路１０３の等価回路の例を示した図である。図４に示すように、各画素１０１はセンサ部としての光電変換部１０２、カウンタ回路２１１等を夫々備えている。

【0024】

光電変換部１０２に含まれるＡＰＤ２０１は、光電変換により入射光に応じた電荷対を生成する。ＡＰＤ２０１の２つのノードのうちの一方のノード（アノード）は、電圧ＶＬ（第１電圧）が供給される電源線と接続されている。又、ＡＰＤ２０１の２つのノードのうちの他方のノード（カソード）は、電圧ＶＬよりも高い電圧ＶＨ（第２電圧）が供給される電源線と接続されている。

【0025】

ＡＰＤ２０１のアノードとカソードには、ＡＰＤ２０１がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。

【0026】

尚、逆バイアスの電圧が供給される場合において、アノード及びカソードの電圧差が降伏電圧より大きい電圧差で動作させるガイガーモードと、アノード及びカソードの電圧差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。ガイガーモードで動作させるＡＰＤをＳＰＡＤと呼ぶ。ＳＰＡＤの場合、電圧ＶＬ（第１電圧）は例えば－３０Ｖ、電圧ＶＨ（第２電圧）は例えば１Ｖなどとする。

【0027】

信号処理回路１０３は、クエンチ素子２０２、波形整形部２１０、カウンタ回路２１１を有する。クエンチ素子２０２は、駆動電圧ＶＨが供給される電源線とＡＰＤ２０１のアノード及びカソードのうちの一方のノードに接続される。

【0028】

クエンチ素子２０２は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、ＡＰＤ２０１に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。又、クエンチ素子２０２は、クエンチ動作で電圧降下した分の電流を流すことにより、ＡＰＤ２０１に供給する電圧を電圧ＶＨへと戻す働きを持つ（リチャージ動作）。

【0029】

図４では、信号処理回路１０３は、クエンチ素子２０２の他に波形整形部２１０、カウンタ回路２１１を有する例を示している。

【0030】

波形整形部２１０は、光子検出時に得られるＡＰＤ２０１のカソードの電圧変化を整形して、パルス信号を出力する。波形整形部２１０としては、例えば、インバータ回路が用いられる。図４では、波形整形部２１０としてインバータを１つ用いた例を示したが、複数のインバータを直列接続した回路を用いても良いし、波形整形効果があるその他の回路を用いても良い。

【0031】

カウンタ回路２１１は、波形整形部２１０から出力されたパルスの数をカウントし、カウント値を保持する。又、駆動線（ＲＥＳ）２１２を介して制御パルスＲＥＳが供給されたとき、カウンタ回路２１１に保持された信号がリセットされる。ここでカウンタ回路２１１は、蓄積期間の開始時と終了時のカウント値の差分に基づいて信号を生成している。

【0032】

又、カウンタ回路２１１に図３の垂直走査回路１１０から、図４の駆動線（ＳＥＬ）２１３（図３では不図示）を介して制御パルスＳＥＬが供給されると、カウンタ回路２１１はパルス数のカウントを停止し、カウント値を垂直信号線１１３に出力する。

【0033】

尚、クエンチ素子２０２とＡＰＤ２０１との間や、光電変換部１０２と信号処理回路１０３との間にトランジスタ等のスイッチを配して、電気的な接続を切り替えても良い。同様に、光電変換部１０２に供給される電圧ＶＨ又は電圧ＶＬの供給をトランジスタ等のスイッチを用いて電気的に切り替えても良い。

【0034】

図５は、ＡＰＤ２０１の動作と出力信号の関係を模式的に示した図である。波形整形部２１０の入力側をｎｏｄｅＡ、出力側をｎｏｄｅＢとしている。時刻ｔ０から時刻ｔ１の間において、ＡＰＤ２０１には、ＶＨ－ＶＬの電位差が印加されている。時刻ｔ１において光子がＡＰＤ２０１に入射すると、ＡＰＤ２０１でアバランシェ増倍が生じ、クエンチ素子２０２にアバランシェ増倍電流が流れ、ｎｏｄｅＡの電圧は降下する。

【0035】

電圧降下量が更に大きくなり、ＡＰＤ２０１に印加される電位差が小さくなると、時刻ｔ２のようにＡＰＤ２０１のアバランシェ増倍が停止し、ｎｏｄｅＡの電圧レベルはある一定値以下には降下しなくなる。

【0036】

その後、時刻ｔ２から時刻ｔ３の間において、ｎｏｄｅＡには電圧ＶＬから電圧降下分を補う電流が流れ、時刻ｔ３においてｎｏｄｅＡは元の電位レベルに静定する。このとき、ｎｏｄｅＡにおいて出力波形がある閾値を越えた部分は、波形整形部２１０で波形整形され、ｎｏｄｅＢでパルス信号として出力される。

【0037】

次に、実施形態の光電変換装置６００及び移動体７００について説明する。図６は実施形態に係る光電変換装置６００及び移動体７００の機能ブロック図である。尚、図６に示される機能ブロックの一部は、光電変換装置６００及び移動体７００に含まれる不図示のコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。

【0038】

しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。又、図６に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

【0039】

光電変換装置６００は、図１～図５で説明した光電変換素子１００、結像光学系６０１、画像処理部６０３、認識部６０４、カメラ制御部６０５、記憶部６０６、通信部６０７等を有する。光電変換素子１００は、光学像を光電変換するための図１～図５で説明したアバランシェフォトダイオードで構成されている。

【0040】

本実施形態の光電変換装置は移動体７００に搭載されており、結像光学系６０１と光電変換素子１００のセットからなるカメラユニットは例えば移動体の前方、後方、側方の少なくとも１方向を撮影するように配置されている。尚、カメラユニットを移動体７００に複数設けても良い。

【0041】

画像処理部６０３は、光電変換素子１００で取得された画像信号に対して例えば黒レベル補正や、ガンマカーブ調整、ノイズリダクション、デジタルゲイン調整、デモザイク処理、データ圧縮等の画像処理を行い、最終的な画像信号を生成する。尚、光電変換素子１００の各画素がＲＧＢ等のオンチップカラーフィルタを有する場合、画像処理部６０３においてホワイトバランス補正、色変換などの処理も行う。

【0042】

更に、読み出した画像を視認用途や認識用途など複数の用途で使用する場合、画像の使用用途ごとに異なる画像処理パラメータを予め保持しておき、画像の使用用途の切り替えに伴って画像処理パラメータを切り替えることが望ましい。

【0043】

又、画像処理部６０３の出力は認識部６０４、移動体７００のＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）７０１、カメラ制御部６０５に供給される。認識部６０４は、画像信号に基づき画像認識を行うことによって被写体を認識する認識手段として機能しており、移動体７００の周囲にある人や動物、車両、信号機、標識等の被写体を認識すると共に種別を識別する。

【0044】

認識部６０４により取得した認識結果は、ＥＣＵ７０１に出力される。本実施形態では移動体７００は例えば自動車の例を用いて説明するが、移動体は航空機、電車、船舶、ドローン、ＡＧＶ、ロボットなど、移動可能なものであれば、どのようなものであっても良い。

【0045】

カメラ制御部６０５はコンピュータとしてのＣＰＵ及びコンピュータプログラムを記憶したメモリを内蔵しており、メモリに記憶されたコンピュータプログラムをＣＰＵが実行することにより光電変換装置６００の各部の制御を行う。

【0046】

尚、カメラ制御部６０５は制御手段として機能しており、例えば光電変換素子１００の制御パルス生成部を介して、光電変換素子１００の各フレームの蓄積期間（光電変換期間）の長さや、制御信号ＣＬＫのタイミングの制御などを行う。又、カメラ制御部６０５は画像処理部６０３に各種画像処理のパラメータを設定したり、認識部６０４を制御する機能及び認識結果を取得する機能を有する。

【0047】

記憶部６０６は、例えば、メモリカード、ハードディスク等の記録媒体を含み、画像信号を記憶、読出すことができる。通信部６０７は無線や有線のインターフェースを備え、生成した画像信号を光電変換装置６００の外部に出力すると共に外部からの各種信号を受信する。

【0048】

尚、通信部６０７は、インターフェースとして、例えばＳＰＩやＩ２Ｃ等の規格に則った有線通信を行っても良いし、Ｗｉ－Ｆｉ等の無線ＬＡＮ方式やＢｌｕｅｔｏｏｔｈ（登録商標）等を用いた通信を行っても良い。

【0049】

ＥＣＵ７０１はコンピュータとしてのＣＰＵ及びコンピュータプログラムを記憶したメモリを内蔵しており、メモリに記憶されたコンピュータプログラムをＣＰＵが実行することにより移動体７００の各部の制御を行う。

【0050】

ＥＣＵ７０１の出力は車両制御部７０２と表示部７０３に供給される。車両制御部７０２は、ＥＣＵ７０１の出力に基づき移動体としての車両の移動（駆動、停止、方向制御等）を制御する移動制御手段として機能している。又、移動制御手段としての車両制御部７０２は、認識部から出力された認識結果に基づいて移動体の制御を行う。

【0051】

又、表示部７０３は表示手段として機能しており、例えば液晶デバイスや有機ＥＬ等の表示素子を含み、移動体７００に搭載されている。表示部７０３は、ＥＣＵ７０１の出力に基づき例えばＧＵＩを用いて移動体７００の運転者に対して、光電変換素子１００により取得した画像や、認識部６０４により取得された認識結果、車両の走行状態等に関する各種情報を表示する。

【0052】

尚、図６における画像処理部６０３、認識部６０４等は移動体７００に搭載されていなくても良く、例えば移動体７００とは別に設けられた、移動体７００をリモートコントロールするため、或いは移動体の走行をモニターするための外部端末等に設けても良い。

【0053】

図７は、実施形態に係るカメラ制御部６０５による光電変換方法の例を説明するための図である。本実施形態では、例えば３０フルフレーム／秒で光電変換を周期的に駆動する。又、３３．３ｍｓの長さの１垂直期間分のフレームをフルフレームと呼び、フルフレームを４分割したものを夫々フレームと呼ぶ。

【0054】

即ち、図７に示すように、時刻Ｔ０～時刻Ｔ１２までのフルフレーム１を均等な期間（８．３３ｍｓ）ずつフレーム１＿１、フレーム１＿２、フレーム１＿３、フレーム１＿４に分割している。

【0055】

図３の信号処理回路１０３がＮ行Ｍ列に配列されるとすると、フレーム１＿１の１行目は時刻Ｔ１～時刻Ｔ３までの蓄積期間（光電変換期間）を有し、フレーム１＿１のＮ行目は、時刻Ｔ３～時刻Ｔ５までの蓄積期間を有する。

【0056】

フレーム１＿１の２行目からＮ－１行目までは１行の読み出し時間分だけ順次蓄積開始時刻を遅らせ、各行同じ長さの蓄積期間を有する。又、フレーム１＿２の１行目は時刻Ｔ１～時刻Ｔ３と時刻Ｔ４～時刻Ｔ６までの合計の蓄積期間を有し、フレーム１＿２のＮ行目は、時刻Ｔ３～時刻Ｔ５と時刻Ｔ６～時刻Ｔ８までの合計の蓄積期間を有する。

【0057】

フレーム１＿２の２行目からＮ－１行目までは１行の読み出し時間分だけ蓄積開始時刻を遅らせ、途中で１度、順次１行の読出し時間分の停止を挟んで、各行同じ長さとなる蓄積期間を有する。

【0058】

又、フレーム１＿３の１行目は時刻Ｔ１～時刻Ｔ３、時刻Ｔ４～時刻Ｔ６と時刻Ｔ７～時刻Ｒ９までの合計の蓄積期間を有し、フレーム１＿３のＮ行目は、時刻Ｔ３～時刻Ｔ５、時刻Ｔ６～時刻Ｔ８と時刻Ｔ９～時刻Ｔ１１までの合計の蓄積期間を有する。フレーム１＿３の２行目からＮ－１行目までは１行の読み出し時間分だけ蓄積開始時刻を遅らせ、途中で２度、順次１行の読出し時間分の停止を挟んで、各行同じ長さとなる蓄積期間を有する。

【0059】

又、フレーム１＿４の１行目は時刻Ｔ１～時刻Ｔ３、時刻Ｔ４～時刻Ｔ６、時刻Ｔ７～時刻Ｒ９と時刻Ｔ１０～時刻Ｔ１２までの合計の蓄積期間を有する。又、フレーム１＿４のＮ行目は、時刻Ｔ３～時刻Ｔ５、時刻Ｔ６～時刻Ｔ８、時刻Ｔ９～時刻Ｔ１１と時刻Ｔ１２～時刻Ｔ１４までの合計の蓄積期間を有する。

【0060】

フレーム１＿４の２行目からＮ－１行目までは１行の読み出し時間分だけ蓄積開始時刻を遅らせ、途中で３度、順次１行の読出し時間分の停止を挟んで、各行同じ長さとなる蓄積期間を有する。

【0061】

１行目のカウンタ回路２１１は時刻Ｔ１においてリセットされる。又、１行目のカウンタ回路２１１には時刻Ｔ３～Ｔ４、時刻Ｔ６～Ｔ７、時刻Ｔ９～Ｔ１０、時刻Ｔ１２～Ｔ１３において制御パルスＳＥＬが供給され、カウントが停止する。それによって夫々カウント値Ｃ１＿１＿１、Ｃ１＿２＿１、Ｃ１＿３＿１、Ｃ１＿４＿１が保持される。

【0062】

保持された１行分の信号は、保持期間中に読み出し回路１１２のバッファを介して光電変換素子から逐次出力される。その後、１行目のカウンタ回路２１１は時刻Ｔ１３においてリセットされる。尚、リセット動作は、フルフレーム１における時刻Ｔ１とフルフレーム２における時刻Ｔ１３に行われる。即ち、カウンタ回路２１１のリセットは１フルフレーム期間ごとに行われる。

【0063】

Ｎ行目のカウンタ回路２１１は時刻Ｔ３においてリセットされる。又、Ｎ行目のカウンタ回路２１１には時刻Ｔ５～Ｔ６、時刻Ｔ８～Ｔ９、時刻Ｔ１１～Ｔ１２、時刻Ｔ１４～Ｔ１５において制御パルスＳＥＬが供給され、カウントが停止される。

【0064】

それによって夫々カウント値Ｃ１＿１＿Ｎ、Ｃ１＿２＿Ｎ、Ｃ１＿３＿Ｎ、Ｃ１＿４＿Ｎが保持される。保持された１行分の信号は、図８に示されるように、保持期間中に読み出し回路１１２のバッファを介して光電変換素子から逐次出力される。尚、図８は、実施形態に係るバッファを介した出力の例について説明するための図である。

【0065】

図示しないが２行目からＮ－１行目のカウンタ回路２１１は１行目のカウンタ回路２１１と比較して順次１行の読み出し時間分だけ遅れたタイミングで動作する。

【0066】

このように、本実施形態によれば、フレーム１＿１の画像信号は時刻Ｔ３～Ｔ６にかけて読出され、認識部６０４で速やかに処理される。従って画像認識を速やかに行うことができる。同様に、フレーム１＿２、フレーム１＿３、フレーム１＿４の信号は夫々時刻Ｔ６～Ｔ９、Ｔ９～Ｔ１２、Ｔ１２～Ｔ１５にかけて順次読出され、各フレームの周期で画像認識を繰り返し行うことができる。

【0067】

図９は、分割された複数のフレームの画像の例を示す図である。図９に示すようにフレーム１＿１の画像は蓄積時間が短いので暗くなるが、飛び出してきた人の被写体ブレは少ない。一方、フレーム１＿２、フレーム１＿３、フレーム１＿４の夫々の読出し時に読出される画像は、順に、蓄積時間が長いので被写体ブレが生じやすくなる。尚、停止している車両や白線にはブレは生じにくく、蓄積時間が長い程コントラストが向上しやすい。

【0068】

このように、本実施形態では、１フルフレーム内で第１の蓄積期間（例えば時刻Ｔ１～時刻Ｔ３）と第２の蓄積期間（例えば時刻Ｔ１～時刻Ｔ３、時刻Ｔ４～時刻Ｔ６、時刻Ｔ７～時刻Ｔ９、時刻Ｔ１０～時刻Ｔ１２の合計）を持つ。又、第１の蓄積期間は第２の蓄積期間よりも短く、第１の蓄積期間に生成される信号を第１の蓄積期間終了から第２の蓄積期間終了までの間に出力するように制御している。

【0069】

又、本実施形態では、第１の蓄積期間と第２の蓄積期間は重複しており、第１の蓄積期間と第２の蓄積期間は同時に開始する。更に、１行目の第２の蓄積期間の終了時がフルフレーム期間（１垂直期間）の切れ目（時刻Ｔ１２）になっている。即ち、第２の蓄積期間の終了時がフルフレームの終了時と一致する。又、第２の蓄積期間は前記第１の蓄積期間の整数倍（図７の例では４倍）となっている。

【0070】

但し、第２の蓄積期間は第１の蓄積期間の整数倍である必要はなく、第２の蓄積期間は第１の蓄積期間よりも長く、同一行の第２の蓄積期間の終了が第１の蓄積期間の終了よりも後になれば良い。

【0071】

即ち、蓄積期間が短い画像と長い画像を作り、短い蓄積期間が終わるタイミングを、長い蓄積期間が終わるタイミングよりも早くしておき、短い蓄積時間が終わり次第、その画像を出力して後段の認識部に送っている。そして少なくとも第１の蓄積期間に生成される信号に基づき被写体を認識している。認識手段としての認識部６０４は、少なくとも第１の蓄積期間に生成される信号に基づき被写体を認識する。

【0072】

従って、従来ではフルフレーム期間毎にしか画像認識できなかったのに対し、本実施形態では、１／４フルフレーム期間毎に画像認識を行うことができ、例えば移動体が高速で移動している際に、障害物等を速やかに認識することができる。また、さらに蓄積期間短くした場合には、より頻繁に画像認識を行うことが可能になる。

【0073】

従って、速やかにブレーキをかけることなどができる。或いは障害物を早期に回避することが可能となる。又、１／４フルフレーム期間毎に画像認識を行うことができるので、その間に出現する障害物等をタイムリーに画像認識できる。

【0074】

又、本実施形態の表示装置は、少なくとも第２の蓄積期間に生成される信号を画像として表示している。尚、蓄積期間が長い第２の蓄積期間の画像はコントラストを向上させることができるので、表示用画像として適している。即ち、蓄積期間が短い第１の蓄積期間の画像は速やかな被写体認識に適しており、蓄積期間が長い第２の蓄積期間の画像は表示用画像に適している。

【0075】

尚、本実施形態においてはＡＰＤを用いているので、ＣＭＯＳセンサなどと異なり、読み出し動作によって蓄積された電荷が劣化することはないので蓄積期間を重複させることができる。又、読出しノイズがないので１度の蓄積で何度読み出しても元の信号が劣化しない。

【0076】

図１０は、実施形態におけるカウンタ回路とバッファとの関係の例を示す図である。図１０においては、図３の信号処理回路１０３内のカウンタ回路２１１を、Ｎ行Ｍ列に配列した状態を示しており、各カウンタ回路はカウンタ１－１～カウンタＮ－Ｍのように表されている。又、図１０におけるバッファ１～バッファＭは図３における読み出し回路１１２に含まれるバッファを示している。図１０における出力回路１１４は図３の出力回路１１４に対応している。

【0077】

図１１は、実施形態における光電変換素子の駆動例の詳細を示すフローチャートであり、図１２は、図１１の続きを示すフローチャートである。尚、カメラ制御部６０５内のコンピュータとしてのＣＰＵ等がメモリに記憶されたコンピュータプログラムを実行することによって図１１、図１２のフローチャートの各ステップの動作が順次行われる。

【0078】

図１２，図１３において、ｉは、図７、図８のフレーム１＿ｉにおけるフレーム番号に対応しており、１から４までの値を取る。ｊは図１０における行数を表し、１からＮまでの値を取る。ｋは図１０における列数を表し、１からＭまでの値を取る。又、フレーム１＿ｉにおけるｊ行目ｋ列目のカウンタ回路ｊ－ｋのカウント値をＣｏｕｎｔ（ｊ－ｋ－ｉ）とする。以下、フルフレーム１を読み出す場合の駆動について説明する。

【0079】

ステップＳ１０１において、ｉ＝１にセットし、次にステップＳ１０２においてｊ＝１をセットする。即ち第１フレームの第１行を対象とする。

【0080】

次にステップＳ１０３においてＣｏｕｎｔ（ｊ－１－ｉ）～Ｃｏｕｎｔ（ｊ－Ｍ－ｉ）のカウントを停止する。この時、１～Ｍ列同時にカウントを停止する。この動作は図７において１行目については時刻Ｔ０、Ｔ３、Ｔ６，Ｔ９、又はＴ１２におけるカウント停止動作に対応している。又、Ｎ行目については時刻Ｔ２、Ｔ５、Ｔ８、Ｔ１１、又はＴ１４におけるカウント停止動作に対応している。

【0081】

次にステップＳ１０４において、カウント値Ｃｏｕｎｔ（ｊ－１－ｉ）～Ｃｏｕｎｔ（ｊ－Ｍ－ｉ）を夫々バッファ１～バッファＭに出力する。この時、１～Ｍ列同時にバッファに出力する。

【0082】

次にステップＳ１０５においてｋ＝１にセットし、ステップＳ１０６においてバッファｋのカウント値Ｃｏｕｎｔ（ｊ－ｋ－ｉ）を出力回路１１４に出力する。この動作は、図１０の一番左の列のバッファの信号を出力回路から読出す動作に対応している。

【0083】

次にステップＳ１０７においてｋ＜Ｍか判定し、ＹｅｓであればステップＳ１０８においてｋ＝ｋ＋１としてｋを１アップし、ステップＳ１０６に戻りステップＳ１０６の動作を行う。この動作は図１０の左から２列目のバッファの信号を出力回路から読出す動作に対応している。

【0084】

ステップＳ１０７でＮｏになった場合、即ち、ｋ＝Ｍになった場合には、図１０のＭ列目のバッファの信号を出力回路から読出し終わったことを意味する。

【0085】

次にステップＳ１０９においてｉ＜４か判定し、Ｎｏになった場合、即ちｉ＝４になった場合はカウント値Ｃｏｕｎｔ（ｊ－１－ｉ）～Ｃｏｕｎｔ（ｊ－Ｍ－ｉ）のリセットを行う。この時、１～Ｍ列同時にリセットを行う。この動作は図７において１行目については時刻Ｔ１３での、Ｎ行目については時刻Ｔ１５での動作に対応している。ステップＳ１０９においてＹｅｓであればステップＳ１１１に進む。

【0086】

次にステップＳ１１１においてカウント値Ｃｏｕｎｔ（ｊ－１－ｉ）～Ｃｏｕｎｔ（ｊ－Ｍ－ｉ）のカウント停止を解除する。この時、１～Ｍ列同時にカウント停止を解除する。この動作は図７で１行目については時刻Ｔ１、Ｔ４、Ｔ７，Ｔ１０、又はＴ１３の動作に対応している。又、Ｎ行目については時刻Ｔ３、Ｔ６、Ｔ９、Ｔ１２、又はＴ１５の動作に対応している。

【0087】

次にステップＳ１１２においてｊ＜Ｎか判定し、Ｙｅｓの場合にはステップＳ１１３でｊ＝ｊ＋１とし、ｊを１アップし、ステップＳ１０３に戻る。これは次の行の読出しを開始するための動作に対応している。

【0088】

ステップＳ１１２でＮｏと判定された場合には、全ての行の読出しが終了したことを意味するので、ステップＳ１１４に進み、ｉ＜４か否か判定する。ステップＳ１１４でＹｅｓと判定された場合にはステップＳ１１５に進み、ｉ＝ｉ＋１としｉを１アップしてステップＳ１０２に戻る。この動作は次のフレーム１＿２の読出しを開始する動作に対応している。

【0089】

ステップＳ１１４でＮｏとなった場合、即ちｉ＝４となった場合には、フルフレーム１の読出しが完了したことを意味するので、処理を終了する。以上のようにして、光電変換素子１００に蓄積された信号を順次読出すことができる。

【0090】

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

【0091】

例えば、上記実施形態では、最短で１／４フルフレーム期間の蓄積を行っているが、認識部６０４における認識精度に応じて、最短の蓄積期間の長さを例えば１／５フルフレーム期間や１／３フルフレーム期間などに変更しても良い。或いは、被写体の明るさに応じて、最短の蓄積期間の長さを変更しても良い。

【0092】

更に、読出し周期を１／４フルフレーム期間とした場合であっても、被写体の明るさや画像認識精度などに応じて、図７のフレーム１＿１の蓄積期間内の途中でカウンタ回路をリセットしても良い。それにより実質的な蓄積期間を１／４フルフレーム期間よりも短くしても良い。

【0093】

或いは図７の時刻Ｔ４などにおいて、１行目のカウンタ回路を一旦リセットしても良い。それにより、時刻Ｔ６、Ｔ９、Ｔ１２において夫々読み出し開始されるフレーム１＿２、フレーム１＿３、フレーム１＿４のカウント値を調整するようにしても良い。

【0094】

又、センサの蓄積期間は１行の読み出し時間の整数倍で設定されることがあるが、設定された行数にカウントが停止する行数を加算し、その合計時間分だけ早いタイミングで蓄積を開始しても良い。これを行うことによって、仮に途中でカウントが停止されることがあっても、正確に設定された行数の蓄積期間を実現することができる。

【0095】

本実施形態では１行のカウント値を読み出す際に、その行のカウントを停止していたが、読み出しにかかる時間がカウントアップの間隔に対して小さく、タイミングが制御できる場合には、必ずしもカウントを停止する必要はない。

【0096】

尚、本実施形態は、以下の組み合わせを含む。

【0097】

（構成１）光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、を夫々備える複数の画素と、蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、フルフレーム内で第１の蓄積期間と第２の蓄積期間を持ち、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御する制御手段と、を有することを特徴とする光電変換装置。

【0098】

（構成２）前記制御手段は、前記カウンタのカウント値を読み出す際に前記カウンタにおけるカウントを停止するように制御することを特徴とする構成１に記載の光電変換装置。

【0099】

（構成３）前記第１の蓄積期間と前記第２の蓄積期間は重複していることを特徴とする構成１又は２に記載の光電変換装置。

【0100】

（構成４）前記第１の蓄積期間と前記第２の蓄積期間は同時に開始することを特徴とする構成１～３のいずれか１つに記載の光電変換装置。

【0101】

（構成５）前記第２の蓄積期間の終了時がフルフレームの終了時と一致することを特徴とする構成１～４のいずれか１つに記載の光電変換装置。

【0102】

（構成６）少なくとも前記第１の蓄積期間に生成される信号に基づき被写体を認識する認識手段を有することを特徴とする構成１～５のいずれか１つに記載の光電変換装置。

【0103】

（構成７）前記認識手段は、更に前記第２の蓄積期間に生成される信号に基づき前記被写体を認識することを特徴とする構成６に記載の光電変換装置。

【0104】

（構成８）少なくとも前記第２の蓄積期間に生成される信号を画像として表示する表示手段を有することを特徴とする構成１～７のいずれか１つに記載の光電変換装置。

【0105】

（構成９）前記センサ部はアバランシェフォトダイオードを含むことを特徴とする構成１～８のいずれか１つに記載の光電変換装置。

【0106】

（構成１０）構成１～９のいずれか１つに記載の光電変換装置と、
移動体の動作を制御する移動制御手段と、を有することを特徴とする移動体。

【0107】

（方法）光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、を夫々備える複数の画素により光電変換を行うための光電変換方法であって、蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成し、フルフレーム内で第１の蓄積期間と第２の蓄積期間を持ち、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御することを特徴とする光電変換方法。

【0108】

（プログラム）構成１～９のいずれか１つに記載の光電変換装置又は構成１０に記載の移動体の各手段をコンピュータにより制御するためのコンピュータプログラム。

【0109】

尚、本実施例における制御の一部又は全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して光電変換装置に供給するようにしても良い。そしてその光電変換装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしても良い。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

【符号の説明】

【0110】

１１：センサ基板
１２：画素領域
２１：回路基板
２２：回路領域
１００：光電変換素子
１０１：画素
１０２：光電変換部
１０３：信号処理回路
１１０：垂直走査回路
１１１：水平走査回路
１１２：読み出し回路
１１３：垂直信号線
１１４：出力回路
１１５：制御パルス生成部
２０１：アバランシェフォトダイオード
２０２：クエンチ素子
２１０：波形整形部
２１１：カウンタ回路
２１２：駆動線（ＲＥＳ）
２１３：駆動線（ＳＥＬ）
６００：光電変換装置
６０１：結像光学系
６０３：画像処理部
６０４：認識部
６０５：カメラ制御部
６０６：記憶部
６０７：通信部
７００：移動体
７０１：ＥＣＵ
７０２：車両制御部
７０３：表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2024-05-08

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、を夫々備える複数の画素と、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成する生成手段と、
前記生成手段によって生成された信号を出力する出力手段と、を有し、
前記カウンタは、第１の蓄積期間と前記第１の蓄積期間より長い第２の蓄積期間とを含むフルフレーム期間ごとに前記カウンタはカウント値をリセットし、
前記出力手段は、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力する
ことを特徴とする光電変換装置。

【請求項2】

前記生成手段は、前記カウンタのカウント値を読み出す際に前記カウンタにおけるカウントを停止するように制御することを特徴とする請求項１に記載の光電変換装置。

【請求項3】

前記第１の蓄積期間と前記第２の蓄積期間の少なくとも一部の期間は重複していることを特徴とする請求項１に記載の光電変換装置。

【請求項4】

前記第１の蓄積期間と前記第２の蓄積期間は同時に開始することを特徴とする請求項１に記載の光電変換装置。

【請求項5】

前記第２の蓄積期間の終了時は前記フルフレーム期間の終了時と一致することを特徴とする請求項１に記載の光電変換装置。

【請求項6】

前記第１の蓄積期間に生成される信号に基づき被写体を認識する認識手段をさらに有することを特徴とする請求項１に記載の光電変換装置。

【請求項7】

前記認識手段は、更に前記第２の蓄積期間に生成される信号に基づき前記被写体を認識することを特徴とする請求項６に記載の光電変換装置。

【請求項8】

前記第２の蓄積期間に生成される信号を画像として表示する表示手段をさらに有することを特徴とする請求項１に記載の光電変換装置。

【請求項9】

前記センサ部はアバランシェフォトダイオードを含むことを特徴とする請求項１に記載の光電変換装置。

【請求項10】

請求項１～９のいずれか１項に記載の光電変換装置と、
移動体の動作を制御する移動制御手段と、を有することを特徴とする移動体。

【請求項11】

光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、
を夫々備える複数の画素により光電変換を行うための光電変換方法であって、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成する工程と、
生成された信号を出力する工程と、
カウンタが第１の蓄積期間と前記第１の蓄積期間より長い第２の蓄積期間とを含むフルフレーム期間ごとに前記カウンタはカウント値をリセットする工程と、
前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力する工程と、
を有することを特徴とする光電変換方法。

【請求項12】

請求項１～９のいずれか１項に記載の光電変換装置又は請求項１０に記載の移動体の各手段をコンピュータにより制御するためのコンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

本発明の１側面の光電変換装置は、
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、を夫々備える複数の画素と、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成する生成手段と、
前記生成手段によって生成された信号を出力する出力手段と、を有し、
前記カウンタは、第１の蓄積期間と前記第１の蓄積期間より長い第２の蓄積期間とを含むフルフレーム期間ごとに前記カウンタはカウント値をリセットし、
前記出力手段は、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力することを特徴とする。