特開 2024-171639 光電変換装置、移動体、制御方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024171639

(43)【公開日】2024-12-12

(54)【発明の名称】光電変換装置、移動体、制御方法、及びコンピュータプログラム

(51)【国際特許分類】

   H04N 25/76 20230101AFI20241205BHJP

   H04N 25/40 20230101ALI20241205BHJP

   H04N 25/773 20230101ALI20241205BHJP

   H04N 25/79 20230101ALI20241205BHJP

【ＦＩ】

H04N25/76

H04N25/40

H04N25/773

H04N25/79

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023088760

(22)【出願日】2023-05-30

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】木村 孝行

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024CX53

5C024GX03

5C024GX15

5C024GY39

5C024GY41

5C024GY45

5C024JX42

(57)【要約】

【課題】
認識処理結果を低遅延で外部に出力可能な光電変換装置を提供する。
【解決手段】
光電変換装置において、光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、前記カウンタのカウント値を記憶するメモリと、を夫々備える複数の画素と、蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて生成された画像信号に対して認識処理を行う認識手段と、前記認識手段により前記認識処理が完了するのに伴って前記認識処理の結果を外部に出力させる制御手段と、を有することを特徴とする。
【選択図】 図１４

【特許請求の範囲】

【請求項1】

光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、
前記カウンタのカウント値を記憶するメモリと、を夫々備える複数の画素と、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて生成された画像信号に対して認識処理を行う認識手段と、
前記認識手段により前記認識処理が完了するのに伴って前記認識処理の結果を外部に出力させる制御手段と、を有することを特徴とする光電変換装置。

【請求項2】

前記制御手段は、フルフレーム期間において、第１の蓄積期間と第２の蓄積期間を持ち、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御することを特徴とする請求項１に記載の光電変換装置。

【請求項3】

前記制御手段は、前記認識手段により被写体が認識されたか否かに応じて、前記認識処理の結果を外部に出力するか否かを切り替えることを特徴とする請求項１に記載の光電変換装置。

【請求項4】

前記認識手段により所定期間の画像信号から被写体が認識された場合に、前記認識処理の結果と共に、前記所定期間の画像信号も外部に出力することを特徴とする請求項１に記載の光電変換装置。

【請求項5】

前記センサ部はアバランシェフォトダイオードを含むことを特徴とする請求項１に記載の光電変換装置。

【請求項6】

請求項１～５のいずれか１項に記載の光電変換装置と、
移動体の動作を制御する移動制御手段と、を有することを特徴とする移動体。

【請求項7】

前記移動制御手段は、前記認識手段から出力された認識結果に基づいて移動体の制御を行うことを特徴とする請求項６に記載の移動体。

【請求項8】

前記認識手段における前記認識処理の結果を表示するための表示部を有することを特徴とする請求項６に記載の移動体。

【請求項9】

光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、
前記カウンタのカウント値を記憶するメモリと、を夫々備える複数の画素と、を有する光電変換装置の制御方法であって、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて生成された画像信号に対して認識処理を行う認識ステップと、
前記認識ステップにより前記認識処理が完了するのに伴って前記認識処理の結果を外部に出力させる制御ステップと、を有することを特徴とする制御方法。

【請求項10】

請求項１～５のいずれか１項に記載の光電変換装置又は請求項６～８のいずれか１項に記載の移動体の各手段をコンピュータにより制御するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光電変換装置、移動体、制御方法、及びコンピュータプログラム等に関するものである。

【背景技術】

【0002】

近年、アバランシェフォトダイオード（ＡＰＤ）に入射する光子の数をデジタル的に計数し、計数値を光電変換されたデジタル信号として画素から出力する光電変換装置が開発されている。

【0003】

又、例えば特許文献１では、ＡＰＤを有する光電変換装置において、蓄積期間が互いに重複する複数の映像を出力することができ、それにより低照度でも連写が可能となる構成が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許７２２３０７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、例えば移動体に設置される車載用のカメラの撮像素子を想定した場合、通常のセンサ駆動ではフレーム単位で認識処理をかけるため、例えば３０ｆｐｓの場合、３３．３ｍｓごとにしか認識処理を実行できない。従って、車載用のカメラではフレーム切り替わり直後に物体が飛び込んできても、フレームの終了まで認識処理ができない。

【0006】

又、車載用のカメラでは信号機によるフリッカを抑制するために一定期間（１１ｍｓ）以上の蓄積期間とすることが多く、特に低照度下では蓄積期間を長くすることで明るく撮影している。しかし蓄積期間が長いので高速で動く物体には被写体ブレが生じ、認識率が下がり、又、認識処理結果を速やかに得られないという課題がある。

【0007】

そこで本発明は、認識処理結果を低遅延で外部に出力可能な光電変換装置を提供することを目的の１つとする。

【課題を解決するための手段】

【0008】

本発明の１側面の光電変換装置は、
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、
前記カウンタのカウント値を記憶するメモリと、を夫々備える複数の画素と、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて生成された画像信号に対して認識処理を行う認識手段と、
前記認識手段により前記認識処理が完了するのに伴って前記認識処理の結果を外部に出力させる制御手段と、を有することを特徴とする。

【発明の効果】

【0009】

本発明によれば、認識処理結果を低遅延で外部に出力可能な光電変換装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態の光電変換素子の構成例を示す図である。

【図2】センサ基板１１の構成例を示す図である。

【図3】回路基板２１の構成例を示す図である。

【図4】図２及び図３のうち、画素１０１及び、画素１０１に対応した信号処理回路１０３の等価回路の例を示した図である。

【図5】ＡＰＤ２０１の動作と出力信号の関係を模式的に示した図である。

【図6】実施形態に係る光電変換装置６００及び移動体７００の機能ブロック図である。

【図7】実施形態に係るカメラ制御部６０５による光電変換の処理例を説明するための図である。

【図8】実施形態に係るカメラ制御部６０５による認識処理の例を説明するための図である。

【図9】（Ａ）～（Ｃ）は、実施形態に係る認識部６０４による認識処理について説明するための図である。

【図10】分割された複数のフレームの画像の例を示す図である。

【図11】実施形態に係るメモリ回路とバッファとの関係を示す図である。

【図12】実施形態に係る光電変換素子の駆動例の詳細を示すフローチャートである。

【図13】図１２の続きのフローチャートである。

【図14】実施形態に係るＥＣＵ７０１による移動体７００の具体的な制御方法の例を説明するための図である。

【図15】実施形態に係る被写体認識の動作例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施形態を説明する。但し、本発明は以下の実施形態に限定されるものではない。尚、各図において、同一の部材又は要素については同一の参照番号を付し、重複する説明は省略又は簡略化する。

【0012】

図１は、本発明の実施形態の光電変換素子の構成例を示す図である。以下においては、光電変換素子１００は、センサ基板１１と、回路基板２１の２枚の基板が積層され、且つ電気的に接続されることにより構成される、所謂、積層構造である光電変換装置を例にとって説明する。

【0013】

しかしながら、センサ基板に含まれる構成と回路基板に含まれる構成が共通の半導体層に配された、所謂、非積層構造であっても良い。センサ基板１１は、画素領域１２を含む。回路基板２１は、画素領域１２で検出された信号を処理する回路領域２２を含む。

【0014】

図２は、センサ基板１１の構成例を示す図である。センサ基板１１の画素領域１２は、複数行及び複数列方向に二次元状に複数配置された画素１０１を含む。画素１０１は、アバランシェフォトダイオード（以下、ＡＰＤと呼ぶ。）を含む光電変換部１０２を備える。

【0015】

ここで、光電変換部１０２は、光子の受光頻度に応じた頻度でパルスを発するセンサ部として機能している。尚、画素領域１２を成す画素アレイの行数及び列数は、特に限定されるものではない。

【0016】

図３は、回路基板２１の構成例を示す図である。回路基板２１は、図２の各光電変換部１０２で光電変換された電荷を処理する信号処理回路１０３、読み出し回路１１２、制御パルス生成部１１５、水平走査回路１１１、垂直信号線１１３、垂直走査回路１１０、出力回路１１４を有している。

【0017】

垂直走査回路１１０は、制御パルス生成部１１５から供給された制御パルスを受け、行方向に配列された複数の画素に、行毎に順次、制御パルスを供給する。垂直走査回路１１０にはシフトレジスタやアドレスデコーダといった論理回路が用いられる。

【0018】

各画素の光電変換部１０２から出力された信号は、各信号処理回路１０３で処理される。信号処理回路１０３は、カウンタやメモリなどが設けられており、メモリにはデジタル値が保持される。水平走査回路１１１は、デジタル信号が保持された各画素のメモリから信号を読みだすために、各列を順次選択する制御パルスを信号処理回路１０３に入力する。

【0019】

垂直信号線１１３には、垂直走査回路１１０により選択された行の画素の信号処理回路１０３から信号が出力される。垂直信号線１１３に出力された信号は、読み出し回路１１２、出力回路１１４を介して、光電変換素子１００の外部に出力される。読み出し回路１１２には各垂直信号線１１３に接続された、複数のバッファが内蔵されている。

【0020】

図２及び図３に示すように、平面視で画素領域１２に重なる領域に、複数の信号処理回路１０３が配される。そして、平面視で、センサ基板１１の端と画素領域１２の端との間に重なるように、垂直走査回路１１０、水平走査回路１１１、読み出し回路１１２、出力回路１１４、制御パルス生成部１１５が配される。

【0021】

言い換えると、センサ基板１１は、画素領域１２と画素領域１２の周りに配された非画素領域とを有する。そして、平面視で非画素領域に重なる領域に、垂直走査回路１１０、水平走査回路１１１、読み出し回路１１２、出力回路１１４、制御パルス生成部１１５が配置される。

【0022】

尚、垂直信号線１１３の配置、読み出し回路１１２、出力回路１１４の配置は、図３に示した例に限定されない。例えば、垂直信号線１１３が行方向に延びて配されており、読み出し回路１１２を垂直信号線１１３が延びる先に配しても良い。又、信号処理回路１０３は、必ずしもすべての光電変換部に１つずつ設けられる必要はなく、複数の光電変換部に対して１つの信号処理回路が共有され、順次、信号処理を行う構成となっていても良い。

【0023】

図４は、図２及び図３における画素１０１と、画素１０１に含まれる光電変換部１０２と信号処理回路１０３の等価回路の例を示した図である。図４に示すように、各画素１０１はセンサ部としての光電変換部１０２、カウンタ回路２１１、メモリ回路２１２等を夫々備えている。

【0024】

光電変換部１０２に含まれるＡＰＤ２０１は、光電変換により入射光に応じた電荷対を生成する。ＡＰＤ２０１の２つのノードのうちの一方のノード（アノード）は、電圧ＶＬ（第１電圧）が供給される電源線と接続されている。又、ＡＰＤ２０１の２つのノードのうちの他方のノード（カソード）は、電圧ＶＬよりも高い電圧ＶＨ（第２電圧）が供給される電源線と接続されている。

【0025】

ＡＰＤ２０１のアノードとカソードには、ＡＰＤ２０１がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。

【0026】

尚、逆バイアスの電圧が供給される場合において、アノード及びカソードの電圧差が降伏電圧より大きい電圧差で動作させるガイガーモードと、アノード及びカソードの電圧差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。ガイガーモードで動作させるＡＰＤをＳＰＡＤと呼ぶ。ＳＰＡＤの場合、電圧ＶＬ（第１電圧）は例えば－３０Ｖ、電圧ＶＨ（第２電圧）は例えば１Ｖなどとする。

【0027】

信号処理回路１０３は、クエンチ素子２０２、波形整形部２１０、カウンタ回路２１１、メモリ回路２１２を有する。クエンチ素子２０２は、電圧ＶＨが供給される電源線とＡＰＤ２０１のアノード及びカソードのうちの一方のノードに接続される。

【0028】

クエンチ素子２０２は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、ＡＰＤ２０１に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。又、クエンチ素子２０２は、クエンチ動作で電圧降下した分の電流を流すことにより、ＡＰＤ２０１に供給する電圧を電圧ＶＨへと戻す働きを持つ（リチャージ動作）。

【0029】

図４に示す等価回路では、信号処理回路１０３は、クエンチ素子２０２の他に、波形整形部２１０、カウンタ回路２１１、及びメモリ回路２１２を有する。

【0030】

波形整形部２１０は、光子検出時に得られるＡＰＤ２０１のカソードの電圧変化を整形して、パルス信号を出力する。波形整形部２１０としては、例えば、インバータ回路が用いられる。図４では、波形整形部２１０としてインバータを１つ用いた例を示したが、複数のインバータを直列接続した回路を用いても良いし、波形整形効果があるその他の回路を用いても良い。

【0031】

カウンタ回路２１１は、波形整形部２１０から出力されたパルスの数をカウントし、カウント値を保持する。又、駆動線２１３を介して制御パルスＲＥＳが供給されたとき、カウンタ回路２１１に保持された信号がリセットされる。ここでカウンタ回路２１１は、蓄積期間の開始時と終了時のカウント値の差分に基づいて画像信号を生成している。

【0032】

メモリ回路２１２には、図３の垂直走査回路１１０から、図４の駆動線２１４（図３では不図示）を介して制御パルスＳＥＬが供給され、カウンタ回路２１１と垂直信号線１１３との電気的な接続、非接続を切り替える。メモリ回路２１２は、カウンタのカウント値を一時的に記憶するメモリとして機能しており、画素のカウンタ回路２１１からの出力信号を垂直信号線１１３に出力する。

【0033】

尚、クエンチ素子２０２とＡＰＤ２０１との間や、光電変換部１０２と信号処理回路１０３との間にトランジスタ等のスイッチを配して、電気的な接続を切り替えても良い。同様に、光電変換部１０２に供給される電圧ＶＨ又は電圧ＶＬの供給をトランジスタ等のスイッチを用いて電気的に切り替えても良い。

【0034】

図５は、ＡＰＤ２０１の動作と出力信号の関係を模式的に示した図である。波形整形部２１０の入力側をｎｏｄｅＡ、出力側をｎｏｄｅＢとしている。時刻ｔ０から時刻ｔ１の間において、ＡＰＤ２０１には、ＶＨ－ＶＬの電位差が印加されている。時刻ｔ１において光子がＡＰＤ２０１に入射すると、ＡＰＤ２０１でアバランシェ増倍が生じ、クエンチ素子２０２にアバランシェ増倍電流が流れ、ｎｏｄｅＡの電圧は降下する。

【0035】

電圧降下量が更に大きくなり、ＡＰＤ２０１に印加される電位差が小さくなると、時刻ｔ２のようにＡＰＤ２０１のアバランシェ増倍が停止し、ｎｏｄｅＡの電圧レベルはある一定値以下には降下しなくなる。

【0036】

その後、時刻ｔ２から時刻ｔ３の間において、ｎｏｄｅＡには電圧ＶＬから電圧降下分を補う電流が流れ、時刻ｔ３においてｎｏｄｅＡは元の電位レベルに静定する。このとき、ｎｏｄｅＡにおいて出力波形がある閾値を越えた部分は、波形整形部２１０で波形整形され、ｎｏｄｅＢでパルス信号として出力される。

【0037】

次に、本実施形態に係る光電変換装置６００及び移動体７００について説明する。図６は実施形態に係る光電変換装置６００及び移動体７００の機能ブロック図である。尚、図６に示される機能ブロックの一部は、光電変換装置６００及び移動体７００に含まれる不図示のコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。

【0038】

しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。又、図６に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

【0039】

光電変換装置６００は、図１～図５で説明した光電変換素子１００、結像光学系６０１、画像処理部６０３、認識部６０４、カメラ制御部６０５、記憶部６０６、通信部６０７等を有する。光電変換素子１００は、光学像を光電変換するための図１～図５で説明したアバランシェフォトダイオードで構成されている。

【0040】

本実施形態の光電変換装置は移動体７００に搭載されており、結像光学系６０１と光電変換素子１００のセットからなるカメラユニットは例えば移動体の前方、後方、側方の少なくとも１方向を撮影するように配置されている。尚、カメラユニットを移動体７００に複数設けても良い。

【0041】

画像処理部６０３は、光電変換素子１００で取得された画像信号に対して例えば黒レベル補正や、ガンマカーブ調整、ノイズリダクション、デジタルゲイン調整、デモザイク処理、データ圧縮等の画像処理を行い、最終的な画像信号を生成する。尚、光電変換素子１００の各画素がＲＧＢ等のオンチップカラーフィルタを有する場合、画像処理部６０３においてホワイトバランス補正、色変換などの処理も行う。

【0042】

更に、読み出した画像を視認用途や認識用途など複数の用途で使用する場合、画像の使用用途ごとに異なる画像処理パラメータを予め保持しておき、画像の使用用途の切り替えに伴って画像処理パラメータを切り替えることが望ましい。

【0043】

画像処理部６０３の出力は、認識部６０４、移動体７００のＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）７０１、カメラ制御部６０５に供給される。認識部６０４は、画像信号に基づき画像認識を行うことによって被写体を認識する認識手段として機能しており、移動体７００の周囲にある人や動物、車両、信号機、標識等の被写体を認識すると共に種別を識別する。

【0044】

その際に、認識結果の正確さを示す信頼度や、画像内における被写体の位置や大きさを示す座標情報についても併せて取得する。座標情報として具体的には、Ｘ座標のオフセットとサイズ、Ｙ座標のオフセットとサイズを取得する。本実施形態では、認識結果として被写体種別、信頼度、座標情報の３種類を取得するが、その他の情報を取得しても良い。

【0045】

認識部６０４により取得した認識結果は、ＥＣＵ７０１に出力される。尚、本実施形態では移動体７００は例えば自動車の例を用いて説明するが、移動体は航空機、電車、船舶、ドローン、ＡＧＶ、ロボットなど、移動可能なものであれば、どのようなものであっても良い。

【0046】

カメラ制御部６０５はコンピュータとしてのＣＰＵ及び、コンピュータプログラムを記憶したメモリを内蔵しており、メモリに記憶されたコンピュータプログラムをＣＰＵが実行することにより光電変換装置６００の各部の制御を行う。

【0047】

尚、カメラ制御部６０５は制御手段として機能しており、例えば光電変換素子１００の制御パルス生成部を介して、光電変換素子１００の各フレームの蓄積期間（光電変換期間）の長さや、制御信号ＣＬＫのタイミングの制御などを行う。又、カメラ制御部６０５は画像処理部６０３に各種画像処理のパラメータを設定したり、認識部６０４を制御する機能及び認識結果を取得する機能を有する。

【0048】

記憶部６０６は、例えば、メモリカード、ハードディスク等の記録媒体を含み、画像信号を記憶、読出すことができる。通信部６０７は無線や有線のインターフェースを備え、生成した画像信号や認識結果を光電変換装置６００の外部に出力すると共に外部からの各種信号を受信する。

【0049】

尚、通信部６０７は、インターフェースとして、例えばＳＰＩやＩ２Ｃ等の規格に則った有線通信を行っても良いし、Ｗｉ－Ｆｉ等の無線ＬＡＮ方式やＢｌｕｅｔｏｏｔｈ（登録商標）等を用いた通信を行っても良い。

【0050】

ＥＣＵ７０１はコンピュータとしてのＣＰＵ及びコンピュータプログラムを記憶したメモリを内蔵しており、メモリに記憶されたコンピュータプログラムをＣＰＵが実行することにより移動体７００の各部の制御を行う。

【0051】

ＥＣＵ７０１の出力は車両制御部７０２と表示部７０３に供給される。車両制御部７０２は、ＥＣＵ７０１の出力に基づき移動体としての車両の移動（駆動、停止、方向制御等）を制御する移動制御手段として機能している。又、移動制御手段としの車両制御部７０２は、認識部から出力された認識結果に基づいて移動体の制御を行う。

【0052】

又、表示部７０３は表示手段として機能しており、例えば液晶デバイスや有機ＥＬ等の表示素子を含み、移動体７００に搭載されている。表示部７０３は、ＥＣＵ７０１の出力に基づき例えばＧＵＩを用いて移動体７００の運転者に対して、光電変換素子１００により取得した画像や、認識部６０４により取得された認識結果、車両の走行状態等に関する各種情報を表示する。

【0053】

図７は、実施形態に係るカメラ制御部６０５による光電変換の処理例を説明するための図である。本実施形態では、例えば３０フルフレーム／秒で光電変換を周期的に駆動する。又、３３．３ｍｓの長さの１垂直期間分のフレームをフルフレームと呼び、フルフレームを４分割したものを夫々フレームと呼ぶ。

【0054】

即ち、図７に示すように、フルフレーム１を均等な期間（８．３３ｍｓ）ずつフレーム１＿１、フレーム１＿２、フレーム１＿３、フレーム１＿４に分割している。そしてフレーム１＿１、フレーム１＿２、フレーム１＿３、フレーム１＿４の夫々の終端である時刻Ｔ１、Ｔ２、Ｔ３、Ｔ４においてカウンタ回路２１１からカウント値を読出す。一方、カウンタ回路２１１のリセットはフルフレーム期間（１垂直期間）の終端であるＴ０（Ｔ４）に行う。

【0055】

従って、フレーム１＿１の終端である時刻Ｔ１でカウンタ回路２１１から読出されるカウント値Ｃ１＿１は、時刻Ｔ０～時刻Ｔ１までの蓄積期間のカウント値となる。又、フレーム１＿２の終端である時刻Ｔ２でカウンタ回路２１１から読出されるカウント値Ｃ１＿２は、時刻Ｔ０～時刻Ｔ２までの蓄積期間のカウント値となる。

【0056】

又、フレーム１＿３の終端である時刻Ｔ３でカウンタ回路２１１から読出されるカウント値Ｃ１＿３は、時刻Ｔ０～時刻Ｔ３までの蓄積期間のカウント値となる。又、フレーム１＿４の終端である時刻Ｔ４でカウンタ回路２１１から読出されるカウント値Ｃ１＿４は、時刻Ｔ０～時刻Ｔ４までの蓄積期間のカウント値となる。

【0057】

先ず、フレーム１＿１の終端である時刻Ｔ１でカウンタ回路２１１から読出される画像の処理フローについて説明する。時刻Ｔ０においてカウンタ回路２１１をリセットし、時刻Ｔ１においてカウンタ回路２１１のカウント値Ｃ１＿１を取得する。取得したカウント値Ｃ１＿１は、メモリ回路２１２に一時的に保存される。

【0058】

図８は、実施形態に係るカメラ制御部６０５による認識処理の例を説明するための図である。メモリ回路２１２に一時的に保存されたカウント値Ｃ１＿１は、光電変換素子から読み出し回路１１２内のバッファを介して１行ずつ時刻Ｔ１～時刻Ｔ２の期間に画像処理部６０３に出力される。

【0059】

画像処理部６０３では、前述した各種の画像処理を行い、処理結果をそのまま認識部６０４に出力する。フレーム１＿１の画像は時刻Ｔ１～時刻Ｔ２の期間で認識部６０４に出力され、時刻Ｔ２のタイミングで全ライン分の画像信号の出力が完了する。そして、時刻Ｔ２のタイミングで認識部６０４にて被写体認識処理が開始される。

【0060】

尚、本実施形態では、１フレーム分の画像信号が全て揃った時刻Ｔ２のタイミングで認識処理を開始しているが、１ライン毎もしくは１画素毎に順次認識処理を行っても良い。認識のための処理単位を小さくすることで、認識結果を取得するまでの遅延時間を短縮することができる。

【0061】

そして、フレーム１＿１の画像の認識処理が完了すると同時に、認識結果をＥＣＵ７０１に速やかに出力する。本実施形態では、認識処理とその結果の出力に要する最短時間をＴｄとする。このとき、フレーム１＿１の画像に基づく認識結果（図８のＲｃｇ１＿１）の出力は、時刻Ｔ２＋Ｔｄのタイミングで完了する。

【0062】

図９（Ａ）～（Ｃ）は、実施形態に係る認識部６０４による認識処理について説明するための図であり、図９を用いて認識処理の詳細について説明する。図９（Ａ）は、時刻Ｔ２のタイミングで画像処理部６０３から認識部６０４に出力された画像の例を示す図である。画像内の上下方向に道路が延びており、画像内の上部には車両、画像内の左下部には道路に飛び出した人が映っている。

【0063】

図９（Ｂ）は、フレーム１＿１に対して認識部６０４にて被写体認識処理を行った結果の例を示した図である。図９（Ｂ）に示すように、フレーム１＿１では２つの被写体が認識されており、認識部６０４は、夫々の被写体について、被写体種別、画像認識の信頼度、座標情報をデータ情報として出力している。

【0064】

即ち、１つ目の認識被写体の被写体種別は「人」で、画像認識の信頼度は９０％である。又、「人」が認識された画素領域の座標情報は、Ｘ座標、Ｙ座標のオフセットが夫々２００ｐｉｘ、４００ｐｉｘで、サイズが６００ｐｉｘ、５００ｐｉｘとなっている。即ち、Ｘ座標が２００～８００ｐｉｘの範囲、Ｙ座標が４００～９００ｐｉｘの範囲に存在することが分かる。

【0065】

２つ目の認識被写体の被写体種別は「車両」で、画像認識の信頼度は８０％である。又、「車両」が認識された画素領域の座標情報は、Ｘ座標、Ｙ座標のオフセットが夫々６００ｐｉｘ、５０ｐｉｘで、サイズが６００ｐｉｘ、５００ｐｉｘとなっている。即ち、Ｘ座標が６００～１２００ｐｉｘの範囲、Ｙ座標が５０～５５０ｐｉｘの範囲に存在することが分かる。

【0066】

このように、認識部６０４により、図９（Ｂ）に示すような情報を取得した、時刻Ｔ２＋ＴｄのタイミングでＥＣＵ７０１に出力することができる。従って、認識開始から認識結果の出力までを最短（Ｔｄ）で移動体７００のＥＣＵ７０１に供給することができる。

【0067】

尚、本実施形態では遅延時間の短縮を最優先として、図９（Ｂ）のデータ情報をＥＣＵ７０１に供給しているが、必要に応じて他の情報も一緒にＥＣＵ７０１に供給しても良い。例えば、図９（Ｃ）に示すように、図９（Ａ）の画像信号に図９（Ｂ）で示した認識結果を情報として重畳させたものをＥＣＵ７０１に供給しても良い。

【0068】

或いは、被写体が認識された領域（図９（Ｃ）の白枠内）の画像のみを切り出して、認識結果と共にＥＣＵ７０１に供給しても良い。但し、画像情報も合わせてＥＣＵ７０１に供給するとデータ量が増えるため、ＥＣＵ７０１への伝送に時間を要するおそれがある。

【0069】

即ち、認識結果の出力が完了するまでの遅延時間が延びてしまう。従って、光電変換装置６００からＥＣＵ７０１に供給する情報の内容は、移動体７００が必要とする情報、及び許容される遅延時間等を考慮して決めることが望ましい。フレーム１＿１の画像の処理フローについての説明は以上である。

【0070】

続いて、フレーム１＿２、フレーム１＿３、フレーム１＿４の夫々の終端の時刻Ｔ２、時刻Ｔ３、時刻Ｔ４で画像信号の読出しが開始され、夫々時刻Ｔ２～時刻Ｔ３、時刻Ｔ３～時刻Ｔ４、時刻Ｔ４～時刻Ｔ１の期間に順次読み出される。そして、時刻Ｔ３、時刻Ｔ４、時刻Ｔ１のタイミングで夫々の認識処理が順次開始され、時刻Ｔ３＋Ｔｄ、時刻Ｔ４＋Ｔｄ、時刻Ｔ１＋Ｔｄのタイミングで夫々の認識結果のＥＣＵ７０１への供給が完了する。

【0071】

図１０は、分割された複数のフレームの画像の例を示す図である。図９に示すようにフレーム１＿１の終端の時刻Ｔ１で読出される画像は蓄積期間が短いので暗くなるが、飛び出してきた人の被写体ブレは少ない。

【0072】

一方、フレーム１＿２、フレーム１＿３、フレーム１＿４の夫々の終端で読出される画像は、順に、蓄積期間が長いので被写体ブレが生じやすくなる。尚、停止している車両や白線にはブレは生じにくく、蓄積期間が長い程コントラストが向上しやすい。

【0073】

このように、本実施形態では、１フルフレーム期間内で、第１の蓄積期間（例えば時刻Ｔ０～時刻Ｔ１）と第２の蓄積期間（例えば時刻Ｔ０～時刻Ｔ４）を持ち、第１の蓄積期間は第２の蓄積期間よりも短い。又、第１の蓄積期間に生成される信号を第１の蓄積期間終了（例えば時刻Ｔ１）から第２の蓄積期間終了（例えば時刻Ｔ４）までの間に出力するように制御している。

【0074】

又、本実施形態では、第１の蓄積期間と第２の蓄積期間は重複しており、第１の蓄積期間と第２の蓄積期間は同時に開始する。更に、第２の蓄積期間の終了時がフルフレーム期間（１垂直期間）の切れ目になっており、第２の蓄積期間は前記第１の蓄積期間の整数倍（図７の例では４倍）となっている。

【0075】

但し、第２の蓄積期間は前記第１の蓄積期間の整数倍である必要はなく、第２の蓄積期間は第１の蓄積期間よりも長く、第２の蓄積期間の終了が第１の蓄積期間も終了よりも後になれば良い。

【0076】

即ち、蓄積期間が短い画像と長い画像を作り、短い蓄積期間が終わるタイミングを、長い蓄積期間が終わるタイミングよりも早くしておき、短い蓄積期間が終わり次第、その画像を出力して後段の認識部に送っている。そして少なくとも第１の蓄積期間に生成される信号に基づき被写体を認識している。認識手段としての認識部６０４は、少なくとも第１の蓄積期間に生成される信号に基づき被写体を認識する。

【0077】

従って、従来ではフルフレーム期間毎にしか画像認識できなかったのに対し、本実施形態では、１／４フルフレーム期間毎に画像認識を行うことができ、例えば移動体が高速で移動している際に、障害物等を速やかに認識することができる。また、さらに蓄積期間短くした場合には、より頻繁に画像認識を行うことが可能になる。

【0078】

更に、その認識結果をＥＣＵ７０１に低遅延で出力することで、速やかに自動ブレーキをかけることなどができる。或いは障害物を早期に回避することが可能となる。又、１／４フルフレーム期間毎に画像認識を行うことができるので、その間に出現する障害物等をタイムリーに画像認識できる。

【0079】

又、本実施形態の表示装置は、少なくとも第２の蓄積期間に生成される信号を画像として表示している。尚、蓄積期間が長い第２の蓄積期間の画像はコントラストを向上させることができるので、表示用画像として適している。即ち、蓄積期間が短い第１の蓄積期間の画像は速やかな被写体認識に適しており、蓄積期間が長い第２の蓄積期間の画像は表示用画像に適している。

【0080】

尚、本実施形態においてはＡＰＤを用いているので、ＣＭＯＳセンサなどと異なり、読み出し動作によって蓄積された電荷が劣化することはないので蓄積期間を重複させることができる。又、読出しノイズがないので１度の蓄積で何度読み出しても元の信号が劣化しない。

【0081】

図１１は、実施形態におけるメモリ回路とバッファとの関係を示す図である。図１１においては、図３の信号処理回路１０３内のメモリ回路２１２を、Ｎ行Ｍ列に配列した状態を示しており、各メモリ回路はメモリ１－１～メモリＮ－Ｍのように表されている。又、図１１におけるバッファ１～バッファＭは図３における読み出し回路１１２に含まれるバッファを示している。図１１における出力回路１１４は図３の出力回路１１４に対応している。

【0082】

図１２は、実施形態における光電変換素子の駆動例の詳細を示すフローチャートであり、図１３は図１２の続きのフローチャートである。尚、カメラ制御部６０５内のコンピュータとしてのＣＰＵ等がメモリに記憶されたコンピュータプログラムを実行することによって図１２、図１３のフローチャートの各ステップの動作が順次行われる。

【0083】

図１２のステップＳ１０１において、ｉ＝１にセットする。次にステップＳ１０２において時刻Ｔｉにおけるカウンタ回路２１１のカウント値Ｃｏｕｎｔをメモリ回路２１２に出力する。この時、全ての画素のメモリ回路に対して同時に出力を行う。この動作は図７の時刻Ｔ１の動作に対応している。

【0084】

次にステップＳ１０３においてｊ＝１をセットし、ステップＳ１０４において図１１のメモリ回路ｊ－ｋにおけるカウント値Ｃｏｕｎｔ（ｊ－ｋ－ｉ）をバッファｋに出力する。この時、１～Ｍ列同時にバッファに出力する。この動作は、図１１の１行目のカウント値をバッファに取り込む動作を意味している。

【0085】

次にステップＳ１０５においてｋ＝１にセットし、ステップＳ１０６においてバッファｋのカウント値Ｃｏｕｎｔ（ｊ－ｋ－ｉ）を出力回路１１４に出力する。この動作は、図１１の一番左の列のバッファの信号を出力回路から読出す動作に対応している。

【0086】

次にＡを介して図１３のステップＳ１０７に進み、ステップＳ１０７においてｋ＜Ｍか判定し、ＹｅｓであればステップＳ１０８においてｋ＝ｋ＋１としてｋを１アップし、Ｂを介してステップＳ１０６に戻り、ステップＳ１０６の動作を行う。この動作は図１１の左から２列目のバッファの信号を出力回路から読出す動作に対応している。

【0087】

ステップＳ１０７でＮｏになった場合、即ち、ｋ＝Ｍになった場合には、図１１のＭ列目のバッファの信号を出力回路から読出し終わったことを意味し、次にステップＳ１０９に進み、ｊ＜Ｎか判定する。ステップＳ１０９でＹｅｓの場合にはステップＳ１１０でｊ＝Ｊ＋１とし、ｊを１アップし、Ｃを介してステップＳ１０４に戻る。これは次の行の読出しを開始するための動作に対応している。

【0088】

ステップＳ１０９でＮｏと判定された場合には、全ての行の読出しが終了したことを意味するので、ステップＳ１１１に進み、ｊ＜４か否か判定する。ステップＳ１１１でＹｅｓと判定された場合にはステップＳ１１２に進み、ｉ＝ｉ＋１としｉを１アップしてＤを介してステップＳ１０２に戻る。この動作は次の時刻Ｔ２の読出しを開始する動作に対応している。

【0089】

ステップＳ１１１でＮｏと判定された場合には、時刻Ｔ４における読出しが完了したことを意味するので、ステップＳ１１３に進み、リセット信号でカウンタ回路２１１をリセットする。この動作は図７における時刻Ｔ４のカウンタ回路２１１のリセット動作に対応している。以上のようにして、光電変換素子１００に蓄積された信号を順次読出すことができる。

【0090】

図１４は、実施形態に係るＥＣＵ７０１による移動体７００の具体的な制御方法の例を説明するための図である。図１４において、光電変換装置６００の制御方法は図７と同様で、フルフレームを４つの均等な期間のフレームに分割しており、夫々のフレームの期間は図７のフレーム期間と対応している。

【0091】

図１４において、光電変換素子１００内の読み出し回路１１２から画像信号が読み出されて画像処理部６０３により最終的な画像が生成されるまでの各フレームの処理を「画像生成」と定義する。

【0092】

又、本実施形態では、図１４の「画像出力」で示すように、最も蓄積期間が長秒時（３３．３ｍｓ）となるフレーム０＿４やフレーム１＿４の画像信号のみを、移動体７００の表示部７０３での表示用画像として画像処理部６０３からＥＣＵ７０１に出力する。

【0093】

又、認識部６０４による認識処理は全てのフレームについて行い、その認識処理の結果を認識部６０４からＥＣＵ７０１に供給する（図１４における「認識結果出力」）。認識結果は、移動体７００の表示部７０３で表示され、或いは車両制御部７０２により運転制御に使用される（図１４における「運転制御」）。尚、認識処理において被写体が認識されなかった場合は、必ずしも認識結果をＥＣＵ７０１に出力する必要はなく、後述のように、必要に応じて出力すれば良い。

【0094】

次に、表示用画像を光電変換装置６００から移動体７００に出力し、ＥＣＵ７０１が表示部７０３に画像を表示させるまでの処理について順次説明する。図１４において、フルフレーム１の時刻Ｔ１のタイミングで、光電変換装置６００内の画像処理部６０３で各種画像処理が行われ、フレーム０＿４の最終的な「画像生成」が行われる。

【0095】

次いで時刻Ｔ１～時刻Ｔ２の期間で、画像処理部６０３からＥＣＵ７０１にフレーム０＿４の画像信号が１水平ラインずつ「画像出力」され、一旦、不図示のメモリに一時的に蓄積される。ＥＣＵ７０１は、フレーム０＿４の全ての画像信号を取得した時刻Ｔ２のタイミングで、表示部７０３にフレーム０＿４の画像の「画像表示」を開始させる。

【0096】

表示部７０３に表示させる画像はフルフレーム期間（４フレーム期間）に１回更新させるため、フルフレーム１の時刻Ｔ２に更新されたフレーム０＿４の画像はフルフレーム２の時刻Ｔ２まで「画像表示」され続ける。

【0097】

次に、認識部６０４で被写体認識を行った結果を移動体７００に出力し、ＥＣＵ７０１が車両制御部７０２や表示部７０３に対して制御を行うまでの認識結果の処理について図１４と図１５を用いて説明する。

【0098】

尚、図１５は、実施形態に係る被写体認識等の制御方法の例を示すフローチャートである。カメラ制御部６０５内のコンピュータとしてのＣＰＵ等がメモリに記憶されたコンピュータプログラムを実行することによって図１５のフローチャートの各ステップの動作が順次行われる。

【0099】

図１５のステップＳ１５１において、フルフレーム１の時刻Ｔ１のタイミングで、認識部６０４は、フレーム０＿４の画像を取得する。そしてステップＳ１５２において、被写体の「認識処理」を開始し、図１４のように認識結果（Ｒｃｇ０＿４）を取得する。ここで、ステップＳ１５２は、蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて生成された画像信号に対して認識処理を行う認識ステップとして機能している。

【0100】

そして、ステップＳ１５３で被写体が認識されたか判定する。ステップＳ１５３でＮｏと判定された場合にはステップＳ１５５に進み、Ｙｅｓと判定された場合には、ステップＳ１５４に進む。

【0101】

ステップＳ１５４では、認識部６０４からＥＣＵ７０１に対して割り込み処理で認識処理結果Ｒｃｇ０＿４を送信開始する。認識処理結果Ｒｃｇ０＿４の送信は、時刻Ｔ１＋Ｔｄのタイミングで完了する（図１４における「認識結果出力」）。

【0102】

ここでステップＳ１５４は、認識ステップ（認識手段）により認識処理が完了するのに伴って、制御手段としてのカメラ制御部６０５により認識処理の結果を外部のＥＣＵ７０１等に出力させる制御ステップとして機能している。

【0103】

ＥＣＵ７０１は、Ｒｃｇ０＿４を取得した時刻Ｔ１＋Ｔｄのタイミングで、車両制御を行うための信号を車両制御部７０２に送信する。車両制御部７０２は、受信した車両制御信号に基づいて、移動体７００の駆動、停止、方向制御等を行う（図１４における「運転制御」）。

【0104】

このように、Ｒｃｇ０＿４を受信した直後に移動体７００の制御を行うことで、移動体が高速で移動中に障害物が侵入していても障害物を早期に回避するために、速やかにブレーキをかける、進路変更をする等の運転制御を行うことが可能となる。

【0105】

又、ＥＣＵ７０１から車両制御部７０２に車両制御信号を送信するのとほぼ同時に、ＥＣＵ７０１は、取得したＲｃｇ０＿４の情報を表示部７０３に認識結果情報として送信する。表示部７０３は、受信した認識結果情報に基づいて図９（Ｃ）に示すような被写体種別、信頼度、座標情報等の情報をＧＵＩ等を用いて、表示中の画像に重畳させる（図１４における「認識結果表示」）。

【0106】

座標情報については、運転者が視覚的に見やすいように枠等を表示するのが望ましいが、枠以外の表示方法でも良い。又、表示する色についても運転者が見やすいものにするのが望ましい。このように、ＥＣＵ７０１がＲｃｇ０＿４を受信した直後に表示部７０３に認識結果情報を送信し表示させることで、運転者に速やかに被写体や障害物の接近情報を知らせることができる。

【0107】

本実施形態では、フルフレーム１の時刻Ｔ２から、フルフレーム２の時刻Ｔ２の期間はフルフレーム０で蓄積したフレーム０＿４の画像が表示部７０３に表示されている。しかし、表示画像がフルフレーム０からフルフレーム１に切り替わる前に、Ｒｃｇ１＿１、Ｒｃｇ１＿２、Ｒｃｇ１＿３、Ｒｃｇ１＿４の認識結果を先行して受信し表示部７０３に表示することができる。

【0108】

尚、ステップＳ１５４で送信開始したフレーム０＿４の画像は、一旦、不図示のメモリに蓄積された後、時刻Ｔ２以降に表示される。但し、表示部７０３に表示される画像は前述のように、フレーム０＿４やフレーム１＿４などのフルフレーム毎の画像とし、本実施形態では、その間に得られるフレームの画像は表示には使わないものとする。

【0109】

尚、ステップＳ１５４に続いてステップＳ１５５において、次のフレームの同期信号が来るまで待機し、来たらステップＳ１５６に進む。ステップＳ１５６では例えばユーザによる終了指示や撮像装置の電源オフによる終了指示を判定し、Ｙｅｓの場合には図１５のフローを終了する。

【0110】

ステップＳ１５６でＮｏと判定された場合にはステップＳ１５１に戻り、上記の一連の動作を繰り返す。それにより、各フレームで取得された画像に基づき逐次新たな認識処理を行い、現在表示中の画像に、その認識結果を表示したり、運転制御に反映したりすることができる。

【0111】

従って、画像の更新周期よりも短い周期でかつ早いタイミングで運転者や車両制御部７０２に被写体情報を通知することができる。即ち、被写体や障害物が接近していた場合、速やかにブレーキをかけたり進路変更をすることができるため、危険を回避する事が可能となる。

【0112】

また、本実施形態では、被写体の認識結果に応じて出力する内容を決定し、認識手段により被写体が認識されたか否かに応じて、前記認識処理の結果を外部に出力するか否かを切り替えている。即ち、認識手段により所定期間の画像信号から被写体が認識された場合に、認識処理の結果と共に、所定期間の画像信号も外部に出力している。

【0113】

そして例えば認識部６０４により被写体が認識された際には、画僧信号に認識結果を重畳して表示し、被写体が認識されない場合には画像信号だけを表示している。従って、移動体の運転者にとって表示が煩雑になることを防止できる。

【0114】

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

【0115】

例えば、上記実施形態では、画像信号と認識結果を別々の信号線を用いて出力していたが、同じ信号線を用いて出力しても良い。即ち、画像処理部６０３からＥＣＵ７０１への出力信号線を用いて画像信号と認識結果を同時に出力しても良い。

【0116】

或いは、認識部６０４からＥＣＵ７０１への出力信号線を用いて画像信号と認識結果を同時に出力しても良い。或いは、カメラ制御部６０５を介して通信部６０７を用いてどちらか一方もしくは両方の情報を出力しても良い。又、本発明は以下の組み合わせを含む。

【0117】

（構成１）光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、前記カウンタのカウント値を記憶するメモリと、を夫々備える複数の画素と、蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて生成された画像信号に対して認識処理を行う認識手段と、前記認識手段により前記認識処理が完了するのに伴って前記認識処理の結果を外部に出力させる制御手段と、を有することを特徴とする光電変換装置。

【0118】

（構成２）前記制御手段は、フルフレーム期間において、第１の蓄積期間と第２の蓄積期間を持ち、前記第１の蓄積期間は前記第２の蓄積期間よりも短く、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力するように制御することを特徴とする構成１に記載の光電変換装置。

【0119】

（構成３）前記制御手段は、前記認識手段により被写体が認識されたか否かに応じて、前記認識処理の結果を外部に出力するか否かを切り替えることを特徴とする構成１又は２に記載の光電変換装置。

【0120】

（構成４）前記認識手段により所定期間の画像信号から被写体が認識された場合に、前記認識処理の結果と共に、前記所定期間の画像信号も外部に出力することを特徴とする構成１～３のいずれか１つに記載の光電変換装置。

【0121】

（構成５）前記センサ部はアバランシェフォトダイオードを含むことを特徴とする構成１～４のいずれか１つに記載の光電変換装置。

【0122】

（構成６）構成１～５のいずれか１つに記載の光電変換装置と、移動体の動作を制御する移動制御手段と、を有することを特徴とする移動体。

【0123】

（構成７）前記移動制御手段は、前記認識手段から出力された認識結果に基づいて移動体の制御を行うことを特徴とする構成６に記載の移動体。

【0124】

（構成８）前記認識手段における前記認識処理の結果を表示するための表示部を有することを特徴とする構成６又は７に記載の移動体。

【0125】

（方法）光子の受光頻度に応じた頻度でパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、前記カウンタのカウント値を記憶するメモリと、を夫々備える複数の画素と、を有する光電変換装置の制御方法であって、蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて生成された画像信号に対して認識処理を行う認識ステップと、前記認識ステップにより前記認識処理が完了するのに伴って前記認識処理の結果を外部に出力させる制御ステップと、を有することを特徴とする制御方法。

【0126】

（プログラム）構成１～５のいずれか１つに記載の光電変換装置又は構成６～８のいずれか１つに記載の移動体の各手段をコンピュータにより制御するためのコンピュータプログラム。

【0127】

尚、本実施例における制御の一部又は全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して光電変換装置に供給するようにしても良い。そしてその光電変換装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしても良い。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

【符号の説明】

【0128】

１１：センサ基板
１２：画素領域
２１：回路基板
２２：回路領域
１００：光電変換素子
１０１：画素
１０２：光電変換部
１０３：信号処理回路
１１０：垂直走査回路
１１１：水平走査回路
１１２：読み出し回路
１１３：垂直信号線
１１４：出力回路
１１５：制御パルス生成部
２０１：アバランシェフォトダイオード
２０２：クエンチ素子
２１０：波形整形部
２１１：カウンタ回路
２１２：メモリ回路
２１３：駆動線
２１４：駆動線
６００：光電変換装置
６０１：結像光学系
６０３：画像処理部
６０４：認識部
６０５：カメラ制御部
６０６：記憶部
６０７：通信部
７００：移動体
７０１：ＥＣＵ
７０２：車両制御部
７０３：表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【手続補正書】

【提出日】2024-05-08

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、
前記カウンタのカウント値を記憶するメモリと、を夫々備える複数の画素と、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成する生成手段と、
前記生成手段によって生成された信号を出力する出力手段と、
前記生成手段によって生成された信号に対して認識処理を行う認識手段と、
前記認識処理の認識結果を出力する出力手段と、を有することを特徴とする光電変換装置。

【請求項2】

前記カウンタは、第１の蓄積期間と前記第１の蓄積期間より長い第２の蓄積期間とを含むフルフレーム期間ごとに前記カウンタはカウント値をリセットし、
前記出力手段は、前記第１の蓄積期間に生成される信号を前記第１の蓄積期間の終了から前記第２の蓄積期間の終了までの間に出力する
ことを特徴とする請求項１に記載の光電変換装置。

【請求項3】

前記出力手段は、前記認識手段により被写体が認識された場合に前記認識処理の結果を出力することを特徴とする請求項１に記載の光電変換装置。

【請求項4】

前記出力手段は、前記認識手段により前記生成手段によって生成された信号から被写体が認識された場合に、前記認識処理の結果と、前記生成手段によって生成された信号とを出力することを特徴とする請求項１に記載の光電変換装置。

【請求項5】

前記センサ部はアバランシェフォトダイオードを含むことを特徴とする請求項１に記載の光電変換装置。

【請求項6】

請求項１～５のいずれか１項に記載の光電変換装置と、
移動体の動作を制御する移動制御手段と、を有することを特徴とする移動体。

【請求項7】

前記移動制御手段は、前記認識手段から出力された認識結果に基づいて移動体の制御を行うことを特徴とする請求項６に記載の移動体。

【請求項8】

前記認識手段における前記認識処理の結果を表示するための表示手段をさらに有することを特徴とする請求項６に記載の移動体。

【請求項9】

光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、
前記カウンタのカウント値を記憶するメモリと、を夫々備える複数の画素と、を有する光電変換装置の制御方法であって、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成する工程と、
生成された信号を出力する工程と、
生成された信号に対して認識処理を行う工程と、
前記認識処理の認識結果を出力する工程と、
を有することを特徴とする制御方法。

【請求項10】

請求項１～５のいずれか１項に記載の光電変換装置又は請求項６～８のいずれか１項に記載の移動体の各手段をコンピュータにより制御するためのコンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

本発明の１側面の光電変換装置は、
光子の受光頻度に応じた頻度でパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、
前記カウンタのカウント値を記憶するメモリと、を夫々備える複数の画素と、
蓄積期間の開始時と終了時の前記カウンタのカウント値の差分に基づいて信号を生成する生成手段と、
前記生成手段によって生成された信号を出力する出力手段と、
前記生成手段によって生成された信号に対して認識処理を行う認識手段と、
前記認識処理の認識結果を出力する出力手段と、を有することを特徴とする。