知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024090345
(43)【公開日】2024-07-04
(54)【発明の名称】光検出装置、および、光検出装置の制御方法
(51)【国際特許分類】
H04N 25/00 20230101AFI20240627BHJP
G06T 1/40 20060101ALI20240627BHJP
【ＦＩ】
H04N25/00
G06T1/40
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2022206200
(22)【出願日】2022-12-23
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100112955
【弁理士】
【氏名又は名称】丸島 敏一
(72)【発明者】
【氏名】宝玉 晋
(72)【発明者】
【氏名】親川 武仕
【テーマコード（参考）】
5B057
5C024
【Ｆターム（参考）】
5B057AA16
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CG01
5B057CH16
5B057CH20
5B057DA20
5B057DB02
5B057DB09
5B057DC40
5C024CY26
5C024CY44
5C024GX03
5C024GX07
5C024GY31
5C024GY45
5C024HX23
5C024HX57
(57)【要約】
【課題】ニューラルネットワーク回路を用いる光検出装置において、センサーおよびニューラルネットワーク回路のそれぞれの出力の同期を容易にする。
【解決手段】センサーは、それぞれが複数の画素データを含む所定数の第１ラインデータを出力する。ニューラルネットワーク回路は、ニューラルネットワークモデルに基づいて所定数の第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータを出力する。フォーマット処理部は、所定数の第１ラインデータと第２ラインデータとを対応付けて格納した通信フレームを生成する。
【選択図】図２
【解決手段】センサーは、それぞれが複数の画素データを含む所定数の第１ラインデータを出力する。ニューラルネットワーク回路は、ニューラルネットワークモデルに基づいて所定数の第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータを出力する。フォーマット処理部は、所定数の第１ラインデータと第２ラインデータとを対応付けて格納した通信フレームを生成する。
【選択図】図２
【特許請求の範囲】
【請求項1】
それぞれが複数の画素データを含む所定数の第１ラインデータを出力するセンサーと、
ニューラルネットワークモデルに基づいて所定数の前記第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータを出力するニューラルネットワーク回路と、
所定数の前記第１ラインデータと前記第２ラインデータとを対応付けて格納した通信フレームを生成するフォーマット処理部と
を具備する光検出装置。
ニューラルネットワークモデルに基づいて所定数の前記第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータを出力するニューラルネットワーク回路と、
所定数の前記第１ラインデータと前記第２ラインデータとを対応付けて格納した通信フレームを生成するフォーマット処理部と
を具備する光検出装置。
【請求項2】
前記第１ラインデータに所定情報を含む第１ヘッダを付加する第１のヘッダ付加部と、
前記第２ラインデータに前記所定情報を含む第２ヘッダを付加する第２のヘッダ付加部と
さらに具備する請求項１記載の光検出装置。
前記第２ラインデータに前記所定情報を含む第２ヘッダを付加する第２のヘッダ付加部と
さらに具備する請求項１記載の光検出装置。
【請求項3】
前記第１のヘッダ付加部は、所定数の前記第１ラインデータのそれぞれに前記第１ヘッダを付加する
請求項２記載の光検出装置。
請求項２記載の光検出装置。
【請求項4】
前記第１のヘッダ付加部は、所定数の前記第１ラインデータのうち先頭の第１ラインデータに前記第１ヘッダを付加する
請求項２記載の光検出装置。
請求項２記載の光検出装置。
【請求項5】
前記第２のヘッダ付加部は、所定数の前記第２ラインデータのそれぞれに前記第２ヘッダを付加する
請求項２記載の光検出装置。
請求項２記載の光検出装置。
【請求項6】
前記第２のヘッダ付加部は、所定数の前記第２ラインデータのうち先頭の第２ラインデータに前記第２ヘッダを付加する
請求項２記載の光検出装置。
請求項２記載の光検出装置。
【請求項7】
前記所定情報は、前記第１ラインデータが出力された時刻を示す時刻情報である
請求項２記載の光検出装置。
請求項２記載の光検出装置。
【請求項8】
前記画素データは、時刻情報を含み、
前記所定情報は、前記第１ラインデータに対応するラインの識別情報である
請求項２記載の光検出装置。
前記所定情報は、前記第１ラインデータに対応するラインの識別情報である
請求項２記載の光検出装置。
【請求項9】
前記第１ヘッダが付加された前記第１ラインデータと前記第２ヘッダが付加された前記第２ラインデータとに対して所定の処理を行って前記フォーマット処理部に供給するデジタル処理部をさらに具備する請求項２記載の光検出装置。
【請求項10】
前記第１ヘッダが付加された前記第１ラインデータに対して所定の処理を行って前記フォーマット処理部に供給する第１のデジタル処理部と、
前記第２ヘッダが付加された前記第２ラインデータに対して所定の処理を行って前記フォーマット処理部に供給する第２のデジタル処理部と
を具備する請求項２記載の光検出装置。
前記第２ヘッダが付加された前記第２ラインデータに対して所定の処理を行って前記フォーマット処理部に供給する第２のデジタル処理部と
を具備する請求項２記載の光検出装置。
【請求項11】
前記第１ヘッダが付加された前記第１ラインデータと前記第２ヘッダが付加された前記第２ラインデータとを先入れ先出し方式で保持するＦＩＦＯ（First In, First Out）メモリをさらに具備する請求項２記載の光検出装置。
【請求項12】
前記第１ヘッダが付加された前記第１ラインデータを先入れ先出し方式で保持する第１のＦＩＦＯメモリと、
前記第２ヘッダが付加された前記第２ラインデータを先入れ先出し方式で保持する第２のＦＩＦＯメモリと
をさらに具備する請求項２記載の光検出装置。
前記第２ヘッダが付加された前記第２ラインデータを先入れ先出し方式で保持する第２のＦＩＦＯメモリと
をさらに具備する請求項２記載の光検出装置。
【請求項13】
前記ニューラルネットワーク回路は、前記第１のＦＩＦＯメモリから前記第１ラインデータを読み出す請求項１２記載の光検出装置。
【請求項14】
前記センサーは、前記第１のＦＩＦＯメモリと前記ニューラルネットワーク回路とに前記第１ラインデータを出力する
請求項１２記載の光検出装置。
請求項１２記載の光検出装置。
【請求項15】
前記センサーは、ＥＶＳ（Event-based Vision Sensor）である
請求項１記載の光検出装置。
請求項１記載の光検出装置。
【請求項16】
前記センサーは、光子を計数する光子計測回路である
請求項１記載の光検出装置。
請求項１記載の光検出装置。
【請求項17】
前記センサーは、ＣＩＳ（CMOS Image Sensors）である
請求項１記載の光検出装置。
請求項１記載の光検出装置。
【請求項18】
前記センサーと前記ニューラルネットワーク回路と前記フォーマット処理部とは、積層された複数のチップに分散して配置される
請求項１記載の光検出装置。
請求項１記載の光検出装置。
【請求項19】
それぞれが複数の画素データを含む所定数の第１ラインデータを出力するセンサーと、
ニューラルネットワークモデルに基づいて所定数の前記第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータを出力するニューラルネットワーク回路と、
前記第１ラインデータに関する所定情報を含むヘッダを前記第２ラインデータに付加するヘッダ付加部と、
前記ヘッダが付加された第２ラインデータを格納した通信フレームを生成するフォーマット処理部と
を具備する光検出装置。
ニューラルネットワークモデルに基づいて所定数の前記第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータを出力するニューラルネットワーク回路と、
前記第１ラインデータに関する所定情報を含むヘッダを前記第２ラインデータに付加するヘッダ付加部と、
前記ヘッダが付加された第２ラインデータを格納した通信フレームを生成するフォーマット処理部と
を具備する光検出装置。
【請求項20】
それぞれが複数の画素データを含む所定数の第１ラインデータをセンサーが出力する手順と、
ニューラルネットワークモデルに基づいて所定数の前記第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータをニューラルネットワーク回路が出力する手順と、
所定数の前記第１ラインデータと前記第２ラインデータとを対応付けて格納した通信フレームをフォーマット処理部が生成する手順と
を具備する光検出装置の制御方法。
ニューラルネットワークモデルに基づいて所定数の前記第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータをニューラルネットワーク回路が出力する手順と、
所定数の前記第１ラインデータと前記第２ラインデータとを対応付けて格納した通信フレームをフォーマット処理部が生成する手順と
を具備する光検出装置の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、光検出装置に関する。詳しくは、ニューラルネットワークモデルを用いる光検出装置、および、光検出装置の制御方法に関する。
【背景技術】
【0002】
近年、ニューラルネットワークモデルを用いた信号処理は、ますます機能性と適用先とを拡げている。例えば、複数の画素とニューラルネットワーク回路とのそれぞれを複数のグループに分けておき、それぞれの画像グループの画素情報を、対応するニューラルネットワーク回路グループに入力する装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０２２－５２５７９４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の従来技術では、それぞれの画像グループの画素情報を、対応するニューラルネットワーク回路グループに入力することにより、処理の高速化を図っている。しかしながら、上述の装置では、センサーの出力と、ニューラルネットワーク回路の出力とのそれぞれを処理する際に、それらの同期をとることが困難になるおそれがある。例えば、アービタ方式を用いるＥＶＳ（Event-based Vision Sensor）は、垂直同期信号などのタイミング信号に同期せずにアドレスイベントを検出して出力する。また、例えば、スパイクニューラルネットワーク回路も同様に、非同期でスパイク信号を出力する。これらのセンサーやニューラルネットワーク回路を用いる際に、それらの出力の同期が困難になるという問題がある。
【0005】
本技術はこのような状況に鑑みて生み出されたものであり、ニューラルネットワーク回路を用いる光検出装置において、センサーおよびニューラルネットワーク回路のそれぞれの出力の同期を容易にすることを目的とする。
【課題を解決するための手段】
【0006】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、それぞれが複数の画素データを含む所定数の第１ラインデータを出力するセンサーと、ニューラルネットワークモデルに基づいて所定数の上記第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータを出力するニューラルネットワーク回路と、所定数の上記第１ラインデータと上記第２ラインデータとを対応付けて格納した通信フレームを生成するフォーマット処理部とを具備する光検出装置、および、その制御方法である。これにより、センサーおよびニューラルネットワーク回路のそれぞれの出力の同期が容易になるという作用をもたらす。
【0007】
また、この第１の側面において、上記第１ラインデータに所定情報を含む第１ヘッダを付加する第１のヘッダ付加部と、上記第２ラインデータに上記所定情報を含む第２ヘッダを付加する第２のヘッダ付加部とさらに具備してもよい。これにより、第１ラインデータと第２ラインデータとの同期が容易になるという作用をもたらす。
【0008】
また、この第１の側面において、上記第１のヘッダ付加部は、所定数の上記第１ラインデータのそれぞれに上記第１ヘッダを付加してもよい。これにより、ライン毎の同期が容易になるという作用をもたらす。
【0009】
また、この第１の側面において、上記第１のヘッダ付加部は、所定数の上記第１ラインデータのうち先頭の第１ラインデータに上記第１ヘッダを付加してもよい。これにより、ライン群の同期が容易になるという作用をもたらす。
【0010】
また、この第１の側面において、上記第２のヘッダ付加部は、所定数の上記第２ラインデータのそれぞれに上記第２ヘッダを付加してもよい。これにより、ライン毎の同期が容易になるという作用をもたらす。
【0011】
また、この第１の側面において、上記第２のヘッダ付加部は、所定数の上記第２ラインデータのうち先頭の第２ラインデータに上記第２ヘッダを付加してもよい。これにより、ライン群の同期が容易になるという作用をもたらす。
【0012】
また、この第１の側面において、上記所定情報は、上記第１ラインデータが出力された時刻を示す時刻情報であってもよい。これにより、時刻による同期が容易になるという作用をもたらす。
【0013】
また、この第１の側面において、上記画素データは、時刻情報を含み、上記所定情報は、上記第１ラインデータに対応するラインの識別情報であってもよい。これにより、識別情報による同期が容易になるという作用をもたらす。
【0014】
また、この第１の側面において、上記第１ヘッダが付加された上記第１ラインデータと上記第２ヘッダが付加された上記第２ラインデータとに対して所定の処理を行って上記フォーマット処理部に供給するデジタル処理部をさらに具備してもよい。これにより、ラインデータが処理されるという作用をもたらす。
【0015】
また、この第１の側面において、上記第１ヘッダが付加された上記第１ラインデータに対して所定の処理を行って上記フォーマット処理部に供給する第１のデジタル処理部と、上記第２ヘッダが付加された上記第２ラインデータに対して所定の処理を行って上記フォーマット処理部に供給する第２のデジタル処理部とを具備してもよい。これにより、ラインデータが処理されるという作用をもたらす。
【0016】
また、この第１の側面において、上記第１ヘッダが付加された上記第１ラインデータと上記第２ヘッダが付加された上記第２ラインデータとを先入れ先出し方式で保持するＦＩＦＯメモリをさらに具備してもよい。これにより、ラインデータがバッファリングされるという作用をもたらす。
【0017】
また、この第１の側面において、上記第１ヘッダが付加された上記第１ラインデータを先入れ先出し方式で保持する第１のＦＩＦＯ（First In, First Out）メモリと、上記第２ヘッダが付加された上記第２ラインデータを先入れ先出し方式で保持する第２のＦＩＦＯメモリとをさらに具備してもよい。これにより、ラインデータが別々のメモリにバッファリングされるという作用をもたらす。
【0018】
また、この第１の側面において、上記ニューラルネットワーク回路は、上記第１のＦＩＦＯメモリから上記第１ラインデータを読み出してもよい。これにより、ラインデータがバッファリングされるという作用をもたらす。
【0019】
また、この第１の側面において、上記センサーは、上記第１のＦＩＦＯメモリと上記ニューラルネットワーク回路とに上記第１ラインデータを出力してもよい。これにより、第２ラインデータの遅延時間が短くなるという作用をもたらす。
【0020】
また、この第１の側面において、上記センサーは、ＥＶＳ（Event-based Vision Sensor）であってもよい。これにより、ＥＶＳとニューラルネットワーク回路とのそれぞれの出力の同期が容易になるという作用をもたらす。
【0021】
また、この第１の側面において、上記センサーは、光子を計数する光子計測回路であってもよい。これにより、光子計測回路とニューラルネットワーク回路とのそれぞれの出力の同期が容易になるという作用をもたらす。
【0022】
また、この第１の側面において、上記センサーは、ＣＩＳ（CMOS Image Sensors）であってもよい。これにより、ＣＩＳとニューラルネットワーク回路とのそれぞれの出力の同期が容易になるという作用をもたらす。
【0023】
また、この第１の側面において、上記センサーと上記ニューラルネットワーク回路と上記フォーマット処理部とは、積層された複数のチップに分散して配置されてもよい。これにより、チップごとの回路規模が削減されるという作用をもたらす。
【0024】
また、本技術の第２の側面は、それぞれが複数の画素データを含む所定数の第１ラインデータを出力するセンサーと、ニューラルネットワークモデルに基づいて所定数の上記第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータを出力するニューラルネットワーク回路と、上記第１ラインデータに関する所定情報を含むヘッダを上記第２ラインデータに付加するヘッダ付加部と、上記ヘッダが付加された第２ラインデータを格納した通信フレームを生成するフォーマット処理部とを具備する光検出装置である。これにより、外部のセンサーやデバイスと、ニューラルネットワーク回路とのそれぞれの出力の同期が容易になるという作用をもたらす。
【図面の簡単な説明】
【0025】
【図1】本技術の第１の実施の形態における光検出装置の一構成例を示すブロック図である。
【図2】本技術の第１の実施の形態におけるセンサーチップの一構成例を示すブロック図である。
【図3】本技術の第１の実施の形態におけるＥＶＳの一構成例を示すブロック図である。
【図4】本技術の第１の実施の形態における画素の一構成例を示す回路図である。
【図5】本技術の第１の実施の形態におけるＳＮＮ（Spiking Neural Network）回路の一構成例を示すブロック図である。
【図6】本技術の第１の実施の形態におけるＳＮＮ回路の実装例を示す図である。
【図7】本技術の第１の実施の形態におけるコアの一構成例を示すブロック図である。
【図8】本技術の第１の実施の形態におけるテストパターン生成部の一構成例を示すブロック図である。
【図9】本技術の第１の実施の形態におけるフォーマット処理部の一構成例を示すブロック図である。
【図10】本技術の第１の実施の形態におけるヘッダ付きのピクセルラインおよびスパイクラインの一例を示す図である。
【図11】本技術の第１の実施の形態におけるピクセルラインおよびスパイクラインの出力タイミングの一例を示す図である。
【図12】本技術の第１の実施の形態における並べ替えたピクセルラインおよびスパイクラインの一例を示す図である。
【図13】本技術の第１の実施の形態における通信フレームのフォーマットの一例を示す図である。
【図14】本技術の第１の実施の形態における光検出装置の動作の一例を示すフローチャートである。
【図15】本技術の第１の実施の形態の第１の変形例における通信フレームのフォーマットの一例を示す図である。
【図16】本技術の第１の実施の形態の第２の変形例における通信フレームのフォーマットの一例を示す図である。
【図17】本技術の第１の実施の形態の第３の変形例におけるセンサーチップの積層構造の一例を示す図である。
【図18】本技術の第１の実施の形態の第３の変形例における画素の一構成例を示す回路図である。
【図19】本技術の第１の実施の形態の第４の変形例におけるセンサーチップの積層構造の一例を示す図である。
【図20】本技術の第２の実施の形態におけるセンサーチップの一構成例を示すブロック図である。
【図21】本技術の第２の実施の形態の第１の変形例におけるセンサーチップの一構成例を示すブロック図である。
【図22】本技術の第２の実施の形態の第２の変形例におけるセンサーチップの一構成例を示すブロック図である。
【図23】本技術の第３の実施の形態におけるセンサーチップの一構成例を示すブロック図である。
【図24】本技術の第３の実施の形態における光子計測回路の一構成例を示すブロック図である。
【図25】本技術の第３の実施の形態における画素の一構成例を示す回路図である。
【図26】本技術の第４の実施の形態におけるセンサーチップの一構成例を示すブロック図である。
【図27】本技術の第４の実施の形態におけるＣＩＳの一構成例を示すブロック図である。
【図28】本技術の第４の実施の形態における画素の一構成例を示す回路図である。
【図29】本技術の第５の実施の形態における光検出装置の一構成例を示すブロック図である。
【図30】本技術の第５の実施の形態におけるセンサーチップの一構成例を示すブロック図である。
【図31】本技術の第５の実施の形態における通信フレームのフォーマットの一例を示す図である。
【図32】車両制御システムの概略的な構成例を示すブロック図である。
【図33】撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【0026】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（ピクセルラインおよびスパイクラインを通信フレームに格納する例）
２．第２の実施の形態（ピクセルラインおよびスパイクラインを通信フレームに格納し、回路を削減する例）
３．第３の実施の形態（ピクセルラインおよびスパイクラインを通信フレームに格納し、光子計測回路を用いる例）
４．第４の実施の形態（ピクセルラインおよびスパイクラインを通信フレームに格納し、ＣＩＳを用いる例）
５．第５の実施の形態（スパイクラインを通信フレームに格納する例）
６．移動体への応用例
１．第１の実施の形態（ピクセルラインおよびスパイクラインを通信フレームに格納する例）
２．第２の実施の形態（ピクセルラインおよびスパイクラインを通信フレームに格納し、回路を削減する例）
３．第３の実施の形態（ピクセルラインおよびスパイクラインを通信フレームに格納し、光子計測回路を用いる例）
４．第４の実施の形態（ピクセルラインおよびスパイクラインを通信フレームに格納し、ＣＩＳを用いる例）
５．第５の実施の形態（スパイクラインを通信フレームに格納する例）
６．移動体への応用例
【0027】
＜１．第１の実施の形態＞
［光検出装置の構成例］
図１は、本技術の第１の実施の形態における光検出装置１００の一構成例を示すブロック図である。この光検出装置１００は、光学部１１０、センサーチップ２００およびＤＳＰ（Digital Signal Processing）回路１２０を備える。さらに光検出装置１００は、表示部１３０、操作部１４０、バス１５０、フレームメモリ１６０、記憶部１７０および電源部１８０を備える。光検出装置１００としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、スマートフォンやパーソナルコンピュータ、車載カメラ等が想定される。
［光検出装置の構成例］
図１は、本技術の第１の実施の形態における光検出装置１００の一構成例を示すブロック図である。この光検出装置１００は、光学部１１０、センサーチップ２００およびＤＳＰ（Digital Signal Processing）回路１２０を備える。さらに光検出装置１００は、表示部１３０、操作部１４０、バス１５０、フレームメモリ１６０、記憶部１７０および電源部１８０を備える。光検出装置１００としては、例えば、デジタルスチルカメラなどのデジタルカメラの他、スマートフォンやパーソナルコンピュータ、車載カメラ等が想定される。
【0028】
光学部１１０は、被写体からの光を集光してセンサーチップ２００に導くものである。センサーチップ２００は、光電変換により複数の画素データを生成して処理するものである。このセンサーチップ２００は、処理後のデータをＤＳＰ回路１２０に供給する。
【0029】
ＤＳＰ回路１２０は、センサーチップ２００からのデータに対して所定の信号処理を実行するものである。このＤＳＰ回路１２０は、処理後のデータを、バス１５０を介してフレームメモリ１６０などに出力する。
【0030】
表示部１３０は、画像データなどを表示するものである。表示部１３０としては、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルが想定される。操作部１４０は、ユーザの操作に従って操作信号を生成するものである。
【0031】
バス１５０は、光学部１１０、センサーチップ２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、フレームメモリ１６０、記憶部１７０および電源部１８０が互いにデータをやりとりするための共通の経路である。
【0032】
記憶部１７０は、画像データなどの様々なデータを記憶するものである。電源部１８０は、センサーチップ２００、ＤＳＰ回路１２０や表示部１３０などに電源を供給するものである。
【0033】
［センサーチップの構成例］
図２は、本技術の第１の実施の形態におけるセンサーチップ２００の一構成例を示すブロック図である。このセンサーチップ２００は、単一の半導体チップであり、ＥＶＳ３００およびＳＮＮ回路５００と、ヘッダ付加部２１１および２１２と、レジスタ２１３とを備える。さらに、センサーチップ２００は、ＦＩＦＯメモリ２２１および２２２と、テストパターン生成部２３０および２４０と、デジタル処理部２５１および２５２と、フォーマット処理部２６０と、外部通信インターフェース２７０とを備える。
図２は、本技術の第１の実施の形態におけるセンサーチップ２００の一構成例を示すブロック図である。このセンサーチップ２００は、単一の半導体チップであり、ＥＶＳ３００およびＳＮＮ回路５００と、ヘッダ付加部２１１および２１２と、レジスタ２１３とを備える。さらに、センサーチップ２００は、ＦＩＦＯメモリ２２１および２２２と、テストパターン生成部２３０および２４０と、デジタル処理部２５１および２５２と、フォーマット処理部２６０と、外部通信インターフェース２７０とを備える。
【0034】
ＥＶＳ３００は、画素ごとに輝度の変化を検出するものである。このＥＶＳ３００は、垂直同期信号ＶＳＹＮＣに同期して、より周波数の高い水平同期信号ＨＳＹＮＣを内部生成し、ヘッダ付加部２１１および２１２に供給する。また、ＥＶＳ３００は、その水平同期信号ＨＳＹＮＣに同期して複数のラインを順に選択し、そのライン内の画素のそれぞれの画素データを配列したラインデータをＰＬ（Pixel Line）として読み出す。そして、ＥＶＳ３００は、ＰＬのそれぞれをヘッダ付加部２１１に出力する。画素データのそれぞれは、例えば、その画素の輝度変化の検出結果を示すビットを含む。なお、ＥＶＳ３００は、特許請求の範囲に記載のセンサーの一例である。また、ＰＬは、特許請求の範囲に記載の第１ラインデータの一例である。
【0035】
ヘッダ付加部２１１は、ＰＬが出力された時刻を示す時刻情報を含むヘッダを生成し、そのＰＬに付加するものである。このヘッダ付加部２１１には、垂直同期信号ＶＳＹＮＣおよび水平同期信号ＨＳＹＮＣが同期信号として入力される。例えば、ヘッダ付加部２１１は、垂直同期信号ＶＳＹＮＣの示す１Ｖ期間内で水平同期信号ＨＳＹＮＣに同期して、その信号の示す出力時刻の時刻情報を生成し、ヘッダに格納してＰＬに付加する。ヘッダが付加されたＰＬを以下、「ＰＬ'」とする。ヘッダ付加部２１１は、ヘッダ付きのＰＬ'をＦＩＦＯメモリ２２１に供給する。
【0036】
なお、ヘッダ付加部２１１は、特許請求の範囲に記載の第１のヘッダ付加部の一例であり、ＰＬに付加されたヘッダは、特許請求の範囲に記載の第１ヘッダの一例である。
【0037】
ＦＩＦＯメモリ２２１は、ヘッダ付加部２１１からのＰＬ'を先入れ先出し方式で保持するものである。ヘッダ付きのＰＬ'は、テストパターン生成部２３０により読み出される。また、ヘッダの無いＰＬは、ＳＮＮ回路５００により読み出される。
【0038】
ＳＮＮ回路５００は、ＳＮＮモデルに基づいて２つ以上のＰＬを処理し、それぞれの処理結果を順に配列したラインデータをＳＬ（Spike Line）として生成するものである。ＳＬは、一定期間内にスパイクが生じたか否かを示すビットを時系列順に配列したデータである。ＳＮＮ回路５００は、ＳＬをヘッダ付加部２１２に出力する。ＥＶＳ３００およびＳＮＮ回路５００のそれぞれの出力頻度の比率は一定値（８：１など）に制御される。
【0039】
なお、ＳＮＮ回路５００の代わりに、ＳＮＮ回路以外のＮＮ（Neural Network）回路を用いることもできる。また、ＳＮＮ回路５００は、特許請求の範囲に記載のニューラルネットワーク回路の一例である。また、ＳＬは、特許請求の範囲に記載の第２ラインデータの一例である。
【0040】
ヘッダ付加部２１２は、時刻情報を含むヘッダを生成し、ＳＬに付加するものである。このヘッダ付加部２１２にも、垂直同期信号ＶＳＹＮＣおよび水平同期信号ＨＳＹＮＣが同期信号として入力される。ＳＬは、ＳＮＮ回路５００により２つ以上のＰＬから生成されるため、それらのＰＬ群の先頭の出力時刻に対してＳＬの出力時刻は遅延する。その遅延時間Ｔｄｅｌａｙは演算や計測により予め求められ、レジスタ２１３に保持されているものとする。ヘッダ付加部２１２は、レジスタ２１３から遅延時間Ｔｄｅｌａｙを読み出し、１Ｖ期間内で水平同期信号ＨＳＹＮＣの示す現在の時刻からＴｄｅｌａｙ前の時刻を取得する。ヘッダ付加部２１２は、その時刻の時刻情報をヘッダに格納してＳＬに付加する。ヘッダが付加されたＳＬを以下、「ＳＬ'」とする。ヘッダ付加部２１２は、ヘッダ付きのＳＬ'をＦＩＦＯメモリ２２２に供給する。
【0041】
上述の処理によって、ＳＬに付加されたヘッダと、そのＳＬに対応するＰＬ群の先頭に付加されたヘッダとには、同一の時刻情報が格納されることになる。このため、後段の回路は、ヘッダを参照することにより、ＰＬとＳＬとの同期を容易にとることができる。
【0042】
なお、ヘッダ付加部２１２は、特許請求の範囲に記載の第２のヘッダ付加部の一例であり、ＳＬに付加されたヘッダは、特許請求の範囲に記載の第２ヘッダの一例である。
【0043】
ＦＩＦＯメモリ２２２は、ヘッダ付加部２１２からのＳＬ'を先入れ先出し方式で保持するものである。ヘッダ付きのＳＬ'は、テストパターン生成部２４０により読み出される。
【0044】
テストパターン生成部２３０は、テストモードの際に所定のテストパターンを生成するものである。このテストパターン生成部２３０は、テストモードの場合に、テストパターンをデジタル処理部２５１に供給し、テストモードでない場合にＰＬ'をデジタル処理部２５１に供給する。
【0045】
テストパターン生成部２４０は、テストモードの際に所定のテストパターンを生成するものである。このテストパターン生成部２４０は、テストモードの場合に、テストパターンをデジタル処理部２５２に供給し、テストモードでない場合にＳＬ'をデジタル処理部２５２に供給する。
【0046】
なお、テストパターン生成部２３０および２４０は、必要に応じて配置される。これらが不要である場合は、ＦＩＦＯメモリ２２１および２２２からのＰＬ'およびＳＬ'が、直接デジタル処理部２５１および２５２に入力される。
【0047】
デジタル処理部２５１は、ＰＬ'に対して、各種のデジタル処理を行うものである。デジタル処理部２５１は、処理後のＰＬ'をフォーマット処理部２６０に供給する。
【0048】
デジタル処理部２５２は、ＳＬ'に対して、各種のデジタル処理を必要に応じて行うものである。デジタル処理部２５２は、処理後のＳＬ'をフォーマット処理部２６０に供給する。例えば、デジタル処理部２５２は、ＳＬごとにスパイク数をカウントし、カウント値と閾値とを比較することにより、ＳＮＮ回路５００の認識結果のクラス値や、回帰値を取得する処理を行うことができる。処理結果は、必要に応じて、フォーマット処理部２６０に出力される。
【0049】
フォーマット処理部２６０は、ＳＬ'とＰＬ'とを対応付けて格納した通信フレームを生成するものである。このフォーマット処理部２６０は、生成した通信フレームを外部通信インターフェース２７０に供給する。
【0050】
外部通信インターフェース２７０は、フォーマット処理部２６０からの通信フレームをＤＳＰ回路１２０などに送信するものである。外部通信インターフェース２７０の通信規格として、例えば、ＭＩＰＩ（Mobile Industry Processor Interface）が用いられる。
【0051】
［ＥＶＳの構成例］
図３は、本技術の第１の実施の形態におけるＥＶＳ３００の一構成例を示すブロック図である。このＥＶＳ３００は、駆動部３１０、画素アレイ部３２０、タイミング制御回路３３０およびラインスキャナ３４０を備える。画素アレイ部３２０内には、複数の画素４００が二次元格子状に配列される。
図３は、本技術の第１の実施の形態におけるＥＶＳ３００の一構成例を示すブロック図である。このＥＶＳ３００は、駆動部３１０、画素アレイ部３２０、タイミング制御回路３３０およびラインスキャナ３４０を備える。画素アレイ部３２０内には、複数の画素４００が二次元格子状に配列される。
【0052】
駆動部３１０は、画素４００のそれぞれを駆動するものである。画素４００は、輝度の変化の有無を検出し、検出結果を示す画素データを生成するものである。
【0053】
タイミング制御回路３３０は、駆動部３１０およびラインスキャナ３４０を駆動するタイミングを制御するものである。タイミング制御回路３３０には、垂直同期信号ＶＳＹＮＣが入力される。タイミング制御回路３３０は、垂直同期信号ＶＳＹＮＣから、水平同期信号ＨＳＹＮＣを生成し、ラインスキャナ３４０と、ヘッダ付加部２１１および２１２とに供給する。
【0054】
ラインスキャナ３４０は、水平同期信号ＨＳＹＮＣに同期してライン（行や列など）を順に選択し、そのライン内の各画素の画素データを読み出すものである。このラインスキャナ３４０は、ラインから読み出した画素データを１次元に配列し、そのデータをＰＬとしてヘッダ付加部２１１に出力する。なお、読出し単位をライン単位としているが、その代わりにエリア単位とすることもできる。この場合、ラインスキャナ３４０は、選択したエリアから読み出した各画素データを所定の順序で１次元に配列し、ＰＬとして出力する。
【0055】
同図に例示したように、ＨＳＹＮＣなどの同期信号に同期して、ラインやエリアの単位で順に画素データを読み出す制御はスキャン方式と呼ばれる。なお、ＥＶＳ３００は、後述するように、同期信号に同期せずに画素データを読み出すアービタ方式を用いることもできる。
【0056】
［画素の構成例］
図４は、本技術の第１の実施の形態における画素４００の一構成例を示す回路図である。この画素４００は、画素回路４１０、バッファ４２０、微分回路４３０および量子化器４４０を備える。
図４は、本技術の第１の実施の形態における画素４００の一構成例を示す回路図である。この画素４００は、画素回路４１０、バッファ４２０、微分回路４３０および量子化器４４０を備える。
【0057】
画素回路４１０は、フォトダイオード４１１と、ｎＭＯＳ（negative channel MOS）トランジスタ４１２および４１３と、ｐＭＯＳ（positive channel MOS）トランジスタ４１４とを備える。
【0058】
フォトダイオード４１１は、入射光に対する光電変換により光電流を生成するものである。ｎＭＯＳトランジスタ４１２は、電源とフォトダイオード４１１との間に挿入される。ｐＭＯＳトランジスタ４１４およびｎＭＯＳトランジスタ４１３は、電源と接地端子との間において直列に接続される。また、ｎＭＯＳトランジスタ４１３のゲートは、ｎＭＯＳトランジスタ４１２およびフォトダイオード４１１の接続点に接続され、ｐＭＯＳトランジスタ４１４のゲートには、バイアス電圧Ｖｂｌｏｇが印加される。
【0059】
バッファ４２０は、電源および接地端子の間において直列に接続されたｐＭＯＳトランジスタ４２１および４２２を備える。接地側のｐＭＯＳトランジスタ４２２のゲートは、ｐＭＯＳトランジスタ４１４およびｎＭＯＳトランジスタ４１３の接続点に接続される。電源側のｐＭＯＳトランジスタ４２１のゲートには、バイアス電圧Ｖｂｓｆが印加される。また、ｐＭＯＳトランジスタ４２１および４２２の接続点は、微分回路４３０に接続される。
【0060】
上述の回路により、光電流に応じた電圧信号が生成され、バッファ４２０から出力される。
【0061】
微分回路４３０は、容量４３１および４３３と、ｐＭＯＳトランジスタ４３２および４３４と、ｎＭＯＳトランジスタ４３５とを備える。
【0062】
容量４３１の一端は、バッファ４２０に接続され、他端は、容量４３３の一端とｐＭＯＳトランジスタ４３４のゲートとに接続される。ｐＭＯＳトランジスタ４３２のゲートにはリセット信号ｘｒｓｔが入力され、ソースおよびドレインは容量４３３の両端に接続される。ｐＭＯＳトランジスタ４３４およびｎＭＯＳトランジスタ４３５は電源と接地端子との間において直列に接続される。また、容量４３３の他端は、ｐＭＯＳトランジスタ４３４およびｎＭＯＳトランジスタ４３５の接続点に接続される。接地側のｎＭＯＳトランジスタ４３５のゲートには、バイアス電圧Ｖｂａが印加され、ｐＭＯＳトランジスタ４３４およびｎＭＯＳトランジスタ４３５の接続点は量子化器４４０にも接続される。このような接続により、電圧信号の変化量を示す微分信号が生成されて量子化器４４０に出力される。また、微分信号は、リセット信号ｘｒｓｔにより初期化される。
【0063】
量子化器４４０は、電源と接地端子との間において直列に接続されたｐＭＯＳトランジスタ４４１およびｎＭＯＳトランジスタ４４２を備える。ｐＭＯＳトランジスタ４４１のゲートは、微分回路４３０に接続され、ｎＭＯＳトランジスタ４４２のゲートには、所定の上限閾値Ｖｂｏｎが印加される。これらのｐＭＯＳトランジスタ４４１およびｎＭＯＳトランジスタ４４２の接続点の電圧信号が、輝度の変化の検出信号としてラインスキャナ３４０により読み出される。
【0064】
同図では、輝度の変化を示す微分信号が上限閾値Ｖｂｏｎを越えた際にオンイベントが検出される。なお、画素４００は、微分信号が下限閾値Ｖｂｏｆｆを下回った際にオフイベントを検出することもできる。この場合には、電源と接地端子との間において直列に接続されたｐＭＯＳトランジスタ４４３およびｎＭＯＳトランジスタ４４４が追加される。ｐＭＯＳトランジスタ４４３のゲートは、微分回路４３０に接続され、ｎＭＯＳトランジスタ４４４のゲートには、下限閾値Ｖｂｏｆｆが印加される。画素４００は、オンイベントおよびオフイベントの両方を検出してもよいし、いずれか一方のみを検出してもよい。
【0065】
［ＳＮＮ回路の構成例］
図５は、ＳＮＮ回路５００の一構成例を示すブロック図である。このＳＮＮ回路５００は、同図におけるａに例示するように、入力層５１１、中間層５１２および出力層５１３を備える。
図５は、ＳＮＮ回路５００の一構成例を示すブロック図である。このＳＮＮ回路５００は、同図におけるａに例示するように、入力層５１１、中間層５１２および出力層５１３を備える。
【0066】
入力層５１１には、ＰＬが入力される。中間層５１２には、１段以上の層が配置される。前の層のニューロンは、次の層のニューロンと接続され、前の層の演算結果が次の層に渡される。出力層５１３は、スパイク信号を非同期に生成する。一定期間内に生成されたスパイク信号を時系列順に配列したデータがＳＬとして出力される。２つ以上の所定数のＰＬを順にＳＮＮ回路５００に入力することにより、１つのＳＬが生成される。
【0067】
なお、同図におけるｂに例示するように、出力層５１３は、複数のニューロンを備え、複数のＳＬを並列に出力することもできる。
【0068】
また、ＳＮＮ回路５００の出力のデータサイズは、ネットワークの設定により変更することができる。同図におけるｂに例示するように高次元で出力する場合、１次元のラインに分割して順に出力してもよい。
【0069】
図６は、本技術の第１の実施の形態におけるＳＮＮ回路５００の実装例を示す図である。図５のＳＮＮ回路５００は、例えば、図６の回路により実現される。図６に例示するように、ＳＮＮ回路５００は、例えば、入出力インターフェース５２０およびマルチコアアレイ５３０を備える。
【0070】
入出力インターフェース５２０は、外部とマルチコアアレイ５３０との間でデータを送受信するものである。この入出力インターフェース５２０は、ＦＩＦＯメモリ２２１から入力されたＰＬをマルチコアアレイに供給し、マルチコアアレイ５３０からのＳＬをヘッダ付加部２１２に供給する。
【0071】
マルチコアアレイ５３０には、複数のコア５５０が二次元格子状に配列される。それぞれのコア５５０に隣接してルーター５４０が配置される。
【0072】
ルーター５４０は、データの経路を制御するものである。このルーター５４０は、例えば、ＦＩＦＯメモリ５４１乃至５４５と、アービタ５４６とを備える。同図における「Ｅ」は、着目したルーター５４０の東方向を示し、「Ｓ」は、南方向を示す。「Ｗ」は西方向を示し、「Ｎ」は、北方向を示す。「Ｌ」は、ルーター５４０に隣接するコア５５０への方向を示す。
【0073】
ＦＩＦＯメモリ５４１は、東方向からのデータを先入れ先出し方式で保持し、アービタ５４６にリクエストを出力する。ＦＩＦＯメモリ５４２は、南方向からのデータを先入れ先出し方式で保持し、アービタ５４６にリクエストを出力する。ＦＩＦＯメモリ５４３は、西方向からのデータを先入れ先出し方式で保持し、アービタ５４６にリクエストを出力する。ＦＩＦＯメモリ５４４は、北方向からのデータを先入れ先出し方式で保持し、アービタ５４６にリクエストを出力する。ＦＩＦＯメモリ５４５は、隣接するコア５５０からのデータを先入れ先出し方式で保持し、アービタ５４６にリクエストを出力する。
【0074】
なお、外部のＦＩＦＯメモリ２２１を削減し、ＳＮＮ回路５００内のＦＩＦＯメモリ５４１などに代替させることもできる。
【0075】
アービタ５４６は、ＦＩＦＯメモリ５４１乃至５４５のそれぞれからのリクエストを調停し、応答を返す。応答のあった際にＦＩＦＯメモリは、アービタ５４６を介して、東西南北と隣接するコア５５０とのいずれかにデータを出力する。
【0076】
図７は、本技術の第１の実施の形態におけるコア５５０の一構成例を示すブロック図である。コア５５０は、コアルーター５５１、ニューロンＩ／Ｏ（Input/Output）５５２、積和ユニット５５３、ワークメモリ５５４、膜電位メモリ５５５およびＬＩＦ（Leaky Integrate and Fire）ユニット５５６を備える。
【0077】
コアルーター５５１は、隣接するルーター５４０からのデータをニューロンＩ／Ｏ５５２に供給し、ＬＩＦユニット５５６からのデータを隣接するルーター５４０に供給する。
【0078】
積和ユニット５５３は、ワークメモリ５５４を用いて、ニューロンＩ／Ｏ５５２からのデータを積算する。膜電位メモリ５５５は、積分により得られた膜電位を保持する。ＬＩＦユニット５５６は、膜電位が所定の閾値を超えて発火した（言い換えれば、スパイクが生じたか）か否かを判断し、その結果をコアルーター５５１に供給する。
【0079】
［テストパターン生成部の構成例］
図８は、本技術の第１の実施の形態におけるテストパターン生成部２３０の一構成例を示すブロック図である。このテストパターン生成部２３０は、テストパターン供給部２３１およびスイッチ２３２を備える。
図８は、本技術の第１の実施の形態におけるテストパターン生成部２３０の一構成例を示すブロック図である。このテストパターン生成部２３０は、テストパターン供給部２３１およびスイッチ２３２を備える。
【0080】
テストパターン供給部２３１は、制御信号ＭＯＤＥにより、テストモードが設定された場合に、所定のテストパターンを生成してスイッチ２３２に供給するものである。
【0081】
スイッチ２３２は、テストモードが設定された場合にテストパターンをデジタル処理部２５１に供給し、テストモード以外のモードが設定された場合にＦＩＦＯメモリ２２１からのＰＬ'をデジタル処理部２５１に供給するものである。なお、テストパターン生成部２４０の構成は、テストパターン生成部２３０と同様である。
【0082】
［フォーマット処理部の構成例］
図９は、本技術の第１の実施の形態におけるフォーマット処理部２６０の一構成例を示すブロック図である。このフォーマット処理部２６０は、バッファメモリ２６１、並べ替え処理部２６２、および、フォーマッター２６３を備える。
図９は、本技術の第１の実施の形態におけるフォーマット処理部２６０の一構成例を示すブロック図である。このフォーマット処理部２６０は、バッファメモリ２６１、並べ替え処理部２６２、および、フォーマッター２６３を備える。
【0083】
バッファメモリ２６１は、デジタル処理部２５１および２５２からのＰＬ'およびＳＬ'を一時的に保持するものである。
【0084】
並べ替え処理部２６２は、バッファメモリ２６１からＰＬ'およびＳＬ'を読み出し、レジスタ２１３に保持された遅延時間に基づいて、それらの配列を並べ替えるものである。並べ替え処理の詳細については後述する。並べ替え処理部２６２は、並べ替え後のＰＬ'およびＳＬ'をフォーマッター２６３に供給する。
【0085】
フォーマッター２６３は、所定の通信規格に準拠したフォーマットの通信フレームを生成するものである。このフォーマッター２６３は、ヘッダ付きのＰＬ'およびＳＬ'のそれぞれにフッタを付加し、それらのデータを通信フレームに格納して外部通信インターフェース２７０に供給する。
【0086】
図１０は、本技術の第１の実施の形態におけるヘッダ付きのＰＬ'およびＳＬ'の一例を示す図である。同図におけるａは、ＰＬ'の一例を示し、同図におけるｂは、ＳＬ'の一例を示す。
【0087】
同図におけるａに例示するように、ＰＬ'は、ＰＨ（Pixel Header）と、ＰＬとを含む。ＰＨには、例えば、時刻情報が格納される。ＰＬは、複数の画素データを含む。画素データのそれぞれは、例えば、オンイベントが検出されたか否かを示す１ビットの情報である。同図におけるｘ０からｘｉは、ｙ座標が割り当てられたライン内の各画素のｘ座標を示す。なお、オンイベントおよびオフイベントの両方が検出される場合、画素ごとに２ビットの情報が格納される。
【0088】
同図におけるｂに例示するように、ＳＬ'は、ＳＨ（Spike Header）と、ＳＬとを含む。ＳＨには、例えば、時刻情報が格納される。ＳＬには、一定期間内に出力された複数のスパイク信号が時系列順に配列される。スパイク信号のそれぞれは、スパイクが生じたか否かを示す１ビットの情報である。同図におけるｔ０からｔｊは、スパイク信号が出力された時刻を示す。なお、ＳＮＮ回路５００は、ＳＬの代わりに、膜電位の値を時系列順に出力することもできる。この場合は、膜電位を示す２ビット以上のデジタル値を時系列順に配列したラインデータが出力される。
【0089】
なお、ヘッダ付加部２１１および２１２は、ヘッダ内に時刻情報を格納しているが、この構成に限定されない。例えば、ヘッダ付加部２１１および２１２は、ヘッダ内に時刻情報の代わりに、対応するラインの識別情報（ライン番号など）を格納することもできる。
【0090】
図１１は、本技術の第１の実施の形態におけるピクセルラインおよびスパイクラインの出力タイミングの一例を示す図である。１枚の画像データは、ＰＬ１からＰＬｋを含むものとする。
【0091】
同図においてタイミングＴ１ｐ以降に１枚目の画像データＰＬｓ１がＥＶＳ３００から出力される。所定のブランキング期間が経過したタイミングＴ２ｐ以降に２枚目の画像データＰＬｓ２が出力される。続いて、ブランキング期間が経過したタイミングＴｐ３以降に３枚目の画像データＰＬｓ３が出力され、タイミングＴｐ４以降に４枚目の画像データＰＬｓ４が出力される。
【0092】
一方、ＳＮＮ回路５００は、ＰＬｓ１を処理し、ＰＬｓ２の出力中のタイミングＴ１ｓ以降にＳＬ１からＳＬｎまでを順に出力する。これらのＳＬ群をＳＬｓ１とする。そして、ＳＮＮ回路５００は、ＰＬｓ３を処理し、ＰＬｓ４の出力中のタイミングＴ２ｓ以降にＳＬ１からＳＬｎまでを順に出力する。これらのＳＬ群をＳＬｓ２とする。ＥＶＳ３００およびＳＮＮ回路５００は並列に動作しているため、同図に例示するようにブランキング期間内にＳＮＮ回路５００がＳＬの出力を継続することがある。
【0093】
同図に例示するように、ＰＬ群の先頭の出力タイミングに対して、そのＰＬ群に対応するＳＬの出力タイミングが遅延する。例えば、ＰＬｓ１内の先頭のＰＬ１の出力タイミングＴ１ｐと、そのＰＬ群に対応するＳＬｓ１内の先頭のＳＬ１の出力タイミングＴ１ｓとの差分は、ＳＬ１の遅延時間Ｔｄｅｌａｙに該当する。レジスタ２１３には、この遅延時間Ｔｄｅｌａｙが保持される。
【0094】
並べ替え処理部２６２は、同期がとりやすいように、レジスタ２１３の遅延時間に基づいてＰＬおよびＳＬの配列を並べ替える。例えば、ＰＬｓ１からＳＬｓ１が生成されるため、ＰＬｓ１の次に、対応するＳＬｓ１を配列する。
【0095】
図１２は、本技術の第１の実施の形態における並べ替えたピクセルラインおよびスパイクラインの一例を示す図である。同図に例示するように、ＰＬｓ１の次に、対応するＳＬｓ１が配列される。続いてＰＬｓ２およびＰＬｓ３が配列され、そのＰＬｓ３に対応するＳＬｓ２が配列される。そして、ＰＬｓ４が配列される。
【0096】
同図に例示したように、ＰＬと、そのＰＬに対応するＳＬとを隣接して配列することにより、後段の回路は、それらの同期を容易にとることができる。
【0097】
図１３は、本技術の第１の実施の形態における通信フレームのフォーマットの一例を示す図である。通信フレームには、フレームヘッダ、送信先アドレス、送信元アドレスや、データが格納される。データ内には、ＰＬ１からＰＬｋまでが順に格納される。ＰＬのそれぞれには、ヘッダ付加部２１１によりＰＨが付加される。また、ＰＬのそれぞれにはフォーマッター２６３によりＰＦ（Pixel Footer）が付加される。
【0098】
そして、ＰＬｋの次に、ＳＬ１からＳＬｎが順に格納される。ＳＬのそれぞれには、ヘッダ付加部２１２によりＳＨが付加される。また、ＳＬのそれぞれにはフォーマッター２６３によりＳＦ（Spike Footer）が付加される。
【0099】
また、データサイズを調整するために、フォーマッター２６３により必要に応じてスタッフィングデータが挿入される。
【0100】
同図に例示するように、フォーマット処理部２６０は、ＰＬとＳＬとを対応付けて格納した通信フレームを生成する。これにより、後段の回路は、ＰＬと、ＳＬとの同期を容易にとることができる。
【0101】
［光検出装置の動作例］
図１４は、本技術の第１の実施の形態における光検出装置１００の動作の一例を示すフローチャートである。この動作は、例えば、画像データを撮像するための所定のアプリケーションが実行されたときに開始される。
図１４は、本技術の第１の実施の形態における光検出装置１００の動作の一例を示すフローチャートである。この動作は、例えば、画像データを撮像するための所定のアプリケーションが実行されたときに開始される。
【0102】
ＥＶＳ３００およびＳＮＮ回路５００のそれぞれは、ＰＬ、ＳＬを生成する（ステップＳ９０１）。また、ヘッダ付加部２１１および２１２は、ＰＬおよびＳＬのそれぞれにヘッダを付加する（ステップＳ９０２）。また、デジタル処理部２５１および２５２は、ヘッダ付きのＰＬ'およびＳＬ'のそれぞれに対してデジタル処理を行う（ステップＳ９０３）。また、フォーマット処理部２６０は、フォーマット処理により通信フレームを生成し（ステップＳ９０４）、外部通信インターフェース２７０は、通信フレームを外部送信する（ステップＳ９０５）。ステップＳ９０５の後に、ステップＳ９０１以降が繰り返し実行される。
【0103】
このように、本技術の第１の実施の形態によれば、フォーマット処理部２６０がＰＬとＳＬとを対応付けて格納した通信フレームを生成するため、後段の回路が、それらの同期を容易にとることができる。
【0104】
［第１の変形例］
上述の第１の実施の形態では、ヘッダ付加部２１１および２１２がＰＬ毎、ＳＬ毎にヘッダを付加していたが、このフォーマットに限定されない。この第１の実施の形態の第１の変形例における光検出装置１００は、ＰＬ群およびＳＬ群のそれぞれの先頭のみにヘッダを付加する点において第１の実施の形態と異なる。
上述の第１の実施の形態では、ヘッダ付加部２１１および２１２がＰＬ毎、ＳＬ毎にヘッダを付加していたが、このフォーマットに限定されない。この第１の実施の形態の第１の変形例における光検出装置１００は、ＰＬ群およびＳＬ群のそれぞれの先頭のみにヘッダを付加する点において第１の実施の形態と異なる。
【0105】
図１５は、本技術の第１の実施の形態の第１の変形例における通信フレームのフォーマットの一例を示す図である。この第１の実施の形態の第１の変形例において、ヘッダ付加部２１１は、画像データを構成するＰＬ１からＰＬｋまでのうち、先頭のＰＬ１のみにＰＨを付加する。ＰＨには、例えば、先頭のＰＬが出力された時刻の時刻情報や、先頭のラインまたはフレームの識別情報が格納される。また、フォーマッター２６３は、末尾のＰＬｋのみにＰＦを付加する。
【0106】
また、ヘッダ付加部２１２は、ＰＬ１からＰＬｋに対応するＳＬ１からＳＬｎのうち、先頭のＳＬ１のみにＳＨを付加する。また、フォーマッター２６３は、末尾のＳＬｎのみにＳＦを付加する。
【0107】
同図に例示したように、ＰＬ群、ＳＬ群の先頭にヘッダを付加することにより、ＰＬ毎、ＳＬ毎にヘッダを付加する場合と比較してヘッダ付加部２１１および２１２の処理量を削減することができる。また、ＰＬ群、ＳＬ群の末尾にヘッダおよびフッタを付加することにより、ＰＬ毎、ＳＬ毎にフッタを付加する場合と比較してフォーマッター２６３の処理量を削減することができる。さらに、ＰＬ群、ＳＬ群のデータサイズを削減することが空できる。
【0108】
このように、本技術の第１の実施の形態の第１の変形例によれば、ヘッダ付加部２１１および２１２がＰＬ群、ＳＬ群の先頭にヘッダを付加するため、処理量やデータサイズを削減することができる。
【0109】
［第２の変形例］
上述の第１の実施の形態では、ＥＶＳ３００は、同期信号に同期するスキャン方式を用いていたが、スキャン方式の代わりに非同期のアービタ方式を用いることもできる。この第１の実施の形態の第２の変形例における光検出装置１００は、アービタ方式を用いる点において第１の実施の形態と異なる。
上述の第１の実施の形態では、ＥＶＳ３００は、同期信号に同期するスキャン方式を用いていたが、スキャン方式の代わりに非同期のアービタ方式を用いることもできる。この第１の実施の形態の第２の変形例における光検出装置１００は、アービタ方式を用いる点において第１の実施の形態と異なる。
【0110】
図１６は、本技術の第１の実施の形態の第２の変形例における通信フレームのフォーマットの一例を示す図である。この第１の実施の形態の第２の変形例において、ＥＶＳ３００は、同期信号に同期しないアービタ方式によりＰＬを生成して出力する。ＰＬ１からＰＬｋは、固定の順序ではなく、アドレスイベントが検出された順に出力される。
【0111】
また、ＰＬは、ライン内の画素ごとに、その画素のｘ座標と時刻情報とを含む。この時刻情報は、アドレスイベントの検出された時刻を示す。例えば、同図において、「ｘ７、ｔ０」は、座標ｘ７の画素で、時刻ｔ０にアドレスイベントが検出されたことを示す。
【0112】
アービタ方式の場合、時刻情報がＰＬ内に含まれるため、ヘッダ付加部２１１は、エリアやラインの識別情報（ライン番号など）をＰＨに格納する。また、ヘッダ付加部２１２も、識別情報をＳＨに格納する。
【0113】
このように、本技術の第１の実施の形態の第２の変形例によれば、ヘッダ付加部２１１および２１２が、ライン番号などをヘッダに格納するため、アービタ方式を用いる場合であっても、ＰＬ、ＳＬの同期をとることができる。
【0114】
［第３の変形例］
上述の第１の実施の形態では、単一の半導体チップに、ＥＶＳ３００などの回路を配置していたが、この構成では、多画素化が困難になることがある。この第１の実施の形態の第３の変形例における光検出装置１００は、積層した２つの半導体チップに、回路を分散して配置した点において第１の実施の形態と異なる。
上述の第１の実施の形態では、単一の半導体チップに、ＥＶＳ３００などの回路を配置していたが、この構成では、多画素化が困難になることがある。この第１の実施の形態の第３の変形例における光検出装置１００は、積層した２つの半導体チップに、回路を分散して配置した点において第１の実施の形態と異なる。
【0115】
図１７は、本技術の第１の実施の形態の第３の変形例におけるセンサーチップ２００の積層構造の一例を示す図である。第１の実施の形態の第３の変形例のセンサーチップ２００は、画素チップ２０１および回路チップ２０２を備える。これらのチップは積層され、例えば、Ｃｕ－Ｃｕ接合により電気的に接続される。なお、Ｃｕ－Ｃｕ接合の他、ビアやバンプにより接続することもできる。
【0116】
図１８は、本技術の第１の実施の形態の第３の変形例における画素４００の一構成例を示す回路図である。画素４００のうち、例えば、画素回路４１０が画素チップ２０１に配置され、バッファ４２０以降の後段の回路が回路チップ２０２に配置される。
【0117】
なお、各チップに配置する回路は、同図に例示したものに限定されない。例えば、フォトダイオード４１１とｎＭＯＳトランジスタ４１２および４１３とを画素チップ２０１に配置し、残りの回路を回路チップ２０２に配置することもできる。あるいは、フォトダイオード４１１のみを画素チップ２０１に配置し、残りの回路を回路チップ２０２に配置することもできる。
【0118】
なお、第１の実施の形態の第３の変形例に、第１、第２の変形例のそれぞれを適用することができる。
【0119】
このように、本技術の第１の実施の形態の第３の変形例によれば、積層した２つのチップに回路を分散して配置したため、チップ当たりの回路規模を削減することができる。これにより、多画素化が容易になる。
【0120】
［第４の変形例］
上述の第１の実施の形態では、単一の半導体チップに、ＥＶＳ３００などの回路を配置していたが、この構成では、多画素化が困難になることがある。この第１の実施の形態の第４の変形例における光検出装置１００は、積層した３つの半導体チップに、回路を分散して配置した点において第１の実施の形態と異なる。
上述の第１の実施の形態では、単一の半導体チップに、ＥＶＳ３００などの回路を配置していたが、この構成では、多画素化が困難になることがある。この第１の実施の形態の第４の変形例における光検出装置１００は、積層した３つの半導体チップに、回路を分散して配置した点において第１の実施の形態と異なる。
【0121】
図１９は、本技術の第１の実施の形態の第４の変形例におけるセンサーチップ２００の積層構造の一例を示す図である。この第１の実施の形態の第４の変形例において、センサーチップ２００は、積層された画素チップ２０１、回路チップ２０２および回路チップ２０３を備える。ＥＶＳ３００の画素の一部（画素回路４１０など）が画素チップ２０１に配置され、ＥＶＳ３００の残りの回路が回路チップ２０２に配置される。また、ヘッダ付加部２１１以降の後段の回路が、回路チップ２０３に配置される。なお、各チップに配置する回路は、同図に例示したものに限定されない。また、積層するチップ数は３つに限定されず、４つ以上であってもよい。
【0122】
なお、第１の実施の形態の第４の変形例に、第１、第２の変形例のそれぞれを適用することができる。
【0123】
このように、本技術の第１の実施の形態の第４の変形例によれば、積層した３つのチップに回路を分散して配置したため、チップ当たりの回路規模を削減することができる。これにより、多画素化が容易になる。
【0124】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、ＦＩＦＯメモリやデジタル処理部を２つずつ配置していたが、これらの個数を削減することもできる。この第２の実施の形態における光検出装置１００は、ＦＩＦＯメモリ２２２やデジタル処理部２５２を削減した点において第１の実施の形態と異なる。
上述の第１の実施の形態では、ＦＩＦＯメモリやデジタル処理部を２つずつ配置していたが、これらの個数を削減することもできる。この第２の実施の形態における光検出装置１００は、ＦＩＦＯメモリ２２２やデジタル処理部２５２を削減した点において第１の実施の形態と異なる。
【0125】
図２０は、本技術の第２の実施の形態におけるセンサーチップ２００の一構成例を示すブロック図である。この第２の実施の形態のセンサーチップ２００は、ＦＩＦＯメモリ２２２、テストパターン生成部２４０およびデジタル処理部２５２が配置されない点において第１の実施の形態と異なる。
【0126】
第２の実施の形態において、ヘッダ付加部２１２は、ヘッダ付きのＳＬ'をＦＩＦＯメモリ２２１に供給し、ＦＩＦＯメモリ２２１は、ＰＬ'およびＳＬ'のそれぞれを保持する。また、ＦＩＦＯメモリ２２１は、ＰＬをＳＮＮ回路５００に供給し、ＰＬ'およびＳＬ'を、テストパターン生成部２３０を介してデジタル処理部２５１に供給する。デジタル処理部２５１は、ＰＬ'およびＳＬ'を処理し、フォーマット処理部２６０に供給する。
【0127】
なお、第２の実施の形態に、第１の実施の形態の第１、第２、第３および第４の変形例のそれぞれを適用することができる。
【0128】
このように、本技術の第２の実施の形態によれば、ＦＩＦＯメモリ２２２やデジタル処理部２５２を削減したため、センサーチップ２００の回路規模を削減することができる。
【0129】
［第１の変形例］
上述の第２の実施の形態では、ＦＩＦＯメモリ２２１がＰＬを保持して、ＳＮＮ回路５００に供給していたが、ＥＶＳ３００は、ＰＬをＳＮＮ回路５００に直接出力することもできる。この第２の実施の形態の第１の変形例における光検出装置１００は、ＥＶＳ３００がＰＬをＳＮＮ回路５００に直接出力する点において第２の実施の形態と異なる。
上述の第２の実施の形態では、ＦＩＦＯメモリ２２１がＰＬを保持して、ＳＮＮ回路５００に供給していたが、ＥＶＳ３００は、ＰＬをＳＮＮ回路５００に直接出力することもできる。この第２の実施の形態の第１の変形例における光検出装置１００は、ＥＶＳ３００がＰＬをＳＮＮ回路５００に直接出力する点において第２の実施の形態と異なる。
【0130】
図２１は、本技術の第２の実施の形態の第１の変形例におけるセンサーチップ２００の一構成例を示すブロック図である。第２の実施の形態の第１の変形例において、ＥＶＳ３００は、ＦＩＦＯメモリ２２１を介さずに、ＰＬをＳＮＮ回路５００およびヘッダ付加部２１１に出力する。ＦＩＦＯメモリ２２１を介さずに、ＰＬをＳＮＮ回路５００に直接出力することにより、ＰＬに対するＳＬの遅延時間を短くすることができる。
【0131】
なお、第２の実施の形態の第１の変形例に、第１の実施の形態の第１、第２、第３および第４の変形例のそれぞれを適用することができる。
【0132】
このように、本技術の第２の実施の形態の第１の変形例によれば、ＥＶＳ３００がＰＬをＳＮＮ回路５００に直接出力するため、ＳＬの遅延時間を短くすることができる。
【0133】
［第２の変形例］
上述の第２の実施の形態では、ＦＩＦＯメモリ２２１にＰＬ'およびＳＬ'の両方を保持させていたが、ＰＬ'およびＳＬ'を別々のＦＩＦＯメモリに保持させることできる。この第２の実施の形態の第２の変形例における光検出装置１００は、ＰＬ'およびＳＬ'を別々のＦＩＦＯメモリに保持させる点において第１の実施の形態と異なる。
上述の第２の実施の形態では、ＦＩＦＯメモリ２２１にＰＬ'およびＳＬ'の両方を保持させていたが、ＰＬ'およびＳＬ'を別々のＦＩＦＯメモリに保持させることできる。この第２の実施の形態の第２の変形例における光検出装置１００は、ＰＬ'およびＳＬ'を別々のＦＩＦＯメモリに保持させる点において第１の実施の形態と異なる。
【0134】
図２２は、本技術の第２の実施の形態の第２の変形例におけるセンサーチップ２００の一構成例を示すブロック図である。第２の実施の形態の第２の変形例のセンサーチップ２００は、ＦＩＦＯメモリ２２２がさらに配置される点において第２の実施の形態と異なる。
【0135】
第２の実施の形態の第２の変形例において、ヘッダ付加部２１２は、ヘッダ付きのＳＬ'をＦＩＦＯメモリ２２２に供給する。ＦＩＦＯメモリ２２２は、ＳＬ'を保持し、テストパターン生成部２４０に供給する。
【0136】
このように、本技術の第２の実施の形態の第２の変形例によれば、ＦＩＦＯメモリ２２２を追加したため、ＰＬ'およびＳＬ'を異なるＦＩＦＯメモリに保持させることができる。
【0137】
＜３．第３の実施の形態＞
上述の第１の実施の形態では、ＰＬを生成するセンサーとしてＥＶＳ３００を用いていたが、ＥＶＳ３００の代わりに光子を計数する光子計測回路を用いることもできる。この第３の実施の形態における光検出装置１００は、ＥＶＳ３００の代わりに光子計測回路を用いる点において第１の実施の形態と異なる。
上述の第１の実施の形態では、ＰＬを生成するセンサーとしてＥＶＳ３００を用いていたが、ＥＶＳ３００の代わりに光子を計数する光子計測回路を用いることもできる。この第３の実施の形態における光検出装置１００は、ＥＶＳ３００の代わりに光子計測回路を用いる点において第１の実施の形態と異なる。
【0138】
図２３は、本技術の第３の実施の形態におけるセンサーチップ２００の一構成例を示すブロック図である。この第３の実施の形態におけるセンサーチップ２００は、ＥＶＳ３００の代わりに光子計測回路６００を配置した点において第１の実施の形態と異なる。なお、光子計測回路６００は、特許請求の範囲に記載のセンサーの一例である。
【0139】
図２４は、本技術の第３の実施の形態における光子計測回路６００の一構成例を示すブロック図である。この光子計測回路６００は、駆動部６１０、画素アレイ部６２０、タイミング制御回路６４０および読出し処理部６５０を備える。画素アレイ部６２０には、複数の画素６３０が二次元格子状に配列される。
【0140】
駆動部６１０、画素アレイ部６２０、タイミング制御回路６４０および読出し処理部６５０のそれぞれの機能は、駆動部３１０、画素アレイ部３２０、タイミング制御回路３３０およびラインスキャナ３４０と同様である。
【0141】
図２５は、本技術の第３の実施の形態における画素６３０の一構成例を示す回路図である。この画素６３０は、クウェンチ抵抗６３１、ＳＰＡＤ（Single-Photon Avalanche Diode）６３２、インバータ６３３およびフォトンカウンタ６３４を備える。
【0142】
クウェンチ抵抗６３１およびＳＰＡＤ６３２は、直列に接続される。インバータ６３３は、クウェンチ抵抗６３１およびＳＰＡＤ６３２の接続点の電圧信号を反転し、パルス信号としてフォトンカウンタ６３４に供給するものである。フォトンカウンタ６３４は、パルス信号のパルス数を計数し、計数値を示す画素データを読出し処理部６５０に供給するものである。
【0143】
光子を計数する場合、ＰＬ内の画素データのそれぞれは、計数値を示す２ビット以上のビット列となる。しかし、第１の実施の形態のように、画素データのそれぞれを１ビットの情報に変換することが好ましい。変換を行う場合は、例えば、ＳＮＮ回路５００の前段に、画素ごとにビット列を１ビットに変換する変換回路が挿入される。
【0144】
なお、画素６３０の回路構成は、光子を計数することができるものであれば、同図に例示したものに限定されない。
【0145】
また、第３の実施の形態に、第１の実施の形態の第１、第２、第３および第４の変形例
と、第２の実施の形態と、第２の実施の形態の第１、第２の変形例とのそれぞれを適用することができる。
と、第２の実施の形態と、第２の実施の形態の第１、第２の変形例とのそれぞれを適用することができる。
【0146】
このように、本技術の第３の実施の形態によれば、ＥＶＳ３００の代わりに光子計測回路６００を配置したため、光子計測回路６００の出力とＳＮＮ回路５００の出力との同期をとることができる。
【0147】
＜４．第４の実施の形態＞
上述の第１の実施の形態では、ＰＬを生成するセンサーとしてＥＶＳ３００を用いていたが、ＥＶＳ３００の代わりに、ＣＩＳを用いることもできる。この第４の実施の形態における光検出装置１００は、ＥＶＳ３００の代わりにＣＩＳを用いる点において第１の実施の形態と異なる。
上述の第１の実施の形態では、ＰＬを生成するセンサーとしてＥＶＳ３００を用いていたが、ＥＶＳ３００の代わりに、ＣＩＳを用いることもできる。この第４の実施の形態における光検出装置１００は、ＥＶＳ３００の代わりにＣＩＳを用いる点において第１の実施の形態と異なる。
【0148】
図２６は、本技術の第４の実施の形態におけるセンサーチップ２００の一構成例を示すブロック図である。この第４の実施の形態におけるセンサーチップ２００は、ＥＶＳ３００の代わりにＣＩＳ７００を配置した点において第１の実施の形態と異なる。なお、ＣＩＳ７００は、特許請求の範囲に記載のセンサーの一例である。
【0149】
図２７は、本技術の第４の実施の形態におけるＣＩＳ７００の一構成例を示すブロック図である。このＣＩＳ７００は、垂直走査回路７１０、タイミング制御回路７２０、ＤＡＣ（Digital to Analog Converter）７３０、画素アレイ部７４０、カラムＡＤＣ７６０、および、水平転送走査回路７７０を備える。画素アレイ部７４０には、二次元格子状に画素７５０が配列される。
【0150】
垂直走査回路７１０は、行を順に選択して駆動し、アナログの画素信号をカラムＡＤＣ７６０へ出力させるものである。タイミング制御回路７２０は、垂直同期信号ＶＳＹＮＣから、水平同期信号ＨＳＹＮＣを生成し、水平転送走査回路７７０と、ヘッダ付加部２１１および２１２とに供給する。
【0151】
ＤＡＣ７３０は、所定の参照信号を生成してカラムＡＤＣ７６０に供給するものである。参照信号として、例えば、のこぎり波状のランプ信号が用いられる。
【0152】
カラムＡＤＣ７６０は、列ごとにＡＤＣを備え、列のそれぞれの画素信号に対してＡＤ（Analog to Digital）変換を行うものである。カラムＡＤＣ７６０は、水平転送走査回路７７０の制御に従ってＰＬを生成し、ヘッダ付加部２１１へ出力する。
【0153】
水平転送走査回路７７０は、カラムＡＤＣ７６０を制御して画素データを順に出力させるものである。
【0154】
上述のようにＣＩＳでは、ＰＬ内の画素データのそれぞれは、その画素の階調値を示す２ビット以上のビット列となる。しかし、第１の実施の形態のように、画素データのそれぞれを１ビットの情報に変換することが好ましい。変換を行う場合は、例えば、ＳＮＮ回路５００の前段に、画素ごとにビット列を１ビットに変換する変換回路が挿入される。
【0155】
図２８は、本技術の第４の実施の形態における画素７５０の一構成例を示す回路図である。この画素７５０は、フォトダイオード７５１、転送トランジスタ７５２、リセットトランジスタ７５３、浮遊拡散層７５４、増幅トランジスタ７５５および選択トランジスタ７５６を備える。
【0156】
フォトダイオード７５１は、入射光を光電変換して電荷を生成するものである。転送トランジスタ７５２は、垂直走査回路７１０からの転送信号ＴＲＧに従って、フォトダイオード７５１から浮遊拡散層７５４へ電荷を転送するものである。
【0157】
リセットトランジスタ７５３は、垂直走査回路７１０からのリセット信号ＲＳＴに従って、浮遊拡散層７５４から電荷を引き抜いて初期化するものである。浮遊拡散層７５４は、電荷を蓄積し、電荷量に応じた電圧を生成するものである。
【0158】
増幅トランジスタ７５５は、浮遊拡散層７５４の電圧を増幅するものである。選択トランジスタ７５６は、垂直走査回路７１０からの選択信号ＳＥＬに従って、増幅後の電圧の信号を画素信号として出力するものである。
【0159】
また、画素アレイ部７４０には、列ごとに垂直信号線７５９が配線され、列内の画素７５０のそれぞれの画素信号は、その列の垂直信号線７５９を介してカラムＡＤＣ７６０へ出力される。
【0160】
なお、画素７５０の回路構成は、アナログの画素信号を生成することができるものであれば、同図に例示した構成に限定されない。
【0161】
また、第４の実施の形態に、第１の実施の形態の第１、第２、第３および第４の変形例
と、第２の実施の形態と、第２の実施の形態の第１、第２の変形例とのそれぞれを適用することができる。
と、第２の実施の形態と、第２の実施の形態の第１、第２の変形例とのそれぞれを適用することができる。
【0162】
このように、本技術の第４の実施の形態によれば、ＥＶＳ３００の代わりにＣＩＳ７００を配置したため、ＣＩＳ７００の出力とＳＮＮ回路５００の出力との同期をとることができる。
【0163】
＜５．第５の実施の形態＞
上述の第１の実施の形態では、センサーチップ２００が、ＰＬおよびＳＬを送信していたが、後段の回路でＳＬのみが必要なケースも想定される。この第５の実施の形態における光検出装置１００は、センサーチップ２００が、ＰＬおよびＳＬのうちＳＬのみを送信する点において第１の実施の形態と異なる。
上述の第１の実施の形態では、センサーチップ２００が、ＰＬおよびＳＬを送信していたが、後段の回路でＳＬのみが必要なケースも想定される。この第５の実施の形態における光検出装置１００は、センサーチップ２００が、ＰＬおよびＳＬのうちＳＬのみを送信する点において第１の実施の形態と異なる。
【0164】
図２９は、本技術の第５の実施の形態における光検出装置１００の一構成例を示すブロック図である。この光検出装置１００は、システムグローバルクロック供給部１９１、外部センサー１９２、センサーチップ２００およびＤＳＰ回路１２０を備える。
【0165】
システムグローバルクロック供給部１９１は、グローバルクロック信号ＣＬＫｇを生成し、外部センサー１９２およびセンサーチップ２００に供給するものである。
【0166】
外部センサー１９２は、グローバルクロック信号ＣＬＫｇに同期して動作し、所定のセンサデータを格納した通信フレームをＤＳＰ回路１２０に送信するものである。なお、外部センサー１９２の代わりに、各種のデバイスを配置することもできる。
【0167】
センサーチップ２００もグローバルクロック信号ＣＬＫｇに同期して動作する。また、センサーチップ２００は、ＳＬにヘッダ等を付加して通信フレームに格納し、ＤＳＰ回路１２０に送信する。ＤＳＰ回路１２０は、センサデータとＳＬとの同期をとって、それらを処理する。
【0168】
図３０は、本技術の第５の実施の形態におけるセンサーチップ２００の一構成例を示すブロック図である。この第５の実施の形態におけるセンサーチップ２００は、ヘッダ付加部２１１、テストパターン生成部２３０およびデジタル処理部２５１が配置されない点において第１の実施の形態と異なる。
【0169】
第５の実施の形態においてＥＶＳ３００は、ＰＬをＦＩＦＯメモリ２２１に出力する。また、フォーマット処理部２６０は、ヘッダ付きのＳＬ'を通信フレームに格納する。
【0170】
図３１は、本技術の第５の実施の形態における通信フレームのフォーマットの一例を示す図である。同図に例示するように、通信フレームには、ＳＬ'が格納されるが、ＰＬ'は格納されない。これにより、外部通信インターフェース２７０の通信量を削減することができる。
【0171】
なお、第５の実施の形態に、第１の実施の形態の積層構造の第３、第４の変形例と、光子計測回路を用いる第３の実施の形態と、ＣＩＳを用いる第４の実施の形態とのそれぞれを適用することができる。
【0172】
このように、本技術の第５の実施の形態によれば、フォーマット処理部２６０は、ＰＬ'を通信フレームに格納しないため、外部通信インターフェース２７０の通信量を削減することができる。
【0173】
＜６．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0174】
図３２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0175】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
【0176】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0177】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0178】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0179】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0180】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0181】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【0182】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0183】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0184】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0185】
図３３は、撮像部１２０３１の設置位置の例を示す図である。
【0186】
図３３では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【0187】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0188】
なお、図３３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【0189】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0190】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0191】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0192】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【0193】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１の光検出装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、ＥＶＳ３００およびＳＮＮ回路５００のそれぞれの出力の同期が容易になるため、システムの性能を向上させることができる。
【0194】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【0195】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【0196】
なお、本技術は以下のような構成もとることができる。
（１）それぞれが複数の画素データを含む所定数の第１ラインデータを出力するセンサーと、
ニューラルネットワークモデルに基づいて所定数の前記第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータを出力するニューラルネットワーク回路と、
所定数の前記第１ラインデータと前記第２ラインデータとを対応付けて格納した通信フレームを生成するフォーマット処理部と
を具備する光検出装置。
（２）前記第１ラインデータに所定情報を含む第１ヘッダを付加する第１のヘッダ付加部と、
前記第２ラインデータに前記所定情報を含む第２ヘッダを付加する第２のヘッダ付加部と
さらに具備する前記（１）記載の光検出装置。
（３）前記第１のヘッダ付加部は、所定数の前記第１ラインデータのそれぞれに前記第１ヘッダを付加する
前記（２）記載の光検出装置。
（４）前記第１のヘッダ付加部は、所定数の前記第１ラインデータのうち先頭の第１ラインデータに前記第１ヘッダを付加する
前記（２）記載の光検出装置。
（５）前記第２のヘッダ付加部は、所定数の前記第２ラインデータのそれぞれに前記第２ヘッダを付加する
前記（２）または（３）に記載の光検出装置。
（６）前記第２のヘッダ付加部は、所定数の前記第２ラインデータのうち先頭の第２ラインデータに前記第２ヘッダを付加する
前記（２）または（３）に記載の光検出装置。
（７）前記所定情報は、前記第１ラインデータが出力された時刻を示す時刻情報である
前記（２）から（６）のいずれかに記載の光検出装置。
（８）前記画素データは、時刻情報を含み、
前記所定情報は、前記第１ラインデータに対応するラインの識別情報である
前記（２）から（６）のいずれかに記載の光検出装置。
（９）前記第１ヘッダが付加された前記第１ラインデータと前記第２ヘッダが付加された前記第２ラインデータとに対して所定の処理を行って前記フォーマット処理部に供給するデジタル処理部をさらに具備する前記（２）から（８）のいずれかに記載の光検出装置。
（１０）前記第１ヘッダが付加された前記第１ラインデータに対して所定の処理を行って前記フォーマット処理部に供給する第１のデジタル処理部と、
前記第２ヘッダが付加された前記第２ラインデータに対して所定の処理を行って前記フォーマット処理部に供給する第２のデジタル処理部と
を具備する前記（２）から（８）のいずれかに記載の光検出装置。
（１１）前記第１ヘッダが付加された前記第１ラインデータと前記第２ヘッダが付加された前記第２ラインデータとを先入れ先出し方式で保持するＦＩＦＯメモリをさらに具備する前記（２）から（１０）のいずれかに記載の光検出装置。
（１２）前記第１ヘッダが付加された前記第１ラインデータを先入れ先出し方式で保持する第１のＦＩＦＯメモリと、
前記第２ヘッダが付加された前記第２ラインデータを先入れ先出し方式で保持する第２のＦＩＦＯメモリと
をさらに具備する前記（２）から（１０）のいずれかに記載の光検出装置。
（１３）前記ニューラルネットワーク回路は、前記第１のＦＩＦＯメモリから前記第１ラインデータを読み出す前記（１２）記載の光検出装置。
（１４）前記センサーは、前記第１のＦＩＦＯメモリと前記ニューラルネットワーク回路とに前記第１ラインデータを出力する
前記（１２）記載の光検出装置。
（１５）前記センサーは、ＥＶＳ（Event-based Vision Sensor）である
前記（１）から（１４）のいずれかに記載の光検出装置。
（１６）前記センサーは、光子を計数する光子計測回路である
前記（１）から（１４）のいずれかに記載の光検出装置。
（１７）前記センサーは、ＣＩＳ（CMOS Image Sensors）である
前記（１）から（１４）のいずれかに記載の光検出装置。
（１８）前記センサーと前記ニューラルネットワーク回路と前記フォーマット処理部とは、積層された複数のチップに分散して配置される
前記（１）から（１７）のいずれかに記載の光検出装置。
（１９）それぞれが複数の画素データを含む所定数の第１ラインデータを出力するセンサーと、
ニューラルネットワークモデルに基づいて所定数の前記第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータを出力するニューラルネットワーク回路と、
前記第１ラインデータに関する所定情報を含むヘッダを前記第２ラインデータに付加するヘッダ付加部と、
前記ヘッダが付加された第２ラインデータを格納した通信フレームを生成するフォーマット処理部と
を具備する光検出装置。
（２０）それぞれが複数の画素データを含む所定数の第１ラインデータをセンサーが出力する手順と、
ニューラルネットワークモデルに基づいて所定数の前記第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータをニューラルネットワーク回路が出力する手順と、
所定数の前記第１ラインデータと前記第２ラインデータとを対応付けて格納した通信フレームをフォーマット処理部が生成する手順と
を具備する光検出装置の制御方法。
（１）それぞれが複数の画素データを含む所定数の第１ラインデータを出力するセンサーと、
ニューラルネットワークモデルに基づいて所定数の前記第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータを出力するニューラルネットワーク回路と、
所定数の前記第１ラインデータと前記第２ラインデータとを対応付けて格納した通信フレームを生成するフォーマット処理部と
を具備する光検出装置。
（２）前記第１ラインデータに所定情報を含む第１ヘッダを付加する第１のヘッダ付加部と、
前記第２ラインデータに前記所定情報を含む第２ヘッダを付加する第２のヘッダ付加部と
さらに具備する前記（１）記載の光検出装置。
（３）前記第１のヘッダ付加部は、所定数の前記第１ラインデータのそれぞれに前記第１ヘッダを付加する
前記（２）記載の光検出装置。
（４）前記第１のヘッダ付加部は、所定数の前記第１ラインデータのうち先頭の第１ラインデータに前記第１ヘッダを付加する
前記（２）記載の光検出装置。
（５）前記第２のヘッダ付加部は、所定数の前記第２ラインデータのそれぞれに前記第２ヘッダを付加する
前記（２）または（３）に記載の光検出装置。
（６）前記第２のヘッダ付加部は、所定数の前記第２ラインデータのうち先頭の第２ラインデータに前記第２ヘッダを付加する
前記（２）または（３）に記載の光検出装置。
（７）前記所定情報は、前記第１ラインデータが出力された時刻を示す時刻情報である
前記（２）から（６）のいずれかに記載の光検出装置。
（８）前記画素データは、時刻情報を含み、
前記所定情報は、前記第１ラインデータに対応するラインの識別情報である
前記（２）から（６）のいずれかに記載の光検出装置。
（９）前記第１ヘッダが付加された前記第１ラインデータと前記第２ヘッダが付加された前記第２ラインデータとに対して所定の処理を行って前記フォーマット処理部に供給するデジタル処理部をさらに具備する前記（２）から（８）のいずれかに記載の光検出装置。
（１０）前記第１ヘッダが付加された前記第１ラインデータに対して所定の処理を行って前記フォーマット処理部に供給する第１のデジタル処理部と、
前記第２ヘッダが付加された前記第２ラインデータに対して所定の処理を行って前記フォーマット処理部に供給する第２のデジタル処理部と
を具備する前記（２）から（８）のいずれかに記載の光検出装置。
（１１）前記第１ヘッダが付加された前記第１ラインデータと前記第２ヘッダが付加された前記第２ラインデータとを先入れ先出し方式で保持するＦＩＦＯメモリをさらに具備する前記（２）から（１０）のいずれかに記載の光検出装置。
（１２）前記第１ヘッダが付加された前記第１ラインデータを先入れ先出し方式で保持する第１のＦＩＦＯメモリと、
前記第２ヘッダが付加された前記第２ラインデータを先入れ先出し方式で保持する第２のＦＩＦＯメモリと
をさらに具備する前記（２）から（１０）のいずれかに記載の光検出装置。
（１３）前記ニューラルネットワーク回路は、前記第１のＦＩＦＯメモリから前記第１ラインデータを読み出す前記（１２）記載の光検出装置。
（１４）前記センサーは、前記第１のＦＩＦＯメモリと前記ニューラルネットワーク回路とに前記第１ラインデータを出力する
前記（１２）記載の光検出装置。
（１５）前記センサーは、ＥＶＳ（Event-based Vision Sensor）である
前記（１）から（１４）のいずれかに記載の光検出装置。
（１６）前記センサーは、光子を計数する光子計測回路である
前記（１）から（１４）のいずれかに記載の光検出装置。
（１７）前記センサーは、ＣＩＳ（CMOS Image Sensors）である
前記（１）から（１４）のいずれかに記載の光検出装置。
（１８）前記センサーと前記ニューラルネットワーク回路と前記フォーマット処理部とは、積層された複数のチップに分散して配置される
前記（１）から（１７）のいずれかに記載の光検出装置。
（１９）それぞれが複数の画素データを含む所定数の第１ラインデータを出力するセンサーと、
ニューラルネットワークモデルに基づいて所定数の前記第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータを出力するニューラルネットワーク回路と、
前記第１ラインデータに関する所定情報を含むヘッダを前記第２ラインデータに付加するヘッダ付加部と、
前記ヘッダが付加された第２ラインデータを格納した通信フレームを生成するフォーマット処理部と
を具備する光検出装置。
（２０）それぞれが複数の画素データを含む所定数の第１ラインデータをセンサーが出力する手順と、
ニューラルネットワークモデルに基づいて所定数の前記第１ラインデータを順に処理して各々の処理結果を配列した第２ラインデータをニューラルネットワーク回路が出力する手順と、
所定数の前記第１ラインデータと前記第２ラインデータとを対応付けて格納した通信フレームをフォーマット処理部が生成する手順と
を具備する光検出装置の制御方法。
【符号の説明】
【0197】
１００ 光検出装置
１１０ 光学部
１２０ ＤＳＰ回路
１３０ 表示部
１４０ 操作部
１５０ バス
１６０ フレームメモリ
１７０ 記憶部
１８０ 電源部
１９１ システムグローバルクロック供給部
１９２ 外部センサー
２００ センサーチップ
２０１ 画素チップ
２０２、２０３ 回路チップ
２１１、２１２ ヘッダ付加部
２１３ レジスタ
２２１、２２２、５４１～５４５ ＦＩＦＯメモリ
２３０、２４０ テストパターン生成部
２３１ テストパターン供給部
２３２ スイッチ
２５１、２５２ デジタル処理部
２６０ フォーマット処理部
２６１ バッファメモリ
２６２ 並べ替え処理部
２６３ フォーマッター
２７０ 外部通信インターフェース
３００ ＥＶＳ
３１０、６１０ 駆動部
３２０、６２０、７４０ 画素アレイ部
３３０、６４０、７２０ タイミング制御回路
３４０ ラインスキャナ
４００、６３０、７５０ 画素
４１０ 画素回路
４１１、７５１ フォトダイオード
４１２、４１３、４３５、４４２、４４４ ｎＭＯＳトランジスタ
４１４、４２１、４２２、４３２、４３４、４４１、４４３ ｐＭＯＳトランジスタ
４２０ バッファ
４３０ 微分回路
４３１、４３３ 容量
４４０ 量子化器
５００ ＳＮＮ回路
５１１ 入力層
５１２ 中間層
５１３ 出力層
５２０ 入出力インターフェース
５３０ マルチコアアレイ
５４０ ルーター
５４６ アービタ
５５０ コア
５５１ コアルーター
５５２ ニューロンＩ／Ｏ
５５３ 積和ユニット
５５４ ワークメモリ
５５５ 膜電位メモリ
５５６ ＬＩＦユニット
６００ 光子計測回路
６３１ クウェンチ抵抗
６３２ ＳＰＡＤ
６３３ インバータ
６３４ フォトンカウンタ
６５０ 読出し処理部
７００ ＣＩＳ
７１０ 垂直走査回路
７３０ ＤＡＣ
７５２ 転送トランジスタ
７５３ リセットトランジスタ
７５４ 浮遊拡散層
７５５ 増幅トランジスタ
７５６ 選択トランジスタ
７６０ カラムＡＤＣ
７７０ 水平転送走査回路
１２０３１ 撮像部
１１０ 光学部
１２０ ＤＳＰ回路
１３０ 表示部
１４０ 操作部
１５０ バス
１６０ フレームメモリ
１７０ 記憶部
１８０ 電源部
１９１ システムグローバルクロック供給部
１９２ 外部センサー
２００ センサーチップ
２０１ 画素チップ
２０２、２０３ 回路チップ
２１１、２１２ ヘッダ付加部
２１３ レジスタ
２２１、２２２、５４１～５４５ ＦＩＦＯメモリ
２３０、２４０ テストパターン生成部
２３１ テストパターン供給部
２３２ スイッチ
２５１、２５２ デジタル処理部
２６０ フォーマット処理部
２６１ バッファメモリ
２６２ 並べ替え処理部
２６３ フォーマッター
２７０ 外部通信インターフェース
３００ ＥＶＳ
３１０、６１０ 駆動部
３２０、６２０、７４０ 画素アレイ部
３３０、６４０、７２０ タイミング制御回路
３４０ ラインスキャナ
４００、６３０、７５０ 画素
４１０ 画素回路
４１１、７５１ フォトダイオード
４１２、４１３、４３５、４４２、４４４ ｎＭＯＳトランジスタ
４１４、４２１、４２２、４３２、４３４、４４１、４４３ ｐＭＯＳトランジスタ
４２０ バッファ
４３０ 微分回路
４３１、４３３ 容量
４４０ 量子化器
５００ ＳＮＮ回路
５１１ 入力層
５１２ 中間層
５１３ 出力層
５２０ 入出力インターフェース
５３０ マルチコアアレイ
５４０ ルーター
５４６ アービタ
５５０ コア
５５１ コアルーター
５５２ ニューロンＩ／Ｏ
５５３ 積和ユニット
５５４ ワークメモリ
５５５ 膜電位メモリ
５５６ ＬＩＦユニット
６００ 光子計測回路
６３１ クウェンチ抵抗
６３２ ＳＰＡＤ
６３３ インバータ
６３４ フォトンカウンタ
６５０ 読出し処理部
７００ ＣＩＳ
７１０ 垂直走査回路
７３０ ＤＡＣ
７５２ 転送トランジスタ
７５３ リセットトランジスタ
７５４ 浮遊拡散層
７５５ 増幅トランジスタ
７５６ 選択トランジスタ
７６０ カラムＡＤＣ
７７０ 水平転送走査回路
１２０３１ 撮像部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】