特許 7588246 インターフェースシステムを備えたイベント駆動型集積回路

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-13

(45)【発行日】2024-11-21

(54)【発明の名称】インターフェースシステムを備えたイベント駆動型集積回路

(51)【国際特許分類】

   H01L 25/04 20230101AFI20241114BHJP

   H01L 25/18 20230101ALI20241114BHJP

【ＦＩ】

H01L25/04 Z

【請求項の数】 15

(21)【出願番号】P 2023552014

(86)(22)【出願日】2021-04-19

(65)【公表番号】

(43)【公表日】2024-02-19

(86)【国際出願番号】 CN2021088143

(87)【国際公開番号】W WO2022221994

(87)【国際公開日】2022-10-27

【審査請求日】2023-08-24

(73)【特許権者】

【識別番号】523322508

【氏名又は名称】成都時識科技有限公司

(74)【代理人】

【識別番号】100149032

【弁理士】

【氏名又は名称】森本 敏明

(72)【発明者】

【氏名】デミリジ ツグバ

(72)【発明者】

【氏名】シェイク サディク ウル アミーン

(72)【発明者】

【氏名】喬 寧

(72)【発明者】

【氏名】リヒター オレ ユリ

【審査官】花田 尚樹

(56)【参考文献】

【文献】特開２０２０－１７４２４０（ＪＰ，Ａ）

【文献】特開２０１５－１１９０３８（ＪＰ，Ａ）

【文献】特開２０２０－１６１９９３（ＪＰ，Ａ）

【文献】特開２０２１－００２５４２（ＪＰ，Ａ）

【文献】国際公開第２０１５／１３６９９８（ＷＯ，Ａ１）

【文献】特開２００５－２１６９７０（ＪＰ，Ａ）

【文献】特表２０１８－５０１６７５（ＪＰ，Ａ）

【文献】特表２０１８－５０１５３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０１Ｌ ２５／０４

(57)【特許請求の範囲】

【請求項1】

イベント駆動型センサ（１０）、イベント駆動型インターフェースシステム（２０）及びイベント駆動型プロセッサ（３０）を含む集積回路であって、
前記イベント駆動型センサ（１０）、前記イベント駆動型インターフェースシステム（２０）及び前記イベント駆動型プロセッサ（３０）が単一チップ（３）に結合され、
前記イベント駆動型インターフェースシステム（２０）はインターフェースモジュール（２００）を少なくとも一つ含み、前記インターフェースモジュール（２００）はプログラマブルデイジーチェーンの形式を構成し、前記イベント駆動型センサ（１０）から受信したイベント（１００）を非同期処理することを特徴とする集積回路。

【請求項2】

前記イベント駆動型センサ（１０）は、前記イベント駆動型センサ（１０）の入力デバイス（１１）がイベント生成信号または／及びイベント生成信号の変化を検出すると、イベント（１００）を非同期で生成及び出力し、前記イベント（１００）は、前記入力デバイス（１１）を指すイベントアドレスを含みまたはそれに関連付けられ、前記イベント駆動型センサ（１０）の出力端が前記イベント駆動型インターフェースシステム（２０）の入力端に結合されるように構成され、
前記イベント駆動型インターフェースシステム（２０）は、前記イベント（１００）を非同期で受信し、受信したイベント（１００）を前処理し、前記イベント駆動型インターフェースシステム（２０）の出力端が前記イベント駆動型プロセッサ（３０）の入力端に結合されるように構成され、
前記イベント駆動型プロセッサ（３０）は、前記イベント駆動型インターフェースシステム（２０）より前処理されたイベント（１０１）を受信し、受信したイベント（１０１）を非同期処理するように構成され、
前記イベント駆動型センサ（１０）と前記イベント駆動型インターフェースシステム（２０）と前記イベント駆動型プロセッサ（３０）との間はインターポーザ（４０）を介して単一チップ（３）に結合されることを特徴とする請求項１に記載の集積回路。

【請求項3】

前記イベント駆動型インターフェースシステム（２０）及び前記イベント駆動型プロセッサ（３０）はいずれも第１のダイ（１－１）に位置し、または、前記イベント駆動型センサ（１０）及び前記イベント駆動型インターフェースシステム（２０）はいずれも第２のダイ（１－２）に位置し、または、前記イベント駆動型インターフェースシステム（２０）の一部と前記イベント駆動型プロセッサ（３０）はいずれも第１のダイ（１－１）に位置し、且つ前記イベント駆動型インターフェースシステム（２０）の他の一部と前記イベント駆動型センサ（１０）はいずれも第２のダイ（１－２）に位置することを特徴とする請求項２に記載の集積回路。

【請求項4】

前記イベント駆動型インターフェースシステム（２０）及び前記イベント駆動型プロセッサ（３０）はいずれも第１のダイ（１－１）に位置し且つ前記イベント駆動型センサ（１０）が位置する第２のダイ（１－２）は前記イベント駆動型インターフェースシステム（２０）及び前記イベント駆動型プロセッサ（３０）が位置する第１のダイ（１－１）に積層されることを特徴とする請求項２に記載の集積回路。

【請求項5】

前記インターポーザ（４０）は、シリコンインターポーザまたはガラスインターポーザであることを特徴とする請求項２に記載の集積回路。

【請求項6】

前記イベント駆動型センサ（１０）、前記イベント駆動型インターフェースシステム（２０）及び前記イベント駆動型プロセッサ（３０）は、２．５Ｄまたは３Ｄ実装技術により単一チップ（３）に実装されることを特徴とする請求項２に記載の集積回路。

【請求項7】

前記イベント駆動型センサ（１０）は、ポイントセンサ、１Ｄセンサ、２Ｄセンサ、３Ｄセンサのうちいずれか一種または複数種の組み合わせであることを特徴とする請求項２に記載の集積回路。

【請求項8】

前記第１のダイ及び前記第２のダイは異なるプロセスで製造されることを特徴とする請求項３または４に記載の集積回路。

【請求項9】

前記少なくとも一つのインターフェースモジュール（２００）は、イベント（１００）を受信して複製操作を実行することで複製イベント（１００ｃ）を得、前記イベント（１００）は前記イベント駆動型センサ（１０）または前記イベント駆動型インターフェースシステム（２０）の他のインターフェースモジュール（２００）からのものであり、前記複製イベント（１００ｃ）を外部処理パイプラインに送信し、前記プログラマブルデイジーチェーンに沿って前記イベント（１００）を送信するように構成される複製モジュール（２０１）を含むことを特徴とする請求項１～８のいずれか１項に記載の集積回路。

【請求項10】

前記少なくとも一つのインターフェースモジュール（２００）は、少なくとも二つの異なるところからイベント（１００，１００ｅ）を受信し、前記イベント（１００）は前記イベント駆動型インターフェースシステム（２０）の他のインターフェースモジュール（２００）または前記イベント駆動型センサ（１０）からのものであり、前記イベント（１００ｅ）は、前記集積回路または他の集積回路の部品／モジュールまたは他のイベント駆動型センサからのものであり、前記プログラマブルデイジーチェーンに沿って、前記受信したイベント（１００，１００ｅ）の一部または全部を後続のインターフェースモジュール（２００）に送信するように構成される融合モジュール（２０２）を含むことを特徴とする請求項１～８のいずれか１項に記載の集積回路。

【請求項11】

サブサンプリングモジュール（２０３）に含まれた分離モジュール（２０３－４）は、受信したイベント（１００）のアドレス値に応じて前記イベント（１００）を、関連する前記サブサンプリングモジュール（２０３）中のスケーリングレジスタにルーティングするように構成され、前記スケーリングレジスタは、受信したアドレス値を分割、サブサンプリング、プール化または／及びシフトし、アドレス値を前記サブサンプリングモジュール（２０３）中のアドレス再構築モジュール（２０３－５）に出力するように構成され、前記アドレス再構築モジュール（２０３－５）は、スケーリング後のアドレス値に応じてイベントアドレスを調整し、その後前記プログラマブルデイジーチェーンに沿ってアドレスが調整されたイベント（１００）を送信するように構成されることを特徴とする請求項１～８のいずれか１項に記載の集積回路。

【請求項12】

前記少なくとも一つのインターフェースモジュール（２００）は、最大の速度を上回ると、イベントレートが最大レートを上回らないように制限するために、前記プログラマブルデイジーチェーンに沿って一部の前記イベント（１００）のみを送信するように構成されるレート制御モジュールを含むことを特徴とする請求項１～８のいずれか１項に記載の集積回路。

【請求項13】

前記少なくとも一つのインターフェースモジュール（２００）は、一つのイベントアドレスを別のイベントアドレスにマッピングするように構成されるマッピングモジュール（２０６）を含み、
前記マッピングモジュール（２０６）は、関心領域モジュール、ルックアップテーブルモジュール、反転または／及び回転モジュールの少なくとも一つまたな組み合わせを含み、
反転または／及び回転モジュールは、前記イベント（１００）のイベントアドレスを反転または／及び回転するように構成されることを特徴とする請求項１～８のいずれか１項に記載の集積回路。

【請求項14】

前記少なくとも一つのインターフェースモジュール（２００）は、特定の選択されたイベントアドレスを有する一連のイベント（１００）をフィルタリング除去するように構成されるイベントアドレスフィルターモジュール（２０８）を含み、
前記イベントアドレスフィルターモジュール（２０８）は、具体的にはホットピクセルフィルターモジュール（２０８’）であって、特定のイベントアドレスを有するイベント（１００）をフィルタリングし、ＣＡＭメモリ（２０８’－３）を介して所定のフィルタリング待ちのイベントアドレスリストを格納するように構成されることを特徴とする請求項１～８のいずれか１項に記載の集積回路。

【請求項15】

前記イベント駆動型インターフェースシステム（２０）のいずれか一つまたは複数のインターフェースモジュール（２００）はプログラマブルスイッチによってバイパス可能であることを特徴とする請求項１～８のいずれか１項に記載の集積回路。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベント駆動型集積回路に関し、特に、イベントを非同期処理するインターフェースモジュールを備えた低電力集積回路に関する。

【背景技術】

【0002】

従来技術には、すでにイベント駆動型（ｅｖｅｎｔ－ｄｒｉｖｅｎ）センサがある。イベント駆動型センサの１つとして、ピクセルを含むピクセル・アレイからなるイベント駆動型カメラがある。ピクセルの明るさの変化に応じて、イベント駆動型カメラはイベント（ｅｖｅｎｔ）を生成するが、イベントには、より暗い場合は－１、より明るい場合は＋１などのような変化を示す識別子（ｉｄｅｎｔｉｆｉｅｒ）が含まれ、このようなカメラはダイナミックビジョンセンサ（ＤＶＳ，Ｄｙｎａｍｉｃ ｖｉｓｉｏｎ ｓｅｎｓｏｒｓ）と呼ばれる。また、一次元センサ、音センサなどのイベント駆動型センサが知られている。

【0003】

ＤＶＳはイベント駆動型のセンサであって、生成されたイベントは非同期で行われる。従来のクロック・ベース（ｃｌｏｃｋ－ｂａｓｅｄ）のカメラは、すべてのピクセルのすべてのフレーム（ｆｒａｍｅｓ）またはライン（ｌｉｎｅｓ）を読み取る必要があり、これはＤＶＳとは比べものにならない。ＤＶＳは変更（ｃｈａｎｇｅｓ）のみを記録するため、低レートを維持しながら超高速の画像処理を提供する。

【0004】

ただし、後続のイベント処理ステップは、従来のフォンノイマン（Ｖｏｎ－Ｎｅｕｍａｎｎ）アーキテクチャに基づくクロック及び同期操作プロセッサとは根本的に異なる処理アーキテクチャが必要である。

【0005】

イベント駆動型システム用の汎用性（ｖｅｒｓａｔｉｌｅ）処理構造を設計することは、特にさまざまな前処理（ｐｒｅｐｒｏｃｅｓｓｉｎｇ）及び処理部品間の相互接続を考慮する場合、極めて挑戦的な作業である。クロック・システムに比べて、イベント駆動型システムは、異なるイベントに応じてフローを処理する必要がある。特に、異なる部品間で転送データを交換する場合、ＡＤ－ＨＯＣハンドシェイク（ｈａｎｄｓｈａｋｅ）メカニズムが関わる。このようなハンドシェイクメカニズムには、必要な交換データリクエスト、リクエストの確認、及び後続のデータ交換が含まれる。

【0006】

イベント駆動型システムの部品、特にセンサは、ピクセル・アレイ（ｐｉｘｅｌ ａｒｒａｙ）のサイズ、異なるホットピクセル／ノイズ（ｈｏｔ－ｐｉｘｅｌｓ、以下、ホットピクセルと称する）、イベントアドレス（ｅｖｅｎｔ ａｄｄｒｅｓｓｉｎｇ）などを考慮すると、様々な仕様があり得る。さまざまな部品をシステムに組み込む際に、システムの処理パイプライン（ｐｒｏｃｅｓｓｉｎｇ ｐｉｐｅｌｉｎｅ）に適応させるために、手間がかかり高価な作業となる。「処理パイプライン」という用語は、具体的には、異なる部品間の相互接続などの配線（ｗｒｉｎｇ）を指し、部品のデータ処理及び異なる部品間のデータの転送も指す。「処理パイプライン」（ｐｒｏｃｅｓｓｉｎｇ ｐｉｐｅｌｉｎｅ）という用語はまた、様々な（ｖａｒｉｏｕｓ）出力ポート（ｐｏｒｔｓ）またはシステムの様々な第１の部品が、如何にして様々な入力ポートまたはシステムの様々な第２の部品に接続されるか、という特定の方法をも指す。

【0007】

イベント駆動型システムの最も基本的な設計コンセプトは、エッジ算出に適応するために極限的な低消費電力を目指すことである。究極の低消費電力を求めるために、本分野の当業者は様々な角度から試行錯誤を重ねてきた。

【0008】

先行技術において、２０１４年８月８日に、『サイエンス』誌で、５４億個のトランジスタ、４０９６個のシナプス・コア、１００万個のプログラマブルスパイキング・ニューロン、２５６万個の構成可能なシナプスを備えたＩＢＭの脳型（ｂｒａｉｎ－ｉｎｓｐｉｒｅｄ）チップＴｒｕｅＮｏｒｔｈを初めて紹介している。チップはイベント駆動型設計を用いて構成された非同期－同期ハイブリッド・チップである。つまり、ルーティング、スケジューラ及びコントローラーは、準遅延（ｑｕａｓｉ－ｄｅｌａｙ）非感受性クロックレス非同期設計を採用し、一方、ニューロンは従来のクロック同期回路手段であって、クロックは非同期コントローラーによって生成され、グローバルクロック周波数は１ｋＨｚである。３０フレーム／秒、４００＊２４０ピクセルのビデオ入力で計算すると、該チップの消費電力は６３ｍＷである。詳細については、以下を参照すること。

【0009】

公知文献１：「拡張性通信ネットワーク及びインターフェースを持つ１００万スパイキングニューロン集積回路（Ａ ｍｉｌｌｉｏｎ ｓｐｉｋｉｎｇ－ｎｅｕｒｏｎ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ ｗｉｔｈ ａ ｓｃａｌａｂｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｎｅｔｗｏｒｋ ａｎｄ ｉｎｔｅｒｆａｃｅ）」Ｐａｕｌ Ａ． Ｍｅｒｏｌｌａ， Ｊｏｈｎ Ｖ． Ａｒｔｈｕｒ ｅｔａｌ， 巻：３４５°号：６１９７、ＳＣＩＥＮＣＥ、発行日：２０１４年８月８日。

【0010】

２０１７年７月２１～２６日に開催されたＣＶＰＲ会議で、ＩＢＭ ＴｒｕｅＮｏｒｔｈチップに基づくジェスチャー認識システムが公開されている。該記事の図１と図４（または本発明の図１１、該図の詳細については、原文を参照し、本発明では重複しない）を参照すると、ＮＳＩｅ開発ボードに配置されたＴｒｕｅＮｏｒｔｈプロセッサは、ＵＳＢ２．０を介してＤＶＳ１２８から出力されたイベントを受信する。つまり、ＤＶＳとプロセッサ間の接続はＵＳＢケーブルを介して行われている。（詳細は、以下を参照すること）

【0011】

公知文献２：「完全イベントに基づく低電力ジェスチャー認識システム（Ａ Ｌｏｗ Ｐｏｗｅｒ， Ｆｕｌｌｙ Ｅｖｅｎｔ－Ｂａｓｅｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎ ｉｔｉｏｎ Ｓｙｓｔｅｍ）」，Ａｒｎｏｎ Ａｍｉｒ， Ｂｒｉａｎ Ｔａｂａ ｅｔａｌ， ２０１７ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２１－２６ ２０１７年７月。

【0012】

２０１７年１１月、Ｉｎｔｅｌは自社開発の脳型チップＬｏｉｈｉを公開したが、該チップの消費電力が７４ｍＷであることが、当公開スピーチ資料から分かった。インテルの公式ウェブサイトで公開されているニューロモルフィック（Ｎｅｕｒｏｍｏｒｐｈｉｃ）コンピューティングの進歩では、ＩＮＲＣメンバーがロボット工学などのハードウェアへの直接アクセスを必要とする分野の研究に使用する場合、Ｌｏｉｈｉハードウェアが利用可能であることが指摘されている。これらのシステムには、「Ｋａｐｏｈｏ Ｂａｙ」というコードネームのＵＳＢフォーム・ファクタが含まれている。ＬｏｉｈｉにＵＳＢインターフェースを提供することに加えて、Ｋａｐｏｈｏ ＢａｙはｉｎｉＶａｔｉｏｎ社のＤＡＶＩＳ ２４０Ｃ ＤＶＳシリコン網膜カメラにもイベント駆動型ハードウェア・インターフェースを提供する。つまり、Ｌｏｉｈｉの場合、同様にＵＳＢ経由でＤＶＳに接続される（詳細は、ネットワーク・リンクを参照、リンクの内容は、インターネットアーカイブでも取得できる。ｈｔｔｐｓ：／／ｎｅｗｓｒｏｏｍ．ｉｎｔｅｌ．ｃｏｍ／ｎｅｗｓ／ｉｎｔｅｌ－ａｎｎｏｕｎｃｅｓ－ｎｅｕｒｏｍｏｒｐｈｉｃ－ｃｏｍｐｕｔｉｎｇ－ｒｅｓｅａｒｃｈ－ｃｏｌｌａｂｏｒａｔｏｒｓ／＃ｇｓ．ｖｊ５ｇｍｂ，２０１８年１２月６日）。

【0013】

２０１９年８月１日、「ネイチャー」誌は、清華大学が開発した脳型チップＴｉａｎｊｉｃをカバー記事で報道している。その消費電力は、０．９Ｖの標準電圧で４００ｍＷ（１．２Ｖで９５０ｍＷ）である。該チームはその後他の記事で、Ｔｉａｎｊｉｃの他の技術的な詳細を開示している。該記事では、単一チップＰＣＢにＡｌｔｅｒａ Ｃｙｃｌｏｎｅ ４ ＦＰＧＡと通信インターフェースＵＳＢ、ＳＰＩが搭載されていることを指摘している。該記事の図２ｂを参照すると、カメラはＵＳＢを介してＦＰＧＡに接続され、最終的にＴｉａｎｊｉｃに接続される。言い換えると、該開示された技術でも、ビジョンセンサとプロセッサはＵＳＢケーブルを介して接続されている。該記事は以下を参照すること。

【0014】

公知文献３：「ハイブリッド拡張性脳型ロボットプラットフォーム（Ａ ｈｙｂｒｉｄ ａｎｄ ｓｃａｌａｂｌｅ ｂｒａｉｎ－ｉｎｓｐｉｒｅｄ ｒｏｂｏｔｉｃ ｐｌａｔｆｏｒｍ）」，Ｚｈｅ Ｚｏｕ， Ｒｏｎｇ Ｚｈａｏ ｅｔａｌ， Ｓｃｉｅｎｔｉｆｉｃ Ｒｅｐｏｒｔｓ，２０２０年１０月２３日。

【0015】

上記は、世界トップレベルのイベント駆動型システム設計者が究極の低消費電力を求めた一例であり、フォンノイマン・アーキテクチャに基づく従来のＣＰＵの約１００～２００Ｗの消費電力と比較して、そのエネルギー効率比は、大幅に改善されている。センサとＡＩプロセッサを接続するために、上記の先行技術はいずれもＵＳＢケーブル／インターフェースまたは他の同様のインターフェース技術を介してそれらの接続を実現し、これらの世界トップのイベント駆動設計者はこれにどう言うマイナス点があるかが認識されていない。

【0016】

しかし、本発明者の独自の知見によると、上記の先行技術では、ＵＳＢケーブル（または他のケーブルによる技術）が一定の長さを有する接続を必要とするため、システムがケーブルへの結合による信号損失及びノイズ干渉を受ける恐れがある。また、ケーブルであるため、データ転送の前後に必要な通信などデバイス間の各ハンドシェイクは、より多くのエネルギーを消費し、システムの処理速度を遅くし、これらは脳型チップのパフォーマンスに悪影響を及ぼす。本分野の先行技術では、これらのトップ設計者たちは、該要因の悪影響を認識しておらず、提案された技術手段は極度の低消費電力を目指すためのすべての努力を尽くし、解決手段はさまざまな技術的指標の要件を満たしていると考えており、上記マイナス要素について、上記悪影響を解消するための措置を講じるべきとしまたは暗示してない。したがって、本分野の他の技術手段の明確な啓示がなければ、これらの世界のトップ設計者には、上記の技術手段の更なる改善への認識／動機づけが欠けている。

【0017】

さらに、本発明者は、上記の問題を解決するための研究／いくつかの解決手段において、ＤＶＳについて、より良い品質の画像情報を得るために、当業者はＣＩＳ－ＣＭＯＳプロセスイメージセンサなどのＤＶＳを製造するための特別な半導体プロセスを選択する必要があることをさらに発見した。ただし、ＡＩプロセッサ（後述のｓＣＮＮプロセッサ）の場合、従来のＣＭＯＳプロセスを使用すると、このような従来のＣＭＯＳプロセスは、高品質のイメージセンサの製造には適してない（イメージング効果は理想的ではない）。また、すべてにＣＩＳ－ＣＭＯＳプロセスを使用して、特に同じチップ／ダイ（ｄｉｅ）上でセンサとＡＩプロセッサを製造する場合、ＡＩプロセッサは多くのチップ面積を占有してしまい、チップのコストを増加させ、これは、さらにより小さなチップ占有面積を求める発展傾向からすると、ビジネス競争力を失ってしまう。したがって、如何にして信号損失やノイズ干渉を排除するか、好ましくはチップの占有面積と製造コストのさらなる低減を図ることは、脳型チップの産業化／製品化のために解決すべき重要な課題である。

【0018】

従来のフォンノイマン・アーキテクチャとは全く異なるため、イベント生成からイベント処理までの間にイベント伝送工程が関わり、該工程はインターフェースとみなすことができ、該インターフェースの設計は従来と全く異なる技術的な挑戦となる。イベントを効率的に、柔軟に、低消費電力で伝送できるようにするために、如何に該インターフェースを設計するかは、当業者が直面する総合的な挑戦の一つでもある。

【発明の概要】

【発明が解決しようとする課題】

【0019】

本発明は、上記の技術課題の１つまたは複数の技術課題の組み合わせを解決するために提案され、本発明の技術手段は、上記の技術課題の１つまたは複数の技術課題の組み合わせを解決または軽減することができる。

【0020】

出所が明示されない限り、上記背景技術に記載された技術は、その全部または一部は開示されていない技術に属している場合もあり、即ち、出願人は、実質的な証拠で証明できない限り、背景技術に記載された技術が必ずしも特許法で定義する先行技術（ｐｒｉｏｒ ａｒｔ）に属しているものと考えない。同時に、上記の背景技術に開示された技術手段及び技術的特徴は、本発明の特許文献の開示とともに開示される。

【0021】

上述の技術課題の１つまたは複数の技術課題の組み合わせを解決または軽減するために、本発明による技術手段は、以下の方法で実現される。

【課題を解決するための手段】

【0022】

集積回路において、イベント駆動型センサ（１０）と、イベント駆動型インターフェースシステム（２０）とイベント駆動型プロセッサ（３０）とを含み、前記イベント駆動型センサ（１０）、前記イベント駆動型インターフェースシステム（２０）及び前記イベント駆動型プロセッサ（３０）は、単一チップ（３）に結合される。

【0023】

一実施例において、前記イベント駆動型センサ（１０）は、前記イベント駆動型センサ（１０）の入力デバイス（１１）がイベント生成信号または／及びイベント生成信号の変化を検出すると、イベント（１００）を非同期で生成及び出力し、前記イベント（１００）は、前記入力デバイス（１１）を指すイベントアドレスを含みまたはそれに関連付けられ、前記イベント駆動型センサ（１０）の出力端が前記イベント駆動型インターフェースシステム（２０）の入力端に結合されるように構成され、
前記イベント駆動型インターフェースシステム（２０）は、前記イベント（１００）を非同期で受信し、受信したイベント（１００）を前処理し、前記イベント駆動型インターフェースシステム（２０）の出力端が前記イベント駆動型プロセッサ（３０）の入力端に結合されるように構成され、
前記イベント駆動型プロセッサ（３０）は、前記イベント駆動型インターフェースシステム（２０）より前処理されたイベント（１０１）を受信し、受信したイベント（１０１）を非同期処理するように構成され、
前記イベント駆動型センサ（１０）と前記イベント駆動型インターフェースシステム（２０）と前記イベント駆動型プロセッサ（３０）とは、インターポーザ（４０）を介して単一チップ（３）に結合される。

【0024】

一実施例において、前記イベント駆動型インターフェースシステム（２０）及び前記イベント駆動型プロセッサ（３０）はいずれも第１のダイ（１－１）に位置し、または、前記イベント駆動型センサ（１０）及び前記イベント駆動型インターフェースシステム（２０）はいずれも第２のダイ（１－２）に位置し、または、前記イベント駆動型インターフェースシステム（２０）の一部と前記イベント駆動型プロセッサ（３０）はいずれも第１のダイ（１－１）に位置し、且つ前記イベント駆動型インターフェースシステム（２０）の他の一部と前記イベント駆動型センサ（１０）はいずれも第２のダイ（１－２）に位置する。

【0025】

一実施例において、前記イベント駆動型インターフェースシステム（２０）及び前記イベント駆動型プロセッサ（３０）はいずれも第１のダイ（１－１）に位置し且つ前記イベント駆動型センサ（１０）が位置する第２のダイ（１－２）は前記イベント駆動型インターフェースシステム（２０）及び前記イベント駆動型プロセッサ（３０）が位置する第１のダイ（１－１）に積層される。

【0026】

一実施例において、前記インターポーザ（４０）は、シリコンインターポーザまたはガラスインターポーザである。

【0027】

一実施例において、前記イベント駆動型センサ（１０）、前記イベント駆動型インターフェースシステム（２０）及びイベント駆動型プロセッサ（３０）は、２．５Ｄまたは３Ｄ実装技術によって単一チップ（３）上に実装される。

【0028】

一実施例において、前記イベント駆動型センサ（１０）は、ポイントセンサ、１Ｄセンサ、２Ｄセンサのうちの１種または複数種の組み合わせである。

【0029】

一実施例において、前記イベント駆動型センサ（１０）は、音声／振動センサ、動的視覚センサの１種または複数種の組み合わせである。

【0030】

一実施例において、前記イベント駆動型プロセッサ（３０）にスパイキングニューラルネットワークが配置される。

【0031】

一実施例において、前記イベント駆動型プロセッサ（３０）にスパイキング畳み込みニューラルネットワークが配置される。

【0032】

一実施例において、前記第１のダイ及び前記第２のダイは、異なるプロセスで製造される。

【0033】

一実施例において、前記イベント駆動型インターフェースシステム（２０）は少なくとも１つのインターフェースモジュール（２００）を含み、前記インターフェースモジュール（２００）はプログラマブルデイジーチェーン形式を構成し、前記前記イベント駆動型センサ（１０）から受信したイベント（１００）を非同期処理する。

【0034】

一実施例において、前記少なくとも１つのインターフェースモジュール（２００）は、イベント（１００）を受信し、複製操作を実行して複製イベント（１００ｃ）を取得し、前記イベント（１００）は、前記イベント駆動型センサ（１０）または前記イベント駆動型インターフェースシステム（２０）の他のインターフェースモジュール（２００）（一実施例において、融合モジュールである）からのものであり、前記複製イベント（１００ｃ）を外部処理パイプラインに送信し、前記デイジーチェーンに沿って前記イベント（１００）を送信するように構成された複製モジュール（２０１）を含む。

【0035】

一実施例において、前記少なくとも１つのインターフェースモジュール（２００）は、少なくとも２つの異なるところからイベント（１００、１００ｅ）を受信し、前記イベント（１００）は、前記イベント駆動型インターフェースシステム（２０）の他のインターフェースモジュール（２００）（一実施例において、複製モジュールである）または前記イベント駆動型センサ（１０）からのものであり、前記イベント（１００ｅ）は、前記集積回路または他の集積回路の部品／モジュールまたは他のイベント駆動型センサからのものであり、前記プログラマブルデイジーチェーンに沿って、前記受信したイベント（１００、１００ｅ）の一部または全部を後続のインターフェースモジュール（２００）に送信するように構成された融合モジュール（２０２）を含む。

【0036】

一実施例において、前記少なくとも１つのインターフェースモジュール（２００）は、受信した複数のイベント（１００）に単一のアドレスを割り振るように構成されるサブサンプリングモジュール（２０３）を含む。

【0037】

一実施例において、前記サブサンプリングモジュール（２０３）に含まれた分離モジュール（２０３－４）は、受信したイベント（１００）のアドレス値に応じて、前記イベント（１００）を関連する前記サブサンプリングモジュール（２０３）内のスケーリングレジスタにルーティングするように構成され、前記スケーリングレジスタは、受信したアドレス値を分割、サブサンプリング、プール化、または／及びシフトし、且つアドレス値を前記サブサンプリングモジュール（２０３）中のアドレス再構築モジュール（２０３－５）に出力するように構成され、前記アドレス再構築モジュール（２０３－５）は、スケーリングされたアドレス値に応じてイベントアドレスを調整し、次いで前記プログラマブルデイジーチェーンに沿ってアドレス調整後のイベント（１００）を送信するように構成される。

【0038】

一実施例において、前記少なくとも１つのインターフェースモジュール（２００）は、少なくとも１つのイベントアドレスのプロパティを調整し、前記調整方法は、少なくとも１つのイベントアドレスのプロパティをシフト、反転、スワップ、または／及び回転の１つまたは複数を含み、または／及び、
プログラマブルアドレスプロパティ値の範囲外のアドレスプロパティ値のイベント（１００）を破棄し、前記プログラマブルデイジーチェーンに沿って破棄されていないイベント（１００）を送信するように構成される関心領域モジュール（２０４）を含む。

【0039】

一実施例において、前記少なくとも１つのインターフェースモジュール（２００）は、イベント（１００）を受信し、受信したイベント（１００）にヘッダー情報を追加し、前記イベント（１００）の前記ヘッダー情報とともに、前記イベント（１００）を前記イベント駆動型プロセッサ（３０）または／及び他のイベント駆動型プロセッサまたは他の処理パイプラインに送信するように構成されたイベントルーティングモジュール（２０５）を含む。

【0040】

一実施例において、前記少なくとも１つのインターフェースモジュール（２００）は、最大速度を上回ると、イベントレートが最大レートを上回らないように制限するために、プログラマブルデイジーチェーンに沿って前記イベント（１００）の一部のみを送信するように構成されたレート制御モジュールを含む。

【0041】

一実施例において、前記少なくとも１つのインターフェースモジュール（２００）は、１つのイベントアドレスを別のイベントアドレスにマッピングするように構成されたマッピングモジュール（２０６）を含む。

【0042】

一実施例において、前記マッピングモジュール（２０６）は、関心領域モジュール、ルックアップテーブルモジュール、反転または／及び回転モジュールの１つまたは組み合わせを含み、反転または／及び回転モジュールは、前記イベント（１００）のイベントアドレスを反転または／及び回転するように構成される。

【0043】

一実施例において、前記少なくとも１つのインターフェースモジュール（２００）は、受信したイベントアドレスを共通のアドレスフォーマットに変換し、これにより、前記プログラマブルデイジーチェーンで共通のイベントアドレスフォーマットを伝送するように構成されるイベントアドレス書き換えモジュール（２０７）を含む。

【0044】

一実施例において、前記少なくとも１つのインターフェースモジュール（２００）は、特定の選択されたイベントアドレスを有する一連のイベント（１００）をフィルタリング除去するように構成されたイベントアドレスフィルターモジュール（２０８）を含む。

【0045】

一実施例において、前記イベントアドレスフィルターモジュール（２０８）は、具体的にはホットピクセルフィルターモジュール（２０８´）であり、特定のイベントアドレスを有するイベント（１００）をフィルタリングし、ＣＡＭメモリ（２０８´―３）を介して、所定のフィルタリング待ちのイベントアドレスのリストを格納するように構成される。

【0046】

一実施例において、前記イベント駆動型インターフェースシステム（２０）のいずれか１つまたは複数のインターフェースモジュール（２００）が、プログラマブルスイッチによってバイパス可能である。

【0047】

また、本発明は、イベント駆動型センサ（１０）及びイベント駆動型プロセッサ（３０）に結合されて集積回路を構成するイベント駆動型インターフェースシステム（２０）をさらに提供し、前記イベント駆動型センサ（１０）はイベント（１００）を生成及び非同期出力し、前記イベント（１００）は、イベントを生成する前記イベント駆動型センサ（１０）上の入力デバイス（１１）を指すイベントアドレスを含みまたはそれに関連付けられ、前記イベント駆動型インターフェースシステム（２０）は、少なくとも１つのインターフェースモジュール（２００）を含み、前記インターフェースモジュール（２００）は、プログラマブルデイジーチェーン形式を構成し、前記センサ（１０）から受信したイベント（１００）を非同期処理する。

【0048】

一実施例において、前記少なくとも１つのインターフェースモジュール（２００）は、複製モジュール（２０１）、融合モジュール（２０２）、サブサンプリングモジュール（２０３）、関心領域モジュール（２０４）及びルーティングモジュール（２０５）のうちの１つまたは複数を含み、
前記複製モジュール（２０１）は、イベント（１００）を受信し、複製操作を実行して複製イベント（１００ｃ）を取得し、前記イベント（１００）は、前記イベント駆動型センサ（１０）または前記イベント駆動型インターフェースシステム（２０）の他のインターフェースモジュール（２００）からのものであり、前記複製イベント（１００ｃ）を外部処理パイプラインに送信し、前記デイジーチェーンに沿って前記イベント（１００）を送信するように構成され、
前記融合モジュール（２０２）は、少なくとも２つの異なるところからイベント（１００、１００ｅ）を受信し、前記イベント（１００）は、前記イベント駆動型インターフェースシステム（２０）の他のインターフェースモジュール（２００）または前記イベント駆動型センサ（１０）からのものであり、前記イベント（１００ｅ）は、前記集積回路または他の集積回路の部品／モジュールまたは他のイベント駆動型センサからのものであり、前記プログラマブルデイジーチェーンに沿って、前記受信したイベント（１００、１００ｅ）の一部または全部を後続のインターフェースモジュール（２００）に送信するように構成され、
前記サブサンプリングモジュール（２０３）は、受信した複数のイベント（１００）に単一のアドレスを割り振るように構成され、
前記関心領域モジュール（２０４）は、少なくとも一つのイベントアドレスのプロパティをシフト、反転、スワップまたは／及び回転の少なくとも一種または複数種の方法で調整し、または／及びアドレスプロパティ値がプログラマブルのアドレスプロパティ値範囲外にあるイベント（１００）を破棄し、前記プログラマブルデイジーチェーンに沿って破棄されていないイベント（１００）を送信するように構成され、
前記イベントルーティングモジュール（２０５）は、イベント（１００）を受信し、受信したイベント（１００）にヘッダー情報を追加し、前記イベント（１００）の前記ヘッダー情報とともに、前記イベント（１００）を前記イベント駆動型プロセッサ（３０）または／及び他のイベント駆動型プロセッサまたは他の処理パイプラインに送信するように構成される。

【0049】

一実施例において、前記プログラマブルデイジーチェーンのイベント伝送方向に沿って、前記少なくとも一つのインターフェースモジュール（２００）のインターフェースモジュールの結合順は、
複製モジュール（２０１）、融合モジュール（２０２）、サブサンプリングモジュール（２０３）、関心領域モジュール（２０４）及びイベントルーティングモジュール（２０５）、または、融合モジュール（２０２）、複製モジュール（２０１）、サブサンプリングモジュール（２０３）、関心領域モジュール（２０４）及びイベントルーティングモジュール（２０５）である。

【0050】

一実施例において、複製モジュール（２０１）に対して、イベント（１００）は、前記イベント駆動型インターフェースシステム（２０）の他のインターフェースモジュール（２００）、具体的には融合モジュール（２０２）からのものであり、または／及び融合モジュール（２０２）に対して、イベント（１００）は、前記イベント駆動型インターフェースシステム（２０）の他のインターフェースモジュール（２００）、具体的には複製モジュール（２０１）からのものである。

【0051】

一実施例において、前記インターフェースモジュール結合順の上流は、イベントアドレス書き換えモジュール（２０７）または／及びイベントアドレスフィルターモジュール（２０８）をさらに含み、ここで、イベントアドレス書き換えモジュール（２０７）は、受信したイベントアドレスを共通のアドレスフォーマットに変換し、これにより、前記プログラマブルデイジーチェーンで共通のイベントアドレスフォーマットを伝送するように構成され、
ここで、イベントアドレスフィルターモジュール（２０８）は、特定の選択されたイベントアドレスを有する一連のイベント（１００）をフィルタリング除去するように構成される。

【0052】

一実施例において、イベント（１００）は、まず、イベントアドレス書き換えモジュール（２０７）によって処理され、次にイベントアドレスフィルターモジュール（２０８）によって処理される。

【0053】

一実施例において、前記イベントアドレスフィルターモジュール（２０８）は、具体的にはホットピクセルフィルターモジュール（２０８´）であって、
特定のイベントアドレスを有するイベント（１００）をフィルタリングし、ＣＡＭメモリ（２０８´―３）を介して、所定のフィルタリング待ちのイベントアドレスのリストを格納するように構成される。

【0054】

一実施例において、前記少なくとも１つのインターフェースモジュール（２００）は、マッピングモジュール（２０６）をさらに含み、前記マッピングモジュール（２０６）は、関心領域モジュール、ルックアップテーブルモジュール、反転または／及び回転モジュールの１つまたは組み合わせを含み、ここで、反転または／及び回転モジュールは、前記イベント（１００）のイベントアドレスを反転または／及び回転するように構成される。

【0055】

一実施例において、前記少なくとも１つのインターフェースモジュール（２００）は、最大速度を上回ると、イベントが最大レートを上回らないように制限するために、前記プログラマブルデイジーチェーンに沿って前記イベント（１００）の一部のみを送信するように構成されたレート制御モジュールを含む。

【0056】

一実施例において、前記イベント駆動型インターフェースシステム（２０）のいずれか１つまたは複数のインターフェースモジュール（２００）が、プログラマブルスイッチによってバイパス可能である。

【0057】

一実施例において、前記イベント駆動型センサ（１０）、前記イベント駆動型インターフェースシステム（２０）及び前記イベント駆動型プロセッサ（３０）の間は、インターポーザ（４０）を介して単一チップ（３）に結合され、または同じダイ上に製造される。

【発明の効果】

【0058】

先行技術に対し、本発明の技術手段の有益な効果には以下が含まれるが、これらに限定されない。
１．センサ、インターフェース及びイベント駆動型プロセッサの集積解決手段を提供し、信号損失とノイズ干渉を排除し、またチップの占有面積及び製造コストのさらなる低減をも求め、当該技術手段によりサブミリワットレベルの消費電力が達成できる。
２．イベントを効率的かつ柔軟に、低消費電力で送信できるイベント駆動型インターフェースを提供し、プロセッサがイベントを効率的かつ便利に処理するためのイベント前処理機能を提供する。

【0059】

上記で開示された技術手段、技術的特徴及び技術的方法は、以下の発明を実施するための形態部分で説明される技術手段、技術的特徴及び技術的方法と完全に同一または一致しない場合がある。しかし、該部分で開示されたこれらの新たな技術手段は、同様に本発明文書が公開する数多くの技術手段の一部にあたり、該部分で開示されたこれらの新しい技術的特徴及び技術手段は、以下の発明を実施するための形態部分で説明される技術的特徴及び技術手段と互いに合理的に組み合わせる形で、より多くの技術手段を開示し、発明を実施するための形態部分の有益な補足となる。これと同時に、明細書の図面の一部の詳細は、明細書に明確に記載されていない場合があるが、当業者は本発明の他の関連する内容または図面、本分野の通常の技術知識、及び他の先行技術（会議、雑誌論文など）に基づき、その技術的意味を推測できる場合、該部分の文面上明確に記載されていない技術手段、技術的特徴及び技術的方法も、本発明が公開した技術内容に属し、上述の記載のように組み合わせて使用することで、対応する新しい技術手段を得ることができる。本発明のすいずれか位置で開示されたすべての技術的特徴が組み合わせられた技術手段は、技術手段に対する概括、特許文書の修正、及び技術手段の開示を裏付けるために用いられる。

【図面の簡単な説明】

【0060】

【図1】本発明の一実施例にかかるイベント駆動型回路システムを示す図である。

【図2】本発明のもう一つの実施例にかかる回路システムを示す図である。

【図3】本発明の一実施例にかかるチップの断面図である。

【図4】本発明の一実施例にかかる３Ｄチップ幾何構造の断面を示す図である。

【図5】本発明の一実施例にかかる音／振動センサを含む回路システムを示す図である。

【図6】センサが生成するイベント処理フローチャートである。

【図7】音センサが振動信号を記録するイベント処理フローチャートである。

【図8】インターフェースのデイジーチェーン（ｄａｉｓｙ ｃｈａｉｎ）を示す図である。

【図9】選択されたイベントアドレスを有するイベントをフィルタリングする能力を有するホットピクセルフィルターモジュールを示す図である。

【図10】サブサンプリングモジュール（ｓｕｂ－ｓａｍｐｌｉｎｇ）を示す図である。

【図11】先行技術におけるＩＢＭ ＴｒｕｅＮｏｒｔｈに基づくジェスチャー認識システムである。

【発明を実施するための形態】

【0061】

（１）技術手段の記載方法に関する声明
本発明で開示された技術手段を明確に説明し、完全に理解できるように、本発明に関わるいずれか特許文書すべてにおいて、以下の規定をする。

【0062】

該部分内容に記載されている実施例は、同一図面及び同一領域における記載であっても、単にある特定の実施例に対する説明ではなく、ある特定の技術的特徴を備えた潜在的な実施例の選択的な説明である。本発明に開示されている実施例は、後述のある特定の技術的特徴の選択的なすべての合理的な組み合わせである。（そのような組み合わせが論理的に矛盾しまたは無意味でない限り）。したがって、ある特定の技術的特徴は特定実施形態においては必須的なものではない。

【0063】

方法類、製品類の実施例は、特定の技術的特徴を個別に説明する場合があるが、通常は、本発明は、対応する他の一実施例にも、対応する当該技術的特徴を有し、当該技術的特徴と一致し／対応し／マッチングする装置／ステップが存在することを暗示し、ただ明確に文字で説明されていないだけである。例えば、方法類の実施例は、製品類の実施例におけるデバイス／モジュール／部品によって実行／実現した特定のステップ／命令／機能を暗示し、製品類の実施例は、方法類の実施例を実現することによって、ある特定のステップ／命令／機能を実行するデバイス／モジュール／部品などを暗示する。これらの暗示的な技術的特徴も、技術手段の概括、特許文書の修正、及び技術手段の開示を裏付けるために用いられる。

【0064】

本発明のいずれか位置における非英語用語の括弧内の英単語／語句は、用語の意味のさらなる補足説明であり、本分野における一般的な英語表現での説明を補足するためのものである。非英語用語で正しく理解、解釈できず、矛盾する場合、該英語の意味はここでの意味を理解するのに役立ち、必要に応じて該英語の意味を優先とする。また、非任意の位置における上記の非英語用語全てに上記のような解釈を採用するが、ある特定の場所で解釈された意味も、他の場所で現れる同一用語と同一の解釈となるものとする。

【0065】

明細書において、ある特定の用語に対して特定の解釈をすることがあり、特許請求の範囲などの本発明に関連するいずれかの文書において、同一の用語は当該解釈に従って解釈することができる。

【0066】

本発明に関わるいずれかの文書に記載されている「モジュール」、「ｍｏｄｕｌｅ」、「ｃｏｍｐｏｎｅｎｔ」、「部品」、「部材」、「～部」、「システム」（ある場合、以下同）などは、ハードウェアのみ、ソフトウェアのみ、またはソフトウェアとハードウェアの組み合わせによって実施される製品または製品の一部を指す。文脈上明確に示されない限り、本発明は、上述の用語がハードウェアまたはソフトウェアのみを実施形態とすることを暗示しない。

【0067】

中国語の句読点「、」は通常、単語またはフレーズの並列を表し、同類の並列事項を分割し、または漢字を通し番号とする通し番号と文章とを区切ったりするために用いられ、通常、論理的な「または／及び」の表現を明確に決めるものではなく、それが表す論理は、通常、文脈上の言語環境に応じて分析する必要がある。

【0068】

本発明のいずれか言語のすべての特許文書における規定として、「Ａ、Ｂ、Ｃ」のような書き方は、通常、ＡまたはＢまたはＣを表し、文脈に応じて論理的「及び」であるべきものは除外する。「Ａ、ＢまたはＣ」のような書き方は、ＡまたはＢまたはＣを表し、「Ａ、Ｂ及びＣ」のような書き方は、ＡとＢとＣとを表す。「Ａ、Ｂ ｏｒ Ｃ」のような書き方は、ＡまたはＢまたはＣを表し、「Ａ、Ｂ ａｎｄ Ｃ」のような書き方は、ＡとＢとＣとを表す。

【0069】

複数の手段の記述方法「Ａ ａｎｄ／ｏｒ Ｂ」、「Ａ ｏｒ／ａｎｄ Ｂ」、「Ａ及び／またはＢ」、及び「Ａまたは／及びＢ」はいずれも、（１）Ａ、（２）Ａ及びＢ、（３）Ｂの３つの並列する技術手段を含む。

【0070】

非数学公式において、「／」は通常、論理和（「または」）を表す。

【0071】

本発明のすべての特許文書において、「第１の～モジュールの入力ポート」のような記述方法と、「～モジュールの第１の入力ポート」の意味は同じであり、両者は同じ対象を指す。「～モジュール」そのものが特定の指示対象を区別するのに不十分でありまたはあいまいである場合を除き、文脈に応じて最大に合理的な解釈をするものとする。

【0072】

本文書のいずれか位置における「～でもよい／～であってもよい」（ｍａｙ、ｍａｙ ｂｅ、ｍｉｇｈｔ、選択を示し、文脈上「能力」を表す場合は除く）は、好ましい実施例を説明する方法であり、潜在的な他のタイプの合理的な代替手段も存在することを暗示する。本発明のいずれか位置における技術用語「大体」、「およそ」、「～に近い」などおよその意味で用語を記述する場合は、技術課題の解決に影響を及ぼさないことを前提で、技術手段は誤差を伴う実施を許容することを意味する。つまり、厳密な実際のパラメータの測定後に、得られたデータが一般的な数学的定義に厳密に一致する必要はなく（数学的定義に完全に一致する物理的実物は存在しないため）、このような用語は、曖昧さ、不明瞭によって技術手段によって限定／表現された範囲を不明確にさせるのではなく、実際には、それが技術課題を解決できるかどうかを、限定された範囲内にあるかどうかを判断する基準とするべきである。

【0073】

本発明のいずれか位置において、同一対象を示すのに用語が完全に同一ではない場合があり得る。通常、これは略称と全称の違い、及び助詞などの機能語の挿入によるものである。文脈上、特に断らない限りいずれも同一対象を指す。

【0074】

「Ａに対応するＢ」という表現は、ＢがＡに関連することを意味し、ＢはＡに従って決定できるものである。しかしながら、Ａに従ってＢを決定することは、ＢがＡのみに従って決定されることを意味するものではなく、ＢはＡ及び／または他の情報に従って決定されてもよいことも意味する。

【0075】

「第一」、「第二」などの表現は通常、対象を識別して区別するために使用されるが、これは同類の対象の数に対する制限を構成するものではない。それ自体は通常、単に１つの対象を指すが、この種類の対象が１つだけあるということではなく、例えば、効果の向上、圧力の共有及び同等の置換を目的とする場合もある。

【0076】

上記で強調されていなくても、具体的な実施形態において一実施例が言及される場合、さらなる有益な技術的効果が強調されることがあり、該さらなる技術的効果も発明者の創造的な労働によって得られたものである。

【0077】

本発明の参考図面は、開示される技術手段を説明しやすくするためのものであるので、技術手段を客観的かつ全面的に表示しかねる。模式図に示されているサイズ、比率、数量などは、実際の製品を正確に描写していない可能性があり、示されていない技術的特徴は、実際の技術手段にその技術的特徴がないことを意味するわけではなく、したがって、図面の詳細は、本発明の真の意図に対する不適切な限定を構成するものではない。

【0078】

特許制度の立法上の主旨は、出願人に開示しようとする技術手段について重要度を問わず詳細な説明を要求しているものではない。出願人はより多い技術的詳細を可能な限りたくさん開示しているものの、いずれかの技術的特徴に関して限りなく詳細で且つ限りなく立ち入った説明をすることはできず、誰もができるものではない。本発明の文書で詳しく紹介されていない技術的特徴／目的／手段は、当業者が実施しようとしたが実施できなかった技術的特徴／手段、または達成しようとしたが達成できなかった技術的目標ではなく、先行技術であってもまだ完全な解決手段を提供できないかもしれないものである。出願人は、当業者は本分野または他の関連分野の一般的な技術知識、特許、雑誌、書籍、技術マニュアル、インターネット技術文書などのすべての先行技術に基づいて、ある特定の／いくつかの実施方法を、取得／組み合わせ／発掘／実験できるものと考える。

【0079】

（二）技術手段の説明
解決手段で説明する分野はイベント駆動型集積回路システムに属しているため、そのセンサ、インターフェース及びプロセッサはすべてイベント駆動型である。本発明において、「集積回路システム」と「集積回路」は基本的に同じ意味を持ち、「インターフェース」と「インターフェース回路」は基本的に同じ意味を持ち、ここでの「システム」は製品プロパティの意味を持つ。「結合」（ｃｏｕｐｌｅ）という用語は、当該関係を有する２つ以上の部品間の電気的／電気接続を指す。

【0080】

図１は、一実施例の集積回路のレイアウトを示す図である。イベント駆動型集積回路システム１は、イベント駆動型センサ１０（以下、センサと称する）、イベント駆動型インターフェース２０（以下、インターフェースと称する）及びイベント駆動型プロセッサ３０（以下、プロセッサと称する）を含む。

【0081】

上記のイベント駆動型センサ１０、イベント駆動型インターフェース２０及びイベント駆動型プロセッサ３０は、いずれも説明の便宜上、機能によって分けられているが、上記の構成要素が必ずしも物理的に独立していることを意味するものではないことに注意されたい。これらは、３つの別部品として実施してもよい、複数の部品を組み合わせて、単独の部品として複数の機能の統合／組み合わせを実現してもよい。例えば、センサ１０とインターフェース２０を組み合わせてもよい（特に同一ダイ（ｄｉｅ）にて）、インターフェース２０とプロセッサ３０を組み合わせてもよい。選択方法によっては、ある面で性能低下があり得るが、本発明はその物理的な分割形態については限定しない。

【0082】

ＵＳＢケーブルによって引き起こされる信号損失、ノイズ干渉及び転送遅延を解決し、より極限的な低電力消費を求めるために、本発明の一実施例は、上記のイベント駆動型センサ１０、イベント駆動型インターフェース２０、イベント駆動型プロセッサ３０の少なくとも３つの部品を単一チップ（ｃｈｉｐ）（図１には図示せず）に結合している。一実施例において、上記の３つの部品が単一チップ（ダイが一つのみの場合）に結合される。この場合、センサ１０及びプロセッサ３０は、従来の６５ｎｍ ＣＭＯＳ技術などの同じ製造プロセスを使用するが、この次善の解決手段は、センサ１０の画質を犠牲にする。

【0083】

好ましい一実施例において、前記センサ１０、インターフェース２０及びプロセッサ３０の少なくとも３つの部品が、インターポーザ（ｉｎｔｅｒｐｏｓｅｒ、図１には示されていない）を介して単一チップ（複数のダイの場合）に結合される。本発明にかかわるインターポーザは、シリコンインターポーザ（ｓｉｌｉｃｏｎ ｉｎｔｅｒｐｏｓｅｒ）及びガラスインターポーザ（ｇｌａｓｓ ｉｎｔｅｒｐｏｓｅｒ）を含むが、これらに限定されない。本発明は、インターポーザの材料タイプを限定しない。

【0084】

本発明のいずれか位置において「単一チップ」という用語は、インターポーザを介して結合された複数のダイを含むこと、またはインターポーザを必要とせずにダイを１つだけ含むことを意味する。場合によっては、文脈上、該用語が上記の意味のうち１つだけを表していることを暗示したり制限したりする場合があることに注意されたい。

【0085】

一実施例において、イベント駆動型センサ１０は、イベント駆動型２Ｄアレイセンサ（イベント駆動型カメラなど）であり、センサ１０は通常、１つまたは複数のイベント駆動型センサの入力デバイス１１を含む。イベント駆動型カメラは大量のピクセルを含み、各ピクセルがイベント駆動型の入力デバイス１１である。イベント駆動型センサの入力デバイス１１は、イベント生成信号または／及びイベント生成信号の変化（ピクセル上の光強度の変化など）を検出すると、イベントを非同期生成するように構成される。ここで、各イベントは、２Ｄアレイ内のピクセルのＸ及びＹ座標などの入力デバイス１１の識別子を含む／指すイベントアドレスに関連付けられるか、またはそれを含む。

【0086】

一実施例において、前記イベント駆動型センサは、１Ｄ、２Ｄ、３Ｄまたは他のタイプのセンサである。

【0087】

イベント駆動型２Ｄアレイセンサの設計手段に関しては、少なくとも以下の先行技術を参照できる（欧州特許、発明の名称：「経時画像データを検出するフォトアレイ（Ｐｈｏｔｏａｒｒａｙ ｆｏｒ ｄｅｔｅｃｔｉｏｎ ｔｉｍｅ－ｄｅｐｅｎｄｅｎｔ ｉｍａｇｅ ｄａｔａ）」、２０１８年６月２７日公開）。
公知文献４：ＥＰ１９５８４３３Ｂ１

【0088】

本発明は、全文引用の形で、その内容を本発明の開示内容の一部に組み込む。紙幅の都合で、具体的な内容は繰り返して説明しないが、本発明のセンサの実施形態は、それに限定されない。

【0089】

一実施例において、センサ１０は、センサ１０の出力ポート１２を介してイベント駆動型インターフェース２０の入力ポート２１に結合され、センサ１０はイベント１００を非同期出力する。イベント駆動型インターフェース２０のインターフェース入力ポート２１によって受信された各イベントは、様々な前処理を経てタスク処理された後、共通の後続処理が実施され、これはセンサ１０の個性によらず実現することができる。特に、インターフェース２０は、一連のインターフェースモジュール２００を含んでもよく、各インターフェースモジュール２００は、プログラマブル方法で受信したイベント１００を処理するように構成される。これにより、共通のイベントアドレス構造（ｅｖｅｎｔ ａｄｄｒｅｓｓ ｓｔｒｕｃｔｕｒｅ）及び場合によって存在し得るイベントヘッダーの観点から、プロセッサ３０によって処理されるすべてのイベント１００はいずれも同一のフォーマットを有する。さらに、一実施例において、インターフェースモジュール２００は、１）フィルタリングステップ、または／及び２）アドレス操作ステップを実施することを含むように構成されてもよい。例示すると、インシデントイベントレート（ｉｎｃｉｄｅｎｔ ｅｖｅｎｔ ｒａｔｅ）をプロセッサ３０の処理能力内に制限し、または／及び事前定義されたイベントアドレスフォーマットを提供する。上記の各ステップは、回路システム１のエネルギー消耗を効率的に低減することができる。

【0090】

並列信号処理として、インターフェース２０は、センサ１０からイベント１００を受信するための一連／複数の並列入力端２１（例えば、２１－１、２１－２）、及び一連／複数の並列出力端２２（例えば、２２－１、２２－２）を含み、プロセッサ３０の入力端に結合され、前処理されたイベント１０１をプロセッサ３０に並列転送するように構成される。このような設置方法により、複数のイベントを同時に転送することができ、消費電力の低減とイベントの高速処理が実現された。

【0091】

図２は、代替される一実施例を示している。この場合、イベント駆動型センサ１０は、機械的振動を検出するために使用されるイベント駆動型機械圧力センサなどのＩＤイベント駆動型センサである。同様に、センサ１０、インターフェース２０及びプロセッサ３０は、単一チップ３上に装着され、インターポーザ４０を介して結合される。

【0092】

一実施例において、センサ１０、インターフェース２０及びプロセッサ３０は、チップ３の同一側に結合され、他の一実施例では、センサ１０、インターフェース２０及びプロセッサ３０は、チップ３の両側に結合される。本発明は、上記の３つの部品が同じ側に装着されるかどうかを限定しない。

【0093】

一実施例において、センサ１０とインターフェース２０が同一ダイ内にあり、他の一実施例では、インターフェース２０とプロセッサ３０が同一ダイ内にある。

【0094】

また、センサ１０はポイントセンサ（ｐｏｉｎｔ ｓｅｎｓｏｒ）であってもよく、その場合、該ポイントセンサのイベントアドレスはいずれも同一アドレスである。音センサのタイプに関しては、一実施例において、ステレオ音響効果収集を実現するために、少なくとも２つの物理的位置が異なる音センサを含んでもよい。

【0095】

非イベント駆動型または／及び単一チップ３上にない従来の回路システムに対し、このようなイベント駆動型システムの設計方法では、応用エネルギー消耗が非常に低く、非同期操作が可能である。特に、バッテリーによる電力供給や超長い稼働時間での使用要件に適している。

【0096】

単一チップ３上に複数のイベント駆動型部品を装着する相乗効果により、回路システム１は極めて低いエネルギーフットプリント（ｅｎｅｒｇｙ ｆｏｏｔｐｒｉｎｔ）で高速処理操作を可能にする。これらの操作は、特徴の検出及び分類方法であってもよい。これらの目的のために、プロセッサ３０は、イベント駆動型スパイキング人工ニューラルネットワーク（ｅｖｅｎｔ－ｄｒｉｖｅｎ ｓｐｉｋｉｎｇ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、または、イベント駆動型スパイキングニューラルネットワークと略称し、本分野ではスパイキングニューラルネットワークＳＮＮとも称される）として構成される。ＳＮＮは、様々なネットワークアルゴリズムを含むが、好ましくは、上述のニューラルネットワークは、特に、物体認識などの超高速の応用要件に適したイベント駆動型畳み込み（ｃｏｎｖｏｌｕｔｉｏｎａｌ）ニューラルネットワーク（ｓＣＮＮ）として構成される。

【0097】

前記ｓＣＮＮの具体的な実施形態は、少なくとも以下の先行技術を参照してもよい。
ＰＣＴ特許出願、発明の名称：「イベント駆動型スパイキング畳み込みニューラルネットワーク（Ｅｖｅｎｔ－ｄｒｉｖｅｎ ｓｐｉｋｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）」、公開日：２０２０年１０月１５日。
公知文献５：ＷＯ２０２０／２０７９８２Ａ１

【0098】

本発明は、全文引用の形で、その内容を本発明の開示内容の一部に組み込む。紙幅の都合上、具体的な内容は繰り返して説明しないが、本発明のｓＣＮＮの実施形態は、それに限定されない。また、本発明は、具体的な一実施例において、ＳＮＮ＋ＡＮＮなどの異種融合ネットワークであってもよいことを排除しない。

【0099】

イベント駆動型スパイキングニューラルネットワークまたはｓＣＮＮとして構成されたイベント駆動型プロセッサ３０は、回路集積の幾何構造と結合されて、長時間かつ低電力での使用要件のニーズにさらに適応できる。

【0100】

このように構成された集積回路システムは、「［テーブル］」、「［椅子］」、「［＊＊が近づいている］」など、検出された物体の関連情報を含む情報のみの出力を図ることができる。従来の技術に対し、大量のデータ情報を記録してアップロードする必要がなく、クラウドデータを接続する情報の転送遅延、大量の計算能力の需要、電力消耗を避け、例えば、ＩｏＴやエッジ計算分野など低消費電力、低遅延、低データストレージプレッシャー及びバッテリー寿命にかかる使用要件に非常に適している。本発明に関わる具体的な一実施例によれば、６５ｎｍプロセスで６４＊６４のＤＶＳを適応した技術手段による平均電力消費は０．１ｍＷと低く、ピーク電力消費はわずか１ｍＷであり、１２８＊１２８のＤＶＳを適応した手段の平均電力消費は、０．３ｍＷと低く、ピーク消費電力はわずか３ｍＷである。

【0101】

一実施例において、プロセッサ３０は少なくとも２つ（またはそれ以上）のプロセッサを含み、特に各プロセッサは異なるタスクを実行するように構成される。プロセッサ３０はまた、イベントを非同期処理するように構成される。

【0102】

図３は、一実施例におけるチップの断面図である。実装基板４には、例えばＣ４バンプ（ｂｕｍｐ）４３を用いてインターポーザ４０を接続することができ、インターポーザ４０には幾つかのスルーホールビア４２が設けられる。また、インターポーザ４０には幾つかのマイクロバンプ４１が設けられ、マイクロバンプ４１上に２つのダイ、すなわち第１のダイ（または第１の集積回路構造と称する）１－１、第２のダイ（または第２の集積回路構造と称する）１－２が設けられる。インターポーザ４０による設置は、マイクロバンプ（μｂｕｍｐ）４１及びスルーホールビア４２などのいずれかの具体的な手段によって第１のダイ１－１と第２のダイ１－２との結合を実現することができる。

【0103】

一実施例において、イベント駆動型インターフェースシステム（２０）及びイベント駆動型プロセッサ（３０）はいずれも第１のダイ（１－１）に配置される。

【0104】

一実施例において、イベント駆動型センサ（１０）及びイベント駆動型インターフェースシステム（２０）はいずれも第２のダイ（１－２）上に配置される。

【0105】

一実施例において、イベント駆動型インターフェースシステム（２０）の一部とイベント駆動型プロセッサ（３０）はいずれも第１のダイ（１－１）に配置され、イベント駆動型インターフェースシステム（２０）の他の一部とイベント駆動型センサ（１０）はいずれも第２のダイ（１－２）上に配置される。

【0106】

本発明にかかわるスルーホールビア４２は、シリコンスルーホールビア（ｔｈｒｏｕｇｈ ｓｉｌｉｃｏｎ ｖｉａ，ＴＳＶ）及びガラススルーホールビア（ｔｈｒｏｕｇｈ ｇｌａｓｓ ｖｉａ，ＴＧＶ）を含むが、これらに限定されない。

【0107】

一実施例において、上記の異なるダイは、Ｃｕ－Ｃｕ技術によって結合される。

【0108】

本発明に関わるインターポーザ４０は、シリコンインターポーザまたはガラスインターポーザを含むが、これらに限定されない。

【0109】

図４は、一実施例における３Ｄチップ幾何構造の断面図である。例示として、インターフェース２０及びプロセッサ３０は第１のダイ１－１に装着され、センサ１０は第２のダイ１－２に装着され、これはインターポーザ４０を介して第１の回路構造１－１と第２の回路構成１－２との空間的分離の可能性を示している。

【0110】

例えば、実装基板４とインターポーザ４０との間にＣ４バンプ４３があってもよい。インターポーザ４０は幾つかのスルーホールビア４２を含む。

【0111】

第１のダイ１－１とインターポーザ４０との間にはマイクロバンプ４１が含まれ、インターフェース２０とプロセッサ３０は、同一のダイ、すなわち第１のダイ１－１上に装着され、バンプ４１または／及びスルーホールビア４２などを介して、インターフェース２０とプロセッサ３０との間の電気的／電気結合を図る。インターフェース２０にはスルーホールビア４２が設けられ、センサ１０が配置された第２のダイ１－２と上記第１のダイ１－１との間は、マイクロバンプ４１を介して結合され、第２のダイ１－２が第１のダイ１－１の上に積層される。

【0112】

このように配置された３Ｄ構造のチップは、チップの占有面積を大幅に減少し、異なる部品間の情報転送速度を向上させ、システム全体の消費電力を低減した。

【0113】

特に好ましくは、このような構造の設計を有するチップでは、第２のダイ１－２と第１のダイ１－１のクリティカル寸法（ｃｒｉｔｉｃａｌ ｄｉｍｅｎｓｉｏｎ，ＣＤ）／製造プロセス（ｔｅｃｈｎｏｌｏｇｙ ｎｏｄｅ）が異なってもよく、例えば、第２のダイ１－２のプロセスは６５ｎｍより大きく、インターフェース及びプロセッサのプロセスは６５ｎｍより小さく、例えば２２／１４／１０／７／５ｎｍ以下である。これにより、チップの製造工程において、コストパフォーマンスのより良い製造工程を選択することが可能になり、本発明はその選択及び組み合わせ方法に関しては限定しない。

【0114】

プロセッサ３０及びインターフェース２０もいずれか同一製造プロセスを使用してもよく、且つ、同一集積回路構造／ダイ上または異なる集積回路構造上に製造される。

【0115】

図５に示される一実施例において、システムは、センサ信号を増幅し、記録された音／振動パワースペクトル（ｐｏｗｅｒ ｓｐｅｃｔｒｕｍ）の強度（ｉｎｔｅｎｓｉｔｙ）変化を示すイベント１００を出力するように構成され、イベント駆動型増幅器１３に連結された音／振動センサ１０’を含み、特に、ここでのイベントはパワースペクトル中各周波数につき非同期生成されたものである。したがって、増幅器１３及び音センサ１０’は、イベント駆動型センサ１０を構成する。増幅器１３はインターフェース２０に接続され、インターフェース２０は、増幅器１３によって生成されたいずれかイベント１００を処理し、処理されたイベントをプロセッサ３０に伝送するように構成される。この一実施例では、センサ１０’及び増幅器１３は同一チップ上に装着され、これは、単一チップ構造を維持できるというメリットがある。

【0116】

一実施例において、前記イベント駆動型センサ１０は、ポイントセンサ、１Ｄセンサ、２Ｄセンサのうちの１種または複数種の組み合わせである。

【0117】

一実施例において、前記イベント駆動型センサ１０は、音／振動センサ、ダイナミックビジョンセンサのうちの１種または複数種の組み合わせである。

【0118】

図６は、一実施例として、回路システム１内のセンサ１０によって生成されたイベント１００を処理するフローチャートを示している。例えば、一連のピクセル１１を含む２Ｄセンサ１０の場合、前処理イベント１００は、インターフェース２０を介して実現され、前処理された後、プロセッサ３０に出力される。

【0119】

本発明において、「上流」とはセンサに近い側を指し、「下流」とはプロセッサに近い側を指し、いずれもイベント処理の順番に関わる。図６に示されるように、複製モジュール２０１は、イベントルーティングモジュール２０５の上流に位置している。

【0120】

該図では、センサ１０とプロセッサ３０との間の各幾何図形は、いずれもインターフェース２０によって実行される少なくとも１つの処理ステップを表す。この目標を達成するために、インターフェース２０は、一連のインターフェースモジュール２００（２０１、２０２、２０３、２０４、２０５、２０６、２０７、２０８、２０８´などを含むがこれらに限定されない）を含む。インターフェースモジュール２００は、独立してプログラム可能なものであってよく、いずれか１つまたは複数のインターフェースモジュール（２００）は、プログラマブルスイッチによってバイパスされて、より多くのネットワーク構成を支持してもよい。好ましくは、インターフェースモジュール２００は、ハードウェア回路として特別に実施されてもよく、且つセンサ１０から受信したイベント１００をイベント駆動型及び非同期方式で、非同期処理するように構成されたプログラマブルデイジーチェーン（ｐｒｏｇｒａｍｍａｂｌｅ ｄａｉｓｙ ｃｈａｉｎ）を構成する。

【0121】

複製モジュール２０１（ｃｏｐｙ ｍｏｄｕｌｅ）
図６の一示例において、第１のインターフェースモジュール２０１は複製モジュールであり、センサ１０の後段に配置され、含まれている入力端２０１－１がセンサ１０の出力端１０－１に結合され、第１の出力端２０１－２ａ及び第２の出力端２０１－２ｂをさらに含む。複製モジュール２０１の入力端２０１－１は、イベント１００を受信し、複製操作を実行する、すなわち、受信したアドレス付きのイベント１００を複製し、且つ、複製されたイベント１００ｃ及びその複製したイベントアドレスを複製モジュール２０１の第１の出力端２０１－２ａに転送／発送（ｆｏｒｗａｒｄ）し、デイジーチェーンに沿って受信されたイベント１００を複製モジュール２０１の第２の出力端２０１－２ｂに送信するように構成される。

【0122】

複製イベント１００ｃは、異なるシステムの外部処理パイプライン（図示せず）に送り込まれ（ｆｅｅｄ）てもよい。複製モジュール２０１は、当該イベントが何らかの処理をされる前に、他のシステムへの結合を可能にする。

【0123】

融合モジュール２０２（ｍｅｒｇｅ ｍｏｄｕｌｅ）
一実施例において、融合モジュール２０２は複製モジュール２０１に結合され、融合モジュール２０２の第１の入力端２０２－１ａは複製モジュール２０１の第２の出力端２０１－１ｂに結合される。融合モジュール２０２には、さらに第２の入力端２０２－１ｂが設けられ、第２の入力２０２－１ｂは、本回路システムまたは他の回路システム（図示せず）からの他の部品／モジュールから、イベント１００ｅ（例えば、第二のセンサまたはデイジーチェーンが出力したイベント）を受信するように構成される。結合モジュール２０２は、受信したすべてのイベント１００または／及びイベント１００ｅをデイジーチェーンに沿って送信するように構成された出力端２０２－２をさらに含む。その後、イベント１００ｅは、イベント１００で形成されるストリーム（ｓｔｒｅａｍ）に融合されるので、これ以降は、イベント１００ｅとイベント１００とは区別されず、まとめてイベント１００と称する。該実施例はより多くの部品または／及び情報を回路システムの処理パイプラインに集約するようにし、より柔軟なシステム構成能力を有する。

【0124】

サブサンプリングモジュール２０３（ｓｕｂ－ｓａｍｐｌｉｎｇ／ｓｕｍ ｐｏｏｌｉｎｇ ｍｏｄｕｌｅ）
融合モジュール２０２の出力端２０２－２は、サブサンプリングモジュール２０３の入力端２０３－１に結合される。サブサンプリングモジュール２０３は、受信した幾つかのイベント１００に単一のアドレスを割り振るように構成されているため、異なるイベントアドレスの数を減らすことができる。このようにして、例えば、２Ｄアレイセンサ１０のいくつかの異なるピクセル１１を表すいくつかのイベントアドレスは、実際にはより少ないピクセルにサブサンプリングされてもよい。ある特定の使用要件において、サブサンプリング処理はビニング（ｂｉｎｎｉｎｇ）と呼ばれる。

【0125】

サブサンプリングモジュール２０３は、プログラマブルスイッチ（図示せず）によってバイパスされてもよい。

【0126】

関心領域モジュール２０４（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ ｍｏｄｕｌｅ，ＲＯＩ）
サブサンプリングモジュール２０３の出力端２０３－２は、関心領域モジュール２０４の入力端２０４－１に結合され、関心領域モジュール２０４は、少なくとも１つのイベントアドレスのプロパティ（ｐｒｏｐｅｒｔｙ）を調整（ａｄｊｕｓｔ）するように構成され、具体的には、調整方法は、少なくとも１つのイベントアドレスのプロパティをシフト（ｓｈｉｆｔ）、反転（ｆｌｉｐ）、スワップ（ｓｗａｐ）または／及び回転することであり、ＲＯＩモジュール内で実行される操作は、イベントアドレスの書き換えによる操作であってもよい。さらに、関心領域モジュール２０４は、さらに、アドレスプロパティ値がプログラマブルアドレスプロパティ値の範囲外であるイベントを破棄するように構成されてもよい。関心領域モジュール２０４はプログラム可能であり、プログラム可能な上述のアドレスプロパティ値の範囲を格納するように構成され、該アドレスプロパティ値の範囲はアドレスプロパティ毎に設定される。さらに、関心領域モジュール２０４は、受信したイベント１００（これらのイベント１００が廃棄されていない限り）を、調整されたアドレスとともにデイジーチェーンに沿って次の段階へ送信するように構成される。

【0127】

一実施例において、２Ｄ画像の観点から、該関心領域モジュール２０４は、イベント１００ピクセル座標におけるトリミング画像の操作または／及び他の基本的な幾何学的操作を可能にする。

【0128】

イベントルーティングモジュール２０５（ｅｖｅｎｔ ｒｏｕｔｉｎｇ ｍｏｄｕｌｅ）
イベントルーティングモジュール２０５の入力端２０５－１は、関心領域モジュール２０４の出力端２０４－２に結合されて、イベント１００を受信する。イベントルーティングモジュール２０５は、受信したイベント１００にヘッダー情報（ｈｅａｄｅｒ ｉｎｆｏｒｍａｔｉｏｎ）を追加し（ａｓｓｏｃｉａｔｅ）、イベント１００をそのヘッダー情報と共にイベントルーティングモジュール２０５の第１の出力端２０５－２ａに出力するように構成されてもよい。イベントルーティングモジュール２０５は、ヘッダー情報及び調整されたイベントアドレスを含むイベント１００を複製し、複製されたイベント１００を複製したヘッダー情報と共にイベントルーティングモジュール２０５の第２の出力端２０５－２ｂに出力するように構成されてもよく、該第２の出力端２０５－２ｂは、他のイベント駆動型プロセッサまたは他の処理パイプラインに結合されてもよい。

【0129】

これにより、このように構成されたイベントルーティングモジュール２０５は、任意のタイプのプロセッサ、プロセッサまたはプロセッサによって実行されるプログラムが必要とする任意のタイプに、フォーマットを入力し、イベントから前処理情報を提供する機能を回路システム１に追加する。

【0130】

イベントルーティングモジュール２０５の第１の出力端２０５－２ａは、プロセッサ３０に結合され、イベントアドレス及びヘッダー情報を有する処理されたイベント１００はプロセッサ３０に送り込まれ、モードや特徴の識別タスク等のタスク処理またはその他のアプリケーションが実行される。

【0131】

回路システム１は、センサ１０または類似のところから受信したイベント１００について、レート制御タスク、ホットピクセルフィルタリングタスク、イベントアドレス書き換えタスクなどのタスクを実行するように構成される他のインターフェースモジュール２００をさらに含んでもよい（図８～９を参照）。

【0132】

レート制御モジュール（ｒａｔｉｎｇ ｌｉｍｉｔ ｍｏｄｕｌｅ）
イベントのレートが最大レートを上回らないように制限するように構成される。例として、特に同一イベントアドレスを有するレートを制限し、最大速度を上回ると、イベントの一部（ｆｒａｃｔｉｏｎ）のみがデイジーチェーンに沿って送信される。例えば、ｎ番目ごとに受信されたイベントはデイジーチェーンに沿って送信されない（ｎは現行のイベントレートに応じて決定された値である）。該最大レートは、メモリ内にプログラム可能に且つ調整可能に格納されてもよく、該メモリはレート制御モジュールに属してもよく、当該モジュールの外部からのものであってもよい。レート制御モジュールは、該モジュールのイベント受信レートを決定するためのクロックを有する処理ユニットを含みまたはそれに接続されてもよい。このようにして、デイジーチェーン上のイベントレートは、最大レートを上回ることなく、同時にプロセッサ３０に送り込まれるデータのレートも制限される。

【0133】

各インターフェースモジュール２００はプログラム可能であり、いうまでもなく、該インターフェースモジュールは、適切なコマンドが発行されることで容易にバイパスされてもよい。例えば、座標反転を必要としない場合、関心領域モジュール２０４全体をバイパスすることによって実現でき、サブサンプリングモジュール２０３とイベントルーティングモジュール２０５との直結が実現される。

【0134】

図７は、センサが、振動する音センサを記録するときの一実施例を示す。センサは増幅器（図５参照）及びフィルタ（ｆｉｌｔｅｒ）を含み、センサは、音センサからイベントを生成し、センサによって記録されたパワースペクトル（ｐｏｗｅｒ ｓｐｅｃｔｒｕｍ）に応じてイベント１００を非同期符号化するように構成される。さらに、増幅器はチャネルをシフト（ｓｈｉｆｔ ａ ｃｈａｎｎｅｌ）するように構成されてもよい。併合ユニットとして、音センサと増幅器とを全体としてイベント駆動型センサ１０と見なしてもよい。

【0135】

上述のように、イベント駆動型センサ１０はイベント１００を融合モジュール２０２に伝送し、イベント１００ｅは異なる処理パイプラインから伝送され、イベント駆動型センサ１０によって生成されたイベント１００に融合される。また、上述の例のように、融合されたイベント１００は複製モジュール２０１に送られるため、融合イベント１００は複製される。複製されたイベント１００ｃは、その後イベント１００ｅが同一処理パイプラインに送られ（これが、イベント１００ｅが融合モジュール２０２で受信される源となる）、または他の処理パイプライン（図示せず）に送られる。これにより、デイジーチェーンの設計や処理の自由度が大幅に向上する。この一実施例では、多くのイベント１００、１００ｅがデイジーチェーンの初期段階で送り込まれている可能性があることがよく分かる。デイジーチェーンのインターフェース２０を含むプログラマブルモジュールの利点は、プロセッサ３０において、共通のイベントフォーマットまたは／及びイベントアドレスフォーマットに基づいて、イベント１００を処理することができ、プロセッサは所定の目的を実行し、さらなる処理を必要としない。

【0136】

複製モジュール２０１と融合モジュール２０２との協働は、特にイベント１００の処理の初期段階において、システムの相互運用性（ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ）を大幅に向上させている。

【0137】

マッピングモジュール２０６（ｍａｐｐｉｎｇ ｍｏｄｕｌｅ）
マッピングモジュール２０６（それ自体がＲＯＩモジュール２０４を含む）は、インターフェースモジュール２００のプール化（ｐｏｏｌｉｎｇ、基本的にサブサンプリングに相当）を担うサブサンプリングモジュール２０３と、イベントのルーティングを担うイベントルーティングモジュール２０５との間（図６参照）に配置されてもよく、目的は豊富なイベントアドレスマッピング操作を実現することにある。

【0138】

一実施例によれば、あるインターフェースモジュールは、マッピングモジュール（上述のマッピングモジュール２０６など）であって／それを含み、マッピングモジュール２０６は、１つのイベントアドレスを別のイベントアドレスにマッピングするように構成される。マッピングモジュール２０６は、以下の１つまたは組み合わせを含む。
１．関心領域モジュール（ＲＯＩ ２０４）、
２．ルックアップテーブル（ＬＵＴ）モジュール、
３．イベントのイベントアドレスを反転または／及び回転するように構成される、反転または／及び回転モジュール。

【0139】

好ましくは、本発明のすべてのインターフェースモジュール（後述のものを含む）は、それらの内部プログラマブルスイッチによってバイパスされてもよい。

【0140】

図８は、一実施例において、インターフェース２０に組み込まれる、プログラマブルインターフェースモジュール２００によって実現されるデイジーチェーンを示す。

【0141】

イベントアドレス書き換えモジュール２０７（ｅｖｅｎｔ ａｄｄｒｅｓｓ ｒｅｗｒｉｔｅ ｍｏｄｕｌｅ）
イベント駆動型センサ１０は、イベント１０のストリームを提供し、いずれかイベントアドレス書き換えモジュール２０７に送られる。該イベントアドレス書き換えモジュール２０７は、イベントフォーマットを後続の処理ステップのための共用／共通フォーマットに書き換えるように構成され、すなわち、センサから受信したイベントアドレスを共通のアドレスフォーマットに変換し、それによって共通のイベントアドレスフォーマットがデイジーチェーン上で伝送される。イベントアドレス書き換えモジュール２０７は、実際には任意のイベントフォーマットが提供する任意のタイプのセンサ１０に対応するために、特定のセンサモデル用にプログラム可能なものであってよい。イベントのフォーマットは、バイト順（ｂｙｔｅ－ｏｒｄｅｒ）と生成されたイベントに格納されているイベントアドレスのフォーマットに関連することがある。共通のイベントアドレスフォーマットは所定のデータフォーマットであり、これにより後続の処理は所定のデータフォーマットによるものとなるので、イベントフォーマットに関するダブルチェック（ｄｏｕｂｌｅ ｃｈｅｃｋ）の実例を省き、より高速な処理を図る。

【0142】

イベントアドレスフィルターモジュール２０８（ｅｖｅｎｔ ａｄｄｒｅｓｓ ｆｉｌｔｅｒ ｍｏｄｕｌｅ）
イベントアドレス書き換えモジュール２０７によって通常のイベント及びイベントアドレスのフォーマットが完了すると、イベントはイベントアドレスフィルターモジュール２０８によってさらに処理される。イベントアドレスフィルターモジュール２０８は、特定の選択されたイベントアドレスを有する一連のイベントをフィルタリング除去するように構成される。前記選択されたイベントアドレスは、ＣＡＭメモリ（Ｃｏｎｔｅｎｔ－ａｄｄｒｅｓｓａｂｌｅ ｍｅｍｏｒｙ）に格納され、読まれ、書かれてもよい。これらのフィルターは、ホットピクセル及び類似物をフィルタリング除去するようにする。したがって、イベントアドレスフィルターモジュール２０８は、ホットピクセルフィルターモジュールであってもよい。イベントアドレス書き換えモジュール２０７の後、イベントアドレスフィルターモジュール２０８は、最初のモジュールまたはその一部として、初期段階で、デイジーチェーン上で送信されるイベントの数を減らすことができ、この処理方法によって、デイジーチェーンのエネルギー消耗が低減される。プロセッサ３０もアドレスをフィルタリングする機能を有する場合、イベントアドレス書き換えモジュール２０７はバイパスされてもよい。

【0143】

フィルタリングされたイベント１００は、複製モジュール２０１または／及び融合モジュール２０２に送られ、該２つのモジュールは、それぞれ、外部システムへのセンサの複製イベント１００ｃの提供、及び外部のイベント１００ｅソースの取り組みを実現してもよい。複製モジュール２０１及び融合モジュール２０２は、プログラミングによって独立してバイパスされてもよい。

【0144】

複製モジュール２０１と融合モジュール２０２を同時に含む技術解決手段では、両方の順番は２つの異なる処理順、すなわち、先に複製モジュール２０１で、次に融合モジュール２０２、またはその逆であってもよい。（詳細は、前述の図６～７の実施例の記載を参照）。

【0145】

複製モジュール２０１または／及び融合モジュール２０２の後、サブサンプリングモジュール２０３は、前述実施例の方法で入力されたイベントを処理する。サブサンプリングモジュール２０３をデイジーチェーンの特定の位置に配置することで、すべてのイベントを処理することができる（イベントが外部からのものであっても）。

【0146】

関心領域モジュール２０４は、サブサンプリングモジュール２０３の後続部分にあり、サブサンプリングモジュール２０３から送られたすべてのイベントを処理する。関心領域モジュール２０４は、イベントアドレスの数を減らし、それによって作業負荷を減らす。関心領域モジュール２０４も、イベントアドレスのＸ、Ｙ座標を反転または／及び回転するように構成されてもよい。

【0147】

関心領域モジュール２０４の後続部分に配置されるのは、プロセッサ３０に送信されるイベント１０にヘッダー情報を提供するなど、イベントを準備するように構成されるイベントルーティングモジュール２０５である。

【0148】

図８に示されるデイジーチェーンは、センサ１０または他のソースからのイベントを効率的、高速及び柔軟に処理するための共通の処理方法を提供する。

【0149】

ホットピクセル処理モジュール２０８´（ｈｏｔ ｐｉｘｅｌ ｆｉｌｔｅｒ ｍｏｄｕｌｅ）
図９は、イベントアドレスフィルターモジュール２０８の具体的な一実施例としてのホットピクセルフィルターモジュール２０８´である。ホットピクセルフィルターモジュール２０８´の機能は、特定のイベントアドレスを有するイベントをフィルタリングすることである。例えば、デイジーチェーン上のこのようなイベントを削減または完全に削除するようにする。このようなイベントは、２Ｄアレイセンサなどの入力デバイスのピクセルが損なわれたり（ｃｏｍｐｒｏｍｉｓｅｄ）破損されたりするため削除される。ホットピクセルフィルターモジュール２０８’は、イベント１００を受信するための入力端２０８’－１を含む。

【0150】

イベント１００を受信した後、ホットピクセルフィルタリング有効（ｅｎａｂｌｅ）判定ステップＳ８００を経て、無効（Ｎｏ，Ｄｉｓａｂｌｅｄ）であると判定された場合、ホットピクセルフィルターモジュール２０８´は、プログラミングスイッチを介して直接バイパスされ、イベント１００はホットピクセルフィルターモジュール２０８´の出力端２０８´－２に直接送り込まれる（Ｓ８０１）。Ｓ８００で有効（Ｙｅｓ，Ｅｎａｂｌｅｄ）であると判定された場合、好ましくは、所定のフィルタリング待ちのイベントアドレスのリストがＣＡＭメモリ２０８´－３から読み出される。アドレス比較／マッチング（ｍａｔｃｈ）ステップＳ８０２では、イベント１００のアドレスがリスト中のフィルタリング待ちのアドレスに属するか否かを検証する。受信したイベント１００のアドレスがリスト内のアドレスと一致する場合、該イベント１００はデイジーチェーンにおいてフィルタリング除去（ｆｉｌｔｅｒｅｄ ｏｕｔ）され（Ｓ８０３）、破棄（ｄｒｏｐｐｅｄ）される。また、上記のリストにイベント１００のアドレスと一致するアドレスがない場合、イベント１００は、ホットピクセルフィルターモジュール２０８’の出力端２０８’－２でパイプラインに出力される。

【0151】

図１０は、一実施例におけるサブサンプリングモジュール２０３の動作フローチャートを示している。入力されたイベント１００は、関連するアドレス、特にＸ、Ｙ、Ｚ座標などのアドレス座標を評価することによって処理される。

【0152】

例えば、イベント１００のアドレスは、分離モジュール２０３－４によって３つの異なるアドレスに分離される。上記の座標（Ｘ、Ｙ、Ｚ）はシフトまたは分割（ｄｉｖｉｓｉｏｎ）操作Ｓ９０１の後、座標Ｘ、Ｙ、Ｚは、データ量の少ない座標セットにサブサンプリングされ、これにより、ピクセル座標の数が顕著に低減される。このように処理されたイベントアドレスは、その後アドレス再構築モジュール２０３－５で融合され、調整されたアドレスは、イベント１００と共に次のステージに送られ、さらに処理される。

【0153】

具体的には、分離モジュール２０３－４は、受信したイベントのアドレス値（例えば、Ｘ、Ｙ、Ｚ座標）に応じて、イベント１００を関連するサブサンプリングモジュール内のスケーリングレジスタ（ｓｃａｌｉｎｇ ｒｅｇｉｓｔｅｒ）にルーティングするように構成され、該スケーリングレジスタは、受信したアドレス値を分割、サブサンプリング、プール化または／及びシフトし、アドレス値をサブサンプリングモジュール内のアドレス再構築モジュール２０３－５に出力するように構成され、該アドレス再構築モジュール２０３－５は、スケーリングされたアドレス値に応じてイベントアドレスを調整し、その後アドレスが調整されたイベントをデイジーチェーンに沿って送信するように構成される。

【0154】

例えば、サブサンプリングモジュールは、隣接する入力デバイスのイベントアドレスをプール化することで、２Ｄアレイセンサのピクセル解像度を調整して、Ｘ、Ｙ軸上のピクセル数を減らすことができる。例えば、プロセッサによって処理される画像の解像度は、２５６＊２５６から６４＊６４までとすることができる。１Ｄセンサの場合、上記と同様に構成されたサブサンプリングモジュールによって処理することができる。

【0155】

一実施例において、イベント１００は、上述のように分離処理されず、単に単独でサブサンプリングモジュール２０３をループスルー（ｌｏｏｐ ｔｈｒｏｕｇｈ）する（Ｓ９００）チャネル識別子（ｃｈａｎｎｅｌ ｉｄｅｎｔｉｆｉｅｒ）をさらに含むことができる。

【0156】

（三）、回避設計手段に関する声明
本発明の具体的特徴及び実施例を参考にして、本発明を記述したが、本発明から逸脱することなく、様々な変更及び組み合わせを行うことができる。このため、明細書及び図面は、単に添付の請求項により限定された本発明の一部実施例の紹介とみなすべきであり、本発明の範囲内のあらゆる変更、変化、組み合わせ、または等価物を網羅することを意図している。したがって、本発明及びその利点を詳細に説明したが、添付の請求項によって限定された本発明から逸脱することなく、さまざまな改良、置換及び変更を行うことができる。さらに、本出願の範囲は、明細書に記載されたプロセス、設備、製造、物質組成、装置、方法及びステップの特定の実施形態に限定されることを意図しない。

【0157】

本分野の当業者は、本発明の開示内容から、本発明によって本明細書に記載された対応する実施例と実質的に同一機能または実質的に同一結果を達成する現行存在しまたは後に開発されるプロセス、設備、製造、物質組成、装置、方法またはステップを適応し、実行することができることを容易に理解されるだろう。したがって、添付の請求項は、その範囲内に、このようなプロセス、設備、製造、物質組成、装置、方法、またはステップを含むことを意図している。

【0158】

よりよい技術的効果を実現し、又はいくつかの応用の需要から、本分野当業者は、本発明を踏まえて、技術手段をさらに変更する可能性がある。しかしながら、たとえ該一部の改良／設計が創造性又は／及び進歩性を有していたとしても、本発明の請求項に含まれる技術的特徴が活用されている限り、「完全網羅の原則」に従って、該技術手段は、同様に本発明の保護範囲内に入るべきである。

【0159】

添付の請求項中で取り上げたいくつかの技術的特徴には、代替の技術的特徴が存在する可能性があり、又はいくつかの技術的フローの順序、物質組成順序を再構成することができる。本分野一般当業者は、本発明を知った後、該いくつかの置換手段を容易に想到し、又は技術的フローの順序、物質組成順序を変更し、その後、ほぼ同一の手段を用いて、ほぼ同一の技術的課題を解決し、ほぼ同一の技術的効果を達成する。このため、このため、たとえ請求項中に上記手段又は／及び順序を明確に限定していたとしても、該いくつかの修飾、変更、置換はすべて、等価原則により請求項の保護範囲に入るべきである。

【0160】

請求項で数字的に明確に限定されている電圧、例えば１．５Ｖの電圧の場合、電圧値が１．５Ｖでなければならないと厳密な制限として理解すべきではない。通常の場合、当業者は、１．２Ｖ及び１．８Ｖの電圧も、ある具体的な実施方法に適用可能であると理解される。本発明の構想から逸脱せず細部を通じて回避されるこれらの設計上の手段も、請求項の保護範囲内に含まれる。

【0161】

本明細書中で公開した実施例中に記述した各方法ステップ又はユニットを結び付ければ、電子ハードウェア、コンピュータソフトウェア又は両者の結合により実現することができ、ハードウェア及びソフトウェアの互換性を明確に説明するため、上記説明中ではすでに機能に応じて各実施例のステップ及び組成を一般的に記述した。これらの機能が結局のところハードウェアの形で実行されるか、ソフトウェアの形で実行されるかは、技術手段の特定の応用又は設計規定により決まる。本分野一般当業者なら、各特定の応用について、異なる方法を使用して記述された機能を実現することができるが、このような実現は、本発明が保護を求める範囲外にあると考えてはならない。

【0162】

また、本明細書に例示された指令を実行するいずれかのモジュール、構成要素またはデバイスは、例えば、コンピュータ／プロセッサ可読指令、データ構造、プログラムモジュール及び／またはその他のデータのような情報を格納するための非一時的コンピュータ／プロセッサ可読記憶媒体または媒体を含んでもよく、またはそれにその他の方法でアクセスしてもよい。このような、いかなる非一時的コンピュータ／プロセッサ記憶媒体は、デバイスの一部であってもよく、またはデバイスにアクセス可能でまたは接続可能である。本明細書に記載されているいかなる応用またはモジュールは、コンピュータ／プロセッサ可読／実行可能な指令を使用して実現してもよく、この指令は、このような非一時的コンピュータ／プロセッサ可読記憶媒体によって格納してもよく、または他の方法で保持してもよい。

【符号の説明】

【0163】

１ イベント駆動型集積回路システム
１－１ 第１のダイ
１－２ 第２のダイ
３ チップ
４ 実装基板
１０ イベント駆動型センサ
１０－１ イベント駆動型センサの出力端
１０’ 音声／振動センサ
１１ イベント駆動型入力デバイス／画素
１２ センサ出力端
１３ イベント駆動型増幅器
２０ イベント駆動型インターフェースシステム
２１ インターフェースシステム入力端
２１－１ インターフェースシステム１番入力端
２１－２ インターフェースシステム２番入力端
２２ インターフェースシステム出力端
２２－１ インターフェースシステム１番出力端
２２－２ インターフェースシステム２番出力端
３０ イベント駆動型プロセッサ
４０ インターポーザ
４１ μバンプ
４２ スルーホールビア
４３ Ｃ４バンプ
１００、１００ｅ イベント
２００ インタフェースモジュール
２０１ 複製モジュール
２０１－１ 複製モジュールの入力端
２０１－２ａ 複製モジュールの第１出力端
２０１－２ｂ 複製モジュールの第２出力端
２０２ 融合モジュール
２０２－１ａ 融合モジュールの第１入力端
２０２－１ｂ 融合モジュールの第２入力端
２０２－２ 融合モジュールの出力端
２０３ サブサンプリングモジュール
２０３－１ サブサンプリングモジュールの入力端
２０３－２ サブサンプリングモジュールの出力端
２０４ 関心領域モジュール
２０４－１ 関心領域モジュールの入力端
２０４－２ 関心領域モジュールの出力端
２０５ イベントルーティングモジュール
２０５－１ イベントルーティングモジュールの入力端
２０５－２ａ イベントルーティングモジュールの第１出力端
２０５－２ｂ イベントルーティングモジュールの第２出力端
１００ｃ 複製イベント
１０１ 前処理後のイベント
２０６ マッピングモジュール
２０７ イベントアドレス書き換えモジュール
２０８ イベントアドレスフィルターモジュール
２０８’ ホットピクセルフィルターモジュール
２０８’－１ ホットピクセルフィルターモジュールの入力端
２０８’－２ ホットピクセルフィルターモジュールの出力端
２０８’－３ ＣＡＭメモリ
Ｓ８００ ホットピクセルフィルター有効化判定ステップ
Ｓ８０１ 直接送り込みイベントステップ
Ｓ８０２ アドレスマッチステップ
Ｓ８０３ フィルタリング除去ステップ
２０３－４ 分離モジュール
２０３－５ アドレス再構築モジュール
Ｓ９００ ループスルーステップ
Ｓ９０１ シフトまたは分割操作

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】