特表 2024-518863 フレーム画像スパイク変換システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-08

(54)【発明の名称】フレーム画像スパイク変換システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240426BHJP

【ＦＩ】

G06T7/00 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023542914

(86)(22)【出願日】2022-06-07

(85)【翻訳文提出日】2023-07-13

(86)【国際出願番号】 CN2022097292

(87)【国際公開番号】W WO2023197429

(87)【国際公開日】2023-10-19

(31)【優先権主張番号】202210381831.2

(32)【優先日】2022-04-13

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】202210387836.6

(32)【優先日】2022-04-14

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】523267575

【氏名又は名称】深▲セン▼▲時▼▲識▼科技有限公司

(71)【出願人】

【識別番号】523267586

【氏名又は名称】上▲海▼▲時▼▲識▼科技有限公司

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】柯 凌云

(72)【発明者】

【氏名】▲シン▼ 雁南

(72)【発明者】

【氏名】白 ▲シン▼

(72)【発明者】

【氏名】▲喬▼ ▲寧▼

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096CA14

5L096EA05

5L096EA33

5L096FA06

5L096FA32

5L096FA35

5L096FA54

5L096GA08

5L096GA40

5L096GA51

5L096GA55

5L096HA11

5L096MA07

(57)【要約】

本発明はフレーム画像スパイク変換システムを公開した。フレーム画像をスパイク事象に変換する際の消費電力が大きいという技術的問題を解決するために、本発明は、フレーム画像間の有効画素変化量に応じて、フレームレート又は差分フレーム周波数を自己適応的に調整することで、システムの消費電力を低減し、使用要件に自己適応的に対応し、フレーム画像をスパイク事象に変換した後、ＳＮＮプロセッサにそのまま適用することで推論精度が低くなるという問題を解決するために、本発明は、画像のランダム化工程を全体的に考慮し、グローバルなランダム化手段を提案した。本発明は、フレーム画像センサをＳＮＮプロセッサに適用するプロセス全体を開示し、事象カメラの代替手段を提供した。本発明は、脳型チップ及びＡＩｏＴの分野に適する。

【特許請求の範囲】

【請求項1】

自己適応スパイク生成方法であって、
フレーム画像間の差異を比較し、フレーム差分中の各画素座標点のフレーム差分画素値を得るステップと、
前記フレーム差分画素値から、画素座標に対応するスパイク事象数を得るステップと、
少なくとも該フレーム差分の全体のフレーム差分画素値又は／及び対応する全体のスパイク事象数から、フレーム画像の生成フレームレート又はフレーム差分周波数を調整するかどうかを判断するステップと、
を含むことを特徴とする自己適応スパイク生成方法。

【請求項2】

フレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素個数のカウント値が、第１の閾値より小さい場合、フレームレート若しくはフレーム差分周波数を低下させ、又は／及び第２の閾値より大きい場合、前記フレームレート若しくはフレーム差分周波数を上昇させ、又は、
フレーム差分が対応するスパイク事象数の総和、若しくは所定条件を満たすスパイク事象数の総和、若しくはスパイク事象数が所定条件を満たすフレーム差分画素個数のカウント値が、第１の閾値より小さい場合、フレームレート若しくはフレーム差分周波数を低下させ、又は／及び第２の閾値より大きい場合、前記フレームレート若しくはフレーム差分周波数を上昇させることを特徴とする請求項１に記載の自己適応スパイク生成方法。

【請求項3】

画素値が所定条件を満たすフレーム差分画素個数のカウント値が、第１の比より小さい場合、フレームレート若しくはフレーム差分周波数を低下させ、又は／及び第２の比より大きい場合、前記フレームレート若しくはフレーム差分周波数を上昇させ、前記第１の比は、前記画素値が所定条件を満たすフレーム差分画素個数のカウント値がフレーム差分画素全体中に占める割合であり、又は、
スパイク事象数が所定条件を満たすフレーム差分画素個数のカウント値が、第１の比より小さい場合、フレームレート若しくはフレーム差分周波数を低下させ、又は／及び第２の比より大きい場合、前記フレームレート又はフレーム差分周波数を上昇させ、前記第２の比は、前記スパイク事象数が所定条件を満たすフレーム差分画素個数のカウント値がフレーム差分画素全体中に占める割合であることを特徴とする請求項１に記載の自己適応スパイク生成方法。

【請求項4】

前記フレームレート低下させ、若しくはフレーム差分周波数の第１の時間間隔を短縮した後、フレームレート若しくはフレーム差分周波数をデフォルト値まで回復し、又は／及び、第２の時間間隔内で、フレーム差分画素値の総和若しくは／及びスパイク事象数の総和がともに第１の閾値より小さい場合、前記フレームレート若しくはフレーム差分周波数を低下させることを特徴とする請求項１に記載の自己適応スパイク生成方法。

【請求項5】

スパイク事象数から、ランダム化された目標スパイクシーケンスを生成するステップ、
フレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素個数のカウント値が、第３の閾値より大きいかどうかを判断し、大きい場合、前記フレーム差分画素値から、画素座標に対応するスパイク事象数を得るステップをそれ以上実行しない、ステップ、又は、
フレーム差分が対応するスパイク事象数の総和、若しくは所定条件を満たすスパイク事象数の総和、若しくはスパイク事象数が所定条件を満たすフレーム差分画素個数のカウント値が、第３の閾値より大きいかどうかを判断し、大きい場合、スパイク事象数から、ランダム化された目標スパイクシーケンスを生成するステップをそれ以上実行しない、ステップ
をさらに含むことを特徴とする請求項１に記載の自己適応スパイク生成方法。

【請求項6】

目標スパイクシーケンスを生成する自己適応スパイク生成装置であって、
フレーム画像間の差異を比較し、フレーム差分中の各画素座標点のフレーム差分画素値を得るフレーム差分モジュールと、
前記フレーム差分画素値から、画素座標に対応するスパイク事象数を生成するスパイク事象数生成モジュールと、
前記スパイク事象数から、ランダム化の目標スパイクシーケンスを生成するランダム化モジュールと、
少なくとも該フレーム差分の全体のフレーム差分画素値又は／及び対応する全体のスパイク事象数から、フレーム画像の生成フレームレート又はフレーム差分周波数を調整するかどうかを判断する第１の判断モジュールと、
を含むことを特徴とする自己適応スパイク生成装置。

【請求項7】

フレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素個数のカウント値が、第１の閾値より小さい場合、フレームレート若しくはフレーム差分周波数を低下させ、又は／及び第２の閾値より大きい場合、前記フレームレート若しくはフレーム差分周波数を上昇させ、又は、
フレーム差分が対応するスパイク事象数の総和、若しくは所定条件を満たすスパイク事象数の総和、若しくはスパイク事象数が所定条件を満たすフレーム差分画素個数のカウント値が、第１の閾値より小さい場合、フレームレート若しくはフレーム差分周波数を低下させ、又は／及び第２の閾値より大きい場合、前記フレームレート若しくはフレーム差分周波数を上昇させることを特徴とする請求項６に記載の自己適応スパイク生成装置。

【請求項8】

前記フレーム差分画素値の総和又は／及びスパイク事象数の総和が第３の閾値より大きいかどうかを判断し、大きい場合、スパイク事象に対するランダム化操作を終了する第２の判断モジュールをさらに含むことを特徴とする請求項６に記載の自己適応スパイク生成装置。

【請求項9】

フレーム画像間のフレーム差分画素値を取得するステップと、フレーム差分画素値に基づき、該フレーム差分画素値が対応するスパイク事象数を計算するステップと、を含むスパイクシーケンスランダム化方法であって、
該スパイクシーケンスランダム化方法は、
ｉ）数が前記スパイク事象数と同一のメモリユニットすべてに前記フレーム差分画素値が対応する画素座標を格納し、現行取得しているランダム数に基づき、該ランダム数に対応するメモリユニットに格納された画素座標を読み取り、少なくとも読み取った画素座標情報に基づき、目標スパイクシーケンス中のスパイク事象を生成するステップ、
ｉｉ）前記スパイク事象数を前記フレーム差分画素値の画素座標に対応するメモリユニットに格納し、現行取得しているランダム数に基づき、該ランダム数に対応するメモリユニットに格納されたスパイク事象数を読み取り、読み取ったスパイク事象数がゼロでない場合、少なくとも該メモリユニットが対応するフレーム差分画素値の画素座標情報に基づき、目標スパイクシーケンス中のスパイク事象を生成するステップ、
のうち少なくとも１つをさらに含むことを特徴とするスパイクシーケンスランダム化方法。

【請求項10】

前記フレーム差分画素値は、隣り合う２つのフレーム画像間の画素値の差、又は隣り合う２つのフレーム画像間の画素値の差の絶対値であることを特徴とする請求項９に記載のスパイクシーケンスランダム化方法。

【請求項11】

該フレーム差分画素値が対応するスパイク事象数は、
ｉ）該フレーム差分画素値と許容される単一画素が放出する最大スパイク事象数との積と、フレーム差分中の画素の理論最大値との比、
ｉｉ）該フレーム差分画素値と許容される単一画素が放出する最大スパイク事象数との積と、フレーム差分中の最大画素値との比、
ｉｉｉ）該フレーム差分画素値と許容される単一画素が放出する最大スパイク事象数との積と、フレーム差分中の最大画素値又は第１の下限値のうち大きい方との比、
のうち１つに基づいて得られることを特徴とする請求項９に記載のスパイクシーケンスランダム化方法。

【請求項12】

フレーム画像間のフレーム差分画素値を取得した後、該フレーム差分画素値が第２の下限値より小さい場合、該フレーム差分画素値をゼロとすることを特徴とする請求項９に記載のスパイクシーケンスランダム化方法。

【請求項13】

ランダム数生成モジュールによりランダム数シーケンスを生成し、現行取得しているランダム数は、ランダム数シーケンスに由来し、
該ランダム数シーケンスは、１サイクル内で同一のランダム数を生成することはなく、
前記ランダム数生成モジュールは、線形フィードバックシフトレジスタによる少なくとも１つのランダム数生成器を含み、又は、該ランダム数シーケンスのサイクルは、フレーム差分画素数と許容される単一画素が放出する最大スパイク事象数との積に等しく、若しくはフレーム差分画素数に等しい
ことを特徴とする請求項９に記載のスパイクシーケンスランダム化方法。

【請求項14】

現行取得しているランダム数に基づき、該ランダム数に対応するメモリユニットに格納されたスパイク事象数を読み取る場合、前記ランダム数は、ランダム数シーケンスに由来し、該ランダム数シーケンスのサイクルは、フレーム差分画素数に等しく、
各フレーム差分について、ランダム数シーケンスが実行するサイクル数は、許容される単一画素が放出する最大スパイク事象数に等しい
ことを特徴とする請求項９に記載のスパイクシーケンスランダム化方法。

【請求項15】

チャネル出力信号を取得するステップと、
チャネル出力信号に基づき、該チャネル出力信号が対応するスパイク事象数を取得するステップと、
を含むスパイクシーケンスランダム化方法において、
ｉ）数が前記スパイク事象数と同一のメモリユニットすべてに前記チャネル出力信号が対応するチャネルアドレスを格納し、現行取得しているランダム数に基づき、該ランダム数に対応するメモリユニットに格納されたチャネルアドレスを読み取り、少なくとも読み取ったチャネルアドレス情報に基づき、目標スパイクシーケンス中のスパイク事象を生成するステップ、
ｉｉ）前記スパイク事象数を前記チャネル出力信号のチャネルアドレスに対応するメモリユニットに格納し、現行取得しているランダム数に基づき、該ランダム数に対応するメモリユニットに格納されたスパイク事象数を読み取り、読み取ったスパイク事象数がゼロでない場合、少なくとも該メモリユニットが対応するチャネル出力信号のチャネルアドレス情報に基づき、目標スパイクシーケンス中のスパイク事象を生成するステップ、
のうち少なくとも１つをさらに含むことを特徴とするスパイクシーケンスランダム化方法。

【請求項16】

フレーム差分メモリスペース及びスパイク事象アドレスメモリスペース若しくはスパイク事象数メモリスペース、又は、
フレーム画像メモリスペース及びスパイク事象数メモリスペース
を含み、
スパイクシーケンスランダム化装置は、請求項９～１５のいずれか１項に記載のスパイクシーケンスランダム化方法を実行するように構成され、
フレーム差分メモリスペースは、フレーム差分画素値を格納するものであり、
スパイク事象アドレスメモリスペースに含まれるメモリユニットは、フレーム差分画素値が対応する画素座標を格納するものであり、
スパイク事象数メモリスペースに含まれるメモリユニットは、フレーム差分画素値が対応するスパイク事象数を格納するものであり、
フレーム画像メモリスペースに含まれるメモリユニットは、フレーム画像センサから取得した最新画素値を格納するものである
ことを特徴とするスパイクシーケンスランダム化装置。

【請求項17】

脳型チップであって、
請求項１～５のいずれか１項に記載の自己適応スパイク生成方法を使用し、又は、
請求項６～８のいずれか１項に記載の自己適応スパイク生成装置を含み、又は、
請求項９～１５のいずれか１項に記載のスパイクシーケンスランダム化方法を応用し、又は、
請求項１６に記載のスパイクシーケンスランダム化装置を含む
ことを特徴とする脳型チップ。

【請求項18】

電子機器において、
請求項６～８のいずれか１項に記載の自己適応スパイク生成装置を含み、又は、
請求項１６に記載のスパイクシーケンスランダム化装置を含み、又は、
請求項１７に記載の脳型チップを含む
ことを特徴とする該電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本特許出願は、２０２２年４月１３日に中国国家知識産権局に提出された出願番号２０２２１０３８１８３１．２の発明特許出願（自己適応スパイク生成方法、装置、脳型チップ及び電子機器）、２０２２年４月１４日に中国国家知識産権局に提出された出願番号２０２２１０３８７８３６．６の発明特許出願（スパイクシーケンスランダム化方法、装置、脳型チップ及び電子機器）を優先権とし、そこに記載されたすべての内容を該特許出願書類中に導入し、統合することを求めるものである。

【0002】

本発明は、フレーム画像をスパイク（ｓｐｉｋｅｓ）事象（Ｅｖｅｎｔ、イベント）に変換する方法、装置、脳型チップ及び電子機器に関し、具体的には、自己適応スパイク生成及びそのランダム化方法、装置、脳型チップ並びに電子機器に関する。

【背景技術】

【0003】

スパイキングニューラルネットワーク（Ｓｐｉｋｉｎｇ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＳＮＮ）は、豊富なニューラルダイナミクス特性及びスパイク事象の通信方式により、複雑、スパース且つノイズの多い時空情報を高効率処理する面で卓越した性能が得られ、現時点で最もヒトの脳の動作モデルに近いニューラルネットワークである。超低電力消費、ハイレベルインテリジェンスで将来有望であるため、人工知能分野の新たな研究の関心事になっている。

【0004】

ダイナミックビジョンセンサ（Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ、ＤＶＳ）は、独立感光画素アレイを配置した新型センサであり、画素が光強度の変化を感じ取った場合、独立して、非同期的に後段のシステム（例えば、脳型チップ等）にスパイク事象を送信する。超高時間分解能を有するため、注目を浴びているが、現時点で、そのＳＮ比、暗光検知能力、一致性、可測性は、実際の応用要件との間にまだ一定の隔たりがある。

【0005】

従来のフレーム（Ｆｒａｍｅ）を基にした画像センサ（例えば、ＣＭＯＳセンサ、ＣＣＤセンサ等、フレーム画像センサと略称する）は、比較的成熟した画像キャプチャ機器であり、そのＳＮ比は高いが、スパイク事象（スパイク又は事象と略称し、いくつかのスパイクがスパイクシーケンスを構成する）を生成することはできず、フレームを単位として複数の画像を連続生成することしかできない。

【0006】

フレーム画像センサによりスパイクニューラルネットワークプロセッサ（脳型チップとも呼ばれる）要件に合致するスパイクシーケンス（好ましくは、ポアソン分布に合致するランダムスパイクシーケンスである）を生成することは、ＤＶＳセンサの代替策である。該代替策は、フレーム画像センサを有する電子機器中に直接集積し、既存の機器をそのまま使用することができるという利点がある。

【0007】

このため、高ＳＮ比、低電力消費、低コストを有し且つ実現が容易なスパイク生成技術により、ＳＮＮプロセッサの応用の需要を満たすことが求められている。フレーム画像センサが収集した画像をスパイク事象に変換する公知文献は、具体的には以下を参考にすることができる。
公知文献１：ＣＮ１１１８９８７３７Ａ
公知文献２：ＣＮ１１１８６０７８６Ａ
公知文献３：ＥＰ３７８９９０９Ａ１
公知文献４：ＣＮ１１２４６４８０７Ａ

【0008】

公知文献１～２は、数値／画像をスパイクシーケンスに変換する手段を示し、その核心は、具体的なある画素値に対して初期スパイクシーケンスを生成して一定数のスパイクをランダムに交換又は変更して目標スパイクシーケンスを得ることにあるが、その欠点は、ランダム交換又は変更されたスパイク数が必ず有限回であり、ランダム化の効果を保証することができず（特に時間ステップが長い場合）、ハードウェア実現のための代価が相対的に高いことである。また、フレーム差分方式により輪郭情報を得ることは言及しておらず、一般的フレーム画像の各画素値のみについてランダムスパイクシーケンス変換を行い、このような方法により得られるスパイクシーケンスのスパイクニューラルネットワークにおける識別正確度は、極めて低い。

【0009】

公知文献３～４は、フレーム差分を基にした関心領域抽出手段を示し、２つのフレームの異なる画像間の差異を比較して、スパイク事象シーケンスを生成するが、消費電力が大きく、リアルタイム性が不十分であるという問題が存在し、且つ明確なノイズを排除することができないため、ネットワーク性能が高くない。また、スパイクシーケンスランダム化の手段を示しておらず、これは、ＳＮＮプロセッサの推論精度に非常に不利な影響を及ぼす。

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明は、自己適応スパイク生成及びそのランダム化方法、装置、脳型チップ及び電子機器を提供する。

【課題を解決するための手段】

【0011】

本発明は以下の技術手段によって、上記の一部又はすべての技術的問題への解決又は緩和を図る。

【0012】

自己適応スパイク生成方法であって、
フレーム画像間の差異を比較し、フレーム差分中の各画素座標点のフレーム差分画素値を得るステップと、
前記フレーム差分画素値から、画素座標に対応するスパイク事象数を得るステップと、
少なくとも該フレーム差分の全体のフレーム差分画素値又は／及び対応する全体のスパイク事象数から、フレーム画像の生成フレームレート又はフレーム差分周波数を調整するかどうかを判断するステップと、
を含む。

【0013】

一実施例において、フレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素個数のカウント値が、第１の閾値より小さい場合、フレームレート若しくはフレーム差分周波数を低下させ、又は／及び第２の閾値より大きい場合、前記フレームレート若しくはフレーム差分周波数を上昇させ、又は、フレーム差分が対応するスパイク事象数の総和、若しくは所定条件を満たすスパイク事象数の総和、若しくはスパイク事象数が所定条件を満たすフレーム差分画素個数のカウント値が、第１の閾値より小さい場合、フレームレート若しくはフレーム差分周波数を低下させ、又は／及び第２の閾値より大きい場合、前記フレームレート若しくはフレーム差分周波数を上昇させる。

【0014】

一実施例において、画素値が所定条件を満たすフレーム差分画素個数のカウント値が、第１の比より小さい場合、フレームレート若しくはフレーム差分周波数を低下させ、又は／及び第２の比より大きい場合、前記フレームレート若しくはフレーム差分周波数を上昇させ、前記第１の比は、前記画素値が所定条件を満たすフレーム差分画素個数のカウント値がフレーム差分画素全体中に占める割合であり、又は、
スパイク事象数が所定条件を満たすフレーム差分画素個数のカウント値が、第１の比より小さい場合、フレームレート若しくはフレーム差分周波数を低下させ、又は／及び第２の比より大きい場合、前記フレームレート又はフレーム差分周波数を上昇させ、前記第２の比は、前記スパイク事象数が所定条件を満たすフレーム差分画素個数のカウント値がフレーム差分画素全体中に占める割合である。

【0015】

一実施例において、前記フレームレート低下させ、若しくはフレーム差分周波数の第１の時間間隔を短縮した後、フレームレート若しくはフレーム差分周波数をデフォルト値まで回復し、又は／及び第２の時間間隔内で、フレーム差分画素値の総和若しくは／及びスパイク事象数の総和がともに第１の閾値より小さい場合、前記フレームレート若しくはフレーム差分周波数を低下させる。

【0016】

一実施例において、前記自己適応スパイク生成方法は、
スパイク事象数から、ランダム化された目標スパイクシーケンスを生成するステップ、
フレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素個数のカウント値が、第３の閾値より大きいかどうかを判断し、大きい場合、前記フレーム差分画素値から、画素座標に対応するスパイク事象数を得るステップをそれ以上実行しない、ステップ、又は、
フレーム差分が対応するスパイク事象数の総和、若しくは所定条件を満たすスパイク事象数の総和、若しくはスパイク事象数が所定条件を満たすフレーム差分画素個数のカウント値が、第３の閾値より大きいかどうかを判断し、大きい場合、スパイク事象数から、ランダム化された目標スパイクシーケンスを生成するステップをそれ以上実行しない、ステップをさらに含む。

【0017】

自己適応スパイク生成装置は、目標スパイクシーケンスを生成するために用いられ、前記自己適応スパイク生成装置は、
フレーム画像間の差異を比較し、フレーム差分中の各画素座標点のフレーム差分画素値を得るフレーム差分モジュールと、
前記フレーム差分画素値から、画素座標に対応するスパイク事象数を生成するスパイク事象数生成モジュールと、
前記スパイク事象数から、ランダム化の目標スパイクシーケンスを生成するランダム化モジュールと、
少なくとも該フレーム差分の全体のフレーム差分画素値又は／及び対応する全体のスパイク事象数から、フレーム画像の生成フレームレート又はフレーム差分周波数を調整するかどうかを判断する第１の判断モジュールと、
を含む。

【0018】

一実施例において、フレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素個数のカウント値が、第１の閾値より小さい場合、フレームレート若しくはフレーム差分周波数を低下させ、又は／及び第２の閾値より大きい場合、前記フレームレート若しくはフレーム差分周波数を上昇させ、又は、
フレーム差分が対応するスパイク事象数の総和、若しくは所定条件を満たすスパイク事象数の総和、若しくはスパイク事象数が所定条件を満たすフレーム差分画素個数のカウント値が、第１の閾値より小さい場合、フレームレート若しくはフレーム差分周波数を低下させ、又は／及び第２の閾値より大きい場合、前記フレームレート若しくはフレーム差分周波数を上昇させる。

【0019】

一実施例において、前記自己適応スパイク生成装置は、前記フレーム差分画素値の総和又は／及びスパイク事象数の総和が第３の閾値より大きいかどうかを判断し、大きい場合、スパイク事象に対するランダム化操作を終了する第２の判断モジュールをさらに含む。

【0020】

スパイクシーケンスランダム化方法において、フレーム画像間のフレーム差分画素値を取得するステップと、フレーム差分画素値に基づき、該フレーム差分画素値が対応するスパイク事象数を計算するステップとを含み、該スパイクシーケンスランダム化方法は、以下のステップのうち少なくとも１つをさらに含む。
ｉ）数が前記スパイク事象数と同一のメモリユニットすべてに前記フレーム差分画素値が対応する画素座標を格納し、現行取得しているランダム数に基づき、該ランダム数に対応するメモリユニットに格納された画素座標を読み取り、少なくとも読み取った画素座標情報に基づき、目標スパイクシーケンス中のスパイク事象を生成するステップ、
ｉｉ）前記スパイク事象数を前記フレーム差分画素値の画素座標に対応するメモリユニットに格納し、現行取得しているランダム数に基づき、該ランダム数に対応するメモリユニットに格納されたスパイク事象数を読み取り、読み取ったスパイク事象数がゼロでない場合、少なくとも該メモリユニットが対応するフレーム差分画素値の画素座標情報に基づき、目標スパイクシーケンス中のスパイク事象を生成するステップ。

【0021】

一実施例において、前記フレーム差分画素値は、隣り合う２つのフレーム画像間の画素値の差、又は隣り合う２つのフレーム画像間の画素値の差の絶対値である。

【0022】

一実施例において、該フレーム差分画素値が対応するスパイク事象数は、以下の方式のうち１つに基づいて得られる。
ｉ）該フレーム差分画素値と許容される単一画素が放出する最大スパイク事象数との積と、フレーム差分中の画素の理論最大値との比、
ｉｉ）該フレーム差分画素値と許容される単一画素が放出する最大スパイク事象数との積と、フレーム差分中の最大画素値との比、
ｉｉｉ）該フレーム差分画素値と許容される単一画素が放出する最大スパイク事象数との積と、フレーム差分中の最大画素値又は第１の下限値のうち大きい方との比。

【0023】

一実施例において、フレーム画像間のフレーム差分画素値を取得した後、該フレーム差分画素値が第２の下限値より小さい場合、該フレーム差分画素値をゼロとする。

【0024】

一実施例において、ランダム数生成モジュールによりランダム数シーケンスを生成し、現行取得しているランダム数は、ランダム数シーケンスに由来し、該ランダム数シーケンスは、１サイクル内で同一のランダム数を生成することはなく、前記ランダム数生成モジュールは、線形フィードバックシフトレジスタによる少なくとも１つのランダム数生成器を含み、又は、該ランダム数シーケンスのサイクルは、フレーム差分画素数と許容される単一画素が放出する最大スパイク事象数との積に等しく、若しくはフレーム差分画素数に等しい。

【0025】

一実施例において、現行取得しているランダム数に基づき、該ランダム数に対応するメモリユニットに格納されたスパイク事象数を読み取る場合、前記ランダム数は、ランダム数シーケンスに由来し、該ランダム数シーケンスのサイクルは、フレーム差分画素数に等しく、各フレーム差分について、ランダム数シーケンスが実行するサイクル数は、許容される単一画素が放出する最大スパイク事象数に等しい。

【0026】

スパイクシーケンスランダム化方法において、チャネル出力信号を取得するステップと、チャネル出力信号に基づき、該チャネル出力信号が対応するスパイク事象数を取得するステップと、を含み、該スパイクシーケンスランダム化方法は、以下のステップのうち少なくとも１つをさらに含む。
ｉ）数が前記スパイク事象数と同一のメモリユニットすべてに前記チャネル出力信号が対応するチャネルアドレスを格納し、現行取得しているランダム数に基づき、該ランダム数に対応するメモリユニットに格納されたチャネルアドレスを読み取り、少なくとも読み取ったチャネルアドレス情報に基づき、目標スパイクシーケンス中のスパイク事象を生成するステップ、
ｉｉ）前記スパイク事象数を前記チャネル出力信号のチャネルアドレスに対応するメモリユニットに格納し、現行取得しているランダム数に基づき、該ランダム数に対応するメモリユニットに格納されたスパイク事象数を読み取り、読み取ったスパイク事象数がゼロでない場合、少なくとも該メモリユニットが対応するチャネル出力信号のチャネルアドレス情報に基づき、目標スパイクシーケンス中のスパイク事象を生成するステップ。

【0027】

スパイクシーケンスランダム化装置において、
フレーム差分メモリスペース及びスパイク事象アドレスメモリスペース若しくはスパイク事象数メモリスペース、又は、
フレーム画像メモリスペース及びスパイク事象数メモリスペースと、
を含み、
スパイクシーケンスランダム化装置は、前述のいずれか１項に記載のスパイクシーケンスランダム化方法を実行するように構成され、
フレーム差分メモリスペースは、フレーム差分画素値を格納するものであり、
スパイク事象アドレスメモリスペースに含まれるメモリユニットは、フレーム差分画素値が対応する画素座標を格納するものであり、
スパイク事象数メモリスペースに含まれるメモリユニットは、フレーム差分画素値が対応するスパイク事象数を格納するものであり、
フレーム画像メモリスペースに含まれるメモリユニットは、フレーム画像センサから取得した最新画素値を格納するものである。

【0028】

脳型チップにおいて、該脳型チップは、
前述のいずれか１項に記載の自己適応スパイク生成方法を使用し、又は、
前述のいずれか１項に記載の自己適応スパイク生成装置を含み、又は、
前述のいずれか１項に記載のスパイクシーケンスランダム化方法を応用し、又は、
前述のスパイクシーケンスランダム化装置を含む。

【0029】

電子機器において、該電子機器は、
前述のいずれか１項に記載の自己適応スパイク生成装置を含み、又は、
前述のスパイクシーケンスランダム化装置を含み、又は、
前述の脳型チップを含む。

【発明の効果】

【0030】

本発明の一部又はすべての実施例は、以下の有益な技術的効果を有する。
１）本発明は、目標スパイクシーケンスを生成する工程において、フレームレート又はフレーム差分周波数を自己適応調整することができ、融通性が高い。長時間変化のない環境における低電力消費動作を保証することもでき、必要な場合にすばやく運動の変化をキャプチャすることもできる。
２）本発明は、不合理なプロセス（総フレーム差分画素値又は総スパイク事象数が大きすぎる）をすみやかに終了し、ノイズを有効に除去すると同時に、電力消費を節約することができる。本発明は、目標スパイクシーケンス中のスパイク数を制御することにより、ＳＮＮプロセッサが、リアルタイムに、高効率で、安定して動作することを保証する。
３）本発明のハードウェアは、親しみやすく、低コストを実現し、ＤＶＳと比べて、電子機器中の既存のカメラをそのまま使用することができ、必ずしも新たなイメージングモジュール及びセンサを取り付けなくてもよい。
４）本発明の複数のステップは、並行して処理することができ、リソースを節約すると同時に、さらに電力消費を低下させる。
５）画像を１つの全体として、ランダム化されて目標スパイクシーケンスになることを巨視的に考慮すると、スパイクニューラルネットワークは、親しみやすいランダム化方式であり、画素が対応するスパイクシーケンスを１つ１つつなぎ合わせることでスパイクニューラルネットワーク性能パフォーマンスが顕著に低下する欠陥は存在せず、このためそのランダム化効果は高い。
６）ハードウェアリソースの消費が少なく、変換で消費するエネルギーが少ない。
７）輪郭が増強され、暗光、微弱な揺れのある状況におけるネットワーク性能を改善することができる。
８）背景ノイズを抑制し、長期待機における電力消費を低下させる。
さらに多くの有益な効果は、好適な実施例中でさらに紹介する。

【0031】

以上で技術手段／特徴を開示した目的は、具体的実施形態部分で記述される技術手段、技術的特徴を概括することにあり、したがって、記載された範囲は、完全には同一でない場合がある。しかし、該部分で開示されたこれらの新たな技術手段は、同様に本発明文書が公開する数多くの技術手段の一部にあたり、該部分で開示された技術的特徴は、後続の具体的実施形態部分で公開する技術的特徴、明細書中で明確に記述されていない図面中の一部内容と互いに合理的に組み合わせる形で、より多くの技術手段を開示する。

【0032】

本発明のいずれか位置で開示されるすべての技術的特徴が組み合わされた技術手段は、技術手段に対する要約、特許文書の変更、技術手段の開示を裏付けるために用いられる。

【図面の簡単な説明】

【0033】

【図1】本発明の一好適実施例中の自己適応スパイク生成方法のフローチャートである。

【図2】一実施例中の予処理操作に含まれる寸法再構築及びグレースケール化操作を示す図である。

【図3】本発明の一実施例中の自己適応スパイク生成方法を示す図である。

【図4】本発明の自己適応スパイク生成方法のフローチャートである。

【図5】本発明の一実施例の自己適応スパイク生成装置である。

【図6】本発明の一実施例の自己適応スパイク生成及び処理システムのブロック図である。

【図7】本発明の一実施例の自己適応スパイク生成及び処理システムのブロック図である。

【図8】スパイクシーケンスランダム化のブロック図である。

【図9】一実施例中のスパイクシーケンスランダム化を示す図である。

【図10】一実施例中のスパイクシーケンスランダム化の詳細を示す図である。

【図11】一実施例中のスパイクシーケンスランダム化を示す図である。

【図12】一実施例中のスパイクシーケンスランダム化の詳細を示す図である。

【図13】一実施例中のスパイクシーケンスランダム化を示す図である。

【図14】チップ内センサ集積手段を示す図である。

【図15】チップ外センサ集積手段を示す図である。

【図16】一実施例中のスパイクシーケンスランダム化の詳細を示す図である。

【図17】一実施例中のスパイクシーケンスランダム化の詳細を示す図である。

【発明を実施するための形態】

【0034】

各種代替案を記述しつくすことはできないため、以下では本発明実施例中の図面を結び付け、本発明実施例中の技術手段中の要点の内容を明確に、完全に記述する。以下で詳細に開示しないその他の技術手段及び細部については、通常はすべて本分野において通常の手段によれば実現可能な技術目標又は技術的特徴にあたり、紙幅の制限により、本発明においてはその詳細を紹介しない。

【0035】

除法の意味でない限り、本発明中のいずれか位置における「／」は、すべて論理和（「又は」）を表す。本発明のいずれか位置における「第１」、「第２」等の番号は、記述上の区分表記に用いたにすぎず、時間又は空間上の絶対的順序を暗示するものではなく、この種の番号を冠する用語とその他の限定後を冠する同一用語とは、必然的に異なるものを指すことを暗示するものでもない。

【0036】

本発明は、各種異なる具体的実施例として組み合わせるための要点を記述し、これらの要点は、各種方法、製品中に組み合わせられる。本発明において、たとえ方法／製品手段を紹介する場合のみに記述した要点であっても、対応する製品／方法手段も該技術的特徴を明確に含むことを意味する。

【0037】

本発明中のいずれか位置において、あるステップ、モジュール、特徴が存在し、又はそれらを含むことを記述した場合、この種の存在が排他的で唯一の存在であることを暗示するものではなく、本分野当業者なら完全に、本発明が開示する技術手段に基づき、その他の技術手段を補って、その他の実施例を得ることができる。本発明中の具体的実施例に記述された要点を基にして、本分野当業者なら完全に、いくつかの技術的特徴に置換、削減、増加、組合せ、順序替え等の手段を加えても本発明構想を遵守する技術手段を得ることができる。これらの本発明技術構想を逸脱していない手段も、本発明保護範囲内にある。

【0038】

本発明のフレーム画像センサは、ＣＭＯＳセンサ、ＣＣＤセンサ、グレースケールセンサ等のフレーム画像を取得することができるセンサであり、本発明は、特定のタイプの画像センサに限定されず、それからフレーム画像を取得することができさえすればよい。

【0039】

図１は、本発明の一好適実施例中の自己適応スパイク生成方法のフローチャートであり、以下のステップを含む。

【0040】

ステップＳ１００：フレーム画像予処理。

【0041】

スパイクニューラルネットワークのデータセットは、時空事象ストリームからなり、スパース特性を有する。一方、従来のフレーム画像センサの分解能は高く、変換後に生成されるスパイク事象数は、多くなる可能性がある。このため、センサが生成するフレーム画像を事前に予処理して、事象数を減らし、生成される目標スパイクシーケンスにスパース性を持たせてよい。

【0042】

さらに、予処理操作は、図２に示すように、寸法再構築及びグレースケール化を含んでよい。

【0043】

ステップＳ１０１：いずれかフレーム画像について寸法再構築（ｒｅｓｈａｐｅ）を行う。

【0044】

フレーム画像センサ分解能を（Ｗ×Ｈ）とし、再構築後のフレーム画像の分解能（目標寸法ともいう）を（Ｗ’×Ｈ’）とし、ここで、Ｗ及びＷ’は幅を表し、Ｈ及びＨ’は高さを表す。

【0045】

一実施例において、寸法再構築の方式は、サブサンプリングであり、サブサンプリングによるフレーム画像寸法の再構築は、実現しやすく、ハードウェアに好適である。具体的には、オリジナルフレーム画像中のいずれか画素座標Ｉ（ｘ，ｙ）を調整した後の画素座標

【数1】

であり、式中、ｘ及びｙは、それぞれ画素の行、列座標であり、

【数2】

は、切り捨てを表す。それに代わり、該切り捨ては、切り上げに切り替えてよい。

【0046】

もう一つの実施例において、寸法再構築の方式は、裁断であり、関心領域を基にして、オリジナルフレーム画像を裁断し、目標寸法を得る。例えば、オリジナルフレーム画像左上角、又は右下角、又は中心等いずれか関心領域を裁断する。本発明の裁断方式は、これに限定されない。

【0047】

その他の実施例において、寸法再構築方式は、バイリニア補間、線形又は非線形ズーム、比率に応じた値をとる等いずれか方式であってよく、本発明は、寸法再構築方式を限定せず、任意にオリジナルフレーム画像を目標寸法に調整することのできる手段であればどれでもよい。

【0048】

ステップＳ１０２：フレーム画像グレースケール化（Ｇｒａｙｓｃａｌｅ）。

【0049】

通常、フレーム画像は、ＲＧＢ画像であり、３つのチャネルを有する。本発明は、ＲＧＢ画像をグレースケール画像に変換し、グレースケール化方式は、複数あってよく、本発明は、具体的なグレースケール化方式、例えば、３つのチャネルのうちいずれか１つのチャネル中の値を抽出してグレースケール値としてよい等を限定せず、ＲＧＢのうち最大値、平均値又は加重平均値をグレースケール値とする等してもよい。

【0050】

本発明は、寸法再構築及びグレースケール化操作を実行する順序を限定せず、並行し又は逐次実行してよく、そのうち１つの操作のみを実行してもよい。さらに、本発明のフレーム画像予処理操作Ｓ１００は、必須ではなく、必要な場合のみ行う。

【0051】

ステップＳ２００：フレーム画像にフレーム差分操作を行い、各画素点のフレーム差分画素値を得る。

【0052】

具体的には、フレーム画像シーケンス中の少なくとも２つの異なるフレーム画像又は予処理後のフレーム画像を比較し、２つのフレーム間の画像変化のフレーム差分画像を得、該フレーム差分画像は、フレームとフレームの間の変化／運動情報を反映している。

【0053】

フレーム差分工程において、得られる各画素点（画素座標）上の画素値の変化値又は変化値の絶対値、又はさらにノイズフィルタリング等の操作を行って得られる値を、フレーム差分画素値と称する。ある画素点において、フレーム差分画素値の正負は、スパイク事象の極性に対応してよく、例えば、フレーム差分画素値が正であれば、画素の増強を示し、対応事象の極性は正であり、フレーム差分画素値が負であれば、画素の低減を示し、対応事象の極性は負であり、逆もまた可能であり、本発明はこれに限定されない。

【0054】

もう一つのいくつかの実施例において、ある画素点上の画素値の変化が所定条件（例えば、ある閾値未満であること等）を満たさない場合、該フレーム差分画素値を破棄し、すなわち、０としてよく、これはノイズフィルタリングに役立つ。

【0055】

Ｎフレームを含む画像シーケンスについて、差分操作を順に実行し又は並行して実行してよく、並行して実行する場合、電力消費と時間を極めて大幅に節約し、処理効率とリアルタイム性を向上させることができる。さらに、隣り合う２フレーム間の差分を順に又は並行して実行してよく、いくつかのフレームを隔てた２フレーム間の差分を順に又は並行して実行してもよく、本発明はこれに限定されない。

【0056】

このほか、画像シーケンスは、センサが収集したオリジナルフレーム画像集合又は予処理後のフレーム画像集合であってよい。さらに、ステップＳ１００とステップＳ２００の順序は入れ変えてよく、フレーム画像を予処理した後にフレーム差分を行ってよく、先にフレーム差分を行ってから予処理操作を行ってもよい。

【0057】

ステップＳ３００：各画素点のフレーム差分画素値から、画素座標に対応するスパイク事象数を生成する。

【0058】

各画素点のフレーム差分画素値に基づき、各画素座標点が対応するスパイク事象数を得る。いずれか合理的な画素値からスパイク事象数への変換方法は、すべて実行可能であり、本発明は、どの方式を採用してフレーム差分後の各画素点が対応するスパイク事象数を得るかは制限しない。

【0059】

例えば、フレーム差分後の画素値はｍであり、切り上げ又は切り捨て後のスパイク事象数を生み出し、スパイク事象数は、｜ｍ｜の切り捨て後の値

【数3】

、又は切り捨て後に比例する値

【数4】

に等しくてよく、式中ｋは、比例係数を表し、ｋを利用して目標スパイクシーケンス中のスパイク事象に対応する数をさらに減らし、又は目標スパイクシーケンス中のスパイク事象に対応する数を増やしてよい。さらに、比例係数ｋは、固定値又は可変値であり、本発明はこれに限定されない。それに代わり、上記切り捨てをすべて切り上げに変えてよい。

【0060】

ステップＳ４００：少なくとも該フレーム差分の全体のフレーム差分画素値又は／及び対応する全体のスパイク事象数から、第１の条件を満たすかどうかを判断する。満たす場合、フレーム画像センサのフレーム画像生成フレームレート（フレームレートと略称する）を調整し、又はステップＳ２００のフレーム差分周波数を調整する。具体的調整方式は、フレームレート／フレーム差分周波数を上方調整又は下方調整するものであってよい。条件を満たさない場合、図３に示すように、フレームレート又はフレーム差分周波数を調整しない。

【0061】

１つのフレーム差分について、いくつかの画素を含むが、これらの画素はそれぞれ１つのフレーム差分画素値又はスパイク事象数に対応し、１つのフレーム差分について、その全体のフレーム差分画素値又は／及び対応する全体のスパイク事象数は、これらいくつかの画素が対応するフレーム差分画素値又はスパイク事象数が構成する集合である。集合全体から、フレームレート又はフレーム差分周波数を調整するかどうかを判断し、集合について各種変換、集計、計算等の方式を採って一定の意味のある値（例えば、センサ前の物体運動を特徴づける激しさの程度等）を得、該値から、上記調整操作をトリガするかどうかを判断する。

【0062】

さらに、予処理ステップＳ１００を含む実施例について、ステップＳ１００又は／及びＳ２００又は／及びＳ３００を制御することにより調整してよい。

【0063】

さらに、各画素座量が対応するスパイク事象数又はフレーム差分画素値の和を求める等の処理を行う。（具体的には、ステップＳ２００又はＳ３００を参照。）該和を求める工程は、順に実行し又は並行して実行してよい。ハードウェア中では、並行して実行することが簡単であり、且つ電力消費、リアルタイム性の面でともに強みを有する。

【0064】

前記第１の条件は、以下の場合のうち１つ又は複数を含む。

【0065】

フレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素個数のカウント値が、第１の閾値より小さい場合、フレームレート若しくはフレーム差分周波数を低下させ、又は／及び第２の閾値より大きい場合、前記フレームレート若しくはフレーム差分周波数を上昇させ、又は、フレーム差分が対応するスパイク事象数の総和、若しくは所定条件を満たすスパイク事象数の総和、若しくはスパイク事象数が所定条件を満たすフレーム差分画素個数のカウント値が、第１の閾値より小さい場合、フレームレート若しくはフレーム差分周波数を低下させ、又は／及び第２の閾値より大きい場合、前記フレームレート若しくはフレーム差分周波数を上昇させる。

【0066】

ここで、フレーム差分画素値の総和／フレーム差分が対応するスパイク事象数の総和は、フレーム差分中の各画素値又は各画素が対応するスパイク事象数についてそのまま和を求めたものである。画素値が所定条件を満たすフレーム差分画素値の総和／所定条件を満たすスパイク事象数の総和は、１つの条件（例えば、画素値≧１０、スパイク事象数≧２等）を設定し、条件を満たす画素値／スパイク事象数のみを累加して和を求めたものである。画素値が所定条件を満たすフレーム差分画素個数のカウント値／スパイク事象数が所定条件を満たすフレーム差分画素個数のカウント値は、条件（例えば、画素値≧１又は１０、スパイク事象数≧１又は２等）を設定し、条件を満たす画素（座標）のみを累加してカウントしたものである。

【0067】

ここで、下方調整において、例えば、フレーム差分の２つのフレーム画像に長時間変化がなく、又は変化が不明確である場合、すべての画素のフレーム差分画素値の総和は小さく、対応するスパイク生成数の総和は小さいため、識別待ちの動作、又はトリガの存在がないと考えられ、フレームレート又はフレーム差分周波数を低下させて、電力消費を低下させる。例えば、フレームレートを３０から１に下げる。フレームレート又はフレーム差分周波数の低下は、段階的であってよく、例えば、６０から３０へ、さらに１へとし、それに対応して、このとき第１の閾値は、複数の数値を含む。

【0068】

上方調整において、例えば、現行フレームレートが低すぎ、急速な運動物体に対する画像収集を満たすことができないが、目標物体運動が開始したことを検出した場合、フレームレートを上昇させることにより、フレーム差分後の画像に運動が曖昧になる状況が起こることを軽減し、例えば、フレームレートを１から３０に上げる。同様に、フレームレート又はフレーム差分周波数の上昇も段階的であってよく、例えば、１から３０へ、さらに６０へとし、それに対応して、このとき第２の閾値は、複数の数値を含む。

【0069】

ここで、第１の閾値と第２の閾値とは異なってよく、同一であってもよい。いくつかの実施例において、上方調整又は下方調整を決定する前に、現行フレームレート又はフレーム差分周波数の状態を参考にすると好適である。

【0070】

もう一つの実施例において、前記フレームレート又はフレーム差分周波数の第１の時間間隔を短縮した後、フレームレート又はフレーム差分周波数をデフォルト値まで回復する。前例を援用し、デフォルト値は、前述の３０／６０、及び１０であってよく、該実施例は、一定比率の時間幅を許容し、検出応答感度を高めてよい。

【0071】

もう一つの実施例において、上方調整、下方調整の幅は、閾値と比較した後の差と比例して調整してよい。例えば、第１の閾値及び第２の閾値は、ともに総スパイク事象数の閾値を指し、且つともに１０００であり、フレーム差分後生成された総スパイク事象数が１００である場合、フレームレートを６０から６に調整し、フレーム差分後生成された総スパイク事象数が３００である場合、フレームレートを６０から１８に調整する等である。

【0072】

また、第１の条件は、さらに以下のように拡張してよく、すなわち、設定時間内に、さまざまなフレーム差分について、フレーム差分画素値の総和／画素値が所定条件を満たすフレーム差分画素値の総和／画素値が所定条件を満たすフレーム差分画素個数のカウント値／フレーム差分が対応するスパイク事象数の総和／所定条件を満たすスパイク事象数の総和／スパイク事象数が所定条件を満たすフレーム差分画素個数のカウント値が、すべて第１の閾値より小さい場合、条件を満たすと考え、フレームレート又はフレーム差分周波数を低下させる。このような場合、目標物体運動がない状況で電力消費を低下させると同時に、使用者に一時的に動作がないため、ただちにフレームレート又はフレーム差分周波数を低下させてもたらされる応答が遅くなるのを防ぐのに役立つ。好ましくは、上方調整する場合、類似の時間を設定せず、又はたとえ時間を設定したとしても、該時間は極めて短くし、これは、このような時間を設定することで、ただちに応答する必要がある時に、人為的に応答を遅くするからである。

【0073】

等価置換として、前述の一実施例において、画素値が所定条件を満たすフレーム差分画素個数のカウント値／スパイク事象数が所定条件を満たすフレーム差分画素個数のカウント値の第１の閾値／第２の閾値との間の判断は、上記カウント値のフレーム差分画素数全体中に占める割合と第１の閾値／第２の閾値との間の判断に置き換える。フレーム差分画素数は、定数であるため、相違点は、第１の閾値／第２の閾値を該定数で割るかどうかのみにある。このような等価置換も本発明が保護しようとする範囲内にある。

【0074】

好ましくは、第１の条件は、電力消費を低下させ、特にフレーム画像センサの視野内に長時間運動物体がない場合、及びフレームレート又はフレーム差分周波数を上昇させて、使用者の瞬時応答需要を満たすことも同時に考慮するものである。このため、前述の時間、スパイク事象数、フレーム差分画素値、割合、段階的な閾値等の技術手段を組み合わせてよく、このような容易に想到する組合せ及び変換は、すべて本発明の構想を逸脱しておらず、且つ本発明が保護しようとする範囲内にあるべきである。

【0075】

ステップＳ５００：スパイク事象のランダム化。

【0076】

スパイクニューラルネットワーク（ＳＮＮ）プロセッサについては、その入力データが時空事象ストリーム／スパイクシーケンスであり、各事象が生成する座標、タイムスタンプ、例えば、ＡＥＲ（Ａｄｄｒｅｓｓ Ｅｖｅｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）事象ストリーム、ＳＡＥＲ（Ｓｅｒｉａｌ ＡＥＲ）事象ストリーム等を含む。ＳＮＮプロセッサは、ポアソン分布に合致するランダムスパイクシーケンスを受信するのに適し、いずれか合理的なランダム化方式は、すべて実行可能であり（公知文献１～２を参照）、本発明はこれに限定されない。

【0077】

時空事象ストリームのスパース性のため、本発明は、スパイク事象をランダム化し、ＳＮＮプロセッサの情報処理特性に合致させる。一実施例において、すべての画素が対応するスパイク事象を１つの全体としてランダム化し、目標スパイクシーケンスを得る。もう一つの実施例において、各画素点が対応するスパイク事象をそれぞれランダム化し、その後さらに最終的な目標スパイクシーケンスを得る。また、各画素点上のスパイク事象のランダム化工程を並行して又は逐次実行してよく、低遅延の強みを有する並行手段が好適である。以下では、本発明は、具体的な、画像全体を基にして考慮したスパイクシーケンスランダム化手段をさらに提供する。

【0078】

本発明ステップＳ４００及びＳ５００は、並行して又は順番に実行してよい。

【0079】

図４に示されたように、一好適実施例において、スパイクランダム化ステップＳ５００の前に、各画素座標が対応するフレーム差分画素値又は／及びスパイク事象数から、第２の条件を満たすかどうかを判断し、満たす場合、現行プロセスを終了するステップＳ６００をさらに含む。終了方式は、フレーム破棄（例えば、現行スパイク事象集合をリセット／クリアする等）、又はランダム化ステップを行わないことを含み、本発明はこれらに限定されない。

【0080】

第２の条件は、具体的には、フレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素値の総和、若しくは画素値が所定条件を満たすフレーム差分画素個数のカウント値が、第３の閾値より大きいかどうかを判断し、大きい場合、前記フレーム差分画素値から、画素座標に対応するスパイク事象数を得るステップをそれ以上実行しない、又は、フレーム差分が対応するスパイク事象数の総和、若しくは所定条件を満たすスパイク事象数の総和、若しくはスパイク事象数が所定条件を満たすフレーム差分画素個数のカウント値が、第３の閾値より大きいかどうかを判断し、大きい場合、スパイク事象数から、ランダム化された目標スパイクシーケンスを生成するステップをそれ以上実行しない、というものである。

【0081】

フレーム画像センサが激しく揺らされ又はいじられた場合、短時間内に、フレーム差分が対応するスパイク事象数の総和／フレーム差分画素値の総和が多くなりすぎ、これにより発生する出力スパイクシーケンスは、後続のＳＮＮプロセッサの有効な入力情報でなくなる可能性があり、それを処理すれば、不必要な結果出力が起こる可能性がある。それと同時に、スパイク事象数が多すぎるため、プロセッサは、動かなくなりやすく又は電力消費が増大する。このため、ランダム化ステップの前に、変化が速すぎるフレーム画像を事前にフィルタリング除去して、プロセッサ性能を保証すると同時に、電力消費を低下させる。

【0082】

図５は、本発明の一実施例の自己適応スパイク生成装置である。本発明は、目標スパイクシーケンスを生成するための自己適応スパイク生成装置をさらに開示し、前記自己適応スパイク生成装置は、
フレーム画像間の差異を比較し、フレーム差分中の各画素座標点のフレーム差分画素値を得るフレーム差分モジュールと、
前記フレーム差分画素値から画素座標に対応するスパイク事象数を生成するスパイク事象数生成モジュールと、
前記スパイク事象数からランダム化の目標スパイクシーケンスを生成するランダム化モジュールと、
少なくとも該フレーム差分の全体のフレーム差分画素値又は／及び対応する全体のスパイク事象数から、フレーム画像の生成フレームレート又はフレーム差分周波数を調整するかどうかを判断する第１の判断モジュールと、
を含む。

【0083】

いくつかの実施例において、該自己適応スパイク生成装置は、フレーム差分モジュールに入力するフレーム画像を予処理するための予処理モジュールをさらに含む。予処理操作は、寸法再構築又は／及びグレースケール化を含んでよい。

【0084】

いくつかの実施例において、該自己適応スパイク生成装置は、各画素座標が対応するフレーム差分画素値又は／及びスパイク事象数から、第２の条件を満たすかどうかを判断し、満たす場合、現行プロセスを終了する第２の判断モジュールをさらに含む。

【0085】

さらに多くの調整案については、前述の方法系実施例を参考にしてよく、ここでは引用の形でそれらを該実施例中に組み込み、ここではこれ以上述べない。

【0086】

図６は、本発明の自己適応スパイク生成及び処理システムのブロック図であり、順に結合されたフレーム画像センサ、自己適応スパイク生成装置、ニューラルネットワークプロセッサを含む。フレーム画像センサは、フレーム画像を収集し、自己適応スパイク生成装置は、低電力消費、高品質目標スパイクシーケンスの急速生成に用いられ、ニューラルネットワークプロセッサ（ＳＮＮプロセッサ等）は、推論して、分類結果を出力するために用いられる。

【0087】

ここで、自己適応スパイク生成装置は、独立して設置されてよく、プロセッサ又はフレーム画像センサに集積されてもよい。いくつかの実施例において、自己適応スパイク生成装置は、フレーム画像センサインターフェースとして実施される。さらに、フレーム画像センサ、自己適応スパイク生成装置、ニューラルネットワークプロセッサは、同一チップ上に集積され、該チップは、感知及び計算能力を同時に備える。

【0088】

図７は、本発明のもう一つの自己適応スパイク生成及び処理システムのブロック図であり、フレーム画像センサと、自己適応スパイク生成装置と、事象センサ（事象カメラ等）と、ニューラルネットワークプロセッサと、を含む。自己適応スパイク生成装置は、フレーム画像センサが収集したフレーム画像を第１の目標スパイクシーケンスに変換し、事象カメラは、第２の目標スパイクシーケンスを出力し、ニューラルネットワークプロセッサは、第１の目標スパイクシーケンス又は／及び第２の目標スパイクシーケンスを受信して処理する。同様に、フレーム画像センサ又は事象カメラは、独立して設置されてよく、プロセッサとともに同一チップ上に集積されてもよい。

【0089】

図８は、本発明におけるスパイクシーケンスランダム化のブロック図である。フレーム画像センサは、フレームの形式で環境からキャプチャされた画像情報を連続出力し、例えば、一秒毎に３０、６０、１００フレームの画像をフレーム画像センサのメモリに出力する。例えば、よくあるＲＧＢカメラ等がある。フレームレート及びフレーム画像センサは、実際の使用要件に応じて柔軟に選択してよく、本発明は、ある特定の形式に限定されない。

【0090】

フレーム画像は、シーケンス性を有するため、前後隣り合う１つのフレーム又は複数のフレームの間を差分し、該２つのフレーム画像間の差異画像情報、すなわち、フレーム差分（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｆｒａｍｅｓ、ＤｏＦ）を得る。フレーム差分は、画素差分を除いた絶対値であってよく、有効な符号（極性）情報を残してもよい。例えば、センサ前で手のひらを振れば、あるフレーム画像が表示するのは、完全な掌紋を含む手のひらの画像であり、一方、フレーム差分が表示するのは、手のひらの輪郭情報であり、掌紋ではない。これは、ＤＶＳがキャプチャする運動物体輪郭の結果と類似する。

【0091】

フレーム差分を実行する前に、画像サブサンプリング操作、グレースケール情報抽出、関心領域抽出等のステップを含んでもよく、その後、スパイクシーケンスランダム化ステップを実行する。さらに多くのフレーム差分手段は、公知文献３を参考にすることができる。ここで、画像サブサンプリング操作は、電子機器中の既存のカメラをそのまま使用するのに役立ち、必ずしも新たなイメージングモジュール及びセンサを取り付けなくてもよく、コストを削減する。

【0092】

図９は、第１種の実施例中のスパイクシーケンスランダム化を示す図である。フレーム差分メモリスペースは、フレーム差分画素値を格納するものである。スパイク事象アドレスメモリスペースが含むメモリユニットは、フレーム差分画素値が対応する画素座標を格納するものである。フレーム差分画素値からスパイク事象アドレス（すなわち、フレーム差分画素値が対応する画素座標）がスパイク事象アドレスメモリスペース中に格納される回数を決定する。ランダム数生成モジュールは、ランダム数シーケンスを生成し、ランダム数シーケンスに基づき、スパイク事象アドレスメモリスペース中のスパイク事象アドレスを読み取り、すなわち、現行時刻／タイムスタンプｔが放出しようとするスパイク事象のアドレス（ｘ，ｙ）を確定し、又は極性情報ｐをさらに結合し、すなわち、（ｘ，ｙ，ｐ，ｔ）情報を含むスパイク事象を得る。

【0093】

ランダム数シーケンスにより、スパイク事象アドレスを絶えず読み取り、スパイク事象からなる目標スパイクシーケンスを生成し、こうしてスパイクシーケンスのランダム化工程を完了する。該スパイクシーケンスは、後段システム中に送り込まれて処理される。好ましくは、ここでの後段システムは、ＳＮＮプロセッサであり、もちろん、その他の系統の信号処理装置であってもよい。

【0094】

ＳＮＮプロセッサについては、フレーム差分乃至一般的フレーム画像をランダムな目標スパイクシーケンスに変換する場合、画素ごとに短いランダムスパイクシーケンスに変換し、その後、順にこれらの短いランダムスパイクシーケンスをつなぎ合わせ、ＳＮＮプロセッサに送り込んで推論した後、得られるネットワークパフォーマンスは極めて低い。スパイクニューラルネットワーク情報処理特性にまったく合致しないからである。公知文献１は、１枚の画像全体をいかにランダム化すべきかという方法を示しておらず、単一画素について、いかにしてランダム化された目標スパイクシーケンスを生成するかにすぎない。一方、本発明は、画像全体（具体的にはフレーム差分）についていかにして全体をランダム化して目標スパイクシーケンスにするかを開示する。

【0095】

図１０は、第１種の実施例中のスパイクシーケンスランダム化の詳細を示す図である。例を挙げれば、フレーム差分に用いられる画像寸法が１２８×１２８（横、縦分解能の積、フレーム差分画素数と記される）であり、且つ各画素値幅が８ｂｉｔである場合、フレーム差分メモリスペースの寸法は、少なくとも１２８×１２８×８ｂｉｔである。いくつかのフレーム（好ましくは、隣り合う２つのフレーム）を隔てたフレーム画像間の画素差分を計算するものであるため、フレーム差分の大部分の画素値は０であり、通常は、運動物体の輪郭箇所のみにある画素がゼロではない。一般性を失わないように、フレーム差分中のある画素値をＩ（ｘ，ｙ）と記し、フレーム差分中の最大画素値をｍａｘ（Ｉ（ｘ，ｙ））とする。式中、細字の（ｘ、ｙ）は、ある画素のフレーム画像センサ中における位置を表し、太字の（ｘ，ｙ）は、フレーム画像センサ中のすべての画素の座標からなる集合を表す。

【0096】

フレーム画像センサのフレーム差分を得た後、少なくともフレーム差分中の各画素値から、該画素が対応するスパイク事象アドレス（すなわち、該画素の画素座標）を生成する。図１０に示されたように、座標が（ｘ，ｙ）＝（０，２）である画素値Ｉ（０，２）＝９７であり、またＩ（２，２）＝６３であり、フレーム差分中の最大画素値は、ｍａｘ（Ｉ（ｘ，ｙ））＝１５８である。

【0097】

フレーム差分メモリスペース中のこれらの画素値をコーディングするため、これらの画素値に基づき、対応するスパイク事象数を得る必要がある。また、フレーム差分中の座標（ｘ，ｙ）の画素が対応するスパイク事象数をＲ（ｘ，ｙ）と記す。

【0098】

スパイク事象数Ｒ（ｘ，ｙ）を得るため、さまざまな手段を講じてよい。一実施例において、

【数5】

であり、式中、

【数6】

は、切り捨て演算であり、Ｎは、許容される単一画素が放出する最大スパイク事象の数、例えば、８個又は１６個であり、Ｍは、フレーム差分中の画素の理論最大値であり、例えば、幅が８ビットの画素の最大値は２５５である。

【0099】

一実施例において、

【数7】

であり、言い換えれば、画素値を定量化する場合、現行フレーム差分中の最大画素値の大きさを考慮する。すなわち、自己適応的に画像輪郭を増強する。前の種の実施例と比べて、該種の実施例の特長は、暗光シーン又は幅の小さな幅の物体運動における場合、フレーム差分が得る物体輪郭は、不明確であるが、該実施例は、輪郭を増強している。例えば、図１０においてＩ（２，２）＝６３であり、Ｎ＝８である場合、前の種の実施例を用いれば、対応するＲ（ｘ，ｙ）＝１であるが、後の種の実施例においてＲ（ｘ，ｙ）＝３である。

【0100】

一実施例において、

【数8】

であり、式中、Ｐ＝ｍａｘ（ｍａｘ（Ｉ（ｘ，ｙ）），Ｑ）であり、式中、Ｑは、第１の下限値、例えば３０である。このような実施例は、前の一実施例と比べて、輪郭の自己適応増強を考慮しただけでなく、センサが背景ノイズのみを有する状況において、自己適応増強のスパイクスパース性に対する悪影響も考慮した。センサが背景ノイズのみを有する環境中で長期間動作することにかんがみ、この実施例は、輪郭増強によるスパイク事象の放出過多によりＳＮＮセンサの不必要な電気エネルギー消費を引き起こすという問題を抑制した。第１の下限値Ｑ＝３０であり、且つフレーム差分中の最大画素値及びそれ以下の画素値が対応する画素数が均等分布していると仮定することを前提として、ｍａｘ（Ｉ（ｘ，ｙ））＝１０及び２０である場合、対応する目標スパイクシーケンス中のスパイク事象の数は、それぞれ７５％及び４０％減少する。

【0101】

一代替実施例において、前述の切り捨ては、すべて切り上げに代替される。

【0102】

一代替実施例において、フレーム差分中の画素値が第２の下限値より小さい場合、フレーム差分中の該画素値をそのままゼロとし、好ましくは、該ステップは、差分を計算する工程において実行する。例えば、図１０中の座標が（０，３）の画素が対応する画素値は１であり、第２の下限値５より小さい場合、該画素値をゼロとする。このようにして、背景ノイズのフィルタリングを実現することができる。

【0103】

一実施例において、フレーム差分を得る工程において、極性情報を残したため、Ｒ（ｘ，ｙ）の計算において、絶対値をとることにより現実的客観的要件に合致することも考慮しなければならない。

【0104】

フレーム差分中の大多数の場合について、すなわち、画素値が０の画素は、それが対応するスパイク事象数が通常すべて０であり、これは、目標スパイクシーケンスのスパース性を保障している。

【0105】

フレーム差分中の画素値が対応するスパイク事象数Ｒ（ｘ，ｙ）を得た後、スパイク事象アドレスメモリスペースにＲ（ｘ，ｙ）個のスパイク事象アドレス（ｘ、ｙ）を格納する。スパイク事象アドレスの長さに応じて、該メモリスペースのビット幅を決定してよく、例えば、フレーム差分の画像寸法が１２８×１２８であれば、メモリスペースビット幅は、１４ｂｉｔである。フレーム差分中の画素が対応するアドレスは、いずれか合理的方式でスパイク事象アドレスメモリスペースに格納され、例えば、行／列の順序／逆順で格納されてよく、同一アドレスは、順序どおり／正しくない順序で／ずれて格納されてよく、本発明は、ある具体的形式に限定されない。

【0106】

許容される単一画素が放出する最大スパイク事象の数がＮ（例えば８）であるため、スパイク事象アドレスメモリスペースの理論上必要な最大長さは、１２８×１２８のフレーム差分分解能を例にすると、１２８×１２８×Ｎとなる。しかし、フレーム差分は、物体の輪郭の発現に過ぎず、フレーム差分のデータは、スパースである。純黒と純白環境の瞬間切替えでない限り、通常は、実際にアドレスを格納する場合、最大長さを使い切ることはない。ここで、該メモリスペースの実際の長さをフレーム差分画素数×Ｋ（Ｋ＜Ｎ）、例えばＫ＝３と仮定してよく、このため、スパイク事象アドレスメモリスペースは、フレーム差分画素数×Ｋ×メモリスペースビット幅を占有し、前例を援用して１２８×１２８×Ｋ×１４ｂｉｔとなる。

【0107】

ランダム数生成モジュールは、数値範囲が１～フレーム差分画素数×Ｎ以内のランダム整数（本質は、疑似ランダム数である）、又は該数値範囲内の整数と一つ一つ対応するもう一つの数値範囲内のランダム数、例えば、０～フレーム差分画素数×Ｎ－１その他を生成し、ランダム数シーケンスを構成する。また、１つのサイクル内でこれらの数値を生成し終わった後、次のサイクル内でこれらの数値を循環生成する。これらのランダム数を生成する目的は、これらのランダム数の一部を一つ一つスパイク事象アドレスメモリスペース中の各メモリユニットの番号にマッピングすることができるようにすることにある。すなわち、１つのランダム数を生成するごとに、該ランダム数とスパイク事象アドレスメモリスペース中の番号とのマッピング関係に基づき、スパイク事象アドレスメモリスペース中の該番号が対応するメモリユニットに格納されたあるアドレスを１回読み取ることができる。例えば、ランダム数シーケンスが９－５－２－７…であれば、順にスパイク事象アドレスメモリスペース中の番号が９－５－２－７…のアドレスを読み取る。

【0108】

好ましくは、上記ランダム数シーケンスの生成は、線形フィードバックシフトレジスタ（ＬＦＳＲ）及びＸＯＲゲートにより実現される。例えば、原始多項式を発現する回路として構成することにより、疑似ランダム数の生成を実現する。該技術は、本分野において公知の技術に属し、ここではこれ以上述べない。

【0109】

疑似ランダム数の範囲が１～フレーム差分画素数×Ｎであり、フレーム差分中の画素値の変化による有効アドレスが格納されたメモリユニット（図１０中の座標を記入したメモリユニット）の数Ｋｒ（＜Ｋ、フレーム差分の違いによって動的に変動する）は、スパイク事象アドレスメモリスペースの実際の長さ（フレーム差分画素数×Ｋ）より長くなることはなく、式中、Ｋ＜Ｎである。このため、ランダム数が１～Ｋｒ以外にマッピングされた場合、それが対応する時刻／タイムステップは、スパイク事象を放出しない（非スパイクとも呼ばれる）。したがって、目標スパイクシーケンスは通常、スパースインターリービングのスパイクシーケンスである。

【0110】

ランダム数生成モジュールは、１つだけでなくてもよい。前述のように、第１のランダム数生成モジュールは、所定範囲内の疑似ランダム数を生成し、第２のランダム数生成モジュールも所定範囲内の疑似ランダム数を生成し、両者は、同一所定範囲を有し、使用の際、両者はある順序（最も簡単なものは交互）で、異なるフレーム差分に目標スパイクシーケンスを生成する。３つ以上のランダム数生成モジュールについては、類似の方式を採って処理してよい。

【0111】

例を挙げれば、簡単なマッピング手段は、ランダム数（１～フレーム差分画素数×Ｎ）中の１～Ｋｒとスパイク事象アドレスメモリスペース中のメモリユニットの番号１～Ｋｒとは等値であることから一つ一つ対応される。いずれか合理的で実行可能なランダム数の値の範囲及びそれとメモリユニットとのマッピング関係は、すべて本発明中に応用してよく、ここでは、ある特定の方式に限定されない。

【0112】

好ましくは、目標スパイクシーケンスは、ＳＮＮプロセッサに送り込まれて処理されるため、本発明は、ＳＮＮプロセッサに、フレーム画像センサがキャプチャした環境信号を処理する能力を付与している。

【0113】

図１１は、本発明のもう一つの実施例におけるスパイクシーケンスランダム化の概略図を示している。図９に示された手段と異なるのは、フレーム差分メモリスペース中の画素値からスパイク事象アドレスを格納する回数を決定するものではなく、対応するスパイク事象数Ｒ（ｘ，ｙ）を生成することである。

【0114】

図１２は、もう一つの実施例におけるスパイクシーケンスランダム化の詳細を示す図を示している。このような実施例において、記述を簡略化するため、ここでは、前の一実施例中に記述した技術的特徴及び各種技術記号を引用する。

【0115】

フレーム差分画素値を得、フレーム差分メモリスペースに格納した後、対応するスパイク事象数Ｒ（ｘ，ｙ）を生成し、それをスパイク事象数メモリスペースの対応するメモリユニットに格納する。スパイク事象数メモリスペース中のメモリユニットの数は、フレーム差分の画素数と同一であり、前例を援用して、すべて１２８×１２８とする。

【0116】

同様に、ランダム数生成モジュールによりランダム数シーケンスを生成し、現行のランダム数に基づき、対応するメモリユニットを読み取り、該メモリユニットに格納されたＲ（ｘ，ｙ）＞１である場合、対応するスパイク事象、例えば、少なくとも（ｘ，ｙ，ｔ）情報を含むスパイク事象を放出する。ｔはタイムスタンプである。

【0117】

また、このような実施例はさらに、対応するＲ（ｘ，ｙ）値を更新する。例えば、１を自己減算する。図１２中のように、アドレス（ｘ、ｙ）＝（２，２）のフレーム差分画素のスパイク事象数を３から２に更新する。

【0118】

該実施例において、ランダム数シーケンスのサイクルは、フレーム差分画素数に等しい。１つの疑似ランダムシーケンスサイクルにおいて、すべてのＲ（ｘ，ｙ）の０でない画素は、１つのスパイク事象を放出する。１つのフレーム差分について、疑似ランダムシーケンスは、すべてを放出するまで、Ｎ回（許容される単一画素が放出する最大スパイク事象の数）循環し、スパイク事象を引き起こす。このような手段は、一定程度スパイク放出のランダム性を破壊するが、実際の測定試験により、ＳＮＮが示す性能に明確な弱みがないことがわかっている。前の一実施例と比べて、このような実施例は、メモリスペースの占有をさらに少なくする。

【0119】

図１３は、さらなる一実施例におけるスパイクシーケンスランダム化を示す図である。前の一実施例と異なるのは、フレーム画像センサから最新画素値を取得した後、フレーム画像メモリスペース中に格納された対応座標の画素値とそのまま差分し、フレーム差分中の対応座標の画素値を得、該画素値に基づき、対応するスパイク事象数Ｒ（ｘ，ｙ）を算出し、該スパイク事象数をスパイク事象数メモリスペース中の対応するメモリユニットに格納することである。言い換えれば、該さらなる一実施例には、フレーム差分画素値を専門に格納するためのフレーム差分メモリスペースがないため、前述のスパイク事象Ｒ（ｘ，ｙ）を計算する場合、ｍａｘ（Ｉ（ｘ，ｙ））を得ることができず、したがって、輪郭増強タイプ以外の実施例のみに適する。

【0120】

また、最新の画素値をフレーム画像メモリスペース中の対応するメモリユニットに格納する。例を挙げれば、図１３において、センサから得た座標が（ｘ、ｙ）の画素の画素値が１０５であり、その前にフレーム画像メモリスペース中に格納された対応座標の画素値が１であり、差分を行った後にＲ（ｘ，ｙ）＝３であることを計算する。すなわち、スパイク事象数３をスパイク事象数メモリスペース中の対応するメモリユニットに格納し、且つフレーム画像メモリスペース中に格納された対応座標の画素値を１０５に更新する。その他の技術手段は、前の一実施例と同一であり、ここでは引用方式で記述し、これ以上述べない。

【0121】

また、本発明は、スパイクシーケンスランダム化装置をさらに開示し、該スパイクシーケンスランダム化装置は、
フレーム差分メモリスペース及びスパイク事象アドレスメモリスペース若しくはスパイク事象数メモリスペースと、又は、
フレーム画像メモリスペース及びスパイク事象数メモリスペース
と、
を含み、
また、スパイクシーケンスランダム化装置は、前述のスパイクシーケンスランダム化方法（図８～１３及び対応する記述を参照）を実行するように構成され、ここで、フレーム差分メモリスペースは、フレーム差分画素値を格納するために用いられ、スパイク事象アドレスメモリスペースに含まれるメモリユニットは、フレーム差分画素値が対応する画素座標を格納するために用いられ、スパイク事象数メモリスペースに含まれるメモリユニットは、フレーム差分画素値が対応するスパイク事象数を格納するために用いられ、フレーム画像メモリスペースに含まれるメモリユニットは、フレーム画像センサから取得した最新画素値を格納するために用いられる。

【0122】

一実施例において、スパイクシーケンスランダム化装置は、フレーム画像センサインターフェースとして実施される。

【0123】

図１４は、チップ内センサ集積手段を示す図である。センサは、ＤＶＳ又は／及びフレーム画像センサを含み、動的視覚センサインターフェース又は／及びフレーム画像センサインターフェースを介して、ＤＶＳが生成したスパイク事象シーケンス又は／及び生成されたランダム化後の目標スパイクシーケンスをＳＮＮプロセッサに送り込んで処理し、該ＤＶＳ又は／及びフレーム画像センサとＳＮＮプロセッサとは、異なるベアダイに位置し、且つ同一チップに集積され、該チップは、脳型チップと呼んでよく、且つ検知演算一体の脳型チップである。

【0124】

図１５は、チップ外センサ集積手段を示す図である。センサは、ＤＶＳ又は／及びフレーム画像センサを含み、動的視覚センサインターフェース又は／及びフレーム画像センサインターフェースを介して、ＤＶＳが生成したスパイク事象シーケンス又は／及び生成されたランダム化後の目標スパイクシーケンスをＳＮＮプロセッサに送り込んで処理し、該ＤＶＳ又は／及びフレーム画像センサとＳＮＮプロセッサとは、ケーブルを介して、例えば、ＵＳＢプロトコルを基にした通信接続を確立する。

【0125】

一実施例において、チップは、デュアルアイセンサをサポートする。好ましくは、片目はＤＶＳであり、もう一方の目はフレーム画像センサである。好ましくは、片目はチップ内集積センサであり、もう一方の目はチップ外センサである。これらのチップ内／チップ外センサのタイプ間は、柔軟に自由に異なる実施例として組み合わせてよい。

【0126】

図１６は、さらなる一実施例におけるスパイクシーケンスランダム化の詳細を示す図である。該実施例において、これ以上前述の視覚信号収集に限定することなく、音声、振動、心電信号等の環境信号に関するものであり、本発明はこれに限定されない。

【0127】

収集した環境信号は、各種ソフト／ハードウェアの設定又は処理を行い、例えば、音声信号は、複数の異なる帯域のバンドパスフィルタにより、複数のチャネル出力信号を得、これらのチャネル標識は、チャネルアドレスとも呼ばれ、例えば、ＣＨ－１、ＣＨ－６等であり、前述の画素座標／スパイク事象アドレスに相当する。

【0128】

その後、各チャネルが対応するスパイク事象数を得、それぞれスパイク事象数メモリスペース中の対応するメモリユニットに格納する。ここで、各チャネルが対応するスパイク事象数を得ることは、チャネル出力信号を対応するスパイク事象数としてマッピングすることであり、いずれか合理的形式の手段であってよく、例えば、チャネル出力信号を基にした増分値、各種スパイクスパース化手段等であり、本発明は、ある具体的手段に限定しない。

【0129】

前述の実施例を参照されたい。ランダム数生成モジュールが生成したランダム数により、該ランダム数に対応するメモリユニットを読み取り、非ゼロ値を発見した場合、少なくとも該メモリユニットが対応するチャネルアドレスを基にして、スパイク事象を生成し、該メモリユニットに格納されたスパイク事象数を、例えば、１減算する等と更新し、いくつかのこのようなスパイク事象は、目標スパイクシーケンスを構成し、目標スパイクシーケンスをＳＮＮプロセッサに送り込む。もちろん、メモリユニット中の０値については、スパイク事象を生成及び放出する必要はない。その他の技術的特徴については、ここで引用の形で、前述の実施例の技術的特徴をここに引用し、ここでは、これ以上述べない。

【0130】

図１７は、このような実施例におけるスパイクシーケンスランダム化の詳細を示す図である。図１６に示され実施例と異なるのは、各チャネルが対応するスパイク事象数を得た後、スパイク事象アドレスメモリスペース中にあるそれと同数のメモリユニットにチャネルアドレスを書き込むことである。図１７に示されたように、ＣＨ－１のスパイク事象数は２であるため、該アドレスに２回書き込み、ＣＨ－２ならば、対応するスパイク事象数が１であるため、１回書き込む。その後、ランダム数生成モジュール中から１つのランダム数を取得し、スパイク事象アドレスメモリスペース中で、該ランダム数に対応するメモリユニット中の１つのアドレスを読み取り、少なくとも読み取ったチャネルアドレスから、スパイク事象を生成し、放出するが、該ランダム数のマッピング結果がスパイク事象アドレスメモリスペースを超えた場合、さらには有効チャネルアドレスを書き込んだメモリユニットの範囲を超えた場合、スパイク事象を生成及び放出する必要はない。いくつかのこのようなスパイク事象は、目標スパイクシーケンスを構成し、目標スパイクシーケンスをＳＮＮプロセッサに送り込む。その他の技術的特徴については、ここで引用の形で、前述の実施例の技術的特徴をここに引用し、ここでは、これ以上述べない。

【0131】

本発明は、チップを開示し、該チップは、脳型チップ又は神経形態チップであり、該チップは、前述のフレーム画像センサインターフェースを含み、又はフレーム画像センサインターフェースと事象センサインターフェースとを同時に含む。該チップは、前述のいずれか１項に記載の自己適応スパイク生成方法を使用し、又は、前述のいずれか１項に記載の自己適応スパイク生成装置を含む。

【0132】

本発明は、電子機器、例えば、スマート家電、スマートフォン等の電子機器をさらに開示し、上記脳型チップ又はスパイクシーケンスランダム化装置を含んで、環境信号に対してリアルタイム監視及びスマート応答を行うために用いられる。脳型チップ等の超低電力消費特性のため、永遠にオンラインのスマート推論を実現することができる。ＳＮＮプロセッサに特定の１つ又は複数の推論能力を構成することにより、電子機器側にスマート情報処理能力を付与することができる。

【0133】

なお、本発明は、前述のチップを含む電子機器をさらに開示し、低電力消費、リアルタイム、高性能で環境信号に応答するために用いられる。本発明手段の電力消費が極めて低く、エッジスマート計算に適し、スマートホーム、ＩｏＴ、自動運転、スマート玩具等の分野に適用される。

【0134】

本発明の具体的特徴及び実施例を参考にして、本発明を記述したが、本発明を逸脱しないで、各種変更、組合せ、置換を行うことができる。本発明の保護範囲は、明細書中に記述した工程、機器、製造、物質組成、装置、方法及びステップの特定の実施例に限定されるものではなく、これらの方法、モジュールは、関連し合い、相互依存し、相互協力し、前／後段の１つ又は複数の製品、方法内でさらに実施される可能性があることを意図している。

【0135】

このため、明細書及び図面は、単に添付の請求項により限定された技術手段の一部実施例の紹介とみなすべきであり、したがって、最大限合理的解釈原則に基づき、添付の請求項を解読すべきであり、できる限り本発明公開範囲内のすべての変更、変化、組合せ又は等価物を網羅することを意図し、同時にまた常識に合わない解読方式を避けるべきである。

【0136】

よりよい技術的効果を実現し、又はいくつかの応用の需要から、本分野当業者は、本発明を踏まえて、技術手段をさらに変更する可能性がある。しかしながら、たとえ該一部の改良／設計が創造性又は／及び進歩性を有していたとしても、本発明の技術構想に依存し、請求項が限定する技術的特徴を網羅していさえすれば、該技術手段は、同様に本発明の保護範囲内に入るべきである。

【0137】

添付の請求項中で取り上げたいくつかの技術的特徴には、代替の技術的特徴が存在する可能性があり、又はいくつかの技術的フローの順序、物質組成順序を再構成することができる。本分野一般当業者は、本発明を知った後、該いくつかの置換手段を容易に想到し、又は技術的フローの順序、物質組成順序を変更し、その後、ほぼ同一の手段を用いて、ほぼ同一の技術的課題を解決し、ほぼ同一の技術的効果を達成する。このため、たとえ請求項中に上記手段又は／及び順序を明確に限定していたとしても、該いくつかの修飾、変更、置換はすべて、等価原則により請求項の保護範囲に入る。

【0138】

本明細書中で公開した実施例中に記述した各方法ステップ又はモジュールを結び付ければ、ハードウェア、ソフトウェア又は両者の結合により実現することができ、ハードウェア及びソフトウェアの互換性を明確に説明するため、上記説明中ではすでに機能に応じて各実施例のステップ及び組成を一般的に記述した。これらの機能が結局のところハードウェアの形で実行されるか、ソフトウェアの形で実行されるかは、技術手段の特定の応用又は設計拘束条件により決まる。本分野一般当業者なら、各特定の応用について、異なる方法を使用して記述された機能を実現することができるが、このような実現は、本発明が保護を求める範囲外にあると考えてはならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【国際調査報告】