特表 2024-534907 データを処理するためのコンピュータ実装またはハードウエア実装方法、コンピュータプログラム製品、データ処理システム、およびそのための第１の制御ユニット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-26

(54)【発明の名称】データを処理するためのコンピュータ実装またはハードウエア実装方法、コンピュータプログラム製品、データ処理システム、およびそのための第１の制御ユニット

(51)【国際特許分類】

   G06N 3/08 20230101AFI20240918BHJP

【ＦＩ】

G06N3/08

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024514072

(86)(22)【出願日】2022-08-26

(85)【翻訳文提出日】2024-04-25

(86)【国際出願番号】 SE2022050767

(87)【国際公開番号】W WO2023033697

(87)【国際公開日】2023-03-09

(31)【優先権主張番号】2151100-1

(32)【優先日】2021-09-03

(33)【優先権主張国・地域又は機関】SE

(81)【指定国・地域】

(71)【出願人】

【識別番号】524078398

【氏名又は名称】イントゥイセル アクチエボラグ

【氏名又は名称原語表記】ＩＮＴＵＩＣＥＬＬ ＡＢ

(74)【代理人】

【識別番号】100109380

【弁理士】

【氏名又は名称】小西 恵

(74)【代理人】

【識別番号】100109036

【弁理士】

【氏名又は名称】永岡 重幸

(72)【発明者】

【氏名】ジョンテル、ヘンリック

(72)【発明者】

【氏名】マルテンソン、ライナス

(57)【要約】

本開示は、データを処理するための、コンピュータ実装またはハードウエア実装方法（２００）に関し、以下を含む：好ましくは第１の制御モジュール（１１０）によって、集団を備える処理ユニット（１３０）の集団活動を測定する（２１０）し、処理ユニット（１３０）は、処理ユニット入力（１５６）を受信し処理ユニット出力（１５８）を生成し、好ましくは第１の制御モジュール（１１０）によって、第１の制御信号（１６０）を提供し（２２０）、第１の制御信号（１６０）は、処理ユニット出力（１５８）に基づき、かつ処理ユニット（１３０）の測定された集団活動に基づき、好ましくは第２の制御モジュール（１２０）によって、処理されるべきデータからなるシステム入力（１５２）を受信し（２３０）、好ましくは第２の制御モジュール（１２０）によって、第１の制御信号（１６０）に基づいてシステム入力（１５２）をスケーリングし（２４０）、それにより次の時間ステップにおいて、スケーリングされた入力を処理ユニット（１３０）に提供し；処理ユニット出力（１５８）をシステム出力（１６２）として利用する（２５０）。本開示はさらに、コンピュータプログラム製品、データ処理システム、および第１の制御モジュールに関する。
【選択図】 図２

【特許請求の範囲】

【請求項1】

第１の制御モジュール（１１０）、第２の制御モジュール（１２０）、処理ユニット（１３０）、および抑制器、を備える人工ニューラルネットワーク（ＡＮＮ）（１００）によってデータを処理するための、コンピュータ実装またはハードウエア実装方法（２００）であって、前記方法（２００）は、以下のステップを含む：
前記第１の制御モジュール（１１０）によって、集団を備える前記処理ユニット（１３０）の集団活動を測定し（２１０）、ここで、前記処理ユニット（１３０）は、処理ユニット入力（１５６）を受信し、処理ユニット出力（１５８）を生成し；
前記第１の制御モジュール（１１０）によって、第１の制御信号（１６０）を提供し（２２０）、ここで、前記第１の制御信号（１６０）は、前記処理ユニット出力（１５８）に基づき、かつ前記処理ユニット（１３０）の測定された集団活動に基づく；
前記第２の制御モジュール（１２０）によって、処理されるべきデータを含むシステム入力（１５２）を受信し（２３０）；
前記第２の制御モジュール（１２０）によって、前記第１の制御信号（１６０）に基づいて、前記システム入力（１５２）をスケーリングし（２４０）、それによって、次の時間ステップにおいて、スケーリングされた入力を前記処理ユニット（１３０）に提供し；
前記処理ユニット出力（１５８）をシステム出力（１６２）として利用し（２５０）；
前記処理ユニット（１３０）の測定された集団活動が目標集団活動よりも大きいか否かをチェックし（２５２）；および、
前記処理ユニット（１３０）の測定された集団活動が目標集団活動よりも大きい場合、前記抑制器によって、前記処理ユニット（１３０）の測定された集団活動と目標集団活動との間の差に基づいて、前記処理ユニット入力（１５６）を抑制し（２５４）、それによって、前記ＡＮＮ（１００）の過負荷を防止する。

【請求項2】

前記抑制すること（２５４）が漸進的である、請求項１に記載の方法。

【請求項3】

前記目標集団活動が適応的である、請求項１または２に記載の方法。

【請求項4】

以下のステップをさらに含む、請求項１から３のいずれか１項に記載の方法：
前記処理ユニット（１３０）の集団活動が、第１の時間ステップの量の間、第２の閾値を超えるか否かをチェックし（２５６）；および、
前記処理ユニット（１３０）の前記集団活動が、前記第１の時間ステップの量の間、前記第２の閾値を超えている場合、前記処理ユニット（１３０）をリセット（２５８）し、入力シーケンスを最初から再開するなど、入力を再始動（２５９）する。

【請求項5】

前記第２の閾値が適応的である、請求項４に記載の方法。

【請求項6】

以下のステップをさらに含む、請求項１から５のいずれか１項に記載の方法：
前記処理ユニット出力（１５８）を調整モジュール（１４０）に提供し（２６０）；
前記調整モジュール（１４０）によって、前記処理ユニット出力（１５８）に基づいて前記システム入力（１５２）を調整し（２７０）；および、
ここで、前記受信すること（２３０）は、前記調整モジュール（１４０）によって、前記システム入力（１５２）を受信することを含む。

【請求項7】

前記システム入力（１５２）が、１つまたは複数のカメラ、１つまたは複数のタッチセンサ、音声信号の周波数帯域に関連する１つまたは複数のセンサ、または１つまたは複数のマイクロフォンなどのスピーカに関連する１つまたは複数のセンサなどの１つまたは複数のセンサによって生成された時間連続データである、請求項１から６のいずれか１項に記載の方法。

【請求項8】

以下のステップをさらに含む、請求項１から７のいずれか１項に記載の方法：
第１の変換モジュール（１２４）によって、前記システム入力（１５２）を第１の利得（Ａ）に変換し（２１２）、ここで、前記第１の利得（Ａ）は正であり；および、
任意選択で、第２の変換モジュール（１３４）によって、前記処理ユニット出力（１５８）を第２の利得（Ｂ）に変換し（２１４）、ここで、前記第２の利得（Ｂ）は負であり；および、
ここで、前記第１の制御信号（１６０）は、さらに、前記第１の利得および任意選択で前記第２の利得に基づいている。

【請求項9】

以下のステップをさらに含む、請求項１から８のいずれか１項に記載の方法：
前記測定すること（２１０）、提供すること（２２０）、受信すること（２３０）、スケーリング（２４０）、利用すること（２５０）、チェックすること（２５２）、抑制すること（２５４）、および、任意で、前記変換（２１２）、変換（２１４）、チェック（２５６）、リセット（２５８）、再起動（２５９）、提供（２６０）、および調整（２７０）のうちの１つ以上を、前記システム（１００）が完全にトレーニングされるまで繰り返す。

【請求項10】

前記測定された集団活動が集団活動閾値を下回ったとき、前記システム（１００）が完全にトレーニングされる、請求項９に記載の方法。

【請求項11】

非一過性のコンピュータ可読媒体（１０００）であって、プログラム命令を含むコンピュータプログラムをその上に記憶している、非一過性のコンピュータ可読媒体（１０００）を含むコンピュータプログラム製品であって、前記コンピュータプログラムは、データ処理ユニット（１０２０）にロード可能であり、前記コンピュータプログラムが前記データ処理ユニット（１０２０）によって実行されるときに、請求項１から１０のいずれか１項に記載の方法の実行を引き起こすように構成されている、コンピュータプログラム製品。

【請求項12】

人工ニューラルネットワーク（ＡＮＮ）（１００）であって、処理すべきデータを含むシステム入力（１５２）を受信し、システム出力（１６２）を生成するように構成され、前記ＡＮＮは以下を備える：
集団を備え、処理ユニット入力（１５６）を受信し、処理ユニット出力（１５８）を生成するように構成された処理ユニット（１３０）であって、前記処理ユニット出力（１５８）は前記システム出力（１６２）として利用される、処理ユニット（１３０）；
前記処理ユニット（１３０）の集団活動を測定し、第１の制御信号（１６０）を提供するように構成された第１の制御モジュール（１１０）であって、前記第１の制御信号（１６０）は、前記処理ユニット出力（１５８）および前記処理ユニット（１３０）の測定された集団活動に基づく、第１の制御モジュール（１１０）；
第２の制御モジュール（１２０）であって、前記システム入力（１５２）を受信し、前記第１の制御信号（１６０）に基づいて前記システム入力（１５２）をスケーリングするように構成され、前記スケーリングされたシステム入力を次の時間ステップにおいて前記処理ユニット入力（１５６）として提供するよう構成される、第２の制御モジュール（１２０）；および、
前記処理ユニット（１３０）の測定された集団活動と目標集団活動との間の差に基づいて、前記処理ユニット入力（１５６）を抑制するように構成された抑制器であって、それによって、前記ＡＮＮ（１００）の過小負荷および／または過負荷を防止する、抑制器。

【請求項13】

前記抑制器は、前記処理ユニット入力（１５６）を漸進的に抑制するように構成される、請求項１２に記載のＡＮＮ。

【請求項14】

前記処理ユニット（１３０）、前記第１の制御モジュール（１１０）および前記第２の制御モジュール（１２０）のうちの１つ以上が、集団および学習機能を備え、
前記システム入力（１５２）、前記処理ユニット（１３０）、前記第１の制御モジュール（１１０）および前記第２の制御モジュール（１２０）が、多次元であり、アレイまたはマトリクスとして実装される、請求項１２または１３に記載のＡＮＮ。

【請求項15】

第２の制御モジュール（１２０）およびかつ処理ユニット（１３０）に接続可能な第１の制御モジュール（１１０）であって、
前記第１の制御モジュール（１１０）は、前記処理ユニット（１３０）の集団活動を測定するように構成可能であり、
第１の制御信号（１６０）を前記第２の制御モジュール（１２０）に提供するように構成可能であり、それによって入力信号（１５２）のスケーリングを可能し、前記第１の制御信号（１６０）は、処理ユニット出力（１５８）と、前記処理ユニット（１３０）の測定された集団活動とに基づいており、
前記第１の制御モジュール（１１０）は、前記処理ユニット（１３０）の測定された集団活動と目標集団活動との間の差に基づいて、前記処理ユニット入力（１５６）を抑制するように構成可能であり、それによって、前記処理ユニット（１３０）の過小負荷および／または過負荷を防止する。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、データを処理するためのコンピュータ実装またはハードウエア実装方法、ならびにコンピュータプログラム製品、データ処理システム、および第１の制御ユニットに関する。より具体的には、本開示は、独立請求項の導入部分で定義されるような、データ処理システムおよび第１の制御ユニットのためのコンピュータ実装またはハードウエア実装方法に関する。

【背景技術】

【0002】

データ処理は先行技術により公知である。データ処理に利用される技術の１つに、Long short-term memory（ＬＳＴＭ）がある。ＬＳＴＭは、ディープラーニングの分野で利用されている人工リカレントニューラルネットワーク（ＲＮＮ）アーキテクチャである。標準的なフィードフォワード型ニューラルネットワークとは異なり、ＬＳＴＭはフィードバック接続を有する。単一のデータポイント（画像など）だけでなく、データのシーケンス全体（音声や動画など）も処理できる。例えば、ＬＳＴＭは、セグメント化されていない、連結された手書き文字認識、音声認識、ネットワークトラフィックの異常検知やＩＤＳ（侵入検知システム）などのタスクに適用できる。さらに、バックプロパゲーションを備えたＬＳＴＭネットワークは、例えば、フィードフォワードの人工ニューラルネットワークの出力が所望の解に収束できない場合に、所望の解に収束する可能性を高めるパラメータ変更を特定することができる。このパラメータ変更は、ネットワーク内でデータ処理を実行するために使用される記憶されるデータの時間的範囲を変更することであってもよい。しかし、パラメータを変更するプロセスには、任意の代替パラメータ設定の影響を繰り返しテストするための膨大な計算能力が必要な場合があり、それでもなお、与えられた状況における問題の最も効率的な解が見つかる保証はない。実際のところ、このアプローチでは問題を解決できない可能性さえある。さらに、ネットワークがフィードフォワードでない場合、および／またはネットワークに定義された出力層がない場合、既存の解決策は機能しない可能性がある。

【0003】

US 2015/178617 A1は、（監視された活動に基づいて）検出された状態に基づいて例外イベントを実行することを含むニューラルネットワークの活動を監視することを含むニューラルネットワークを監視する方法を開示する。しかしながら、US 2015/178617 A1に開示された方法は、人工ニューラルネットワーク（ＡＮＮ）の過負荷を防止するものではなく、代わりに、単一のニューラルノードにおける不均衡状態を検出するものである。さらに、US 2015/178617 A1には、処理ユニットへの（システム）入力の調整はない。

【0004】

US 2015/206049 A1は、第１のニューラルネットワークを第２のニューラルネットワークで監視することを含むイベントを生成する方法を開示している。したがって、US 2015/206049 A1は、単一のニューラルネットワークの内部制御を開示していない。さらに、US 2015/206049 A1に開示された方法は、ＡＮＮの過負荷を防止しない。さらに、US 2015/206049 A1には、処理ユニットへの（システム）入力の調整はない。

【0005】

したがって、ネットワークや人工ニューラルネットワークのようなプロセッサが所望の解に収束しない場合を特定する代替アプローチが必要とされている。さらに、時系列のどの時点で（またはデータの系列のどこで）データの説明が失敗するか（非収束に至るか）を識別するアプローチが必要とされている。好ましくは、そのようなアプローチは、改善された性能、より高い信頼性、増加した効率性、より速いトレーニング、より少ないコンピュータ処理能力の使用、より少ないトレーニングデータの使用、より少ないストレージスペースの使用、より少ない複雑さ、および／またはより少ないエネルギーの使用のうちの１つ以上を提供または可能にする。

【発明の開示】

【発明が解決しようとする課題】

【0006】

本開示の目的は、従来技術における上記で特定された欠陥および欠点の１つ以上を軽減、緩和または除去し、少なくとも上記問題を解決することである。さらに、いくつかの実施形態において、目的は、情報内容がシステムの入力の情報内容に可能な限り忠実に従う出力を提供することであり、場合によっては、予測コンポーネントを伴う。さらに、いくつかの実施形態において、目的は、システムへの入力がシステムに過負荷および／または過小負荷を与えないこと、すなわち、システムの容量が常に十分であることを保証することである。

【0007】

第１の態様によれば、データを処理するためのコンピュータ実装またはハードウエア実装の方法が提供される。この方法は、好ましくは第１の制御モジュールによって、集団(population)を備える処理ユニットの集団活動(population activity)（ポピュレーションアクティビティ）を測定することを含み、処理ユニットは、処理ユニット入力を受信し、処理ユニット出力を生成する。さらに、本方法は、好ましくは第１の制御モジュールによって、第１の制御信号を提供することを含み、第１の制御信号は、処理ユニット出力に基づき、かつ処理ユニットの測定された集団活動に基づく。さらに、本方法は、好ましくは第２の制御モジュールによって、処理されるべきデータを含むシステム入力を受信することを含む。本方法は、好ましくは第２の制御モジュールによって、第１の制御信号に基づいて、システム入力をスケーリングし、それによって次の時間ステップにおいて処理ユニットにスケーリングされた入力を提供することを含む。さらに、本方法は、処理ユニットの出力をシステム出力として利用することを含む。

【0008】

いくつかの実施形態によれば、本方法は、処理ユニットの測定された集団活動が第１の閾値／目標集団活動よりも大きいかどうかをチェックすることと、処理ユニットの測定された集団活動が第１の閾値／目標集団活動よりも大きい場合、処理ユニットの測定された集団活動に基づいて処理ユニットの入力を抑制することとを含む。

【0009】

いくつかの実施形態によれば、本方法は、処理ユニットの集団活動が第１の時間ステップの量の間、第２の閾値を超えているかどうかをチェックすることと、処理ユニットの集団活動が第１の時間ステップの量の間、第２の閾値を超えている場合、処理ユニットをリセットし、入力シーケンスを最初からやり直すなど、入力をリスタートすることとを含む。

【0010】

いくつかの実施形態によれば、本方法は、処理ユニット出力を調整モジュールに提供することと、調整モジュールによって、処理ユニット出力に基づいてシステム入力を調整することと、前記受信することは、調整モジュールによって、システム入力を受信することを含む。

【0011】

いくつかの実施形態によれば、システム入力は、１つまたは複数のカメラ、１つまたは複数のタッチセンサ、音声信号の周波数帯域に関連する１つまたは複数のセンサ、または１つまたは複数のマイクなどのスピーカに関連する１つまたは複数のセンサなどの、１つまたは複数のセンサによって生成された時間連続データである。

【0012】

いくつかの実施形態によれば、本方法は、第１の変換モジュールによって、システム入力を第１の重みに変換することを含み、第１の重みは好ましくは正であり、任意に、第２の変換モジュールによって、処理ユニット出力を第２の重みに変換することを含み、第２の重みは好ましくは負である。第１の制御信号は、さらに、第１の重みと任意に第２の重みに基づいている。

【0013】

第２の態様によれば、プログラム命令を含むコンピュータプログラムをその上に有する、非一過性のコンピュータ可読媒体を含むコンピュータプログラム製品が提供され、コンピュータプログラムは、データ処理ユニットにロード可能であり、コンピュータプログラムがデータ処理ユニットによって実行されるときに、第１の態様の方法または上述の実施形態のいずれかの実行を引き起こすように構成される。

【0014】

第３の態様によれば、処理すべきデータからなるシステム入力とシステム出力とを備えるように構成されたデータ処理システムが提供される。このシステムは、処理ユニット入力を受信し、処理ユニット出力を生成するように構成された処理ユニットを備える。処理ユニット出力は、システム出力として利用される。さらに、システムは、集団を備える処理ユニットの集団活動を測定するように構成され、第１の制御信号を提供するように構成された第１の制御モジュールを備える。第１の制御信号は、処理ユニットの出力と、処理ユニットの測定された集団活動とに基づいている。さらに、システムは第２の制御モジュールを備える。第２の制御モジュールは、システム入力を受信するように構成され、第１の制御信号に基づいてシステム入力をスケーリングするように構成され、スケーリングされたシステム入力を次の時間ステップにおける処理ユニット入力として提供するように構成される。処理ユニットへの入力をスケーリングする（例えば、ゲインを低減する）ことにより、収束が促進され、および／または活動の飽和が回避され、それにより、特に学習／トレーニング段階において、データ／情報のより効率的な処理が提供される。さらに、システム容量によっては、無限に長いデータ系列を識別することができる。

【0015】

いくつかの実施形態によれば、データ処理システムは人工ニューラルネットワークであり、処理ユニット、第１の制御モジュール、および第２の制御モジュールの１つ以上は、ノードグループと学習関数から構成され、処理ユニット、第１の制御モジュール、および第２の制御モジュールのシステム入力は多次元であり、アレイまたはマトリクスとして実装される。

【0016】

第４の態様によれば、第１の制御モジュールが提供される。第１の制御モジュールは、第２の制御モジュールに接続可能であり、処理ユニットに接続可能である。第１の制御モジュールは、処理ユニットの集団活動を測定するように構成可能であり、第１の制御信号を第２の制御モジュールに提供するように構成可能であり、それによって入力信号のスケーリングを可能にする。第１の制御信号は、処理ユニットの出力と、処理ユニットの測定された集団活動とに基づいている。

【0017】

第２、第３および第４の態様の効果および特徴は、第１の態様に関連して上述したものと大部分類似しており、またその逆も同様である。第１の態様に関連して述べた実施形態は、第２の態様、第３の態様および第４の態様にほぼ適合し、その逆も同様である。

【0018】

いくつかの実施形態の利点は、収束が促進されること、および／または活動が飽和することが回避されることであり、それにより、特に学習／トレーニング段階において、データ／情報のより効率的な処理が提供される。

【0019】

いくつかの実施形態の他の利点は、無限に長いデータ系列を識別できることである。

【0020】

いくつかの実施形態のさらに他の利点は、データをより効率的に利用できることである。

【0021】

いくつかの実施形態のさらなる利点は、最適解ではなく準最適解を見つけるリスクが減少することである。

【0022】

さらに、いくつかの実施形態のさらなる利点は、プロセッサが、例えば、客観的尺度を用いて、いつ完全にトレーニング／学習されたかを判断できることであり、したがって、トレーニング／学習を事前に停止することができ、より効率的／より短時間／より速いトレーニング／学習につながる。

【0023】

いくつかの実施形態のもう１つの利点は、ネットワークが、より良いまたは維持された効率で、より少ないノードを含む／で構成することができ、したがって、より複雑さの少ないネットワークを提供することである。

【0024】

いくつかの実施形態のさらなる利点は、プロセッサに入力されるデータの適切な／最適な長さが決定され、それにより、より速いトレーニング／学習が容易に／可能になることである。

【0025】

いくつかの実施形態のさらなる利点は、異なるブロック間の接続がどのようになっているか分からない入出力システム、例えばブラックボックスシステムを利用できる、すなわちシステムの内部構造を知る必要がないことである。

【0026】

いくつかの実施形態の他の利点は、性能の向上、より高い信頼性、効率の向上、より速い／より短いトレーニング／学習、より少ないコンピュータ処理能力の使用、より少ないトレーニングデータの使用、より少ない記憶領域の使用、より少ない複雑さ、および／またはより少ないエネルギーの使用である。

【0027】

本開示は、以下に示す詳細な説明から明らかになるであろう。詳細な説明および具体例は、例示のためにのみ本開示の好ましい実施形態を開示する。当業者は、詳細な説明の手引きから、本開示の範囲内で変更および修正がなされ得ることを理解する。

【0028】

したがって、本明細書に開示される開示は、そのような装置および方法が変化し得るので、記載される装置の特定の構成部分または記載される方法のステップに限定されないことを理解されたい。また、本明細書で使用される用語は、特定の実施形態を説明するためだけのものであり、限定することを意図するものではないことを理解されたい。本明細書および添付の特許請求の範囲で使用される場合、冠詞「a」、「an」、「the」、および「said」は、文脈が明確に指示しない限り、１つまたは複数の要素が存在することを意味することが意図されることに留意されたい。したがって、例えば、「ユニット」または「ユニット」への言及は、複数の装置などを含む場合がある。さらに、「comprising」、「including」、「containing」などの語句は、他の要素やステップを除外するものではない。

【0029】

上記の目的、ならびに本開示の追加の目的、特徴、および利点は、添付の図面と併せて考慮される場合、本開示の例示的な実施形態の以下の例示的かつ非限定的な詳細な説明を参照することによって、より十分に理解されるであろう。

【図面の簡単な説明】

【0030】

【図1】図１は、いくつかの実施形態に係るデータ処理システムを示す概略ブロック図である。

【図2】図２は、いくつかの実施形態に係る方法ステップを示すフローチャートである。

【図3】図３は、いくつかの実施形態に係るデータを処理するための装置によって実行される例示的なステップを示すフローチャートである。

【図4】図４は、いくつかの実施形態に係る例示的なコンピュータ可読媒体を示す概略図である。

【発明を実施するための形態】

【0031】

次に、本開示の好ましい例示的な実施形態が示されている添付図面を参照して、本開示を説明する。しかしながら、本開示は、他の形態で具体化されてもよく、ここに開示された実施形態に限定して解釈されるべきではない。開示された実施形態は、当業者に本開示の範囲を十分に伝えるために提供される。

【0032】

用語解説
「ノード」、「セル」、または「ニューラルセル」という用語は、人工ニューラルネットワークのニューロンなどのニューロン、処理要素のネットワークのプロセッサなどの別の処理要素、またはそれらの組み合わせを示し得る。

【0033】

以下、「時間ステップ」という用語は、時間の漸進的な変化を表すために使用される。例えば、１つの時間ステップは、直前の時間インスタンス（または時点）と現在の時間インスタンスとの間の期間、または現在の時間インスタンスと直後の／次の時間インスタンスとの間の期間として定義される。

【0034】

「集団(population)」という用語は、ノード、セル、ニューラルセルのグループまたは集合として解釈される。

【0035】

「信号」という用語は、情報を伝達する機能として解釈される。「活動(activities)」および「アクティビティ(activity)」という用語は、「信号」と等価に解釈される。ただし、以下で使用される「活動レベル」および「集団活動」という用語は、ノードまたはノードグループの利用レベルを示すものとして解釈される。集団活動(population activity)は、ノードの合計活動として、ノードグループの活動レベルの平均値(mean)または平均値(average)として、またはグループ内の１つまたは複数のノードの活動値を選択するようにノードグループの活動値をサブサンプリングすることによって、測定することができる。

【0036】

「時間連続データ」または「時間連続信号」という用語は、アナログ信号のような連続した振幅と時間の信号として解釈される。

【0037】

以下では、実施形態について説明する。図１は、いくつかの実施形態によるデータ処理システム１００を示す概略ブロック図である。いくつかの実施形態では、データ処理システムはネットワークである。ネットワークは、ニューラルセルおよび／または他の処理要素から構成されてもよい。あるいは、データ処理システムは、ディープニューラルネットワーク、ディープビリーフネットワーク、ディープ強化学習システム、リカレントニューラルネットワーク、または畳み込みニューラルネットワークである。データ処理システム１００は、システム入力１５２を有するか、またはシステム入力１５２を有するまたは受信するように構成される。システム入力１５２は、処理されるデータを備える。データは多次元であってもよい。例えば、複数の信号が並列に提供される。いくつかの実施形態では、システム入力１５２は、時間連続データまたは連続時間データ、例えばアナログ信号からなる、または構成される。さらに、処理システム１００は、システム出力１６２を有するか、またはシステム出力１６２を有するまたは生成するように構成される。データ処理システム１００は、処理ユニット１３０を備える。処理ユニット１３０は、集団(population)を備える。集団は、ノードの集合（またはノードの１つ以上のサブセット）である。処理ユニット１３０は、処理ユニット入力１５６を受信するように構成される。さらに、処理ユニットは、処理ユニット出力１５８を生成するように構成される。いくつかの実施形態では、処理ユニット出力１５８は、処理ユニット１３０に構成される複数のノード、例えば、全てのノードのサブセット、の各々の活動レベルを備える。処理ユニット出力１５８は、システム出力１６２として利用される。データ処理システム１００は、第１の制御モジュール１１０をさらに備える。第１の制御モジュール１１０は、処理ユニット１３０の集団活動を測定するように構成される。いくつかの実施形態において、例えば、データ処理システム１００がノードのネットワークから構成され、処理ユニット１３０がノードのサブセットから構成される場合、処理ユニット１３０の集団活動は、処理ユニット１３０の全てのノードの活動レベルの平均(mean)または平均(average)として計算される。あるいは、集団活動は、ノード活動の合計として計算されるか、サブサンプリングによって求められる。いくつかの実施形態では、データ処理システム１００（またはその第１の制御モジュール１１０）は、処理ユニット１３０の集団活動を測定するための集団活動ノードを備える。集団活動ノードは、処理ユニット１３０の各ノードの活動レベルに関する情報を受信し、処理ユニット１３０の各ノードの活動レベルの平均値として集団活動を計算する。さらに、第１の制御モジュール１１０は、第１の制御信号１６０を提供するように構成される。第１の制御信号１６０は、処理ユニット出力１５８および処理ユニット１３０の測定された集団活動に基づいている。いくつかの実施形態において、第１の制御モジュール１１０は、処理ユニット出力１５８および処理ユニット１３０の測定された集団活動に基づいて、第１の制御信号１６０を計算する。いくつかの実施形態において、制御信号１６０は、処理ユニット１３０の測定された集団活動と目標集団活動との間の差に基づく。いくつかの実施形態において、第１の制御信号１６０は、閾値と比較され、第１の制御信号１６０が閾値を下回る場合、０に等しい信号が生成され、第１の制御信号１６０が閾値を上回る場合、１に等しい信号が生成される。したがって、これらの実施形態において、処理ユニット１３０へのスケーリングされた入力は、（第１の制御信号１６０が閾値より上である場合）ゼロ信号、または（第１の制御信号１６０が閾値より下である場合）フルシステム入力１５２のいずれかである。

【0038】

いくつかの実施形態では、データ処理システム１００は、第１の変換モジュール１２４を備える。第１の変換モジュール１２４は、システム入力１５２または処理ユニット入力１５６を第１の利得Ａに変換するように構成される。第１の変換モジュール１２４は、システム入力１５２および／または処理ユニット入力１５６を選択するためのスイッチ１２３に接続される。さらに、第１の利得への変換は、処理ユニット出力１５８に基づく。好ましくは、第１の利得Ａは正である。第１の変換モジュール１２４は、第１の利得Ａを第１の制御モジュール１１０に送信または他の方法で通信するように構成される。さらに、いくつかの実施形態において、データ処理システム１００は、第２の変換モジュール１３４を備える。第２の変換モジュール１３４は、処理ユニット出力１５８を受信し、処理ユニット出力１５８を第２の利得Ｂに変換し、第２の利得Ｂを第１の制御モジュール１１０に送信または他の方法で通信するように構成される。好ましくは、第２の利得Ｂは負である。これらの実施形態において、第１の制御信号１６０は、処理ユニット出力１５８に直接基づく代わりに、第２の利得Ｂに基づく。第２の利得Ｂを利用することによって、処理ユニット出力１５８は、（第１の制御信号を介して）制御のために利用される前にバランスされ得る。いくつかの実施形態において、データ処理システム１００は、第２の制御モジュール１２０を備える。第２の制御モジュール１２０は、システム入力１５２を受信するように構成される。さらに、第２の制御モジュール１２０は、システム入力１５２をスケーリングするように構成される。スケーリングは、第１の制御信号１６０に基づく。制御信号１６０が、処理ユニット１３０の測定された集団活動と目標集団活動との間の差に基づく場合、その差が大きいほど、システム入力１５２（またはその利得）が、例えば低減されるようにスケーリングされるように、スケーリングは、漸進的であってもよい。処理ユニット１３０への入力をスケーリングする、例えば、ゲインを低減する、またはデータ量を低減することによって、収束が促進され、および／または活動が飽和することが回避され、それによって、特に学習段階において、データ／情報のより効率的な処理が提供される。さらに、システム容量によっては、無限に長いデータ系列を識別することができる。さらに、第１および第２の制御モジュール１１０、１２０は、入力データを明確化することができ、したがって、処理ユニット１３０が、入力データのまだ説明されていない大きさ（次元）などの、まだ説明されていない入力データの解釈にリソースを集中させることを可能にする。第２の制御モジュール１２０は、次の時間ステップにおいて、スケーリングされたシステム入力を処理ユニット入力１５６として提供するように構成される。いくつかの実施形態では、データ処理システム１００または好ましくは第２の制御モジュール１２０は、調整モジュール１４０を備える。調整モジュール１４０は、処理ユニット出力１５８（図１では１６４として示されている）を受信するように構成されている。さらに、調整モジュール１４０は、処理ユニット出力１５８に基づいてシステム入力１５２を調整するように構成される。いくつかの実施形態において、調整モジュール１４０は、総和器、合計ユニット、減算器、結合器、または結合ユニットである。これらの実施形態において、処理ユニット出力１５８は、調整されたシステム入力、例えば、処理ユニット出力１５８とシステム入力１５２との間の差を形成するために、システム入力１５２に加算され、システム入力１５２から減算され、またはシステム入力１５２と比較され、調整されたシステム入力は、次いで、処理ユニット入力１５６（第２の制御モジュール１２０によってスケーリングされた）として利用される。いくつかの実施形態において、第１および第２の制御モジュール１１０、１２０は、処理ユニット１３０に対する次のシステム入力１５２を予測するように構成され、調整モジュール１４０は、予測された次のシステム入力１５２と実際の／リアルの次のシステム入力１５２との間の差に等しい調整／オフセットでシステム入力１５２を調整するように構成される。いくつかの実施形態において、第１の制御モジュール１１０は、第２の制御モジュール１２０を備える（または、組み合わされた第１および第２の制御モジュールとして機能する）。いくつかの実施形態では、データ処理システム１００および／または処理ユニット１３０は、学習モード／フェーズにある。そして、（処理ユニット１３０の）特定のノード／ニューラルセルの活動レベルが閾値を下回る場合、これを利用して、特定のノードについて学習モード／フェーズを制限または停止できることをシグナリングすることができる。（処理ユニット１３０の）特定のノード／ニューラルセルの活動レベルが再び閾値を上回れば、学習モードを再び適用することができる。さらに、学習モード／フェーズにおいて、図１のブロック／モジュール１１０、１２０、１２４、１３０、１３４、１４０の１つ以上は、それ自身の学習機能を持つことができる。したがって、図１中の異なるブロック１１０、１２０、１２４、１３０、１３４、１４０は、１つずつ学習モードになってもよいし、すべて同時に学習モードになってもよいし、１つずつ互いに順次学習モードになってもよいし、ブロック１１０、１２０、１２４、１３０、１３４、１４０のうちの１つだけが学習モードになってもよい。一例として、第１の制御モジュール１１０のみが学習モードにある必要があるかもしれない。別の例として、第１の制御モジュール１１０と第２の制御モジュール１２０だけが学習モードにある必要があるかもしれない。さらに別の例として、第１の制御モジュール１１０、第１の変換モジュール１２４、第２の変換モジュール１３４、および調整モジュール１４０のみが、学習モードにある必要があるかもしれない。いくつかの実施形態では、データ処理システム１００は、常に学習モードにある、すなわち、システム１００が動作モードにあるときでも、学習は必要なときに実行される。あるいは、一旦完全に学習されると、システム１００は動作モードに切り替わってもよい。システム１００は、例えば、集団活動が集団活動閾値未満である場合に、完全にトレーニングされたと見做されてよい。したがって、システム１００は、例えば、集団活動が集団活動閾値と等しいか、または集団活動閾値を上回っている場合、まだ完全にトレーニングされていないと見做されてよい。

【0039】

一態様では、第１の制御モジュール１１０は、第２の制御モジュール１２０に接続可能または接続されている。さらに、第１の制御モジュール１１０は、処理ユニット１３０に接続可能または接続されている。第１の制御モジュール１１０は、処理ユニット１３０の集団活動を測定するように構成可能または構成される。さらに、第１の制御モジュール１１０は、第１の制御信号１６０を第２の制御モジュール１２０に提供するように構成可能または構成され、それによって入力信号１５２のスケーリングを可能にする。いくつかの実施形態において、第１の制御信号１６０を提供するために、第１の制御モジュール１１０は制御信号１６０を計算する。第１の制御信号１６０は、処理ユニット出力１５８および処理ユニット１３０の測定された集団活動に基づく。データ処理システム１００は、第１および第２の制御モジュール１１０、１２０を備えるので、データ処理システム１００は、内部制御メカニズムを構成し、したがって、自律制御または自己制御を行うことができる。

【0040】

いくつかの実施形態では、データ処理システム１００は人工ニューラルネットワークである。第１の制御モジュール１１０、第２の制御モジュール１２０および処理ユニット１３０のうちの１つ以上は、１つ以上のノードグループから構成される。さらに、第１の制御モジュール１１０、第２の制御モジュール１２０および処理ユニット１３０のうちの１つ以上は、学習機能を備える。さらに、システム入力１５２、システム出力１６２、第１の制御モジュール１１０、第２の制御モジュール１２０、処理ユニット１３０、および任意選択で第１の変換モジュール１２４、第２の変換モジュール１３４、および調整モジュール１４０は、多次元であり（多次元入力および／または多次元出力を有する）、したがって、アレイまたはマトリクスとして実装されてもよい。各モジュールを多次元アレイとして実装する利点は、処理ユニット１３０が、入力データのまだ説明されていない次元（大きさ）にその能力を自動的に集中させることができ、それによって（例えば、これらの次元を説明／推定する際の）精度を高めることができることである。いくつかの実施形態では、ネットワークの特定のノードをグループ化して、サブグループ、アレイ、またはマトリクスのカラムを形成することができる。サブグループ、アレイ、および／またはマトリクスは、さらに、状態に関する情報、すなわち、動的システムの数学的状態を記述する状態変数を含んでいてもよい。次に、グループ内のノードの１つの活動値を選択するように、ノードの各グループの活動レベルをサブサンプリングすることによって、集団活動を求めることができる。あるいは、ノードの各グループのノードの活動レベルの平均を計算することによって、集団活動を求めることもできる。このように、集団活動は多次元的であってもよい。さらに、これらの実施形態では、処理ユニット出力１５８は、処理ユニット１３０のノードのすべての活動レベルを備える。いくつかの実施形態では、第１の制御モジュール１１０、第２の制御モジュール１２０、処理ユニット１３０、第１の変換モジュール１２４、第２の変換モジュール１３４、および調整モジュール１４０のうちの１つまたは複数が、ニューラルネットワークを備える。したがって、ブロック１１０、１２０、１２４、１３０、１３４、１４０のうちの１つ以上は、入力信号を受信するための入力ユニットと、入力信号のそれぞれをそれぞれの重みでスケーリングするためのスケーリングユニットと、任意選択で、スケーリングされた入力信号の合計を計算するように構成された合計ユニットとを備えることができる。重みのいくつか、例えば、第２の変換モジュール１３４の重みは、いくつかの実施形態では０であり、したがって、疎な入力が提供される。さらに、ブロック１１０、１２０、１２４、１３０、１３４、１４０のそれぞれは、学習関数を構成してもよい。さらに、多次元モジュール（１１０、１２０、１２、１３０、１３４および／または１４０）を利用することによって、データ処理システム／人工ニューラルネットワーク１００は、（現在の）システム入力、例えば、センサデータ、をノードの１つまたは複数のサブグループ（複数可）またはグループ（複数可）に分配するようにトレーニングされ、（現在の）システム入力（例えば、センサデータ）がどの程度良好に処理／説明されるか、すなわち、測定された集団活動が（例えば、目標集団活動に関連して）どの程度大きいか、に依存して、システム入力（センサデータ）の、例えば、ノードのいくつかまたはすべてのサブグループまたはグループへの抑制(inhibition)が増加または減少する（図２に関連して以下でさらに後述する）。

【0041】

図２は、いくつかの実施形態による例示的な方法ステップを示すフローチャートである。図２は、データを処理するためのコンピュータ実装またはハードウエア実装方法２００を示す。この方法は、アナログハードウエア／電子回路、デジタル回路、例えばゲートやフリップフロップ、ミックスドシグナル回路、ソフトウエア、およびそれらの任意の組み合わせで実装することができる。本方法は、（現在の時間ステップにおいて）処理ユニット１３０の集団活動を測定すること２１０を含む。処理ユニット１３０は集団を備える。さらに、処理ユニット１３０は、処理ユニット入力１５６を受信し、処理ユニット出力１５８を生成する。好ましくは、測定すること２１０は、第１の制御モジュール１１０によって実行される。さらに、本方法は、（現在の時間ステップにおいて）第１の制御信号１６０を提供すること２２０を含む。第１の制御信号は、処理ユニット出力１５８に基づき、かつ処理ユニット１３０の測定された集団活動に基づく。好ましくは、提供すること２２０は、第１の制御モジュール１１０によって実行される。いくつかの実施形態において、本方法は、（現在の時間ステップにおいて）第１の変換モジュール１２４によって、システム入力１５２または処理ユニット入力１５６を第１の利得Ａに変換すること２１２を含む。第１の利得Ａは好ましくは正である。任意選択で、本方法は、（現在の時間ステップにおいて）第２の変換モジュール１３４によって、処理ユニット出力１５８を第２の利得Ｂに変換すること２１４を含む。第２の利得Ｂは好ましくは負である。これらの実施形態において、第１の制御信号１６０は、第１の利得Ａおよび任意選択で第２の利得Ｂに基づいている。第２の利得Ｂが第１の制御信号１６０に利用される場合、処理ユニット出力１５８が大きいほど、システム入力１５２の利得は、処理ユニット１３０に到達する前に（好ましくは以下に説明されるような第２の制御モジュールによって）低減される。さらに、本方法は、（現在の時間ステップにおいて）処理されるべきデータを備えるシステム入力１５２を受信すること２３０を含む。好ましくは、受信すること２３０は、第２の制御モジュール１２０によって実行される。本方法は、（現在の時間ステップにおいて）システム入力１５２をスケーリングすること２４０を含む。好ましくは、スケーリングすること２４０は、第２の制御モジュール１２０によって実行される。あるいは、スケーリングすること２４０は、例えば、第１の制御モジュールが第２の制御モジュール１２０を備える場合、第１の制御モジュール１１０によって実行される。スケーリングすること２４０は、第１の制御信号１６０に基づいて行われる。スケーリングされた入力は、次の時間ステップにおいて処理ユニット１３０に提供される。さらに、本方法は、（現在及び／又は次の時間ステップにおいて）処理ユニット出力１５８をシステム出力１６２として利用すること２５０を備える。いくつかの実施形態では、すべてのステップ２１０、２２０、２３０、２４０、２５０、および任意選択でステップ２１２、２１４、２５２、２５４、２５５、２５６、２５８、２５９、２６０、および２７０が、例えば次の時間ステップにおいて、１回または複数回繰り返される。いくつかの実施形態では、方法２００は、処理されるべきすべてのデータが処理されるまで継続されるか、または繰り返される。

【0042】

あるいは、方法２００は、システム１００が完全にトレーニングされるまで継続または反復される。さらに別の代替形態として、方法２００は、システムがオフになるまで継続または反復される。いくつかの実施形態では、第１の制御信号１６０は、第１の時間ステップ／インスタンスにおいて、０または１などの初期値を有する。いくつかの実施形態において、本方法は、（現在の時間ステップにおいて）、処理ユニット１３０の測定された集団活動が第１の閾値よりも大きいかどうかをチェックすること２５２を含む。処理ユニット１３０の測定された集団活動が、第１の閾値、例えば、目標集団活動よりも大きい場合、処理ユニット１３０の活動飽和が差し迫っていると考えられる。第１の閾値は適応的であってもよく、すなわち、第１の閾値は時間とともに変化してもよい。処理ユニット１３０の測定された集団活動が第１の閾値よりも大きい場合、本方法は、処理ユニット１３０の測定された集団活動に基づいて、処理ユニット入力１５６を抑制すること２５４をさらに含む。いくつかの実施形態において、抑制すること２５４は、処理ユニット１３０の測定された集団活動と目標集団活動との間の差に基づく。抑制すること２５４は、処理ユニット１３０の測定された集団活動が大きいほど（または差が大きいほど）、処理ユニット入力１５６がより抑制され、したがって処理ユニット１３０が処理するために利用可能なデータがより少なくなるように、漸進的であってもよい。従って、抑制すること２５４は、処理ユニット入力１５６のデータレートを低減することを含む。いくつかの実施形態では、（処理ユニット入力１５６のデータレートを低減するために）抑制すること２５４は、処理ユニット入力１５６を第１の時間期間、抑制し（または中断／停止し）、その後、処理ユニット入力１５６を（例えば、第２の時間期間、それによって第１および第２の時間期間が繰り返されてもよい）再開することを含む。あるいは、抑制すること２５４は、処理ユニット入力１５６のデータレートが、処理ユニット１３０の測定された集団活動と目標集団活動との間の差に基づいて連続的に調節／制御されるように、漸進的である。データレートの調節／制御は、処理ユニット１３０の測定された集団活動と目標集団活動との間の差を入力として有する非線形、例えば指数、または線形方程式に基づく制御戦略を利用するコントローラ、例えばＰＩＤコントローラによって実行されてもよい。いくつかの実施形態（抑制すること２５４が漸進的である場合）において、処理ユニット入力１５６のデータレートは、処理ユニット１３０の測定された集団活動と目標集団活動との間の差がゼロ（０）より高い場合にのみ、連続的に調節／制御される。差が０より高くない場合、データレートは制御されない。しかしながら、他の実施形態（抑制すること２５４が漸進的である場合）において、処理ユニット入力１５６のデータレートは、処理ユニット１３０の測定された集団活動と目標集団活動との間の差が０と等しいかまたは０より低くても、連続的に調節／制御される。一例として、処理ユニット１３０の測定された集団活動と目標集団活動との間の差が０より低い場合、データレートは増加され、処理ユニット１３０の測定された集団活動と目標集団活動との間の差が０より高い場合、データレートは減少される。処理ユニット入力１５６のデータレート／スループットを連続的に制御することにより、ＡＮＮ１００は自己安定化し、データレート／スループットは改善または最適化される。さらに、いくつかの実施形態において、スケーリングすること２４０は、抑制すること２５４を含む。処理ユニット１３０の活動を抑制することによって、飽和が回避され、および／またはデータの説明／解釈が促進され、したがって学習が促進され得る。いくつかの実施形態において、本方法は、（現在の時間ステップにおいて）処理ユニット１３０の集団活動が第１の時間ステップの量の間、第２の閾値を超えるか否かをチェックすること２５６を含む。処理ユニット１３０の集団活動が、第１の時間ステップの量の間、第２の閾値を超える場合、収束は決して起こらないであろうと考えられる。処理ユニット１３０の集団活動が第１の時間ステップの量の間、第２の閾値以上である場合、本方法は、処理ユニット１３０をリセットすること２５８、およびその後、入力を再始動すること２５９をさらに含む。入力シーケンスは、最初から再始動されてもよい。これらの実施形態では、収束が促進される。したがって、（例えば、トレーニング／学習モードにある場合）より高速なトレーニング／学習が可能になる。いくつかの実施形態において、第２の閾値は適応的である、すなわち、第２の閾値は時間とともに変化してもよい。さらに、いくつかの実施形態では、リセットすること２５８および再始動すること２５９は、リセットおよび再始動モジュールによって実行される。あるいは、リセットすること２５８はリセットモジュールによって実行され、再始動すること２５９は再始動モジュールによって実行される。いくつかの実施形態において、本方法は、処理ユニット出力１５８を調整モジュール１４０に提供すること２６０を含む。第２の制御モジュール１２０は、調整モジュール１４０を含んでもよい。調整モジュール１４０は、システム入力１５２を受信し、処理ユニット出力１５８に基づいてシステム入力１５２を調整する２７０。これらの実施形態において、受信するステップ２３０は、調整モジュール１４０によって、システム入力１５２を受信することを含む。

【0043】

図３は、データを処理するための装置３００に実装される例示的な方法ステップを示すフローチャートである。装置３００は、制御回路を備える。制御回路は、１つまたは複数のプロセッサおよび／またはネットワークであってもよい。制御回路は、処理ユニット１３０の集団活動の測定３１０を行わせるように構成され、処理ユニット１３０は、処理ユニット入力１５６を受信し、処理ユニット出力１５８を生成する。この目的のために、制御回路は、測定ユニット（例えば、測定回路または測定器）に関連付けられ得る（例えば、動作可能に接続され得る、または接続される）。好ましくは、第１の制御モジュール１１０が測定ユニットを備える。さらに、制御回路は、第１の制御信号１６０の提供３２０を引き起こすように構成され、第１の制御信号１６０は、処理ユニット出力１５８に基づき、処理ユニット１３０の測定された集団活動に基づく。この目的のために、制御回路は、第１の提供ユニット（例えば、第１の提供回路または第１のプロバイダ）に関連付けられ得る（例えば、動作可能に接続され得る、または接続される）。好ましくは、第１の制御モジュール１１０は、提供ユニットを備える。いくつかの実施形態において、制御回路は、システム入力１５２または処理ユニット入力１５６の第１の利得Ａへの変換３１２を引き起こすように構成される。この目的のために、制御回路は、第１の変換モジュール１２４（例えば、第１の変換回路または第１の変換器）に関連付けられ得る（例えば、動作可能に接続され得る、または接続される）。第１の利得Ａは、好ましくは正である。制御回路は、処理ユニット出力１５８を第２の利得Ｂへの変換を引き起こすように構成される。この目的のために、制御回路は、第２の変換モジュール１３４（例えば、第２の変換回路または第２の変換器）に関連付けられる（例えば、動作可能に接続される、または接続される）。第２の利得Ｂは、好ましくは負である。これらの実施形態において、第１の制御信号１６０は、第１の利得Ａおよび任意選択で第２の利得Ｂに基づく。さらに、本方法は、（現在の時間ステップにおいて）第１の制御信号１６０を提供すること３２０を含む。第１の制御信号は、処理ユニット出力１５８に基づき、処理ユニット１３０の測定された集団活動に基づく。好ましくは、提供すること３２０は、第１の制御モジュール１１０によって実行される。さらに、制御回路は、処理されるべきデータを有するシステム入力１５２を受信すること３３０を引き起こすように構成される。この目的のために、制御回路は、受信ユニット（例えば、受信回路または受信器）に関連付けられてよい（例えば、動作可能に接続される、または、接続される）。好ましくは、第２の制御モジュール１２０は受信ユニットを備える。あるいは、第１の制御モジュール１１０が受信ユニットを備える。制御回路は、次の時間ステップにおいて処理ユニット１３０に入力を提供するために、システム入力１５２のスケーリング３４０を引き起こすように構成される。スケーリング３４０は、第１の制御信号１６０に基づく。この目的のために、制御回路は、スケーリングユニット（例えば、スケーリング回路またはスケーラー）に関連付けられてよい（例えば、動作可能に接続される、または接続される）。好ましくは、第２の制御モジュール１２０は、スケーリングユニットを備える。あるいは、例えば第１の制御モジュールが第２の制御モジュール１２０を備える場合、第１の制御モジュール１１０がスケーリングユニットを備える。さらに、制御回路は、処理ユニット出力１５８をシステム出力１６２として利用３５０させるように構成される。この目的のために、制御回路は、利用ユニット（例えば、利用回路または利用器）に関連付けられてよい（例えば、動作可能に接続される、または接続される）。

【0044】

いくつかの実施形態において、制御回路は、処理ユニット１３０の測定された集団活動が第１の閾値より大きい場合に、チェックすること３５２を引き起こすように構成される。この目的のために、制御回路は、第１のチェックユニット（例えば、第１のチェック回路または第１のチェッカー）に関連付けられてよい（例えば、動作可能に接続され得る、または接続される）。これらの実施形態において、制御回路は、処理ユニット１３０の測定された集団活動が第１の閾値より大きい場合、第１の時間期間、処理ユニット１３０を抑制すること３５４、およびその後のデータの処理を再開すること３５５を引き起こすように構成される。この目的のために、制御回路は、抑制および再開ユニット（例えば、抑制および再開回路または抑制器／再開器）に関連付けられてよい（例えば、動作可能に接続され得る、または接続される）。いくつかの実施形態において、抑制器は、第１の制御モジュール１１０内に構成される、すなわち、第１の制御モジュール１１０は、抑制器（図示せず）を備える。さらに、いくつかの実施形態において、抑制器は、比例積分微分（ＰＩＤ）コントローラなどの制御ユニットまたはコントローラを備える。いくつかの実施形態において、制御回路は、処理ユニット１３０の集団活動が第１の時間ステップの量の間、第２の閾値を超える場合に、チェックすること３５６を引き起こすように構成される。この目的のために、制御回路は、第２のチェックユニット（例えば、第２のチェック回路または第２のチェッカー）に関連付けられてよい（例えば、動作可能に接続され得る、または接続される）。これらの実施形態において、制御回路は、処理ユニット１３０の集団活動が第１の時間ステップの量の間、第２の閾値を超える場合、処理ユニット１３０をリセットすること３５８、およびその後、処理ユニット１３０への入力を再始動すること３５９を引き起こすように構成される。この目的のために、制御回路は、リセットユニットおよび再始動ユニット（例えば、リセット／再始動回路またはリセット器／再始動器）に関連付けられてよい（例えば、動作可能に接続され得る、または接続される）。入力シーケンスは、最初から再始動されてよい。いくつかの実施形態において、制御回路は、処理ユニット出力１５８を調整モジュール１４０へ提供すること３６０を引き起こすように構成される。この目的のために、制御回路は、第２の提供ユニット（例えば、第２の提供回路または第２のプロバイダ）に関連付けられてよい（例えば、動作可能に接続される、または接続される）。第２の制御モジュール１２０は、調整モジュール１４０を備えてよい。これらの実施形態において、制御回路は、処理ユニット出力１５８に基づいてシステム入力１５２を調整するように構成される。この目的のために、制御回路は、調整モジュールに関連付けられてよい（例えば、動作可能に接続される、または接続される）。さらに、これらの実施形態において、受信すること３３０は、調整モジュール１４０におけるシステム入力１５２を受信することを含む。

【0045】

いくつかの実施形態によれば、コンピュータプログラム製品は、例えばユニバーサルシリアルバス（ＵＳＢ）メモリ、プラグインカード、組み込みドライブ、デジタル多用途ディスク（ＤＶＤ）または読み出し専用メモリ（ＲＯＭ）などの非一過性のコンピュータ可読媒体４００から構成される。図４は、コンパクトディスク（ＣＤ）ＲＯＭ４００の形態のコンピュータ可読媒体の例を示している。このコンピュータ可読媒体には、プログラム命令からなるコンピュータプログラムが格納されている。コンピュータプログラムは、例えば、コンピュータまたはコンピューティングデバイス４１０で構成されるデータ処理装置（ＰＲＯＣ）４２０にロード可能である。データ処理装置にロードされるとき、コンピュータプログラムは、データ処理装置と関連付けられるか、またはデータ処理装置に構成されるメモリ（ＭＥＭ）４３０に格納されてもよい。いくつかの実施形態によれば、コンピュータプログラムは、データ処理ユニットにロードされ、データ処理ユニットによって実行されると、例えば、本明細書で説明される図２に示される方法に従って、方法ステップの実行を引き起こし得る。

【0046】

いくつかの実施形態では、データ処理システム１００は１つ以上のセルからなり、各セルは入力ゲート、忘却ゲート、出力ゲートからなる。各セルは任意の時間間隔にわたって値を記憶し、ゲートはセルへの情報の入出力を調節する。さらに、いくつかの実施形態では、データ処理システム１００は、フィードバック接続を備える。データ処理システム１００は、人工リカレントニューラルネットワーク（ＲＮＮ）であってもよい。ある実施形態では、データ処理システム１００は、上述のように変更されたＬＳＴＭである。あるいは、データ処理システム１００は、アトラクターネットワークなどのノードのネットワークである。さらに、いくつかの実施形態では、データ処理システム１００は、フィードフォワード（ニューラル／ニューロン）ネットワークに取り付け可能な、または取り付けられた、モジュールである。これらの実施形態では、データ処理システムは、例えば、トレーニング／学習モード中に、１つまたは複数の個々のノードにおける活動の飽和を防止することができ、したがって、トレーニング／学習フェーズを短縮する、またはより効率的にするなど、トレーニング／学習フェーズを改善することができる。

【0047】

いくつかの実施形態では、システム入力１５２は、１つまたは複数のセンサによって生成された時間連続データである。センサは、デジタルカメラなどの１つまたは複数のカメラであってもよい。あるいは、センサは、１つまたは複数のタッチセンサ、音声信号の周波数帯域に関連する１つまたは複数のセンサ、または１つまたは複数のマイクなどのスピーカに関連する１つまたは複数のセンサであってもよい。いくつかの実施形態では、１つまたは複数のセンサはデジタルカメラであり、システム入力１５２は、（時間的に連続する一連の画像の）画像の各画素についての時間的に連続する画素値を有する時間的に連続する多次元入力である。画素値は強度および／または色を表し、すなわち、画素値のすべてまたは一部が強度を表し、および／または画素値のすべてまたは一部が色を表す。画像は、デジタルカメラなどのカメラによって撮像されてもよい。さらに、データ処理システム１００は、ノードまたはニューラルセルのネットワークであってもよく、処理ユニット１３０は、複数のノードを備えてもよく、処理ユニット１３０に構成されるノードの各々は、特定の画素に関連付けられてもよい。したがって、プロセッサに備えられる各特定のノードは、それが関連付けられている特定の画素の（時間的に連続する一連の画像における）時間的に連続する画素値を処理することができる。

【0048】

いくつかの実施形態では、１つまたは複数のセンサはタッチセンサであり、システム入力１５２は、力依存値、例えば０から１までの値を有する時間連続タッチイベント信号からなる時間連続多次元入力である。いくつかの実施形態では、力依存値は、バイナリ値、例えば０または１を作成するために閾値と比較される。さらに、データ処理システム１００は、ノードまたはニューラルセルのネットワークであってもよく、処理ユニット１３０は、複数のノードを備えてもよく、処理ユニット１３０に備えられるノードの各々は、特定のタッチセンサに関連付けられてもよい。従って、プロセッサに構成される各特定のノードは、それが関連付けられる特定のタッチセンサの時間連続タッチイベント信号を処理することができる。

【0049】

いくつかの実施形態では、１つまたは複数のセンサの各センサは、オーディオ信号の異なる周波数帯域に関連付けられ、システム入力１５２は、異なる周波数帯域の時間連続オーディオ信号からなる時間連続多次元入力である。各センサは、関連する周波数帯域に存在するエネルギーをレポートする。さらに、データ処理システム１００は、ノードまたはニューラルセルのネットワークであってもよく、処理ユニット１３０は、複数のノードを備えてもよく、処理ユニット１３０に備えられるノードの各々は、特定の周波数帯域／センサに関連付けられてもよい。したがって、プロセッサに備えられる各特定のノードは、それが関連付けられる特定の周波数帯域／センサの時間連続オーディオ信号を処理することができる。

【0050】

例示的リスト
１．コンピュータ実装またはハードウエア実装方法（２００）であって、前記方法（２００）は、以下のステップを含む：
好ましくは第１の制御モジュール（１１０）によって、集団を備える処理ユニット（１３０）の集団活動を測定し（２１０）、ここで、前記処理ユニット（１３０）は、処理ユニット入力（１５６）を受信し、処理ユニット出力（１５８）を生成し；
好ましくは前記第１の制御モジュール（１１０）によって、第１の制御信号（１６０）を提供し（２２０）、ここで、前記第１の制御信号（１６０）は、前記処理ユニット出力（１５８）に基づき、かつ前記処理ユニット（１３０）の測定された集団活動に基づく；
好ましくは第２の制御モジュール（１２０）によって、処理されるべきデータを含むシステム入力（１５２）を受信し（２３０）；
好ましくは前記第２の制御モジュール（１２０）によって、前記第１の制御信号（１６０）に基づいて、前記システム入力（１５２）をスケーリングし（２４０）、それによって、次の時間ステップにおいて、スケーリングされた入力を前記処理ユニット（１３０）に提供し；および、
前記処理ユニット出力（１５８）をシステム出力（１６２）として利用する（２５０）。
２．上記例１の方法であってさらに以下のステップを含む：
前記処理ユニット（１３０）の測定された集団活動が第１の閾値よりも大きいか否かをチェックし（２５２）；および、
前記処理ユニット（１３０）の測定された集団活動が前記第１の閾値よりも大きい場合、前記処理ユニット（１３０）の測定された集団活動に基づいて、前記処理ユニット入力（１５６）を抑制する（２５４）。
３．上記例１または２の方法であってさらに以下のステップを含む：
前記処理ユニット（１３０）の集団活動が、第１の時間ステップの量の間、第２の閾値を超えるか否かをチェックし（２５６）；および、
前記処理ユニット（１３０）の前記集団活動が、前記第１の時間ステップの量の間、前記第２の閾値を超えている場合、前記処理ユニット（１３０）をリセット（２５８）し、入力シーケンスを最初から再開するなど、入力を再始動（２５９）する。
４．上記例１から３のいずれかの方法であってさらに以下のステップを含む：
前記処理ユニット出力（１５８）を調整モジュール（１４０）に提供し（２６０）；
前記調整モジュール（１４０）によって、前記処理ユニット出力（１５８）に基づいて前記システム入力（１５２）を調整し（２７０）；および、
ここで、前記受信すること（２３０）は、前記調整モジュール（１４０）によって、前記システム入力（１５２）を受信することを含む。
５．前記システム入力（１５２）が、１つまたは複数のカメラ、１つまたは複数のタッチセンサ、音声信号の周波数帯域に関連する１つまたは複数のセンサ、または１つまたは複数のマイクロフォンなどのスピーカに関連する１つまたは複数のセンサなどの１つまたは複数のセンサによって生成された時間連続データである、上記例１から４のいずれかの方法。
６．上記例１から５のいずれかの方法であって、さらに以下のステップを含む：
第１の変換モジュール（１２４）によって、前記システム入力（１５２）を第１の利得（Ａ）に変換し（２１２）、ここで、前記第１の利得（Ａ）は正であり；および、
任意選択で、第２の変換モジュール（１３４）によって、前記処理ユニット出力（１５８）を第２の利得（Ｂ）に変換し（２１４）、ここで、前記第２の利得（Ｂ）は負であり；および、
ここで、前記第１の制御信号（１６０）は、さらに、前記第１の利得および任意選択で前記第２の利得に基づいている。
７．非一過性のコンピュータ可読媒体（１０００）であって、プログラム命令を含むコンピュータプログラムをその上に記憶している、非一過性のコンピュータ可読媒体（１０００）を含むコンピュータプログラム製品であって、前記コンピュータプログラムは、データ処理ユニット（１０２０）にロード可能であり、前記コンピュータプログラムが前記データ処理ユニット（１０２０）によって実行されるときに、上記例１から６のいずれかの方法の実行を引き起こすように構成されている、コンピュータプログラム製品。
８．データ処理システム（１００）であって、処理すべきデータを含むシステム入力（１５２）を受信し、システム出力（１６２）を生成するように構成され、以下を備える：
集団を備え、処理ユニット入力（１５６）を受信し、処理ユニット出力（１５８）を生成するように構成された処理ユニット（１３０）であって、前記処理ユニット出力（１５８）は前記システム出力（１６２）として利用される、処理ユニット（１３０）；
前記処理ユニット（１３０）の集団活動を測定し、第１の制御信号（１６０）を提供するように構成された第１の制御モジュール（１１０）であって、前記第１の制御信号（１６０）は、前記処理ユニット出力（１５８）および前記処理ユニット（１３０）の測定された集団活動に基づく、第１の制御モジュール（１１０）；
第２の制御モジュール（１２０）であって、前記システム入力（１５２）を受信し、前記第１の制御信号（１６０）に基づいて前記システム入力（１５２）をスケーリングするように構成され、前記スケーリングされたシステム入力を次の時間ステップにおいて前記処理ユニット入力（１５６）として提供するよう構成される、第２の制御モジュール（１２０）。
９．上記例８のデータ処理システムであって、前記データ処理システムは、人工ニューラルネットワークであり、前記処理ユニット（１３０）、前記第１の制御モジュール（１１０）および前記第２の制御モジュール（１２０）のうちの１つ以上が、集団および学習機能を備え、
前記システム入力（１５２）、前記処理ユニット（１３０）、前記第１の制御モジュール（１１０）および前記第２の制御モジュール（１２０）が、多次元であり、アレイまたはマトリクスとして実装される。
１０．第２の制御モジュール（１２０）およびかつ処理ユニット（１３０）に接続可能な第１の制御モジュール（１１０）であって、
前記第１の制御モジュール（１１０）は、前記処理ユニット（１３０）の集団活動を測定するように構成可能であり、
第１の制御信号（１６０）を前記第２の制御モジュール（１２０）に提供するように構成可能であり、それによって入力信号（１５２）のスケーリングを可能し、前記第１の制御信号（１６０）は、処理ユニット出力（１５８）と、前記処理ユニット（１３０）の測定された集団活動とに基づいている。

【0051】

当業者は、本開示が上述の好ましい実施形態に限定されないことを理解する。当業者はさらに、添付の特許請求の範囲の範囲内で修正および変形が可能であることを理解する。例えば、香りセンサや風味センサなどの他のセンサからの信号をデータ処理システムで処理してもよい。さらに、説明したデータ処理システムは、セグメント化されていない、接続された手書き認識、音声認識、話者認識、ネットワークトラフィックまたは侵入検知システム（ＩＤＳ）における異常検知同様に利用することができる。さらに、開示された実施形態に対する変形は、請求された開示を実施する当業者によって、図面、本開示、および添付の特許請求の範囲の研究から理解され、効果を発揮することができる。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】