特開 2024-42285 自己符号化を行うシステム、プログラム、および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024042285

(43)【公開日】2024-03-28

(54)【発明の名称】自己符号化を行うシステム、プログラム、および方法

(51)【国際特許分類】

   G06N 3/04 20230101AFI20240321BHJP

【ＦＩ】

G06N3/04

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022146887

(22)【出願日】2022-09-15

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、総務省、情報通信技術の研究開発、「脳の仕組みに倣った省エネ型の人工知能関連技術の開発・実証事業」に係る委託研究 産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】301022471

【氏名又は名称】国立研究開発法人情報通信研究機構

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】細田 一史

(57)【要約】

【課題】情報処理システムのエネルギー効率を改善する。
【解決手段】システム１は、入力信号Ｓｉ_１，Ｓｉ_２を符号化してからそれぞれを出力信号Ｓｏ_１，Ｓｏ_２として復号する。第１入力ノードＮｄ_１、第２入力ノードＮｄ_２、ハブノードＮｄ_３、補助ノードＮｄ_４、第１出力ノードＮｄ_５、および第２出力ノードＮｄ_６の各々は、当該ノードの状態値を表す正信号および当該状態値の符号を反転させた値を表す負信号の少なくとも１つを出力する。第１入力ノードＮｄ_１、第２入力ノードＮｄ_２、ハブノードＮｄ_３、補助ノードＮｄ_４、第１出力ノードＮｄ_５、および第２出力ノードＮｄ_６の各々は、当該ノードに入力される信号の合計値に対応する活性化値から当該ノードの状態値を引いた値に当該ノードが受けるノイズ信号を加えた値が、当該ノードの状態値の時間微分値に等しくなるように当該ノードの状態値を変化させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１入力信号および第２入力信号を符号化してからそれぞれを第１出力信号および第２出力信号として復号するシステムであって、
前記第１入力信号を受ける第１入力ノードと、
前記第２入力信号を受ける第２入力ノードと、
ハブノードと、
補助ノードと、
前記第１出力信号を出力する第１出力ノードと、
前記第２出力信号を出力する第２出力ノードとを備え、
前記第１入力ノード、前記第２入力ノード、前記ハブノード、前記補助ノード、前記第１出力ノード、および前記第２出力ノードの各々は、当該ノードの状態値を表す正信号および当該状態値の符号を反転させた値を表す負信号の少なくとも１つを出力し、
前記第１入力ノードは、前記第１入力ノードおよび前記ハブノードの各々に前記第１入力ノードの負信号を出力し、
前記第２入力ノードは、前記ハブノードに前記第２入力ノードの負信号を出力し、
前記ハブノードは、前記ハブノード、前記第１出力ノード、および前記第２出力ノードの各々に前記ハブノードの負信号を出力し、
前記補助ノードは、前記ハブノードおよび前記補助ノードの各々に前記補助ノードの正信号を出力し、
前記第１出力ノードは、前記第１出力ノードに前記第１出力ノードの正信号を出力するとともに前記第１出力ノードの正信号を前記第１出力信号として出力し、
前記第２出力ノードは、前記ハブノードおよび前記第２出力ノードの各々に前記第２出力ノードの正信号を出力するとともに前記第２出力ノードの正信号を前記第２出力信号として出力し、
前記第１入力ノード、前記第２入力ノード、前記ハブノード、前記補助ノード、前記第１出力ノード、および前記第２出力ノードの各々は、当該ノードに入力される信号の合計値に対応する活性化値から当該ノードの状態値を引いた値に当該ノードが受けるノイズ信号を加えた値が、当該ノードの状態値の時間微分値に等しくなるように当該ノードの状態値を変化させる、システム。

【請求項2】

前記ハブノードは、前記ハブノードの状態値を前記システムの外部に出力する、請求項１に記載のシステム。

【請求項3】

前記第１入力ノード、前記第２入力ノード、前記ハブノード、前記補助ノード、前記第１出力ノード、および前記第２出力ノードの各々は、エッジノードとして形成され、
前記エッジノードは、プロセッサと、メモリと、通信部とを含む、請求項１または２に記載のシステム。

【請求項4】

第１入力信号および第２入力信号を受けて第１出力信号および第２出力信号を出力するシステムにおいて、前記第１入力信号および前記第２入力信号を符号化してからそれぞれを前記第１出力信号および前記第２出力信号として復号するプログラムであって、
前記システムは、
前記第１入力信号を受ける第１入力ノードと、
前記第２入力信号を受ける第２入力ノードと、
ハブノードと、
補助ノードと、
前記第１出力信号を出力する第１出力ノードと、
前記第２出力信号を出力する第２出力ノードとを備え、
前記第１入力ノード、前記第２入力ノード、前記ハブノード、前記補助ノード、前記第１出力ノード、および前記第２出力ノードの各々は、当該ノードの状態値を表す正信号および当該状態値の符号を反転させた値を表す負信号の少なくとも１つを出力し、
前記第１入力ノードは、前記第１入力ノードおよび前記ハブノードの各々に前記第１入力ノードの負信号を出力し、
前記第２入力ノードは、前記ハブノードに前記第２入力ノードの負信号を出力し、
前記ハブノードは、前記ハブノード、前記第１出力ノード、および前記第２出力ノードの各々に前記ハブノードの負信号を出力し、
前記補助ノードは、前記ハブノードおよび前記補助ノードの各々に前記補助ノードの正信号を出力し、
前記第１出力ノードは、前記第１出力ノードに前記第１出力ノードの正信号を出力するとともに前記第１出力ノードの正信号を前記第１出力信号として出力し、
前記第２出力ノードは、前記ハブノードおよび前記第２出力ノードの各々に前記第２出力ノードの正信号を出力するとともに前記第２出力ノードの正信号を前記第２出力信号として出力し、
前記プログラムは、前記第１入力ノード、前記第２入力ノード、前記ハブノード、前記補助ノード、前記第１出力ノード、および前記第２出力ノードの各々に含まれるプロセッサによって実行されることによって、当該ノードに入力される信号の合計値に対応する活性化値から当該ノードの状態値を引いた値に当該ノードが受けるノイズ信号を加えた値との和が、当該ノードの状態値の時間微分値に等しくなるように当該ノードの状態値を変化させる、プログラム。

【請求項5】

第１入力信号および第２入力信号を受けて第１出力信号および第２出力信号を出力するシステムにおいて、前記第１入力信号および前記第２入力信号を符号化してからそれぞれを前記第１出力信号および前記第２出力信号として復号する方法であって、
前記システムは、
前記第１入力信号を受ける第１入力ノードと、
前記第２入力信号を受ける第２入力ノードと、
ハブノードと、
補助ノードと、
前記第１出力信号を出力する第１出力ノードと、
前記第２出力信号を出力する第２出力ノードとを備え、
前記第１入力ノード、前記第２入力ノード、前記ハブノード、前記補助ノード、前記第１出力ノード、および前記第２出力ノードの各々は、当該ノードの状態値を表す正信号および当該状態値の符号を反転させた値を表す負信号の少なくとも１つを出力し、
前記第１入力ノードは、前記第１入力ノードおよび前記ハブノードの各々に前記第１入力ノードの負信号を出力し、
前記第２入力ノードは、前記ハブノードに前記第２入力ノードの負信号を出力し、
前記ハブノードは、前記ハブノード、前記第１出力ノード、および前記第２出力ノードの各々に前記ハブノードの負信号を出力し、
前記補助ノードは、前記ハブノードおよび前記補助ノードの各々に前記補助ノードの正信号を出力し、
前記第１出力ノードは、前記第１出力ノードに前記第１出力ノードの正信号を出力するとともに前記第１出力ノードの正信号を前記第１出力信号として出力し、
前記第２出力ノードは、前記ハブノードおよび前記第２出力ノードの各々に前記第２出力ノードの正信号を出力するとともに前記第２出力ノードの正信号を前記第２出力信号として出力し、
前記方法は、
前記第１入力ノード、前記第２入力ノード、前記ハブノード、前記補助ノード、前記第１出力ノード、および前記第２出力ノードの各々が、
当該ノードに入力される信号の合計値を算出するステップと、
前記合計値に対応する活性化値から当該ノードの状態値を引いた値に当該ノードが受けるノイズ信号を加えた値が、当該ノードの状態値の時間微分値に等しくなるように当該ノードの状態値を変化させるステップとを含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自己符号化を行うシステム、プログラム、および方法に関する。

【背景技術】

【0002】

従来、自己符号化を行う構成が知られている。たとえば、非特許文献１には、ニューラルネットワークとして形成された、エンコーダ－デコーダモデルの変分オートエンコーダが開示されている。変分オートエンコーダは、入力データよりも低次元の潜在変数を入力データから抽出して、当該潜在変数から入力データに対応する出力データを再現する。変分オートエンコーダによれば、入力データの重要な特徴を潜在変数として抽出することができるため、推論モデルの汎化性能および計算量の減少等を実現することができる。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Diederik P. Kingma, Max Welling, "Auto-Encoding Variational Bayes", arXiv:1312.6114.

【非特許文献2】Masayo Inoue1, Kunihiko Kaneko, "Cooperative Adaptive Responses in Gene Regulatory Networks with Many Degrees of Freedom", PLOS Computational Biology, April 4, 2013, 9(4): e1003001.

【発明の概要】

【発明が解決しようとする課題】

【0004】

生命システム（たとえば、脳神経ネットワーク、あるいは細胞シグナルネットワーク）は、多くの要素から構成されて常に変化し続ける動的ネットワーク（大自由度力学系）として形成され、熱ゆらぎ等のノイズを活用することによって効率的な情報処理を行っていることが知られている。

【0005】

一方、人工的に設計された情報処理システムにおいてノイズは、情報処理を妨げる外乱として抑制され、積極的に使用されない場合が多い。人工情報処理システムにおいて確実な情報処理を実現するためには、ノイズの影響を無視することが可能な程度にノイズよりも高いエネルギーの信号を使用することによって、Ｓ／Ｎ比（signal-to-noise ratio）を高める必要がある。その結果、情報処理システムが情報処理のために必要なエネルギーは、生命システムが同程度の当該情報処理のために必要なエネルギーよりも高い場合が多い。

【0006】

本発明は、上述のような課題を解決するためになされたものであり、その目的は、情報処理システムのエネルギー効率を改善することである。

【課題を解決するための手段】

【0007】

本発明の一局面に係るシステムは、第１入力信号および第２入力信号を符号化してからそれぞれを第１出力信号および第２出力信号として復号する。システムは、第１入力ノードと、第２入力ノードと、ハブノードと、補助ノードと、第１出力ノードと、第２出力ノードとを備える。第１入力ノードは、第１入力信号を受ける。第２入力ノードは、第２入力信号を受ける。第１出力ノードは、第１出力信号を出力する。第２出力ノードは、第２出力信号を出力する。第１入力ノード、第２入力ノード、ハブノード、補助ノード、第１出力ノード、および第２出力ノードの各々は、当該ノードの状態値を表す正信号および当該状態値の符号を反転させた値を表す負信号の少なくとも１つを出力する。第１入力ノードは、第１入力ノードおよびハブノードの各々に第１入力ノードの負信号を出力する。第２入力ノードは、ハブノードに第２入力ノードの負信号を出力する。ハブノードは、ハブノード、第１出力ノード、および第２出力ノードの各々にハブノードの負信号を出力する。補助ノードは、ハブノードおよび補助ノードの各々に補助ノードの正信号を出力する。第１出力ノードは、第１出力ノードに第１出力ノードの正信号を出力するとともに第１出力ノードの正信号を第１出力信号として出力する。第２出力ノードは、ハブノードおよび第２出力ノードの各々に第２出力ノードの正信号を出力するとともに第２出力ノードの正信号を第２出力信号として出力する。第１入力ノード、第２入力ノード、ハブノード、補助ノード、第１出力ノード、および第２出力ノードの各々は、当該ノードに入力される信号の合計値に対応する活性化値から当該ノードの状態値を引いた値に当該ノードが受けるノイズ信号を加えた値が、当該ノードの状態値の時間微分値に等しくなるように当該ノードの状態値を変化させる。

【0008】

本発明の他の局面に係るプログラムは、第１入力信号および第２入力信号を受けて第１出力信号および第２出力信号を出力するシステムにおいて、第１入力信号および第２入力信号を符号化してからそれぞれを第１出力信号および第２出力信号として復号する。システムは、第１入力ノードと、第２入力ノードと、ハブノードと、補助ノードと、第１出力ノードと、第２出力ノードとを備える。第１入力ノードは、第１入力信号を受ける。第２入力ノードは、第２入力信号を受ける。第１出力ノードは、第１出力信号を出力する。第２出力ノードは、第２出力信号を出力する。第１入力ノード、第２入力ノード、ハブノード、補助ノード、第１出力ノード、および第２出力ノードの各々は、当該ノードの状態値を表す正信号および当該状態値の符号を反転させた値を表す負信号の少なくとも１つを出力する。第１入力ノードは、第１入力ノードおよびハブノードの各々に第１入力ノードの負信号を出力する。第２入力ノードは、ハブノードに第２入力ノードの負信号を出力する。ハブノードは、ハブノード、第１出力ノード、および第２出力ノードの各々にハブノードの負信号を出力する。補助ノードは、ハブノードおよび補助ノードの各々に補助ノードの正信号を出力する。第１出力ノードは、第１出力ノードに第１出力ノードの正信号を出力するとともに第１出力ノードの正信号を第１出力信号として出力する。第２出力ノードは、ハブノードおよび第２出力ノードの各々に第２出力ノードの正信号を出力するとともに第２出力ノードの正信号を第２出力信号として出力する。プログラムは、第１入力ノード、第２入力ノード、ハブノード、補助ノード、第１出力ノード、および第２出力ノードの各々に含まれるプロセッサによって実行されることによって、当該ノードに入力される信号の合計値に対応する活性化値から当該ノードの状態値を引いた値に当該ノードが受けるノイズ信号を加えた値が、当該ノードの状態値の時間微分値に等しくなるように当該ノードの状態値を変化させる。

【0009】

本発明の他の局面に係る方法は、第１入力信号および第２入力信号を受けて第１出力信号および第２出力信号を出力するシステムにおいて、第１入力信号および第２入力信号を符号化してからそれぞれを第１出力信号および第２出力信号として復号する。システムは、第１入力ノードと、第２入力ノードと、ハブノードと、補助ノードと、第１出力ノードと、第２出力ノードとを備える。第１入力ノードは、第１入力信号を受ける。第２入力ノードは、第２入力信号を受ける。第１出力ノードは、第１出力信号を出力する。第２出力ノードは、第２出力信号を出力する。第１入力ノード、第２入力ノード、ハブノード、補助ノード、第１出力ノード、および第２出力ノードの各々は、当該ノードの状態値を表す正信号および当該状態値の符号を反転させた値を表す負信号の少なくとも１つを出力する。第１入力ノードは、第１入力ノードおよびハブノードの各々に第１入力ノードの負信号を出力する。第２入力ノードは、ハブノードに第２入力ノードの負信号を出力する。ハブノードは、ハブノード、第１出力ノード、および第２出力ノードの各々にハブノードの負信号を出力する。補助ノードは、ハブノードおよび補助ノードの各々に補助ノードの正信号を出力する。第１出力ノードは、第１出力ノードに第１出力ノードの正信号を出力するとともに第１出力ノードの正信号を第１出力信号として出力する。第２出力ノードは、ハブノードおよび第２出力ノードの各々に第２出力ノードの正信号を出力するとともに第２出力ノードの正信号を第２出力信号として出力する。方法は、第１入力ノード、第２入力ノード、ハブノード、補助ノード、第１出力ノード、および第２出力ノードの各々が、当該ノードに入力される信号の合計値を算出するステップと、合計値に対応する活性化値から当該ノードの状態値を引いた値に当該ノードが受けるノイズ信号を加えた値が、当該ノードの状態値の時間微分値に等しくなるように当該ノードの状態値を変化させるステップとを含む。

【発明の効果】

【0010】

本発明に係るシステム、プログラム、および方法によれば、第１入力ノード、第２入力ノード、ハブノード、補助ノード、第１出力ノード、および第２出力ノードの各々が当該ノードに入力される信号の合計値に対応する活性化値から当該ノードの状態値を引いた値に当該ノードが受けるノイズ信号を加えた値が、当該ノードの状態値の時間微分値に等しくなるように当該ノードの状態値を変化させることにより、当該システムのエネルギー効率を改善することができる。

【図面の簡単な説明】

【0011】

【図1】実施の形態に係る情報処理システムの構成を示すブロック図である。

【図2】情報処理システムのＳ／Ｎ比が１０ｄＢである場合における、４通りの入力信号に対応するハブノードの状態値の時間変化、および出力ノードの状態値の時間変化をそれぞれ表す１２個のタイムチャートを併せて示す図である。

【図3】ノイズ信号が０である場合（ノイズ信号がない場合）における、４通りの入力信号に対応するハブノードの状態値の時間変化、および出力ノードの状態値の時間変化を表す４個のタイムチャートを併せて示す図である。

【図4】入力信号が｛０，０｝から｛１，０｝に切り替わる場合における第１出力ノードのポテンシャルエネルギー曲線の変化を示す図である。

【図5】入力信号が｛０，０｝から｛１，０｝に切り替わる場合における第２出力ノードのポテンシャルエネルギー曲線の変化を示す図である。

【図6】図１のノードのハードウェア構成の一例を示すブロック図である。

【図7】図６の自己符号化プログラムを実行するプロセッサによって行われる処理の流れの一例を示すフローチャートである。

【図8】実施の形態の変形例に係る情報処理システムの構成を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は原則として繰り返さない。

【0013】

図１は、実施の形態に係る情報処理システム１の構成を示すブロック図である。情報処理システム１は、たとえば、コンピュータに含まれるアナログ集積回路として形成されてもよいし、複数のエッジノードを含むエッジコンピューティングシステムとして形成されてもよい。また、情報処理システム１は、より規模の大きい情報処理システムの一部として形成されてもよい。

【0014】

図１に示されるように、情報処理システム１は、入力信号Ｓｉ_１（第１入力信号）および入力信号Ｓｉ_２（第２入力信号）を符号化してからそれぞれを出力信号Ｓｏ_１（第１出力信号）および出力信号Ｓｏ_２（第２出力信号）として復号する。情報処理システム１は、入力ノードＮｄ_１（第１入力ノード）と、入力ノードＮｄ_２（第２入力ノード）と、ハブノードＮｄ_３と、補助ノードＮｄ_４と、出力ノードＮｄ_５（第１出力ノード）と、出力ノードＮｄ_６（第２出力ノード）とを備える。

【0015】

入力ノードＮｄ_１，Ｎｄ_２は、入力信号Ｓｉ_１，Ｓｉ_２をそれぞれ受ける。出力ノードＮｄ_５，Ｎｄ_６は、出力信号Ｓｏ_１，Ｓｏ_２をそれぞれ出力する。情報処理システム１において２次元の入力信号Ｓｉ_１，Ｓｉ_２は、ハブノードＮｄ_３の１次元の状態値ｘ_３として符号化され、状態値ｘ_３は２次元の出力信号Ｓｏ_１，Ｓｏ_２に復号される。

【0016】

入力ノードＮｄ_１，Ｎｄ_２、ハブノードＮｄ_３、補助ノードＮｄ_４、および出力ノードＮｄ_５，Ｎｄ_６の各々（ノードＮｄ_ｉ（ｉは、１以上６以下の自然数））は、ノードＮｄ_ｉの状態値ｘ_ｉを表す正信号および状態値ｘ_ｉの符号を反転させた値を表す負信号の少なくとも１つを出力する。図１において正信号，負信号は、実線の矢印および点線の矢印でそれぞれ表されている。なお、状態値ｘ_ｉの初期値は、０である。

【0017】

入力ノードＮｄ_１、入力ノードＮｄ_２、ハブノードＮｄ_３、補助ノードＮｄ_４、出力ノードＮｄ_５、および出力ノードＮｄ_６は、有向グラフとして表現可能なネットワークを形成している。以下では、ノードＮｄ_ｊからＮｄ_ｉを出力される信号をＳ_ｊ，ｉと表す。

【0018】

入力ノードＮｄ_１は、入力ノードＮｄ_１およびハブノードＮｄ_３の負信号Ｓ_１，１，Ｓ_１，３をそれぞれ出力する。入力ノードＮｄ_２は、ハブノードＮｄ_３に負信号Ｓ_２，３を出力する。ハブノードＮｄ_３は、ハブノードＮｄ_３、出力ノードＮｄ_５、および出力ノードＮｄ_６に負信号Ｓ_３，３，Ｓ_３，５，Ｓ_３，６をそれぞれ出力する。補助ノードＮｄ_４は、ハブノードＮｄ_３および補助ノードＮｄ_４に正信号Ｓ_４，３，Ｓ_４，３をそれぞれ出力する。出力ノードＮｄ_５は、出力ノードＮｄ_５に正信号Ｓ_５，５を出力するとともに状態値ｘ_５を出力信号Ｓｏ_１として出力する。出力ノードＮｄ６は、ハブノードＮｄ３および出力ノードＮｄ６に出力ノードＮｄ６の正信号Ｓ_６，３，Ｓ_６，６をそれぞれ出力するとともに状態値ｘ_６を出力信号Ｓｏ_２として出力する。

【0019】

入力ノードＮｄ_１、入力ノードＮｄ_２、ハブノードＮｄ_３、補助ノードＮｄ_４、出力ノードＮｄ_５、および出力ノードＮｄ_６によって形成される有向グラフの隣接行列Ｃは、たとえば、以下の式（１）のように表される。

【0020】

【数1】

【0021】

隣接行列Ｃは、列番号ｊ（１以上６以下の自然数）が信号を出力するノードＮｄ_ｊを表し、行番号ｉが当該信号が出力されるノードＮｄ_ｉを表す。隣接行列Ｃの各成分は、正信号を表す１、負信号を表す－１、およびノードＮｄ_ｊからＮｄ_ｉに信号が出力されていないことを表す０のいずれかである。信号Ｓ_ｊ，ｉは、成分Ｃ_ｉ，ｊと状態値ｘ_ｊとの積に等しい。

【0022】

たとえば、成分Ｃ_３，４が１であることは、ノードＮｄ_４からＮｄ_３に正信号Ｓ_４，３（＝１・ｘ_４）が出力されることを表す。成分Ｃ_５，３が－１であることは、ノードＮｄ_３からＮｄ_５に負信号Ｓ_３，５（＝（－１）・ｘ_３）が出力されることを表す。成分Ｃ_１，２が０であることは、ノードＮｄ_２からＮｄ_１に信号が出力されていない（信号Ｓ_２，１が０（＝０・ｘ_２）である）ことを表す。

【0023】

ノードＮｄ_１、入力ノードＮｄ_２、ハブノードＮｄ_３、補助ノードＮｄ_４、出力ノードＮｄ_５、および出力ノードＮｄ_６の各々は、以下の式（２）に示されるように、当該ノードに入力される信号の合計値ｙ_ｉを算出する。なお、情報処理システム１において自然数Ｎは６である。自然数Ｎは、７以上であってもよい。

【0024】

【数2】

【0025】

式（２）において信号Ｓ_ｉは、ノードＮｄ_ｉにノードＮｄ_１～Ｎｄ_６以外の構成から入力される信号の合計値である。たとえば、信号Ｓ_１，Ｓ_２は、入力信号Ｓｉ_１，Ｓｉ_２にそれぞれ対応する。ノードＮｄ_１～Ｎｄ_６以外の構成からノードＮｄ_３～Ｎｄ_６に入力される信号がないため、信号Ｓ_３，Ｓ_４，Ｓ_５，Ｓ_６の各々は０である。

【0026】

ノードＮｄ_ｉは、以下の式（３）を満たすように、ノードＮｄ_ｉの状態値ｘ_ｉを変化させる。式（３）のηは、ノードＮｄ_ｉが受けるノイズ信号を表す。情報処理システム１のＳ／Ｎ比は、たとえば１０ｄＢ程度である。式（３）の左辺は、状態値ｘ_ｉの時間微分値である。右辺の第１項は、合計値ｙ_ｉに対する活性化関数の出力値（活性化値）である。式（３）においては、当該活性化関数の一例として、ゲインをβ（＞０）とするシグモイド関数が使用されている。ゲインβは、たとえば１０である。なお、式（３）の活性化関数は、シグモイド関数に限定されない。式（３）の活性化関数は、たとえば、ステップ関数、双曲線正接関数、あるいはランプ（ＲｅＬＵ（Rectified Linear Unit））関数であってもよい。

【0027】

【数3】

【0028】

式（３）に示されるように、ノードＮｄ_ｉは、合計値ｙ_ｉに対応する活性化値から状態値ｘ_ｉを引いた値にノイズ信号ηを加えた値が、状態値ｘ_ｉの時間微分値に等しくなるようにノードＮｄ_ｉの状態値ｘ_ｉを変化させる。

【0029】

図２は、情報処理システム１のＳ／Ｎ比が１０ｄＢである場合における、４通りの入力信号Ｓｉ_１，Ｓｉ_２に対応するハブノードＮｄ_３の状態値ｘ_３の時間変化、および出力ノードＮｄ_５，Ｎｄ_６の状態値ｘ_５，ｘ_６の時間変化をそれぞれ表す１２個のタイムチャートを併せて示す図である。図２において、入力信号Ｓｉ_１，Ｓｉ_２が｛０，０｝，｛０，１｝，｛１，０｝，｛１，１｝の場合が１，２，３，４列目にそれぞれ示されている。

【0030】

図２に示されるように、入力信号Ｓｉ_１，Ｓｉ_２が｛０，０｝，｛０，１｝，｛１，０｝，｛１，１｝の各々の場合において、状態値ｘ_５，ｘ_６（出力信号Ｓｏ_１，Ｓｏ_２）は、時間経過に応じてそれぞれ入力信号Ｓｉ_１，Ｓｉ_２の値の近傍において平衡状態に達している。すなわち、情報処理システム１は、オートエンコーダの機能（自己符号化機能）を有している。

【0031】

図３は、ノイズ信号ηが０である場合（ノイズ信号がない場合）における、４通りの入力信号Ｓｉ_１，Ｓｉ_２に対応するハブノードＮｄ_３の状態値ｘ_３の時間変化、および出力ノードＮｄ_５，Ｎｄ_６の状態値ｘ_５，ｘ_６の時間変化を表す４個のタイムチャートを併せて示す図である。図３においては、１組の入力信号Ｓｉ_１，Ｓｉ_２に対応する状態値ｘ_３，ｘ_５，ｘ_６の時間変化が１つのタイムチャートに含まれている。

【0032】

図３に示されるように、入力信号Ｓｉ_１，Ｓｉ_２が互いに等しい場合、状態値ｘ_５，ｘ_６（出力信号Ｓｏ_１，Ｓｏ_２）は、時間経過に応じてそれぞれ入力信号Ｓｉ_１，Ｓｉ_２の値の近傍において平衡状態に達している。しかし、入力信号Ｓｉ_１，Ｓｉ_２が互いに異なる場合、状態値ｘ_５が入力信号Ｓｉ_１とは逆の値の近傍において平衡状態に達している。すなわち、ノイズ信号がない場合、情報処理システム１は、オートエンコーダとして機能しない。このことは、情報処理システム１においてノイズ信号ηは、自己符号化機能を実現するための手段として積極的に利用されており、抑制対象の外乱ではないことを示している。情報処理システム１は、ノイズ信号ηの影響を無視することができる程度にまで入力信号Ｓｉ_１，Ｓｉ_２のエネルギーを増加させる必要がないため、エネルギー効率を改善することができる。

【0033】

以下では、図４，図５を用いて、入力信号Ｓｉ_１，Ｓｉ_２が互いに異なる場合でも、情報処理システム１がオートエンコーダとして機能するメカニズムについて説明する。図４は、入力信号Ｓｉ_１，Ｓｉ_２が｛０，０｝から｛１，０｝に切り替わる場合における出力ノードＮｄ_５のポテンシャルエネルギー曲線の変化を示す図である。ポテンシャルエネルギー曲線とは、状態値と対応ノードのポテンシャルエネルギーＵとの対応関係を示す曲線である。ポテンシャルエネルギー曲線上において傾きが０である点を、以下では当該ポテンシャルエネルギー曲線に対応する状態値の安定点とも呼ぶ。ポテンシャルエネルギーとは、状態値の不安定さを示す指標であり、力学系において力を位置で積分した値に対応する。状態値は、ポテンシャルエネルギーが低くなる方向に変化する。図４において状態値ｘ_３は、点線で示されている。また、状態値ｘ_５の変化を分かり易くするために、状態値ｘ_５はポテンシャルエネルギー曲線上を転がる円として模式的に示されている。後に説明する図５においても同様である。

【0034】

図４を参照しながら、入力信号Ｓｉ_１，Ｓｉ_２が｛０，０｝から｛１，０｝に切り替わる前において、状態値ｘ_３が０．７付近の値であり、出力ノードＮｄ_５のポテンシャルエネルギー曲線がＰＥ１１であり、ポテンシャルエネルギー曲線ＰＥ１１上において状態値ｘ_５が０で安定しているとする。すなわち、ポテンシャルエネルギー曲線ＰＥ１１上の０に対応する点は、状態値ｘ_５の安定点である。

【0035】

その後、入力信号が｛０，０｝から｛１，０｝に切り替わることにより、状態値ｘ_３が０．３２に減少すると、ポテンシャルエネルギー曲線は、ＰＥ１１からＰＥ１２に変化する。ポテンシャルエネルギー曲線ＰＥ１２においても０に対応する点が状態値ｘ_５の安定点であるが、ハブノードＮｄ_３から出力ノードＮｄ_５に出力される負信号Ｓ_３，５が－０．３２に増加することによって負信号Ｓ_３，５による状態値ｘ_５の抑制が緩和される。このような状態において状態値ｘ_５は、ノイズ信号ηによってわずかに増加し得る。状態値ｘ_５が増加するとポテンシャルエネルギー曲線ＰＥ１２の傾きが右下がりとなるため、状態値ｘ_５は、ポテンシャルエネルギー曲線ＰＥ１２上を右下がりに移動して１付近に達する。状態値ｘ_３は状態値ｘ_５の影響を受けないため、ポテンシャルエネルギー曲線はＰＥ１２から変化しない。状態値ｘ_５が１付近のポテンシャルエネルギー曲線ＰＥ１２の傾きは０か負（右下がり）のため、状態値ｘ_５は１付近に収束する。すなわち、状態値ｘ_５は、１付近において平衡状態に達する。

【0036】

図５は、入力信号Ｓｉ_１，Ｓｉ_２が｛０，０｝から｛１，０｝に切り替わる場合における出力ノードＮｄ_６のポテンシャルエネルギー曲線の変化を示す図である。図５を参照しながら、入力信号Ｓｉ_１，Ｓｉ_２が｛０，０｝から｛１，０｝に切り替わる前において、状態値ｘ_３が０．７付近の値であり、出力ノードＮｄ_６のポテンシャルエネルギー曲線がＰＥ２１であり、ポテンシャルエネルギー曲線ＰＥ２１上において状態値ｘ_６が０で安定しているとする。すなわち、ポテンシャルエネルギー曲線ＰＥ２１上の０に対応する点は、状態値ｘ_６の安定点である。なお、出力ノードＮｄ_５，Ｎｄ_６にハブノードＮｄ_３からそれぞれ加わる力（負信号Ｓ_３，５，Ｓ_３，６）は常に同じであるため、ポテンシャルエネルギー曲線ＰＥ２１は図４のポテンシャルエネルギー曲線ＰＥ１１に等しい。

【0037】

その後、入力信号が｛０，０｝から｛１，０｝に切り替わることにより、状態値ｘ_３が０．３２に減少すると、ポテンシャルエネルギー曲線は、ＰＥ２１からＰＥ２２に変化する。ポテンシャルエネルギー曲線ＰＥ２２においても０に対応する点が状態値ｘ_６の安定点であるが、ハブノードＮｄ_３から出力ノードＮｄ_６に出力される負信号が－０．３２に増加することによって負信号Ｓ_３，６による状態値ｘ_６の抑制が緩和される。このような状態において状態値ｘ_６は、ノイズ信号ηによってわずかに増加し得る。状態値ｘ_６が増加するとポテンシャルエネルギー曲線ＰＥ２２の傾きが右下がりとなるとともに、出力ノードＮｄ_６からハブノードＮｄ_３に出力される正信号Ｓ_６，３が増加するため、状態値ｘ_３が増加する。その結果、たとえば、状態値ｘ_３が０．３２から増加すると、状態値ｘ_６が０．７付近の値に達する前にポテンシャルエネルギー曲線がＰＥ２２からＰＥ２１へ戻る。その結果、状態値ｘ_６は、０付近から増加しない。すなわち、状態値ｘ_６は、０付近において平衡状態に達する。

【0038】

入力信号Ｓｉ_１，Ｓｉ_２が｛０，０｝から｛０，１｝に切り替わる場合、切り替りの直後において状態値ｘ_３が減少することにより、状態値ｘ_５，ｘ_６は両方とも１付近に増加する。その後、状態値ｘ_５は、図４に示されるポテンシャルエネルギー曲線ＰＥ１２を線対称に反転させたポテンシャルエネルギー曲線に従って変化して、０付近に収束する。また、状態値ｘ_６は、図５に示されるポテンシャルエネルギー曲線ＰＥ２２を線対称に反転させたポテンシャルエネルギー曲線に従って変化して、１付近に収束する。

【0039】

情報処理システム１においては、アニーリング法のように、ノイズ信号による大域最適解が探索されている。また、情報処理システム１においては、入力信号Ｓｉ_１，Ｓｉ_２が状態値ｘ_３の時系列データに符号化されている（時的コーディングあるいはダイナミックコーディング）。さらに、情報処理システム１においては、ノイズ信号ηによって状態値ｘ_３を動的に変化させることにより、出力ノードＮｄ５，Ｎｄ６の各々のポテンシャルエネルギー曲線を動的に変化させている。

【0040】

なお、図１に示される情報処理システム１のネットワークの探索には、たとえば遺伝的アルゴリズム（非特許文献２参照）を用いることができる。具体的には、各要素を－１，０，１の間でランダムに決定することによって、複数の隣接行列Ｃ１（たとえば１００個）を生成する。複数の隣接行列Ｃ１の各々に対応するネットワークの自己符号化機能の評価指標を算出して、当該評価指標の高い順に複数の隣接行列Ｃ１を順位付ける。複数の隣接行列Ｃ１のうち、予め定められた順位（たとえば２５位）以上の順位を有する複数の隣接行列Ｃ２を特定する。複数の隣接行列Ｃ２の各々から予め定められた個数（たとえば３個）の隣接行列Ｃ３を生成する。複数の隣接行列Ｃ３は、対応する隣接行列Ｃ２の各要素が予め定められた確率（たとえば１％～１０％）で－１，０，１のうち当該要素とは異なる値に置換された隣接行列である。複数の隣接行列Ｃ２から生成された複数の隣接行列Ｃ３に対して、自己符号化機能の評価指標の算出以降の処理が繰り返される。

【0041】

自己符号化機能の評価指標は、複数の隣接行列Ｃ１の各々に対応するネットワークに、複数の入力信号Ｓｉ_１，Ｓｉ_２（｛０，０｝，｛０，１｝，｛１，０｝，｛１，１｝）を入力した場合において、出力信号Ｓｏ_１，Ｓｏ_２と入力信号Ｓｉ_１，Ｓｉ_２との差の絶対値の総和に、入力信号Ｓｉ_１，Ｓｉ_２を｛０，０｝に戻した場合の出力信号Ｓｏ_１，Ｓｏ_２と｛０，０｝との差の絶対値の総和を加算した値である。なお、出力信号Ｓｏ_１，Ｓｏ_２の振動状態等を評価指標に反映させるため、入力信号Ｓｉ_１，Ｓｉ_２がネットワークに入力されてから予め定められた待機時間の半分が経過してから当該待機時間が経過するまでの出力信号Ｓｏ_１，Ｓｏ_２の平均値が出力信号Ｓｏ_１，Ｓｏ_２として用いられてもよい。

【0042】

以下では、情報処理システム１がエッジコンピューティングシステムとして形成されている場合について説明する。この場合、ノードＮｄ_ｉは、エッジノードを形成する。図６は、図１のノードＮｄ_ｉのハードウェア構成の一例を示すブロック図である。図６に示されるように、ノードＮｄ_ｉは、ストレージ１０１と、プロセッサ１０２と、メモリ１０３と、ネットワークインターフェイス１０４と、入出力部１０５とを含む。

【0043】

ストレージ１０１は、不揮発性の記憶装置であり、たとえば、ハードディスクあるいは外付けの記憶媒体を含む。ストレージ１０１には、たとえばオペレーティングシステムのプログラム（不図示）、および自己符号化プログラムＰｇ１が保存されている。

【0044】

プロセッサ１０２は、ストレージ１０１に保存されている各種プログラムを実行することにより、情報処理システム１の機能を実現する。プロセッサ１０２は、たとえば、ＣＰＵ（Central Processing Unit）、あるいはＧＰＵ（Graphics Processing Unit）を含む。情報処理システム１に含まれる各ノードＮｄ_ｉのプロセッサ１０２が自己符号化プログラムＰｇ１を実行することにより、情報処理システム１の自己符号化機能が実現される。プロセッサ１０２は、ネットワークインターフェイス１０４を介して、インターネットに接続されている外部装置へデータを送信するとともに、当該外部装置からのデータを受信する。

【0045】

メモリ１０３は、揮発性の記憶装置であり、たとえば、ＲＡＭ（Random Access Memory）を含む。メモリ１０３は、ワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。

【0046】

入出力部１０５は、ユーザからの操作を受けるとともに、当該操作に対応するプログラムの処理結果をユーザに出力する。入出力部１０５は、たとえば、タッチパネル、ディスプレイ、ランプ、およびスピーカを含む。

【0047】

図７は、図６の自己符号化プログラムＰｇ１を実行するプロセッサ１０２によって行われる処理の流れの一例を示すフローチャートである。図７に示される処理は、ノードＮｄ_ｉを統合的に制御する不図示のメインルーチンによって、たとえばサンプリングタイム毎に呼び出される。以下ではステップを単にＳと記載する。

【0048】

図７に示されるように、プロセッサ１０２は、Ｓ１０１においてノードＮｄ_ｉに入力される信号の合計値ｙ_ｉを算出して処理をＳ１０２に進める。プロセッサ１０２は、合計値ｙ_ｉに対応する活性化値から状態値ｘ_ｉを引いた値にノイズ信号ηを加えた値が、状態値ｘ_ｉの時間微分値に等しくなるように状態値ｘ_ｉを変化させて処理をメインルーチンに返す。

【0049】

図８は、実施の形態の変形例に係る情報処理システム１Ａの構成を示すブロック図である。情報処理システム１Ａの構成は、図１の情報処理システム１においてハブノードＮｄ_３から、状態値ｘ_３を表す出力信号Ｓｏ_３が情報処理システム１Ａの外部に出力されている点である。これ以外の情報処理システム１の構成は、情報処理システム１の構成と同様であるため、同様の構成についての説明を繰り返さない。状態値ｘ_３は、入力信号Ｓｉ_１，Ｓｉ_２から次元が削減された入力信号Ｓｉ_１，Ｓｉ_２の特徴量である。情報処理システム１Ａによれば、入力信号Ｓｉ_１，Ｓｉ_２の特徴量を情報処理システム１の外部において取得することができる。

【0050】

以上、実施の形態および変形例に係る情報処理システム、プログラム、および方法によれば、情報処理システムのエネルギー効率を改善することができる。

【0051】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0052】

１，１Ａ 情報処理システム、１０１ ストレージ、１０２ プロセッサ、１０３ メモリ、１０４ ネットワークインターフェイス、１０５ 入出力部、Ｎｄ_１～Ｎｄ_６，Ｎｄ_ｉ，Ｎｄ_ｊ ノード、Ｐｇ１ 自己符号化プログラム、Ｓｉ_１，Ｓｉ_２ 入力信号、Ｓｏ_１～Ｓｏ_３ 出力信号。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】