特開2024-43241 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ 株式会社デンソーアイティーラボラトリの特許一覧 ▶ 国立大学法人東京工業大学の特許一覧

特開2024-43241情報処理装置、情報処理方法およびプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024043241

(43)【公開日】2024-03-29

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

G06N 3/044 20230101AFI20240322BHJP

【ＦＩ】

G06N3/04 145

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022148317

(22)【出願日】2022-09-16

(71)【出願人】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(71)【出願人】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤真司

(72)【発明者】

【氏名】太田敏博

(72)【発明者】

【氏名】佐藤育郎

(72)【発明者】

【氏名】川上玲

(72)【発明者】

【氏名】井上中順

(72)【発明者】

【氏名】田中正行

(72)【発明者】

【氏名】石川康太

(57)【要約】（修正有）

【課題】新しい連想記憶模型のニューラルネットワークの技術を提供する。
【解決手段】情報処理装置１は、可視的ニューロンｖ_iと隠れニューロンｈ_μとを相互作用行列によって結合したネットワークを記憶したネットワーク記憶部１４と、データの入力を受け付ける入力部１１と、データをネットワークの可視的ニューロンｖ_iに適用して、相互作用行列に基づく可視的ニューロンの更新則にしたがって、可視的ニューロンの値を更新し、周辺化尤度Σｅ^hμに基づく値が所定の閾値以下である場合に可視的ニューロンの値を０にし、所定の閾値より大きい場合に可視的ニューロンｖ_iの値を次の更新に用いて、所定の終了条件を満たすまで繰り返し更新を行う記憶照合部２１と、記憶照合部２１にて求めた可視的ニューロンの値に基づいて処理を行うパターン認識処理部２２と、を備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

可視的ニューロンｖ_iと隠れニューロンｈ_μとを相互作用行列によって結合したネットワークを記憶した記憶部と、
データの入力を受け付ける入力部と、
前記データを前記ネットワークの前記可視的ニューロンｖ_iに適用して、前記相互作用行列に基づく前記可視的ニューロンの更新則にしたがって、前記可視的ニューロンｖ_iの値を更新し、周辺化尤度Σｅ^hμに基づく値が所定の閾値以下である場合に前記可視的ニューロンｖ_iの値を０にし、所定の閾値より大きい場合に可視的ニューロンｖ_iの値を次の更新に用いて、所定の終了条件を満たすまで繰り返し更新を行う記憶照合部と、
前記記憶照合部にて求めた前記可視的ニューロンｖ_iの値に基づいて処理を行う後段処理部と、
を備える情報処理装置。

【請求項2】

前記所定の閾値を、前記隠れニューロンｈ_μの統計的値によって決定する請求項１に記載の情報処理装置。

【請求項3】

前記記憶照合部は、前記隠れニューロンｈ_μの値を確率的に求め、前記隠れニューロンｈ_μの確率分布に基づいて前記可視的ニューロンｖ_iを確率的に求める請求項１または２に記載の情報処理装置。

【請求項4】

可視的ニューロンｖ_iと隠れニューロンｈ_μとを相互作用行列によって結合したネットワークを記憶した記憶部と、
データの入力を受け付ける入力部と、
前記データを前記ネットワークの前記可視的ニューロンｖ_iに適用して、前記相互作用行列に基づく前記可視的ニューロンｖ_iの更新則にしたがって求めた値に、周辺化尤度Σｅ^hμに基づく値と所定の閾値との差分に基づく値を掛けて前記可視的ニューロンｖ_iの値を更新する処理を、所定の終了条件を満たすまで繰り返し行う記憶照合部と、
前記記憶照合部にて求めた前記可視的ニューロンｖ_iの値に基づいて処理を行う後段処理部と、
を備える情報処理装置。

【請求項5】

可視的ニューロンｖ_iと隠れニューロンｈ_μとを相互作用行列によって結合したネットワークを記憶した記憶部と、
データの入力を受け付ける入力部と、
前記データの特徴量を計算する特徴量計算部と、
前記データの特徴量を前記ネットワークの前記可視的ニューロンｖ_iに適用して、前記相互作用行列に基づく前記可視的ニューロンｖ_iの更新則にしたがって、前記可視的ニューロンｖ_iの値を更新し、周辺化尤度Σｅ^hμに基づく値が所定の閾値以下である場合に前記可視的ニューロンｖ_iの値を０にし、所定の閾値より大きい場合に可視的ニューロンｖ_iの値を次の更新に用いて、所定の終了条件を満たすまで繰り返し更新を行う記憶照合部と、
前記記憶照合部にて求めた前記可視的ニューロンｖ_iの値に基づいて処理を行う後段処理部と、
を備える情報処理装置。

【請求項6】

前記記憶照合部にて前記可視的ニューロンｖ_iの値が０に更新された場合に、その入力にかかる前記データを教師データとして学習を行う学習部を備える請求項１に記載の情報処理装置。

【請求項7】

前記記憶部には、異なる学習セットで学習を行った複数のネットワークを記憶しており、
前記複数のネットワークに対応する複数の記憶照合部を備え、
前記情報処理装置は、さらに、
それぞれの前記記憶照合部で求めた前記可視的ニューロンｖ_iの値に基づいて処理を行う複数の後段処理部を備える請求項１に記載の情報処理装置。

【請求項8】

キー行列Ｋとクエリ行列Ｑとの行列積にsoftmax関数を適用した行列に対し、バリュー行列Ｖをかけて出力を求める注視機構を含むネットワークを記憶した記憶部と、
データの入力を受け付ける入力部と、
入力された前記データを前記ネットワークに適用して前記注視機構からの出力を計算する演算部であって、周辺化尤度Σｅ^KQに基づく値が所定の閾値以下である場合に出力を０とし、周辺化尤度Σｅ^KQに基づく値が所定の閾値より大きい場合にキー行列Ｋとクエリ行列Ｑとの行列積にsoftmax関数を適用した行列に対し、バリュー行列Ｖをかけた値を出力として計算する演算部と、
を備える情報処理装置。

【請求項9】

可視的ニューロンｖ_iと隠れニューロンｈ_μとを相互作用行列によって結合したネットワークを用いて、入力されたデータに近いデータを推論するためのプログラムであって、コンピュータに、
データの入力を受け付けるステップと、
前記データを前記ネットワークの前記可視的ニューロンｖ_iに適用して、前記相互作用行列に基づく前記可視的ニューロンｖ_iの更新則にしたがって、前記可視的ニューロンｖ_iの値を更新し、周辺化尤度Σｅ^hμに基づく値が所定の閾値以下である場合に前記可視的ニューロンｖ_iの値を０にし、所定の閾値より大きい場合に可視的ニューロンｖ_iの値を次の更新に用いて、所定の終了条件を満たすまで繰り返し更新を行うステップと、
更新により求めた前記可視的ニューロンｖ_iの値に基づいて処理を行うステップと、
を実行させるプログラム。

【請求項10】

可視的ニューロンｖ_iと隠れニューロンｈ_μとを相互作用行列によって結合したネットワークを用いて、入力されたデータに近いデータを推論するための方法であって、
データの入力を受け付けるステップと、
前記データを前記ネットワークの前記可視的ニューロンｖ_iに適用して、前記相互作用行列に基づく前記可視的ニューロンｖ_iの更新則にしたがって、前記可視的ニューロンｖ_iの値を更新し、周辺化尤度Σｅ^hμに基づく値が所定の閾値以下である場合に前記可視的ニューロンｖ_iの値を０にし、所定の閾値より大きい場合に可視的ニューロンｖ_iの値を次の更新に用いて、所定の終了条件を満たすまで繰り返し更新を行うステップと、
更新により求めた前記可視的ニューロンｖ_iの値に基づいて処理を行うステップと、
を備える情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、連想記憶模型のニューラルネットワークの技術に関する。

【背景技術】

【0002】

センサ情報を入力としたパターン認識技術は、産業応用上、重要な技術である。近年ではニューラルネットワークに代表される機械学習の学術的発展を背景に、産業応用に堪えうる精度でのパターン認識が可能になりつつある。

【0003】

現在広く用いられているニューラルネットワークは、予め教師データを用いて、ラベルを識別するための境界を学習しておき、推論時には、入力されたデータがどのラベルに当てはまる確率が大きいかを計算する尤度最大化を原理とするものである。

【0004】

これと異なる認識メカニズムとして連想記憶模型のニューラルネットワークがある。連想記憶模型は、原則として単一層のニューラルネットワークを持ち、そのニューロン群の状態を表すベクトルが再帰的な更新則によって更新される。この更新則においてニューロン群の状態ベクトルは自分自身の値を用いて次の時刻の状態が定まるため、初期状態であった状態ベクトルは一般に十分な回数の更新の後それ以上変化しない不動点へと収束していくことが期待される。その行き着く先の不動点のことを初期状態が想起した「（連想）記憶」、収束していく過程を「記憶想起」と呼ぶ。

【0005】

連想記憶模型の典型例として、１９８２年にHopfield氏が提唱したホップフィールドネットワーク（以下、「古典的ホップフィールドネットワーク」という。）がある（非特許文献１）。古典的ホップフィールドネットワークは、ニューロンの状態および記憶ベクトルが二値ベクトルであることを前提としているため、微分法を用いた勾配降下法を適用することができないという課題、および、記憶容量がニューロン数の高々線形オーダーしかないという課題があった。

【0006】

これに対し、Hopfield氏は、Krotov氏とともに、上記の課題を解決した新しいホップフィールドネットワーク（以下、「モダンホップフィールドネットワーク」という）を２０２１年に発表した。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】J. J. Hopfield, 「Neural networks and physical systems with emergent collective computational abilities」 Proceedings of the National Academy of Sciences, 1982.

【非特許文献2】D. Krotov and J. J. Hopfield, 「Large associative memory problem in neurobiology and machine learning」 ICLR, 2021. arXiv:2008.06996.

【発明の概要】

【発明が解決しようとする課題】

【0008】

２０２１年に発表された新しいホップフィールドネットワークは、古典的ホップフィールドネットワークの上記２つの課題を解決した手法である。しかしながら、ホップフィールドネットワークは、どんな新規な入力であろうと最近傍の不動点探索を行い、必ず何かを想起、推論してしまうという課題があった。

【0009】

このように「記憶にない」という答えを出すことができないという課題は、ホップフィールドネットワークに限らず、連想記憶模型のネットワーク全般に存在する課題である。

【0010】

本発明は上記背景に鑑み、新しい連想記憶模型のニューラルネットワークの技術を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の情報処理装置は、可視的ニューロンｖ_iと隠れニューロンｈ_μとを相互作用行列によって結合したネットワークを記憶した記憶部と、データの入力を受け付ける入力部と、前記データを前記ネットワークの前記可視的ニューロンｖ_iに適用して、前記相互作用行列に基づく前記可視的ニューロンｖ_iの更新則にしたがって、前記可視的ニューロンｖ_iの値を更新し、周辺化尤度Σｅ^hμに基づく値が所定の閾値以下である場合に前記可視的ニューロンｖ_iの値を０にし、所定の閾値より大きい場合に可視的ニューロンｖ_iの値を次の更新に用いて、所定の終了条件を満たすまで繰り返し更新を行う記憶照合部と、前記記憶照合部にて求めた前記可視的ニューロンｖ_iの値に基づいて処理を行う後段処理部とを備える。

【0012】

本発明の情報処理装置は、前記所定の閾値を、前記隠れニューロンｈ_μの統計的値によって決定してもよい。

【0013】

本発明の情報装置において、前記記憶照合部は、前記隠れニューロンｈ_μの値を確率的に求め、前記隠れニューロンｈ_μの確率分布に基づいて前記可視的ニューロンｖ_iを確率的に求めてもよい。

【0014】

本発明の別の態様の情報処理装置は、可視的ニューロンｖ_iと隠れニューロンｈ_μとを相互作用行列によって結合したネットワークを記憶した記憶部と、データの入力を受け付ける入力部と、前記データを前記ネットワークの前記可視的ニューロンｖ_iに適用して、前記相互作用行列に基づく前記可視的ニューロンｖ_iの更新則にしたがって求めた値に、周辺化尤度Σｅ^hμに基づく値と所定の閾値との差分に基づく値を掛けて前記可視的ニューロンｖ_iの値を更新する処理を、所定の終了条件を満たすまで繰り返し行う記憶照合部と、前記記憶照合部にて求めた前記可視的ニューロンｖ_iの値に基づいて処理を行う後段処理部とを備える。

【0015】

本発明の別の態様の情報処理装置は、可視的ニューロンｖ_iと隠れニューロンｈ_μとを相互作用行列によって結合したネットワークを記憶した記憶部と、データの入力を受け付ける入力部と、前記データの特徴量を計算する特徴量計算部と、前記データの特徴量を前記ネットワークの前記可視的ニューロンｖ_iに適用して、前記相互作用行列に基づく前記可視的ニューロンの更新則にしたがって、前記可視的ニューロンの値を更新し、周辺化尤度Σｅ^hμに基づく値が所定の閾値以下である場合に前記可視的ニューロンの値を０にし、所定の閾値より大きい場合に可視的ニューロンｖ_iの値を次の更新に用いて、所定の終了条件を満たすまで繰り返し更新を行う記憶照合部と、前記記憶照合部にて求めた前記可視的ニューロンｖ_iの値に基づいて処理を行う後段処理部とを備える。

【0016】

本発明の情報処理装置は、前記記憶照合部にて前記可視的ニューロンの値が０に更新された場合に、その入力にかかる前記データを教師データとして学習を行う学習部を備えてもよい。

【0017】

本発明の情報処理装置は、前記記憶部には、異なる学習セットで学習を行った複数のネットワークを記憶しており、前記複数のネットワークに対応する複数の記憶照合部を備え、前記情報処理装置は、さらに、それぞれの前記記憶照合部で求めた前記可視的ニューロンｖ_iの値に基づいて処理を行う複数の後段処理部を備えてもよい。

【0018】

本発明の別の態様の情報処理装置は、キー行列Ｋとクエリ行列Ｑとの行列積にsoftmax関数を適用した行列に対し、バリュー行列Ｖをかけて出力を求める注視機構を含むネットワークを記憶した記憶部と、データの入力を受け付ける入力部と、入力された前記データを前記ネットワークに適用して前記注視機構からの出力を計算する演算部であって、周辺化尤度Σｅ^KQに基づく値が所定の閾値以下である場合に出力を０とし、周辺化尤度Σｅ^KQに基づく値が所定の閾値より大きい場合にキー行列Ｋとクエリ行列Ｑとの行列積にsoftmax関数を適用した行列に対し、バリュー行列Ｖをかけた値を出力として計算する演算部とを備えてもよい。

【0019】

本発明のプログラムは、可視的ニューロンｖ_iと隠れニューロンｈ_μとを相互作用行列によって結合したネットワークを用いて、入力されたデータに近いデータを推論するためのプログラムであって、コンピュータに、データの入力を受け付けるステップと、前記データを前記ネットワークの前記可視的ニューロンｖ_iに適用して、前記相互作用行列に基づく前記可視的ニューロンｖ_iの更新則にしたがって、前記可視的ニューロンｖ_iの値を更新し、周辺化尤度Σｅ^hμに基づく値が所定の閾値以下である場合に前記可視的ニューロンｖ_iの値を０にし、所定の閾値より大きい場合に可視的ニューロンｖ_iの値を次の更新に用いて、所定の終了条件を満たすまで繰り返し更新を行うステップと、更新により求めた前記可視的ニューロンｖ_iの値に基づいて処理を行うステップとを実行させる。

【0020】

本発明の情報処理方法は、可視的ニューロンｖ_iと隠れニューロンｈ_μとを相互作用行列によって結合したネットワークを用いて、入力されたデータに近いデータを推論するための方法であって、データの入力を受け付けるステップと、前記データを前記ネットワークの前記可視的ニューロンｖ_iに適用して、前記相互作用行列に基づく前記可視的ニューロンｖ_iの更新則にしたがって、前記可視的ニューロンｖ_iの値を更新し、周辺化尤度Σｅ^hμに基づく値が所定の閾値以下である場合に前記可視的ニューロンｖ_iの値を０にし、所定の閾値より大きい場合に可視的ニューロンｖ_iの値を次の更新に用いて、所定の終了条件を満たすまで繰り返し更新を行うステップと、更新により求めた前記可視的ニューロンｖ_iの値に基づいて処理を行うステップとを備える。

【図面の簡単な説明】

【0021】

【図1】（ａ）古典的ホップフィールドネットワークを示す図である。（ｂ）エネルギー関数の例を示す図である。

【図2】モダンホップフィールドネットワークを示す模式図である。

【図3】トイ実験で用いた自己符号化器の構成を示す図である。

【図4】相互作用行列ξを固定し記憶を保持したネットワークに学習データや新規なデータを入力した際の出力結果を示す図である。

【図5】第１の実施の形態の情報処理装置の構成を示す図である。

【図6】情報処理装置による認識動作を示すフローチャートである。

【図7】入力ｖの状態ｈ^(μ)らしさ＝尤度を表す模式図である。

【図8】トイ実験の時と同じテストデータを入力した結果を示す図である。

【図9】第２の実施の形態の情報処理装置の構成を示す図である。

【図10】第２の実施の形態の情報処理装置の動作を示す図である。

【図11】第３の実施の形態の情報処理装置の構成を示す図である。

【図12】第３の実施の形態の情報処理装置の処理を示す概念図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施の形態の情報処理装置について説明する。本実施の形態の理解に資するため、最初にホップフィールドネットワークについて説明する。

【0023】

［古典的ホップフィールドネットワーク］
図１（ａ）は、Ｄ＝６の場合の古典的ホップフィールドネットワークを示す図である。ホップフィールドネットワークでは、各ニューロンが相互に結合している。ホップフィールドネットワークは単一層のニューロン群からなるニューラルネットワークであり、ｉ番目のニューロンの取る値ｓ_iとニューロン間の相互作用を表す行列は以下で与えられる。

【数1】

【0024】

個々のニューロンのとる値は１か－１の二値であり、全ニューロン数をＤとするとニューロン群のとる状態ベクトルｓは（ｓ₁，．．．，ｓ_D）∈｛±１｝^DというＤ次元の二値ベクトルである。また行列Ｊを構成する一連のベクトルξもすべてξ∈｛±１｝^Dであり、行列Ｊはニューロン群のとる状態ベクトルと同じ次元の二値ベクトルＮ個から成っている。ただし、行列Ｊをなすベクトルξたちは変数ではなく、固定された定ベクトルであるとする。

【0025】

図１（ｂ）は、エネルギー関数の例を示す図である。図１（ｂ）に示すように、相互作用行列をなすベクトルξ_μたちが各極小点となっている。なお、図１（ｂ）に示すように、ベクトルを表す符号に対して「→」を付すことがあるが、本明細書では、ベクトルを表す「→」を省略している。

【0026】

古典的ホップフィールドネットワークのニューロンの更新則は、次式で表される。

【数2】

【0027】

この更新則を用いて状態ベクトルｓを更新していくことで以下のエネルギー関数が単調減少することが知られている。

【数3】

ただしＪ_ijは行列Ｊの（ｉ，ｊ）成分を表し、

【数4】

である。

【0028】

図１（ｂ）に示すように、仮に初期状態ベクトルｓ₀が与えられたとすると、状態ベクトルは、（３）式に示す更新則によりエネルギー関数の勾配を下っていき、ξ₂ベクトルに収束する。このニューラルネットワークの初期状態をベクトルｓ₀、上記の更新則をｔ回行ったのちの状態ベクトルをベクトルｓ_tとすると、ｔ→∞において状態ベクトルは上記エネルギー関数のいずれかの極小点へと収束することが数学的に保証されており、かつその収束先の極小点は相互作用行列Ｊをなすξ_μベクトルのいずれかのうち初期状態のベクトルｓ₀に最も近いものとなる。

【0029】

これらの事実から、古典的ホップフィールドネットワーク（非特許文献１）では相互作用行列ＪをなすＮ個のξ_μベクトルたちをこのネットワークが持つ（連想）記憶とみなす。またニューロン群の更新則（３）式による状態ベクトルの変化は「記憶想起」、この更新則によってニューロン群の状態ベクトルｓ_tが収束した先は初期状態ｓ₀が想起した「記憶」と対応する。古典的ホップフィールドネットワークは実際に記憶想起による画像の補完やノイズ除去に役立てられることが知られているが、一方で大きな課題を持つことも知られている。代表的な課題は以下の二点である。

【0030】

（１）ニューロン群の状態ベクトルｓおよび記憶ベクトルξ_μが二値ベクトルであることを前提としているため、現代的なニューラルネットワークの学習則（微分法を用いた勾配降下法）を適用することができない。したがって現代的な深層学習モデルに組み込むことは困難である。

【0031】

（２）相互作用行列Ｊに蓄えることのできる記憶容量Ｎは高々ニューロン数Ｄの線形オーダーでしかない。より詳しくは、最大でおよそＮ～０．１４Ｄであることがのちの研究により明らかとなっている。

【0032】

［モダンホップフィールドネットワーク］
KrotovとHopfield本人による近年の研究（非特許文献２）によって古典的ホップフィールドネットワークは大幅に拡張され、図２に示す連続値をとる以下のモダンホップフィールドネットワークに包含されることが明らかとなった。

【数5】

【0033】

これらはＮ_v個の可視的ニューロン（visible neuron）とＮ_h個の隠れニューロン（hidden neuron）と呼ばれ、最終的にニューラルネットワークの表舞台に現れるのは可視的ニューロンのみであるとされる。この定義からわかるようにそれぞれのニューロン群の状態ベクトルは二値ベクトルではなく連続的な実数値のベクトル（それぞれＮ_v次元、Ｎ_h次元のベクトル）をとることを許容しており、かつ時間変化も離散的ではなく時間ｔの連続的な関数であることを想定している。

【0034】

またこれらのニューロン群の間の相互作用行列は、次式で表される。

【数6】

【0035】

すなわち可視的ニューロンと隠れニューロンはお互いに全結合で相互作用しているがそれぞれ同種同士では相互作用しない。

【0036】

連続値をとるこれらのニューロン群の更新則は、時間変化もまた連続的であるため以下の微分方程式により定められている。

【数7】

【0037】

ここで、τ_v，τ_hは緩和時間を表す定数であり、それぞれのニューロン群の活性化関数であるｆ，ｇはラグランジアンと呼ばれる関数Ｌ_h，Ｌ_vによって定まる。

【0038】

【数8】

【0039】

モダンホップフィールドネットワークにおけるエネルギー関数もこれらラグランジアンから定まり、次式で与えられる。

【数9】

【0040】

このエネルギー関数は上記微分方程式によるニューロン群の状態ベクトルの更新のもとで単調減少することが数学的に保証され、したがって微分方程式に従う変化のもとでニューロン群の状態ベクトルはある不動点へと収束する。不動点は一通りではなくニューロン群の間の相互作用行列ξとニューロン群たちの初期状態ベクトルｖ₍₀₎,ｈ₍₀₎によってさまざま異なった場合を実現しうる。すなわちモダンホップフィールドネットワークも連想記憶模型であり、かつニューロン群の状態ベクトルや相互作用行列ξが連続値をとることを許容するために現代的な深層学習アーキテクチャの枠組みに組み込むことを可能としている。またこれらの方程式とエネルギー関数は物理的観点あるいは神経科学的観点から導かれた表式であり、計算機科学への応用を意図せずとも極めて自然な形である。

【0041】

以上に、モダンホップフィールドネットワークが古典的ホップフィールドネットワークの課題のうち、（１）の課題を解決していることを述べた。次に、課題（２）も解決されていることを説明する。

【0042】

モダンホップフィールドネットワークは、以下の関数形をとるラグランジアンＬ_h，Ｌ_vによって統制されている。

【数10】

【0043】

このとき隠れニューロンと可視的ニューロンの活性化関数はそれぞれ次のとおりである。

【数11】

【0044】

また隠れニューロンは可視的ニューロンに比べて時間変化が十分に早いという仮定、τ_h<<τ_v、すなわちτ_h→０を用いると連立微分方程式において隠れニューロンの満たす更新則を次式で表すことができる。

【数12】

【0045】

これを可視的ニューロンの微分方程式に代入しかつΔｔ＝τ_vとする離散化を行うと最終的に可視的ニューロンの更新則とエネルギー関数は、次のようになる。

【数13】

【0046】

このような更新則とエネルギー関数の表式を持つモダンホップフィールドネットワークにおいてはネットワークが保持することのできる記憶容量がニューロン数の指数オーダーとなる。すなわち可視的ニューロンの数Ｎ_vに対してある定数ｃ（＞１）により記憶容量をｃ^Nvより大きくできることがRamsauerらによって数学的に厳密な形で証明された（H. Ramsauer et al., "Hopfield networks is all you need", ICLR, 2021. arXiv:2008.02217.）。この事実は古典的ホップフィールドネットワークの２番目の課題を解決していることを意味する。

【0047】

さらに上記の更新則によって不動点へと収束する速度（つまりネットワークが記憶想起する速度）が十分に速く、計算量的観点からも極めてリーズナブルであることもRamsauerらによって証明された。これらの数学的事実の証明においてもっとも重要な役割を果たしたのは可視的ニューロンの更新則が自身の状態ベクトルの指数関数によって更新されること、つまり更新則（１５）式の右辺がsoftmaxで与えられていることであった。

【0048】

［本実施の形態の概要］
モダンホップフィールドネットワークは、古典的ホップフィールドネットワークの課題を大幅に改善し技術の進歩をもたらしたが、課題がなくなったわけではない。本発明者らは、モダンホップフィールドネットワークにおいて解決されていない課題として、どんな新規な入力であろうととにかく最近傍の不動点探索を行い、かならず何かを想起・推論してしまうことがあることに着目した。

【0049】

すなわち、モダンホップフィールドネットワークはあくまでも連想記憶模型の一形態であり依然としてエネルギー関数の最小化問題を解いている。したがって最小解からどれほど離れた新規な入力データ（ニューロン群の初期状態ベクトル）が与えられたとしてもとにかくそこからもっとも近い極小解を探索し記憶想起を実行してしまう。これがなぜ、どのように問題なのかをトイ実験を用いて説明する。

【0050】

ここでは簡単のためモダンホップフィールドネットワークを２層の自己符号化器として実装しトイ実験を行った。学習時に特定の少数標本を再現するようにニューラルネットワークを訓練し、それによってパラメタとしての相互作用行列を固定した。

【0051】

図３は、トイ実験で用いた自己符号化器の構成を示す図である。手書き数字認識における２層自己符号化器は、７８４－６４－７８４次元の層を持つニューラルネットワークである（図３）。ここで用いる手書き数字は２８×２８＝７８４ピクセルの画像であるため入力の次元は７８４次元、すなわち可視的ニューロンの個数Ｎ_vが７８４であるという状況を考えることになっている。また隠れ層の次元は６４とし、これは隠れニューロンがＮ_h＝６４個存在する状況を考えていることになる。また隠れ層の活性化関数はｆ＝softmaxである。この自己符号化器全体による変換が更新則１回分に相当し、出力を再帰的に自己符号化器に入力することが記憶想起に対応する。

【0052】

このネットワークに手書き数字の「５」「０」「４」「１」の特定の標本をそれぞれ1データずつ記憶させた。つまり自己符号化器としての訓練を行った。

【0053】

図４（ａ）～図４（ｃ）は、訓練ののち相互作用行列ξを固定し記憶を保持したネットワークに学習データや新規なデータを入力した際の出力結果を示す図である。図４（ａ）と図４（ｂ）は入力されたデータ（初期値）として手書き数字を入力した例を示し、図４（ｃ）はノイズ画像を入力した例を示す。図の見方としては、縦方向に上から初期値の画像、更新則で１回更新を行った画像、更新則で５回更新を行った画像を示す。なお、図４（ａ）の左端から４つ目までの画像は、学習させた手書き数字自体を入力した結果を示している。

【0054】

図４（ａ）～図４（ｃ）に示す結果から、記憶させた手書き数字か否かにかかわらずネットワークは記憶想起を実行してしまい、全く異なる種類の数字を想起してしまっていることが見て取れる。このトイ実験では「数字の意味」を学習させているわけではなく単に「画像」そのものとして学習させているため、必ずしも同じ数字に収束しているわけではないことに注意されたい。

【0055】

図４（ｃ）に示すように、手書き数字ですらない意味のないノイズ画像をこの自己符号化器に入力した場合もとにかく最近傍探索を行うことによって、記憶させた「５」「０」「４」「１」の手書き数字のいずれかを記憶想起してしまっていることがわかる。

【0056】

このトイ実験からわかるように、モダンホップフィールドネットワークの重大な課題はどんな新規な入力であってもネットワークが保持する記憶を想起してしまうということにある。「記憶にない」を表現するためには、新規な入力に対しては特定の記憶を想起しない、すなわち信号を返さないようにネットワークの振る舞いを規定したい。しかしながらこれは先述したKrotovとHopfieldによるモダンホップフィールドネットワークでは実現不可能である。なぜなら信号を返さないということは出力がゼロベクトルにとどまる、つまりゼロベクトルが不動点の1つとして実現されるということであるが、モダンホップフィールドネットワークの可視的ニューロンの更新則は指数関数による変換であるためこの更新則の反復によってゼロベクトルに到達することはあり得ない。たとえ仮に初期状態としてゼロベクトルを選んだとしても指数関数による変換によってゼロベクトルにとどまることは不可能である。

【0057】

本実施の形態の情報処理装置および情報処理方法は、主要な性質として以下の二点を備える。
（１）既に保持している記憶に近しい入力に対してはモダンホップフィールドネットワークと同様の更新則により記憶想起を実行する。
（２）新規な入力、意味をなさない外れ値等の入力に対しては適切な閾値操作を行うことでゼロベクトルに収束させる。

【0058】

具体的には、可視的ニューロンの指数関数型の更新則において全体の係数として入力データから計算されるステップ関数をかけ、ゲーティング操作を行う。

【数14】

【0059】

ただしθ（ｘ）はステップ関数であり、ｘ＞０のとき１、ｘ＝０またはｘ＜０のとき０となるような関数である。ステップ関数が１となるときにはこの更新則はモダンホップフィールドネットワークのものと全く同一であるため、保持できる記憶容量は変わらない。一方、ステップ関数が０となる場合には指数関数による変換を受けた後で全体の係数として０がかかるため最終的な可視的ニューロンの状態ベクトルはゼロベクトルとなる。新規な入力に対しては不動点としてのゼロベクトルへ収束させることで、特定の記憶を想起するのではなくゼロベクトルを出力させる（言い換えれば、何も信号を返さない）ことによって「記憶にない」を表現することができると期待される。

【0060】

［情報処理装置の構成］
以下、図面を参照して、本実施の形態の情報処理装置について説明する。
（第１の実施の形態）
図５は、第１の実施の形態の情報処理装置１の構成を示す図である。第１の実施の形態の情報処理装置１は、入力されたデータに対して、予め学習によって獲得されているデータ（すなわち記憶）との照合を行い、関連付けを行う機能を有する。情報処理装置１は、入力されたデータに近いデータを出力する。第１の実施の形態の情報処理装置１は、入力部１１と、演算部１２と、出力部１３と、ネットワーク記憶部１４とを有している。

【0061】

ネットワーク記憶部１４には、記憶想起の更新処理を行うためのネットワークが記憶されている。ネットワークは、図２にて説明したように、複数の可視的ニューロンと隠れニューロンとを有しており、可視的ニューロンと隠れニューロンとが全結合したネットワークである。可視的ニューロンと隠れニューロンは、予め学習された相互作用行列ξによって結合されている。相互作用行列ξの学習の教師データには、入力されたデータ自体を用いてもよいが、本実施の形態では、入力されたデータから計算した特徴量を用いている。特徴量を用いることにより、入力されたデータに多少のばらつきがあっても、記憶されたデータから特徴量が同じデータを想起することが可能となる。

【0062】

本実施の形態で用いるモダンホップフィールドネットワークは、以下の関数形をとるラグランジアンによって統制されている。

【数15】

ここで、θはステップ関数、αは適当な定数である。

【0063】

このとき、可視的ニューロンの更新則とエネルギー関数を導出すると以下が得られる。

【数16】

【0064】

次に、演算部１２について説明する。演算部１２は、特徴量計算部２０と、記憶照合部２１と、パターン認識処理部２２とを有している。演算部１２が有する各構成の詳しい機能については、図６に示すフローチャートを参照しながら説明する。

【0065】

図６は、情報処理装置１による認識動作を示すフローチャートである。情報処理装置１にデータが入力されると（Ｓ１０）、特徴量計算部２０は、入力されたデータの特徴量を計算する（Ｓ１１）。特徴量の計算には、例えば、多層パーセプトロン（ＭＬＰ）を用いることができる。

【0066】

次に、記憶照合部２１は、ネットワーク記憶部１４から読み出したホップフィールドネットワークに対し、入力されたデータの特徴量を適用して記憶照合を行う（Ｓ１２）。すなわち、入力データの特徴量に十分に近い特徴量を記憶しているか照合を行う。具体的には、記憶照合部２１は、入力データの特徴量を可視的ニューロンに入力し、式（１９）で示した更新則により、可視的ニューロンの値を更新していくことにより、入力データの特徴量の記憶があるかの照合の処理を行う。可視的ニューロンの更新処理は、式（２０）のエネルギー関数が収束した時点で終了する。

【0067】

式（１９）において、隠れニューロンのラグランジアンＬ_hの値がある閾値αより大きい場合にはステップ関数は「１」となるので、上記の更新則（式（１９））とエネルギー関数（式（２０））はモダンホップフィールドネットワークの良い性質を受け継ぎ、入力データの特徴量の記憶を探索する。これは、図６のフローチャートにおいて、「記憶あり？」の判断が肯定されるケースである（Ｓ１３でＹＥＳ）。

【0068】

一方、隠れニューロンのラグランジアンＬ_hが閾値α以下であるときにはステップ関数が「０」となるので、エネルギー関数（２０）式は可視的ニューロンの二次関数のみになり、極小値を与える解はゼロベクトルとなる。すなわちゼロベクトルが不動点として実現される。このことは可視的ニューロンの更新則（１９）式とも整合的になっており、この場合には全体の係数としてかかっているステップ関数が「０」となるためゼロベクトルへと収束する。これは、図６のフローチャートにおいて、「記憶あり？」の判断が否定されるケースである（Ｓ１３でＮＯ）。

【0069】

記憶照合の結果、記憶ありと判定される場合（Ｓ１３でＹＥＳ）、パターン認識処理部２２は、探索された特徴量に基づき、パターン認識処理を行う（Ｓ１４）。情報処理装置１は、認識した結果を出力する（Ｓ１５）。記憶照合の結果、入力データに対応する記憶なしと判定される場合（Ｓ１３でＮＯ）、情報処理装置１は、記憶なしという結果を出力する（Ｓ１５）。

【0070】

以上、本実施の形態の情報処理装置の構成について説明したが、上記した情報処理装置のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した情報処理装置が実現される。このようなプログラムも本発明の範囲に含まれる。

【0071】

次に、本実施の形態で計算するθ（Ｌ_h－α）の数理的意味（つまりラグランジアンと閾値の差によるゲーティングの意味）を説明する。モダンホップフィールドネットワークのラグランジアンである

【数17】

は単なる計算の弁法のためのものではなく、統計学において周辺化尤度と呼ばれる量とみなすことができる。（より正確には周辺化尤度の対数である。）このことは以下のようにして理解される。

【0072】

いま、潜在空間（隠れニューロンの状態空間Ｒ^Ｎh）上において離散的なＮ_h個の状態が１ホットベクトルとして次のように表されるとする。

【数18】

このとき、softmaxの出力のμ番目の要素は「入力ｖ(t)の状態ｈ^(μ)らしさ＝尤度」を表すと解釈できる（以後簡単のため（ｔ）を省略する）。

【数19】

【0073】

一方、条件付き確率の定義より上式は以下のように書き直すこともできる。

【数20】

【0074】

これら二式の最右辺同士を比較することで次のようなことがわかる。すなわちｈ^(μ)とｖの同時確率はsoftmax_μの分子であるｅ^(ξv)μに比例し、ｖ自体が出現しうる確率密度ｐ（ｖ）はｈに対して周辺化された尤度である

【数21】

に比例する。

【0075】

図３に示すような自己符号化器においてモダンホップフィールドネットワークのラグランジアン（１５）式を用いた学習の結果記憶されたデータは多くの場合近似的に潜在空間上のいずれかのｈ^(μ)として表現されることが期待されるため、モダンホップフィールドネットワークにおいては各入力ｖに対してニューロン群の状態ベクトルの更新の際に「入力ｖの状態ｈ^(μ)らしさ＝尤度」を計算し高いと思われる記憶を想起していたと理解できる。一方で、softmax関数は指数関数であるために必ず正の値に規格化されており、どんな新規な入力であっても０より大きな値で確率を計算してしまう。その弊害としてどんなに尤度の低い入力であったとしても相対的に高いと判断された何らかの記憶を想起してしまっていた。

【0076】

図７は、入力ｖの状態ｈ^(μ)らしさ＝尤度を表す模式図である。図７では、仮に隠れニューロンが５つであった場合を例示している。図７（ａ）で示す例では、２番目が最も確率が高く、またそれら全体を足しあげた周辺化尤度も十分に大きな値となっている。この場合連想記憶模型は２番目の状態を想起する。一方、図７（ｂ）に示す例では、足し上げると１にはなるものの全体の確率が押し並べて低く周辺化尤度が小さい。このような場合であっても相対的に５番目が最も確率が高いため素朴な連想記憶模型では５番目の状態が想起されてしまう。

【0077】

本実施の形態では、計算コスト的観点から周辺化尤度の対数であるＬ_hを計算しその結果入力がどんな記憶にも対応しない、すなわち全ｈ^(μ)に対して尤度を足しあげたとしても尤もらしさが十分に低いとみなされる入力に対しては全体をゼロベクトルとして出力し、特定の記憶を想起させない状況を具現化している。

【0078】

softmax関数は指数関数であるために必ず正の値をとってしまうが、ラグランジアン自体に係数としてステップ関数をかけることで十分小さな周辺化尤度を与える入力に対しては信号を返さないネットワークを構築した。さらにこのようにネットワークを定義することで、記憶が想起される場合には提案法はモダンホップフィールドネットワークの持つあらゆる良い性質を包含していることが保証される。

【0079】

ここで、図４で説明したトイ実験と同じ条件設定において、式（１９）に示すステップ関数を含む更新則を用いて記憶照合を行った場合の結果を述べる。２層の自己符号化器に対して入力するデータ形状やネットワーク構造は同じくし、ニューロン群の更新則すなわち活性化関数のみ全体の係数にステップ関数をかけて変更したネットワークを考える。

【0080】

図８は、このネットワークにトイ実験の時と同じ学習データ「５」「０」「１」「４」を記憶させたのちテストデータを入力した結果を示す図である。従来法での結果と比較すると、学習によって記憶した手書き数字そのものはもちろんのことそれに近しい入力に対しては記憶したデータを適切に想起し、保持している記憶に比べて新規とみなされる入力に対してはゼロベクトルに収束していることが見て取れる。不動点としてのゼロベクトルに収束しているという事実は特定の記憶を想起していないことを意味し、したがって本実施の形態においては、その時入力されたデータが「記憶にない」と判断できているということを意味する。また本実施の形態では意味のないノイズ画像に対しても正しくゲーティング操作が行われ、特定の記憶を何も想起していないことがわかる。

【0081】

図８のトイ実験の注意点として、このトイ実験では「数字の意味」を学習させたわけではなく単に「画像」として記憶させただけであるという事実を認識しておくことは重要である。例えば、図８（ａ）において別の「１」「４」画像(x_patterns[6], x_patterns[8], x_patterns[9])がゼロベクトルへ収束していることが見て取れるが、これは記憶にある「１」「４」とは異なる画像であるということをニューラルネットワーク自身が判断できているということを意味する。また逆に「３」を「５」であるとして記憶想起しているが、これは入力された「３」が記憶にある「５」に十分よく似た画像であるということを判断できていることを意味する。

【0082】

従来の連想記憶模型においては学習の結果保持される記憶はエネルギー関数の非自明な極小点として表現され、どんな入力に対してもかならず不動点探索を行い何らか特定の記憶を想起してしまう。本実施の形態の情報処理装置１は連想記憶模型において「記憶にない」とする不動点および状態ベクトルを具現化するものである。さらに、本実施の形態の情報処理装置１は、モダンホップフィールドネットワークの持つ良い性質（活性化関数が指数関数型であり指数オーダーの記憶を貯蔵できる、更新の収束が速く計算量的観点からもリーズナブルである、など）をすべて兼ね備えた上でゼロベクトルを不動点に含ませることができ、単に従来技術を組み合わせるだけで実現されるものとは一線を画している。

【0083】

（第２の実施の形態）
図９は、第２の実施の形態の情報処理装置２の構成を示す図である。第２の実施の形態の情報処理装置２の基本的な構成は、第１の実施の形態の情報処理装置１と同じである。第２の実施の形態の情報処理装置２は、第１の実施の形態の情報処理装置１の構成に加え、演算部１２に学習部２３を備えている。

【0084】

図１０は、第２の実施の形態の情報処理装置２の動作を示すフローチャートである。第２の実施の形態の情報処理装置２は、記憶照合部２１での照合の結果、入力データが「記憶にない」と判定された場合に（Ｓ１３でＮＯ）、その入力データを用いてネットワークの学習を行う（Ｓ１６）。第２の実施の形態の情報処理装置２のその他の動作は、第１の実施の形態で説明した内容と同じである。

【0085】

第２の実施の形態の情報処理装置２は、入力されたデータに対して記憶照合部２１による不動点探索を行うことができるか否かによって、パターン認識処理を行ってよいのか、あるいは入力データは学習データとして収集するべき対象なのかをネットワーク自身によって判断することができる。これによりニューラルネットワークの推論と学習の一元化を実現でき、学習データの網羅性の問題を根本的に解決できる。

【0086】

（第３の実施の形態）
図１１は、第３の実施の形態の情報処理装置３の構成を示す図である。第３の実施の形態の情報処理装置３の基本的な構成は、第２の実施の形態の情報処理装置２と同じである。第３の実施の形態においては、演算部１２は、複数の記憶照合部２１と複数の専門処理部２４と、複数の専門処理部２４の処理結果を統合する統合的認識処理部２５とを有している。また、ネットワーク記憶部１４には、複数の記憶照合部２１に対応する複数の異なるネットワークを記憶している。

【0087】

図１２は、第３の実施の形態の情報処理装置３の処理を示す概念図である。本実施の形態において、記憶照合部２１と専門処理部２４の各組をユニットという。図１２に示すように、特徴量計算部２０は、入力されたデータの特徴量を計算し、計算によって得られた特徴量のデータを複数の記憶照合部２１のそれぞれに入力する。記憶照合部２１は、入力された特徴量の記憶がある場合には、該当するデータを後段の専門処理部２４に渡し、後段の専門処理部２４にて処理を行う。専門処理部２４は、前段の記憶照合部２１で想起されたデータを処理するのに適した処理を行う処理部である。入力された特徴量の記憶がない場合には、記憶照合部２１は後段の専門処理部２４にデータを渡さない。

【0088】

どのユニットからも出力がなかった場合には入力データはいずれの記憶にも合致しなかったことを意味する。学習部２３は、その入力データを学習用データとする学習を行い、新たな記憶照合部２１を付け加える。ユニットの集まりとしての記憶装置においては新規データに対して追加型の記憶形成を行うことができる。

【0089】

第３の実施の形態の情報処理装置３では、記憶照合部２１にて想起された記憶に依存して後段の処理内容が決定されるので、記憶に適した専門処理を行うことができる。つまり、記憶照合部２１は、記憶に適した専門処理部２４を選択してデータを渡すゲートの役割を果たす。ユニット群のさらに後段にある統合的処理においてネットワークの挙動に不具合があった際、個別のユニットの出力を調べることで不具合の原因特定が容易に行える。また、個々のユニットが持つ記憶がどういった学習データセットから形成されているかが把握できているので推論根拠を学習データ自身に帰着させることができる。

【0090】

（第４の実施の形態）
本発明は近年の深層学習技術の中核をなす注視機構(attention mechanism) への応用も見込まれる。注視機構とは一般的に系列データに対しその中で互いに重要度・関連性が高い情報はどれかということ自体もニューラルネットワークによる学習によって獲得させる技術である。たとえば言語翻訳においては異なる言語間で特定の単語同士が強い関係性にある（「りんご」と"apple" など）ことや、画像認識においては写真に含まれる個々の物体同士の強い関係性（「目」と「眼鏡」、「炎」と「消防車」など）をニューラルネットワーク自身が学習によって理解する。注視機構においては本質的に Krotov と Hopfield によるモダンホップフィールドネットワークの更新則（１５）式が用いられるため、提案法を応用することで推論根拠を学習データに基づいて提示することができ説明可能性の向上が期待できる。

【0091】

（１５）式から注視機構が導かれることはRamsauerらによって示された。Ramsauerらによると、現代的な深層学習モデルの注視機構において特徴量Ｘを線形変換することで得られるクエリ(Query)、キー(Key)行列がそれぞれ本明細書におけるｖ，ξに対応し、ξをさらにもう一度線形変換したものがバリュー(Value)行列に対応する。このことについてもう少し説明を加える。注視機構において用いられる慣習的な記号と合わせるため以下ではＮ_hをＮ、Ｎ_vをＤと書く。

【0092】

注視機構とは次のようなものである。ニューラルネットワークにＮ個の特徴量ベクトル（Ｆ次元ベクトル）のセットＸ：＝（ｘ¹，．．．，ｘ^N）^Ｔ∈Ｒ^N×Fが入力されたとする。このとき前段階の処理としてこれらに対しある行列Ｗ_Q，Ｗ_K∈Ｒ^F×Dを作用させたものを以下のように定める。

【数22】

【0093】

これらＮ個のベクトルをまとめて作られる行列をそれぞれＱ：＝（ｑ₁，．．．，ｑ_N）^Ｔ∈Ｒ^N×F，Ｋ：＝（ｋ₁，．．．，ｋ_N）^Ｔ∈Ｒ^N×Fとし、もうひとつ別の行列Ｗ_D´∈Ｒ^D×D を使って

【数23】

としたとき、注視機構において計算されるニューラルネットワークの順伝播更新則は以下の式で与えられる。

【数24】

【0094】

モダンホップフィールドネットワークの更新則（１５）式に含まれるｖ（ｔ）∈Ｒ^Dは個々のクエリベクトルｑ_νに、ξ：＝（ξ₁，．．．，ξ_N）^Ｔ∈Ｒ^N×Dはキー行列に対応づけられることがわかり、キー行列をもう一度Ｗ_V´で変換したものがバリュー行列Ｖに対応する。そのような同一視のもと、Ｎ本の（１５）式をひとまとめにしたものとして、次のように、注視機構と同様の式が得られる。

【0095】

【数25】

【0096】

すなわち現代的な深層学習モデルにおける注視機構とはモダンホップフィールドネットワーク自体がＮ個集まっている状況に他ならず、注視機構の処理（２６）式はモダンホップフィールドネットワークの更新則（１５）式を一回分適用して記憶想起を実行した出力を次の層の入力にしているとみなせることになる。したがって、ここに提案法を用いることでＫＱ^Ｔの値に応じて更新則の出力をゲートすることができる。

【0097】

また記憶照合部によるゲーティング操作の結果汎用的な特徴量、重要な特徴量のみがゲートを通過して推論処理に用いられることになるため、ゲートがない場合に比べてネットワークの学習効率が上がることも期待される。

【0098】

モダンホップフィールドネットワークはさまざまな機械学習・パターン認識タスクに応用されている。しかしながら連想記憶模型の素朴な適用には、図４を用いて説明した課題が残されている。例えば、画像認識・分類においてモダンホップフィールドネットワークを用いた場合、学習データに含まれなかったクラスの新規な画像が入力として与えられた際には無理に既知のデータに関連づけて記憶想起を行ってしまうため新規な入力に対して極めて信頼度の低い推論を行なってしまう恐れがある。

【0099】

この問題点は、例えば車の自動運転等、安全性が最優先される局面においては一層深刻であり深層学習技術の社会実装を著しく困難にする一因となる。さらに悪いことに、モダンホップフィールドネットワークが行った推論の信頼性の低さに人間が気付かない状況も容易に想定される。たとえば医療用画像診断において学習データに含まれなかった新しい症例画像に対して連想記憶模型が既知のデータに関連づけて推論を行ってしまった場合、その推論結果はそもそも一切信頼してはならないにもかかわらずそのことに人間は気づかない恐れがある。そのような推論結果を踏まえて下した医師の判断がどこまで信頼できるのか、またその際に起きた問題において責任の所在がどこにあるのかを問うのは今後の深層学習技術の普及に伴って重大な社会問題となりうる。

【0100】

本実施の形態の情報処理装置は、こういった将来的な課題を解決する、あるいはアプローチするためのひとつの方向性を定める効果をも含む。モダンホップフィールドネットワーク自体は、記憶想起が適切であるとみなせる限りにおいては連想記憶模型として極めて良い性質を持っている。本発明は実装の上ではモダンホップフィールドネットワークの基盤を踏襲しており、かつ実質の計算コストも増えていない。この計算量的観点からの効率性も本発明の効果の一つに数えられる。

【0101】

以上、本発明の情報処理装置について、実施の形態を挙げて詳細に説明したが、本発明の情報処理装置は上記した実施の形態に限定されるものではない。上記した実施の形態では、ラグランジアンＬ_hが所定の閾値α以下のときに隠れニューロンの値を０に更新する例を挙げたが、ゲーティングに用いる閾値αは固定値でなくてもよい。閾値αは、例えば、隠れニューロンの値の統計的値に用いて決定してよく、以下のように平均と標準偏差を用いて決定してもよい。

【数26】