ホーム > 特許ランキング > 国立大学法人横浜国立大学
知財求人 - 知財ポータルサイト「IP Force」
特開2023-83885学習モデル装置、演算装置生産システム、演算方法、演算装置生産方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023083885
(43)【公開日】2023-06-16
(54)【発明の名称】学習モデル装置、演算装置生産システム、演算方法、演算装置生産方法およびプログラム
(51)【国際特許分類】
G06N 3/04 20230101AFI20230609BHJP
【ＦＩ】
G06N3/04
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021197852
(22)【出願日】2021-12-06
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人新エネルギー・産業技術総合開発機構「人と共に進化する次世代人工知能に関する技術開発事業／説明できるＡＩの基盤技術開発／進化的機械知能に基づくＸＡＩの基盤技術と産業応用基盤の開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】504182255
【氏名又は名称】国立大学法人横浜国立大学
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】長尾 智晴
(72)【発明者】
【氏名】葛谷 直規
(57)【要約】
【課題】二値データを用いるノードを備える学習モデルが、ノードの層数を増やす必要なしに、比較的多様な出力値をとり得るようにする。
【解決手段】学習モデル装置が、二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、二値化された出力値を決定するノードを備える。
【選択図】図１
【解決手段】学習モデル装置が、二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、二値化された出力値を決定するノードを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、二値化された出力値を決定するノード
を備える学習モデル装置。
を備える学習モデル装置。
【請求項2】
前記超曲面は、前記二値ベクトルがとり得る値の各々を、前記実数空間の部分空間における座標値として扱った場合のその座標値と、学習パラメータ値との組み合わせによる、前記実数空間における座標値の点を制御点とするB-Spline超曲面である、
請求項１に記載の学習モデル装置。
請求項１に記載の学習モデル装置。
【請求項3】
前記ノードは、
前記超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素の値を取得する超曲面処理部と、
前記学習モデル装置における順伝播のときは、前記超曲面処理部が取得した値をステップ関数で二値化し、前記学習モデル装置における逆伝播のときは、前記ステップ関数を微分可能な関数で近似する閾値演算部と、
を備える、請求項１または請求項２に記載の学習モデル装置。
前記超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素の値を取得する超曲面処理部と、
前記学習モデル装置における順伝播のときは、前記超曲面処理部が取得した値をステップ関数で二値化し、前記学習モデル装置における逆伝播のときは、前記ステップ関数を微分可能な関数で近似する閾値演算部と、
を備える、請求項１または請求項２に記載の学習モデル装置。
【請求項4】
学習モデルシステムと、学習制御部と、設定部とを備え、
前記学習モデルシステムは、
二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、二値化された出力値を決定するノード
を備え、
前記学習制御部は、前記学習モデルシステムの学習を制御し、
前記設定部は、学習後の前記学習モデルシステムのノードにおける入力値と出力値との関係を示すルックアップテーブルを生成し、生成したルックアップテーブルを演算装置のテンプレートに設定する、
演算装置生産システム。
前記学習モデルシステムは、
二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、二値化された出力値を決定するノード
を備え、
前記学習制御部は、前記学習モデルシステムの学習を制御し、
前記設定部は、学習後の前記学習モデルシステムのノードにおける入力値と出力値との関係を示すルックアップテーブルを生成し、生成したルックアップテーブルを演算装置のテンプレートに設定する、
演算装置生産システム。
【請求項5】
前記演算装置は、Field Programmable Gate Arrayを用いて構成される、
請求項４に記載の演算装置生産システム。
請求項４に記載の演算装置生産システム。
【請求項6】
コンピュータが、
二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、二値化された出力値を決定する
ことを含む演算方法。
二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、二値化された出力値を決定する
ことを含む演算方法。
【請求項7】
二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、出力値を決定するノードを備える学習モデルシステムの学習を行い、
学習後の前記学習モデルシステムのノードにおける入力と出力との関係を示すルックアップテーブルを生成し、
生成したルックアップテーブルを演算装置のテンプレートに設定する
ことを含む演算装置生産方法。
学習後の前記学習モデルシステムのノードにおける入力と出力との関係を示すルックアップテーブルを生成し、
生成したルックアップテーブルを演算装置のテンプレートに設定する
ことを含む演算装置生産方法。
【請求項8】
コンピュータに、
二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、二値化された出力値を決定すること
を実行させるためのプログラム。
二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、二値化された出力値を決定すること
を実行させるためのプログラム。
【請求項9】
コンピュータに、
二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、出力値を決定するノードを備える学習モデルシステムの学習を行うことと、
学習後の前記学習モデルシステムのノードにおける入力と出力との関係を示すルックアップテーブルを生成することと、
生成したルックアップテーブルを演算装置のテンプレートに設定することと、
を実行させるためのプログラム。
二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、出力値を決定するノードを備える学習モデルシステムの学習を行うことと、
学習後の前記学習モデルシステムのノードにおける入力と出力との関係を示すルックアップテーブルを生成することと、
生成したルックアップテーブルを演算装置のテンプレートに設定することと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習モデル装置、演算装置生産システム、演算方法、演算装置生産方法およびプログラムに関する。
【背景技術】
【0002】
複数の二値データの入力を受け、それら複数の二値データの合計と閾値とを比較して二値データの出力値を算出するノードを用いるバイナリニューラルネットワークが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－６１４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
１層のバイナリニューラルネットワークでは、排他的論理和を表現できないなど、入力値に対してとりうる出力値が限定される。バイナリニューラルネットワークの層数を増やせば、より多様な出力値をとり得るが、ネットワーク構造がより複雑になる。また、ニューラルネットワークの層数が増えると、学習精度の低下、および、学習速度の低下が生じる可能性がある。
二値データを用いるノードを備える学習モデルが、ノードの層数を増やす必要なしに、比較的多様な出力値をとり得ることが好ましい。
二値データを用いるノードを備える学習モデルが、ノードの層数を増やす必要なしに、比較的多様な出力値をとり得ることが好ましい。
【0005】
本発明の目的の一例は、二値データを用いるノードを備える学習モデルが、ノードの層数を増やす必要なしに、比較的多様な出力値をとり得るようにすることができる、学習モデル装置、演算装置生産システム、演算方法、演算装置生産方法およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の第１の態様によれば、学習モデル装置は、二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、二値化された出力値を決定するノードを備える。
【0007】
本発明の第２の態様によれば、演算装置生産システムは、学習モデルシステムと、学習制御部と、設定部とを備え、前記学習モデルシステムは、二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、出力値を決定するノードを備え、前記学習制御部は、前記学習モデルシステムの学習を制御し、前記設定部は、学習後の前記学習モデルシステムのノードにおける入力と出力との関係を示すルックアップテーブルを生成し、生成したルックアップテーブルを演算装置のテンプレートに設定する。
【0008】
本発明の第３の態様によれば、演算方法は、コンピュータが、二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、二値化された出力値を決定することを含む。
【0009】
本発明の第４の態様によれば、演算装置生産方法は、二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、出力値を決定するノードを備える学習モデルシステムの学習を行い、学習後の前記学習モデルシステムのノードにおける入力と出力との関係を示すルックアップテーブルを生成し、生成したルックアップテーブルを演算装置のテンプレートに設定することを含む。
【0010】
本発明の第５の態様によれば、プログラムは、コンピュータに、二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、二値化された出力値を決定することを実行させるためのプログラムである。
【0011】
本発明の第６の態様によれば、プログラムは、コンピュータに、二値ベクトルの入力を受け、前記二値ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、前記二値ベクトルを前記実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、前記二値ベクトルによる座標値の要素以外の要素に基づいて、出力値を決定するノードを備える学習モデルシステムの学習を行うことと、学習後の前記学習モデルシステムのノードにおける入力と出力との関係を示すルックアップテーブルを生成することと、
生成したルックアップテーブルを演算装置のテンプレートに設定することと、を実行させるためのプログラムである。
生成したルックアップテーブルを演算装置のテンプレートに設定することと、を実行させるためのプログラムである。
【発明の効果】
【0012】
上記した学習モデル装置、演算装置生産システム、演算方法、演算装置生産方法およびプログラムによれば、二値データを用いるノードを備える学習モデルが、ノードの層数を増やす必要なしに、比較的多様な出力値をとり得るようにすることができる。
【図面の簡単な説明】
【0013】
【図1】実施形態に係る演算装置生産システムの構成の例を示す図である。
【図2】実施形態に係るテーブル型ノードにおけるデータの入出力の例を示す図である。
【図3】実施形態に係る超曲面型ノードの構成の例を示す図である。
【図4】実施形態に係る、B-Spline曲面を用いた超曲面処理部の動作確認に用いた二値演算の第１の例を示す図である。
【図5】動作確認で得られたB-Spline曲面の第１の例を示す図である。
【図6】実施形態に係る、B-Spline曲面を用いた超曲面処理部の動作確認に用いた二値演算の第２の例を示す図である。
【図7】動作確認で得られたB-Spline曲面の第２の例を示す図である。
【図8】実施形態に係る、B-Spline曲面を用いた超曲面処理部の動作確認に用いた二値演算の第３の例を示す図である。
【図9】動作確認で得られたB-Spline曲面の第３の例を示す図である。
【図10】実施形態に係る、B-Spline曲面を用いた超曲面処理部１１１の動作確認に用いた二値演算の第４の例を示す図である。
【図11】動作確認で得られたB-Spline曲面の第４の例を示す図である。
【図12】実施形態に係る演算装置生産システム１が演算装置を生成する処理の手順の例を示すフローチャートである。
【図13】実施形態に係るテーブル型ノードが二値ベクトルを出力する場合の、データの入出力の例を示す図である。
【図14】実施形態に係る超曲面型ノードが二値ベクトルを出力する場合の、データの入出力の例を示す図である。
【図15】実施形態に係る１つの学習モデル装置が１つの超曲面型ノードを備える場合の、学習モデル装置における超曲面型ノードの構成の例を示す図である。
【図16】実施形態に係る１つの学習モデル装置が複数の超曲面型ノードを備える場合の、学習モデル装置における超曲面型ノードの構成の第１の例を示す図である。
【図17】実施形態に係る１つの学習モデル装置が複数の超曲面型ノードを備える場合の、学習モデル装置における超曲面型ノードの構成の第２の例を示す図である。
【図18】実施形態に係る実験に用いた畳み込みニューラルネットワークの構成を示す図である。
【図19】実験結果として得られた認識率を示す図である。
【図20】ＦＰＧＡの構成の例を示す図である。
【図21】実施形態に係る複数のテーブル型ノードに共用でルックアップテーブルが設けられる場合の、演算装置の構成の例を示す図である。
【図22】少なくとも１つの実施形態に係るコンピュータの構成の例を示す概略ブロック図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、実施形態に係る演算装置生産システムの構成の例を示す図である。図１に示す構成で、演算装置生産システム１は、学習モデル装置１００と、学習制御部３００と、設定部４００とを備える。学習モデル装置１００は、超曲面型ノード１１０を備える。
また、図１には、演算装置２００が示されている。演算装置２００は、テーブル型ノード２１０を備える。演算装置２００が、演算装置生産システム１の一部として構成されていてもよいし、演算装置生産システム１の外部の装置として構成されていてもよい。
図１は、実施形態に係る演算装置生産システムの構成の例を示す図である。図１に示す構成で、演算装置生産システム１は、学習モデル装置１００と、学習制御部３００と、設定部４００とを備える。学習モデル装置１００は、超曲面型ノード１１０を備える。
また、図１には、演算装置２００が示されている。演算装置２００は、テーブル型ノード２１０を備える。演算装置２００が、演算装置生産システム１の一部として構成されていてもよいし、演算装置生産システム１の外部の装置として構成されていてもよい。
【0015】
演算装置生産システム１は、二値データを用いるノードを備える学習モデルの学習を行って、学習モデルのノード毎に入力値と出力値との関係を示すルックアップテーブルを取得する。演算装置生産システム１は、取得したルックアップテーブルを演算装置２００のテンプレートのテーブル型ノード２１０に設定することで、演算装置２００を生産する。ここでいう演算装置２００のテンプレートは、ルックアップテーブルが設定されておらず、それ以外の点では演算装置２００と同様のものである。
演算装置生産システム１では、学習モデル装置１００が学習モデルの機能を有し、超曲面型ノード１１０が、二値データを用いるノードに該当する。
演算装置生産システム１では、学習モデル装置１００が学習モデルの機能を有し、超曲面型ノード１１０が、二値データを用いるノードに該当する。
【0016】
ここでいう学習モデルは、パラメータ値を調整可能なパラメータを有し、入力データ値に対して入力データ値およびパラメータ値に応じた出力データ値を出力するものである。学習モデルのパラメータ値を調整することを、学習モデルの学習と称する。学習モデル装置１００の学習モデルの学習を、学習モデル装置１００の学習とも称する。
二値データの演算を二値データ演算とも称する。ここでいう演算は、ルックアップテーブルを参照して出力値を決定することであってもよい。
二値データの演算を二値データ演算とも称する。ここでいう演算は、ルックアップテーブルを参照して出力値を決定することであってもよい。
【0017】
演算装置２００は、テーブル型ノード２１０を用いて二値データ演算を行う。演算装置２００が備えるテーブル型ノード２１０の個数は特定の個数に限定されず、１つ以上のいろいろな個数とすることができる。特に、演算装置２００が、学習モデル装置１００が備える超曲面型ノード１１０の個数と同じ個数のテーブル型ノード２１０を備え、学習モデル装置１００で超曲面型ノード１１０が接続されるネットワーク構造と同じネットワーク構造で、テーブル型ノード２１０が接続されていてもよい。これにより、演算装置生産システム１が学習モデル装置１００の学習にて超曲面型ノード１１０毎に取得するルックアップテーブルを、そのままテーブル型ノード２１０に設定することができる。
【0018】
二値データを扱ういろいろな演算に演算装置２００を用いることができる。例えば、ビット演算、論理演算、または、二値画像処理に演算装置２００を用いることができるが、演算装置２００の用途はこれらに限定されない。
テーブル型ノード２１０は、ルックアップテーブルを参照し、入力される二値ベクトルとルックアップテーブルで対応付けられている出力値を出力する。
テーブル型ノード２１０は、ルックアップテーブルを参照し、入力される二値ベクトルとルックアップテーブルで対応付けられている出力値を出力する。
【0019】
図２は、テーブル型ノード２１０におけるデータの入出力の例を示す図である。図２は、２入力かつ１出力の場合のテーブル型ノード２１０の例を示している。ただし、テーブル型ノード２１０における入力データの個数は特定の個数に限定されず、１つ以上のいろいろな個数とすることができる。また、後述するように、テーブル型ノード２１０における出力データの個数が複数であってもよい。
【0020】
図２の例では、テーブル型ノード２１０は、２つの二値データｘ０およびｘ１の入力を受け、ルックアップテーブルで入力データ値に対応付けられている二値データ値を出力する。２つの二値データｘ０およびｘ１は、二値ベクトルの例に該当する。また、図２の例では、ルックアップテーブルで入力データ値に対応付けられる出力データ値は、入力データ値と同じ行に示されている出力データ値である。
【0021】
テーブル型ノード２１０では、ルックアップテーブルにおいて入力データ値の組み合わせ毎に任意の出力データ値を設定することができる。テーブル型ノード２１０は、この点で、高い表現力を有する。例えば、バイナリニューラルネットワークの１つのノードでは排他的論理和の演算を行うことができないのに対し、１つのテーブル型ノード２１０で排他的論理和の演算を行うことができる。
また、テーブル型ノード２１０では、ルックアップテーブルを参照して入力データ値に対する出力データ値を決定する点で、複雑な演算に相当する入出力の場合でも、比較的短時間で、かつ、比較的小さい消費電力で、データを出力することができる。
また、テーブル型ノード２１０では、ルックアップテーブルを参照して入力データ値に対する出力データ値を決定する点で、複雑な演算に相当する入出力の場合でも、比較的短時間で、かつ、比較的小さい消費電力で、データを出力することができる。
【0022】
一方、テーブル型ノード２１０が用いるルックアップテーブルは離散的な入力値と離散的な出力値との対応関係を表すものであり、このルックアップテーブルを関数として微分することはできない。このため、例えば誤差逆伝播法など関数の微分を用いる学習手法を演算装置２００に適用することはできない。
そこで、演算装置生産システム１は、学習モデル装置１００の学習を行い、学習結果を演算装置２００に反映させる。
そこで、演算装置生産システム１は、学習モデル装置１００の学習を行い、学習結果を演算装置２００に反映させる。
【0023】
学習モデル装置１００は、超曲面型ノード１１０を用いて二値データ演算を行う。学習モデル装置１００が、１つの超曲面型ノード１１０を備えていてもよいし、複数の超曲面型ノード１１０を備えていてもよい。学習モデル装置１００が複数の超曲面型ノード１１０を備える場合、超曲面型ノード１１０間でデータの受け渡しが行われるようになっていてもよい。この場合、学習モデル装置１００におけるデータの入出力の関係は、ニューラルネットワークの場合と同様、有向グラフの形式で表すことができる。
学習モデル装置１００は、学習モデルシステムの例に該当する。
学習モデル装置１００は、学習モデルシステムの例に該当する。
【0024】
図３は、超曲面型ノード１１０の構成の例を示す図である。図３に示す構成で、超曲面型ノード１１０は、超曲面処理部１１１と、閾値演算部１１２とを備える。
また、図３は、２入力かつ１出力の場合の超曲面型ノード１１０の例を示している。ただし、超曲面型ノード１１０における入力データの個数および出力データの個数は、特定の個数に限定されない。例えば、学習モデル装置１００の超曲面型ノード１１０と、演算装置２００のテーブル型ノード２１０とが一対一に対応付けられ、対応付けられる超曲面型ノード１１０とテーブル型ノード２１０とが、同じ個数の入力データの入力を受けて、同じ個数の出力データを出力するようにしてもよい。
また、図３は、２入力かつ１出力の場合の超曲面型ノード１１０の例を示している。ただし、超曲面型ノード１１０における入力データの個数および出力データの個数は、特定の個数に限定されない。例えば、学習モデル装置１００の超曲面型ノード１１０と、演算装置２００のテーブル型ノード２１０とが一対一に対応付けられ、対応付けられる超曲面型ノード１１０とテーブル型ノード２１０とが、同じ個数の入力データの入力を受けて、同じ個数の出力データを出力するようにしてもよい。
【0025】
超曲面型ノード１１０は、学習モデル装置１００が行う二値データ演算、またはその一部に該当する二値データ演算を行う。具体的には、超曲面型ノード１１０は、二値ベクトルによる入力ベクトルの入力を受ける。すなわち、超曲面型ノード１１０は、１つ以上の二値データ値の入力を受ける。そして、超曲面型ノード１１０は、超曲面処理部１１１および閾値演算部１１２にて、入力ベクトルに対する二値データ演算を行って出力値を決定し出力する。
【0026】
超曲面処理部１１１は、入力ベクトルの次元数よりも１次元多い次元数の実数空間における超曲面に含まれる点のうち、入力ベクトルを上記の実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の座標値を検出する。そして、超曲面処理部１１１は、検出した座標値の要素のうち、入力ベクトルによる座標値の要素以外の要素の値を出力する。
【0027】
図３の例の場合、２つの入力データ値ｘ０およびｘ１が入力ベクトルの例に該当する。この場合、入力ベクトルの次元数は２次元である。図３に示されるｘ０ｘ１ｚ座標空間が、入力ベクトルの次元数よりも１次元多い３次元の実数空間の例に該当する。ここでのｚは、超曲面処理部１１１の出力値であり、閾値演算部１１２への入力データ値となる。
【0028】
このように、入力ベクトルの次元数よりも１次元多い次元数の実数空間として、入力ベクトルの各要素値を実数値として扱う場合の要素毎の座標軸である入力座標軸と、超曲面処理部１１１の出力値の座標軸である出力座標軸との組み合わせによる座標空間を用いることができる。
入力ベクトルの次元数よりも１次元多い次元数の実数空間を、入出力実数空間とも称する。
入力ベクトルの次元数よりも１次元多い次元数の実数空間を、入出力実数空間とも称する。
【0029】
また、図３の例で、ｘ０ｘ１ｚ座標空間に示される曲面が、入力ベクトルの次元数よりも１次元多い３次元の実数空間（入出力実数空間）における超曲面の例に該当する。
また、ｘ０座標およびｘ１座標で構成されるｘ０ｘ１座標平面が、ｘ０ｘ１ｚ座標空間の部分空間の例に該当する。二値データ値である入力データ値ｘ０およびｘ１を、いずれも実数データ値として扱うことで、入力ベクトルをｘ０ｘ１座標平面における座標値として扱うことができる。例えば、ｘ０＝１、ｘ１＝０の場合、入力ベクトル（１，０）をｘ０ｘ１座標平面における座標値（１，０）として扱うことができる。
また、ｘ０座標およびｘ１座標で構成されるｘ０ｘ１座標平面が、ｘ０ｘ１ｚ座標空間の部分空間の例に該当する。二値データ値である入力データ値ｘ０およびｘ１を、いずれも実数データ値として扱うことで、入力ベクトルをｘ０ｘ１座標平面における座標値として扱うことができる。例えば、ｘ０＝１、ｘ１＝０の場合、入力ベクトル（１，０）をｘ０ｘ１座標平面における座標値（１，０）として扱うことができる。
【0030】
このように、ｘ０ｘ１座標平面における座標値（１，０）が定まると、ｘ０ｘ１ｚ座標空間に示される曲面に含まれる点のうち、この座標値の各要素ｘ０＝１およびｘ１＝０を含む座標値を有する点が一意に特定される。図３に示される曲面では、ｘ０＝１、ｘ１＝０の場合のｚ座標値はｚ＝０であり、座標値（１，０，０）が特定される。
【0031】
そのために、入出力実数空間における超曲面として、その超曲面に含まれる点のうち、入力ベクトルを入出力実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点が一意に定まるような超曲面を用いる。
そのような超曲面の例として、入力ベクトルがとり得る値の各々を、実数空間の部分空間における座標値として扱った場合のその座標値と、入力ベクトルがとり得る値毎に設定される出力座標値との組み合わせによる座標値の点を制御点とするB-Spline超曲面が挙げられる。
そのような超曲面の例として、入力ベクトルがとり得る値の各々を、実数空間の部分空間における座標値として扱った場合のその座標値と、入力ベクトルがとり得る値毎に設定される出力座標値との組み合わせによる座標値の点を制御点とするB-Spline超曲面が挙げられる。
【0032】
図３の例では、入力データ値ｘ０、ｘ１の何れも０または１の値をとり得る。したがって、入力ベクトルがとり得る値は、（ｘ０，ｘ１）＝（０，０）、（０，１）、（１，０）および（１，１）である。図３の例では、入力ベクトルがとり得る値と出力値との組み合わせによる座標値（ｘ０，ｘ１，ｚ）＝（０，０，０）、（０，１，０）、（１，０，０）および（１，１，１）の各点が制御点に設定されており、白丸（○）で示されている。図３の例では、これらの制御点の値に基づくB-Spline曲面が、ｘ０ｘ１ｚ座標空間における曲面として用いられている。
【0033】
各制御点の座標値の要素のうち出力座標値を、学習パラメータ値として扱うことができる。学習パラメータ値としての出力座標値を変更することで、入力ベクトルがとり得る値に対する超曲面処理部１１１の出力値が変更される。
また、B-Spline超曲面は、入力ベクトルを引数として出力座標値を出力する微分可能な関数で表すことができる。これにより、制御点の座標値に含まれる学習パラメータ値の学習に、誤差逆伝播法など関数の微分を用いる学習手法を適用し得る。
ただし、入出力実数空間における超曲面は、B-Spline超曲面に限定されず、学習パラメータ値に応じて超曲面処理部１１１における入力ベクトルと出力データ値との関係が変化し、かつ、微分可能な関数で示されるいろいろな超曲面とすることができる。
また、B-Spline超曲面は、入力ベクトルを引数として出力座標値を出力する微分可能な関数で表すことができる。これにより、制御点の座標値に含まれる学習パラメータ値の学習に、誤差逆伝播法など関数の微分を用いる学習手法を適用し得る。
ただし、入出力実数空間における超曲面は、B-Spline超曲面に限定されず、学習パラメータ値に応じて超曲面処理部１１１における入力ベクトルと出力データ値との関係が変化し、かつ、微分可能な関数で示されるいろいろな超曲面とすることができる。
【0034】
超曲面処理部１１１は、超曲面に含まれる点の座標値として特定した座標値の要素のうち、入力ベクトルによる要素以外の要素の値を出力する。上記の例の場合、超曲面処理部１１１は、特定した座標値（ｘ０，ｘ１，ｚ）＝（１，０，０）のうち、ｚ座標値「０」を出力する。
なお、超曲面処理部１１１の出力値は実数値であり、二値データにおける二値に相当する値以外の値をとり得る。
なお、超曲面処理部１１１の出力値は実数値であり、二値データにおける二値に相当する値以外の値をとり得る。
【0035】
閾値演算部１１２は、学習モデル装置１００における順伝播のときは、超曲面処理部１１１の出力値をステップ関数で二値化する。例えば、閾値演算部１１２が、超曲面処理部１１１の出力値と閾値とを比較して、比較結果に応じて二値データにおける二値の何れかを出力するようにしてもよい。この場合の閾値は固定値となっていてもよいし、学習パラメータ値として可変になっていてもよい。
学習モデル装置１００における順伝播のときの例として、学習モデル装置１００による二値データ演算実行時が挙げられる。
学習モデル装置１００における順伝播のときの例として、学習モデル装置１００による二値データ演算実行時が挙げられる。
【0036】
一方、閾値演算部１１２は、学習モデル装置１００における逆伝播のときは、ステップ関数を微分可能な関数で近似する。ステップ関数を近似する微分可能な関数の例としてシグモイド関数、および、双曲線正接関数（Hyperbolic Tangent Function）を挙げることができるが、閾値演算部１１２が用いる関数はこれらに限定されない。
【0037】
学習モデル装置１００における逆伝播のときの例として、誤差逆伝播法における学習パラメータの補正量算出時が挙げられる。閾値演算部１１２が、ステップ関数を微分可能な関数で近似することで、誤差逆伝播法など関数の微分を用いる学習手法を学習モデル装置１００の学習に適用することができる。
【0038】
学習時の少なくとも一部の期間の間、閾値演算部１１２が、データの二値化を行わず、超曲面型ノード１１０が実数値のデータを出力するようにしてもよい。例えば、学習開始時から所定の条件が成立するまでの学習の初期の段階では、閾値演算部１１２がデータの二値化を行わず、所定の条件が成立した初期段階終了後は、閾値演算部１１２がデータの二値化を行うようにしてもよい。
これにより、学習が比較的速く進むことが期待され、また、学習結果が局所解に陥る可能性が比較的低いことが期待される。
これにより、学習が比較的速く進むことが期待され、また、学習結果が局所解に陥る可能性が比較的低いことが期待される。
【0039】
図３の例の場合、入出力実数空間における超曲面は、式（１）のように表される。
【0040】
【数1】
【0041】
ここでは、ｘ０およびｘ１は、それぞれ、二値データ値による超曲面型ノード１１０への入力値を実数値として扱う場合の、その実数値をとる実数変数とする。ｚは、超曲面処理部１１１の出力値をとる実数変数とする。超曲面処理部１１１の出力値は、ｘ０ｘ１ｚ座標空間における曲面に含まれる点のうち、超曲面型ノード１１０への入力値をｘ０座標値およびｘ１座標値として扱った場合の、それらの座標値を含むｘ０ｘ１ｚ座標値を有する点の、そのｘ０ｘ１ｚ座標値のうちのｚ座標値である。
【0042】
ｗ０、ｗ１、ｗ２、ｗ３は、それぞれ学習パラメータとして用いられる実数変数である。上記のように、これら学習パラメータの値が、B-Spline曲面の制御点におけるｚ座標値として用いられていてもよい。
ｆは、微分可能な関数である。
超曲面型ノード１１０と閾値演算部１１２とを組み合わせた超曲面型ノード１１０全体による演算は、式（２）のように表される。
ｆは、微分可能な関数である。
超曲面型ノード１１０と閾値演算部１１２とを組み合わせた超曲面型ノード１１０全体による演算は、式（２）のように表される。
【0043】
【数2】
【0044】
ここでは、ｙは、二値データ値による超曲面型ノード１１０の出力値を実数値として扱う場合の、その実数値をとる実数変数とする。
学習モデル装置１００における逆伝播のときは、ｆＲは、微分可能な関数である。
超曲面型ノード１１０の出力値の正解値をｙ＊で表し、超曲面型ノード１１０の出力値ｙとその正解値ｙ＊との誤差Ｅを式（３）のように定義する。
学習モデル装置１００における逆伝播のときは、ｆＲは、微分可能な関数である。
超曲面型ノード１１０の出力値の正解値をｙ＊で表し、超曲面型ノード１１０の出力値ｙとその正解値ｙ＊との誤差Ｅを式（３）のように定義する。
【0045】
【数3】
【0046】
学習係数をαとして、学習パラメータｗ０の補正量Δｗ０は、Δｗ０＝－α（∂Ｅ／∂ｗ０）と算出することができる。式（３）および式（２）を用いてＥの記載を書き換えると、学習パラメータｗ０の補正量Δｗ０は、式（４）を用いて算出することができる。
【0047】
【数4】
【0048】
学習パラメータｗ１、ｗ２、ｗ３についても同様である。
このように、超曲面型ノード１１０によれば、関数の微分を用いる学習手法を用いることができる。
このように、超曲面型ノード１１０によれば、関数の微分を用いる学習手法を用いることができる。
【0049】
学習制御部３００は、学習モデル装置１００の学習を制御する。例えば、学習制御部３００は、データベースなど他の装置から学習データ（Training Data）を取得し、得られた学習データを用いて学習モデル装置１００に学習を行わせる。学習によって、学習モデル装置１００の学習パラメータ値が調整される。
【0050】
設定部４００は、学習後の学習モデル装置１００の超曲面型ノード１１０における入力値と出力値との関係を示すルックアップテーブルを生成し、生成したルックアップテーブルを演算装置２００のテンプレートのテーブル型ノード２１０に設定する。
例えば、設定部４００は、図３の例における学習モデル装置１００について、入力ベクトルがとり得る全ての値（ｘ０，ｘ１）＝（０，０）、（０，１）、（１，０）、（１，１）のそれぞれについて出力値ｙを観測し、図２の例におけるルックアップテーブルを生成する。そして、設定部４００は、生成したルックアップテーブルを、図２の例のように演算装置２００のテンプレートのテーブル型ノード２１０に設定する。
例えば、設定部４００は、図３の例における学習モデル装置１００について、入力ベクトルがとり得る全ての値（ｘ０，ｘ１）＝（０，０）、（０，１）、（１，０）、（１，１）のそれぞれについて出力値ｙを観測し、図２の例におけるルックアップテーブルを生成する。そして、設定部４００は、生成したルックアップテーブルを、図２の例のように演算装置２００のテンプレートのテーブル型ノード２１０に設定する。
【0051】
学習制御部３００と、設定部４００と、学習モデル装置１００とが、別々の装置として構成されていてもよい。この場合、これら各装置がパソコン（Personal Computer）などのコンピュータを用いて構成されていてもよい。あるいは、学習制御部３００、設定部４００、または、学習モデル装置１００の何れか１つ以上が、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field Programmable Gate Array）を用いて構成されるなど、その装置専用のハードウェアを用いて構成されていてもよい。
【0052】
あるいは、学習制御部３００、設定部４００、および、学習モデル装置１００のうち何れか２つ以上が、一体的に構成されていてもよい。例えば、学習制御部３００と、設定部４００と、学習モデル装置１００とが同一の装置に組み込まれていてもよい。この場合も、装置がコンピュータを用いて構成されていてもよいし、その装置専用のハードウェアを用いて構成されていてもよい。
【0053】
演算装置２００についても、コンピュータを用いて構成されていてもよいし、演算装置２００専用のハードウェアを用いて構成されていてもよい。後述するように、演算装置２００は、特にＦＰＧＡへの実装に適した構成となっていると考えられ、演算装置２００が、ＦＰＧＡを用いて構成されていてもよい。
【0054】
また、装置の運用時に追加学習を行う場合など、学習モデル装置１００を運用に用いるようにしてもよい。この場合、演算装置生産システム１が、設定部４００と演算装置２００とを備えていなくてもよい。
【0055】
B-Spline曲面を用いて超曲面処理部１１１による二値演算の学習について動作確認をおこなったところ、良好な結果が得られた。
図４は、B-Spline曲面を用いた超曲面処理部１１１の動作確認に用いた二値演算の第１の例を示す図である。
図４に示すような論理演算の「ＡＮＤ」（論理積）の入出力データを用いて動作確認を行い、図５に示すような曲面を得られた。
図４は、B-Spline曲面を用いた超曲面処理部１１１の動作確認に用いた二値演算の第１の例を示す図である。
図４に示すような論理演算の「ＡＮＤ」（論理積）の入出力データを用いて動作確認を行い、図５に示すような曲面を得られた。
【0056】
図５は、動作確認で得られたB-Spline曲面の第１の例を示す図である。
図５に示す曲面では、ｘ０＝０、ｘ１＝０のときのｚの値は、およそ０になっている。また、ｘ０＝０、ｘ１＝１のときのｚの値は、およそ０になっている。また、ｘ０＝１、ｘ１＝０のときのｚの値は、およそ０になっている。また、ｘ０＝１、ｘ１＝１のときのｚの値は、およそ１になっている。
このように、図４に示す論理回路の「ＡＮＤ」の入出力と同様の入出力を示す曲面を得られた。
図５に示す曲面では、ｘ０＝０、ｘ１＝０のときのｚの値は、およそ０になっている。また、ｘ０＝０、ｘ１＝１のときのｚの値は、およそ０になっている。また、ｘ０＝１、ｘ１＝０のときのｚの値は、およそ０になっている。また、ｘ０＝１、ｘ１＝１のときのｚの値は、およそ１になっている。
このように、図４に示す論理回路の「ＡＮＤ」の入出力と同様の入出力を示す曲面を得られた。
【0057】
図６は、B-Spline曲面を用いた超曲面処理部１１１の動作確認に用いた二値演算の第２の例を示す図である。
図６に示すような論理演算の「ＯＲ」（論理和）の入出力データを用いて動作確認を行い、図７に示すような曲面を得られた。
図６に示すような論理演算の「ＯＲ」（論理和）の入出力データを用いて動作確認を行い、図７に示すような曲面を得られた。
【0058】
図７は、動作確認で得られたB-Spline曲面の第２の例を示す図である。
図７に示す曲面では、ｘ０＝０、ｘ１＝０のときのｚの値は、およそ０になっている。また、ｘ０＝０、ｘ１＝１のときのｚの値は、およそ１になっている。また、ｘ０＝１、ｘ１＝０のときのｚの値は、およそ１になっている。また、ｘ０＝１、ｘ１＝１のときのｚの値は、およそ１になっている。
このように、図６に示す論理回路の「ＯＲ」の入出力と同様の入出力を示す曲面を得られた。
図７に示す曲面では、ｘ０＝０、ｘ１＝０のときのｚの値は、およそ０になっている。また、ｘ０＝０、ｘ１＝１のときのｚの値は、およそ１になっている。また、ｘ０＝１、ｘ１＝０のときのｚの値は、およそ１になっている。また、ｘ０＝１、ｘ１＝１のときのｚの値は、およそ１になっている。
このように、図６に示す論理回路の「ＯＲ」の入出力と同様の入出力を示す曲面を得られた。
【0059】
図８は、B-Spline曲面を用いた超曲面処理部１１１の動作確認に用いた二値演算の第３の例を示す図である。
図８に示すような論理演算の「ＥＸＯＲ」（排他的論理和）の入出力データを用いて動作確認を行い、図９に示すような曲面を得られた。
図８に示すような論理演算の「ＥＸＯＲ」（排他的論理和）の入出力データを用いて動作確認を行い、図９に示すような曲面を得られた。
【0060】
図９は、動作確認で得られたB-Spline曲面の第３の例を示す図である。
図９に示す曲面では、ｘ０＝０、ｘ１＝０のときのｚの値は、およそ０になっている。また、ｘ０＝０、ｘ１＝１のときのｚの値は、およそ１になっている。また、ｘ０＝１、ｘ１＝０のときのｚの値は、およそ１になっている。また、ｘ０＝１、ｘ１＝１のときのｚの値は、およそ０になっている。
このように、図８に示す論理回路の「ＥＸＯＲ」の入出力と同様の入出力を示す曲面を得られた。
図９に示す曲面では、ｘ０＝０、ｘ１＝０のときのｚの値は、およそ０になっている。また、ｘ０＝０、ｘ１＝１のときのｚの値は、およそ１になっている。また、ｘ０＝１、ｘ１＝０のときのｚの値は、およそ１になっている。また、ｘ０＝１、ｘ１＝１のときのｚの値は、およそ０になっている。
このように、図８に示す論理回路の「ＥＸＯＲ」の入出力と同様の入出力を示す曲面を得られた。
【0061】
図１０は、B-Spline曲面を用いた超曲面処理部１１１の動作確認に用いた二値演算の第４の例を示す図である。
図１０に示すような論理演算の「ＮＯＴ ｘ０」（入力信号ｘ０の否定）の入出力データを用いて動作確認を行い、図１１に示すような曲面を得られた。
図１０に示すような論理演算の「ＮＯＴ ｘ０」（入力信号ｘ０の否定）の入出力データを用いて動作確認を行い、図１１に示すような曲面を得られた。
【0062】
図１１は、動作確認で得られたB-Spline曲面の第４の例を示す図である。
図１１に示す曲面では、ｘ０＝０、ｘ１＝０のときのｚの値は、およそ１になっている。また、ｘ０＝０、ｘ１＝１のときのｚの値は、およそ１になっている。また、ｘ０＝１、ｘ１＝０のときのｚの値は、およそ０になっている。また、ｘ０＝１、ｘ１＝１のときのｚの値は、およそ０になっている。
このように、図１０に示す論理回路の「ＮＯＴ ｘ０」の入出力と同様の入出力を示す曲面を得られた。
図１１に示す曲面では、ｘ０＝０、ｘ１＝０のときのｚの値は、およそ１になっている。また、ｘ０＝０、ｘ１＝１のときのｚの値は、およそ１になっている。また、ｘ０＝１、ｘ１＝０のときのｚの値は、およそ０になっている。また、ｘ０＝１、ｘ１＝１のときのｚの値は、およそ０になっている。
このように、図１０に示す論理回路の「ＮＯＴ ｘ０」の入出力と同様の入出力を示す曲面を得られた。
【0063】
図１２は、演算装置生産システム１が演算装置２００を生成する処理の手順の例を示すフローチャートである。
図１２の処理で、学習モデル装置１００は、学習制御部３００の制御に従って学習を行い、学習パラメータ値を調整する（ステップＳ１１）。学習モデル装置１００は、学習制御部３００の制御に従って、超曲面型ノード１１０を含む学習モデル装置１００の学習を行う。特に、複数の超曲面型ノード１１０がネットワークを構成している場合、ニューラルネットワークの学習の場合ように、ネットワーク全体の学習を行う。
上述したように、学習パラメータが、B-Spline超曲面の制御点の座標の要素となっていてもよい。
図１２の処理で、学習モデル装置１００は、学習制御部３００の制御に従って学習を行い、学習パラメータ値を調整する（ステップＳ１１）。学習モデル装置１００は、学習制御部３００の制御に従って、超曲面型ノード１１０を含む学習モデル装置１００の学習を行う。特に、複数の超曲面型ノード１１０がネットワークを構成している場合、ニューラルネットワークの学習の場合ように、ネットワーク全体の学習を行う。
上述したように、学習パラメータが、B-Spline超曲面の制御点の座標の要素となっていてもよい。
【0064】
次に、設定部４００は、学習完了後の超曲面型ノード１１０における入力値と出力値との関係を示すルックアップテーブルを生成し、生成したルックアップテーブルを、演算装置２００のテンプレートのテーブル型ノード２１０に設定する（ステップＳ１２）。
学習モデル装置１００が複数の超曲面型ノード１１０を備える場合、超曲面型ノード１１０とテーブル型ノード２１０とが一対一に対応付けられるように、演算装置２００を構成しておく。具体的には、演算装置２００が備えるテーブル型ノード２１０の個数を、学習モデル装置１００が備える超曲面型ノード１１０の個数と同数にし、テーブル型ノード２１０が、超曲面型ノード１１０が構成するネットワークと同じ構造のネットワークを構成するようにしておく。設定部４００は、超曲面型ノード１１０毎に、その超曲面型ノード１１０における入力値と出力値との関係を示すルックアップテーブルを生成し、その超曲面型ノード１１０と一対一に対応付けられるテーブル型ノード２１０に、生成したルックアップテーブルを設定する。
ステップＳ１２の後、演算装置生産システム１は、図１２の処理を終了する。
学習モデル装置１００が複数の超曲面型ノード１１０を備える場合、超曲面型ノード１１０とテーブル型ノード２１０とが一対一に対応付けられるように、演算装置２００を構成しておく。具体的には、演算装置２００が備えるテーブル型ノード２１０の個数を、学習モデル装置１００が備える超曲面型ノード１１０の個数と同数にし、テーブル型ノード２１０が、超曲面型ノード１１０が構成するネットワークと同じ構造のネットワークを構成するようにしておく。設定部４００は、超曲面型ノード１１０毎に、その超曲面型ノード１１０における入力値と出力値との関係を示すルックアップテーブルを生成し、その超曲面型ノード１１０と一対一に対応付けられるテーブル型ノード２１０に、生成したルックアップテーブルを設定する。
ステップＳ１２の後、演算装置生産システム１は、図１２の処理を終了する。
【0065】
超曲面型ノード１１０およびテーブル型ノード２１０が、それぞれ二値ベクトルを出力するようにしてもよい。すなわち、超曲面型ノード１１０およびテーブル型ノード２１０が、それぞれ複数の二値データを出力するようにしてもよい。
【0066】
図１３は、テーブル型ノード２１０が二値ベクトルを出力する場合の、データの入出力の例を示す図である。
図１３の例で、テーブル型ノード２１０ｂは、Ｎ次元（Ｎは、正の整数）の二値ベクトル（ｘ０，ｘ１，・・・，ｘＮ－１）の入力を受け、Ｍ次元（Ｍは、正の整数）の二値ベクトル（ｙ０，ｙ１，・・・，ｙＭ－１）を出力する。テーブル型ノード２１０ｂは、テーブル型ノード２１０の例に該当する。
図１３の例で、テーブル型ノード２１０ｂは、Ｎ次元（Ｎは、正の整数）の二値ベクトル（ｘ０，ｘ１，・・・，ｘＮ－１）の入力を受け、Ｍ次元（Ｍは、正の整数）の二値ベクトル（ｙ０，ｙ１，・・・，ｙＭ－１）を出力する。テーブル型ノード２１０ｂは、テーブル型ノード２１０の例に該当する。
【0067】
この場合、テーブル型ノード２１０ｂは、入力ベクトルである二値ベクトル（ｘ０，ｘ１，・・・，ｘＮ－１）がとり得る値毎に、出力ベクトルである二値ベクトル（ｙ０，ｙ１，・・・，ｙＭ－１）の値を示すルックアップテーブルを備える。入力ベクトルである二値ベクトル（ｘ０，ｘ１，・・・，ｘＮ－１）がとり得る値は、２Ｎ通りであり、ルックアップテーブルは、２Ｎ行分のデータを示す。
【0068】
図１４は、超曲面型ノード１１０が二値ベクトルを出力する場合の、データの入出力の例を示す図である。
図１４の例で、超曲面型ノード１１０ｂは、テーブル型ノード２１０ｂの場合と同じ二値ベクトル（ｘ０，ｘ１，・・・，ｘＮ－１）の入力を受け、テーブル型ノード２１０ｂの場合と同じ二値ベクトル（ｙ０，ｙ１，・・・，ｙＭ－１）を出力する。
この場合の超曲面は、例えば、式（５）のように表される。
図１４の例で、超曲面型ノード１１０ｂは、テーブル型ノード２１０ｂの場合と同じ二値ベクトル（ｘ０，ｘ１，・・・，ｘＮ－１）の入力を受け、テーブル型ノード２１０ｂの場合と同じ二値ベクトル（ｙ０，ｙ１，・・・，ｙＭ－１）を出力する。
この場合の超曲面は、例えば、式（５）のように表される。
【0069】
【数5】
【0070】
Ｌは、超曲面としてB-Spline超曲面を用いる場合の学習パラメータの個数を表す正の整数である。入力ベクトルがとり得る値毎にB-Spline超曲面の制御点が設けられ、１つの制御点につき１つの学習パラメータが設けられる。このため、Ｌの値は式（６）のように表される。
【0071】
【数6】
【0072】
この場合も、微分可能な関数ｆを得ることができ、関数の微分を用いる学習手法を適用し得る。例えば、式（５）の関数ｆが、Ｎ個の入力変数ｘ０、ｘ１、・・・、ｘＮ－１、および、１つの出力変数ｙｉ（ここでは、ｉは０≦ｉ≦Ｍ－１の整数）の各変数の座標軸を持つＮ＋１次元座標空間におけるＭ個の超曲面で表されていてもよい。
【0073】
あるいは、テーブル型ノード２１０が出力する二値データの個数分だけ、学習モデル装置１００に１出力の超曲面型ノード１１０が設けられていてもよい。図１３に例示されるＮ入力Ｍ出力のテーブル型ノード２１０ｂに対応付けて、学習モデル装置１００に、Ｎ入力１出力の超曲面型ノード１１０がＭ個設けられていてもよい。学習完了後に設定部４００が、これらＭ個の超曲面型ノード１１０における入力値と出力値との関係を、図１３に例示されるようなＮ入力Ｍ出力のルックアップテーブルに纏め、得られたルックアップテーブルをテーブル型ノード２１０ｂに設定するようにしてもよい。
【0074】
学習モデル装置１００における超曲面型ノード１１０の構成について、幾つかのバリエーションが考えられる。
図１５は、１つの学習モデル装置１００が１つの超曲面型ノード１１０を備える場合の、学習モデル装置１００における超曲面型ノード１１０の構成の例を示す図である。図１５に示す構成で、学習モデル装置１００ｃは、１つの超曲面型ノード１１０ｃを備える。
学習モデル装置１００ｃは、学習モデル装置１００の例に該当する。超曲面型ノード１１０ｃは、超曲面型ノード１１０の例に該当する。
図１５は、１つの学習モデル装置１００が１つの超曲面型ノード１１０を備える場合の、学習モデル装置１００における超曲面型ノード１１０の構成の例を示す図である。図１５に示す構成で、学習モデル装置１００ｃは、１つの超曲面型ノード１１０ｃを備える。
学習モデル装置１００ｃは、学習モデル装置１００の例に該当する。超曲面型ノード１１０ｃは、超曲面型ノード１１０の例に該当する。
【0075】
学習モデル装置１００ｃは、４つの二値データｘ０、ｘ１、ｘ２およびｘ３の入力を受けて、３つの二値データｙ０、ｙ１およびｙ２を出力する。これに応じて、超曲面型ノード１１０ｃは、４つの二値データｘ０、ｘ１、ｘ２およびｘ３の入力を受けて、３つの二値データｙ０、ｙ１およびｙ２を出力する。
【0076】
このように、学習モデル装置１００が１つの超曲面型ノード１１０を備えるようにしてもよい。そして、超曲面型ノード１１０が、学習モデル装置１００への入力データの入力を受けて、学習モデル装置１００の出力データを出力するようにしてもよい。
この学習モデル装置１００に対応する演算装置２００も、この学習モデル装置１００と同様の構成とすることができる。具体的には、演算装置２００が、１つのテーブル型ノード２１０を備えるようにしてもよい。そして、テーブル型ノード２１０が、演算装置２００への入力データの入力を受けて、演算装置２００の出力データを出力するようにしてもよい。
この学習モデル装置１００に対応する演算装置２００も、この学習モデル装置１００と同様の構成とすることができる。具体的には、演算装置２００が、１つのテーブル型ノード２１０を備えるようにしてもよい。そして、テーブル型ノード２１０が、演算装置２００への入力データの入力を受けて、演算装置２００の出力データを出力するようにしてもよい。
【0077】
あるいは、上述したように、学習モデル装置１００が出力データの個数の超曲面型ノード１１０を備えるようにしてもよい。そして、学習完了後に、設定部４００が、複数の超曲面型ノード１１０における入力値と出力値との関係を、１つのルックアップテーブルに纏め、得られたルックアップテーブルを１つのテーブル型ノード２１０に設定するようにしてもよい。
【0078】
例えば、図１５の例で、学習モデル装置１００が、１つの超曲面型ノード１１０ｃに変えて、３つの超曲面型ノード１１０を備えるようにしてもよい。この場合、３つの超曲面型ノード１１０のそれぞれに、４つの二値データｘ０、ｘ１、ｘ２およびｘ３を入力する。出力データについては、超曲面型ノード１１０毎に異なる二値データを１つずつ出力するようにする。具体的には、１つ目の超曲面型ノード１１０が二値データｙ０を出力し、２つ目の超曲面型ノード１１０が二値データｙ１を出力し、３つ目の超曲面型ノード１１０が二値データｙ３を出力するようにする。
学習完了後に、設定部４００が、３つの超曲面型ノード１１０における入力値と出力値との関係を、１つのルックアップテーブルに纏め、得られたルックアップテーブルを１つのテーブル型ノード２１０に設定するようにしてもよい。
学習完了後に、設定部４００が、３つの超曲面型ノード１１０における入力値と出力値との関係を、１つのルックアップテーブルに纏め、得られたルックアップテーブルを１つのテーブル型ノード２１０に設定するようにしてもよい。
【0079】
図１６は、１つの学習モデル装置１００が複数の超曲面型ノード１１０を備える場合の、学習モデル装置１００における超曲面型ノード１１０の構成の第１の例を示す図である。図１６に示す構成で、学習モデル装置１００ｄは、超曲面型ノード１１０ｄ－１、超曲面型ノード１１０ｄ－２、超曲面型ノード１１０ｄ－３、および、超曲面型ノード１１０ｄ－４を備える。
学習モデル装置１００ｄは、学習モデル装置１００の例に該当する。超曲面型ノード１１０ｄ－１、超曲面型ノード１１０ｄ－２、超曲面型ノード１１０ｄ－３、および、超曲面型ノード１１０ｄ－４は、それぞれ、超曲面型ノード１１０の例に該当する。
学習モデル装置１００ｄは、学習モデル装置１００の例に該当する。超曲面型ノード１１０ｄ－１、超曲面型ノード１１０ｄ－２、超曲面型ノード１１０ｄ－３、および、超曲面型ノード１１０ｄ－４は、それぞれ、超曲面型ノード１１０の例に該当する。
【0080】
図１６は、超曲面型ノード１１０が構成するネットワークの構造が固定の場合の例を示している。例えば、学習モデル装置１００の設計者など人が、ネットワークの構造を予め決定し、学習モデル装置１００に実装しておく。
このように、１つの学習モデル装置１００が複数の超曲面型ノード１１０を備え、これら複数の超曲面型ノード１１０がネットワークを構成していてもよい。この場合のネットワークの構造は、ニューラルネットワークの場合と同様、いろいろな構造とすることができる。
このように、１つの学習モデル装置１００が複数の超曲面型ノード１１０を備え、これら複数の超曲面型ノード１１０がネットワークを構成していてもよい。この場合のネットワークの構造は、ニューラルネットワークの場合と同様、いろいろな構造とすることができる。
【0081】
この学習モデル装置１００に対応する演算装置２００も、この学習モデル装置１００と同様の構成とすることができる。具体的には、演算装置２００が、学習モデル装置１００が備える超曲面型ノード１１０の個数と同じ個数のテーブル型ノード２１０を備えるようにする。そして、テーブル型ノード２１０が、超曲面型ノード１１０が構成するネットワークと同じ構造のネットワークを構成するようにする。
【0082】
図１７は、１つの学習モデル装置１００が複数の超曲面型ノード１１０を備える場合の、学習モデル装置１００における超曲面型ノード１１０の構成の第２の例を示す図である。図１７に示す構成で、学習モデル装置１００ｅは、超曲面型ノード１１０ｅ－１から超曲面型ノード１１０ｅ－１２を備える。
学習モデル装置１００ｅは、学習モデル装置１００の例に該当する。超曲面型ノード１１０ｅ－１から超曲面型ノード１１０ｅ－１２の各々は、超曲面型ノード１１０の例に該当する。
学習モデル装置１００ｅは、学習モデル装置１００の例に該当する。超曲面型ノード１１０ｅ－１から超曲面型ノード１１０ｅ－１２の各々は、超曲面型ノード１１０の例に該当する。
【0083】
図１７は、超曲面型ノード１１０が構成するネットワークの構造が学習時に可変である場合の例を示している。この場合、ネットワークの構造を機械学習で決定するようにしてもよい。ネットワークの構造の学習手法について、例えば、遺伝的プログラミングの手法を用いるようにしてもよい。
【0084】
さらに例えば、学習制御部３００が、遺伝的プログラミングの一種であるCartesian genetic programming (CGP)の手法を用いてネットワーク構造を探索する場合について考える。この場合、学習制御部３００は、超曲面型ノード１１０が構成するネットワークの構造を、あるネットワーク構造に仮設定する。仮設定されるネットワーク構造は、ネットワーク構造の候補といえる。
【0085】
そして、学習制御部３００は、仮設定したネットワーク構造の評価値を計算する。具体的には、学習制御部３００は、仮設定による超曲面型ノード１１０のネットワークの学習を行い、学習結果の評価スコア（例えば、認識率）を算出して、仮設定したネットワーク構造の評価値とする。
【0086】
学習制御部３００は、仮設定するネットワーク構造を変化させ、そのネットワーク構造の評価値を算出することを、ネットワーク構造の学習の終了条件として予め定められている条件が成立するまで繰り返す。
ネットワーク構造を変化させる際、学習制御部３００は、ネットワーク構造を変化させる度合いを、評価値に基づいて決定することができる。例えば、評価値が所定の評価閾値以上によい評価を示す場合、学習制御部３００が、ネットワーク構造における１つのエッジ（Edge）のみ変化させるなど、ネットワーク構造の変化の度合いを比較的小さくするようにしてもよい。一方、例えば、評価値が所定の評価閾値未満の低い評価を示す場合、学習制御部３００が、ネットワーク構造における１０個のエッジを変化させるなど、ネットワーク構造の変化の度合いを比較的大きくするようにしてもよい。
ただし、超曲面型ノード１１０が構成するネットワークの構造の学習手法は、特定の方法に限定されない。
ネットワーク構造を変化させる際、学習制御部３００は、ネットワーク構造を変化させる度合いを、評価値に基づいて決定することができる。例えば、評価値が所定の評価閾値以上によい評価を示す場合、学習制御部３００が、ネットワーク構造における１つのエッジ（Edge）のみ変化させるなど、ネットワーク構造の変化の度合いを比較的小さくするようにしてもよい。一方、例えば、評価値が所定の評価閾値未満の低い評価を示す場合、学習制御部３００が、ネットワーク構造における１０個のエッジを変化させるなど、ネットワーク構造の変化の度合いを比較的大きくするようにしてもよい。
ただし、超曲面型ノード１１０が構成するネットワークの構造の学習手法は、特定の方法に限定されない。
【0087】
畳み込みニューラルネットワークにB-Spline超曲面を用いた学習の手法を適用して文字認識の実験を行ったところ、良好な結果が得られた。
図１８は、実験に用いた畳み込みニューラルネットワークの構成を示す図である。図１８に示すように、実験では、第１畳み込み層と、プーリング層と、第２畳み込み層とを備え、ソフトマックス関数を用いてクラスを選択する畳み込みニューラルネットワークを用いた。
図１８は、実験に用いた畳み込みニューラルネットワークの構成を示す図である。図１８に示すように、実験では、第１畳み込み層と、プーリング層と、第２畳み込み層とを備え、ソフトマックス関数を用いてクラスを選択する畳み込みニューラルネットワークを用いた。
【0088】
学習データとして、ＭＮＩＳＴ（Modified National Institute of Standards and Technology）で示される手書きの数字の画像を、８ピクセル×８ピクセルに縮小し二値化した画像のデータセットを用いた。
第１畳み込み層では、８ピクセル×８ピクセルの入力画像データに対し、３ピクセル×３ピクセルの部分画像毎に畳み込み演算を行い、パディングは無し（Zero Padding）として、６ピクセル×６ピクセルの画像データを生成する。
第１畳み込み層は、１つの画像データの入力を受けて１０個の画像データを出力する。これら１０個の画像データは、「０」から「９」の１０個のクラスそれぞれについての特徴量として扱われる。
このように、第１畳み込み層は、３ピクセル×３ピクセルの画像パッチを用いた畳み込みによる９次元のデータの入力を受けて、１０次元のデータ（１０チャンネルのデータ）を出力する。
第１畳み込み層では、８ピクセル×８ピクセルの入力画像データに対し、３ピクセル×３ピクセルの部分画像毎に畳み込み演算を行い、パディングは無し（Zero Padding）として、６ピクセル×６ピクセルの画像データを生成する。
第１畳み込み層は、１つの画像データの入力を受けて１０個の画像データを出力する。これら１０個の画像データは、「０」から「９」の１０個のクラスそれぞれについての特徴量として扱われる。
このように、第１畳み込み層は、３ピクセル×３ピクセルの画像パッチを用いた畳み込みによる９次元のデータの入力を受けて、１０次元のデータ（１０チャンネルのデータ）を出力する。
【0089】
なお、実験では、従来側の畳み込みニューラルネットワークを用いる場合と、B-Spline超曲面を用いて、かつ、ノードの出力データを二値化せずに実数データとする場合と、B-Spline超曲面を用いて、かつ、ノードの出力データを二値化する場合とを比較した。
従来側の畳み込みニューラルネットワークでは、活性化関数としてＲｅＬＵ（Rectified Linear Unit、正規化線形関数）を用いて、ノードの出力データは実数データとした。
従来側の畳み込みニューラルネットワークでは、活性化関数としてＲｅＬＵ（Rectified Linear Unit、正規化線形関数）を用いて、ノードの出力データは実数データとした。
【0090】
一方、B-Spline超曲面を用いる場合は、B-Spline超曲面（B-Spline関数）が、活性化関数の意味合いを含むといえる。一般的なニューラルネットワークではノード毎に、線形処理と活性化関数による処理とが行われるのに対し、超曲面型ノード１１０によれば、これら２つの処理の組み合わせに相当する処理を、B-Spline超曲面を用いた処理で行うことができる。
【0091】
出力データを二値化する場合については、超曲面型ノード１１０における閾値演算部１１２の場合と同様、B-Spline超曲面を用いて得られる値を二値化した。
なお、B-Spline超曲面を用いて、かつ、ノードの出力データを二値化する場合の畳み込みニューラルネットワークで、二値化されたデータを実数データの形式で出力している。このデータを１ビットデータで出力するようにしても、同等の認識率を得られると考えられる。
なお、B-Spline超曲面を用いて、かつ、ノードの出力データを二値化する場合の畳み込みニューラルネットワークで、二値化されたデータを実数データの形式で出力している。このデータを１ビットデータで出力するようにしても、同等の認識率を得られると考えられる。
【0092】
プーリング層では、最大プーリング（Max Pooling）にて、６ピクセル×６ピクセルの画像データを３ピクセル×３ピクセルの画像データに縮小する。
プーリング層は、１０個の画像データの入力を受けて１０個の画像データを出力する。
プーリング層は、１０個の画像データの入力を受けて１０個の画像データを出力する。
【0093】
第２畳み込み層では、３ピクセル×３ピクセルの画像データに対して、３ピクセル×３ピクセル単位でDepthwise畳み込みを行い、パディングは無しとして、１ピクセル×１ピクセルの画像データを出力する。
第２畳み込み層での、従来側の畳み込みニューラルネットワークに用いる活性化関数、および、B-Spline超曲面を用いるノードにおける次元数は、第１畳み込み層の場合と同様とした。
第２畳み込み層での、従来側の畳み込みニューラルネットワークに用いる活性化関数、および、B-Spline超曲面を用いるノードにおける次元数は、第１畳み込み層の場合と同様とした。
【0094】
第２畳み込み層は、１０個の画像データの入力を受けて１０個の画像データを出力する。したがって、第２畳み込み層は、「０」から「９」の１０個のクラスそれぞれについて、スカラのスコアを出力する。
ソフトマックス関数が、「０」から「９」の１０個のクラスのうちスコアが最大のクラスを選択することで、クラス推定が行われる。
ソフトマックス関数が、「０」から「９」の１０個のクラスのうちスコアが最大のクラスを選択することで、クラス推定が行われる。
【0095】
図１９は、実験結果として得られた認識率を示す図である。
図１９に示す実験結果で、B-Spline超曲面を用いて、かつ、ノードの出力データを二値化せずに実数データとする場合、および、B-Spline超曲面を用いて、かつ、ノードの出力データを二値化する場合の何れも、従来側の畳み込みニューラルネットワークを用いる場合よりも高い認識率が得られた。
図１９に示す実験結果で、B-Spline超曲面を用いて、かつ、ノードの出力データを二値化せずに実数データとする場合、および、B-Spline超曲面を用いて、かつ、ノードの出力データを二値化する場合の何れも、従来側の畳み込みニューラルネットワークを用いる場合よりも高い認識率が得られた。
【0096】
設定部４００が、演算装置２００をＦＰＧＡに実装するようにしてもよい。
図２０は、ＦＰＧＡの構成の例を示す図である。図２０に示す構成で、ＦＰＧＡは、コンフィギャラブルロジックブロック（Configurable Logic Block；ＣＬＢ）と、スイッチングブロック（Switching Block）とを備えるコンフィギャラブルロジックブロックは、ベーシックロジックエレメント（Basic Logic Element）を備える。ベーシックロジックエレメントは、ＬＵＴ(Lookup Table)と、フリップフロップ（Flip Flop；ＦＦ）と、マルチプレクサ（Multiplexer；ＭＵＸ）とを備える。
図２０は、ＦＰＧＡの構成の例を示す図である。図２０に示す構成で、ＦＰＧＡは、コンフィギャラブルロジックブロック（Configurable Logic Block；ＣＬＢ）と、スイッチングブロック（Switching Block）とを備えるコンフィギャラブルロジックブロックは、ベーシックロジックエレメント（Basic Logic Element）を備える。ベーシックロジックエレメントは、ＬＵＴ(Lookup Table)と、フリップフロップ（Flip Flop；ＦＦ）と、マルチプレクサ（Multiplexer；ＭＵＸ）とを備える。
【0097】
ベーシックロジックエレメントでは、ルックアップテーブルが、入力データ（I/P's）の入力を受けて入力データの値に応じた値のデータをフリップフロップおよびマルチプレクサに出力する。
フリップフロップは、クロック信号（CLK）が入力されるタイミングで、ルックアップテーブルからのデータ値を記憶する。リセット信号（RST）が入力された場合、フリップフロップは、記憶しているデータをリセットする。フリップフロップは、記憶しているデータをマルチプレクサに出力する。
フリップフロップは、クロック信号（CLK）が入力されるタイミングで、ルックアップテーブルからのデータ値を記憶する。リセット信号（RST）が入力された場合、フリップフロップは、記憶しているデータをリセットする。フリップフロップは、記憶しているデータをマルチプレクサに出力する。
【0098】
マルチプレクサは、ルックアップテーブルからのデータ、および、フリップフロップからのデータの入力を受けて、１つの出力データ（O/P）を出力する。例えば、マルチプレクサは、制御信号の入力を受けて、ルックアップテーブルからのデータ、または、フリップフロップからのデータの何れか一方を出力する。
スイッチングブロックは、コンフィギャラブルロジックブロック間のデータ線の接続の有無（On/Off）を切り替える。
スイッチングブロックは、コンフィギャラブルロジックブロック間のデータ線の接続の有無（On/Off）を切り替える。
【0099】
演算装置２００をＦＰＧＡに実装する場合、設定部４００が、超曲面型ノード１１０における入力値と出力値との関係に基づいて生成したルックアップテーブルを、ベーシックロジックエレメントのルックアップテーブルに設定するようにしてもよい。この場合、マルチプレクサがルックアップテーブルからのデータを出力するようにすることで、ベーシックロジックエレメントに、超曲面型ノード１１０が行う演算と同様の演算を行わせることができる。
【0100】
図１７の例のように、学習モデル装置１００が、超曲面型ノード１１０が構成するネットワークの構造を学習によって決定する場合、設定部４００が、スイッチングブロックの設定を調整することで、超曲面型ノード１１０が構成するネットワークと同様の構造のネットワークをＦＰＧＡに実装するようにしてもよい。
【0101】
複数のテーブル型ノード２１０に共用でルックアップテーブルが設けられていてもよい。
図２１は、複数のテーブル型ノード２１０に共用でルックアップテーブルが設けられる場合の、演算装置２００の構成の例を示す図である。図２１に示す構成で、演算装置２００ｆは、テーブル型ノード２１０ｆ－１からテーブル型ノード２１０ｆ－４と、テーブル記憶部２２０ｆ－１およびテーブル記憶部２２０ｆ－２とを備える。
図２１は、複数のテーブル型ノード２１０に共用でルックアップテーブルが設けられる場合の、演算装置２００の構成の例を示す図である。図２１に示す構成で、演算装置２００ｆは、テーブル型ノード２１０ｆ－１からテーブル型ノード２１０ｆ－４と、テーブル記憶部２２０ｆ－１およびテーブル記憶部２２０ｆ－２とを備える。
【0102】
テーブル型ノード２１０ｆ－１からテーブル型ノード２１０ｆ－４を総称してテーブル型ノード２１０ｆとも表記する。テーブル記憶部２２０ｆ－１およびテーブル記憶部２２０ｆ－２を総称してテーブル記憶部２２０ｆとも表記する。
演算装置２００ｆは、演算装置２００の例に該当する。テーブル型ノード２１０ｆは、テーブル型ノード２１０の変形例に該当する。テーブル型ノード２１０ｆとテーブル記憶部２２０ｆとの組み合わせは、テーブル型ノード２１０の例に該当する。
テーブル記憶部２２０ｆは、ルックアップテーブルを記憶する。
演算装置２００ｆは、演算装置２００の例に該当する。テーブル型ノード２１０ｆは、テーブル型ノード２１０の変形例に該当する。テーブル型ノード２１０ｆとテーブル記憶部２２０ｆとの組み合わせは、テーブル型ノード２１０の例に該当する。
テーブル記憶部２２０ｆは、ルックアップテーブルを記憶する。
【0103】
テーブル型ノード２１０ｆの各々は、テーブル型ノード２１０ｆ自らはルックアップテーブルを備えず、テーブル記憶部２２０が記憶するルックアップテーブルを参照する。それ以外の点では、テーブル型ノード２１０ｆはテーブル型ノード２１０と同様である。
テーブル記憶部２２０ｆ－１が記憶するルックアップテーブルは、テーブル型ノード２１０ｆ－１とテーブル型ノード２１０ｆ－２とが共用で参照するルックアップテーブルとなっている。テーブル記憶部２２０ｆ－２が記憶するルックアップテーブルは、テーブル型ノード２１０ｆ－３とテーブル型ノード２１０ｆ－４とが共用で参照するルックアップテーブルとなっている。
テーブル記憶部２２０ｆ－１が記憶するルックアップテーブルは、テーブル型ノード２１０ｆ－１とテーブル型ノード２１０ｆ－２とが共用で参照するルックアップテーブルとなっている。テーブル記憶部２２０ｆ－２が記憶するルックアップテーブルは、テーブル型ノード２１０ｆ－３とテーブル型ノード２１０ｆ－４とが共用で参照するルックアップテーブルとなっている。
【0104】
学習モデル装置１００の学習が完了し、設定部４００が、超曲面型ノード１１０毎にルックアップテーブルを生成した際に、「似ているルックアップテーブル」を１つのルックアップテーブルに纏め、纏められた１つのルックアップテーブルをテーブル記憶部２２０ｆに記憶させるようにしてもよい。そして、纏められる前のルックアップテーブルを参照することになっていた超曲面型ノード１１０が、纏められたルックアップテーブルを共用で参照するように、設定部４００が、各超曲面型ノード１１０のルックアップテーブルの参照先を設定するようにしてもよい。
【0105】
「似ているルックアップテーブル」の判定条件として、例えば、ルックアップテーブルで「共通する行」のうち所定の閾値の割合以上（例えば、９０％以上）の行で出力値が同じである、といった条件を用いるようにしてもよい。
テーブル型ノード２１０への入力データと、ルックアップテーブルに示される入力データとの対応関係をテーブル型ノード２１０毎に設定可能な場合、「共通する行」の設定方法が複数通りあり、この点でルックアップテーブルを共用化できる可能性が高くなる。
テーブル型ノード２１０への入力データと、ルックアップテーブルに示される入力データとの対応関係をテーブル型ノード２１０毎に設定可能な場合、「共通する行」の設定方法が複数通りあり、この点でルックアップテーブルを共用化できる可能性が高くなる。
【0106】
図２１の例で、テーブル型ノード２１０ｆ－１への入力データは（ｘ１，ｘ２）であり、テーブル型ノード２１０ｆ－２への入力データは（ｘ０，ｘ１）である。また、テーブル記憶部２２０ｆ－１が記憶するルックアップテーブルにおける入力データが（Ｉ０，Ｉ１）であるものとする。また、テーブル型ノード２１０ｆ－１が、ｘ１をＩ０に対応付け、ｘ２をＩ１に対応付けてルックアップテーブルを参照するように、ルックアップテーブルにおける出力値が設定されるものとする。
【0107】
テーブル型ノード２１０ｆ－２が、ｘ０をＩ０に対応付け、ｘ１をＩ１に対応付けるようにしてもよいし、あるいは、ｘ１をＩ０に対応付け、ｘ０をＩ１に対応付けるようにしてもよい。これら２通りの対応付けのうち少なくとも何れか一方の対応付けで判定条件が満たされれば、テーブル型ノード２１０ｆ－１が参照するルックアップテーブルと、テーブル型ノード２１０ｆ－２が参照するルックアップテーブルとを共用化することができる。
【0108】
テーブル型ノード２１０ｆへの入力データの個数が、ルックアップテーブルに示される入力データの個数よりも少ない場合、「共通する行」の設定方法の場合の数がさらに増え、ルックアップテーブルを共用化できる可能性がさらに高くなる。
例えば、テーブル型ノード２１０ｆ－１の出力データをｖ１と表記すると、テーブル型ノード２１０ｆ－３の入力データは、（ｘ０，ｖ１）の２つである。また、テーブル型ノード２１０ｆ－４の入力データは、（ｙ０，ｘ２，ｘ３）の３つである。
なお、ここでは、「入力データの個数」は、入力ベクトルの個数ではなく、個々の二値データの個数（したがって、入力ベクトルの要素数）を指すものとする。
例えば、テーブル型ノード２１０ｆ－１の出力データをｖ１と表記すると、テーブル型ノード２１０ｆ－３の入力データは、（ｘ０，ｖ１）の２つである。また、テーブル型ノード２１０ｆ－４の入力データは、（ｙ０，ｘ２，ｘ３）の３つである。
なお、ここでは、「入力データの個数」は、入力ベクトルの個数ではなく、個々の二値データの個数（したがって、入力ベクトルの要素数）を指すものとする。
【0109】
また、テーブル記憶部２２０ｆ－２が記憶するルックアップテーブルにおける入力データが（Ｉ２，Ｉ３，Ｉ４）の３つであるものとする。また、テーブル型ノード２１０ｆ－４が、ｙ０をＩ２に対応付け、ｘ２をＩ３に対応付け、ｘ３をＩ４に対応付けてルックアップテーブルを参照するように、ルックアップテーブルにおける出力値が設定されるものとする。
【0110】
テーブル型ノード２１０ｆ－３が入力データ（ｘ０，ｖ１）をルックアップテーブルにおける入力データ（Ｉ２，Ｉ３，Ｉ４）に対応付ける方法は、（ｘ０，ｖ１）＝（Ｉ２，Ｉ３）、（Ｉ２，Ｉ４）、（Ｉ３，Ｉ２）、（Ｉ３，Ｉ４）、（Ｉ４，Ｉ２）、（Ｉ４，Ｉ３）の６通りある。これら６通りの対応付けのうち少なくとも何れか１通りの対応付けで判定条件が満たされれば、テーブル型ノード２１０ｆ－３が参照するルックアップテーブルと、テーブル型ノード２１０ｆ－４が参照するルックアップテーブルとを共用化することができる。
【0111】
また、複数のテーブル型ノード２１０ｆが参照するルックアップテーブルを共用化する場合、共用化されるルックアップテーブルに、図１３の例のように出力値の列を複数設け、テーブル型ノード２１０ｆ毎の出力値を記載するようにしてもよい。
例えば、３つの１出力のテーブル型ノード２１０ｆを共用化する場合、ルックアップテーブルに出力値の列を３列設け、各テーブル型ノード２１０ｆの出力値を記載するようにしてもよい。
この場合、テーブル型ノード２１０ｆがルックアップテーブルを参照する際の検索キーとして用いられる入力データの記載を共用化することができ、この点で、ルックアップテーブルの記憶に必要なメモリ容量を削減することができる。
例えば、３つの１出力のテーブル型ノード２１０ｆを共用化する場合、ルックアップテーブルに出力値の列を３列設け、各テーブル型ノード２１０ｆの出力値を記載するようにしてもよい。
この場合、テーブル型ノード２１０ｆがルックアップテーブルを参照する際の検索キーとして用いられる入力データの記載を共用化することができ、この点で、ルックアップテーブルの記憶に必要なメモリ容量を削減することができる。
【0112】
以上のように、超曲面型ノード１１０は、二値ベクトルの入力を受け、入力された二値ベクトルの次元数よりも１次元多い次元数の実数空間である入出力実数空間における超曲面に含まれる点のうち、入力された二値ベクトルを入出力実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の座標値の要素のうち、入力された二値ベクトルによる座標値の要素以外の要素に基づいて、二値化された出力値を決定する。
【0113】
超曲面型ノード１１０によれば、超曲面で入力値と出力値との関係を表すことで、真理値表と同等の表現力を得られる。学習モデル装置１００によれば、この点で、二値データを用いる超曲面型ノード１１０を備える学習モデルが、超曲面型ノード１１０の層数を増やす必要なしに、比較的多様な出力値をとり得るようにすることができる。
【0114】
また、超曲面型ノード１１０に設けられる超曲面は、超曲面型ノード１１０に入力される二値ベクトルがとり得る値の各々を、入出力実数空間の部分空間における座標値として扱った場合のその座標値と、学習パラメータ値との組み合わせによる、入出力実数空間における座標値の点を制御点とするB-Spline超曲面である。
【0115】
超曲面型ノード１１０によれば、このようにB-Spline超曲面を用いることで微分可能な関数を得られ、誤差逆伝播法など関数の微分を用いる学習手法を適用することができる。
また、超曲面型ノード１１０への入力データ値をB-Spline超曲面の制御点として用いることで、制御点の出力座標値が入力データ値に対する出力データ値を示すようなる。超曲面型ノード１１０によれば、この点で、入力データ値と出力データ値との関係を比較的容易に把握することができる。
また、超曲面型ノード１１０への入力データ値をB-Spline超曲面の制御点として用いることで、制御点の出力座標値が入力データ値に対する出力データ値を示すようなる。超曲面型ノード１１０によれば、この点で、入力データ値と出力データ値との関係を比較的容易に把握することができる。
【0116】
また、超曲面処理部１１１は、超曲面に含まれる点のうち、超曲面型ノード１１０に入力される二値ベクトルを入出力実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の前記座標値の要素のうち、超曲面型ノード１１０に入力される二値ベクトルによる座標値の要素以外の要素の値を取得する。
閾値演算部１１２は、学習モデル装置１００における順伝播のときは、超曲面処理部１１１が取得した値をステップ関数で二値化し、超曲面処理部１１１における逆伝播のときは、ステップ関数を微分可能な関数で近似する。
閾値演算部１１２は、学習モデル装置１００における順伝播のときは、超曲面処理部１１１が取得した値をステップ関数で二値化し、超曲面処理部１１１における逆伝播のときは、ステップ関数を微分可能な関数で近似する。
【0117】
このように、閾値演算部１１２が、閾値関数を切り替えることで、順伝播のときは超曲面型ノード１１０が二値データを出力するようにし、かつ、誤差逆伝播法など関数の微分を用いる学習手法を適用することができる。
【0118】
また、学習モデル装置１００は、二値ベクトルの入力を受け、入力された二値ベクトルの次元数よりも１次元多い次元数の実数空間である入出力実数空間における超曲面に含まれる点のうち、入力された二値ベクトルを入出力実数空間の部分空間における座標値として扱った場合のその座標値の各要素を含む座標値を有する点の座標値の要素のうち、入力された二値ベクトルによる座標値の要素以外の要素に基づいて、二値化された出力値を決定する。
学習制御部３００は、学習モデル装置１００の学習を制御する。
設定部４００は、学習後の学習モデル装置１００のノードにおける入力値と出力値との関係を示すルックアップテーブルを生成し、生成したルックアップテーブルを演算装置２００のテンプレートに設定する。
学習制御部３００は、学習モデル装置１００の学習を制御する。
設定部４００は、学習後の学習モデル装置１００のノードにおける入力値と出力値との関係を示すルックアップテーブルを生成し、生成したルックアップテーブルを演算装置２００のテンプレートに設定する。
【0119】
演算装置生産システム１によれば、超曲面で超曲面処理部１１１における入力値と出力値との関係を表すことで、真理値表と同等の表現力を得られる。演算装置生産システム１によれば、この点で、二値データを用いる超曲面型ノード１１０を備える学習モデルが、超曲面型ノード１１０の層数を増やす必要なしに、比較的多様な出力値をとり得るようにすることができる。
また、演算装置生産システム１によれば、学習で得られたルックアップテーブルを演算装置２００のテンプレートに設定して演算装置２００を生産することで、演算装置２００は、ルックアップテーブルを参照して二値演算を行うことができる。演算装置生産システム１によれば、テーブル型ノード２１０は、ルックアップテーブルを参照して入力データ値に対する出力データ値を決定する点で、複雑な演算に相当する入出力の場合でも、比較的短時間で、かつ、比較的小さい消費電力で、データを出力することができる。
また、演算装置生産システム１によれば、学習で得られたルックアップテーブルを演算装置２００のテンプレートに設定して演算装置２００を生産することで、演算装置２００は、ルックアップテーブルを参照して二値演算を行うことができる。演算装置生産システム１によれば、テーブル型ノード２１０は、ルックアップテーブルを参照して入力データ値に対する出力データ値を決定する点で、複雑な演算に相当する入出力の場合でも、比較的短時間で、かつ、比較的小さい消費電力で、データを出力することができる。
【0120】
また、演算装置２００は、Field Programmable Gate Arrayを用いて構成される。
演算装置生産システム１によれば、既存のＦＧＰＡを演算装置２００のテンプレートとして用いることができ、演算装置２００のテンプレートを別途生成する必要がない。このように、演算装置生産システム１によれば、演算装置２００を生産するための負担が比較的小さい。
演算装置生産システム１によれば、既存のＦＧＰＡを演算装置２００のテンプレートとして用いることができ、演算装置２００のテンプレートを別途生成する必要がない。このように、演算装置生産システム１によれば、演算装置２００を生産するための負担が比較的小さい。
【0121】
図２２は、少なくとも１つの実施形態に係るコンピュータの構成の例を示す概略ブロック図である。図２２に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
【0122】
上記の学習モデル装置１００、演算装置２００、演算装置２００ｆ、学習制御部３００、および、設定部４００のうち何れか１つ以上が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。
【0123】
学習モデル装置１００がコンピュータ７００に実装される場合、超曲面型ノード１１０の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0124】
また、ＣＰＵ７１０は、プログラムに従って、学習モデル装置１００が処理を行うための記憶領域を主記憶装置７２０に確保する。学習モデル装置１００と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
学習モデル装置１００とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
学習モデル装置１００とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
【0125】
演算装置２００がコンピュータ７００に実装される場合、テーブル型ノード２１０の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0126】
また、ＣＰＵ７１０は、プログラムに従って、演算装置２００が処理を行うための記憶領域を主記憶装置７２０に確保する。演算装置２００と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
演算装置２００とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
演算装置２００とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
【0127】
演算装置２００ｆがコンピュータ７００に実装される場合、テーブル型ノード２１０ｆの動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0128】
また、ＣＰＵ７１０は、プログラムに従って、テーブル記憶部２２０ｆに対応する記憶領域を主記憶装置７２０に確保する。演算装置２００ｆと他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
演算装置２００ｆとユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
演算装置２００ｆとユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
【0129】
学習制御部３００がコンピュータ７００に実装される場合、学習制御部３００の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0130】
また、ＣＰＵ７１０は、プログラムに従って、学習制御部３００が処理を行うための記憶領域を主記憶装置７２０に確保する。学習制御部３００と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
学習制御部３００とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
学習制御部３００とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
【0131】
設定部４００がコンピュータ７００に実装される場合、設定部４００の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0132】
また、ＣＰＵ７１０は、プログラムに従って、設定部４００が処理を行うための記憶領域を主記憶装置７２０に確保する。設定部４００と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
設定部４００とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
設定部４００とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
【0133】
なお、学習モデル装置１００、演算装置２００、演算装置２００ｆ、学習制御部３００、および、設定部４００の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することで各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0134】
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0135】
１ 演算装置生産システム
１００ 学習モデル装置
１１０ 超曲面型ノード
１１１ 超曲面処理部
１１２ 閾値演算部
２００、２００ｆ 演算装置
２１０、２１０ｆ テーブル型ノード
２２０ｆ テーブル記憶部
３００ 学習制御部
４００ 設定部
２２０ テーブル記憶部
１００ 学習モデル装置
１１０ 超曲面型ノード
１１１ 超曲面処理部
１１２ 閾値演算部
２００、２００ｆ 演算装置
２１０、２１０ｆ テーブル型ノード
２２０ｆ テーブル記憶部
３００ 学習制御部
４００ 設定部
２２０ テーブル記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】