知財求人 - 知財ポータルサイト「IP Force」
特許7521336ネットワーク置換装置、ネットワーク置換方法、学習済モデル、推定装置、及び推定方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-16
(45)【発行日】2024-07-24
(54)【発明の名称】ネットワーク置換装置、ネットワーク置換方法、学習済モデル、推定装置、及び推定方法
(51)【国際特許分類】
G06N 3/04 20230101AFI20240717BHJP
G06N 3/12 20230101ALI20240717BHJP
【ＦＩ】
G06N3/04
G06N3/12
【請求項の数】
6
(21)【出願番号】P 2020146918
(22)【出願日】2020-09-01
(65)【公開番号】P2022041607
(43)【公開日】2022-03-11
【審査請求日】2022-10-21
(73)【特許権者】
【識別番号】000191009
【氏名又は名称】新東工業株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】野口 陽平
【審査官】山本 俊介
(56)【参考文献】
【文献】特開２０１８－０９７６１２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
複数の層により構成されるディープニューラルネットワークの第１の層に含まれるノードの出力値と、第２の層に含まれるノードの出力値との関係を表す非線形の関係式であって前記第２の層に含まれる各ノードと１対１で対応する関係式を、遺伝的アルゴリズムを用いて特定する特定ステップと、前記ディープニューラルネットワークにおける前記第１の層と前記第２の層との間の演算を、前記関係式を用いた演算に置換する置換ステップと、
を実行する一又は複数のプロセッサを備える、
ことを特徴とするネットワーク置換装置。
【請求項2】
前記プロセッサは、前記特定ステップにおいて、前記第１の層に含まれるノードの出力値と、当該第１の層と前記第２の層との間にある第３の層に含まれるノードの出力値との関係を表す非線形の第１の関係式を、遺伝的アルゴリズムを用いて特定し、前記第３の層に含まれるノードの出力値と前記第２の層に含まれるノードの出力値との関係を表す非線形の第２の関係式を、遺伝的アルゴリズムを用いて特定し、
前記第１の関係式と前記第２の関係式とを用いて、前記第１の層に含まれるノードの出力値と、第２の層に含まれるノードの出力値との関係を表す非線形の関係式を特定する、ことを特徴とする請求項１に記載のネットワーク置換装置。
【請求項3】
一又は複数のプロセッサが、複数の層により構成されるディープニューラルネットワークの第１の層に含まれるノードの出力値と、第２の層に含まれるノードの出力値との関係を表す非線形の関係式であって前記第２の層に含まれる各ノードと１対１で対応する関係式を、遺伝的アルゴリズムを用いて特定する特定ステップと、前記ディープニューラルネットワークにおける前記第１の層と前記第２の層との間の演算を、前記関係式を用いた演算に置換する置換ステップと、
を含むことを特徴とするネットワーク置換方法。
【請求項4】
複数の層により構成されるディープニューラルネットワークから得られた、入力データに基づいて出力データを出力するよう、コンピュータを機能させるための学習済モデルであって、前記ディープニューラルネットワークの前記複数の層に含まれる第１の層から第２の層への演算が、前記第１の層に含まれるノードの出力値と、前記第２の層に含まれるノードの出力値との関係を表す、遺伝的アルゴリズムにより特定された非線形の関係式であって前記第２の層に含まれる各ノードと１対１で対応する関係式を用いた演算により置換され、前記第２の層に含まれるノードの出力値が、前記第１の層に含まれる各ノードの出力値と前記関係式とを用いた演算により算出されるよう、コンピュータを機能させるための学習済モデル。
【請求項5】
請求項４に記載の学習済モデルを用いて、入力データから出力データを推定する推定ステップを実行する一又は複数のプロセッサを備える、ことを特徴とする推定装置。
【請求項6】
一又は複数のプロセッサが、請求項４に記載の学習済モデルを用いて入力データから出力データを推定する推定ステップ、を含むことを特徴とする推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習済モデルの演算過程を関係式化する装置及び方法に関する。また、そのような関係式を用いて学習済モデルの出力を推定する装置及び方法に関する。
【背景技術】
【0002】
ディープニューラルネットワーク（以下、「ＤＮＮ」）を利用した第三世代ＡＩの利用が社会で促進されている。ＤＮＮは、例えば静止画や動画の画像認識、音声認識、機械翻訳等の自然言語処理、産業機器に取り付けられたセンサの時系列データから異常の兆候を検知する異常検知処理に利用されている。
【0003】
ＤＮＮは、ニューラルネットワークをディープラーニングに対応させてネットワークの階層を深くしたものである。ＤＮＮは、入力層、複数の隠れ層、出力層を含む複数の層を含み、各層は複数のノードがエッジで結ばれる構造となっている。各層は、活性化関数と呼ばれる関数を持ち、エッジは重みを持つことができる。各ノードの出力値は、そのノードと接続する前の層のノードの出力値から計算される。すなわち、前の層のノードの出力値、接続エッジの重みの値、そして層が持つ活性化関数から各ノードの出力値が計算される。
【0004】
特許文献１には、ニューラルネットワークのネットワーク係数（重み係数など）の高圧縮率を実現するための装置が記載されている。特許文献１に記載の装置は、学習されたニューラルネットワークの入力層に入力された入力データ、ニューラルネットワークの隠れ層または出力層の出力値の組を教師データとして、学習済ネットワーク係数の圧縮を学習しながら行う。
【0005】
特許文献２には、遺伝的アルゴリズムを用いた演算の処理時間を短縮するための装置が記載されている。特許文献２に記載の装置は、解候補集団の各解候補に対する適応度関数を、ニューラルネットワークを用いて求める。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１９－２８７４６号公報（２０１７年７月３１日公開）
【文献】特開平６－１６１９８４号公報（１９９４年６月１０日公開）
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、ＤＮＮの演算処理を更に高速化できれば好適である。特許文献１及び２に記載の技術では、ニューラルネットワークの演算処理を高速化できない場合があった。
【0008】
本発明の一態様は、上記の問題に鑑みてなされたものであり、ディープニューラルネットワークの演算を高速化する技術を実現することを目的とする。
【課題を解決するための手段】
【0009】
上記の課題を解決するために、本発明の一態様に係るネットワーク置換装置は、特定ステップと、置換ステップとを実行する一又は複数のプロセッサを備えている。また、本発明の一態様に係るネットワーク置換方法は、特定ステップと、置換ステップと、を含んでいる。
【0010】
特定ステップは、複数の層により構成されるディープニューラルネットワークの第１の層に含まれるノードの出力値と、第２の層に含まれるノードの出力値との関係を表す非線形の関係式を、遺伝的アルゴリズムを用いて特定するステップである。置換ステップは、前記ディープニューラルネットワークにおける前記第１の層と前記第２の層との間の演算を、前記関係式を用いた演算に置換するステップである。
【0011】
また、本発明の一態様に係る学習済モデルは、複数の層により構成されるディープニューラルネットワークから得られた学習済モデルであって、前記ディープニューラルネットワークの前記複数の層に含まれる第１の層から第２の層への演算が、前記第１の層に含まれるノードの出力値と、前記第２の層に含まれるノードの出力値との関係を表す、遺伝的アルゴリズムにより特定された非線形の関係式を用いた演算により置換された学習済モデルである。
【0012】
また、本発明の一態様に係る推定装置は、推定ステップを実行する一又は複数のプロセッサを備えている。また、本発明の一態様に係る推定方法は、推定ステップを含んでいる。推定ステップは、上述の学習済モデルを用いて、入力データから出力データを推定するステップである。
【発明の効果】
【0013】
本発明の一態様に係るネットワーク置換装置、ネットワーク置換方法及びディープニューラルネットワークによれば、ディープニューラルネットワークの演算を高速化することができる。また、本発明の一態様に係る推定装置及び推定方法によれば、そのようなネットワーク置換装置及びネットワーク置換方法により置換されたディープニューラルネットワークを用いて推定処理を行うことができる。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態に係るネットワーク置換システムの構成を示す図である。
【図4】学習済モデルと遺伝的アルゴリズムとを例示する図である。
【図6】ネットワーク置換装置が実施する処理の流れを示すフローチャートである。
【図7】クロスオーバーの内容を例示する図である。
【図8】サブツリー突然変異の内容を例示する図である。
【図9】ホイスト突然変異の内容を例示する図である。
【図10】点突然変異の内容を例示する図である。
【図19】鋳造フェーズの構成を示す図である。
【発明を実施するための形態】
【0015】
【0016】
ネットワーク置換システムＳは、ＤＮＮのノード間の関係を関係式化し、ＤＮＮの一部を集約するためのシステムである。ネットワーク置換システムＳは、図１に示すように、ネットワーク置換装置１と、機械学習装置２と、推定装置３と、を備えている。
【0017】
ネットワーク置換装置１は、ネットワーク置換方法Ｍ１を実施する装置である。ネットワーク置換方法Ｍ１は、ネットワーク置換装置１が、複数の層により構成されるディープニューラルネットワークの第１の層に含まれるノードの出力値と、第２の層に含まれるノードの出力値との関係を表す非線形の関係式を、遺伝的アルゴリズムを用いて特定する特定ステップ（Ｍ１２）と、ディープニューラルネットワークにおける第１の層と第２の層との間の演算を、関係式を用いた演算に置換する置換ステップ（Ｍ１３）と、を含む。学習済モデルＬＭ１としては、例えば、畳み込みニューラルネットワークや再帰型ニューラルネットワークなどのニューラルネットワークモデル、線形回帰などの回帰モデル、又は、回帰木などの木モデルなどのアルゴリズムを用いることができる。ネットワーク置換装置１の構成及びネットワーク置換方法Ｍ１の流れの詳細については、参照する図面を代えて後述する。
【0018】
学習済モデルＬＭ１の入力としては、種々のデータが採用され得る。学習済モデルＬＭ１の入力は例えば、静止画または動画を表す画像データ、音声を表す音声データ、文書を表す文書データ、産業機器に取り付けられたセンサの時系列データである。また、学習済モデルＬＭ１の入力は例えば、鋳造ラインにおいて収集される各種のパラメータである。
【0019】
学習済モデルＬＭ１の出力としては、種々のデータが採用され得る。学習済モデルＬＭ１の出力は例えば、画像認識結果、音声認識結果、機械翻訳結果、異常の有無である。また、学習済モデルＬＭ１の出力は例えば、鋳造ラインにおける鋳物砂のＣＢ値（コンパクタビリティ）の目標値である。
【0020】
ネットワーク置換装置１は、データ収集装置１１１を備える。データ収集装置１１１は、学習済モデルＬＭ１への入力データと学習済モデルＬＭ１からの出力データとを一時的に保持し、保持したデータを次段の遺伝的アルゴリズムＧＡに入力する。データ収集装置１１１は例えば、半導体メモリ、ハードディスク等の情報記憶手段と入出力手段を備えたバッファである。なお、図１の例では、データ収集装置１１１がネットワーク置換装置１に含まれる構成を例示しているが、データ収集装置１１１が数式特定装置１と別体の装置として構成されていてもよい。また、データ収集装置１１１は、ハードウェア単体で構成されてもよく、また、ハードウェアとソフトウェアとにより構成されてもよい。
【0021】
ネットワーク置換装置１がネットワーク置換方法Ｍ１を実施することにより、学習済モデルＬＭ２が生成される。学習済モデルＬＭ２は、入力データに基づいて出力データを出力するよう、コンピュータを機能させるための学習済モデルであり、第２の層に含まれるノードの出力値が、第１の層に含まれる各ノードの出力値と関係式とを用いた演算により算出されるよう、コンピュータを機能させるための学習済モデルである。すなわち、学習済モデルＬＭ２は、複数の層により構成されるディープニューラルネットワークから得られた学習済モデルであって、学習済モデルＬＭ１の複数の層に含まれる第１の層から第２の層への演算が、第１の層に含まれるノードの出力値と、第２の層に含まれるノードの出力値との関係を表す、遺伝的アルゴリズムにより特定された非線形の関係式を用いた演算により置換された学習済モデルである。
【0022】
機械学習装置２は、機械学習方法Ｍ２を実施するための装置である。機械学習方法Ｍ２は、入力データを用いて学習用データセットＤＳを構築すると共に、学習用データセットＤＳを用いた機械学習（教師あり学習）によって学習済モデルＬＭ１を構築するための方法である。機械学習装置２の構成及び機械学習方法Ｍ２の流れの詳細については、参照する図面を代えて後述する。
【0023】
推定装置３は、推定方法Ｍ３を実施するための装置である。推定方法Ｍ３は、推定装置３が、ネットワーク置換方法Ｍ１により生成された学習済モデルＬＭ２を用いて、入力データから出力データを推定する第２推定ステップＭ３１、を含む。推定装置３の構成及び推定方法Ｍ３の流れの詳細については、参照する図面を代えて後述する。
【0024】
ネットワーク置換システムＳは、学習フェーズ、ネットワーク置換フェーズ、推定フェーズ、を実行する。学習フェーズ、ネットワーク置換フェーズ、推定フェーズについて、その内容を簡単に説明すれば、以下のとおりである。
【0025】
（１）学習フェーズ
学習フェーズにおいては、学習済モデルＬＭ１が構築される。機械学習装置２は、入力データ及び出力データから教師データを作成し、作成した教師データを学習用データセットＤＳに追加する。また、機械学習装置２は、学習用データＤＳを用いた機械学習によって学習済モデルＬＭ１を構築する。構築された学習済モデルＬＭ１は、機械学習装置２からネットワーク置換装置１に転送される。
学習フェーズにおいては、学習済モデルＬＭ１が構築される。機械学習装置２は、入力データ及び出力データから教師データを作成し、作成した教師データを学習用データセットＤＳに追加する。また、機械学習装置２は、学習用データＤＳを用いた機械学習によって学習済モデルＬＭ１を構築する。構築された学習済モデルＬＭ１は、機械学習装置２からネットワーク置換装置１に転送される。
【0026】
（２）ネットワーク置換フェーズ
ネットワーク置換フェーズにおいては、ネットワーク置換装置１は、入力データに基づき、学習済モデルＬＭ１を用いて出力データを推定する。また、ネットワーク置換装置１は、遺伝的アルゴリズムを用いた非線形回帰によって、学習済モデルＬＭ１の第１の層に含まれるノードの出力値と、第２の層に含まれるノードの出力値との関係を表す非線形の関係式を特定する。また、ネットワーク置換装置１は、学習済モデルＬＭ１における第１の層と第２の層との間の演算を、特定した関係式を用いた演算に置換する。
ネットワーク置換フェーズにおいては、ネットワーク置換装置１は、入力データに基づき、学習済モデルＬＭ１を用いて出力データを推定する。また、ネットワーク置換装置１は、遺伝的アルゴリズムを用いた非線形回帰によって、学習済モデルＬＭ１の第１の層に含まれるノードの出力値と、第２の層に含まれるノードの出力値との関係を表す非線形の関係式を特定する。また、ネットワーク置換装置１は、学習済モデルＬＭ１における第１の層と第２の層との間の演算を、特定した関係式を用いた演算に置換する。
【0027】
（３）推定フェーズ
推定フェーズにおいては、推定装置３は、ネットワーク置換装置１が生成した学習済モデルＬＭ２を用いて、入力データから出力データを推定する。
推定フェーズにおいては、推定装置３は、ネットワーク置換装置１が生成した学習済モデルＬＭ２を用いて、入力データから出力データを推定する。
【0028】
【0029】
ネットワーク置換装置１は、汎用コンピュータを用いて実現されており、プロセッサ１１と、一次メモリ１２と、二次メモリ１３と、入出力インタフェース１４と、通信インタフェース１５と、バス１６とを備えている。プロセッサ１１、一次メモリ１２、二次メモリ１３、入出力インタフェース１４、及び通信インタフェース１５は、バス１６を介して相互に接続されている。
【0030】
二次メモリ１３には、ネットワーク置換プログラムＰ１及び学習済モデルＬＭ１が格納されている。プロセッサ１１は、二次メモリ１３に格納されているネットワーク置換プログラムＰ１及び学習済モデルＬＭ１を一次メモリ１２上に展開する。そして、プロセッサ１１は、一次メモリ１２上に展開されたネットワーク置換プログラムＰ１に含まれる命令に従って、ネットワーク置換方法Ｍ１に含まれる各ステップを実行する。一次メモリ１２上に展開された学習済モデルＬＭ１は、ネットワーク置換方法Ｍ１の推定ステップＭ１１（後述）をプロセッサ１１が実行する際に利用される。なお、ネットワーク置換プログラムＰ１が二次メモリ１３に格納されているとは、ソースコード、又は、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ１３に記憶されていることを指す。また、学習済モデルＬＭ１が二次メモリ１３に格納されているとは、学習済モデルＬＭ１を規定するパラメータが二次メモリ１３に格納されていることを指す。
【0031】
プロセッサ１１として利用可能なデバイスとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせを挙げることができる。プロセッサ１１は、「演算装置」と呼ばれることもある。
【0032】
また、一次メモリ１２として利用可能なデバイスとしては、例えば、半導体ＲＡＭ（Random Access Memory）を挙げることができる。一次メモリ１２は、「主記憶装置」と呼ばれることもある。また、二次メモリ１３として利用可能なデバイスとしては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＯＤＤ（Optical Disk Drive）、ＦＤＤ（Floppy（登録商標） Disk Drive）、又は、これらの組み合わせを挙げることができる。二次メモリ１３は、「補助記憶装置」と呼ばれることもある。なお、二次メモリ１３は、ネットワーク置換装置１に内蔵されていてもよいし、入出力インタフェース１４又は通信インタフェース１５を介してネットワーク置換装置１と接続された他のコンピュータ（例えば、クラウドサーバを構成するコンピュータ）に内蔵されていてもよい。なお、本実施形態においては、ネットワーク置換装置１における記憶を２つのメモリ（一次メモリ１２及び二次メモリ１３）により実現しているが、これに限定されない。すなわち、ネットワーク置換装置１における記憶を１つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ１２として利用し、そのメモリの他の記憶領域を二次メモリ１３として利用すればよい。
【0033】
入出力インタフェース１４には、入力デバイス及び／又は出力デバイスが接続される。入出力インタフェース１４としては、例えば、ＵＳＢ（Universal Serial Bus）、ＡＴＡ（Advanced Technology Attachment）、ＳＣＳＩ（Small Computer System Interface）、ＰＣＩ（Peripheral Component Interconnect）などのインタフェースが挙げられる。入出力インタフェース１４に接続される入力デバイスとしては例えば、鋳造ラインに設けられたセンサ群が挙げられる。ネットワーク置換方法Ｍ１においてセンサ群から取得するデータはネットワーク置換装置１に入力され、一次メモリ１２に記憶される。また、入出力インタフェース１４に接続される入力デバイスとしては、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。ネットワーク置換方法Ｍ１においてユーザから取得するデータは、これらの入力デバイスを介してネットワーク置換装置１に入力され、一次メモリ１２に記憶される。また、入出力インタフェース１４に接続される出力デバイスとしては、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。ネットワーク置換方法Ｍ１においてユーザに提供する情報は、これらの出力デバイスを介してネットワーク置換装置１から出力される。なお、ネットワーク置換装置１は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、ネットワーク置換装置１は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。
【0034】
通信インタフェース１５には、ネットワークを介して他のコンピュータが有線接続又は無線接続される。通信インタフェース１５としては、例えば、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）などのインタフェースが挙げられる。利用可能なネットワークとしては、ＰＡＮ（Personal Area Network）、ＬＡＮ（Local Area Network）、ＣＡＮ（Campus Area Network）、ＭＡＮ（Metropolitan Area Network）、ＷＡＮ（Wide Area Network）、ＧＡＮ（Global Area Network）、又は、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。ネットワーク置換方法Ｍ１においてネットワーク置換装置１が他のコンピュータ（例えば、機械学習装置２）から取得するデータ（例えば、学習済モデルＬＭ１）、及び、ネットワーク置換方法Ｍ１においてネットワーク置換装置１が他のコンピュータに提供するデータは、これらのネットワークを介して送受信される。
【0035】
なお、本実施形態においては、単一のプロセッサ（プロセッサ１１）を用いてネットワーク置換方法Ｍ１を実行する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いてネットワーク置換方法Ｍ１を実行する構成を採用してもよい。この場合、連携してネットワーク置換方法Ｍ１を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携してネットワーク置換方法Ｍ１を実行する態様などが考えられる。
【0036】
また、本実施形態においては、ネットワーク置換方法Ｍ１を実行するプロセッサ（プロセッサ１１）と同じコンピュータに内蔵されたメモリ（二次メモリ１３）に学習済モデルＬＭ１を格納する構成を採用しているが、本発明は、これに限定されない。すなわち、ネットワーク置換方法Ｍ１を実行するプロセッサと異なるコンピュータに内蔵されたメモリに学習済モデルＬＭ１を格納する構成を採用してもよい。この場合、学習済モデルＬＭ１を格納するメモリが内蔵されたコンピュータは、ネットワーク置換方法Ｍ１を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信可能に構成される。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリに学習済モデルＬＭ１を格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサがネットワーク置換方法Ｍ１を実行する態様などが考えられる。
【0037】
また、本実施形態においては、単一のメモリ（二次メモリ１３）に学習済モデルＬＭ１を格納する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のメモリに学習済モデルＬＭ１を分散して格納する構成を採用してもよい。この場合、学習済モデルＬＭ１を格納する複数のメモリは、単一のコンピュータ（ネットワーク置換方法Ｍ１を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい）に設けられていてもよいし、複数のコンピュータ（ネットワーク置換方法Ｍ１を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい）に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリに学習済モデルＬＭ１を分散して格納する構成などが考えられる。
【0038】
データ収集装置１１１がネットワーク置換装置１と別体の装置として構成される場合、データ収集装置１１１は、例えばメモリ（図示略）とプロセッサ（図示略）とを含む。
【0039】
〔ネットワーク置換方法の流れ〕
ネットワーク置換方法Ｍ１の流れについて、図３を参照して説明する。図３は、ネットワーク置換方法Ｍ１の流れを示すフローチャートである。ネットワーク置換方法Ｍ１は、推定ステップＭ１１と、特定ステップＭ１２と、置換ステップＭ１３とを含んでいる。
ネットワーク置換方法Ｍ１の流れについて、図３を参照して説明する。図３は、ネットワーク置換方法Ｍ１の流れを示すフローチャートである。ネットワーク置換方法Ｍ１は、推定ステップＭ１１と、特定ステップＭ１２と、置換ステップＭ１３とを含んでいる。
【0040】
推定ステップＭ１１は、プロセッサ１１が、学習済モデルＬＭ１を用いて入力データから出力データを推定するステップである。推定ステップＭ１１において、プロセッサ１１は、入力データを学習済モデルＬＭ１に入力することにより、出力データを取得する。
【0041】
学習済モデルＬＭ１による推定処理において、学習済モデルＬＭ１の第１の層に含まれるノードの出力値（以下「第１データ」という）と、第２の層に含まれるノードの出力値（以下「第２データ」という）とが、データ収集装置１１１に一時的に保持される。第１の層及び第２の層は、入力層、出力層、又は隠れ層である。データ収集装置１１１が保持するデータは、後段の特定ステップＭ１２で用いられる。
【0042】
特定ステップＭ１２は、プロセッサ１１が、学習済モデルＬＭ１の第１の層に含まれるノードの出力値と、第２の層に含まれるノードの出力値との関係を表す非線形の関係式を、遺伝的アルゴリズムＧＡを用いて特定するステップである。プロセッサ１１が特定ステップＭ１２で特定する関係式は、ニューラルネットワークで用いられる活性化関数とは異なる関数である。なお、特定ステップＭ１２の具体例については、参照する図面を代えて後述する。
【0043】
置換ステップＭ１３は、プロセッサ１１が、学習済モデルＬＭ１における第１の層と第２の層との間の演算を、ステップＭ１２で特定した関係式を用いた演算に置換するステップである。なお、置換ステップＭ１３により得られる学習済モデルＬＭ２の具体例については、参照する図面を代えて後述する。
【0044】
（特定ステップの具体例）
ネットワーク置換方法Ｍ１に含まれる特定ステップＭ１２の具体例について、図４及び図５を参照して説明する。図４は、学習済モデルＬＭ１１及び遺伝的アルゴリズムＧＡを例示する図である。図５は、プロセッサ１１が実行する特定ステップＭ１２の流れを示すフローチャートである。
ネットワーク置換方法Ｍ１に含まれる特定ステップＭ１２の具体例について、図４及び図５を参照して説明する。図４は、学習済モデルＬＭ１１及び遺伝的アルゴリズムＧＡを例示する図である。図５は、プロセッサ１１が実行する特定ステップＭ１２の流れを示すフローチャートである。
【0045】
学習済モデルＬＭ１１は、複数の層により構成されるディープニューラルネットワークである。学習済モデルＬＭ１１は、本実施形態に係る学習済モデルＬＭ１の一例である。学習済モデルＬＭ１１は、入力データが入力される入力層ＬＸ、隠れ層ＬＹ１、隠れ層ＬＹ２、出力データを出力する出力層ＬＺ、を含む複数の層を含む。各層は複数のノードがエッジで結ばれる構造となっている。
【0046】
各層は、活性化関数と呼ばれる関数を持ち、エッジは重みを持つことができる。各ノードの出力値は、そのノードと接続する前の層のノードの出力値から計算される。すなわち、前の層のノードの出力値、接続エッジの重みの値、そして層が持つ活性化関数から各ノードの出力値が計算される。
【0047】
図４の例において、入力層ＬＸは、ノードＸ１、Ｘ２、Ｘ３、Ｘ４を含む。すなわち、この例で、学習済モデルＬＭ１１に入力される入力データは、ノードＸ１、Ｘ２、Ｘ３、Ｘ４の出力値ｘ１、ｘ２、ｘ３、ｘ４を含む。
【0048】
隠れ層ＬＹ１は、ノードＹ１１、Ｙ１２、Ｙ１３を含む。ノードＹ１１、Ｙ１２、Ｙ１３の出力値ｙ１１、ｙ１２、ｙ１３は、隠れ層ＬＹ１の前の層である入力層ＬＸのノードの出力値ｘ１、ｘ２、ｘ３、ｘ４を用いて計算される。
【0049】
隠れ層ＬＹ２は、ノードＹ２１、Ｙ２２、Ｙ２３を含む。ノードＹ２１、Ｙ２２、Ｙ２３の出力値ｙ２１、ｙ２２、ｙ２３は、隠れ層ＬＹ２の前の層である隠れ層ＬＹ１のノードの出力値ｙ１１、ｙ１２、ｙ１３を用いて計算される。
【0050】
出力層ＬＺは、ノードＺ１を含む。ノードＺ１の出力値ｚ１は、出力層ＬＺの前の層である隠れ層ＬＹ２のノードの出力値ｙ２１、ｙ２２、ｙ２３を用いて計算される。すなわち、この例で、学習済モデルＬＭ１１の出力データは、ノードＺ１の出力値ｚ１である。
【0051】
データ収集装置１１１は、学習済モデルＬＭ１への入力データと学習済モデルＬＭ１の出力データを一時的に保持し、入力データと出力データとを次段の遺伝的アルゴリズムＧＡに時間的同期をつけて入力する。すなわち、データ収集装置１１１は、学習済モデルＬＭ１のデータを纏めて（ある程度の情報単位にして）次段の遺伝的アルゴリズムＧＡに入力する一種のバッファとして動作する。
遺伝的アルゴリズムＧＡは、第一世代Ｇ１～第四世代Ｇ４を含む。本具体例に係る特定ステップＭ１２においては、遺伝的アルゴリズムを用いて、第１データと第２データとの関係を表す関係式を特定する。遺伝的アルゴリズムＧＡは、解の候補を遺伝子で表現した個体ｉを複数用意し、適応度Ｄｉの高い個体ｉを優先的に選択して交叉、突然変異などの操作を繰り返しながら解を探索するアルゴリズムである。本実施形態において、個体ｉは、非線形の関係式をツリー構造で表したものであり、関係式に含まれる演算子及び引数がツリーのノードで表される。適応度Ｄｉは適応度関数によって与えられる。
遺伝的アルゴリズムＧＡは、第一世代Ｇ１～第四世代Ｇ４を含む。本具体例に係る特定ステップＭ１２においては、遺伝的アルゴリズムを用いて、第１データと第２データとの関係を表す関係式を特定する。遺伝的アルゴリズムＧＡは、解の候補を遺伝子で表現した個体ｉを複数用意し、適応度Ｄｉの高い個体ｉを優先的に選択して交叉、突然変異などの操作を繰り返しながら解を探索するアルゴリズムである。本実施形態において、個体ｉは、非線形の関係式をツリー構造で表したものであり、関係式に含まれる演算子及び引数がツリーのノードで表される。適応度Ｄｉは適応度関数によって与えられる。
【0052】
本具体例では、個体ｉである非線形の関係式は、例えば以下の（１）～（３）式の３つの式を含む。
ｙ１１＝ｆ１（ｘ１，ｘ２，ｘ３，ｘ４） …（１）
ｙ１２＝ｆ２（ｘ１，ｘ２，ｘ３，ｘ４） …（２）
ｙ１３＝ｆ３（ｘ１，ｘ２，ｘ３，ｘ４） …（３）
ｙ１１＝ｆ１（ｘ１，ｘ２，ｘ３，ｘ４） …（１）
ｙ１２＝ｆ２（ｘ１，ｘ２，ｘ３，ｘ４） …（２）
ｙ１３＝ｆ３（ｘ１，ｘ２，ｘ３，ｘ４） …（３）
【0053】
（１）～（３）式において、ｘ１～ｘ４は入力層ＬＸ（第１の層の一例）の各ノードの出力値である。ｙ１１～ｙ１３は隠れ層ＬＹ２（第２の層の一例）のノードＹ２１～Ｙ２３の出力値である。すなわち、（１）～（３）式は、学習済モデルＬＭ１１の入力層ＬＸ（第１の層）に含まれるノードの出力値と、隠れ層ＬＹ２（第２の層）に含まれるノードの出力値との関係を表す非線形の関係式である。
【0054】
本具体例では、プロセッサ３１は、遺伝的プログラミングにより関係式を特定する。遺伝的プログラミングとは、遺伝的アルゴリズムを拡張したものであり、遺伝子型の表現としてツリー構造を用いる。なお、図５に示す特定ステップＭ１２の流れは例示であり、遺伝的アルゴリズムＧＡを用いた関係式の特定方法は図５に示した方法に限定されるものではない。遺伝的アルゴリズムＧＡを用いた関係式の特定方法として、他の種々の手法が採用され得る。
【0055】
図５は、プロセッサ１１が実行する特定ステップＭ１２の流れを例示するフローチャートである。プロセッサ１１は所定のモジュール（以下、「Ａモジュール」という）を用いて、特定ステップＭ１２を実行する。Ａモジュールは、遺伝的アルゴリズムを実行するモジュールである。Ａモジュールでは、プロセッサ１１は、まず、新しいデータを予測するために、既知の独立変数とそれらの従属変数ターゲットの間の関係を表す単純なランダム式の母集団を作成することから始める。次に、プロセッサ１１は、遺伝子操作を受ける集団から最も適した個体を選択することにより、集団を進化させて次の世代の集団を生成する。上記の操作により、上記関係を最もよく示す関係式が特定される。
【0056】
本具体例では、Ａモジュールとして、遺伝的プログラミングを実行するモジュールが用いられる。遺伝的プログラミングとは、遺伝的アルゴリズムを拡張したものであり、遺伝子型の表現としてツリー構造を用いる。なお、図５に示す特定ステップＭ１２の流れは例示であり、遺伝的アルゴリズムＧＡを用いた関係式の特定方法は図５に示した方法に限定されるものではない。遺伝的アルゴリズムＧＡを用いた関係式の特定方法として、他の種々の手法が採用され得る。
【0057】
ステップＭ１２１において、プロセッサ１１は、学習済モデルＬＭ１の第１データと第２データとをデータ収集装置１１１から取得する。
【0058】
ステップＭ１２２において、プロセッサ１１は、遺伝的アルゴリズムＧＡで用いるパラメータを取得する。パラメータは例えば、生成個体数Ｎ、トーナメントサイズＮｔ、交叉確率Ｐｃ、突然変異確率Ｐｍｓ、進化世代数Ｎｇ、構文木に用いる演算子Ｏｊ、構文木の最大の深さｄ、事象発生確率Ｐｋ１～Ｐｋ５を含む。各パラメータの値は例えば、ユーザがネットワーク置換装置１に入力する。
【0059】
生成個体数Ｎは、集合に含める個体ｉの数を表す。トーナメントサイズＮｔは、現世代の集合からランダムに選択する個体ｉの数である。突然変異確率Ｐｍｓは、遺伝子が突然変異をする確率である。構文木に用いる演算子Ｏｉは、例えば、Max、Min、sqrt（ルート）、log（自然対数）、＋、－、×、÷、sin(ラジアン)、cos(ラジアン)、tan(ラジアン)、abs、neg、invである。Maxは、最大値を選択する演算子である。Minは、最小値を選択する演算子である。negは符号をマイナスにする演算子である。invはゼロに近い引数を0にする演算子である。
【0060】
事象発生確率Ｐｋ１～Ｐｋ５は、次世代の集合を進化させる操作として操作ｍ１～ｍ５がそれぞれ選択される確率である。プロセッサ１１は、操作ｍ１～ｍ５のいずれかの方法で次世代の集合を進化させる。事象発生確率Ｐｋ１～Ｐｋ５の総和は１とする。一例として、事象発生確率Ｐｋ１、Ｐｋ２、Ｐｋ３、Ｐｋ４、Ｐｋ５の値は、それぞれ、「０．１」、「０．２」、「０．３」、「０．４」、「０．１」である。操作ｍ１～ｍ５については参照する図面を代えて後述する。
【0061】
ステップＭ１２３において、プロセッサ１１は、指定されたパラメータ（構文木に用いる演算子Ｏｉ、構文木の最大の深さｄ、等）に基づいて、Ｎ個の個体ｉをランダムに生成し、最初の現世代となるＮ個の個体ｉの集合を生成する。
【0062】
ステップＭ１２４において、プロセッサ１１は、現世代の集合に含まれる個体ｉのそれぞれの適応度Ｄｉを算出する。適応度Ｄｉは、適応度関数によって与えられる。
【0063】
ステップＭ１２５において、プロセッサ１１は、現世代の集合からトーナメントサイズＮｔの数の個体ｉをランダムに取り出し、その中で最も適応度Ｄｉの高い個体ｉを選択し、次世代の集合に追加する。ステップＭ１２５において選択された個体ｉ、すなわち、次世代の集合に追加された個体ｉを「勝者ツリー」ともいう。
【0064】
プロセッサ１１は、次世代の個体数が現世代と同じＮ個になるまで、すなわち次世代の個体数がＮに達していない間は（ステップＭ１２６；ＮＯ）、ステップＭ１２５の処理を繰り返す。プロセッサ２１は、次世代の個体数がＮに達すると（ステップＭ１２６；ＹＥＳ）ステップＭ１２７の処理を実行する。
【0065】
ステップＭ１２７において、プロセッサ１１は、次世代の集合を進化させる処理を実行する。なお、ステップＭ１２７の詳細については、参照する図面を代えて後述する。
【0066】
ステップＭ１３０において、プロセッサ１１は、次世代の集合を現世代の集合に上書きする。ステップＭ１３１において、プロセッサ１１は、進化世代数Ｎｇに達したかを判定する。進化世代数Ｎｇに達していない場合（ステップＭ１３１；ＮＯ）、プロセッサ１１はステップＭ１２４の処理に戻る。一方、進化世代数Ｎｇに達している場合（ステップＭ１３１；ＹＥＳ）、プロセッサ１１は、ステップＭ１３２の処理に進む。
【0067】
ステップＭ１３２において、プロセッサ１１は、現世代の集合に含まれる個体ｉの中から適応度Ｄｉが最も高い個体ｉを特定する。ステップＭ１３３において、プロセッサ１１は、特定した個体ｉを最適解として出力する。例えば、プロセッサ１１は、選択した個体ｉである関係式、又はその関係式の表す図形（グラフ等）をディスプレイに表示する。
【0068】
図６は、プロセッサ１１が実行するステップＭ１２７の流れを例示するフローチャートである。ステップＭ２０１において、プロセッサ１１は、ユーザにより設定された事象発生確率Ｐｋ１～Ｐｋ５に基づき、操作ｍ１～ｍ５のいずれかを選択する。操作ｍ１を選択した場合（ステップＭ２０１；「操作ｍ１」）、プロセッサ１１は、ステップＭ２０２の処理に進む。操作ｍ２を選択した場合（ステップＭ２０１；「操作ｍ２」）、プロセッサ１１は、ステップＭ２１１の処理に進む。操作ｍ３を選択した場合（ステップＭ２０１；「操作ｍ３」）、プロセッサ１１は、ステップＭ２２１の処理に進む。操作ｍ４を選択した場合（ステップＭ２０１；「操作ｍ４」）、プロセッサ１１は、ステップＭ２３１の処理に進む。操作ｍ５を選択した場合（ステップＭ２０１；「操作ｍ５」）、プロセッサ１１は、処理を終了する。
【0069】
操作ｍ１は、クロスオーバーである。クロスオーバーとは、個体間で遺伝物質を混合する方法である。クロスオーバーの場合、ステップＭ２０２において、プロセッサ１１は、次世代の集合に含まれる勝者ツリーについて、各勝者ツリーに含まれるサブツリーをランダムに選択する。
【0070】
ステップＭ２０３において、プロセッサ１１は、ドナー用の次世代の集合を生成する。ステップＭ２０３の処理の内容は、図６のステップＭ１２３～Ｍ１２５の内容と同様である。すなわち、プロセッサ１１は、まず、ユーザにより指定された個体パラメータに基づいて、Ｎ個の個体ｉをランダムに生成し、Ｎ個の個体ｉの集合（以下「ドナー集合」という）を生成する。次いで、プロセッサ１１は、ドナー集合に含まれる個体ｉのそれぞれの適応度Ｄｉを算出する。次いで、プロセッサ１１は、ドナー集合からトーナメントサイズＮｔの数の個体ｉをランダムに取り出し、その中で最も適応度Ｄｉの高い個体ｉを選択し、次世代のドナー集合に追加する。この処理により選択される個体ｉを「ドナーツリー」ともいう。プロセッサ１１は、次世代のドナーツリーの数がＮになるまで、ドナーツリーの選択処理を繰り返す。
【0071】
ステップＭ２０４において、プロセッサ１１は、ドナーツリーに含まれるサブツリー（以下「ドナーサブツリー」という）をランダムに選択する。
【0072】
ステップＭ２０５において、プロセッサ１１は、勝者ツリーにおいてサブツリーの入れ替えを行う。本実施形態では、プロセッサ１１は、勝者ツリーからステップＭ２０２で選択したサブツリー取り除き、そのサブツリーがあった箇所にステップＭ２０３で選択したドナーサブツリーを移植する。すなわち、プロセッサ１１は、勝者ツリーに含まれるサブツリーをドナーサブツリーで置換する。このサブツリーが置換された勝者ツリーが、次世代の子孫（個体）となる。
【0073】
操作ｍ２は、サブツリーを突然変異させる操作である。サブツリーを突然変異させることにより、絶滅した機能とオペレーターを集団に再導入し、多様性を維持することができる。この場合、ステップＭ２１１において、プロセッサ１１は、勝者ツリーに含まれるサブツリーをランダムに選択する。
【0074】
ステップＭ２１２において、プロセッサ１１は、サブツリーをランダムに生成する。ステップＭ２１３において、プロセッサ１１は、勝者ツリーにおいてサブツリーの入れ替えを行う。本実施形態では、プロセッサ１１は、勝者ツリーからステップＭ２０２で選択したサブツリーを取り除き、取り除いたサブツリーがあった箇所に、ステップＭ２１２で生成したサブツリーを移植する。すなわち、プロセッサ１１は、勝者ツリーに含まれるサブツリーをステップＭ２１２で生成したサブツリーで置換する。このサブツリーが置換された勝者ツリーが、次世代の子孫（個体）となる。
【0075】
操作ｍ３は、ホイスト突然変異である。ホイスト突然変異は、ツリーの膨らみと戦う突然変異操作である。ステップＭ２２１において、プロセッサは、勝者ツリーに含まれるサブツリーをランダムに選択する。ステップＭ２２２において、プロセッサ１１は、ステップＭ２２１で選択したサブツリーに含まれるサブツリーをランダムに選択する。
【0076】
ステップＭ２２３において、プロセッサ１１は、ステップＭ２２２で選択したサブツリーを、元のサブツリー（ステップＭ２２１で選択したサブツリー）の位置まで巻き上げる。このサブツリーが巻き上げられた勝者ツリーが、次世代の子孫（個体）となる。
【0077】
操作ｍ４は、点突然変異である。点突然変異は、多様性を維持するために、絶滅した関係式と演算子を集団に再導入する操作である。ステップＭ２３１において、プロセッサ１１は、勝者ツリーのノードをランダムに選択する。ステップＭ２３２において、プロセッサ１１は、ステップＭ２３１で選択したノードを、他のノードに置換する。これにより、勝者ツリーの表す関係式は、元のノードと同じ数の引数を必要とする他の関係式に置き換えられる。置き換えにより得られる勝者ツリーが、次世代の子孫（個体）となる。
【0078】
操作ｍ５は、再生である。この場合、勝者ツリーは複製され、変更されることなく次の世代に含められる。
【0079】
図７～図１０は、勝者ツリーに対して行われる操作の内容を例示する図である。図７は、操作ｍ１（クロスオーバー）の内容を例示する図である。図７の例では、勝者ツリーｔｒ１１のサブツリーｔｒ１１１が、ドナーツリーｔｒ１２のサブツリーｔｒ１２１で置換され、勝者ツリーｔｒ１３となる。勝者ツリーｔｒ１３が、次世代の子孫（個体）となる。
【0080】
図８は、操作ｍ２（サブツリー突然変異）の内容を例示する図である。図８の例では、勝者ツリーｔｒ１１のサブツリーｔｒ１１１が、サブツリーｔｒ２２で置換され、勝者ツリーｔｒ２３となる。勝者ツリーｔｒ２３が、次世代の子孫（個体）となる。
【0081】
図９は、操作ｍ３（ホイスト突然変異）の内容を例示する図である。図９の例では、勝者ツリーｔｒ１１のサブツリーｔｒ１１２１が、サブツリーｔｒ１１２の位置まで巻き上げられ、勝者ツリーｔｒ３１となる。勝者ツリーｔｒ３１が、次世代の子孫（個体）となる。
【0082】
図１０は、操作ｍ４（点突然変異）の内容を例示する図である。図１０の例では、勝者ツリーｔｒ１１に含まれるノードｎ２１及びノードｎ３４が、ノードｎ４２１及びノードｎ４３４に置換され、勝者ツリーｔｒ４１となる。勝者ツリーｔｒ４１が、次世代の子孫（個体）となる。
【0083】
（置換ステップにより得られる学習済モデルの具体例１）
図１１は、置換ステップＭ１３により得られる学習済モデルＬＭ２１、ＬＭ２２の具体例を説明するための図である。図において、学習済モデルＬＭ１２は、本実施形態に係る学習済モデルＬＭ１の一例である。学習済モデルＬＭ１２は、入力層ＬＸ、出力層ＬＹ、隠れ層ＬＡ～ＬＤを含む。入力層ＬＸは、ノードＸ１～Ｘ１２を含む。出力層ＬＹは、ノードＹ１～Ｙ１２を含む。隠れ層ＬＡは、ノードＡ１～Ａ６を含む。隠れ層ＬＢは、ノードＢ１～Ｂ６を含む。隠れ層ＬＣは、ノードＣ１～Ｃ６を含む。隠れ層ＬＤは、ノードＤ１～Ｄ６を含む。学習済モデルＬＭ２１、ＬＭ２２は、置換ステップＭ１３により得られる学習済モデルＬＭ２の具体例である。
図１１は、置換ステップＭ１３により得られる学習済モデルＬＭ２１、ＬＭ２２の具体例を説明するための図である。図において、学習済モデルＬＭ１２は、本実施形態に係る学習済モデルＬＭ１の一例である。学習済モデルＬＭ１２は、入力層ＬＸ、出力層ＬＹ、隠れ層ＬＡ～ＬＤを含む。入力層ＬＸは、ノードＸ１～Ｘ１２を含む。出力層ＬＹは、ノードＹ１～Ｙ１２を含む。隠れ層ＬＡは、ノードＡ１～Ａ６を含む。隠れ層ＬＢは、ノードＢ１～Ｂ６を含む。隠れ層ＬＣは、ノードＣ１～Ｃ６を含む。隠れ層ＬＤは、ノードＤ１～Ｄ６を含む。学習済モデルＬＭ２１、ＬＭ２２は、置換ステップＭ１３により得られる学習済モデルＬＭ２の具体例である。
【0084】
本具体例では、プロセッサ１１は、特定ステップＭ１２において、入力層ＬＸ（第１の層）に含まれる各ノードの出力値（第１データ）と、隠れ層ＬＢ（第２の層）に含まれる各ノードの出力値（第２データ）との関係を表す非線形の関係式ｆｘｂを、遺伝的アルゴリズムを用いて特定する。関係式ｆｘｂは、例えば以下の（４）式である。ただし、（４）式において、ｉは、１≦ｉ≦６を満たす自然数であり、ｂｉは、隠れ層ＬＢに含まれるノードＢｉの出力値である。ｘ１～ｘ１２は、入力層ＬＸに含まれるノードＸ１～Ｘ１２の出力値である。
ｂｉ＝ｆｘｂｉ（ｘ１，ｘ２，ｘ３，…，ｘ１２） …（４）
ｂｉ＝ｆｘｂｉ（ｘ１，ｘ２，ｘ３，…，ｘ１２） …（４）
【0085】
また、プロセッサ１１は、上述の特定ステップＭ１２において、隠れ層ＬＢ（第１の層）に含まれるノードの出力値（第１データ）と、隠れ層ＬＤ（第２の層）に含まれるノードの出力値（第２データ）との関係を表す非線形の関係式ｆｂｄを、遺伝的アルゴリズムを用いて特定する。この場合、プロセッサ１１が特定する関係式は、例えば以下の（５）式である。ただし、（５）式において、ｋは、１≦ｋ≦６を満たす自然数であり、ｄｋは、隠れ層ＬＤに含まれるノードＤｉの出力値である。ｂ１～ｂ６は、隠れ層ＬＢに含まれるノードＢ１～Ｂ６の出力値である。
ｄｋ＝ｆｂｄｋ（ｂ１，ｂ２，ｂ３，…，ｂ６） …（５）
ｄｋ＝ｆｂｄｋ（ｂ１，ｂ２，ｂ３，…，ｂ６） …（５）
【0086】
プロセッサ１１は、置換ステップＭ１３において、学習済モデルＬＭ１２における第１の層と第２の層との間の演算を、関係式ｆｘｂ及び関係式ｆｂｄを用いた演算に置換し、学習済モデルＬＭ２１、ＬＭ２２を生成する。
【0087】
学習済モデルＬＭ２１は、学習済モデルＬＭ１２において、入力層ＬＸ（第１の層）と隠れ層ＬＢ（第２の層）との間の演算が、関係式ｆｂｄを用いる演算に置換された、学習済モデルである。学習済モデルＬＭ２１は、入力層ＬＸ、隠れ層ＬＢ´、ＬＣ、ＬＤ、出力層ＬＹを含む。学習済モデルＬＭ２１の隠れ層ＬＢは、ノードＢ１´～Ｂ６´を含む。
【0088】
学習済モデルＬＭ１２では、隠れ層ＬＢに含まれる各ノードの出力値は、前の層である隠れ層ＬＡに含まれる各ノードの出力値、接続エッジの重み値、隠れ層ＬＢが持つ活性化関数から計算される。それに対し、学習済モデルＬＭ２１では、隠れ層ＬＢ´（第２の層）に含まれる各ノードの出力値は、特定ステップＭ１２でプロセッサ１１が特定した（４）式に、入力層ＬＸ（第１の層）に含まれる各ノードの出力値を代入することにより計算される。
【0089】
また、学習済モデルＬＭ２２は、学習済モデルＬＭ２１の第１の層（隠れ層ＬＢ）と第２の層（隠れ層ＬＤ）との間の演算が、特定ステップＭ１２で特定した関係式を用いた演算に置換された、学習済モデルである。学習済モデルＬＭ２２は、入力層ＬＸ、隠れ層ＬＢ´、ＬＤ´、出力層ＬＹを含む。隠れ層ＬＢ´は、ノードＢ１´～Ｂ６´を含む。隠れ層ＬＤ´は、ノードＤ１´～Ｄ６´を含む。
【0090】
学習済モデルＬＭ１２及び学習済モデルＬ２１では、隠れ層ＬＤに含まれる各ノードの出力値は、前の層である隠れ層ＬＣに含まれる各ノードの出力値、接続エッジの重み値、隠れ層ＬＤが持つ活性化関数から計算される。それに対し、学習済モデルＬＭ２２では、隠れ層ＬＤ´（第２の層）に含まれる各ノードの出力値は、特定ステップＭ１２でプロセッサ１１が特定した（５）式に、隠れ層ＬＢ´（第１の層）に含まれる各ノードの出力値を代入することにより計算される。
【0091】
（置換ステップにより得られる学習済モデルの具体例２）
図１２は、置換ステップＭ１３により得られる学習済モデルの他の具体例を説明するための図である。図において、学習済モデルＬＭ２３、ＬＭ２４は、置換ステップＭ１３により得られる学習済モデルＬＭ２の具体例である。本具体例では、プロセッサ１１は、特定ステップＭ１２において、第１の層に含まれる各ノードの出力値と、第２の層に含まれる各ノードの出力値との関係を表す非線形の関係式として、関係式ｆｘａ、関係式ｆａｃ、関係式ｆｃｙの３種類の関係式を特定する。
図１２は、置換ステップＭ１３により得られる学習済モデルの他の具体例を説明するための図である。図において、学習済モデルＬＭ２３、ＬＭ２４は、置換ステップＭ１３により得られる学習済モデルＬＭ２の具体例である。本具体例では、プロセッサ１１は、特定ステップＭ１２において、第１の層に含まれる各ノードの出力値と、第２の層に含まれる各ノードの出力値との関係を表す非線形の関係式として、関係式ｆｘａ、関係式ｆａｃ、関係式ｆｃｙの３種類の関係式を特定する。
【0092】
関係式ｆｘａは、入力層ＬＸ（第１の層）に含まれる各ノードの出力値（第１データ）と、隠れ層ＬＡ（第２の層）に含まれる各ノードの出力値（第２データ）との関係を表す関係式である。関係式ｆｘａは、例えば以下の（６）式である。（６）式において、ｉは、１≦ｉ≦６を満たす自然数であり、ａｉは、隠れ層ＬＡに含まれるノードＡｉの出力値である。ｘ１～ｘ１２は、入力層ＬＸに含まれるノードＸ１～Ｘ１２の出力値である。
ａｉ＝ｆｘａｉ（ｘ１，ｘ２，ｘ３，…，ｘ１２） …（６）
ａｉ＝ｆｘａｉ（ｘ１，ｘ２，ｘ３，…，ｘ１２） …（６）
【0093】
関係式ｆａｃは、隠れ層ＬＡ（第１の層）に含まれる各ノードの出力値（第１データ）と、隠れ層ＬＤ（第２の層）に含まれる各ノードの出力値（第２データ）との関係を表す関係式である。関係式ｆａｃは、例えば以下の（７）式である。（７）式において、ｉは、１≦ｉ≦６を満たす自然数であり、ｃｉは、隠れ層ＬＤに含まれるノードＣｉの出力値である。ａ１～ａ６は、隠れ層ＬＡに含まれるノードＡ１～Ａ６の出力値である。
ｃｉ＝ｆａｃｉ（ａ１，ａ２，ａ３，…，ａ６） …（７）
ｃｉ＝ｆａｃｉ（ａ１，ａ２，ａ３，…，ａ６） …（７）
【0094】
関係式ｆｃｙは、出力層ＬＹ（第１の層）に含まれる各ノードの出力値（第１データ）と、隠れ層ＬＣ（第２の層）に含まれる各ノードの出力値（第２データ）との関係を表す関係式である。関係式ｆｃｙは、例えば以下の（８）式である。（８）式において、ｉは、１≦ｉ≦６を満たす自然数であり、ｙｉは、出力層ＬＹに含まれるノードＹｉの出力値である。ｃ１～ｃ６は、隠れ層ＬＣに含まれるノードＣ１～Ｃ６の出力値である。
ｙｉ＝ｆｃｙｉ（ｃ１，ｃ２，ｃ３，…，ｃ６） …（８）
ｙｉ＝ｆｃｙｉ（ｃ１，ｃ２，ｃ３，…，ｃ６） …（８）
【0095】
プロセッサ１１は、上述の置換ステップＭ１３において、学習済モデルＬＭ１２における第１の層と第２の層との間の演算を、特定ステップＭ１２で特定した関係式を用いた演算に置換し、学習済モデルＬＭ２３を生成する。
【0096】
学習済モデルＬＭ２３は、入力層ＬＸ、隠れ層ＬＡ´、ＬＣ´、出力層ＬＹ´を含む。隠れ層ＬＡ´は、ノードＡ１´～Ａ６´を含む。隠れ層ＬＣ´は、ノードＣ１´～Ｃ６´を含む。出力層ＬＹ´は、ノードＹ１´～Ｙ１２´を含む。学習済モデルＬＭ２３では、入力層ＬＸ（第１の層）と隠れ層ＬＡ´（第２の層）との間の演算が、関係式ｆｘａを用いた演算に置換されている。また、学習済モデルＬＭ２３では、隠れ層ＬＡ´（第１の層）と隠れ層ＬＣ´（第２の層）との間の演算が、関係式ｆａｃを用いた演算に置換されている。また、学習済モデルＬＭ２３では、隠れ層ＬＣ´（第１の層）と出力層ＬＹ´（第２の層）との間の演算が、関係式ｆｃｙを用いた演算に置換されている。
【0097】
学習済モデルＬＭ１２では、隠れ層ＬＡに含まれる各ノードの出力値は、前の層である入力層ＬＸに含まれる各ノードの出力値、接続エッジの重み値、隠れ層ＬＡが持つ活性化関数から計算される。それに対し、学習済モデルＬＭ２３では、隠れ層ＬＡ´（第２の層）に含まれる各ノードの出力値は、関係式ｆｘａに、入力層ＬＸ（第１の層）に含まれる各ノードの出力値を代入することにより計算される。
【0098】
また、学習済モデルＬＭ１２では、隠れ層ＬＣに含まれる各ノードの出力値は、前の層である隠れ層ＬＢに含まれる各ノードの出力値、接続エッジの重み値、隠れ層ＬＣが持つ活性化関数から計算される。それに対し、学習済モデルＬＭ２３では、隠れ層ＬＣ´（第２の層）に含まれる各ノードの出力値は、関係式ｆａｃに、隠れ層ＬＡ´（第１の層）に含まれる各ノードの出力値を代入することにより計算される。
【0099】
また、学習済モデルＬＭ１２では、出力層ＬＹに含まれる各ノードの出力値は、前の層である隠れ層ＬＤに含まれる各ノードの出力値、接続エッジの重み値、出力層ＬＹが持つ活性化関数から計算される。それに対し、学習済モデルＬＭ２３では、出力層ＬＹ´（第２の層）に含まれる各ノードの出力値は、関係式ｆｃｙに、隠れ層ＬＣ´（第１の層）に含まれる各ノードの出力値を代入することにより計算される。
【0100】
また、本具体例では、プロセッサ１１は更に、関係式ｆｘａ（第１の関係式の一例）、関係式ｆａｃ（第２の関係式の一例）、及び関係式ｆｃｙを用いて、入力層ＬＸ（第１の層の一例）に含まれるノードの出力値と、出力層ＬＹ（第２の層の一例）に含まれるノードの出力値との関係を表す非線形の関係式を特定する。本具体例において、中間層ＬＡ、ＬＣは本実施形態に係る第３の層の一例である。プロセッサ１１は、関係式ｆｘａ、ｆａｃ、ｆｃｙの連立方程式を解くことにより、ｘ１～ｘ１２と、ｙ１～ｙ１２との関係を表す関係式ｆｘｙを特定する。関係式ｆｘｙは、例えば以下の（９）式で表される。（９）式において、ｉは、１≦ｉ≦１２を満たす自然数であり、ｙｉは、出力層ＬＹに含まれるノードＹｉの出力値である。ｘ１～ｘ１２は、入力層ＬＸに含まれるノードＸ１～Ｘ１２の出力値である。
ｙｉ＝ｆｘｙｉ（ｘ１，ｘ２，ｘ３，…，ｘ１２） …（９）
ｙｉ＝ｆｘｙｉ（ｘ１，ｘ２，ｘ３，…，ｘ１２） …（９）
【0101】
プロセッサ１１は、学習済モデルＬＭ２３における入力層ＬＸと出力層ＬＹとの間の演算を、関係式ｆｘｙを用いた演算に置換し、学習済モデルＬＭ２４を生成する。学習済モデルＬＭ２４は、入力層ＬＸ、出力層ＬＹを含む。出力層ＬＹは、ノードＹ１´´～Ｙ１２´´を含む。
【0102】
学習済モデルＬＭ２４では、学習済モデルＬＭ２３における、入力層ＬＸと出力層ＬＹ´との間の演算が、関係式ｆｘｙを用いた演算に置換されている。すなわち、学習済モデルＬＭ２４では、出力層ＬＹ´´に含まれる各ノードの出力値は、関係式ｆｘｙに、入力層ＬＸに含まれる各ノードの出力値を代入することにより計算される。
【0103】
（置換ステップにより得られる学習済モデルの具体例３）
図１３は、置換ステップＭ１３により得られる学習済モデルの他の具体例を説明するための図である。図において、学習済モデルＬＭ２６、ＬＭ２７は、置換ステップＭ１３により得られる学習済モデルＬＭ２の具体例である。本具体例では、プロセッサ１１は、特定ステップＭ１２において、第１の層に含まれる各ノードの出力値と、第２の層に含まれる各ノードの出力値との関係を表す非線形の関係式として、関係式ｆｘａ、関係式ｆａｂ、関係式ｆｂｃ、関係式ｆｃｄ、関係式ｆｄｙの５種類の関係式を特定する。
図１３は、置換ステップＭ１３により得られる学習済モデルの他の具体例を説明するための図である。図において、学習済モデルＬＭ２６、ＬＭ２７は、置換ステップＭ１３により得られる学習済モデルＬＭ２の具体例である。本具体例では、プロセッサ１１は、特定ステップＭ１２において、第１の層に含まれる各ノードの出力値と、第２の層に含まれる各ノードの出力値との関係を表す非線形の関係式として、関係式ｆｘａ、関係式ｆａｂ、関係式ｆｂｃ、関係式ｆｃｄ、関係式ｆｄｙの５種類の関係式を特定する。
【0104】
関係式ｆｘａは、入力層ＬＸに含まれる各ノードの出力値と、隠れ層ＬＡに含まれる各ノードの出力値との関係を表す関係式である。
【0105】
関係式ｆａｂは、隠れ層ＬＡに含まれる各ノードの出力値と、隠れ層ＬＢに含まれる各ノードの出力値との関係を表す関係式である。関係式ｆｂｃは、隠れ層ＬＢに含まれる各ノードの出力値と、隠れ層ＬＣに含まれる各ノードの出力値との関係を表す関係式である。関係式ｆｃｄは、隠れ層ＬＣに含まれる各ノードの出力値と、隠れ層ＬＤに含まれる各ノードの出力値との関係を表す関係式である。関係式ｆｄｙは、隠れ層ＬＤに含まれる各ノードの出力値と、隠れ層ＬＹに含まれる各ノードの出力値との関係を表す関係式である。
【0106】
プロセッサ１１は、上述の置換ステップＭ１３において、学習済モデルＬＭ１２における第１の層と第２の層との間の演算を、特定ステップＭ１２で特定した関係式を用いた演算に置換し、学習済モデルＬＭ２６を生成する。学習済モデルＬＭ２６は、入力層ＬＸ、隠れ層ＬＡ´～ＬＤ´、出力層ＬＹ´を含む。隠れ層ＬＡ´は、ノードＡ１´～Ａ６´を含む。隠れ層ＬＢ´は、ノードＢ１´～Ｂ６´を含む。隠れ層ＬＣ´は、ノードＣ１´～Ｃ６´を含む。隠れ層ＬＤ´は、ノードＤ１´～Ｄ６´を含む。出力層ＬＹ´は、ノードＹ１´～Ｙ１２´を含む。
【0107】
学習済モデルＬＭ２６では、各層の間の演算が、関係式を用いた演算に置換されている。例えば、学習済モデルＬＭ２６では、入力層ＬＸと隠れ層ＬＡ´との間の演算が、関係式ｆｘａを用いた演算に置換されている。同様に、学習済モデルＬＭ２６では、隠れ層ＬＡ´と隠れ層ＬＢ´との間の演算が、関係式ｆａｂを用いた演算に置換されている。
【0108】
学習済モデルＬＭ２６では、各層に含まれるノードの出力値は、遺伝的アルゴリズムにより特定された関係式ｆｘａ～ｆｄｙに、前の層に含まれる各ノードの出力値を代入することにより算出される。
【0109】
また、本具体例では、プロセッサ１１は更に、関係式ｆｘａ～ｆｄｙの連立方程式を解くことにより、ｘ１～ｘ１２と、ｙ１～ｙ１２との関係を表す関係式ｆｘｙを特定する。関係式ｆｘｙは、例えば上述の（９）式で表される。
【0110】
プロセッサ１１は、学習済モデルＬＭ２６における入力層ＬＸと出力層ＬＹ´との間の演算を、関係式ｆｘｙを用いた演算に置換し、学習済モデルＬＭ２７を生成する。学習済モデルＬＭ２７は、入力層ＬＸ、出力層ＬＹ´´を含む。出力層ＬＹ´´は、ノードＹ１´´～Ｙ１２´´を含む。
【0111】
学習済モデルＬＭ２７では、学習済モデルＬＭ２６における、入力層ＬＸと出力層ＬＹ´´との間の演算が、関係式ｆｘｙを用いた演算に置換されている。すなわち、学習済モデルＬＭ２７では、出力層ＬＹ´´に含まれる各ノードの出力値は、関係式ｆｘｙに、入力層ＬＸに含まれる各ノードの出力値を代入することにより計算される。
【0112】
（置換ステップにより得られる学習済モデルの具体例４）
図１４は、置換ステップＭ１３により得られる学習済モデルＬＭ２の他の具体例を説明するための図である。図において、学習済モデルＬＭ２５は、置換ステップＭ１３により得られる学習済モデルＬＭ２の例である。本具体例では、プロセッサ１１は、特定ステップＭ１２において、入力層ＬＸ（第１の層）に含まれる各ノードの出力値（第１データ）と、出力層ＬＹ（第２の層）に含まれる各ノードの出力値との関係を表す非線形の関係式ｆｘｙを、遺伝的アルゴリズムを用いて特定する。
図１４は、置換ステップＭ１３により得られる学習済モデルＬＭ２の他の具体例を説明するための図である。図において、学習済モデルＬＭ２５は、置換ステップＭ１３により得られる学習済モデルＬＭ２の例である。本具体例では、プロセッサ１１は、特定ステップＭ１２において、入力層ＬＸ（第１の層）に含まれる各ノードの出力値（第１データ）と、出力層ＬＹ（第２の層）に含まれる各ノードの出力値との関係を表す非線形の関係式ｆｘｙを、遺伝的アルゴリズムを用いて特定する。
【0113】
プロセッサ１１は、置換ステップＭ１３において、学習済モデルＬＭ１２における入力層ＬＸと出力層ＬＹとの間の演算を、関係式ｆｘｙを用いた演算に置換し、学習済モデルＬ２５を生成する。学習済モデルＬＭ２５は、入力層ＬＸ、出力層ＬＹを含む。学習済モデルＬＭ２５の出力層ＬＹは、ノードＹ１´～Ｙ１２´を含む。
【0114】
学習済モデルＬＭ２５は、学習済モデルＬＭ１２において、入力層ＬＸと出力層ＬＹとの間の演算が、関係式ｆｘｙを用いる演算に置換された、学習済モデルである。学習済モデルＬＭ２５では、出力層ＬＹ´（第２の層）に含まれる各ノードの出力値は、特定ステップＭ１２でプロセッサ１１が特定した（４）式に、入力層ＬＸ（第１の層）に含まれる各ノードの出力値を代入することにより計算される。
【0115】
【0116】
推定装置３は、汎用コンピュータを用いて実現されており、プロセッサ３１と、一次メモリ３２と、二次メモリ３３と、入出力インタフェース３４と、通信インタフェース３５と、バス３６とを備えている。プロセッサ３１、一次メモリ３２、二次メモリ３３、入出力インタフェース３４、及び通信インタフェース３５は、バス３６を介して相互に接続されている。
【0117】
二次メモリ３３には、推定プログラムＰ３が格納されている。プロセッサ２１は、二次メモリ２３に格納されている推定プログラムＰ３を一次メモリ３２上に展開する。そして、プロセッサ３１は、一次メモリ３２上に展開された推定プログラムＰ３に含まれる命令に従って、推定方法Ｍ３（推定ステップの一例）に含まれる各ステップを実行する。二次メモリ３３に格納された学習済モデルＬＭ２は、推定方法Ｍ３の第２推定ステップＭ３１（後述）において利用される。なお、推定プログラムＰ３が二次メモリ３３に格納されているとは、ソースコード、又は、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ３３に記憶されていることを指す。
【0118】
プロセッサ３１として利用可能なデバイスとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせを挙げることができる。プロセッサ３１は、「演算装置」と呼ばれることもある。
【0119】
また、一次メモリ３２として利用可能なデバイスとしては、例えば、半導体ＲＡＭ（Random Access Memory）を挙げることができる。一次メモリ３２は、「主記憶装置」と呼ばれることもある。また、二次メモリ３３として利用可能なデバイスとしては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＯＤＤ（Optical Disk Drive）、ＦＤＤ（Floppy Disk Drive）、又は、これらの組み合わせを挙げることができる。二次メモリ３３は、「補助記憶装置」と呼ばれることもある。なお、二次メモリ３３は、推定装置３に内蔵されていてもよいし、入出力インタフェース３４又は通信インタフェース３５を介して推定装置３と接続された他のコンピュータ（例えば、クラウドサーバを構成するコンピュータ）に内蔵されていてもよい。なお、本実施形態においては、推定装置３における記憶を２つのメモリ（一次メモリ３２及び二次メモリ３３）により実現しているが、これに限定されない。すなわち、推定装置３における記憶を１つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ３２として利用し、そのメモリの他の記憶領域を二次メモリ３３として利用すればよい。
【0120】
入出力インタフェース３４には、入力デバイス及び／又は出力デバイスが接続される。入出力インタフェース３４としては、例えば、ＵＳＢ（Universal Serial Bus）、ＡＴＡ（Advanced Technology Attachment）、ＳＣＳＩ（Small Computer System Interface）、ＰＣＩ（Peripheral Component Interconnect）などのインタフェースが挙げられる。入出力インタフェース３４に接続される入力デバイスとしては例えば、鋳造ラインに設けられたセンサ群が挙げられる。推定方法Ｍ３においてセンサ群から取得するデータは推定装置３に入力され、一次メモリ３２に記憶される。また、入出力インタフェース３４に接続される入力デバイスとしては、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。推定方法Ｍ３においてユーザから取得するデータは、これらの入力デバイスを介して推定方法Ｍ３に入力され、一次メモリ３２に記憶される。また、入出力インタフェース３４に接続される出力デバイスとしては、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。推定方法Ｍ３においてユーザに提供する情報は、これらの出力デバイスを介して推定装置３から出力される。なお、推定装置３は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、推定装置３は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。
【0121】
通信インタフェース３５には、ネットワークを介して他のコンピュータが有線接続又は無線接続される。通信インタフェース３５としては、例えば、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）などのインタフェースが挙げられる。利用可能なネットワークとしては、ＰＡＮ（Personal Area Network）、ＬＡＮ（Local Area Network）、ＣＡＮ（Campus Area Network）、ＭＡＮ（Metropolitan Area Network）、ＷＡＮ（Wide Area Network）、ＧＡＮ（Global Area Network）、又は、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。推定装置３が他のコンピュータ（例えば、ネットワーク置換装置１）から提供されるデータ（例えば、学習済モデルＬＭ２）は、これらのネットワークを介して送受信される。
【0122】
なお、本実施形態においては、単一のプロセッサ（プロセッサ３１）を用いて推定方法Ｍ３を実行する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて推定方法Ｍ３を実行する構成を採用してもよい。この場合、連携して推定方法Ｍ３を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携して推定方法Ｍ３を実行する態様などが考えられる。
【0123】
また、本実施形態においては、推定方法Ｍ３を実行するプロセッサ（プロセッサ３１）と同じコンピュータに内蔵されたメモリ（二次メモリ３３）に学習済モデルＬＭ２を格納する構成を採用しているが、本発明は、これに限定されない。すなわち、推定方法Ｍ３を実行するプロセッサと異なるコンピュータに内蔵されたメモリに学習済モデルＬＭ２を格納する構成を採用してもよい。この場合、学習済モデルＬＭ２を格納するメモリが内蔵されたコンピュータは、推定方法Ｍ３を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信可能に構成される。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリに学習済モデルＬＭ２を格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサが推定方法Ｍ３を実行する態様などが考えられる。
【0124】
また、本実施形態においては、単一のメモリ（二次メモリ３３）に学習済モデルＬＭ２を格納する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のメモリに学習済モデルＬＭ２を分散して格納する構成を採用してもよい。この場合、学習済モデルＬＭ２を格納する複数のメモリは、単一のコンピュータ（推定方法Ｍ３を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい）に設けられていてもよいし、複数のコンピュータ（推定方法Ｍ３を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい）に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリに学習済モデルＬＭ２を分散して格納する構成などが考えられる。
【0125】
〔推定方法の流れ〕
推定方法Ｍ３の流れについて、図１６を参照して説明する。図１６は、推定方法Ｍ３の流れを示すフローチャートである。推定方法Ｍ３は、第２推定ステップＭ３１と、出力ステップＭ３２と、を含んでいる。
推定方法Ｍ３の流れについて、図１６を参照して説明する。図１６は、推定方法Ｍ３の流れを示すフローチャートである。推定方法Ｍ３は、第２推定ステップＭ３１と、出力ステップＭ３２と、を含んでいる。
【0126】
第２推定ステップＭ３１は、プロセッサ１１が、学習済モデルＬＭ２を用いて、入力データから出力データを推定するステップである。第２推定ステップＭ３１において推定される出力データは、学習済モデルＬＭ１に入力データを入力した場合に出力されると推定されるデータである。
【0127】
出力ステップＭ３２は、プロセッサ１１が、推定した出力データを出力するステップである。プロセッサ１１は例えば、出力データの表す画像をディスプレイに表示する等して出力データを出力する。
【0128】
本実施形態によれば、ディープニューラルネットワークのノードの数を減らしてその構造を集約することができ、ディープニューラルネットワークの演算を高速化することができる。また、各ノードに係る演算を関係式化することにより、各ノードの特徴を把握し易い。
【0129】
また、本実施形態によれば、推定装置３は、学習済モデルＬＭ２を用いて、学習済モデルＬＭ１の出力を推定する。すなわち、推定装置３は、学習済モデルＬＭ１を用いることなく、学習済モデルＬＭ１よりも簡易な演算により、入力データから学習済モデルＬＭ１の出力を推定することができる。
【0130】
また、本実施形態によれば、学習済モデルを非線形の関係式に圧縮することにより、中間層（隠れ層）の処理を数式で可視化することができる。
【0131】
また、例えば、ＤＮＮのノードの数、層の数、活性化関数がノウハウである場合、それらは秘匿されることが好ましい。本実施形態によれば、中間層を関係式化することで、例えば、ノードの数、層の数、活性化関数に何を用いているか、といったＤＮＮの具体的構成を秘匿化することができる。すなわち、ＤＮＮの構成を暗号化、解析困難化することができる。
【0132】
また、本実施形態では、データ収集装置１１１が学習済モデルＬＭ１の入力データと出力データとをバッファリングし、遺伝的アルゴリズムＧＡに時間的同期をつけて入力する。学習済モデルＬＭ１からの出力と遺伝的アルゴリズムＧＡへの入力の時間的同期を図ることができるため、次段の遺伝的アルゴリズムＧＡが最終解を出力するまでの時間を先読みすることができる。
【0133】
また、本実施形態では、データ収集装置１１１が、学習済モデルＬＭ１のデータを纏めて（ある程度の情報単位にして）次段の遺伝的アルゴリズムＧＡに入力する一種のバッファとして働く。これにより、次段の遺伝的アルゴリズムＧＡの世代演算処理において無駄なメモリ空間及び無駄な演算処理を削減でき、遺伝的アルゴリズムの世代演算処理を効率化できる。
【0134】
【0135】
機械学習装置２は、汎用コンピュータを用いて実現されており、プロセッサ２１と、一次メモリ２２と、二次メモリ２３と、入出力インタフェース２４と、通信インタフェース２５と、バス２６とを備えている。プロセッサ２１、一次メモリ２２、二次メモリ２３、入出力インタフェース２４、及び通信インタフェース２５は、バス２６を介して相互に接続されている。
【0136】
二次メモリ２３には、機械学習プログラムＰ２及び学習用データセットＤＳが格納されている。学習用データセットＤＳは、教師データＤＳ１，ＤＳ２…の集合である。プロセッサ２１は、二次メモリ２３に格納されている機械学習プログラムＰ２を一次メモリ２２上に展開する。そして、プロセッサ２１は、一次メモリ２２上に展開された機械学習プログラムＰ２に含まれる命令に従って、機械学習方法Ｍ２に含まれる各ステップを実行する。二次メモリ２３に格納された学習用データセットＤＳは、機械学習方法Ｍ２の学習用データセット構築ステップＭ２１（後述）にて構築され、機械学習方法Ｍ２の学習済モデル構築ステップＭ２２（後述）において利用される。また、機械学習方法Ｍ２の学習済モデル構築ステップＭ２２にて構築された学習済モデルＬＭ１も、二次メモリ２３に格納される。なお、機械学習プログラムＰ２が二次メモリ２３に格納されているとは、ソースコード、又は、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ２３に記憶されていることを指す。また、学習済モデルＬＭ１が二次メモリ２３に格納されているとは、学習済モデルＬＭ１を規定するパラメータが二次メモリ２３に格納されていることを指す。
【0137】
プロセッサ２１として利用可能なデバイスとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせを挙げることができる。プロセッサ２１は、「演算装置」と呼ばれることもある。
【0138】
また、一次メモリ２２として利用可能なデバイスとしては、例えば、半導体ＲＡＭ（Random Access Memory）を挙げることができる。一次メモリ２２は、「主記憶装置」と呼ばれることもある。また、二次メモリ２３として利用可能なデバイスとしては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＯＤＤ（Optical Disk Drive）、ＦＤＤ（Floppy Disk Drive）、又は、これらの組み合わせを挙げることができる。二次メモリ２３は、「補助記憶装置」と呼ばれることもある。なお、二次メモリ２３は、機械学習装置２に内蔵されていてもよいし、入出力インタフェース２４又は通信インタフェース２５を介して機械学習装置２と接続された他のコンピュータ（例えば、クラウドサーバを構成するコンピュータ）に内蔵されていてもよい。なお、本実施形態においては、機械学習装置２における記憶を２つのメモリ（一次メモリ２２及び二次メモリ２３）により実現しているが、これに限定されない。すなわち、機械学習装置２における記憶を１つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ２２として利用し、そのメモリの他の記憶領域を二次メモリ２３として利用すればよい。
【0139】
入出力インタフェース２４には、入力デバイス及び／又は出力デバイスが接続される。入出力インタフェース２４としては、例えば、ＵＳＢ（Universal Serial Bus）、ＡＴＡ（Advanced Technology Attachment）、ＳＣＳＩ（Small Computer System Interface）、ＰＣＩ（Peripheral Component Interconnect）などのインタフェースが挙げられる。入出力インタフェース２４に接続される入力デバイスとしては、鋳造ラインに設けられたセンサ群が挙げられる。機械学習方法Ｍ２においてセンサ群から取得するデータは機械学習装置２に入力され、一次メモリ２２に記憶される。また、入出力インタフェース２４に接続される入力デバイスとしては、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。機械学習方法Ｍ２においてユーザから取得するデータは、これらの入力デバイスを介して機械学習装置２に入力され、一次メモリ２２に記憶される。また、入出力インタフェース２４に接続される出力デバイスとしては、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。機械学習方法Ｍ２においてユーザに提供する情報は、これらの出力デバイスを介して機械学習装置２から出力される。なお、機械学習装置２は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、機械学習装置２は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。
【0140】
通信インタフェース２５には、ネットワークを介して他のコンピュータが有線接続又は無線接続される。通信インタフェース２５としては、例えば、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）などのインタフェースが挙げられる。利用可能なネットワークとしては、ＰＡＮ（Personal Area Network）、ＬＡＮ（Local Area Network）、ＣＡＮ（Campus Area Network）、ＭＡＮ（Metropolitan Area Network）、ＷＡＮ（Wide Area Network）、ＧＡＮ（Global Area Network）、又は、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。機械学習装置２が他のコンピュータ（例えば、ネットワーク置換装置１）に提供するデータ（例えば、学習済モデルＬＭ１）は、これらのネットワークを介して送受信される。
【0141】
なお、本実施形態においては、単一のプロセッサ（プロセッサ２１）を用いて機械学習方法Ｍ２を実行する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて機械学習方法Ｍ２を実行する構成を採用してもよい。この場合、連携して機械学習方法Ｍ２を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携して機械学習方法Ｍ２を実行する態様などが考えられる。
【0142】
また、本実施形態においては、機械学習方法Ｍ２を実行するプロセッサ（プロセッサ２１）と同じコンピュータに内蔵されたメモリ（二次メモリ２３）に学習用データセットＤＳを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、機械学習方法Ｍ２を実行するプロセッサと異なるコンピュータに内蔵されたメモリに学習用データセットＤＳを格納する構成を採用してもよい。この場合、学習用データセットＤＳを格納するメモリが内蔵されたコンピュータは、機械学習方法Ｍ２を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信可能に構成される。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリに学習用データセットＤＳを格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサが機械学習方法Ｍ２を実行する態様などが考えられる。
【0143】
また、本実施形態においては、単一のメモリ（二次メモリ２３）に学習用データセットＤＳを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のメモリに学習用データセットＤＳを分散して格納する構成を採用してもよい。この場合、学習用データセットＤＳを格納する複数のメモリは、単一のコンピュータ（機械学習方法Ｍ２を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい）に設けられていてもよいし、複数のコンピュータ（機械学習方法Ｍ２を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい）に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリに学習用データセットＤＳを分散して格納する構成などが考えられる。
【0144】
また、本実施形態においては、ネットワーク置換方法Ｍ１、機械学習方法Ｍ２及び推定方法Ｍ３を異なるプロセッサ（プロセッサ１１、プロセッサ２１及びプロセッサ３１）を用いて実行する構成を採用しているが、本発明は、これに限定されない。すなわち、ネットワーク置換方法Ｍ１、機械学習方法Ｍ２及び推定方法Ｍ３を同一のプロセッサを用いて実行してもよい。この場合、機械学習方法Ｍ２を実行することによって、このプロセッサと同じコンピュータに内蔵されたメモリに学習済モデルＬＭ１が格納さる。そして、このプロセッサは、ネットワーク置換方法Ｍ１を実行する際に、このメモリに格納された学習済モデルＬＭ１を利用し、学習済モデルＬＭ２を生成することになる。また、このプロセッサは、推定方法Ｍ３を実行する際に、生成した学習済モデルＬＭ２を用いて出力データを推定する。
【0145】
【0146】
機械学習方法Ｍ２は、学習用データセット構築ステップＭ２１と、学習済モデル構築ステップＭ２２と、を含んでいる。
【0147】
学習用データセット構築ステップＭ２１は、プロセッサ２１が、教師データＤＳ１，ＤＳ２，…の集合である学習用データセットＤＳを構築するステップである。
【0148】
各教師データＤＳｉ（ｉ＝１，２，…）には、入力用データ、及び出力用データが含まれている。教師データＤＳｉに含まれる入力用データは、学習済モデルＬＭ１に入力する入力データと同様のデータである。学習用データセット構築ステップＭ２１において、プロセッサ２１は、ネットワーク置換装置１と同様の方法でこのデータを取得する。また、教師データＤＳｉには、出力用データがラベルとして含まれる。学習用データセット構築ステップＭ２１において、プロセッサ２１は、入力用データと、出力用データとを関連付けて二次メモリ２３に格納する。以上のプロセスをプロセッサ２１が繰り返すことによって、学習用データセットＤＳが構築される。
【0149】
学習済モデル構築ステップＭ２２は、プロセッサ２１が、学習済モデルＬＭ１を構築するステップである。学習済モデル構築ステップＭ２２において、プロセッサ２１は、学習用データセットＤＳを用いた教師あり学習によって、学習済モデルＬＭ１を構築する。そして、プロセッサ２１は、構築した学習済モデルＬＭ１を二次メモリ２３に格納する。
【0150】
〔実施例１〕
本実施形態に係るネットワーク置換システムＳは、例えば鋳造システムに適用される。鋳造システムが実施する鋳造フェーズＣ１０について、図１９を参照して説明する。図１９は、鋳造システムにおける鋳造フェーズＣ１０の構成を示す図である。
本実施形態に係るネットワーク置換システムＳは、例えば鋳造システムに適用される。鋳造システムが実施する鋳造フェーズＣ１０について、図１９を参照して説明する。図１９は、鋳造システムにおける鋳造フェーズＣ１０の構成を示す図である。
【0151】
鋳造フェーズＣ１０は、鋳物砂を用いて鋳造を行うフェーズである。鋳造フェーズＣ１０は、例えば図１８に示すように、混練工程Ｃ１１と、造型工程Ｃ１２と、抜型工程Ｃ１３と、塗型工程Ｃ１４と、枠合せ工程Ｃ１５と、注湯工程Ｃ１６と、冷却工程Ｃ１７と、解枠工程Ｃ１８と、により構成することができる。
【0152】
混練工程Ｃ１１は、鋳物砂に樹脂及び硬化剤を含む添加物を加えて混練する工程である。造型工程Ｃ１２は、混練工程Ｃ１１にて混練された鋳物砂を鋳枠に充填することによって、鋳型を造型する工程である。ここでは、鋳型の上部に相当する上型と鋳型の下部に相当する下型とが、それぞれ造型されるものとする。抜型工程Ｃ１３は、造型工程Ｃ１２にて造型された上型及び下型を鋳枠から分離する工程である。塗型工程Ｃ１４は、抜型工程Ｃ１３にて取り出した上型及び下型の製品面に塗型剤を塗布する工程である。枠合せ工程Ｃ１５は、塗型工程Ｃ１４にて塗型剤が塗布された上型と下型とを合体させることによって、鋳型を得る工程である。注湯工程Ｃ１６は、枠合せ工程Ｃ１５にて得られた鋳型に溶湯を流し込む工程である。冷却工程Ｃ１７は、注湯工程Ｃ１６にて鋳型に注入された溶湯を冷却する工程である。冷却された溶湯は、鋳型の内部で凝固して鋳物となる。解枠工程Ｃ１８は、鋳型に振動を与えることによって、鋳型を解体して砂塊にすると共に、冷却工程Ｃ１７にて得られた鋳物を取り出す工程である。
【0153】
鋳造フェーズＣ１０にて得られた砂塊は、例えば、解砕工程、分離工程、再生前冷却工程、砂再生工程等を経て鋳物砂に再生される。
【0154】
本実施例に係る鋳造システムにおいて、遺伝的アルゴリズムを用いて生成される学習済モデルＬＭ２における入力データは例えば、鋳造ラインに設置された各種のセンサが検知するセンサ出力値を含む。出力データは例えば、ＣＢ値、鋳型強度、鋳型の欠けの有無ラベル、製品の良品、不良品ラベルを含む。
【0155】
〔実施例２〕
本実施形態に係るネットワーク置換システムＳは、例えば売上予測システムに適用される。売上予測システムにおいて、遺伝的アルゴリズムを用いて生成される学習済モデルＬＭ２における入力データは例えば、気温、曜日、通行量、人口、世帯数、店舗面積、単価、品ぞろえ数、駅からの距離、広告費、SNSハッシュタグ統計、キーワード検索統計、感染症の感染者数、来日外国人数、為替レート、株価、金利、物価、雇用統計、日銀短観、家計調査を示す条件データを含む。出力データは例えば、売上金額を示すデータを含む。
本実施形態に係るネットワーク置換システムＳは、例えば売上予測システムに適用される。売上予測システムにおいて、遺伝的アルゴリズムを用いて生成される学習済モデルＬＭ２における入力データは例えば、気温、曜日、通行量、人口、世帯数、店舗面積、単価、品ぞろえ数、駅からの距離、広告費、SNSハッシュタグ統計、キーワード検索統計、感染症の感染者数、来日外国人数、為替レート、株価、金利、物価、雇用統計、日銀短観、家計調査を示す条件データを含む。出力データは例えば、売上金額を示すデータを含む。
【0156】
〔実施例３〕
また、本実施形態に係るネットワーク置換システムＳは、例えば創薬システムに適用される。創薬システムにおいて、遺伝的アルゴリズムを用いて生成される学習済モデルＬＭ２における入力データは例えば、分子モデルパラメータ、各成分の結合親和性を示すデータを含む。出力データは例えば、薬剤を示すデータを含む。
また、本実施形態に係るネットワーク置換システムＳは、例えば創薬システムに適用される。創薬システムにおいて、遺伝的アルゴリズムを用いて生成される学習済モデルＬＭ２における入力データは例えば、分子モデルパラメータ、各成分の結合親和性を示すデータを含む。出力データは例えば、薬剤を示すデータを含む。
【0157】
〔実施例４〕
また、本実施形態に係るネットワーク置換システムＳは、例えば材料開発システムに適用される。材料開発システムにおいて、遺伝的アルゴリズムを用いて生成される学習済モデルＬＭ２における入力データは例えば、合金の成分の配合率、物性値を含む。出力データは例えば、生成される材料の特性（強度、等）を表す特性データを含む。
また、本実施形態に係るネットワーク置換システムＳは、例えば材料開発システムに適用される。材料開発システムにおいて、遺伝的アルゴリズムを用いて生成される学習済モデルＬＭ２における入力データは例えば、合金の成分の配合率、物性値を含む。出力データは例えば、生成される材料の特性（強度、等）を表す特性データを含む。
【0158】
〔実施例５〕
また、本実施形態に係るネットワーク置換システムＳは、例えば画像認識システムに適用される。画像認識システムにおいて、遺伝的アルゴリズムを用いて生成される学習済モデルＬＭ２における入力データは例えば、画像の特徴量を示すデータを含む。出力データは例えば、画像認識結果を示すデータを含む。
また、本実施形態に係るネットワーク置換システムＳは、例えば画像認識システムに適用される。画像認識システムにおいて、遺伝的アルゴリズムを用いて生成される学習済モデルＬＭ２における入力データは例えば、画像の特徴量を示すデータを含む。出力データは例えば、画像認識結果を示すデータを含む。
【0159】
〔実施例６〕
また、本実施形態に係るネットワーク置換システムＳは、例えば設備不具合予知システムに適用される。設備不具体予知システムにおいて、遺伝的アルゴリズムを用いて生成される学習済モデルＬＭ２における入力データは例えば、設備に設けられた各センサにより検出された検出値を含む。出力データは例えば、設備の不具合の発生の有無の推定結果を示すデータを含む。
また、本実施形態に係るネットワーク置換システムＳは、例えば設備不具合予知システムに適用される。設備不具体予知システムにおいて、遺伝的アルゴリズムを用いて生成される学習済モデルＬＭ２における入力データは例えば、設備に設けられた各センサにより検出された検出値を含む。出力データは例えば、設備の不具合の発生の有無の推定結果を示すデータを含む。
【0160】
〔変形例〕
上述の実施形態において、プロセッサ１１が、学習済モデルＬＭ１に含まれる層のうち、学習の進みにくい層の演算を、遺伝的アルゴリズムを用いて特定される関係式を用いた演算に置換してもよい。学習済モデルＬＭ１の隠れ層には、学習の進みにくい層と学習の進みやすい層とが含まれる場合がある。学習の進みにくい層とは、パーセプトロンが多数あったり、重み付けが複数あったりする層である。一方、学習が進みやすい層とは、パーセプトロンが少なかったり、重み付けがなかったり又は１つだったりする層である。プロセッサ１１は、学習の進みにくい層を、パーセプトロンの数及び重み付けの数等の学習済モデルＬＭ１を規定するパラメータに基づいて特定し、特定した層の演算を、遺伝的アルゴリズムを用いて特定される関係式を用いた演算に置換してもよい。
上述の実施形態において、プロセッサ１１が、学習済モデルＬＭ１に含まれる層のうち、学習の進みにくい層の演算を、遺伝的アルゴリズムを用いて特定される関係式を用いた演算に置換してもよい。学習済モデルＬＭ１の隠れ層には、学習の進みにくい層と学習の進みやすい層とが含まれる場合がある。学習の進みにくい層とは、パーセプトロンが多数あったり、重み付けが複数あったりする層である。一方、学習が進みやすい層とは、パーセプトロンが少なかったり、重み付けがなかったり又は１つだったりする層である。プロセッサ１１は、学習の進みにくい層を、パーセプトロンの数及び重み付けの数等の学習済モデルＬＭ１を規定するパラメータに基づいて特定し、特定した層の演算を、遺伝的アルゴリズムを用いて特定される関係式を用いた演算に置換してもよい。
【0161】
〔まとめ〕
態様１に係るネットワーク置換装置は、複数の層により構成されるディープニューラルネットワークの第１の層に含まれるノードの出力値と、第２の層に含まれるノードの出力値との関係を表す非線形の関係式を、遺伝的アルゴリズムを用いて特定する特定ステップと、前記ディープニューラルネットワークにおける前記第１の層と前記第２の層との間の演算を、前記関係式を用いた演算に置換する置換ステップと、を実行する一又は複数のプロセッサを備えている。
態様１に係るネットワーク置換装置は、複数の層により構成されるディープニューラルネットワークの第１の層に含まれるノードの出力値と、第２の層に含まれるノードの出力値との関係を表す非線形の関係式を、遺伝的アルゴリズムを用いて特定する特定ステップと、前記ディープニューラルネットワークにおける前記第１の層と前記第２の層との間の演算を、前記関係式を用いた演算に置換する置換ステップと、を実行する一又は複数のプロセッサを備えている。
【0162】
上記の構成によれば、ネットワーク置換装置は、ディープニューラルネットワークの第１の層と第２の層との間の演算を高速化することができる。これにより、ディープニューラルネットワークの演算を高速化することができる。
【0163】
態様２に係るネットワーク置換装置は、態様１に係るネットワーク置換装置の特徴に加えて、以下の特徴を有している。すなわち、態様２に係るネットワーク置換装置において、前記プロセッサは、前記特定ステップにおいて、前記第１の層に含まれるノードの出力値と、当該第１の層と前記第２の層との間にある第３の層に含まれるノードの出力値との関係を表す非線形の第１の関係式を、遺伝的アルゴリズムを用いて特定し、前記第３の層に含まれるノードの出力値と前記第２の層に含まれるノードの出力値との関係を表す非線形の第２の関係式を、遺伝的アルゴリズムを用いて特定し、前記第１の関係式と前記第２の関係式とを用いて、前記第１の層に含まれるノードの出力値と、第２の層に含まれるノードの出力値との関係を表す非線形の関係式を特定する。
【0164】
上記の構成によれば、ネットワーク置換装置は、ディープニューラルネットワークの第１の層と第２の層との間の演算を高速化することができる。これにより、ディープニューラルネットワークの演算を高速化することができる。
【0165】
態様３に係るネットワーク置換方法は、一又は複数のプロセッサが、複数の層により構成されるディープニューラルネットワークの第１の層に含まれるノードの出力値と、第２の層に含まれるノードの出力値との関係を表す非線形の関係式を、遺伝的アルゴリズムを用いて特定する特定ステップと、前記ディープニューラルネットワークにおける前記第１の層と前記第２の層との間の演算を、前記関係式を用いた演算に置換する置換ステップと、を含んでいる。
【0166】
態様４に係る学習済モデルは、複数の層により構成されるディープニューラルネットワークから得られた、入力データに基づいて出力データを出力するよう、コンピュータを機能させるための学習済モデルであって、前記ディープニューラルネットワークの前記複数の層に含まれる第１の層から第２の層への演算が、前記第１の層に含まれるノードの出力値と、前記第２の層に含まれるノードの出力値との関係を表す、遺伝的アルゴリズムにより特定された非線形の関係式を用いた演算により置換され、第２の層に含まれるノードの出力値が、前記第１の層に含まれる各ノードの出力値と前記関係式とを用いた演算により算出されるよう、コンピュータを機能させるための学習済モデルである。
【0167】
態様５に係る推定装置は、態様４に記載の学習済モデルを用いて、入力データから出力データを推定する推定ステップを実行する一又は複数のプロセッサを備えている。
【0168】
上記の構成によれば、ディープニューラルネットワークの第１の層と第２の層との間の演算を高速化することができる。これにより、ディープニューラルネットワークの演算を高速化することができる。
【0169】
態様６に係るネットワーク置換方法は、一又は複数のプロセッサが、態様４に記載の学習済モデルを用いて入力データから出力データを推定する推定ステップ、を含んでいる。
【0170】
上記の構成によれば、ディープニューラルネットワークの第１の層と第２の層との間の演算を高速化することができる。これにより、ディープニューラルネットワークの演算を高速化することができる。
【0171】
〔付記事項１〕
上述の各実施形態及び変形例では、機械学習装置２が、学習済モデルＬＭ１を構築したが、学習済モデルＬＭ１は、機械学習装置２以外の他の装置により予め構築されていてもよい。この場合、ネットワーク置換装置１は、他の装置により予め構築された学習済モデルを用いて上述のネットワーク置換方法Ｍ１を実施する。
上述の各実施形態及び変形例では、機械学習装置２が、学習済モデルＬＭ１を構築したが、学習済モデルＬＭ１は、機械学習装置２以外の他の装置により予め構築されていてもよい。この場合、ネットワーク置換装置１は、他の装置により予め構築された学習済モデルを用いて上述のネットワーク置換方法Ｍ１を実施する。
【0172】
〔付記事項２〕
上述の各実施形態及び変形例では、プロセッサ１１は、第１データと第２データとの関係を表す非線形の関係式を、遺伝的アルゴリズムを用いた非線形回帰によって特定した。第１データと第２データとの関係を表す非線形の関係式を特定するためのアルゴリズムは、遺伝的アルゴリズムに限られず、例えばロジスティック回帰等の他の非線形アルゴリズムであってもよい。
上述の各実施形態及び変形例では、プロセッサ１１は、第１データと第２データとの関係を表す非線形の関係式を、遺伝的アルゴリズムを用いた非線形回帰によって特定した。第１データと第２データとの関係を表す非線形の関係式を特定するためのアルゴリズムは、遺伝的アルゴリズムに限られず、例えばロジスティック回帰等の他の非線形アルゴリズムであってもよい。
【0173】
〔付記事項３〕
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、上述した実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる他の実施形態についても本発明の技術的範囲に含まれる。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、上述した実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる他の実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0174】
１ ネットワーク置換装置
２ 機械学習装置
３ 推定装置
１１、２１、３１ プロセッサ
１２、２２、３２ 一次メモリ
１３、２３、３３ 二次メモリ
１４、２４、３４ 入出力インタフェース
１５、２５、３５ 通信インタフェース
１６、２６、３６ バス
ＬＭ１、ＬＭ２ 学習済モデル
Ｍ１ ネットワーク置換方法
Ｍ１１ 推定ステップ
Ｍ１２ 特定ステップ
Ｍ２ 機械学習方法
Ｍ２１ 学習用データセット構築ステップ
Ｍ２２ 学習済モデル構築ステップ
Ｍ３ 推定方法
Ｍ３１ 第２推定ステップ
Ｍ３２ 出力ステップ
Ｓ ネットワーク置換システム
２ 機械学習装置
３ 推定装置
１１、２１、３１ プロセッサ
１２、２２、３２ 一次メモリ
１３、２３、３３ 二次メモリ
１４、２４、３４ 入出力インタフェース
１５、２５、３５ 通信インタフェース
１６、２６、３６ バス
ＬＭ１、ＬＭ２ 学習済モデル
Ｍ１ ネットワーク置換方法
Ｍ１１ 推定ステップ
Ｍ１２ 特定ステップ
Ｍ２ 機械学習方法
Ｍ２１ 学習用データセット構築ステップ
Ｍ２２ 学習済モデル構築ステップ
Ｍ３ 推定方法
Ｍ３１ 第２推定ステップ
Ｍ３２ 出力ステップ
Ｓ ネットワーク置換システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】