知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024109466
(43)【公開日】2024-08-14
(54)【発明の名称】人工知能構造学習システム、方法、およびプログラム
(51)【国際特許分類】
G06N 3/0985 20230101AFI20240806BHJP
G06N 3/10 20060101ALI20240806BHJP
【ＦＩ】
G06N3/0985
G06N3/10
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023014275
(22)【出願日】2023-02-01
(71)【出願人】
【識別番号】597132849
【氏名又は名称】株式会社日立ソリューションズ・クリエイト
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】小辰 信夫
(57)【要約】
【課題】好適な人工知能構造の人工知能モデルの生成を可能にする。
【解決手段】システムが記憶装置と処理装置とを有し、記憶装置は人工知能構造データベースと人工知能構造構成部品データベースと学習用データセットとを記憶し、処理装置は順次、人工知能構造モデルを選択して確度または確度を代替する指標を算出し、これが閾値以上であれば対応する学習済人工知能モデルを採用し、逆になければ、選択した人工知能構造構成部品を追加した人工知能構造モデルを順次生成し、学習用データセットを用いた再学習を行って、該学習済人工知能モデルに対応する人工知能構造モデルを前記人工知能構造データベースに登録し、予測の性能を測る指標が所定の閾値以上である学習済人工知能モデルが生成されたら、該学習済人工知能モデルを採用する。
【選択図】図４
【解決手段】システムが記憶装置と処理装置とを有し、記憶装置は人工知能構造データベースと人工知能構造構成部品データベースと学習用データセットとを記憶し、処理装置は順次、人工知能構造モデルを選択して確度または確度を代替する指標を算出し、これが閾値以上であれば対応する学習済人工知能モデルを採用し、逆になければ、選択した人工知能構造構成部品を追加した人工知能構造モデルを順次生成し、学習用データセットを用いた再学習を行って、該学習済人工知能モデルに対応する人工知能構造モデルを前記人工知能構造データベースに登録し、予測の性能を測る指標が所定の閾値以上である学習済人工知能モデルが生成されたら、該学習済人工知能モデルを採用する。
【選択図】図４
【特許請求の範囲】
【請求項1】
記憶装置と、処理装置とを有し、
前記記憶装置は、所定の人工知能構造を持った人工知能構造モデルが格納された人工知能構造データベースと、人工知能構造の一部を構成し得る人工知能構造構成部品が格納された人工知能構造構成部品データベースと、学習用データセットと、を記憶し、
前記処理装置は、前記人工知能構造データベースから順次、人工知能構造モデルを選択し、該人工知能構造モデルについての第１評価指標を算出し、該第１評価指標が所定の第１評価指標閾値以上である人工知能構造モデルがあれば、該人工知能構造モデルに対応する学習済人工知能モデルを採用し、
前記第１評価指標が前記第１評価指標閾値以上である人工知能構造モデルが前記人工知能構造データベースになければ、いずれかの人工知能構造モデルを基にして、前記人工知能構造構成部品データベースから順次選択した人工知能構造構成部品を追加可能な人工知能構造の箇所に順次追加した人工知能構造モデルを生成し、生成した当該人工知能構造モデルに対して前記学習用データセットを用いた学習を行って学習済人工知能モデルを生成して、該学習済人工知能モデルに対応する人工知能構造モデルを前記人工知能構造データベースに登録するともに、第２評価指標が前記人工知能構造データベースに登録された他のモデルよりも良い値でありかつ、所定の第２評価指標閾値以上である学習済人工知能モデルが生成されたら、該学習済人工知能モデルを採用する、
人工知能構造学習システム。
前記記憶装置は、所定の人工知能構造を持った人工知能構造モデルが格納された人工知能構造データベースと、人工知能構造の一部を構成し得る人工知能構造構成部品が格納された人工知能構造構成部品データベースと、学習用データセットと、を記憶し、
前記処理装置は、前記人工知能構造データベースから順次、人工知能構造モデルを選択し、該人工知能構造モデルについての第１評価指標を算出し、該第１評価指標が所定の第１評価指標閾値以上である人工知能構造モデルがあれば、該人工知能構造モデルに対応する学習済人工知能モデルを採用し、
前記第１評価指標が前記第１評価指標閾値以上である人工知能構造モデルが前記人工知能構造データベースになければ、いずれかの人工知能構造モデルを基にして、前記人工知能構造構成部品データベースから順次選択した人工知能構造構成部品を追加可能な人工知能構造の箇所に順次追加した人工知能構造モデルを生成し、生成した当該人工知能構造モデルに対して前記学習用データセットを用いた学習を行って学習済人工知能モデルを生成して、該学習済人工知能モデルに対応する人工知能構造モデルを前記人工知能構造データベースに登録するともに、第２評価指標が前記人工知能構造データベースに登録された他のモデルよりも良い値でありかつ、所定の第２評価指標閾値以上である学習済人工知能モデルが生成されたら、該学習済人工知能モデルを採用する、
人工知能構造学習システム。
【請求項2】
前記処理装置は、人工知能構造において複数の人工知能構造構成部品で構成される部分が有る場合の第２評価指標が、該部分が無い場合の第２評価指標よりも、所定の第２評価指標差分閾値以上良い値であれば、前記部分を人工知能構造構成部品として前記人工知能構造構成部品データベースに登録する、
請求項１に記載の人工知能構造学習システム。
請求項１に記載の人工知能構造学習システム。
【請求項3】
前記処理装置は、ユーザから予測問題の性質に関する情報を取得し、前記情報に基づいて前記第１評価指標および／または前記第２評価指標を設定する、
請求項１に記載の人工知能構造学習システム。
請求項１に記載の人工知能構造学習システム。
【請求項4】
前記人工知能構造モデルはニューラルネットワークであり、
前記処理装置は、前記人工知能構造データベースにおける前記第２評価指標が所定の第２評価指標閾値以上の人工知能構造モデルの中から、ノードの階層数が少ない人工知能構造モデルから順次選択する、
請求項１に記載の人工知能構造学習システム。
前記処理装置は、前記人工知能構造データベースにおける前記第２評価指標が所定の第２評価指標閾値以上の人工知能構造モデルの中から、ノードの階層数が少ない人工知能構造モデルから順次選択する、
請求項１に記載の人工知能構造学習システム。
【請求項5】
前記第１評価指標が、予測対象の未知のデータである判定用データに対する予測の結果の確度または確度を代替する指標であり、
前記処理装置は、前記人工知能構造データベースから選択した人工知能構造モデルに対応する学習済人工知能モデルによる前記判定用データに対する予測の結果の確度または確度を代替する指標の値が前記第１評価指標閾値以上ならば、該学習済人工知能モデルを前記予測対象に対する予測処理に採用する、
請求項３に記載の人工知能構造学習システム。
前記処理装置は、前記人工知能構造データベースから選択した人工知能構造モデルに対応する学習済人工知能モデルによる前記判定用データに対する予測の結果の確度または確度を代替する指標の値が前記第１評価指標閾値以上ならば、該学習済人工知能モデルを前記予測対象に対する予測処理に採用する、
請求項３に記載の人工知能構造学習システム。
【請求項6】
前記人工知能構造データベースには、前記人工知能構造モデルに対応する学習済人工知能モデルにて取得された確度の平均値と、該学習済人工知能モデルにて前記第２評価指標が算出されるのに要する判定時間の平均値と、が更に格納されており、
前記処理装置は、前記確度の平均値が一定値以上である人工知能構造モデルの中で、前記判定時間の平均値が短い方から順次選択する、
請求項５に記載の人工知能構造学習システム。
前記処理装置は、前記確度の平均値が一定値以上である人工知能構造モデルの中で、前記判定時間の平均値が短い方から順次選択する、
請求項５に記載の人工知能構造学習システム。
【請求項7】
前記記憶装置は、テスト用データセットを更に記憶しており、
前記第２評価指標が前記テスト用データセットを用いて算出される、Ｆ値や、重み付きＦ値、ＡＵＣ値、正解率、適合率(精度)、再現率などの、予測の性能を測る指標である、
請求項６に記載の人工知能構造学習システム。
前記第２評価指標が前記テスト用データセットを用いて算出される、Ｆ値や、重み付きＦ値、ＡＵＣ値、正解率、適合率(精度)、再現率などの、予測の性能を測る指標である、
請求項６に記載の人工知能構造学習システム。
【請求項8】
人工知能構造は人工知能構造構成部品を有向辺で接続した有向非巡回グラフにより表すことができ、
前記処理装置は、人工知能構造モデルに人工知能構造構成部品を追加して得られた人工知能構造をトポロジカルソートし、過去に試行した人工知能構造のいずれかと同じ構造であった場合にはスキップし、そうでなかった場合に前記第２評価指標による判定を行う、
請求項１に記載の人工知能構造学習システム。
前記処理装置は、人工知能構造モデルに人工知能構造構成部品を追加して得られた人工知能構造をトポロジカルソートし、過去に試行した人工知能構造のいずれかと同じ構造であった場合にはスキップし、そうでなかった場合に前記第２評価指標による判定を行う、
請求項１に記載の人工知能構造学習システム。
【請求項9】
人工知能構造は人工知能構造構成部品を有向辺で接続した構造であり、
前記処理装置は、人工知能構造モデルに人工知能構造構成部品を追加するとき、前記人工知能構造構成部品の入力と該入力に接続される前記人工知能構造モデルの出力とのデータ形式が整合しなければ当該出力と当該入力とのデータ形式を整合させ、前記人工知能構造構成部品の出力と該出力に接続される前記人工知能構造モデルの入力とのデータ形式が整合しなければ当該入力と当該出力とのデータ形式を整合させる、
請求項１に記載の人工知能構造学習システム。
前記処理装置は、人工知能構造モデルに人工知能構造構成部品を追加するとき、前記人工知能構造構成部品の入力と該入力に接続される前記人工知能構造モデルの出力とのデータ形式が整合しなければ当該出力と当該入力とのデータ形式を整合させ、前記人工知能構造構成部品の出力と該出力に接続される前記人工知能構造モデルの入力とのデータ形式が整合しなければ当該入力と当該出力とのデータ形式を整合させる、
請求項１に記載の人工知能構造学習システム。
【請求項10】
記憶装置と処理装置とを有する装置による、人工知能構造学習方法であって、
前記記憶装置は、所定の人工知能構造を持った人工知能構造モデルが格納された人工知能構造データベースと、人工知能構造の一部を構成し得る人工知能構造構成部品が格納された人工知能構造構成部品データベースと、学習用データセットと、を記憶しており、
前記処理装置が、
前記人工知能構造データベースから順次、人工知能構造モデルを選択し、該人工知能構造モデルについての第１評価指標を算出し、該第１評価指標が所定の第１評価指標閾値以上である人工知能構造モデルがあれば、該人工知能構造モデルに対応する学習済人工知能モデルを採用し、
前記第１評価指標が前記第１評価指標閾値以上である人工知能構造モデルが前記人工知能構造データベースになければ、いずれかの人工知能構造モデルを基にして、前記人工知能構造構成部品データベースから順次選択した人工知能構造構成部品を追加可能な人工知能構造の箇所に順次追加した人工知能構造モデルを生成し、生成した当該人工知能構造モデルに対して前記学習用データセットを用いた学習を行って学習済人工知能モデルを生成して、該学習済人工知能モデルに対応する人工知能構造モデルを前記人工知能構造データベースに登録するともに、第２評価指標が前記人工知能構造データベースに登録された他のモデルよりも良い値でありかつ、所定の第２評価指標閾値以上である学習済人工知能モデルが生成されたら、該学習済人工知能モデルを採用する、
人工知能構造学習方法。
前記記憶装置は、所定の人工知能構造を持った人工知能構造モデルが格納された人工知能構造データベースと、人工知能構造の一部を構成し得る人工知能構造構成部品が格納された人工知能構造構成部品データベースと、学習用データセットと、を記憶しており、
前記処理装置が、
前記人工知能構造データベースから順次、人工知能構造モデルを選択し、該人工知能構造モデルについての第１評価指標を算出し、該第１評価指標が所定の第１評価指標閾値以上である人工知能構造モデルがあれば、該人工知能構造モデルに対応する学習済人工知能モデルを採用し、
前記第１評価指標が前記第１評価指標閾値以上である人工知能構造モデルが前記人工知能構造データベースになければ、いずれかの人工知能構造モデルを基にして、前記人工知能構造構成部品データベースから順次選択した人工知能構造構成部品を追加可能な人工知能構造の箇所に順次追加した人工知能構造モデルを生成し、生成した当該人工知能構造モデルに対して前記学習用データセットを用いた学習を行って学習済人工知能モデルを生成して、該学習済人工知能モデルに対応する人工知能構造モデルを前記人工知能構造データベースに登録するともに、第２評価指標が前記人工知能構造データベースに登録された他のモデルよりも良い値でありかつ、所定の第２評価指標閾値以上である学習済人工知能モデルが生成されたら、該学習済人工知能モデルを採用する、
人工知能構造学習方法。
【請求項11】
記憶装置と処理装置とを有する装置に人工知能構造を学習させるプログラムであって、
前記記憶装置は、所定の人工知能構造を持った人工知能構造モデルが格納された人工知能構造データベースと、人工知能構造の一部を構成し得る人工知能構造構成部品が格納された人工知能構造構成部品データベースと、学習用データセットと、を記憶しており、
前記処理装置によって実行された場合に、
前記人工知能構造データベースから順次、人工知能構造モデルを選択し、該人工知能構造モデルについての第１評価指標を算出し、該第１評価指標が所定の第１評価指標閾値以上である人工知能構造モデルがあれば、該人工知能構造モデルに対応する学習済人工知能モデルを採用し、
前記第１評価指標が前記第１評価指標閾値以上である人工知能構造モデルが前記人工知能構造データベースになければ、いずれかの人工知能構造モデルを基にして、前記人工知能構造構成部品データベースから順次選択した人工知能構造構成部品を追加可能な人工知能構造の箇所に順次追加した人工知能構造モデルを生成し、生成した当該人工知能構造モデルに対して前記学習用データセットを用いた学習を行って学習済人工知能モデルを生成して、該学習済人工知能モデルに対応する人工知能構造モデルを前記人工知能構造データベースに登録するともに、第２評価指標が前記人工知能構造データベースに登録された他のモデルよりも良い値でありかつ、所定の第２評価指標閾値以上である学習済人工知能モデルが生成されたら、該学習済人工知能モデルを採用する、
プログラム。
前記記憶装置は、所定の人工知能構造を持った人工知能構造モデルが格納された人工知能構造データベースと、人工知能構造の一部を構成し得る人工知能構造構成部品が格納された人工知能構造構成部品データベースと、学習用データセットと、を記憶しており、
前記処理装置によって実行された場合に、
前記人工知能構造データベースから順次、人工知能構造モデルを選択し、該人工知能構造モデルについての第１評価指標を算出し、該第１評価指標が所定の第１評価指標閾値以上である人工知能構造モデルがあれば、該人工知能構造モデルに対応する学習済人工知能モデルを採用し、
前記第１評価指標が前記第１評価指標閾値以上である人工知能構造モデルが前記人工知能構造データベースになければ、いずれかの人工知能構造モデルを基にして、前記人工知能構造構成部品データベースから順次選択した人工知能構造構成部品を追加可能な人工知能構造の箇所に順次追加した人工知能構造モデルを生成し、生成した当該人工知能構造モデルに対して前記学習用データセットを用いた学習を行って学習済人工知能モデルを生成して、該学習済人工知能モデルに対応する人工知能構造モデルを前記人工知能構造データベースに登録するともに、第２評価指標が前記人工知能構造データベースに登録された他のモデルよりも良い値でありかつ、所定の第２評価指標閾値以上である学習済人工知能モデルが生成されたら、該学習済人工知能モデルを採用する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、好適な人工知能構造を学習する技術に関する。
【背景技術】
【0002】
人工知能の構造を予め固定するのではなく、解析目的に応じて好適な構造を選択するシステムがある。例えば、特許文献１に開示された人工知能モジュール開発システムは、ＡＥ（Ａｕｔｏ Ｅｎｃｏｄｅｒ：自己符号化器）、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）などの学習前ニューラルネットワークをライブラリーとして予め備え、利用者が選択した解析目的および解析目標に適合する学習前ニューラルネットワークをライブラリーから選択する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－００３６０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
人工知能は様々な構成要素を連結した構造を持ち、学習により各部のパラメータが決定される。例えば畳み込みニューラルネットワークは畳み込み層、プーリング層、リカレント層、全結合層、ソフトマックス関数等のアクティベーション層などの構成要素を連結した構造を有する。そして、結合の重みが学習により決定される。人工知能は構造自体が異なれば、学習の結果として到達し得る性能も異なる。
【0005】
しかしながら、特許文献１に開示されたシステムは、ＡＥ、ＣＮＮ、ＬＳＴＭなどの基本的な学習前ニューラルネットワークを予めライブラリーとして用意しておき、解析目的および解析目標に応じていずれかを選択するだけものであり、必ずしも好適な人工知能構造の人工知能モデルが生成できるとは限らない。
【0006】
本開示に含まれるひとつの目的は、人工知能構造自身を学習することにより好適な人工知能モデルの生成を可能にする技術を提供することである。
【課題を解決するための手段】
【0007】
本開示に含まれるひとつの態様による人工知能構造学習システムは、記憶装置と、処理装置とを有し、前記記憶装置は、所定の人工知能構造を持った人工知能構造モデルが格納された人工知能構造データベースと、人工知能構造の一部を構成し得る人工知能構造構成部品が格納された人工知能構造構成部品データベースと、訓練用データセットおよび検証用データセット（以下、学習用データセットと呼ぶ）と、を記憶し、前記処理装置は、前記人工知能構造データベースから順次、人工知能構造モデルを選択し、該人工知能構造モデルを用いて判定用データ(未知のデータ)の検定を実施し、その結果に関する第１評価指標を算出し、該第１評価指標が所定の第１評価指標閾値以上であり、かつ該人工知能構造モデルの学習結果から得られた第２評価指標が所定の第２評価指標閾値以上であれば、該人工知能構造モデルを採用し、前記第１評価指標および第２評価指標がそれぞれ前記第１評価指標閾値および前第２評価指標閾値以上である人工知能構造モデルが前記人工知能構造データベースになければ、いずれかの人工知能構造モデルを基にして、前記人工知能構造構成部品データベースから順次選択した人工知能構造構成部品を追加した人工知能構造モデルを生成し、生成した当該人工知能構造モデルに対して前記学習用データセットを用いた学習を行って学習済人工知能モデルを生成して、該学習済人工知能モデルに対応する人工知能構造モデルを前記人工知能構造データベースに登録するともに、該人工知能構造モデルの第２評価指標を算出し、該人工知能構造モデルを用いて判定用データ(未知のデータ)の検定から実施し直し、それぞれの評価指標が所定の評価指標閾値以上である学習済人工知能モデルが生成されたら、該学習済人工知能モデルを採用する。どちらかの評価指標が評価指標閾値未満であった場合は、人工知能構造モデル自身の学習を繰り返す。一定の時間または、一定の回数学習を繰り返しても、評価指標閾値以上の結果が得られなかった場合は、閾値を下方修正するか、繰り返してきた中で、第１評価指標と第２評価指標の積が最大となった人工知能モデルを採用する。
【0008】
本開示に含まれるひとつの態様による人工知能構造学習方法は、記憶装置と処理装置とを有する装置による人工知能構造学習方法であって、前記記憶装置は、所定の人工知能構造を持った人工知能構造モデルが格納された人工知能構造データベースと、人工知能構造の一部を構成し得る人工知能構造構成部品が格納された人工知能構造構成部品データベースと、学習用データセットと、を記憶しており、前記処理装置が、前記人工知能構造データベースから順次、人工知能構造モデルを選択し、該人工知能構造モデルを用いて判定用データ(未知のデータ)の検定を実施し、その結果に関する第１評価指標を算出し、該第１評価指標が所定の第１評価指標閾値以上であり、かつ該人工知能構造モデルの学習結果から得られた第２評価指標が所定の第２評価指標閾値以上であれば、該人工知能構造モデルを採用し、前記第１評価指標および第２評価指標がそれぞれ前記第１評価指標閾値および前第２評価指標閾値以上である人工知能構造モデルが前記人工知能構造データベースになければ、いずれかの人工知能構造モデルを基にして、前記人工知能構造構成部品データベースから順次選択した人工知能構造構成部品を追加した人工知能構造モデルを生成し、生成した当該人工知能構造モデルに対して前記学習用データセットを用いた学習を行って学習済人工知能モデルを生成して、該学習済人工知能モデルに対応する人工知能構造モデルを前記人工知能構造データベースに登録するともに、該人工知能構造モデルの第２評価指標を算出し、該人工知能構造モデルを用いて判定用データ(未知のデータ)の検定から実施し直し、それぞれの評価指標が所定の評価指標閾値以上である学習済人工知能モデルが生成されたら、該学習済人工知能モデルを採用する。どちらかの評価指標が評価指標閾値未満であった場合は、人工知能構造モデル自身の学習を繰り返す。一定の時間または、一定の回数学習を繰り返しても、評価指標閾値以上の結果が得られなかった場合は、閾値を下方修正するか、繰り返してきた中で、第１評価指標と第２評価指標の積が最大となった人工知能モデルを採用する。
【0009】
本開示に含まれるひとつの態様によるプログラムは、記憶装置と処理装置とを有する装置に人工知能構造を学習させるプログラムであって、前記記憶装置は、所定の人工知能構造を持った人工知能構造モデルが格納された人工知能構造データベースと、人工知能構造の一部を構成し得る人工知能構造構成部品が格納された人工知能構造構成部品データベースと、学習用データセットと、を記憶しており、前記処理装置によって実行された場合に、前記人工知能構造データベースから順次、人工知能構造モデルを選択し、該人工知能構造モデルを用いて判定用データ(未知のデータ)の検定を実施し、その結果に関する第１評価指標を算出し、該第１評価指標が所定の第１評価指標閾値以上であり、かつ該人工知能構造モデルの学習結果から得られた第２評価指標が所定の第２評価指標閾値以上であれば、該人工知能構造モデルを採用し、前記第１評価指標および第２評価指標がそれぞれ前記第１評価指標閾値および前第２評価指標閾値以上である人工知能構造モデルが前記人工知能構造データベースになければ、いずれかの人工知能構造モデルを基にして、前記人工知能構造構成部品データベースから順次選択した人工知能構造構成部品を追加した人工知能構造モデルを生成し、生成した当該人工知能構造モデルに対して前記学習用データセットを用いた学習を行って学習済人工知能モデルを生成して、該学習済人工知能モデルに対応する人工知能構造モデルを前記人工知能構造データベースに登録するともに、該人工知能構造モデルの第２評価指標を算出し、該人工知能構造モデルを用いて判定用データ(未知のデータ)の検定から実施し直し、それぞれの評価指標が所定の評価指標閾値以上である学習済人工知能モデルが生成されたら、該学習済人工知能モデルを採用する。どちらかの評価指標が評価指標閾値未満であった場合は、人工知能構造モデル自身の学習を繰り返す。一定の時間または、一定の回数学習を繰り返しても、評価指標閾値以上の結果が得られなかった場合は、閾値を下方修正するか、繰り返してきた中で、第１評価指標と第２評価指標の積が最大となった人工知能モデルを採用する。
【発明の効果】
【0010】
本開示によれば、好適な人工知能構造の人工知能モデルを生成することができる。
【図面の簡単な説明】
【0011】
【図1】人工知能構造学習システムの構成例を示す機能ブロック図である。
【図2】人工知能構造学習システムの全体的な処理例を示す概念図である。
【図3】人工知能構造学習システムの全体処理を例示するフローチャートである。
【図4】人工知能構造自動生成処理を例示する第１のフローチャートである。
【図5】人工知能構造自動生成処理を例示する第２のフローチャートである。
【図6】既存の人工知能構造にノードを追加するパターンを例示する、第１の概念図である。
【図7】既存の人工知能構造にノードを追加するパターンを例示する、第２の概念図である。
【図8】既存の人工知能構造にノードを追加するパターンを例示する、第３の概念図である。
【図9】既存の人工知能構造にノードを追加するパターンを例示する、第４の概念図である。
【図10】既存の人工知能構造にノードを追加するパターンを例示する、第５の概念図である。
【図11】既存の人工知能構造にノードを追加するパターンを例示する、第６の概念図である。
【図12】既存の人工知能構造にノードを追加するパターンを例示する、第７の概念図である。
【図13】任意の２つのノード間に他のノードを追加する方法を示す図である。
【図14】エッジの追加を示す第１の概念図である。
【図16】エッジの追加を示す第２の概念図である。
【図18】複数のノードからの出力を一つに合体させる方法を示す概念図である。
【図19】ＲＯＣ曲線と、その下部分の面積であるＡＵＣ値を例示するグラフである。
【図20】人工知能構造ごとの評価指標を管理する管理テーブルを例示する概念図である。
【図21】サンプルデータの判定結果をヒストグラムで例示するグラフである。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0013】
なお、実施例を説明する図において、同一の機能を有する箇所には同一の符号を付し、その繰り返しの説明は省略する。
【0014】
図１は、人工知能構造学習システムの構成例を示す機能ブロック図である。
【0015】
人工知能構造学習システム１は、処理装置１１と、主記憶装置１２と、補助記憶装置１３と、通信装置１４と、入力装置１５と、出力装置１６とを備える。処理装置１１と、主記憶装置１２と、補助記憶装置１３と、通信装置１４と、入力装置１５と、出力装置１６は、バス１７を介して互いに通信可能に接続されている。
【0016】
処理装置１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等で構成される。処理装置１１が、主記憶装置１２または補助記憶装置１３に格納されている各種プログラムを読み出して実行することにより、人工知能構造学習システム１の様々な機能が実現される。
【0017】
主記憶装置１２はプログラムやデータを記憶する装置であり、例えば、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、不揮発性半導体メモリ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ ＲＡＭ（ＮＶＲＡＭ））である。
【0018】
補助記憶装置１３は、例えば、Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ（ＨＤＤ）、Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）、ストレージシステム、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＩＣ）カード、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ（ＳＤ）メモリカードや光学式記録媒体（Ｃｏｍｐａｃｔ Ｄｉｓｃ（ＣＤ）、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）など）などの記録媒体の読み取りおよび書き込み装置、クラウドサーバの記憶領域である。
【0019】
処理装置１１のキャッシュやレジスタ、主記憶装置１２、および補助記憶装置１３を併せてメモリと表現することがある。必要なプログラムおよびデータがメモリにロードされて実行されることにより、人工知能構造学習システム１における情報処理が実行される。また、メモリには後述の第１評価指標閾値や第２評価指標差分閾値などの各種の閾値が保存されていてよい。メモリには、プログラム、データベース、データセットなどが保存されていてもよい。
【0020】
通信装置１４はＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）やＩｎｔｅｒｎｅｔなどの通信手段を介した他の装置との間の通信を実現する有線または無線方式の通信インターフェースであり、例えば、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ（ＮＩＣ）、無線通信モジュール、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ（ＵＳＢ）モジュール、シリアル通信モジュールである。
【0021】
入力装置１５はユーザからの入力を受け付ける装置である。入力装置１５は、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置である。
【0022】
出力装置１６はユーザに処理経過や処理結果などの各種情報を提供する装置である。出力装置１６は、例えば、画面表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）、Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ（ＨＭＤ）など）、音声出力装置、印字装置等である。
【0023】
なお、人工知能構造学習システム１が通信装置１４を介して、他の装置との間で情報の入力や出力を行う構成としてもよい。
【0024】
図２は、人工知能構造学習システム１の全体的な処理例を示す概念図である。
【0025】
人工知能構造学習システム１は、人工知能構造データベース１００と、人工知能構造構成部品データベース１０６とを有する。これらのデータベースは、主記憶装置１２または補助記憶装置１３に保存されていてもよく、人工知能構造学習システム１と通信装置１４を介して通信可能に接続された外部の記憶装置に保存されていてもよい。
【0026】
人工知能構造モデルとは、例えばニューラルネットワークのモデル（ＮＮモデル）などを意味する。この場合、人工知能構造とはニューラルネットワークに対応する。人工知能構造モデルは、所定の人工知能構造を有する。図２においては、モデル１からモデルｎまでのｎ個の人工知能構造モデルが人工知能構造データベース１００に保存されている。なお、人工知能構造データベース１００には新たな人工知能構造が追加登録されてもよい。
【0027】
人工知能構造構成部品とは、人工知能構造を構成する部品を意味する。すなわち、人工知能構造の一部を構成し得る構成部品を意味する。１つ以上の人工知能構造構成部品を組み合わせたものが人工知能構造となる。人工知能構造は人工知能構造データベース１００に保存される。一方、人工知能構造構成部品は人工知能構造構成部品データベース１０６に保存される。
【0028】
人工知能構造構成部品(モジュール)１０６ｂは、１つ以上のノード１０６ａをエッジ(部品と部品を接続する有向矢印)で結んで組み合わせることで構成される。ここでいうノードには関数などが含まれる。ノード１０６ａは例えば、３×３ ｃｏｎｖｏｌｕｔｉｏｎ、３×１ ｃｏｎｖｏｌｕｔｉｏｎ、３×３ ｍａｘ ｐｏｏｌｉｎｇ、３×３ ａｖｅｒａｇｅ ｐｏｏｌｉｎｇなどである。ただしこれらには限られない。人工知能構造構成部品そのもの自体が、複数のノードを組み合わせたモジュールであってもよい。
【0029】
人工知能構造構成部品データベース１０６は、ノード１０６ａと、人工知能構造構成部品(モジュール)１０６ｂとを保存する。なお、人工知能構造構成部品データベース１０６には新たなノードや新たな人工知能構造部品が追加登録されてもよい。
【0030】
訓練用データセット１０１、検証用データセット１０２、テスト用データセット１０３、および判定用データ(未知のデータ)１１１が、機械学習のために準備される。訓練用データセット１０１、検証用データセット１０２、テスト用データセット１０３、および判定用データ(未知のデータ)１１１は主記憶装置１２または補助記憶装置１３に保存されていてよく、人工知能構造学習システム１と通信装置１４を介して通信可能に接続された外部の記憶装置に保存されていてもよい。
【0031】
人工知能構造学習システム１は、人工知能構造モデル１０４を人工知能構造データベース１００からロードする。処理装置１１は、訓練用データセット１０１を人工知能構造モデル１０４に対して用いて機械学習を行う。処理装置１１は、検証用データセット１０２を人工知能構造モデル１０４に対して用いて学習の検証を行う。処理装置１１は、テスト用データセット１０３を人工知能構造モデル１０４に対して用いて機械学習のテストを行う。なお、訓練用データセット１０１、検証用データセット１０２、およびテスト用データセット１０３は、データの収集および処理が行われたデータセットを自由に分割して用いることにしてもよい。
【0032】
図１を併せて参照する。処理装置１１は、主記憶装置１２または補助記憶装置１３に格納されているプログラムを読み出して実行することにより、判定部１０５、人工知能構造自動生成部１０７、人工知能構造整合性チェック部１０８、人工知能構造入出力次元調整部１０９、および人工知能構造構成部品データベース登録追加部１１０を実現する。
【0033】
判定部１０５は、人工知能構造モデル１０４に訓練用データセット１０１および検証用データセット１０２を入力し、学習１１２を行うことで出力される学習済人工知能モデル１１３と該学習モデルの性能等を表す第２評価指標１１４および、該学習モデルに判定用データ(未知のデータ)１１１を入力した結果得られる第１評価指標１１５に基づいて種々の判定を行う。判定には、例えば判定用データ(未知のデータ)ごとに算定される第１評価指標１１５および、人工知能構造モデル１０４を学習１１２する際に算出された第２評価指標１１４と、予め定められたそれぞれの評価指標の閾値との間の比較などによって行われる。第１評価指標および第２評価指標と各々の閾値との比較は独立して行ってもよいし、双方の積に対する閾値としても構わない。ここで、第１評価指標１１５は、判定用データ(未知のデータ)ごとに算定される指標であり、例えば、確度(Probality)やそれ以外には、クラスター分析のユークリッド空間におけるクラスター重心(中心)からの距離なども指標となりうる。第２評価指標１１４については後述する。
【0034】
人工知能構造自動生成部１０７は、人工知能構造構成部品データベース１０６に保存された人工知能構造構成部品を人工知能構造モデル１０４に追加する等して、新たな人工知能構造を自動生成する。人工知能構造の自動生成処理の例については、図４以降を参照して後述する。
【0035】
人工知能構造整合性チェック部１０８は、自動生成された人工知能構造が、以前に試した人工知能構造と同じではないことをチェックする。人工知能構造は人工知能構造構成部品(ノード)を有向辺(エッジ)で接続した有向非巡回グラフ(ＤＡＧ：Directed Acyclic Graph)により表すことができる。人工知能構造整合性チェック部１０８は、前記処理装置は、人工知能構造モデルに人工知能構造構成部品を追加して得られた人工知能構造をトポロジカルソートし、過去に試行した人工知能構造のいずれかと同じ構造であった場合にはスキップし、そうでなかった場合に第２評価指標による判定を行う。
【0036】
トポロジカルソートとは、各ノードを順序付けして、どのノードもその出力辺の先のノードより前にくるように並べることを意味する。トポロジカルソートにより、複雑なグラフ構造を一意な形式に変換することができる。これにより、過去に同じ構造を試しているか否かを確認することができる。
【0037】
また、人工知能構造整合性チェック部１０８は、結合対象となる人工知能構造と人工知能構造構成部品との間の整合性をチェックする機能をさらに有していてよい。人工知能構造モデルに人工知能構造構成部品を追加する際、入力データの形式や、結合先の出力データの形式と不整合があるとうまく追加ができない場合がある。そのため人工知能構造整合性チェック部１０８は、問題なく人工知能構造構成部品を追加可能かどうか、入出力データの整合性の観点からチェックする機能である。
【0038】
人工知能構造入出力次元調整部１０９は、人工知能構造モデルに人工知能構造構成部品を追加するとき、人工知能構造構成部品の入力と該入力に接続される人工知能構造モデルの出力とのデータ形式が整合しなければ当該出力と当該入力とのデータ形式を整合させ、人工知能構造構成部品の出力と該出力に接続される人工知能構造モデルの入力とのデータ形式が整合しなければ当該入力と当該出力とのデータ形式を整合させる。
【0039】
人工知能構造入出力次元調整部１０９は、人工知能構造構成部品を追加する際、入力または出力のデータ形式を変形することで、形や層の深さが異なるデータでも処理できるように調整する。調整方法ついては、離散コサイン変換による圧縮、畳み込み、プーリングなどがあるが、これらには限られない。
【0040】
人工知能構造構成部品データベース登録追加部１１０は、人工知能構造において複数の人工知能構造構成部品(ノード)で構成される部分(モジュール)が有る場合の第２評価指標が、該部分(モジュール)が無い場合の第２評価指標よりも、所定の第２評価指標差分閾値以上良い値であれば、前記部分を人工知能構造構成部品(モジュール)として人工知能構造構成部品データベースに新たに追加登録する。
【0041】
第２評価指標は、人工知能モデルごとに算定されるその能力を示す指標であり、その具体例については後述する。
【0042】
人工知能構造構成部品データベース登録追加部１１０は、新たにノード(部品)またはエッジ(部品と部品を接続する有向矢印)を追加した後の人工知能構造についての第２評価指標（σｎ）が、当該ノードまたはエッジを追加する前の既学習済み人工知能構造の第２評価指標（σｎ－１）と比較し、一定の第２評価指標の差の値（σΔ）を超える向上（σΔ＜σｎ－σｎ－１）が得られた場合、追加したノードとその前または後ろのノードとの組み合わせ、または、追加したエッジとその両端のノードとの組み合わせを、新たなモジュールとして切り出し、人工知能構造構成部品データベースに追加する。ただし、モジュールが既に登録済みの別のモジュールと同等の場合は、重複登録を避けるため追加登録は行わない。人工知能構造構成部品データベースに追加されたモジュールは、他の人工知能構造構成部品と同様、新たな人工知能構造を生成するための部品として使用される。
【0043】
図３は、人工知能構造学習システム１の全体処理を例示するフローチャートである。この全体処理においては、該人工知能構造を採用するかどうかの判断を、該判定用データ(未知のデータ)の第１評価指標で判断している例である。
【0044】
また、人工知能構造データベース１００には、人工知能構造モデルに対応する学習済人工知能モデルにて取得された第２評価指標と、該学習済人工知能モデルにて第２評価指標が算出されるのに要する判定時間の平均値と、が格納されていてよい。
【0045】
処理装置１１は、判定用データ(未知のデータ)を受け付ける（Ｓ１０１）。処理装置１１は、人工知能構造データベース１００から人工知能構造モデルを１つ選択する（Ｓ１０２）。なお、処理装置１１は、人工知能構造データベース１００から第２評価指標(σ)が第２評価指標閾値(σ１)より大きなモデルの中で、階層(またはノード)数が少ない人工知能構造モデルまたは、第２評価指標が算出されるのに要する判定時間の平均値が少ないモデルから選択し、徐々に階層(またはノード)数がより多いモデルまたは、第２評価指標が算出されるのに要する判定時間の平均値がより大きなモデルを順次選択してよい。これにより、できるだけ短時間で所望の評価指標が得られる人工知能構造を探索することができる。
【0046】
処理装置１１は、ロードされた人工知能構造モデルについて該判定用データ(未知のデータ)を判定した際の第１評価指標を算出する。処理装置１１は、第１評価指標(ρ)が第１評価指標閾値(ρＣ)以上であるか否かを判定する（Ｓ１０３）。評価指標およびその閾値は、メモリに予め記憶されていてよい。
【0047】
第１評価指標が閾値以上である場合（Ｓ１０３：ＹＥＳ）、ステップＳ１０７に処理が遷移する。第１評価指標が閾値以上ではない場合（Ｓ１０３：ＮＯ）、ステップＳ１０４に処理が遷移する。
【0048】
ステップＳ１０４において処理装置１１は、全ての人工知能構造モデルを試行したか否かを判定する。全ての人工知能構造モデルを試行済みである場合（Ｓ１０４：ＹＥＳ）、ステップＳ１０５へと処理が遷移する。 全ての人工知能構造モデルを試行済みではない場合（Ｓ１０４：ＮＯ）、ステップＳ１０２へと処理が戻る。
【0049】
ステップＳ１０５において処理装置１１は、第１評価指標が最も高い初期の人工知能構造モデルを初期モデルＮＮ０に決定する。
【0050】
ステップＳ１０６において処理装置１１は、人工知能構造自動生成処理を実行する。人工知能構造自動生成処理の詳細については後述する。
【0051】
ステップＳ１０７において処理装置１１は、第１評価指標が第１評価指標閾値以上となった当該人工知能構造モデルに対応する学習済人工知能モデルを採用する。
【0052】
図４は、人工知能構造自動生成処理を例示する第１のフローチャートである。この人工知能構造自動生成処理においては、第１評価指標および第２評価指標としてそれぞれ確度、精度を採用している。
【0053】
まず、処理装置１１は、データセット１０１、１０２、１０３を用いて人工知能構造モデル１０４に対して機械学習を行う（Ｓ２０１）。この機械学習後の人工知能構造モデルを、学習済みモデル１０４ａとする。
【0054】
処理装置１１は、判定用データ(未知のデータ)１１１を学習済みモデル１０４ａに入力する。処理装置１１は、学習済みモデル１０４ａからの出力データに基づいて第１評価指標ρを算出する。処理装置１１は、第１評価指標ρが所定の第１評価指標閾値ρＣ以上であるか否か、第２評価指標σが第２評価指標閾値σＣ以上であるか否かを判定する（Ｓ２０２）。第１評価指標ρが所定の第１評価指標閾値ρＣ以上であり、かつ第２評価指標σが所定の第２評価指標閾値σＣ以上である場合は、ステップＳ２０３に処理が遷移する。ステップＳ２０３では、ステップＳ２０２の判定結果が出力される。これにより、人工知能構造モデルに対応する学習済人工知能モデルである、この時点の学習済みモデル１０４ａを採用することになる。この時、第１評価指標と第２評価指標を独立に閾値と比較してもよいが、第１評価指標と第２評価指標の積(ρ・σ)を各々の閾値の積(ρＣ・σＣ)と比較してもよい。
【0055】
ステップＳ２０２において第１評価指標ρが所定の第１評価指標閾値ρＣ未満であるか、第２評価指標σが第２評価指標閾値σＣ未満であった場合は、一つ前（ｎ番目）の人工知能構造モデルに新たな構造（ノード）を追加して、（ｎ＋１番目）の人工知能構造モデルを生成する。そして、処理装置１１は、生成された（ｎ＋１番目）の人工知能構造モデルに対して、データセット１０１、１０２、１０３から再度データを読み込んで、機械学習を行う。この機械学習後の人工知能構造モデルを、学習済みモデル１０４ｂとする。
【0056】
なお、処理装置１１は、（ｎ＋１番目）の人工知能構造モデル、すなわち学習済人工知能モデルに対応する人工知能構造モデルを、人工知能構造データベース１００に登録してよい。
【0057】
処理装置１１は、判定用データ(未知のデータ)１１１を学習済みモデル１０４ｂに入力する。処理装置１１は、学習済みモデル１０４ｂからの出力データに基づいて第１評価指標ρを算出する。処理装置１１は、第１評価指標ρが所定の第１評価指標閾値ρＣ以上であるか否か、第２評価指標σが第２評価指標閾値σＣ以上であるか否かを判定する（Ｓ２０６）。第１評価指標ρが所定の第１評価指標閾値ρＣ以上であり、かつ第２評価指標σが所定の第２評価指標閾値σＣ以上である場合は、ステップＳ２０３に処理が遷移する。ステップＳ２０３では、ステップＳ２０６の判定結果が出力される。これにより、人工知能構造モデルに対応する学習済人工知能モデルである、この時点の学習済みモデル１０４ｂを採用することになる。
【0058】
ステップＳ２０６において、第１評価指標ρが所定の第１評価指標閾値ρＣ未満であるか、第２評価指標σが第２評価指標閾値σＣ未満である場合は、上記と同様にステップＳ２０４～Ｓ２０６の処理を繰り返す。
【0059】
なお、上記では第１評価指標が確度であったり、第２評価指標が精度であったりすることも可能だが、第１評価指標および／または第２評価指標は動的に変更されてもよい。例えば、処理装置１１は、ユーザから予測問題の性質に関する情報を取得し、前記情報に基づいて第１評価指標および／または第２評価指標を設定してもよい。予測問題の性質に関する情報とは、学習済みモデルを用いて何をどのように予測したいのかを示す情報である。例えば学習済みモデルを食品検査や癌検診に用いる場合、予測対象は「食品の不具合」や「癌の有無」などであり、見落とすことがないよう予測すべきであるという特性がある問題である。一方、例えば、鉱脈の発見問題などでは、可能性のある個所をすべて検出していては掘削費用が膨大となってしまうため、本当に可能性の高い個所のみを判定することが求められる。こういった問題ごとの特性に応じて評価指標を動的に変更することも可能とする。Ｆ値も単なるＦ値ではなく、重み付きＦ値（Weighted F-measure）を採用してもよい。
【0060】
また、第１評価指標が、予測対象の判定用データ(未知のデータ)に対する予測の確度である場合に、処理装置１１は、人工知能構造データベース１００から選択した人工知能構造モデルに対応する学習済人工知能モデルによる判定用データ(未知のデータ)に対する予測の確度が第１評価指標閾値以上ならば、該学習済人工知能モデルを予測対象に対する予測処理に採用してよい。
【0061】
図５は、人工知能構造自動生成処理を例示する第２のフローチャートである。この人工知能構造自動生成処理においては、第２評価指標としてＦ値を採用している。
【0062】
まず、Ｆ値について説明する。Ｆ値（Ｆ－ｍｅａｓｕｒｅ）は、再現率（ｒｅｃａｌｌ）と適合率（ｐｒｅｃｉｓｉｏｎ）の調和平均を意味する。Ｆ値の計算式は下記の通りである。
【0063】
Ｆ＝２・Ｒｅｃａｌｌ・Ｐｒｅｃｉｓｉｏｎ／（Ｒｅｃａｌｌ＋Ｐｒｅｃｉｓｉｏｎ）
【0064】
Ｆ値は、テスト用データセット１０３を用いて算出される。
【0065】
ステップＳ３０１において処理装置１１は、初期モデル（ＮＮ０）を人工知能構造データベース１００からロードして、初期モデル（ＮＮ０）を用いて機械学習を行う。処理装置１１は、学習済みの初期モデル（ＮＮ０）にテスト用データセット１０３を入力し、その出力値に基づいてＦ値を算出する。このＦ値をＦ０＿ｍａｘとする。以下、ｎ＝１～、ｍ＝１～ｋで学習とＦ値での評価を繰り返す。
【0066】
ステップＳ３０２において処理装置１１は、人工知能構造構成部品データベース１０６からｍ個目のノードを取得し、モデルＮＮ（ｎ－１）のｎ番目に追加する。この追加後のモデルをＮＮｎモデルとする。
【0067】
ステップＳ３０３において処理装置１１は、（ｎ－１）＊ｋ＋ｍ番目のモデルＮＮ（ｎ－１）＊ｋ＋ｍを用いて機械学習を行う。処理装置１１は、学習済みのモデルＮＮ（ｎ－１）＊ｋ＋ｍにテスト用データセット１０３を入力し、その出力値に基づいてＦ値を算出する。このＦ値をＦ（ｎ－１）＊ｋ＋ｍとする。
【0068】
ステップＳ３０４において処理装置１１は、Ｆｎ＿ｍａｘとＦ（ｎ－１）＊ｋ＋ｍとを比較する。Ｆｎ＿ｍａｘ＜Ｆ（ｎ－１）＊ｋ＋ｍである場合（Ｓ３０４：ＹＥＳ）、ステップＳ３０５へと処理が遷移する。Ｆｎ＿ｍａｘ≧Ｆ（ｎ－１）＊ｋ＋ｍである場合（Ｓ３０４：ＮＯ）、ステップＳ３０６へと処理が遷移する。
【0069】
ステップＳ３０５において処理装置１１は、Ｆｎ＿ｍａｘの値を更新する。より具体的には、まず、この時点のＦｎ＿ｍａｘをＦｎ＿ｍａｘ＿ｏｌｄへと退避する。Ｆｎ＿ｍａｘの値をＦ（ｎ－１）＊ｋ＋ｍの値に更新する。そして処理装置１１は、モデルＮＮｎ＿ｍａｘはＮＮｎ＿ｍａｘ＿ｏｌｄモデルとして保存する。モデルＮＮｎをモデルＮＮｎ＿ｍａｘとして保存する。
【0070】
ステップＳ３０６において処理装置１１は、ｍの値を１つ増加させる。
【0071】
ステップＳ３０７において処理装置１１は、ｍ＞ｋであるか否かを判定する。ｍ＞ｋである場合（Ｓ３０７：ＹＥＳ）、ステップＳ３０８へと処理が遷移する。ｍ＞ｋではない場合（Ｓ３０７：ＮＯ）、ステップＳ３０２へと処理が戻る。
【0072】
ステップＳ３０８において処理装置１１は、Ｆｎ＿ｍａｘ＞Ｆ（ｎ－１）＿ｍａｘであるか否かを判定する。Ｆｎ＿ｍａｘ＞Ｆ（ｎ－１）＿ｍａｘである場合（Ｓ３０８：ＹＥＳ）、ステップＳ３０９に処理が遷移する。Ｆｎ＿ｍａｘ≦Ｆ（ｎ－１）＿ｍａｘである場合（Ｓ３０８：ＮＯ）、ステップＳ３１０へと処理が遷移する。
【0073】
ステップＳ３０９において処理装置１１は、ｍの値を１にする。また、ｎの値を１つ増加させる。そしてステップＳ３０２へと処理が戻る。
【0074】
ステップＳ３１０においては、一つ浅いモデル（ｎ－１）に戻る。Ｆ値が次に良かったモデル、すなわちＦ（ｎ－１）＿次点のモデルＮＮ（ｎ－１）について、ステップＳ３０２からＳ３０９の処理を繰り返す。ｎ＝１までさかのぼっても改善しなければ処理終了とする。
【0075】
なお、より浅いモデル（ｎ－１）に戻った結果、Ｆ値が一定値以上改善したモデルが存在する場合、そのモデルをモジュール化して人工知能構造構成部品データベース１０６に登録してよい。そして、当該モジュールを加えたうえで人工知能構造自動生成処理を再実行してよい。
【0076】
図６は、既存の人工知能構造にノードを追加するパターンを例示する、第１の概念図である。
【0077】
図中、（Ｉ）はＩＮＰＵＴすなわち入力データを意味している。入力データは例えば数値情報の配列である。（Ｏ）はＯＵＴＰＵＴすなわち出力データを意味している。出力データは例えば数値情報の配列である。入力と出力の間にあるノード（節）は、データを処理する関数であり、ノード同士はエッジ（枝）で結ばれる。エッジは、データの流れの上流・下流が分かるように矢印で表現されている。入力から出力までは、逆流したり、閉空間を形成し巡回したりしないような構造をとる。すなわち、入力から出力までは有向非巡回グラフを形成する。以上は、図６から図１６まで同様であるので、説明の重複を回避する観点から、図７以降についての同様の説明は省略する。
【0078】
ノードを追加する前の構造を参照番号ＡＩＳａ００が示している。ノード（１）を有する構造に、新しくノード（２）を追加する場合のパターンとして、ＡＩＳａ０１からＡＩＳａ０５がある。ＡＩＳａ０１およびＡＩＳａ０２はノード（２）を直列に追加するパターンを示している。ＡＩＳａ０３からＡＩＳａ０５はノード（２）を並列に追加するパターンを示している。ＡＩＳａ０１は、ノード（１）と出力の間にノード（２）を直列に追加するパターンを示している。ＡＩＳａ０２は、入力とノード（１）の間にノード（２）を直列に追加する場合を示している。ＡＩＳａ０３は、入力と出力の間にノード（２）を並列に追加するパターンを示している。ＡＩＳａ０４は、入力とノード（１）の間にノード（２）を並列に追加するパターンを示している。ＡＩＳａ０５は、ノード（１）と出力の間にノード（２）を並列に追加するパターンを示している。
【0079】
図７は、既存の人工知能構造にノードを追加するパターンを例示する、第２の概念図である。ノードを追加する前の構造を参照番号ＡＩＳｂ００が示している。ノード（１）とノード（２）とを有する構造に、新しくノード（３）を直列に追加する場合のパターンとして、例えばＡＩＳｂ０１からＡＩＳｂ０３がある。ＡＩＳｂ０１は、ノード（２）と出力の間にノード（３）を直列に追加するパターンを示している。ＡＩＳｂ０２は、ノード（１）とノード（２）の間にノード（３）を直列に追加するパターンを示している。ＡＩＳｂ０３は、入力とノード（１）の間にノード（３）を直列に追加するパターンを示している。
【0080】
図８は、既存の人工知能構造にノードを追加するパターンを例示する、第３の概念図である。ノードを追加する前の構造を参照番号ＡＩＳｃ００が示している。ノード（１）とノード（２）とが直列接続されている構造に、新しくノード（３）を並列に追加する場合のパターンとして、例えばＡＩＳｃ０１がある。ＡＩＳｃ０１は、ノード（１）とノード（２）の間にノード（３）を並列に追加するパターンを示している。
【0081】
図９は、既存の人工知能構造にノードを追加するパターンを例示する、第４の概念図である。ノードを追加する前の構造を参照番号ＡＩＳｄ００が示している。ノード（１）とノード（２）とノード（３）とが直列接続されている構造に、新しくノード（４）を並列に追加する場合のパターンとして、例えばＡＩＳｄ０１からＡＩＳｄ０３がある。ＡＩＳｄ０１は、ノード（１）とノード（２）の間にノード（４）を並列に追加するパターンを示している。ＡＩＳｄ０２は、ノード（１）とノード（３）の間にノード（４）を並列に追加するパターンを示している。ＡＩＳｄ０３は、ノード（２）とノード（３）の間にノード（４）を並列に追加するパターンを示している。
【0082】
図１０は、既存の人工知能構造にノードを追加するパターンを例示する、第５の概念図である。ノードを追加する前の構造を参照番号ＡＩＳｅ００が示している。ノード（１）とノード（２）とが直列接続され、ノード（１）とノード（２）とにノード（３）が並列に接続されている構造に、新しくノード（４）を並列に追加する場合のパターンとして、例えばＡＩＳｅ０１からＡＩＳｅ０３がある。ＡＩＳｅ０１は、ノード（１）とノード（２）の間にノード（４）を、ノード（３）と同様に並列に追加するパターンを示している。ＡＩＳｅ０２は、ノード（１）とノード（３）の間にノード（４）を並列に追加するパターンを示している。ＡＩＳｅ０３は、ノード（３）とノード（２）の間にノード（４）を並列に追加するパターンを示している。
【0083】
図１０において、ノード（２）とノード（３）では、ノード（３）の方が情報の流れにおける上流にある。そのため、ノード（４）を追加する場合には、ノード（３）からノード（２）へと情報が流れる状態を維持するようにノード（４）を追加する必要がある。このように人工知能構造においては、データの流れが逆流して循環する流れができないようにコントロールする必要がある。こうして作られたネットワーク構造を有向非巡回グラフ構造（ＤＡＧ構造）と呼ぶ。人工知能構造の場合、判定する結果の出力ノードに何の影響も与えないノードがあっても意味がない。そのため、すべてのノードは、入力から始まり、出力で終わるＤＡＧ構造の途中の構成要素として位置づけられることになる。
【0084】
図１１は、既存の人工知能構造にノードを追加するパターンを例示する、第６の概念図である。ノードを追加する前の構造を参照番号ＡＩＳｆ００が示している。ノード（１）とノード（２）とが直列接続され、ノード（１）とノード（２）とにノード（３）が並列に接続されている構造に、新しくノード（４）を並列に追加する場合のパターンとして、例えばＡＩＳｆ０１からＡＩＳｆ０５がある。ＡＩＳｆ０１は、ノード（２）と出力の間にノード（４）を直列に追加するパターンを示している。ＡＩＳｆ０２は、入力とノード（１）の間にノード（４）を直列に追加するパターンを示している。ＡＩＳｆ０３は、ノード（１）とノード（２）の間に、ノード（４）を直列に追加するパターンを示している。ＡＩＳｆ０４は、ノード（１）とノード（３）の間にノード（４）を直列に追加するパターンを示している。ＡＩＳｆ０５は、ノード（３）とノード（２）の間にノード（４）を直列に追加 (Ｓ４ｇ０５)することができる。図１１の例においても、ＤＡＧのルールを守るため、ノード（２）からノード（３）へ流れるようにノード（４）を追加することはしない。
【0085】
図１２は、既存の人工知能構造にノードを追加するパターンを例示する、第７の概念図である。ノードを追加する前の構造を参照番号ＡＩＳｇ００が示している。ノード（１）とノード（２）とが直列接続され、ノード（１）とノード（２）とにノード（３）およびノード（４）がそれぞれ並列に接続されている構造に、新しくノード（５）を追加する場合のパターンとして、例えばＡＩＳｇ０１およびＡＩＳｇ０２がある。この場合、ノード（３）とノード（４）との間には情報の流れにおける上流下流の関係がない。そのため、ＤＡＧのルールを守りつつ、ノード（３）とノード（４）の間にノード（５）を追加することができる。例えばＡＩＳｇ０１は、ノード（３）、ノード（５）、ノード（４）の順に情報が流れるように、ノード（３）とノード（４）の間にノード（５）を追加するパターンを示している。例えばＡＩＳｇ０２は、ノード（４）、ノード（５）、ノード（３）の順に情報が流れるように、ノード（３）とノード（４）の間にノード（５）を追加するパターンを示している。
【0086】
図６から図１２を参照して例示したように、人工知能構造は、有向非巡回グラフを構成するネットワーク構造となる。ここで、図１３を参照すると、上述のネットワーク構造における任意の２つのノード間に他のノードを追加する方法には大きく２通りがある。一つ目の方法は、任意のノードＸおよびノードＹの間に新たなノードＺを直列に追加する方法である。参照符号ＡＩＳｈ００およびＡＩＳｈ０１に示されているように、ノードＸとノードＹとの間のエッジＥ０１の部分にノードＺを追加することにより、一つ目の方法が実現される。
【0087】
二つ目の方法は、ノードＸとノードＹの間に、新たなノードＺを並列に接続する方法である。参照符号ＡＩＳｈ０２およびＡＩＳｈ０３に示されているように、ノードＸとノードＹとの間のエッジの外側にノードＺを追加することにより、二つ目の方法が実現される。
【0088】
ノードＸとノードＹに情報の流れについての上流、下流関係がある場合は、追加するノードＺは、上流から下流に流れるようにノードＺの追加を行う。一方、上流、下流関係がない場合には、ノードＸからノードＹに情報が流れるように間にノードＺを追加するケースと、逆にノードＹからノードＸに情報が流れるように間にノードＺを追加するケースの両方が考えられる。
【0089】
人工知能構造を変化させる方法としては、上述のようにノードを新たに追加する方法の他にも既存のノード間にエッジを新たに追加する方法も考えられる。図１４は、エッジの追加を示す第１の概念図である。入力(Ｉ)から出力(Ｏ)までがいくつかのノードとエッジで結ばれている状態において、例えば、ノード（２）とノード（５）の間にエッジを新規追加することで、新たな、人工知能構造を生成することができる。このように、任意のノードを２点選んで、その２点をエッジで結ぶことも、人工知能構造を変化させるバリエーションの一つとして考えられる。但し、接続する２つのノードの関係に、上流下流関係があるかないかを確認する必要がある。
【0090】
例えば、図１４において、ノード２とノード５との間に新たなエッジを追加することにより、人工知能構造を変化させることができる。ノード２とノード５とを新たなエッジで接続する方法には、破線で示されているように、ノード２からノード５へ向かうエッジＥ０２と、ノード５からノード２へ向かうエッジＥ０３の２種類が考えられる。
【0091】
図１５は、図１４における入力(Ｉ)から出力(Ｏ)への経路を示す図である。経路中に、ノード２がノード５の下流に来るような経路も、ノード５がノード２の下流に来るような経路も存在していない。そのため上述のように、ノード２からノード５へ向かうエッジを追加することができ、ノード５からノード２へ向かうエッジを追加することもできる。
【0092】
図１６は、エッジの追加を示す第２の概念図である。図１４と同様に、ノード（２）とノード（５）の間にエッジを新規追加することを考えた場合、ノード（２）からノード（５）へ向かうエッジＥ０４を新規追加することは可能である。しかしながら、ノード（５）からノード（２）へ向かうエッジを追加することはできない。
【0093】
ここで、図１４と図１５とは、ノード（４）とノード（５）を繋ぐエッジの向きが異なる。図１７は、図１６における入力(Ｉ)から出力(Ｏ)への経路を示す図である。図に示されているように、ノード（５）がノード（２）の下流に来るような経路が存在する。そのため、もし仮にノード（５）からノード（２）に向かうエッジを新たに追加すると情報の流れが逆流することになり、巡回路を形成することになる。すなわち、ノード（５）からノード（２）に向かうエッジを新たに追加すると、有向非巡回グラフではなくなってしまう。よって上述のように、ノード（５）からノード（２）へ向かうエッジを追加することはできない。処理装置１１は、エッジを追加する場合には、既存のネットワーク構造におけるノード間の上流下流の関係を示す情報を抽出し、この情報に基づいて適切な向きのエッジを新規追加することができる。
【0094】
図１８は、複数のノードからの出力を一つに合体させる方法を示す概念図である。スキップコネクション等の理由で複数のノードの出力が一つに合体して次のノードへの入力となる場合があるが、合体させる方法として、データの各要素を加算または平均をとるａｄｄ型と、特定の次元で連結するＣｏｎｃａｔｅｎａｔｅ型がある。この二つの方法も人工知能構造を変化させる場合のバリエーションの一つと考えることができる。
【0095】
（第２評価指標）
ここで、第２評価指標について説明する。
ここで、第２評価指標について説明する。
【0096】
まず、第２評価指標の意義について説明する。本開示の技術においては、処理装置１１が、人工知能構造モデル１０４にテスト用データセット１０３を入力し、人工知能構造モデル１０４から出力された情報に基づいて第２評価指標を算出する。処理装置１１は、この第２評価指標がより良くなるように、人工知能構構成部品を追加するなどして人工知能構造を変化させることにより、より好適な人工知能構造を自動生成するものである。
【0097】
本開示の技術が採用し得る第２評価指標として、例えば精度やＦ値などがある。ただし、本開示の技術が採用し得る第２評価指標は精度やＦ値には限られない。以下、第２評価指標を構成する要素、または第２評価指標そのものについて例示する。
【0098】
ＴＰＲ：真陽性率 （Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ Ｒａｔｅ）は、全てのＰｏｓｉｔｉｖｅのうち、実際にＰｏｓｉｔｉｖｅだったものを正しくＰｏｓｉｔｉｖｅと判定できた割合を意味する。再現率ともいう。
【0099】
ＦＰＲ ：偽陽性率 （Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ Ｒａｔｅ）は、全てのＮｅｇａｔｉｖｅのうち、実際には Ｎｅｇａｔｉｖｅだったが間違えてＰｏｓｉｔｉｖｅと判定した割合を意味する。
【0100】
ＴＰ（Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ）は、ある事象に対してＰｏｓｉｔｉｖｅと予測したが、実際にもＰｏｓｉｔｉｖｅだったケースの数を意味する。
【0101】
ＦＰ（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）は、ある事象に対してＰｏｓｉｔｉｖｅと予測したが、実際にはＮｅｇａｔｉｖｅだったケースの数を意味する。
【0102】
ＦＮ（Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ）は、ある事象に対してＮｅｇａｔｉｖｅと予測したが、実際にはＰｏｓｉｔｉｖｅだったケースの数を意味する。
【0103】
ＴＮ（Ｔｒｕｅ Ｎｅｇａｔｉｖｅ）は、ある事象に対してＮｅｇａｔｉｖｅと予測したが、実際にもＮｅｇａｔｉｖｅだったケースの数を意味する。
【0104】
処理装置１１は、上記のような数に基づいて、どれだけ正確に予測できているかを示すＡｃｃｕｒａｃｙ、どれだけ取りこぼしなく予測することができたかを示すＲｅｃａｌｌ、および正と予測したものがどれだけ正しかったかを示すＰｒｅｃｉｓｉｏｎなどを第２評価指標として計算する。また、処理装置１１は、ＲｅｃａｌｌとＰｒｅｃｉｓｉｏｎの調和平均であるＦ値を第２評価指標として計算する。これらの第２評価指標の計算式は、下記の通りである。
【0105】
正解率：Ａｃｃｕｒａｃｙ＝（ＴＰ＋ＴＮ）／（ＴＰ＋ＦＰ＋ＦＮ＋ＴＮ）
【0106】
適合率(精度)：Ｐｒｅｃｉｓｉｏｎ＝ＴＰ／（ＴＰ＋ＦＰ）
【0107】
再現率：Ｒｅｃａｌｌ＝（ＴＰ／（ＴＰ＋ＦＮ））
【0108】
Ｆ値：Ｆ－Ｍｅａｓｕｒｅ＝２（Ｐｒｅｃｉｓｉｏｎ＊Ｒｅｃａｌｌ）／（Ｐｒｅｃｉｓｉｏｎ＋Ｒｅｃａｌｌ）
【0109】
また、ＡＵＣ値を第２評価指標として用いてもよい。ＡＵＣとはＡｒｅａ Ｕｎｄｅｒ ｔｈｅ Ｃｕｒｖｅ の略であり、ＲＯＣ曲線の下部分の面積を意味する。図１９は、ＲＯＣ曲線と、その下部分の面積であるＡＵＣ値を例示するグラフである。
【0110】
ＲＯＣ曲線は、横軸にＦＰＲ、縦軸にＴＰＲを取り、各試行に基づく値をプロットすることにより得られる曲線である。このＲＯＣ曲線の下側の面積であるＡＵＣ値は、ＰｏｓｉｔｉｖｅとＮｅｇａｔｉｖｅにうまく分類できているほど１に近づき、ランダムな分類をしているとＡＵＣ値は０．５に近づく。つまり、ＡＵＣ値が１に近いほど分類が優れていると評価できる。そのため処理装置１１は、ＡＵＣ値を第２評価指標として用いることができる。
【0111】
なお、ＡＵＣ値はテスト用データセット１０３を用いて算出される。
【0112】
図２０は、人工知能構造ごとの評価指標を管理する管理テーブルを例示する概念図である。管理テーブルはメモリに記憶される。管理テーブルが有する項目として、番号、人工知能構造を示すモデル情報、Ｔｉｍｅ、ＴＰ、ＦＮ、ＦＰ、ＴＮ、Ａｃｃｕｒａｃｙ、Ｐｒｅｃｉｓｉｏｎ、Ｒｅｃａｌｌ、Ｆ－Ｍｅａｓｕｒｅ、ρ１、ＡＵＣなどがある。ここで、Ｔｉｍｅは、該人工知能構造(モデル)の平均判定時間、ρ１は、図２１に示す通り、疑いなくＰｏｓｉｔｉｖｅと判定してかまわない確度の下限値を意味する。
【0113】
モデルは、人工知能構造自動生成部が生成した新たな人工知能構造であり、ノードとエッジで構成される有向非巡回グラフ(ＤＡＧ)である。まったく同じ構造が管理テーブルに登録されることを排除するため、人工知能構造をキーにしてトポロジカルソートをかけ、順番に並べる。
【0114】
処理装置１１は、人工知能構造に対して訓練用データセット１０１を用いて機械学習を行う。処理装置１１は、検証用データセット１０２を用いて、ＴＰ、ＦＮ、ＦＰ、およびＴＮのそれぞれの値を算出する。処理装置１１は、これらの値に基づいて、Ａｃｃｕｒａｃｙ、Ｐｒｅｃｉｓｉｏｎ、Ｒｅｃａｌｌ、Ｆ－Ｍｅａｓｕｒｅ、ρ１などの評価指標を計算する。処理装置１１はさらに、モデルごとにＲＯＣ曲線を生成し、ＡＵＣ値を計算する。
【0115】
（変形例）
本開示の人工知能構造学習システム１における評価指標は、人工知能が判定する問題の性質によって、適時変更することが可能である。例えば、絶対に不良品を出してはいけない食品検査や、絶対に癌患者を見落としてはいけない癌検診のような問題の場合は、適合率を犠牲にしてでも再現率が最大になるように学習する必要がある。逆に、正解を絞り込む必要がある問題、例えば、鉱脈発掘場所候補選定調査などの場合は、再現率を犠牲にしても適合率を高める必要がある。さらには、再現率と適合率の両方がバランスよく高い水準である必要がある問題もある。結果的に正解率は高くても６０％の確度でPositiveと判定されるより、判定の確度が９９％と高く判定ができた方がうれしい問題もある。こういった問題の特性に応じて、学習する際の評価指標または、および評価指標閾値を変えることにより、問題の特性に合った最適な学習モデルを生成することができる。
本開示の人工知能構造学習システム１における評価指標は、人工知能が判定する問題の性質によって、適時変更することが可能である。例えば、絶対に不良品を出してはいけない食品検査や、絶対に癌患者を見落としてはいけない癌検診のような問題の場合は、適合率を犠牲にしてでも再現率が最大になるように学習する必要がある。逆に、正解を絞り込む必要がある問題、例えば、鉱脈発掘場所候補選定調査などの場合は、再現率を犠牲にしても適合率を高める必要がある。さらには、再現率と適合率の両方がバランスよく高い水準である必要がある問題もある。結果的に正解率は高くても６０％の確度でPositiveと判定されるより、判定の確度が９９％と高く判定ができた方がうれしい問題もある。こういった問題の特性に応じて、学習する際の評価指標または、および評価指標閾値を変えることにより、問題の特性に合った最適な学習モデルを生成することができる。
【0116】
本開示の人工知能構造学習システム１は、問題の難易度に応じて、計算量が極力少なくて済むモデルを選択して判定を行う。これにより、システムの応答時間を速めるとともに、大量のデータ処理が必要な場合に、システム全体のスループットを上げることができる。
【0117】
上記を実現させるために、問題の難易度や必要な単位時間当たりの処理量などの条件に応じて、必要以上に層数の深いＡＩモデルを使った判定をせず、より計算スピードが速く済む適度な層数の浅さのＡＩモデルを使うようにする。例えば、図２０に示したように管理テーブルに、モデル毎の平均判定時間Ｔｉｍｅや疑いなくＰｏｓｉｔｉｖｅと判定してかまわない確度の下限値ρ１などの項目を、記載項目しておく。これにより処理装置は例えば、層数の浅いモデルであってもρが一定の値ρ１以上を確保できるモデルがある場合、そのモデルによる判定を直ちに採用する。ρが一定の値ρ１以上を確保できなくても、第１評価指標閾値ρＣ以上を確保できるモデルがある場合、その中から、最も平均判定時間Ｔｉｍｅが少ないモデルを採用して判定することができる。万が一判定用データ(未知のデータ)の判定が難しく判定確度ρが一定値ρＣ以上を満たさない場合、処理装置１１は、より層数の深いＡＩモデルで確度ρが一定の数値ρＣを超えるまで再度判定を行う。すべての登録済みモデルで判定しても充分な確度ρＣを確保できなかった場合は、モデルそのものを変更する動的学習プロセスに進む。以上のような処理を行うことにより、単に時間内に処理しなければならない判定問題については、層数の浅い簡易なモデルで判定を行い、イレギュラーなケースだけ再判定や再学習をするだけで済む。そのため、人工知能構造学習システム１における全体のスループットを向上させることができる。ここでρＣは、ρ１と等しいか、ρ１以下の値を設定する。設定方法としては、例えば、Ｎｅｇａｔｉｖｅと判定される累積の可能性が１％未満とか３％未満とか、問題特性に応じた許容可能な範囲でその確度を設定する。ρＣもρ１と同様モデルごとに動的に変更することもできる。
【0118】
また、図２０に示した管理テーブルにおいて層数が深く精度の高いモデルが複数存在した場合、学習のレベルがどちらも深く判定時間も同程度ならば、処理装置１１は確度ρのより高いモデルを採用し、判定に用いる。
【0119】
同様に、図２０に示した管理テーブルにおいて、学習のレベルが同程度でかつ、判定確度(ρ)も同程度の高さのモデルが複数存在した場合、処理装置１１はより評価指標の値が高いモデルを採用し、判定に用いる。
【0120】
上記のような、処理装置１１によるモデルの選定は、問題の難易度や性質に応じて行われる。例えば複数の写真の中から犬の写真を当てる問題の場合、問題の難易度が比較的低いので、処理装置１１は学習のレベルが浅いモデルを選択して判定を行ってよい。一方、犬の写真だが、犬種を答える問題の場合、問題の難易度がより高いので、処理装置１１は学習のレベルが深いモデルを選択して判定を行ってよい。同様に医療用の画像から、患部が癌化しているかどうかを判定する問題の場合、問題の難易度が高いため、学習のレベルが深いモデルを選択して判定を行う必要がある。
【0121】
人工知能を用いて判定を行う場合、単に１件だけ処理すればよいというわけではなく、単位時間に複数の問題を処理しなければならないようなケースがある。このような場合に処理装置１１は、当該問題の難易度、性質（適合性優先か再現性優先かなど）、確度として許容できる閾値などの条件に応じて、モデルの選定基準を動的に変更する。これにより、ユーザにとって最適な処理時間と最適な判定結果を得ることができる。
【0122】
なお、処理時間が短くても、判定結果に満足のいく精度が出ない場合には、処理装置１１は動的により深く学習したモデルを選び直すか、人工知能構造そのものを自動学習し直すプロセスへ進む。
【0123】
上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。例えば、本実施形態には以下に示す事項が含まれている。ただし、本実施形態に含まれる事項が以下に示すものに限定されることはない。
【0124】
以上のように、人工知能構造学習システムが記憶装置１２、１３と、処理装置１１とを有する。記憶装置は、所定の人工知能構造を持った人工知能構造モデルが格納された人工知能構造データベース１００と、人工知能構造の一部を構成し得る人工知能構造構成部品が格納された人工知能構造構成部品データベース１０６と、訓練用データセット１０１と、を記憶する。処理装置は、人工知能構造データベースから順次、人工知能構造モデルを選択し、該人工知能構造モデルについての第１評価指標を算出し、該第１評価指標が所定の第１評価指標閾値以上である人工知能構造モデルがあれば、該人工知能構造モデルに対応する学習済人工知能モデルを採用する。処理装置は、第１評価指標が第１評価指標閾値以上である人工知能構造モデルが人工知能構造データベースになければ、いずれかの人工知能構造モデルを基にして、人工知能構造構成部品データベースから順次選択した人工知能構造構成部品を追加可能な人工知能構造の箇所に順次追加した人工知能構造モデルを生成し、生成した当該人工知能構造モデルに対して訓練用データセットを用いた学習を行って学習済人工知能モデルを生成して、該学習済人工知能モデルに対応する人工知能構造モデルを人工知能構造データベースに登録するともに、第２評価指標が人工知能構造データベースに登録された他のモデルよりも良い値でありかつ、所定の第２評価指標閾値以上である学習済人工知能モデルが生成されたら、該学習済人工知能モデルを採用する。
【0125】
記憶装置と処理装置とを有する装置による、人工知能構造学習方法である。記憶装置は、所定の人工知能構造を持った人工知能構造モデルが格納された人工知能構造データベースと、人工知能構造の一部を構成し得る人工知能構造構成部品が格納された人工知能構造構成部品データベースと、訓練用データセットと、を記憶している。処理装置が、人工知能構造データベースから順次、人工知能構造モデルを選択し、該人工知能構造モデルについての第１評価指標を算出し、該第１評価指標が所定の第１評価指標閾値以上である人工知能構造モデルがあれば、該人工知能構造モデルに対応する学習済人工知能モデルを採用する。処理装置が、第１評価指標が第１評価指標閾値以上である人工知能構造モデルが人工知能構造データベースになければ、いずれかの人工知能構造モデルを基にして、人工知能構造構成部品データベースから順次選択した人工知能構造構成部品を追加可能な人工知能構造の箇所に順次追加した人工知能構造モデルを生成し、生成した当該人工知能構造モデルに対して訓練用データセットを用いた学習を行って学習済人工知能モデルを生成して、該学習済人工知能モデルに対応する人工知能構造モデルを人工知能構造データベースに登録するともに、第２評価指標が人工知能構造データベースに登録された他のモデルよりも良い値でありかつ、所定の第２評価指標閾値以上である学習済人工知能モデルが生成されたら、該学習済人工知能モデルを採用する。
【0126】
記憶装置と処理装置とを有する装置に人工知能構造を学習させるプログラムである。記憶装置は、所定の人工知能構造を持った人工知能構造モデルが格納された人工知能構造データベースと、人工知能構造の一部を構成し得る人工知能構造構成部品が格納された人工知能構造構成部品データベースと、訓練用データセットと、を記憶している。プログラムは、処理装置によって実行された場合に、人工知能構造データベースから順次、人工知能構造モデルを選択し、該人工知能構造モデルについての第１評価指標を算出し、該第１評価指標が所定の第１評価指標閾値以上である人工知能構造モデルがあれば、該人工知能構造モデルに対応する学習済人工知能モデルを採用する。プログラムは、処理装置によって実行された場合に、第１評価指標が第１評価指標閾値以上である人工知能構造モデルが人工知能構造データベースになければ、いずれかの人工知能構造モデルを基にして、人工知能構造構成部品データベースから順次選択した人工知能構造構成部品を追加可能な人工知能構造の箇所に順次追加した人工知能構造モデルを生成し、生成した当該人工知能構造モデルに対して訓練用データセットを用いた学習を行って学習済人工知能モデルを生成して、該学習済人工知能モデルに対応する人工知能構造モデルを人工知能構造データベースに登録するともに、第２評価指標が人工知能構造データベースに登録された他のモデルよりも良い値でありかつ、所定の第２評価指標閾値以上である学習済人工知能モデルが生成されたら、該学習済人工知能モデルを採用する。
【0127】
上記のように、人工知能構造データベースと人工知能構造構成部品データベースを準備し、人工知能構造データベースに所望の性能が得られる人工知能構造モデルがあればそれを採用し、所望の性能が得られる人工知能構造モデルがなければ、いずれかの人工知能構造に対して人工知能構造構成部品を追加した人工知能構造モデルを生成して、人工知能構造データべースに登録するとともに、所望の性能が得られる学習済人工知能モデルが得られたらそれを採用する。これにより、所望の性能が得られる好適な人工知能構造の人工知能構造モデルおよび学習済人工知能モデルの生成が可能になる。その際、人工知能構造データベースに所望の性能が得られる人工知能構造モデルがあればそれを採用し、なければ人工知能構造構成部品を追加して所望の性能が得られる人工知能構造モデルを生成するので、効率よく好適な人工知能モデルを生成することができる。また、生成した新たな人工知能構造が人工知能構造データベースに蓄積されるので、所望の性能が得られる可能性のある人工知能構造が人工知能構造データベースに増え、好適な人工知能構造の探索が更に効率化されていく。
【0128】
処理装置は、人工知能構造において複数の人工知能構造構成部品で構成される部分が有る場合の第２評価指標が、該部分が無い場合の第２評価指標よりも、所定の第２評価指標差分閾値以上良い値であれば、部分を人工知能構造構成部品として人工知能構造構成部品データベースに登録する。これにより、性能が大きく向上することが期待できる部分が人工知能構造構成部品としてデータベースに登録されるので、その後、新たな人工知能構造を生成するときに効率よく性能を向上できる。
【0129】
処理装置は、ユーザから予測問題の性質に関する情報を取得し、情報に基づいて第１評価指標および／または第２評価指標を設定する。これにより、予測対象の特性に応じた好適な評価指標を容易に設定することができる。
【0130】
人工知能構造モデルはニューラルネットワークであり、処理装置は、人工知能構造データベースにおける第２評価指標が所定の第２評価指標閾値以上の人工知能構造モデルの中から、ノードの階層数が少ない人工知能構造モデルから順次選択する。これにより、できるだけ単純な構造で所望の性能が得られるニューラルネットワークを探索することができる。
【0131】
第１評価指標が、予測対象の未知のデータである判定用データに対する予測の結果の確度または確度を代替する指標であり、処理装置は、人工知能構造データベースから選択した人工知能構造モデルに対応する学習済人工知能モデルによる判定用データに対する予測の結果の確度または確度を代替する指標の値が第１評価指標閾値以上ならば、該学習済人工知能モデルを予測対象に対する予測処理に採用する。これにより、学習済人工知能モデルにより所望の性能が得られる場合には学習処理を行うことなく、好適な人工知能構造の学習済人工知能モデルを採用することができる。
【0132】
人工知能構造データベースには、人工知能構造モデルに対応する学習済人工知能モデルにて取得された第１評価指標の平均値と、該学習済人工知能モデルにて第２評価指標が算出されるのに要する判定時間の平均値と、が更に格納されている。処理装置は、第１評価指標の平均値が一定値以上である人工知能構造モデルの中で、判定時間の平均値が短い方から順次選択する。これにより、できるだけ短時間で所望の評価指標が得られる人工知能構造を探索することができる。
【0133】
記憶装置は、テスト用データセット１０３を更に記憶しており、第２評価指標がテスト用データセットを用いて算出される、予測の性能を図る指標であり、Ｆ値以外に、重み付きＦ値、ＡＵＣ値、正解率、適合率(精度)、再現率などが考えられる。人工知能構造自動生成部によって生成された人工知能構造モデル毎に、第２評価指標をテスト用データセットを用いて導き出し評価することで、所望の性能が得られる人工知能構造モデルを取得することができる。
【0134】
人工知能構造は人工知能構造構成部品を有向辺で接続した有向非巡回グラフにより表すことができる。処理装置は、人工知能構造モデルに人工知能構造構成部品を追加して得られた人工知能構造をトポロジカルソートし、過去に試行した人工知能構造のいずれかと同じ構造であった場合にはスキップし、そうでなかった場合に第２評価指標による判定を行う。これにより、実質的に同じ人工知能構造を重複して試行するのを防止し、効率よく好適な人工知能モデルを生成することができる。
【0135】
人工知能構造は人工知能構造構成部品を有向辺で接続した構造である。処理装置は、人工知能構造モデルに人工知能構造構成部品を追加するとき、人工知能構造構成部品の入力と該入力に接続される人工知能構造モデルの出力とのデータ形式が整合しなければ当該出力と当該入力とのデータ形式を整合させる。処理装置は、人工知能構造構成部品の出力と該出力に接続される人工知能構造モデルの入力とのデータ形式が整合しなければ当該入力と当該出力とのデータ形式を整合させる。これにより、人工知能構造構成部品を支障なく人工知能構造モデルに追加することができる。
【符号の説明】
【0136】
１…人工知能構造学習システム、１１…処理装置、１２…記憶装置、１２…主記憶装置、１３…補助記憶装置、１４…通信装置、１５…入力装置、１６…出力装置、１７…バス、１００…人工知能構造データベース、１０１…訓練用データセット、１０２…検証用データセット、１０３…テスト用データセット、１０４…人工知能構造モデル、１０５…判定部、１０６…人工知能構造構成部品データベース、１０７…人工知能構造自動生成部、１０８…人工知能構造整合性チェック部、１０９…人工知能構造入出力次元調整部、１１０…人工知能構造構成部品データベース登録追加部、１１１…判定用データ(未知のデータ)、１１２…学習、１１３…学習済人工知能モデル、１１４…第２評価指標、１１５…第１評価指標
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】