特開 2023-2103 モデル推論装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023002103

(43)【公開日】2023-01-10

(54)【発明の名称】モデル推論装置、方法およびプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20221227BHJP

   G06N 3/08 20230101ALI20221227BHJP

【ＦＩ】

G06N20/00

G06N3/08

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021103130

(22)【出願日】2021-06-22

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】堀脇 一樹

(57)【要約】

【課題】
本発明は、モデルの更新をより適切に実行することで、その更新におけるコストを抑制することを課題とする。
【解決手段】
上記課題を解決するために、本発明では、機械学習におけるモデルを推論するモデル推論装置であるモデル更新・展開システム１であって、更新前のモデルである更新前モデルおよび更新後モデルを記憶する記憶部４０と、モデルの更新の際に用いられたデータにおける前記更新前モデルおよび前記更新後モデルの関連性に関する特徴を示す特徴量を作成する特徴量データ作成部３３と、前記更新前モデル、前記更新後モデルおよび前記特徴量に基づいて、前記更新の更新方法を学習する更新学習モデルを構築する更新学習モデル構築部３４と、前記更新学習モデルに基づいて、所定のモデルを推論する更新学習モデル推論部３６を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

機械学習におけるモデルを推論するモデル推論装置において、
更新前のモデルである更新前モデルおよび更新後モデルを記憶する記憶部と、
モデルの更新の際に用いられたデータにおける前記更新前モデルおよび前記更新後モデルの関連性に関する特徴を示す特徴量を作成する特徴量データ作成部と、
前記更新前モデル、前記更新後モデルおよび前記特徴量に基づいて、前記更新の更新方法を学習する更新学習モデルを構築する更新学習モデル構築部と、
前記更新学習モデルに基づいて、所定のモデルを推論する更新学習モデル推論部を有するモデル推論装置。

【請求項2】

請求項１に記載のモデル推論装置において、
前記特徴量データ作成部は、前記特徴量として、前記更新前モデルおよび前記更新後モデルの差分を示す差分情報を作成するモデル推論装置。

【請求項3】

請求項２に記載のモデル推論装置において、
前記更新学習モデル構築部は、前記更新前モデル、当該更新前モデルの構築の際に使用したデータおよび前記更新後モデルの構築の際に使用したデータを用いて、前記更新後モデルを教師データとした教師あり学習を行うことで、前記更新学習モデルを構築するモデル推論装置。

【請求項4】

請求項３に記載のモデル推論装置において、
前記特徴量データ作成部は、前記学習の際に、推定したパラメータ情報であるエッジ情報と教師データとして与えたエッジ情報との差分を、前記差分情報として作成し、
前記更新学習モデル構築部は、前記差分情報を、前記更新学習モデルへフィードバックすることで、前記更新学習モデルを構築するモデル推論装置。

【請求項5】

請求項１乃至４のいずれかに記載のモデル推論装置において、
さらに、前記更新学習モデルに基づいて、所定の業務でのモデルを展開する更新学習モデル展開部を有するモデル推論装置。

【請求項6】

機械学習におけるモデルを推論するモデル推論装置を用いたモデル推論方法において、
記憶部に、更新前のモデルである更新前モデルおよび更新後モデルを記憶しておき、
特徴量データ作成部により、モデルの更新の際に用いられたデータにおける前記更新前モデルおよび前記更新後モデルの関連性に関する特徴を示す特徴量を作成し、
更新学習モデル構築部により、前記更新前モデル、前記更新後モデルおよび前記特徴量に基づいて、前記更新の更新方法を学習する更新学習モデルを構築し、
更新学習モデル推論部により、前記更新学習モデルに基づいて、所定のモデルを推論するモデル推論方法。

【請求項7】

請求項６に記載のモデル推論方法において、
前記特徴量データ作成部により、前記特徴量として、前記更新前モデルおよび前記更新後モデルの差分を示す差分情報を作成するモデル推論方法。

【請求項8】

請求項７に記載のモデル推論方法において、
前記更新学習モデル構築部により、前記更新前モデル、当該更新前モデルの構築の際に使用したデータおよび前記更新後モデルの構築の際に使用したデータを用いて、前記更新後モデルを教師データとした教師あり学習を行うことで、前記更新学習モデルを構築するモデル推論方法。

【請求項9】

請求項８に記載のモデル推論方法において、
前記特徴量データ作成部により、前記学習の際に、推定したパラメータ情報であるエッジ情報と教師データとして与えたエッジ情報との差分を、前記差分情報として作成し、
前記更新学習モデル構築部により、前記差分情報を、前記更新学習モデルへフィードバックすることで、前記更新学習モデルを構築するモデル推論方法。

【請求項10】

請求項６乃至９のいずれかに記載のモデル推論方法において、
さらに、前記更新学習モデルに基づいて、所定の業務でのモデルを展開するモデル推論方法。

【請求項11】

機械学習におけるモデルを推論するモデル推論装置であるコンピュータを、
更新前のモデルである更新前モデルおよび更新後モデルを記憶する記憶部と、
モデルの更新の際に用いられたデータにおける前記更新前モデルおよび前記更新後モデルの関連性に関する特徴を示す特徴量を作成する特徴量データ作成部と、
前記更新前モデル、前記更新後モデルおよび前記特徴量に基づいて、前記更新の更新方法を学習する更新学習モデルを構築する更新学習モデル構築部と、
前記更新学習モデルに基づいて、所定のモデルを推論する更新学習モデル推論部として機能させるためのプログラム。

【請求項12】

請求項１１に記載のプログラムにおいて、
前記特徴量データ作成部は、前記特徴量として、前記更新前モデルおよび前記更新後モデルの差分を示す差分情報を作成するプログラム。

【請求項13】

請求項１２に記載のプログラムにおいて、
前記更新学習モデル構築部は、前記更新前モデル、当該更新前モデルの構築の際に使用したデータおよび前記更新後モデルの構築の際に使用したデータを用いて、前記更新後モデルを教師データとした教師あり学習を行うことで、前記更新学習モデルを構築するプログラム。

【請求項14】

請求項１３に記載のプログラムにおいて、
前記特徴量データ作成部は、前記学習の際に、推定したパラメータ情報であるエッジ情報と教師データとして与えたエッジ情報との差分を、前記差分情報として作成し、
前記更新学習モデル構築部は、前記差分情報を、前記更新学習モデルへフィードバックすることで、前記更新学習モデルを構築するプログラム。

【請求項15】

請求項１１乃至１４のいずれかに記載のプログラムにおいて、
さらに、前記更新学習モデルに基づいて、所定の業務でのモデルを展開する更新学習モデル展開部を有するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、いわゆる機械学習モデルの管理に関する。その中でも、製造・設計・保全業務等の各種業務におけるモデルを管理するための技術に関する。なお、モデルの管理には、更新や展開することが含まれる。

【背景技術】

【0002】

現在、各種業務の支援に、計算機システム上に構築した機械学習モデル（以下、モデル）を用いることがなされている。また、より効率的な業務支援のために、モデルを更新したり、他拠点、他業務等への展開することがなされている。

【0003】

このような、更新や展開では、業務上で得られたデータや技術者、作業者等が持つノウハウに基づいて、モデルを構築する。そして、業務へ適用した際、当該モデルの精度が劣化すると、モデル精度向上を目的とし、モデルを更新する。また、構築したモデルを業務で活用し、得られた結果を他拠点や他業務等へと展開することがなされている。

【0004】

このようなモデルの更新・展開に関する先行技術文献としては、特許文献１がある。特許文献１には、過去の分析業務で得られた結果をデータベース上に保存し、モデル更新時に、該当事例と類似した事例をデータベース上より検索し、その検索結果からモデル更新や展開を行うと記載されている。

【0005】

また、他の先行技術文献として、特許文献２がある。特許文献２には、事前知識にてベイジアンネットワークと呼ばれるグラフィカルモデルを作成し、故障事象が発生した際に、該当事象に該当するサブグラフのベイジアンネットワークを構築ならびに更新を行い、のちに事前に作成したモデルに対し確率分布を更新すると記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１９－７９２１６号公報

【特許文献2】特開２００９－２２３３６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ここで、モデルの更新・展開を含むモデルの管理においては、その適用先の状況に応じてパラメータの管理が必要となる。例えば、製造業では、課題解決のために統計モデルや機械学習モデルと呼ばれるモデルを利用するが、装置の種類や使用環境等によりモデルで使用するパラメータの更新ならびに管理を行う必要がある。

【0008】

このため、モデルの管理においては、パラメータの更新を含む管理を行うことが必要である。特に、モデルの適用先が、少量多品目の装置群であれば、装置毎にパラメータを管理、更新することが必要である。このため、管理すべきパラメータ数が膨大となり、その結果、管理コストが高くなる。

【0009】

ここで、特許文献１では、複数のデータリソースや分析結果を入力とし、計算機で計算しやすい事象データに変換し、データベース上へ保存する。そして、モデル更新時に、該当事例と類似した事例がデータベース上から検索し、その結果をモデル更新に反映させることが可能になっている。しかし、特許文献１では、該当事例に類似する事例をあらかじめ全てデータベース上に保存しておく必要があり、該当事例がデータベース上に存在しない場合、モデルを再構成する必要があり、装置の種類や使用環境等によるパラメータの数を低減することができない。

【0010】

また、特許文献２では、あらかじめ対象を包括するグラフィカルモデルを構築し、その部分モデルを更新し、更新結果を元のモデルへ反映することでパラメータの管理コストを低減することが可能となっている。しかし、特許文献２では、対象とするモデル毎に包括したモデルを構築し、そのモデルのパラメータ設定毎に、パラメータの設定と評価のループを繰り返す必要が生じ、管理コストが高くなってしまう。

【0011】

以上のように、特許文献１ならびに特許文献２では、パラメータを更新することは可能であるが、多種多様な条件に対し、モデルの再構成やパラメータ調整の繰り返し作業が必要となり、モデルの更新にかかるコストが膨大となる。

【0012】

そこで、本発明は、モデルの更新をより適切に実行し、そのコストを抑制することを課題とする。

【課題を解決するための手段】

【0013】

上記課題を解決するために、本発明では、モデルの更新自体を学習する。この一例として、本発明では、パラメータ調整や管理、更新をする条件の判定自体を統計モデルや機械学習モデルで表現し、これを学習する。そして、この結果を、モデルの更新や展開に反映することができる。

【0014】

より具体的には、機械学習におけるモデルを推論するモデル推論装置において、更新前のモデルである更新前モデルおよび更新後モデルを記憶する記憶部と、モデルの更新の際に用いられたデータにおける前記更新前モデルおよび前記更新後モデルの関連性に関する特徴を示す特徴量を作成する特徴量データ作成部と、前記更新前モデル、前記更新後モデルおよび前記特徴量に基づいて、前記更新の更新方法を学習する更新学習モデルを構築する更新学習モデル構築部と、前記更新学習モデルに基づいて、所定のモデルを推論する更新学習モデル推論部を有するモデル推論装置である。

【0015】

本発明には、このモデル推論装置を用いたモデル推論方法も含まれる。さらに、モデル推論装置であるコンピュータを機能させるためのプログラムやこれを格納した記憶媒体といったプログラム製品も、本発明に含まれる。

【発明の効果】

【0016】

本発明のうち代表的な実施の形態によれば、本発明では、モデルの更新をより適切に実行し、モデルの更新のコストを抑制することが可能となる。

【0017】

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態におけるモデル更新・展開システムの構成例を示す図である。

【図2】本発明の一実施形態におけるモデル表示部での更新対象となるモデルおよび更新後のモデルの表示例を示す図である。

【図3】本発明の一実施形態におけるパラメータ表示部でのパラメータ情報を表示する表示例を示す図である。

【図4】本発明の一実施形態における更新学習モデル選択部での更新学習モデルを管理する情報を表示する表示例を示す図である。

【図5】本発明の一実施形態における更新学習モデル表示部での更新学習モデルの構造形式での表示例を示す図である。

【図6】本発明の一実施形態における更新学習モデルパラメータ表示部での更新学習モデルのパラメータ情報を表示する表示例を示す図である。

【図7】本発明の一実施形態における更新学習モデルの学習の処理フローを示すフローチャート図である。

【図8】本発明の一実施形態におけるステップＳ４（更新学習モデルの学習）の詳細処理フローを示すローチャートである。

【図9】本発明の一実施形態における推論フェーズにおける更新学習モデル推論部の処理フローの例を示すフローチャートである。

【図10】本発明の一実施形態における展開フェーズにおける制御部の処理フローの例を示すフローチャートである。

【図11】本発明の一実施形態におけるモデルのネットワーク構造でのデータの構成例を示す図である。

【図12】本発明の一実施形態における更新学習モデルの構造形式によるデータの構成例を示す図である。

【図13】本発明の一実施形態における更新前モデル構築の際のデータ、更新後モデル構築の際のデータまたは運用の際に取得したデータの構成例を示す図である。

【図14】本発明の一実施形態におけるモデルのパラメータであるエッジ情報のデータ構成例を示す図である。

【図15】本発明の一実施形態における更新学習モデルのパラメータ情報のデータ構成例を示す図である。

【図16】本発明の一実施形態における実装例を示す図である。

【発明を実施するための形態】

【0019】

以下、本発明の一実施形態について、図面を参照しながら説明する。なお、各図においては、同一部には原則として同一符号を付し、その繰り返しの説明は省略する。また、本実施形態では、更新対象のモデルとしてグラフィカルモデルを例とし、更新学習モデルとしてグラフニューラルネットワークを採用しているが、この限りではない。
（１）システム構成
図１は、本実施形態のモデル更新・展開システム１の構成例を示す図である。つまり、モデル更新・展開システム１は、本発明のモデル推論装置の一例である。このモデル更新・展開システム１は、一般的な計算機（ＰＣ等）で構成でき、例えばソフトウェアプログラムの実行処理により後述する処理を実現する。

【0020】

モデル更新・展開システム１は、入出力部１１、通信部１２、表示部２０、制御部３０、記憶部４０、およびバス等で構成される。ここで、入出力部１１は、ユーザの操作を受け付けたり、ユーザへの情報を出力したりする。つまり、入出力部１１は、入力機能をおよび出力機能を有すればよい。このため、入出力部１０は、入力機能を有する入力装置と出力機能を有する出力装置との個別の装置で実現できる。

【0021】

例えば、入力機能としては、以下の入力を受け付ける。
（Ａ）モデル更新の対象となるモデルの指定
（Ｂ）更新学習モデルと呼ぶモデルを更新する際に使用するモデルの設定項目
（Ｃ）出力装置の一種であるグラフィカルユーザインターフェース（ＧＵＩ）上にある項目の入力
（Ｄ）モデル更新の対象となるモデルや更新学習モデルの選択、
（Ｅ）モデル更新の対象となるモデルを使用する環境で測定した観測データの入力
また、出力機能の例としては、更新学習モデルの学習ならびに更新学習モデルを用いた推論結果の出力を行うことが挙げられる。そして、入出力部１１として、例えばキーボード、マウス、ディスプレイ、プリンタ等で実現できる。

【0022】

また、通信部１２は、モデル更新・展開システム１の外部の通信網に対する通信インタフェース装置を含み、外部のサーバや製造装置等と通信する。このために、通信部１２は、制御部３０からの制御に従って、外部のサーバや製造装置等から、モニタデータや製造工程情報等を取得、参照してもよい。

【0023】

また、モデル更新・展開システム１は、表示部２０の画面で、ＧＵＩを構成し、各種の情報を表示する構成としてもよい。なお、表示部２０は、出力装置として実現してもよいし、個別に構成してもよい。個別に構成する場合、入出力部１１は、ユーザが利用する端末装置との接続する機能を有することになる。この場合、表示部２０は省略可能である。この場合、入出力部１１と通信部１２を１つの部位として構成することが可能である。

【0024】

制御部３０では、例えばＣＰＵのようなプロセッサやＲＡＭ、ＲＯＭ等のメモリといった公知の要素により構成される。つまり、制御部３０は、メモリに格納されるプログラムに従って、後述する各部の処理を実現する、
つまり、制御部３０は、入力データ処理部３１、エッジ処理部３２、特徴量データ作成部３３、更新学習モデル構築部３４、モデル表示処理部３５、更新学習モデル推論部３６、更新学習モデル展開部３７を有し、本実施形態の主たる処理を行う。
（２）表示内容
次に、図２から図６を用いて、本実施形態での表示内容について、説明する。本実施形態では、表示部２０で表示するＧＵＩ画面例について説明するが、入出力部１１や通信部１２を介して同様の出力、表示が可能である。

【0025】

表示部２０は、モデル表示部２１、パラメータ表示部２２、更新学習モデル選択部２３、更新学習モデル表示部２４、更新学習モデルパラメータ表示部２５から主に構成される。但し、これらは、制御部３０の機能として実現してもよい。つまり、表示部２０のＧＵＩ画面は、各部を実現するプログラムに従って、制御部３０で作成し、表示部２０に表示することが可能である。

【0026】

まず、図２は、モデル表示部２１での更新対象となるモデルおよび更新後のモデルの表示例を示す図である。モデル表示部２１は、モデル管理画面（２－１）と呼ばれる表形式の画面を表示する。このモデル管理画面（２－１）は、モデルに関するヘッダ情報(２－２)とそのヘッダに対する値（２－３）からなる表形式の画面である。ヘッダ情報（２－２）は主に、行方向の番号を表すヘッダ（２－４）、モデルを識別するラベル（２－５）、モデルで使用されているデータ項目数（２－６）、モデルの作成日時（２－７）、詳細設定リンク（２－８）からなる。ヘッダ情報（２－２）については、あくまで一例でありこの限りではない。

【0027】

また、行方向の番号を表すヘッダ（２－４）は、保存している各モデルを表示する際の行番号を表す。ラベル（２－５）は、モデル記憶部４１ならびにパラメータ記憶部４４にて保存されているモデルを識別するラベルを各モデルについての情報を示す。データ項目数（２－６）は、モデル記憶部４１の１１－１で記載されているネットワーク構造のノード数ならびにパラメータ記憶部４４で記載されているヘッダ（１４－３ならびに１４－４）のデータ項目数を示す。

【0028】

作成日時（２－７）は、モデルを作成した日時を示す。詳細設定リンク（２－８）には、各モデルの詳細設定を表示する画面に遷移するためのボタンが表示される。各モデルのモデル詳細設定画面（２－９）には、対象モデルのネットワーク構造（２－１１）が表示される。表示するネットワーク構造（２－１１）は、モデル記憶部４１に保存されている情報を表示する。ネットワーク構造でのラベル（２－１０）は、モデル管理画面（２－１）のラベル（２－５）に対応するものである。ネットワーク構造（２－１１）では、各データ項目を表すノード（２－１２）ならびにデータ項目間の関係を表すエッジ情報（２－１３）で構成されたネットワーク構造を表示する。

【0029】

また、ノード（２－１２）は、モデル記憶部４１の１１－３に、エッジ情報はモデル記憶部４１の１１－４に、それぞれ該当する。パラメータ表示ボタン（２－１４）は、対象モデルのパラメータを表示する画面であるパラメータ表示部２２に遷移するボタンである。

【0030】

次に、図３を用いて、パラメータ表示部２２について説明する。図３は、本実施形態におけるパラメータ表示部でのパラメータ情報を表示する表示例を示す図である。パラメータ表示部２２は、更新対象となるモデルならびに更新後のモデルのパラメータを表示する。

【0031】

図３において、パラメータ表示部２２では、モデル管理画面（２－１）のモデル詳細設定画面（２－９）上のパラメータ表示ボタン（２－１４）が押下されることで、画面を遷移する。また、パラメータ表示部２２は、対象モデルを表すラベル（３－１）とパラメータ情報（本実施例の場合はエッジ情報）を表形式（３－２）にて表示する。

【0032】

ここで、表形式（３－２）は、モデル表示部２１の各データ項目間のエッジ情報（２－１３）を表形式にて表示される。表の一行目（３－３）ならびに一列目（３－４）は、対象モデルで使用されているデータ項目であり、パラメータ記憶部４４の１４－３ならびに１４－４に該当する。データ項目間のエッジ情報（３－５）は、パラメータ記憶部４４に保存されている１４－５の情報を示す。

【0033】

次に、図４を用いて、更新学習モデル選択部２３について説明する。図４は、本実施形態における更新学習モデル選択部２３での更新学習モデルを管理する情報を表示する表示例を示す図である。ここで、更新学習モデル選択部２３は、更新を学習するモデルを更新学習モデルと呼び、複数の更新学習モデルを選択する画面を表示する。

【0034】

更新学習モデル選択部２３は、表形式にて記載される更新学習モデル管理画面（４－１）を表示する。ここで、更新学習モデル管理画面（４－１）は、ヘッダ情報（４－２）とヘッダに対応する値（４－３）で構成された表を示す。ヘッダ情報（４－２）は、各更新学習モデルの行番号（４－４）、更新学習モデルを識別するラベル（４－５）、更新学習モデルで扱うデータ項目数（４－６）、更新学習モデルを作成した作成日時（４－７）ならびに更新学習モデルの詳細情報を記載した画面へ遷移するボタンを記載する詳細設定（４－８）を有する。

【0035】

このヘッダ情報（４－２）は、あくまで一例でありこの限りではない。行方向の番号を表すヘッダである行番号（４－４）は保存している各更新学習モデルを表示する際の行番号を表す。ラベル（４－５）は、モデル記憶部４１ならびに更新学習モデルパラメータ記憶部４５にて保存されているモデルを識別するラベルを示す。データ項目数（４－６）は、モデル記憶部４１の１２－１で記載されているグラフィカルニューラルネットワーク構造の入力層のノード数を記載する。作成日時（４－７）は、更新学習モデルを作成した日時を示す。詳細設定（４－８）は、各モデルの詳細設定を表示する画面に遷移するボタンが記載される。

【0036】

次に、図５を用いて、更新学習モデル表示部２４について説明する。図５は、本実施形態における更新学習モデル表示部２４での更新学習モデルの構造形式での表示例を示す図である。

【0037】

更新学習モデル表示部２４は、更新学習モデルを表示する。具体的には、更新学習モデル表示部２４は、更新学習モデル記憶部４２で保存している対象となる更新学習モデルのラベル（５－１）と構造形式（５－２）を表示する。ここで、ラベル（５－１）は、更新学習モデル記憶部のラベル（１２－１）に対応する。また、構造形式（５－２）は、更新学習モデル記憶部４２の構造形式（１２－２）に対応する。構造形式（５－２）は、更新学習モデルの入力層（５－３）、更新学習モデルの出力層（５－４）、更新学習モデルの中間層（５－５）、更新学習モデルの中間層の層番号（５－６）、更新学習モデルの各ノード間の接続を表すエッジ情報（５－７）から構成される。

【0038】

また、更新学習モデルの入力層（５－３）は、更新学習モデル記憶部４２の１２－３に対応する。更新学習モデルの出力層（５－４）は、更新学習モデル記憶部４２の１２－４に対応する。更新学習モデルの中間層（５－５）は、更新学習モデル記憶部４２の１２－５に対応する。更新学習モデルの中間層の層番号（５－６）は、更新学習モデル記憶部４２の１２－６に対応する。更新学習モデルのノード間の接続を表すエッジ情報（５－７）は、更新学習モデル記憶部４２の１２－７に対応する。パラメータ表示ボタン（５－８）は、更新学習モデルのパラメータである各ノード間の重みを記載した表を有する画面である更新学習モデルパラメータ表示部２５への遷移を行うためのボタンである。

【0039】

次に、図６を用いて、更新学習モデルパラメータ表示部２５について説明する。図６は、本実施形態における更新学習モデルパラメータ表示部２５での更新学習モデルのパラメータ情報を表示する表示例を示す図である。

【0040】

更新学習モデルパラメータ表示部２５は、更新学習モデル内のパラメータを表示する。具体的には、更新学習モデルパラメータ表示部２５は、更新学習モデルを識別するラベル（６－１）と更新学習モデルのパラメータを表形式で保存した画面（６－２）から構成される。ここで、ラベル（６－１）は、対象モデルのラベルであり、更新学習モデル表示部２４でパラメータ表示ボタン（５－８）を押下した際に表示していたモデルのラベル（５－１）に対応し、更新学習モデルパラメータ記憶部４５にて保存されているラベル（１５－１）に対応する。表形式での画面（６－２）は、二つの表から構成されており、それぞれ層番号と層内ノード数の表（６－３）、層番号、重み番号ならびに重み番号に対応する重みの値を有する表（６－４）からなる。層番号と層内ノード数の表（６－３）は、ヘッダとして層番号（６－５）ならびに層内ノード数（６－６）を有し、それぞれの値を６－１０に記載する。層番号、重み番号ならびに重み番号に対応する重みの値を有する表（６－４）は、ヘッダとして層番号（６－７）、重み番号（６－８）ならびに重み（６－９）を有し、それぞれの値は６－１１に記載される。
（３）制御部３０
次に、制御部３０について説明する。図１に示すように、制御部３０は、入力データ処理部３１、入力データ処理部３１、エッジ処理部３２、特徴量データ作成部３３、更新学習モデル構築部３４、モデル表示処理部３５、更新学習モデル推論部３６、更新学習モデル展開部３７から主に構成される。これらは、各機能ブロックであり、上述のようにプログラムに従ってその処理を実行することもできる。このことについては、後述する。

【0041】

ここで、本実施形態で対象とする更新学習モデルは、学習、推論、展開と呼ぶ三つのフェーズが存在する。学習は、更新学習モデルの最適なパラメータを過去のモデル群とデータ群により学習するフェーズである。また、推論は、学習によりパラメータ調整された更新学習モデルを用いて、入力されたモデルならびにデータから更新が必要な情報を推論し、出力するフェーズである。展開は、過去に作成した更新学習モデルを管理し、他モデルへの適用を行うフェーズである。

【0042】

次に、図７を用いて学習フェーズにおける制御部３０の処理フローの例を説明する。図７は、本実施形態における更新学習モデルの学習の処理フローを示すフローチャートである。

【0043】

まず、モデル更新・展開システム１に入力された対象とするモデルとそのデータに対して、入力データ処理部３１が処理を行う（ステップＳ１）。ここで、入力データ処理部３１は、更新学習モデルの更新用の教師データとして、更新前のモデル(更新前モデル)と更新前モデルを構築時に使用したデータ(更新前モデル構築データ)、更新前モデルを運用し実際に得らえたデータ(更新後モデルデータ)ならびに更新後モデルデータを用いて更新したモデル(更新後モデル)の入力を受け付ける。

【0044】

ここで、入力数として、更新前モデル、更新前モデル構築データ、更新後モデル、更新後モデル構築データは複数入力することが可能である。複数のモデルのことを以下モデル群とよび、また複数のデータのことをデータ群と呼ぶこととする。なお、本ステップでのデータの処理とは、データの前処理、欠損値の処理・補完、外れ値の処理等の統計的データ処理や、エラーチェック等の種々の処理のことを指す。

【0045】

次に、エッジ処理部３２が、更新前モデル群と更新後モデル群からグラフ情報であるエッジ情報を取得する（ステップＳ２）。次に、特徴量データ作成部３３が、更新前モデル構築データと更新後モデル構築データを用いて特徴量データを作成する（ステップＳ３）。ここで、特徴量データとは、更新前モデルと更新後モデルの関連性に関する特徴を示すものである。この例として、更新前モデルと更新後モデルの差分や更新前モデル構築データと更新後モデル構築データの差分を用いることができる。

【0046】

次に、更新学習モデル構築部３４が、更新学習モデルの学習を行う（ステップＳ４）。このために、更新学習モデル構築部３４は、グラフニューラルネットワークをベースとする。そして、更新学習モデル構築部３４は、ステップＳ２にて処理した更新前モデル群のエッジ情報を入力とし、ステップＳ３で作成した特徴量データを用い、教師データとしてステップＳ２にて処理した更新後のモデル群のエッジ情報とするモデルの学習を行う。ここで、学習されるモデルを更新学習モデルと呼ぶこととする。ステップＳ４については、図８を用いて、詳細なフローを説明する。

【0047】

最後に、モデル表示処理部３５が、学習が終了した更新学習モデルを画面上に出力する（ステップＳ５）。なお、更新学習モデルについては、表示部２０の更新学習モデル表示部２４で出力してもよい。

【0048】

次に、図８を用いて、ステップＳ４の詳細フローを説明する。図８は、本実施形態におけるステップＳ４（更新学習モデルの学習）の詳細処理フローを示すローチャートである。
まず、更新学習モデル構築部３４は、グラフニューラルネットワーク由来のモデルを更新学習モデルとして定義する（ステップＳ６）。ここでは、Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＧＣＮ）を例として取り上げる。

【0049】

次に、更新学習モデル構築部３４は、更新学習モデルに対し、ステップＳ３で作成した更新前モデル構築データと、更新後モデル構築データから作成した特徴量データと、更新前モデル群を入力として受け付ける（ステップＳ７）。この入力とは、機械学習分野における説明変数という意味である。

【0050】

次に、更新学習モデル構築部３４は、ステップＳ７で入力した特徴量と更新前モデル群に対応する更新後モデル群を教師データとし、更新前モデル群と更新後モデル群ならびに特徴量のペアを、それぞれ訓練用データ群と検証用データ群に分ける（ステップＳ８）。

【0051】

次に、更新学習モデル構築部３４は、訓練用データ群から更新前モデル、更新後モデル、特徴量データを取得する（ステップＳ９）。ここでの取得方法は、ランダムでも昇順でも降順でもユーザが指定する取得方法でも構わず任意とし、その取得個数についても限定されない。

【0052】

次に、更新学習モデル構築部３４は、取得した更新前モデルとそれに対応する特徴量データを更新学習モデルに入力し、更新学習モデルから特徴量を作成する。そして、更新学習モデル構築部３４は、その特徴量から対象とする教師データである更新後モデルの各ノード間のエッジ出現確率を推定する（ステップＳ１０）。

【0053】

次に、更新学習モデル構築部３４は、推定されたエッジの出現確率に応じて、エッジの存在を判定することで、２値情報を推定する。このために、更新学習モデル構築部３４は、エッジの値から事前に更新学習モデルパラメータ表示部２５にて設定した閾値と比較する。閾値を超えた場合、更新学習モデル構築部３４は、エッジが存在すると判断し、エッジ情報として対象ノード間のエッジ情報（２値情報）を１とする。閾値を超えなかった場合、更新学習モデル構築部３４は、エッジが存在しないと判断し、対象ノード間のエッジ情報（２値情報）を０とする。

【0054】

これらエッジ情報を推定エッジ情報と呼ぶこととする。なお、閾値については更新学習モデルパラメータ表示部２５にて設定することも、更新学習モデル構築部３４にて自動で適切な閾値を設定することも可能とし、閾値設定方法についてはこれら二つの方法の限りではない。

【0055】

次に、更新学習モデル構築部３４は、ステップＳ１１にて計算した推定エッジ情報と、ステップＳ２にて更新後モデルから処理したエッジ情報を比較する。そして、更新学習モデル構築部３４は、その差分を示す差分情報を更新学習モデルへフィードバックする（ステップＳ１２）。ここで、更新学習モデルへのフィードバック方法には、推定エッジ情報とエッジ情報の差分情報を、例えば交差エンタルピーを用いて損失値を計算し、その値を更新学習モデルへ誤差逆伝搬法にてフィードバックする方法をとることができる。但し、この方法は、一例であり、この方法に限定されない。

【0056】

次に、更新学習モデル構築部３４は、ステップＳ９で抽出された訓練用データ群のそれぞれに対して、ステップＳ８～Ｓ１０の操作を繰り返し行う。このことで、更新学習モデル構築部３４は、設定したモデルの推定誤差関数の値が、所定条件を満たすように小さくなるまで行う（ステップＳ１３）。この学習回数については、事前に更新学習モデルパラメータ表示部２５にて設定することも、更新学習モデル構築部３４にて自動で設置することも可能とし、また、これら二つの方法の限りではない。また、所定条件を満たすとは、推定誤差関数の値が閾値以下であることや、ステップＳ８～Ｓ１１の繰り返し回数が一定回数以上であることが含まれる。

【0057】

次に、更新学習モデル構築部３４は、ステップＳ９で抽出された検証用データのそれぞれに対し、ステップＳ６～Ｓ１３で学習した更新学習モデルを用いて、ステップＳ８～Ｓ１０の操作を繰り返す。このことで、更新学習モデル構築部３４は、推定結果に対する予測精度を出力する（ステップＳ１４）。

【0058】

ここで、推定した結果の表示は、更新学習モデル選択部２３ならびに更新学習モデル表示部２４としてもよい。なお、更新学習モデル構築部３４は、推定結果に対する予測精度は更新学習モデル記憶部４２に保存するものとする。また、更新学習モデル構築部３４は、学習が完了した更新学習モデルに関するパラメータ等の情報を、更新学習モデルパラメータ記憶部４５に保存するものとする。さらに、更新学習モデル構築部３４は、更新学習モデルに使用した更新前モデル群、更新後モデル群、作成した特徴量、学習条件を、更新学習モデル記憶部４２に保存するものとする。以上で、図８の説明を終了する。

【0059】

次に、図９は、推論フェーズにおける更新学習モデル推論部３６の処理フローの例を示すフローチャートである。

【0060】

まず、更新学習モデル推論部３６は、モデル更新・展開システム１に入力された対象とするモデル（更新対象モデル）、更新対象モデルを構築した際に使用したデータ（更新対象モデル構築データ）とそのモデルを運用した際に取得したデータ（運用時取得データ）の処理を行う（ステップＳ１５）。なお、ここでのデータの処理とは、学習フェーズのステップＳ１と同様にデータの前処理、欠損値の処理・補完、外れ値の処理等の統計的データ処理や、エラーチェック等の種々の処理のことを指す。

【0061】

次に、更新学習モデル推論部３６は、入力されたモデルのエッジ情報を取得する（ステップＳ１６）。なお、本ステップでは、ステップＳ２と同様の処理を行う。

【0062】

次に、更新学習モデル推論部３６は、更新対象モデル構築データと運用の際の取得データを用いて、特徴量データを作成する（ステップＳ１７）。この特徴量の作成は、学習フェーズのステップＳ３と同様の方法で実現できる。

【0063】

次に、更新学習モデル推論部３６は、学習フェーズにて得らえた更新学習モデルを用いて、更新後のモデルを推定する（ステップＳ１８）。推定方法として、ステップＳ１６で得られた入力を、更新対象モデルのエッジ情報および特徴量データとする。そして、更新学習モデル推論部３６は、学習フェーズのステップＳ１０ならびにＳ１１と同様の処理を行い、更新後モデルのエッジ情報を推定する。

【0064】

次に、更新学習モデル推論部３６は、推定したエッジ情報を保有するモデルを更新後モデルとし、モデルを出力する（ステップＳ１９）。この際、更新学習モデル表示部２４を用いて、表示部２０に表示することが望ましい。

【0065】

次に、図１０は、展開フェーズにおける制御部３０の処理フローの例を示すフローチャートである。本フローチャートは、更新学習モデル展開部３７で実行される。

【0066】

まず、更新学習モデル展開部３７は、更新対象とするモデルを入力し、そのデータ項目数を確認する（ステップＳ２０）。つまり、データ項目数が計測される。

【0067】

次に、更新学習モデル展開部３７は、確認されたデータ項目数と、更新学習モデルの数を比較する（ステップＳ２１）。この結果、同数の場合、ステップＳ２２に遷移する。同数でない場合、ステップＳ２３に遷移する。

【0068】

次に、同数の場合、更新学習モデル展開部３７は、選択した更新学習モデルを使用すると、決定する（ステップＳ２２）。

【0069】

また、同数でない場合、更新学習モデル展開部３７は、選択した更新学習モデルの中間層のパラメータのみを使用することとする。そして、更新学習モデル展開部３７は、選択した更新学習モデルの入力層ならびに出力層と中間層の間のパラメータを更新対象となるモデルと同数のデータ項目数の教師データにてファインチューニングする。更新学習モデル展開部３７は、この結果を、新たな更新学習モデルとし、記憶部４０に保存する（Ｓ２２）。

【0070】

次に、更新学習モデル展開部３７は、推論フェーズへと移行する（ステップＳ２４）。この結果、推論フェーズでは、ステップＳ２１で決定された更新学習モデル、もしくはステップＳ２２で保存した更新学習モデルを用いて、更新対象のモデルを更新することができる。
（４）記憶部４０
次に、記憶部４０について説明する。記憶部４０は、モデル記憶部４１と、更新学習モデル記憶部４２と、入力データ記憶部４３と、パラメータ記憶部４４と、更新学習モデルパラメータ記憶部４５から主に構成される。なお、これらは、記憶される情報により便宜上分けたものであり、構成としては１つの筐体で実現するなど、その数は問わない。次に、記憶部４０に記憶される各種情報について説明する。

【0071】

まず、モデル記憶部４１に記憶された内容を説明する。図１１は、本実施形態におけるモデルのネットワーク構造でのデータの構成例を示す図である。具体的には、本データは、教師データである更新前モデルと更新後モデルならびに更新学習モデルにて推定したモデルである。ここで、本実施形態では、更新前モデル、更新後モデルならびに更新学習モデルにて推定したモデルをベイジアンネットワークと仮定し、そのフォーマットを図１１に示す。なお、仮定したモデルはベイジアンネットワークモデルであるが、その限りではない。

【0072】

図１１に示すデータは、モデルを識別するラベル情報（１１－１）とネットワークで表現されたモデル情報(１１－２)を含む。ここで、本図では、ネットワーク構造での表現形式を用い、各データ項目について、ノード（１１－３）を丸印で、ノード間のエッジ情報（１１－４）を矢印で示す。図１１において、一行目の温度１に対し、温度２にエッジが接続している場合、ネットワーク構造では、温度１のノードを始点とし、温度２のノードを終点としたエッジを温度１のノードと温度２のノード間に記載する。

【0073】

次に、図１２は、本実施形態における更新学習モデルの構造形式によるデータの構成例を示す図である。つまり、図１２では、更新学習モデル記憶部４２に記憶されている更新学習モデル示す。本実施形態では、更新学習モデルをグラフニューラルネットワークと仮定し、そのフォーマットを図１２に示している。

【0074】

図１２では、更新学習モデルを識別するラベル（１２－１）とモデルを、構造形式にて表現した図である構造形式（１２－２）で記載している。この構造形式では、表形式で記載した更新学習モデルをグラフ形式にて表現する。ここで、本図では、グラフニューラルネットワークで表現されるモデルの入力層ならびに出力層に存在するノード（入力層１２－３、出力層１２－４）をそれぞれ黒丸で表現し、中間層のノードを（１２－６）それぞれ白丸にて表現する。ここで、層番号は中間層の番号（１２－６）を表し、層内ノードは各層番号の白丸で表現されるノードの数を表す。また、層番号ごとの重み番号（１２－７）は、入力層のノードと中間層のノード間、中間層間のノード間、ならびに中間層のノードと出力層のノード間のエッジとし、それぞれに重みが存在することになる。

【0075】

次に、図１３は、本実施形態における更新前モデル構築の際のデータ、更新後モデル構築の際のデータまたは運用の際に取得したデータの構成例を示す図である。つまり、図１３では、入力データ記憶部４３に記憶されている教師データである更新前モデル構築データ、更新後モデル構築データ、ならびに運用時取得データを表現している。

【0076】

図１３では、データを識別するラベル情報（１３－１）ならびに表形式で記載されたデータ情報（１３－２）を記載している。表形式でのデータ情報（１３－２）では、１行目は各データ項目のヘッダ情報である。そして、その１列目は取得時刻（１３－３）、２列目以降はデータ項目（１３－４）である。なお、ヘッダの情報ならびに並びは、図１３に示す例に限定されない。また、２行目以降は、各ヘッダで記載されている項目についての情報（１３－５）を記載する。また、本実施形態では、取得時刻毎の各データ項目を記載しているが、例えば製品ＩＤ毎の各データ項目の情報等といった異なる粒度で記載されたデータであってもよい。

【0077】

次に、図１４は、本実施形態におけるモデルのパラメータであるエッジ情報のデータ構成例を示す図である。つまり、図１４では、パラメータ記憶部４４に記憶されているエッジ情報を示している。ここで、本実施形態では、更新前モデル、更新後モデルならびに更新学習モデルにて推定したモデルをベイジアンネットワークと仮定し、そのパラメータの一例であるエッジ情報を規定したフォーマットを図１４に示している。

【0078】

この図１４では、モデルを、表形式にて表現している。この表形式では、モデルを識別するラベル（１４－１）とモデルのエッジ情報を含む表（１４－２）として記載されている。この表（１４－２）で示すデータ情報では、一行目は対象とするモデルを構成するデータ項目（１４－３）であり、一列目も同様に対象とするモデルを構成するデータ項目（１４－４）ある。

【0079】

この一行目ならびに一列目で記載されているデータ項目間のエッジ情報（１４－５）を二行目ならびに二列目以降に記載する。ここで、一列目のデータ項目に対し、一行目のデータ項目をそれぞれ親ノードと呼ぶこととする。エッジ情報の記述手段としてエッジが接続されている場合、１を記載し、エッジが非接続の場合、０を記載する。

【0080】

次に、図１５は、本実施形態における更新学習モデルのパラメータ情報のデータ構成例を示す図である。つまり、図１５では、更新学習モデルパラメータ記憶部４５に記憶されている更新学習モデルのパラメータを示す図である。ここで、本実施形態では、更新学習モデルをグラフニューラルネットワークと仮定し、そのフォーマットを図１５に記載している。

【0081】

この図１５では、これらモデルを表形式にて表現した図を記載している。この表形式では、更新学習モデルを識別するラベル（１５－１）とグラフニューラル（１５－２）が記載している。グラフニューラル（１５－２）は、グラフニューラルネットワーク上の層番号と層内のノード数を表す表（１５－３）と、層番号とそれらの重みを識別する番号ならびに重みを保有する表（１５－４）で構成される。

【0082】

また、表（１５－３）では、１行目にそれぞれグラフニューラルネットワーク内の層を識別する層番号（１５－５）、各層番号で使用されている層内ノード数（１５－６）のヘッダとし、２行目以降は層番号ならびに層内ノード数の値（１５－１０）を含む。表（１５－４）では、１行目に層番号（１５－７）、層内にある重みを識別する重み番号（１５－８）、重み（１５－９）のヘッダとし、２行目以降は層番号、重み番号ならびに重みの値（１５－１１）を記載する。
（５）実装例
次に、本実施形態における実装例について、説明する。図１６は、本実施形態における実装例を示す図である。本実装例は、モデル更新・展開システム１をクラウド（サーバ）として実現する例である。本実装例では、モデル更新・展開システム１が、ネットワーク７０を介して、業務システムＡ、業務システムＢや携帯端末１０１、端末装置１０２と接続されている。以下、これら各装置について説明する。

【0083】

まず、モデル更新・展開システム１は、コンピュータの一種であるサーバで実現できる。そして、モデル更新・展開システム１は、処理装置３０１、通信部１２、入出力部１１、メモリ３０２、記憶部４０を有し、互いにバスのような通信路を介して接続されている。

【0084】

ここで、処理装置は、ＣＰＵのようなプロセッサで実現でき、後述の各プログラムに従って処理を実行する。この処理は、上述の制御部３０の処理である。

【0085】

また、通信部１２、入出力部１１は、図１に示したものと同じである。そして、通信部１２は、インターネットのようなネットワーク７０と接続する。また、入出力部１１は、ユーザが利用するユーザ端末１００－１、１００－２と接続する。このユーザ端末１００－１、１００－２は、スマートフォン、タブレット、ＰＣなどのコンピュータで実現できる。なお、ユーザ端末１００－１、１００－２は、ネットワーク７０もしくは独自のネットワークを介して、モデル更新・展開システム１と接続してもよい。

【0086】

また、メモリ３０２には、記憶部４０などの記憶媒体に記憶される各種プログラムや処理に用いられる情報が展開される。このプログラムには、入力データ処理プログラム３１１、エッジ処理プログラム３２１、特徴量データ作成プログラム３３１、更新学習モデル構築プログラム３４１、モデル表示処理プログラム３５１、更新学習モデル推論プログラム３６１、更新学習モデル展開プログラム３７１が含まれる。これらは、それぞれ入力データ処理部３１、エッジ処理部３２、特徴量データ作成部３３、更新学習モデル構築部３４、モデル表示処理部３５、更新学習モデル推論部３６、更新学習モデル展開部３７と同じ処理を実行するためのプログラムである。つまり、処理装置３０１とメモリ３０２により、制御部３０の処理を実行する。なお、本実装例では、プログラムというソフトウエアに基づいて各種処理を実現するが、専用ハードウエアやFPGA（field-programmable gate array）で図１に示す各部の処理を実行してもよい。

【0087】

次に、記憶部４０は、図１に示すものであり、上述の各種情報やプログラムを記憶する。なお、記憶部４０は、モデル更新・展開システム１とは別筐体で実装してもよい。

【0088】

次に、業務システムＡや業務システムＢは、本実施形態で構築された更新学習モデルやモデルそのものを利用して、各種業務を支援するシステムである。本実施形態では、業務システムＡでの業務に関するモデルを、別業務である業務システムＢに展開（利用）できるようにしている。例えば、業務システムＡの「発電施設の保守」のモデルを、業務システムＢの「ソフトウエアの管理業務」に展開することが挙げられる。

【0089】

ここで、業務システムＡは、記憶装置５１１や処理装置５１２を含むサーバ５１と、端末装置５２を含む。また、業務システムＢは、記憶装置６１１や処理装置６１２を含むサーバ６１と、端末装置６２を含む。つまり、これらは、いわゆるコンピュータシステムで実現できる。

【0090】

また、携帯端末１０１、端末装置１０２は、上述の各種業務のために利用される。例えば、携帯端末１０１、端末装置１０２は、展開されたモデルを利用した各種処理結果を受け付け、これを表示する。

【0091】

以上、本発明の実施形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。特に、モデルの更新を、モデル更新・展開システム１以外の装置で実行してもよい。

【符号の説明】

【0092】

１・・・モデル更新・展開システム
１１・・・入出力部
１２・・・通信部
２０・・・表示部
２１・・・モデル表示部
２２・・・パラメータ表示部
２３・・・更新学習モデル選択部
２４・・・更新学習モデル表示部
２５・・・更新学習モデルパラメータ表示部
３０・・・制御部
３１・・・入力データ処理部
３２・・・エッジ処理部
３３・・・特徴量データ作成部
３４・・・更新学習モデル構築部
３５・・・モデル表示処理部
３６・・・更新学習モデル推論部
３７・・・更新学習モデル展開部
４０・・・記憶部
４１・・・モデル記憶部
４２・・・更新学習モデル記憶部
４３・・・入力データ記憶部
４４・・・パラメータ記憶部
４５・・・更新学習モデルパラメータ記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】