特許 7444186 モデル検証装置、モデル検証方法、および、モデル検証プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-27

(45)【発行日】2024-03-06

(54)【発明の名称】モデル検証装置、モデル検証方法、および、モデル検証プログラム

(51)【国際特許分類】

   G05B 23/02 20060101AFI20240228BHJP

【ＦＩ】

G05B23/02 T

【請求項の数】 14

(21)【出願番号】P 2022046154

(22)【出願日】2022-03-22

(65)【公開番号】P2023140233

(43)【公開日】2023-10-04

【審査請求日】2023-02-28

(73)【特許権者】

【識別番号】000006507

【氏名又は名称】横河電機株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】▲高▼見 豪

(72)【発明者】

【氏名】岡本 浩実

(72)【発明者】

【氏名】佐藤 正彦

(72)【発明者】

【氏名】藤井 英幸

(72)【発明者】

【氏名】神宮 善行

(72)【発明者】

【氏名】御供 頌弘

【審査官】田中 友章

(56)【参考文献】

【文献】特開２０２１－１２１８８８（ＪＰ，Ａ）

【文献】特開２０１９－４６２７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ ２３／０２

(57)【特許請求の範囲】

【請求項1】

制御対象が設けられた設備の状態を示す状態データ、および、前記制御対象に与える操作量を決定するための行動を示す行動データを含む学習サンプルを用いて、前記設備の状態に応じた行動を出力するように機械学習された機械学習モデルを記憶するモデル記憶部と、
前記学習サンプルの範囲を示す学習範囲を特定する学習範囲特定部と、
前記学習範囲外における、前記設備の複数の状態を示す検証データを取得する検証データ取得部と、
前記検証データを入力したことに応じて前記機械学習モデルが出力する複数の行動を示す検証結果を出力する検証結果出力部と、
を備える、モデル検証装置。

【請求項2】

前記検証結果出力部は、前記検証結果とともに前記学習範囲内における行動を出力する、請求項１に記載のモデル検証装置。

【請求項3】

前記検証結果出力部は、前記検証結果を、前記学習範囲内における行動とは識別可能に出力する、請求項２に記載のモデル検証装置。

【請求項4】

前記検証結果出力部は、前記複数の行動を前記複数の状態と対応付けた行動マップを出力する、請求項１から３のいずれか一項に記載のモデル検証装置。

【請求項5】

前記検証結果出力部は、前記複数の行動を前記設備の複数の物理量に係る前記複数の状態と対応付けた行動マップを出力する、請求項４に記載のモデル検証装置。

【請求項6】

前記検証結果出力部は、前記複数の行動を、行動の内容に応じて異なる濃度で出力する、請求項４または５に記載のモデル検証装置。

【請求項7】

前記検証結果出力部は、前記複数の行動を、行動の内容に応じて異なる色で出力する、請求項４から６のいずれか一項に記載のモデル検証装置。

【請求項8】

前記検証データの範囲を示す検証範囲を指定する検証範囲指定部と、
前記検証範囲に基づいて前記検証データを生成する検証データ生成部と、
を更に備える、請求項１から７のいずれか一項に記載のモデル検証装置。

【請求項9】

前記学習サンプルとなるサンプルデータを取得するサンプルデータ取得部と、
前記学習サンプルを用いた機械学習により前記機械学習モデルを生成するモデル生成部と、
を更に備える、請求項１から８のいずれか一項に記載のモデル検証装置。

【請求項10】

前記検証結果が出力されたことに応じて、ユーザ入力を受け付けるユーザ入力部を更に備える、請求項１から９のいずれか一項に記載のモデル検証装置。

【請求項11】

前記ユーザ入力に応じて、前記機械学習モデルを出力するモデル出力部を更に備える、請求項１０に記載のモデル検証装置。

【請求項12】

前記ユーザ入力に応じて、前記機械学習モデルを用いた前記制御対象の制御を開始する制御部を更に備える、請求項１０に記載のモデル検証装置。

【請求項13】

制御対象が設けられた設備の状態を示す状態データ、および、前記制御対象に与える操作量を決定するための行動を示す行動データを含む学習サンプルを用いて、前記設備の状態に応じた行動を出力するように機械学習された機械学習モデルを記憶することと、
前記学習サンプルの範囲を示す学習範囲を特定することと、
前記学習範囲外における、前記設備の複数の状態を示す検証データを取得することと、
前記検証データを入力したことに応じて前記機械学習モデルが出力する複数の行動を示す検証結果を出力することと、
を備える、モデル検証方法。

【請求項14】

コンピュータにより実行されて、前記コンピュータを、
制御対象が設けられた設備の状態を示す状態データ、および、前記制御対象に与える操作量を決定するための行動を示す行動データを含む学習サンプルを用いて、前記設備の状態に応じた行動を出力するように機械学習された機械学習モデルを記憶するモデル記憶部と、
前記学習サンプルの範囲を示す学習範囲を特定する学習範囲特定部と、
前記学習範囲外における、前記設備の複数の状態を示す検証データを取得する検証データ取得部と、
前記検証データを入力したことに応じて前記機械学習モデルが出力する複数の行動を示す検証結果を出力する検証結果出力部と、
して機能させる、モデル検証プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モデル検証装置、モデル検証方法、および、モデル検証プログラムに関する。

【背景技術】

【0002】

特許文献１には、「記録した制御則…を画面に表示」することが記載されている。特許文献２には、「事例ベースモデル」が記載されている。特許文献３には、「自律学習型制御器」が記載されている。特許文献４には、「学習の状況を監視する」ことが記載されている。特許文献５には、「運転員に制御対象の操作量を提示する」ことが記載されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２０１９－１５９８７６
［特許文献２］ 特開２００７－１５６８８１
［特許文献３］ 特開２０１５－０２８７８３
［特許文献４］ 特開２０１８－１０６４６６
［特許文献５］ 特開２０２１－１３７７４８

【発明の概要】

【0003】

本発明の第１の態様においては、モデル検証装置を提供する。前記モデル検証装置は、制御対象が設けられた設備の状態を示す状態データ、および、前記制御対象に与える操作量を決定するための行動を示す行動データを含む学習サンプルを用いて、前記設備の状態に応じた行動を出力するように機械学習された機械学習モデルを記憶するモデル記憶部を備えてよい。前記モデル検証装置は、前記学習サンプルの範囲を示す学習範囲を特定する学習範囲特定部を備えてよい。前記モデル検証装置は、前記学習範囲外における、前記設備の複数の状態を示す検証データを取得する検証データ取得部を備えてよい。前記モデル検証装置は、前記検証データを入力したことに応じて前記機械学習モデルが出力する複数の行動を示す検証結果を出力する検証結果出力部を備えてよい。

【0004】

前記検証結果出力部は、前記検証結果とともに前記学習範囲内における行動を出力してよい。

【0005】

前記検証結果出力部は、前記検証結果を、前記学習範囲内における行動とは識別可能に出力してよい。

【0006】

前記検証結果出力部は、前記複数の行動を前記複数の状態と対応付けた行動マップを出力してよい。

【0007】

前記検証結果出力部は、前記複数の行動を前記設備の複数の物理量に係る前記複数の状態と対応付けた行動マップを出力してよい。

【0008】

前記検証結果出力部は、前記複数の行動を、行動の内容に応じて異なる濃度で出力してよい。

【0009】

前記検証結果出力部は、前記複数の行動を、行動の内容に応じて異なる色で出力してよい。

【0010】

前記モデル検証装置は、前記検証データの範囲を示す検証範囲を指定する検証範囲指定部を更に備えてよい。前記モデル検証装置は、前記検証範囲に基づいて前記検証データを生成する検証データ生成部を更に備えてよい。

【0011】

前記モデル検証装置は、前記学習サンプルとなるサンプルデータを取得するサンプルデータ取得部を更に備えてよい。前記モデル検証装置は、前記学習サンプルを用いた機械学習により前記機械学習モデルを生成するモデル生成部を更に備えてよい。

【0012】

前記モデル検証装置は、前記検証結果が出力されたことに応じて、ユーザ入力を受け付けるユーザ入力部を更に備えてよい。

【0013】

前記モデル検証装置は、前記ユーザ入力に応じて、前記機械学習モデルを出力するモデル出力部を更に備えてよい。

【0014】

前記モデル検証装置は、前記ユーザ入力に応じて、前記機械学習モデルを用いた前記制御対象の制御を開始する制御部を更に備えてよい。

【0015】

本発明の第２の態様においては、モデル検証方法を提供する。前記モデル検証方法は、制御対象が設けられた設備の状態を示す状態データ、および、前記制御対象に与える操作量を決定するための行動を示す行動データを含む学習サンプルを用いて、前記設備の状態に応じた行動を出力するように機械学習された機械学習モデルを記憶することを備えてよい。前記モデル検証方法は、前記学習サンプルの範囲を示す学習範囲を特定することを備えてよい。前記モデル検証方法は、前記学習範囲外における、前記設備の複数の状態を示す検証データを取得することを備えてよい。前記モデル検証方法は、前記検証データを入力したことに応じて前記機械学習モデルが出力する複数の行動を示す検証結果を出力することを備えてよい。

【0016】

本発明の第３の態様においては、モデル検証プログラムを提供する。前記モデル検証プログラムは、コンピュータにより実行されてよい。前記モデル検証プログラムは、前記コンピュータを、制御対象が設けられた設備の状態を示す状態データ、および、前記制御対象に与える操作量を決定するための行動を示す行動データを含む学習サンプルを用いて、前記設備の状態に応じた行動を出力するように機械学習された機械学習モデルを記憶するモデル記憶部して機能させてよい。前記モデル検証プログラムは、前記コンピュータを、前記学習サンプルの範囲を示す学習範囲を特定する学習範囲特定部として機能させてよい。前記モデル検証プログラムは、前記コンピュータを、前記学習範囲外における、前記設備の複数の状態を示す検証データを取得する検証データ取得部として機能させてよい。前記モデル検証プログラムは、前記コンピュータを、前記検証データを入力したことに応じて前記機械学習モデルが出力する複数の行動を示す検証結果を出力する検証結果出力部として機能させてよい。

【0017】

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0018】

【図1】第１の実施形態に係るモデル検証装置１００のブロック図の一例を示す。

【図2】モデル検証装置１００が検証対象とする機械学習モデル１１５が有するテーブルの一例を示す。

【図3】学習範囲内における機械学習モデル１１５の出力を示す行動マップの一例を示す。

【図4】モデル検証装置１００が機械学習モデル１１５を検証するフローの一例を示す。

【図5】モデル検証装置１００が出力する検証結果の第１の例を示す。

【図6】モデル検証装置１００が出力する検証結果の第２の例を示す。

【図7】モデル検証装置１００が出力する検証結果の第３の例を示す。

【図8】モデル検証装置１００が出力する検証結果の第４の例を示す。

【図9】第２の実施形態に係るモデル検証装置１００のブロック図の一例を示す。

【図10】第３の実施形態に係るモデル検証装置１００のブロック図の一例を示す。

【図11】第４実施形態に係るモデル検証装置１００のブロック図の一例を示す。

【図12】第５の実施形態に係るモデル検証装置１００のブロック図の一例を示す。

【図13】本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ９９００の例を示す。

【発明を実施するための形態】

【0019】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0020】

図１は、第１の実施形態に係るモデル検証装置１００のブロック図の一例を示す。モデル検証装置１００は、設備に設けられた制御対象を制御するために学習サンプルを用いて機械学習されたモデルを検証する。この際、モデル検証装置１００は、学習サンプルの範囲外において検証対象とするモデルがどのような行動を出力するのかを検証し、結果を出力する。

【0021】

設備は、制御対象が設けられた施設や装置等である。例えば、設備は、プラントであってもよいし、複数の機器を複合させた複合装置であってもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。

【0022】

これより先、設備が、プロセス装置の１つである三段水槽である場合を一例として説明する。三段水槽は、貯水タンクからポンプで水をくみ上げ、三段目（一番上）の水槽（「上段タンク」ともいう）に水を注ぎ、それが二段目（真ん中）の水槽（「中段タンク」ともいう）、一段目（一番下）の水槽（「下段タンク」ともいう）へと順次流れていき、再び貯水タンクに戻る循環システムである。このような三段水槽においては、一例として、一段目の水槽の水位を任意の値（例えば、３０）に調整することを目標として、三段目の水槽へ注ぐ水の流量を制御すべく、貯水タンクから三段目の水槽の間の制御経路に設けられたバルブが開閉制御される。

【0023】

制御対象は、設備に設けられ、制御の対象となる機器および装置等である。例えば、制御対象は、設備のプロセスにおける物体の量、温度、圧力、流量、速度、および、ｐＨ等の少なくとも１つの物理量を制御する、バルブ、ヒータ、モータ、ファン、および、スイッチ等のアクチュエータであってよく、操作量ＭＶ（Ｍａｎｉｐｕｌａｔｅｄ Ｖａｒｉａｂｌｅ）に応じた所要の操作を実行する。一例として、設備が三段水槽である場合、制御対象は、制御経路に設けられたバルブであってよい。

【0024】

このような制御対象が設けられた設備には、設備の内外における様々な状態（物理量）を測定可能な１または複数のセンサが設けられていてよい。一例として、設備が三段水槽である場合、センサは、各水槽の水位や制御経路の流量等を測定した測定値ＰＶ（Ｐｒｏｃｅｓｓ Ｖａｒｉａｂｌｅ）を出力してよい。設備の状態を示す状態データには、このような測定値ＰＶが含まれていてよい。また、状態データには、制御対象であるバルブの開閉度を示す操作量ＭＶが含まれていてよい。状態データには、このように制御対象を制御した結果の運転状態を示す運転データに加えて、設備におけるエネルギーや原材料の消費量を示す消費量データや、制御対象の制御に対して外乱として作用し得る物理量を示す外乱環境データ等が含まれていてもよい。

【0025】

三段水槽において、制御対象であるバルブを開閉制御するにあたり、ＰＩＤ（Ｐｒｏｐｏｒｔｉｏｎａｌ Ｉｎｔｅｇｒａｌ Ｄｉｆｆｅｒｅｎｔｉａｌ）制御が用いられる場合、オーバーシュートが発生し、一段目の水槽の水位が、例えば、目標値ＤＶ（Ｄｅｓｉｒｅｄ Ｖａｒｉａｂｌｅ）の±５％以内とする制定値に入るまでに長い時間を要することがあった。そこで、このようなバルブを開閉制御するにあたり、機械学習により生成された機械学習モデルが用いられることが考えられる。モデル検証装置１００は、一例として、このような三段水槽においてバルブの開閉を制御するために機械学習された機械学習モデルを検証対象としてよい。

【0026】

モデル検証装置１００は、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ、スマートフォン、ワークステーション、サーバコンピュータ、または汎用コンピュータ等のコンピュータであってよく、複数のコンピュータが接続されたコンピュータシステムであってもよい。このようなコンピュータシステムもまた広義のコンピュータである。また、モデル検証装置１００は、コンピュータ内で１または複数実行可能な仮想コンピュータ環境によって実装されてもよい。これに代えて、モデル検証装置１００は、機械学習モデルの検証用に設計された専用コンピュータであってもよく、専用回路によって実現された専用ハードウェアであってもよい。また、モデル検証装置１００がインターネットに接続可能な場合、モデル検証装置１００は、クラウドコンピューティングにより実現されてもよい。

【0027】

モデル検証装置１００は、モデル記憶部１１０と、学習範囲特定部１２０と、検証データ取得部１３０と、検証結果出力部１４０とを備える。なお、これらブロックは、それぞれ機能的に分離された機能ブロックであって、実際のデバイス構成とは必ずしも一致していなくてもよい。すなわち、本図において、１つのブロックとして示されているからといって、それが必ずしも１つのデバイスにより構成されていなくてもよい。また、本図において、別々のブロックとして示されているからといって、それらが必ずしも別々のデバイスにより構成されていなくてもよい。

【0028】

モデル記憶部１１０は、機械学習モデル１１５を記憶する。機械学習モデル１１５は、制御対象が設けられた設備の状態を示す状態データ、および、制御対象に与える操作量ＭＶを決定するための行動を示す行動データを含む学習サンプルを用いて、設備の状態に応じた行動を出力するように機械学習されたモデルである。ここで、このような機械学習モデル１１５は、他の装置が機械学習により生成したものであってもよいし、後述するように、モデル検証装置１００自身が機械学習により生成したものであってもよい。

【0029】

機械学習モデル１１５には、状態に応じて行動を決定するポリシーが保存される。一例として、機械学習モデル１１５は、学習サンプルとして複数のサンプルデータを保存したテーブルを有していてよい。このようなテーブルは、設備の状態と、制御対象に与える操作量ＭＶを決定するための行動との組み合わせ、および、当該組み合わせに対する重みで構成されていてよい。テーブルの詳細については、後述する。

【0030】

このような機械学習モデル１１５において、例えば次のようにして、設備の状態に応じた行動を出力してよい。機械学習モデル１１５は、入力された状態データと選択肢に含まれる各行動との組み合わせについて、テーブルに保存された各サンプルデータとの間でカーネル計算を行い、各サンプルデータとの間の距離をそれぞれ算出してよい。次に、機械学習モデル１１５は、各サンプルデータについて算出した距離にそれぞれの重みを乗算したものを順次足し合わせ、組み合わせ毎に評価値を算出してよい。そして、機械学習モデル１１５は、評価値が最も高い組み合わせにおける行動を次の行動として選択し、出力してよい。

【0031】

また、このようにして選択された行動に基づいて、強化学習が実行されてよい。一例として、各サンプルデータ、および、当該サンプルデータに対する報酬値に基づいて、ＫＤＰＰ（Ｋｅｒｎｅｌ Ｄｙｎａｍｉｃ Ｐｏｌｉｃｙ Ｐｒｏｇｒａｍｍｉｎｇ）等の既知のアルゴリズムにより強化学習が実行されてよい。この際、制御対象が操作された設備の次の状態に基づいて、選択された行動を評価して報酬値が計算される。ここで、一例として、一段目の水槽の水位を任意の値に調整することを目標とする場合、一段目の水槽の水位における測定値ＰＶが目標値ＤＶに近づく程、報酬値が高くなるように報酬関数が設定されてよい。そして、一連の行動によって得られる報酬をより高めるように機械学習モデル１１５が更新されてよい。すなわち、機械学習モデル１１５が報酬をより高める行動を出力しやすくするために、テーブルに保存された各サンプルデータに対する重みが上書きされるほか、これまでに保存されていない新たなサンプルデータが学習サンプルとしてテーブルに追加されてよい。

【0032】

学習範囲特定部１２０は、学習サンプルの範囲を示す学習範囲を特定する。学習範囲特定部１２０は、例えば、モデル記憶部１１０にアクセスしてよい。そして、学習範囲特定部１２０は、機械学習モデル１１５のテーブルに保存された学習サンプルを統計処理し、学習サンプルの範囲がどこからどこまでの範囲であるかを特定してよい。学習範囲特定部１２０は、特定した学習範囲の情報を検証データ取得部１３０へ供給する。

【0033】

検証データ取得部１３０は、学習範囲外における、設備の複数の状態を示す検証データを取得する。検証データ取得部１３０は、学習範囲特定部１２０から供給された情報に基づいて学習範囲を認識可能である。したがって、検証データ取得部１３０は、このような情報に基づいて、学習範囲外における設備の複数の状態を示す検証データを取得してよい。検証データ取得部１３０は、取得した検証データを機械学習モデル１１５へ入力する。

【0034】

検証結果出力部１４０は、検証データを入力したことに応じて機械学習モデル１１５が出力する複数の行動を示す検証結果を出力する。

【0035】

図２は、モデル検証装置１００が検証対象とする機械学習モデル１１５が有するテーブルの一例を示す。このようなテーブルは、本図に示されるように、設備の状態と行動との組み合わせ、および、当該組み合わせに対する重みで構成されていてよい。ここで、設備の状態Ｓを示す複数の物理量には、それぞれ異なるタグが対応付けられていてよい。本図においては、一例として、上段タンク、中段タンク、および、下段タンクの水位データに、タグ「ＬＩ００３」、タグ「ＬＩ００２」、および、タグ「ＬＩ００１」がそれぞれ対応付けられている。また、制御経路の流量データに、タグ「ＦＩ００１」が対応付けられていてる。また、制御対象であるバルブの開度データ、すなわち、操作量ＭＶに、タグ「Ｖ００１」が対応付けられている。

【0036】

ここで、本テーブルにおける１行目が、時間ａについてのデータを示していたとする。この場合、時間ａにおける設備の状態は、状態データＳａ＝（３１．０２，３０．６７，３５．２３，４７．２１，５０）として示されてよい。また、本テーブルにおける２行目が、時間ａに続く時間ｂについてのデータを示していたとする。この場合、時間ｂにおける設備の状態は、状態データＳｂ＝（２９．１７，３０．１５，３２．８９，４４．１９，４７）として示されてよい。したがって、設備の状態は、このような状態データＳを用いて時系列に示すことができる。

【0037】

また、制御対象に与える操作量ＭＶを決定するための行動は、操作量ＭＶの変更量として示されてよい。例えば、時間ａにおいて操作量ＭＶ（すなわち、タグ「Ｖ００１」）が５０であり、時間ａに続く時間ｂにおいて操作量ＭＶが４７である場合、時間ａから時間ｂにかけて操作量ＭＶが５０の状態から４７の状態に変化したことを示している。ここで、時間ｂにおける操作量ＭＶ＝４７から時間ａにおける操作量ＭＶ＝５０を減算すると、操作変更量ΔＭＶ＝－３となる。この場合、時間ａにおける行動は、行動データＡａ＝－３として示されてよい。これは、時間ａにおいて、上段タンク水位が３１．０２％、中段タンク水位が３０．６７％、下段タンク水位が３５．２３％、制御経路の流量が４７．２１％である状態下で、制御対象であるバルブを５０％から－３％（例えば、バルブを閉じる方向である時計回りに３％）回転制御させる行動がとられたことを意味している。同様に、時間ｂに続く時間ｃにおいて操作量ＭＶが４６である場合、時間ｃにおける操作量ＭＶ＝４６から時間ｂにおける操作量ＭＶ＝４７を減算すると、操作変更量ΔＭＶ＝－１となる。この場合、時間ｂにおける行動は、行動データＡｂ＝－１として示されてよい。したがって、操作量ＭＶを決定するための行動は、このような行動データＡを用いて時系列に示すことができる。

【0038】

このように、機械学習モデル１１５が有するテーブルには、各々が、状態データＳ＝（ＬＩ００３，ＬＩ００２，ＬＩ００１，ＦＩ００１，Ｖ００１）と行動データＡ＝ΔＭＶとの組み合わせ、および、当該組み合わせに対する重みを示す重みデータＷで構成された複数のサンプルデータが学習サンプルとして保存されていてよい。なお、テーブルに保存されるこれらの値は、例えば、％等の割合によって示されてもよいし、絶対値等によって示されてもよい。

【0039】

図３は、学習範囲内における機械学習モデル１１５の出力を示す行動マップの一例を示す。本図において、横軸は、ＬＩ００１、すなわち、下段タンクの水位を示している。ここで、本図において横軸が２０～４０の範囲を示しているが、これは、学習サンプルの範囲を示す学習範囲がＬＩ００１＝２０～４０であったことを意味している。

【0040】

また、縦軸は、ＦＩ００１、すなわち、制御経路の流量を示している。ここで、本図において縦軸が４０．０～６４．０の範囲を示しているが、これは、学習サンプルの範囲を示す学習範囲がＦＩ００１＝４０．０～６４．０であったことを意味している。

【0041】

そして、本図では、学習範囲内において機械学習モデル１１５が出力する行動が、ＬＩ００１を列、ＦＩ００１を行とした各セルにマッピングされている。これより先、このような行動の示し方を「行動マップ」と呼ぶこととする。行動マップの詳細については、後述する。

【0042】

このような機械学習モデル１１５においては、学習範囲外にある状態データが入力される場合に、どのような行動を出力するのか不明である。したがって、制御対象の制御にこのような機械学習モデル１１５が用いられる場合、学習範囲外にある状態データの入力に応じて、機械学習モデル１１５が意図しない行動を出力し、それが設備に悪影響を与える可能性がある。このような影響は、特に、安全・安心が求められるプラントを操業する上で、非常に深刻となり得る。そこで、モデル検証装置１００は、このような機械学習モデル１１５を検証する。これについてフローを用いて詳細に説明する。

【0043】

図４は、モデル検証装置１００が機械学習モデル１１５を検証するフローの一例を示す。ステップＳ４１０において、モデル検証装置１００は、機械学習モデル１１５を記憶する。例えば、モデル検証装置１００は、他の装置が機械学習により生成した機械学習モデル１１５を、ネットワーク、各種メモリデバイス、または、ユーザ入力等を介して取得する。このような機械学習モデル１１５は、上述のとおり制御対象が設けられた設備の状態を示す状態データ、および、制御対象に与える操作量ＭＶを決定するための行動を示す行動データを含む学習サンプルを用いて、設備の状態に応じた行動を出力するように機械学習されたモデルであってよい。そして、モデル記憶部１１０は、このような機械学習モデル１１５を記憶する。

【0044】

ステップＳ４２０において、モデル検証装置１００は、学習範囲を特定する。例えば、学習範囲特定部１２０は、学習サンプルの範囲を示す学習範囲を特定する。一例として、学習範囲特定部１２０は、モデル記憶部１１０にアクセスしてよい。そして、学習範囲特定部１２０は、ステップＳ４１０において記憶された機械学習モデル１１５のテーブルに保存された学習サンプルを統計処理し、学習サンプルの範囲がどこからどこまでの範囲であるかを特定してよい。

【0045】

この際、学習範囲特定部１２０は、学習サンプルとして保存されたサンプルデータに含まれる状態データを、物理量毎にそれぞれ統計処理してよい。すなわち、学習範囲特定部１２０は、サンプルデータに含まれるＬＩ００１を統計処理する。ここで、ＬＩ００１の最小値が２０．０であり、最大値が４０．０であったとする。この場合、学習範囲特定部１２０は、ＬＩ００１の学習範囲がＬＩ００１＝２０．０～４０．０であると特定してよい。

【0046】

同様に、学習範囲特定部１２０は、サンプルデータに含まれるＦＩ００１を統計処理する。ここで、ＦＩ００１の最小値が４０．０であり、最大値が６４．０であったとする。この場合、学習範囲特定部１２０は、ＦＩ００１の学習範囲がＦＩ００１＝４０．０～６４．０であると特定してよい。学習範囲特定部１２０は、他の物理量、すなわち、ＬＩ００２、ＬＩ００３、Ｖ００１についても同様に学習範囲を特定してよい。

【0047】

なお、上述の説明では、学習範囲特定部１２０が最小値および最大値を用いて学習範囲を特定する場合を一例として示したが、これに限定されるものではない。学習範囲特定部１２０は、例えば、偏差等の他の統計量を用いて学習範囲を特定してもよい。一例として、学習範囲特定部１２０は、少なくともいずれかの物理量について、平均－３σ～平均＋３σの範囲を学習範囲として特定してもよい。

【0048】

また、上述の説明では、学習範囲が連続した一つの範囲である場合を一例として示したが、学習範囲は離散した複数の範囲であってもよい。学習範囲特定部１２０は、例えばこのようにして、学習サンプルの範囲を示す学習範囲を物理量毎に特定することができる。学習範囲特定部１２０は、特定した学習範囲の情報を検証データ取得部１３０へ供給する。

【0049】

ステップＳ４３０において、モデル検証装置１００は、検証データを取得する。例えば、検証データ取得部１３０は、学習範囲外における、設備の複数の状態を示す検証データを取得する。一例として、検証データ取得部１３０は、ステップＳ４２０において特定された学習範囲を示す情報を出力し、学習範囲に含まれていない設備の状態の入力をユーザに促してよい。これに応じて、ユーザは、関心のある範囲のうち学習範囲に含まれていない、設備の複数の状態を入力してよい。例えば、検証データ取得部１３０は、学習範囲がＬＩ００１＝２０．０～４０．０、ＦＩ００１＝４０．０～６４．０であることを示す画面をモニタに表示してよい。これに応じて、ユーザは、関心のあるＬＩ００１＝１０．０～７０．０、ＦＩ００１＝３０．０～６５．０の範囲であって学習範囲を除く範囲における設備の複数の状態を入力してよい。検証データ取得部１３０は、他の物理量についても同様に検証データを取得してよい。

【0050】

しかしながら、これに限定されるものではない。検証データ取得部１３０は、学習範囲を示す情報を設備や他の装置へ送信し、学習範囲に含まれていない設備の状態を要求してもよい。これに応じて、設備や他の装置は、学習範囲に含まれていない、設備の複数の状態を回答してもよい。検証データ取得部１３０は、例えばこのようにして、検証データを取得することができる。

【0051】

ステップＳ４４０において、モデル検証装置１００は、検証データを機械学習モデル１１５へ入力する。例えば、検証データ取得部１３０は、ステップＳ４３０において取得された検証データを、ステップＳ４１０において記憶された機械学習モデル１１５に入力する。これに応じて、機械学習モデル１１５は、検証データに含まれる複数の状態に応じた複数の行動をそれぞれ出力する。

【0052】

一例として、モデル検証装置１００は、（ＬＩ００３，ＬＩ００２，ＬＩ００１，ＦＩ００１，Ｖ００１）＝（３８，３９，４４，６５，６８）である検証データを機械学習モデル１１５へ入力する。これに応じて、機械学習モデル１１５は、行動として「－３」（バルブを３％閉じる）を出力する。同様に、モデル検証装置１００は、（ＬＩ００３，ＬＩ００２，ＬＩ００１，ＦＩ００１，Ｖ００１）＝（２０，２８，１８，３５，３９）である検証データを機械学習モデル１１５へ入力する。これに応じて、機械学習モデル１１５は、行動として「３」（バルブを３％開く）を出力する。

【0053】

ステップＳ４５０において、モデル検証装置１００は、検証結果を出力する。例えば、検証結果出力部１４０は、ステップＳ４４０において機械学習モデル１１５がそれぞれ出力した複数の行動を取得する。そして、検証結果出力部１４０は、取得した複数の行動を示す検証結果をモニタに表示出力してよい。しかしながら、これに限定されるものではない。検証結果出力部１４０は、検証結果をスピーカにより音声出力してもよいし、プリンタにより印字出力してもよいし、他の装置へ送信出力してもよい。このようにして、検証結果出力部１４０は、検証データを入力したことに応じて機械学習モデル１１５が出力する複数の行動を示す検証結果を出力してよい。

【0054】

図５は、モデル検証装置１００が出力する検証結果の第１の例を示す。例えば、モデル検証装置１００は、検証結果を、図３と同様、行動マップとして出力してよい。この際、検証結果出力部１４０は、検証結果とともに学習範囲内における行動を出力してよい。すなわち、検証結果出力部１４０は、学習範囲外における行動とともに、学習範囲内における行動を併せて出力してよい。ここで、本図において、太線で囲まれた領域は、学習範囲内を示している。そして、太線で囲まれた領域の外が学習範囲外を示している。このように、検証結果出力部１４０は、検証結果を、学習範囲内における行動とは識別可能に出力するとよい。

【0055】

本図において、横軸は、図３と同様、ＬＩ００１、すなわち、下段タンクの水位を示している。ここで、本図においては、横軸が１０．０～７０．０の範囲を示している。これは、ＬＩ００１において、検証データの範囲がＬＩ００１＝１０．０～７０．０であったことを意味している。

【0056】

また、縦軸は、図３と同様、ＦＩ００１、すなわち、制御経路の流量を示している。ここで、本図においては、縦軸が３０．０～６５．０の範囲を示している。これは、ＦＩ００１において、検証データの範囲がＦＩ００１＝３０．０～６５．０であったことを意味している。

【0057】

そして、本図においては、図３と同様、機械学習モデル１１５が出力する行動が、ＬＩ００１を列、ＦＩ００１を行とした各セルにマッピングされている。すなわち、各セルは、列に示されるＬＩ００１および行に示されるＦＩ００１を含む状態データＳ＝（ＬＩ００３，ＬＩ００２，ＬＩ００１，ＦＩ００１，Ｖ００１）を機械学習モデル１１５に入力した場合に、機械学習モデル１１５が出力する行動データＡ＝ΔＭＶをそれぞれ示している。このように、検証結果出力部１４０は、複数の行動を複数の状態と対応付けた行動マップを出力してよい。また、検証結果出力部１４０は、複数の行動を設備の複数の物理量（本図では、ＬＩ００１およびＦＩ００１）に係る複数の状態と対応付けた行動マップを出力してよい。

【0058】

この際、検証結果出力部１４０は、本図に示されるように、複数の行動を、行動の内容に応じて異なる濃度で出力してよい。例えば、機械学習モデル１１５が出力する行動の選択肢として、［－３，－１，０，１，３］の５通りの選択肢、すなわち、［３％閉める，１％閉める，変更なし，１％開く，３％開く］の５通りの選択肢が用いられているとする。この場合、検証結果出力部１４０は、行動として「－３」または「－１」が出力される（すなわち、バルブを閉じる行動が出力される）確率が高いセル程、濃くし、行動として「３」または「１」が出力される（すなわち、バルブを開く行動が出力される）確率が高いセル程、薄くする等して、機械学習モデル１１５が出力する行動を、行動の内容に応じて段階的な濃度で出力してもよい。

【0059】

これに代えて、または、加えて、検証結果出力部１４０は、複数の行動を、行動の内容に応じて異なる色で出力してもよい。例えば、検証結果出力部１４０は、行動として「－３」が出力されるセルを青色、「－１」が出力されるセルを水色、「０」が出力されるセルを緑色、「１」が出力されるセルを黄緑色、「３」が出力されるセルを黄色とする等して、機械学習モデル１１５が出力する行動を、行動の内容に応じて異なる色で出力してもよい。

【0060】

なお、上述の説明では、モデル検証装置１００が、横軸をＬＩ００１、縦軸をＦＩ００１とした行動マップを採用した場合を一例として示した。しかしながら、これに限定されるものではない。モデル検証装置１００は、横軸および縦軸の少なくともいずれかを他の物理量とした行動マップを採用してもよい。ただし、特定の物理量を任意の値に調整することを目標として制御する場合においては、当該特定の物理量を少なくとも含む行動マップを採用することが好ましい。また、上述の説明では、モデル検証装置１００が２次元の行動マップを採用した場合を一例として示した。しかしながら、これに限定されるものではない。モデル検証装置１００は、３つ以上の物理量を含む多次元の行動マップを採用してもよい。

【0061】

図６は、モデル検証装置１００が出力する検証結果の第２の例を示す。本図において、縦軸は、ＬＩ００３、すなわち、上段タンクの水位を示している。その他の定義については、図５と同様である。すなわち、本図においては、機械学習モデル１１５が出力する行動が、ＬＩ００１を列、ＬＩ００３を行とした各セルにマッピングされている。

【0062】

図７は、モデル検証装置１００が出力する検証結果の第３の例を示す。本図において、縦軸は、ＬＩ００２、すなわち、中段タンクの水位を示している。その他の定義については、図５と同様である。すなわち、本図においては、機械学習モデル１１５が出力する行動が、ＬＩ００１を列、ＬＩ００２を行とした各セルにマッピングされている。

【0063】

図８は、モデル検証装置１００が出力する検証結果の第４の例を示す。本図において、縦軸は、Ｖ００１、すなわち、バルブの開度を示している。その他の定義については、図５と同様である。すなわち、本図においては、機械学習モデル１１５が出力する行動が、ＬＩ００１を列、Ｖ００１を行とした各セルにマッピングされている。

【0064】

検証結果出力部１４０は、例えばこのような、複数の物理量の異なる組み合わせからなる複数の行動マップを出力してよい。この際、検証結果出力部１４０は、複数の行動マップを一画面に表示してもよいし、ユーザ入力に応じて行動マップを順次切り替えて表示してもよい。

【0065】

一般に、三段水槽の特性上、下段タンクの水位はバルブ操作から遅れる。また、上段タンクの水位や中段タンクの水位が遅れて下段タンクの水位に影響する。そのため、このような制御系における傾向を把握するのは困難であった。

【0066】

これに対して、モデル検証装置１００は、設備に設けられた制御対象を制御するために学習サンプルを用いて機械学習された機械学習モデル１１５を検証する。この際、モデル検証装置１００は、学習サンプルの範囲外において機械学習モデル１１５がどのような行動を出力するのかを検証し、結果を出力する。これにより、モデル検証装置１００によれば、機械学習モデル１１５が学習サンプルの範囲外においてどのような行動を出力するかをユーザに提示することができる。したがって、機械学習モデル１１５を用いて制御対象を制御するのに先立ち、このようなモデル検証装置１００を用いることにより、設備に悪影響を与えることを未然に防ぐことができる。また、機械学習モデル１１５を用いた制御下においても、このようなモデル検証装置１００を用いることにより、例えば、設備に異常が発生した場合の原因究明に活用することができる。このような効果は、特に、安全・安心が求められるプラントを操業する上で、非常に有益となり得る。

【0067】

また、モデル検証装置１００は、検証結果、すなわち、学習範囲外における行動のみを出力するのではなく、学習範囲内における行動をも出力してよい。これにより、モデル検証装置１００は、設備の状態が学習範囲の内から外へいくに連れて機械学習モデル１１５が出力する行動がどのように変化していくかをユーザに知らしめることができる。この際、モデル検証装置１００は、学習範囲外における行動を学習範囲内における行動とは識別可能に出力してよい。これにより、モデル検証装置１００によれば、どの範囲までが学習範囲内であり、どの範囲からが学習範囲外であるかをユーザに知らしめることができる。

【0068】

また、モデル検証装置１００は、検証結果を、複数の状態を複数の行動と対応付けた行動マップとして出力してよい。これにより、モデル検証装置１００によれば、設備の状態が異なる複数の場合について機械学習モデル１１５がそれぞれどのような行動を出力するのかを、一括してユーザに知らしめることができる。この際、モデル検証装置１００は、検証結果を、複数の行動を設備の複数の物理量に係る複数の状態と対応付けた行動マップとして出力してよい。このような行動マップは、機械学習モデル１１５が出力する行動が、複数の物理量（例えば、水位と流量等）の状態に依存する場合に、特に、有用となり得る。

【0069】

また、モデル検証装置１００は、複数の行動を行動マップとして出力するにあたって、行動の内容に応じて異なる濃度や色で出力してよい。これにより、モデル検証装置１００によれば、機械学習モデル１１５が出力する行動の違いを、視覚的にユーザに知らしめることができる。異なる濃度での出力は、装置が、モノクロ、白黒、または、グレースケール出力しかできない場合に、特に、有用となり得る。また、異なる色での出力は、機械学習モデル１１５が出力する行動の選択肢が多い場合や視認性を向上させたい場合に、特に、有用となり得る。

【0070】

このような行動マップにおいては、一つの指標として、例えば、設備の状態が目標値に近い範囲においては、バルブを閉じる行動およびバルブを開く行動が概ね同じ程度の確率で出現し、目標値から遠い範囲においては、バルブを閉じる行動またはバルブを開く行動のみが一律に出現することが好ましいと考えられる。したがって、このような行動マップを見たユーザは、行動マップにおける段階的な変化により、学習範囲外において機械学習モデル１１５が意図した行動を出力しているか否かを比較的容易に判断することができる。そして、ユーザは、機械学習モデル１１５が意図した行動を出力していないと判断した場合に、機械学習モデル１１５の再学習を指示することができる。

【0071】

図９は、第２の実施形態に係るモデル検証装置１００のブロック図の一例を示す。図９においては、図１と同じ機能および構成を有する部材に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。上述の実施形態においては、モデル検証装置１００が外部（ユーザや設備等）から検証データを取得する場合を一例として示したが、本実施形態においては、モデル検証装置１００が自身で検証データを生成する。本実施形態に係るモデル検証装置１００は、上述の実施形態に係るモデル検証装置１００が備える機能部に加えて、検証範囲指定部６１０と、検証データ生成部６２０と、を更に備える。本実施形態においては、学習範囲特定部１２０は、特定した学習範囲の情報を検証範囲指定部６１０へ供給する。

【0072】

検証範囲指定部６１０は、検証データの範囲を示す検証範囲を指定する。検証範囲指定部６１０は、学習範囲特定部１２０から供給された情報に基づいて学習範囲を認識可能である。したがって、検証範囲指定部６１０は、このような情報に基づいて、検証データの範囲を示す検証範囲を指定してよい。例えば、検証範囲指定部６１０は、学習範囲特定部１２０が特定した学習範囲と、予め定められた検証マージンＭとに基づいて検証範囲を指定してよい。一例として、学習範囲特定部１２０が「最小値」～「最大値」の範囲を学習範囲として特定する場合、検証範囲指定部６１０は、「最小値－Ｍ」～「最大値＋Ｍ」の範囲のうちの学習範囲に含まれない範囲を検証範囲として指定してよい。また、学習範囲特定部１２０が「平均－３σ」～「平均＋３σ」の範囲を学習範囲として特定する場合、検証範囲指定部６１０は、「平均－（３＋Ｍ）σ」～「平均＋（３＋Ｍ）σ」の範囲のうちの学習範囲に含まれない範囲を検証範囲として指定してよい。検証範囲指定部６１０は、例えばこのようにして、検証範囲を指定することができる。また、検証範囲指定部６１０は、検証範囲の分解能、すなわち、検証範囲を何分割するか等も併せて指定してもよい。検証範囲指定部６１０は、指定した検証範囲の情報を検証データ生成部６２０へ供給する。

【0073】

検証データ生成部６２０は、検証範囲に基づいて検証データを生成する。例えば、検証データ生成部６２０は、指定された検証範囲において、ランダムに、または、網羅的に複数の状態データを発生させることによって、検証データを生成してよい。これに代えて、または加えて、検証データ生成部６２０は、既に取得済みの状態データの中から検証範囲に含まれる複数の状態データを抽出することによって、検証データを生成してもよい。検証データ生成部６２０は、生成した検証データを機械学習モデル１１５へ入力する。これより先の処理は、第１の実施形態と同様であってよいので、ここでは説明を省略する。

【0074】

このように、本実施形態に係るモデル検証装置１００は、機械学習モデル１１５を検証するための検証データを、自らが生成する。これにより、本実施形態に係るモデル検証装置１００によれば、外部から検証データを取得することなく、自装置内で完結して機械学習モデルを検証することができる。

【0075】

図１０は、第３の実施形態に係るモデル検証装置１００のブロック図の一例を示す。図１０においては、図１と同じ機能および構成を有する部材に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。上述の実施形態においては、モデル検証装置１００が、他の装置が生成した機械学習モデルを記憶する場合を一例として示したが、本実施形態においては、モデル検証装置１００が、自身で機械学習モデルを生成する。本実施形態に係るモデル検証装置１００は、上述の実施形態に係るモデル検証装置１００が備える機能部に加えて、サンプルデータ取得部７１０と、モデル生成部７２０と、を更に備える。

【0076】

サンプルデータ取得部７１０は、学習サンプルとなるサンプルデータを取得する。例えば、サンプルデータ取得部７１０は、状態データＳ＝（ＬＩ００３，ＬＩ００２，ＬＩ００１，ＦＩ００１，Ｖ００１）を取得する。この際、サンプルデータ取得部７１０は、ネットワーク、ユーザ入力、または、各種メモリデバイスの少なくともいずれかを介して状態データを取得してよい。そして、サンプルデータ取得部７１０は、取得した状態データに含まれる操作量ＭＶ（すなわち、Ｖ００１）から行動データを算出してよい。なお、上述の説明では、サンプルデータ取得部７１０が、取得した状態データから行動データを二次的に取得する場合を一例として示したが、サンプルデータ取得部７１０は、状態データと同様、行動データを直接取得してもよい。サンプルデータ取得部７１０は、取得したサンプルデータをモデル生成部７２０へ供給する。

【0077】

モデル生成部７２０は、学習サンプルを用いた機械学習により機械学習モデル１１５を生成する。例えば、モデル生成部７２０は、サンプルデータ取得部７１０から供給されたサンプルデータを学習サンプルとして用いて機械学習することにより、機械学習モデル１１５を生成する。機械学習の詳細については上述のとおりであってよいので、ここでは詳細な説明を省略する。モデル生成部７２０は、生成した機械学習モデル１１５をモデル記憶部１１０へ供給する。したがって、本実施形態において、モデル記憶部１１０は、モデル検証装置１００自身が機械学習により生成した機械学習モデル１１５を記憶する。すなわち、本実施形態において、モデル検証装置１００は、自身が生成した機械学習モデル１１５を検証対象とする。

【0078】

このように、本実施形態に係るモデル検証装置１００は、学習サンプルを用いた機械学習により機械学習モデル１１５を自らが生成する。これにより、本実施形態に係るモデル検証装置１００によれば、自身が機械学習により生成した機械学習モデル１１５を検証の対象とすることができ、機械学習モデル１１５を生成する機能と機械学習モデル１１５を検証する機能とを一つの装置内で完結させることができる。

【0079】

図１１は、第４の実施形態に係るモデル検証装置１００のブロック図の一例を示す。図１１においては、図１と同じ機能および構成を有する部材に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。上述の実施形態においては、モデル検証装置１００が機械学習モデル１１５の検証結果を出力するまでの機能を有する場合を一例として示したが、本実施形態においては、モデル検証装置１００は、ユーザ入力に応じて機械学習モデル１１５を出力する機能を更に有する。本実施形態に係るモデル検証装置１００は、上述の実施形態に係るモデル検証装置１００が備える機能部に加えて、ユーザ入力部８１０と、モデル出力部８２０と、を更に備える。

【0080】

ユーザ入力部８１０は、検証結果が出力されたことに応じて、ユーザ入力を受け付ける。例えば、ユーザ入力部８１０は、検証結果出力部１４０が検証対象とする機械学習モデル１１５の検証結果を出力したことに応じて、当該機械学習モデル１１５の妥当性を示すユーザ入力を受け付ける。そして、ユーザ入力部８１０は、キーボードやマウス等を介して、機械学習モデル１１５が妥当である旨が入力された場合に、その旨をモデル出力部８２０へ通知する。

【0081】

モデル出力部８２０は、ユーザ入力に応じて、機械学習モデルを出力する。例えば、モデル出力部８２０は、ユーザ入力部８１０から機械学習モデル１１５が妥当である旨が通知された場合に、モデル記憶部１１０に記憶されている機械学習モデル１１５を、制御対象の制御を担う制御装置（図示せず）へ出力する。この際、モデル出力部８２０は、モデル記憶部１１０に記憶された機械学習モデル１１５を制御装置へムーブすることによって出力してもよいし、モデル記憶部１１０に記憶された機械学習モデル１１５を制御装置へコピーすることによって出力してもよい。

【0082】

このように、本実施形態に係るモデル検証装置１００は、ユーザ入力に応じて、機械学習モデル１１５を出力する。これにより、本実施形態に係るモデル検証装置１００によれば、検証結果を見たユーザが、機械学習モデル１１５が妥当であると判断したことをトリガとして、当該機械学習モデル１１５を制御対象の制御を担う制御装置へ提供することができる。

【0083】

図１２は、第５の実施形態に係るモデル検証装置１００のブロック図の一例を示す。図１２においては、図１１と同じ機能および構成を有する部材に対して同じ符号を付すとともに、以下相違点を除き説明を省略する。第４の実施形態においては、モデル検証装置１００が、制御対象の制御を担う他の制御装置に対して機械学習モデル１１５を出力する場合を一例として示したが、第５の実施形態においては、モデル検証装置１００自身が制御対象を制御する。本実施形態に係るモデル検証装置１００は、モデル出力部８２０に代えて、状態データ取得部９１０と、制御部９２０と、を更に備える。

【0084】

状態データ取得部９１０は、設備の状態を示す状態データを時系列に取得する。例えば、状態データ取得部９１０は、状態データＳ＝（ＬＩ００３，ＬＩ００２，ＬＩ００１，ＦＩ００１，Ｖ００１）を、ネットワークを介して設備から時系列に取得してよい。状態データ取得部９１０は、取得した状態データを制御部９２０へ順次供給する。

【0085】

制御部９２０は、ユーザ入力に応じて、機械学習モデルを用いた制御対象の制御を開始する。例えば、制御部９２０は、ユーザ入力部８１０から機械学習モデル１１５が妥当である旨が通知された場合に、状態データ取得部９１０から供給された状態データをモデル記憶部１１０に記憶された機械学習モデル１１５に入力する。そして、制御部９２０は、機械学習モデル１１５が出力する行動を現在の操作量ＭＶ（すなわち、Ｖ００１）に加えた新たな操作量ＭＶを制御対象へ与える。これにより、制御部９２０は、機械学習モデルを用いて制御対象を制御する。なお、このような制御部９２０は、他の機能部と一体に構成されていてもよいし、別体（例えば、他の機能部がクラウドで実行される等）に構成されていてもよい。

【0086】

このように、本実施形態に係るモデル検証装置１００は、ユーザ入力に応じて、機械学習モデル１１５を用いた制御対象の制御を開始する。これにより、本実施形態に係るモデル検証装置１００によれば、検証結果を見たユーザが、機械学習モデル１１５が妥当であると判断したことをトリガとして、いわゆるＡＩコントローラとして機能し、制御対象を実際に制御することができる。

【0087】

本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。

【0088】

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0089】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。

【0090】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0091】

図１３は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ９９００の例を示す。コンピュータ９９００にインストールされたプログラムは、コンピュータ９９００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ９９００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ９９００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ９９１２によって実行されてよい。

【0092】

本実施形態によるコンピュータ９９００は、ＣＰＵ９９１２、ＲＡＭ９９１４、グラフィックコントローラ９９１６、およびディスプレイデバイス９９１８を含み、それらはホストコントローラ９９１０によって相互に接続されている。コンピュータ９９００はまた、通信インターフェイス９９２２、ハードディスクドライブ９９２４、ＤＶＤドライブ９９２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ９９２０を介してホストコントローラ９９１０に接続されている。コンピュータはまた、ＲＯＭ９９３０およびキーボード９９４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ９９４０を介して入／出力コントローラ９９２０に接続されている。

【0093】

ＣＰＵ９９１２は、ＲＯＭ９９３０およびＲＡＭ９９１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ９９１６は、ＲＡＭ９９１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ９９１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス９９１８上に表示されるようにする。

【0094】

通信インターフェイス９９２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ９９２４は、コンピュータ９９００内のＣＰＵ９９１２によって使用されるプログラムおよびデータを格納する。ＤＶＤドライブ９９２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ９９０１から読み取り、ハードディスクドライブ９９２４にＲＡＭ９９１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

【0095】

ＲＯＭ９９３０はその中に、アクティブ化時にコンピュータ９９００によって実行されるブートプログラム等、および／またはコンピュータ９９００のハードウェアに依存するプログラムを格納する。入／出力チップ９９４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ９９２０に接続してよい。

【0096】

プログラムが、ＤＶＤ－ＲＯＭ９９０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ９９２４、ＲＡＭ９９１４、またはＲＯＭ９９３０にインストールされ、ＣＰＵ９９１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ９９００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ９９００の使用に従い情報の操作または処理を実現することによって構成されてよい。

【0097】

例えば、通信がコンピュータ９９００および外部デバイス間で実行される場合、ＣＰＵ９９１２は、ＲＡＭ９９１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェイス９９２２に対し、通信処理を命令してよい。通信インターフェイス９９２２は、ＣＰＵ９９１２の制御下、ＲＡＭ９９１４、ハードディスクドライブ９９２４、ＤＶＤ－ＲＯＭ９９０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

【0098】

また、ＣＰＵ９９１２は、ハードディスクドライブ９９２４、ＤＶＤドライブ９９２６（ＤＶＤ－ＲＯＭ９９０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ９９１４に読み取られるようにし、ＲＡＭ９９１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ９９１２は次に、処理されたデータを外部記録媒体にライトバックする。

【0099】

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ９９１２は、ＲＡＭ９９１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ９９１４に対しライトバックする。また、ＣＰＵ９９１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ９９１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0100】

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ９９００上またはコンピュータ９９００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ９９００に提供する。

【0101】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0102】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0103】

１００ モデル検証装置
１１０ モデル記憶部
１１５ 機械学習モデル
１２０ 学習範囲特定部
１３０ 検証データ取得部
１４０ 検証結果出力部
６１０ 検証範囲指定部
６２０ 検証データ生成部
７１０ サンプルデータ取得部
７２０ モデル生成部
８１０ ユーザ入力部
８２０ モデル出力部
９１０ 状態データ取得部
９２０ 制御部
９９００ コンピュータ
９９０１ ＤＶＤ－ＲＯＭ
９９１０ ホストコントローラ
９９１２ ＣＰＵ
９９１４ ＲＡＭ
９９１６ グラフィックコントローラ
９９１８ ディスプレイデバイス
９９２０ 入／出力コントローラ
９９２２ 通信インターフェイス
９９２４ ハードディスクドライブ
９９２６ ＤＶＤドライブ
９９３０ ＲＯＭ
９９４０ 入／出力チップ
９９４２ キーボード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】