特許 7074293 システムモデル評価システム、運用管理システム、システムモデル評価方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-16

(45)【発行日】2022-05-24

(54)【発明の名称】システムモデル評価システム、運用管理システム、システムモデル評価方法及びプログラム

(51)【国際特許分類】

   G06F 11/34 20060101AFI20220517BHJP

   G06F 11/30 20060101ALI20220517BHJP

【ＦＩ】

G06F11/34 147

G06F11/30 189

G06F11/30 140A

【請求項の数】 15

(21)【出願番号】P 2018519614

(86)(22)【出願日】2017-05-25

(86)【国際出願番号】 JP2017019600

(87)【国際公開番号】W WO2017204307

(87)【国際公開日】2017-11-30

【審査請求日】2020-04-03

(31)【優先権主張番号】P 2016106077

(32)【優先日】2016-05-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000213297

【氏名又は名称】中部電力株式会社

(74)【代理人】

【識別番号】100080816

【弁理士】

【氏名又は名称】加藤 朝道

(74)【代理人】

【識別番号】100098648

【弁理士】

【氏名又は名称】内田 潔人

(74)【代理人】

【識別番号】100119415

【弁理士】

【氏名又は名称】青木 充

(74)【代理人】

【識別番号】100168310

【弁理士】

【氏名又は名称】▲高▼橋 幹夫

(73)【特許権者】

【識別番号】515177088

【氏名又は名称】株式会社ＪＥＲＡ

(74)【代理人】

【識別番号】100080816

【弁理士】

【氏名又は名称】加藤 朝道

(74)【代理人】

【識別番号】100098648

【弁理士】

【氏名又は名称】内田 潔人

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100080816

【弁理士】

【氏名又は名称】加藤 朝道

(74)【代理人】

【識別番号】100098648

【弁理士】

【氏名又は名称】内田 潔人

(74)【代理人】

【識別番号】100119415

【弁理士】

【氏名又は名称】青木 充

(74)【代理人】

【識別番号】100168310

【弁理士】

【氏名又は名称】▲高▼橋 幹夫

(72)【発明者】

【氏名】市場 元浩

(72)【発明者】

【氏名】石上 秀之

(72)【発明者】

【氏名】朝倉 敬喜

(72)【発明者】

【氏名】相馬 知也

(72)【発明者】

【氏名】高城 真弓

【審査官】多賀 実

(56)【参考文献】

【文献】特開２０１５－１７９４４０（ＪＰ，Ａ）

【文献】国際公開第２０１４／０９１９５２（ＷＯ，Ａ１）

【文献】特開２０１３－０７３４１４（ＪＰ，Ａ）

【文献】棗田 昌尚 外３名，「インバリアント分析技術の大規模物理システムへの適用」，情報処理学会 デジタルプラクティス，情報処理学会，2015年07月15日，第6巻, 第3号，p.207-214，[２０１６年１１月８日検索], インターネット:<URL:https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=142693&file_id=1&file_no=1>，ISSN 2188-4390

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １１／３０

Ｇ０６Ｆ １１／３４

Ｇ０５Ｂ ２３／０２

(57)【特許請求の範囲】

【請求項1】

システムモデルの対象となるシステムに配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関係を選択するパターンを変えることで、システムモデルの候補を１つ以上作成するシステムモデル候補作成手段と、
前記作成したシステムモデルの候補に対して、所定の評価データを入力して、前記システムモデルの候補を評価するシステムモデル評価手段と、
を備え、
前記システムモデル候補作成手段は、前記システムに含まれる選択された一の対象機器に配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関係と、当該対象機器に配置されたセンサから取得されたセンサ値と当該対象機器に関連する関連機器に配置されたセンサから取得されたセンサ値とを用いて作成されたセンサ値間の関係と、を用いて前記システムモデルの少なくとも一の候補を作成する、システムモデル評価システム。

【請求項2】

前記システムモデル候補作成手段は、さらに、前記関連機器に配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関係を用いて、前記システムモデルの少なくとも一の候補を作成する請求項１のシステムモデル評価システム。

【請求項3】

システムモデルの対象となるシステムに含まれる冗長構成の機器を記憶する手段をさらに備え、
前記システムモデル評価手段は、前記冗長構成の機器のシステムモデルの候補を作成するときに、他の冗長構成機器を含まないよう、前記システムモデルの少なくとも一の候補を作成する請求項１または２のシステムモデル評価システム。

【請求項4】

前記システムモデル候補作成手段は、前記作成したシステムモデルの候補から、前記システムに含まれる機器の関係に基づいて、センサ値間の関係を削除する処理を実施する請求項１から３いずれか一のシステムモデル評価システム。

【請求項5】

前記システムモデル候補作成手段は、前記システムに含まれる選択された一の機器に配置されたセンサを少なくとも１つ含み、かつ、センサ間を接続するリンクを少なくとも１つ有する前記システムモデルの候補を網羅的に作成する請求項１から４いずれか一のシステムモデル評価システム。

【請求項6】

前記システムモデル評価手段は、前記所定の評価データを前記システムモデルの候補に入力して得られた出力と、所定のしきい値を比較することで、前記システムモデルの候補が前記システムの異常状態又は正常状態を判定できるか否かを確認する請求項１から５いずれか一のシステムモデル評価システム。

【請求項7】

前記システムモデル評価手段は、前記システムモデルの候補に正常データを入力して得られた出力と、前記システムモデルの候補に異常データを入力して得られた出力との差分を用いてシステムモデルの候補を評価する請求項１から６いずれか一のシステムモデル評価システム。

【請求項8】

前記システムモデル評価手段は、前記所定の評価データを前記システムモデルの候補に入力して得られた出力に含まれるノイズを算出することで、前記システムモデルの候補の評価値を計算する請求項１から７いずれか一のシステムモデル評価システム。

【請求項9】

前記システムモデル評価手段は、前記所定の評価データを前記システムモデルの候補に入力して得られた異常判定タイミングの正確度を算出することで、前記システムモデルの候補の評価値を計算する請求項１から８いずれか一のシステムモデル評価システム。

【請求項10】

請求項１から９いずれか一のシステムモデル評価システムによって評価されたシステムモデルを用いて対象システムの運用管理を行う運用管理システム。

【請求項11】

コンピュータが、
システムモデルの対象となるシステムに配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関係を選択するパターンを変えることで、システムモデルの候補を１つ以上作成し、
前記作成したシステムモデルの候補に対して、所定の評価データを入力して、前記システムモデルの候補を評価し、
前記システムに含まれる選択された一の対象機器に配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関係と、当該対象機器に配置されたセンサから取得されたセンサ値と当該対象機器に関連する関連機器に配置されたセンサから取得されたセンサ値とを用いて作成されたセンサ値間の関係と、を用いて前記システムモデルの少なくとも一の候補を作成する、
システムモデル評価方法。

【請求項12】

コンピュータが、
さらに、前記関連機器に配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関係を用いて、前記システムモデルの少なくとも一の候補を作成する請求項１１のシステムモデル評価方法。

【請求項13】

コンピュータが、
システムモデルの対象となるシステムに含まれる冗長構成の機器を記憶する手段を参照し、
前記冗長構成の機器のシステムモデルの候補を作成するときに、他の冗長構成機器を含まないよう、前記システムモデルの少なくとも一の候補を作成する請求項１１または１２のシステムモデル評価方法。

【請求項14】

コンピュータが、
前記システムモデルの候補に正常データを入力して得られた出力と、前記システムモデルの候補に異常データを入力して得られた出力との差分を用いてシステムモデルの候補を評価する請求項１１から１３いずれか一のシステムモデル評価方法。

【請求項15】

システムモデルの対象となるシステムに配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関係によって構成されたシステムモデルを記憶するシステムモデル記憶手段を備えたコンピュータに、
システムモデルの対象となるシステムに配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関係を選択するパターンを変えることで、システムモデルの候補を１つ以上作成する処理と、
前記作成したシステムモデルの候補に対して、所定の評価データを入力して、前記システムモデルの候補を評価する処理と、
前記システムに含まれる選択された一の対象機器に配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関係と、当該対象機器に配置されたセンサから取得されたセンサ値と当該対象機器に関連する関連機器に配置されたセンサから取得されたセンサ値とを用いて作成されたセンサ値間の関係と、を用いて前記システムモデルの少なくとも一の候補を作成する処理と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願についての記載）
本発明は、日本国特許出願：特願２０１６－１０６０７７号（２０１６年５月２７日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、システムモデル評価システム、運用管理システム、システムモデル評価方法及びプログラムに関し、特に、システムの故障分析や障害の予兆検知等に用いるシステムモデルの構築を行うシステムモデル評価システム、運用管理システム、システムモデル評価方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１に、システムを構成する被管理装置の障害の予兆を検出し、発生場所の特定ができるという運用管理装置が開示されている。具体的には、この運用管理装置は、性能種目又は被管理装置を要素とし、少なくとも第１の要素に関する性能情報の時系列変化を示す第１の性能系列情報と、第２の要素に関する性能情報の時系列変化を示す第２の性能系列情報との相関関数を導出し、この相関関数に基づいて相関モデルを生成し、この相関モデルを各要素間の組み合わせについて求める相関モデル生成部１２３と、被管理装置から新たに検出し取得される性能情報に基づいて、相関モデルの変化を分析する相関変化分析部１２４を含む、とされている。

【0003】

特許文献２に、上記した相関モデルを平日や休日といった暦上の属性と対応付けて作成し、異常検出を行う方法が開示されている。

【0004】

特許文献３には、上記したモデルを用いて、発電所内のポンプの異常を検知する各種の異常検知システムが開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００９－１９９５３３号公報

【文献】特開２０１３－２２９０６４号公報

【文献】特開２０１６－４２９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

以下の分析は、本発明によって与えられたものである。上記特許文献１～３に記載されているシステムでは稼動データを示すセンサ値（特許文献１、２では「性能情報」と呼んでいる）を用いてシステムモデルを作成するアプローチを採用している。このため、対象システムを構成する要素の劣化や磨耗の程度なども加味したより正確なシステムモデルを作成できるといわれている。

【0007】

重要なシステムの監視には、高い精度の分析が求められることは言うまでもない。高い精度の分析を実現するために、異常検出を精度高く行うことができるモデル（システムモデル）の構築が求められる。

【0008】

本発明は、精度の高いシステムモデルの構築の容易化に貢献できるシステムモデル評価システム、運用管理システム、システムモデル評価方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

第１の視点によれば、システムモデルの対象となるシステムに配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関係を選択するパターンを変えることで、システムモデルの候補を１つ以上作成するシステムモデル候補作成手段を備えるシステムモデル評価システムが提供される。このシステムモデル評価システムは、さらに、前記作成したシステムモデルの候補に対して、所定の評価データを入力して、前記システムモデルの候補を評価するシステムモデル評価手段と、を備える。

【0010】

第２の視点によれば、上記したシステムモデル評価システムによって評価されたシステムモデルを用いて対象システムの運用管理を行う運用管理システムが提供される。

【0011】

第３の視点によれば、システムモデルの対象となるシステムに配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関係を選択するパターンを変えることで、システムモデルの候補を１つ以上作成し、前記作成したシステムモデルの候補に対して、所定の評価データを入力して、前記システムモデルの候補を評価する、システムモデル評価方法が提供される。本方法は、上記したシステムモデルの作成手段と評価手段とを備えるコンピュータという、特定の機械に結びつけられている。

【0012】

第４の視点によれば、システムモデルの対象となるシステムに配置されたセンサから取得されたデータを用いて作成されたセンサ値間の関係によって構成されたシステムモデルを記憶するシステムモデル記憶手段を備えたコンピュータに、システムモデルの対象となるシステムに配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関係を選択するパターンを変えることで、システムモデルの候補を１つ以上作成する処理と、前記作成したシステムモデルの候補に対して、所定の評価データを入力して、前記システムモデルの候補を評価する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジエントな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。

【発明の効果】

【0013】

本発明によれば、システムの運用管理に用いられるシステムモデルの精度向上に貢献することが可能となる。即ち、本発明は、背景技術に示したシステムモデル評価システムを、その予測精度等を飛躍的に向上させたシステムモデル評価システムへと変換するものとなっている。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態の構成を示す図である。

【図2】本発明の第１の実施形態の運用管理システムの構成を示す図である。

【図3】本発明の第１の実施形態の運用管理システムで用いるセンサ値間の関係を説明するための図である。

【図4】本発明の第１の実施形態のシステムモデル評価システムが保持するシステム情報の一例を示す図である。

【図5】本発明の第１の実施形態のシステムモデル評価システムが保持する機器情報の一例を示す図である。

【図6】本発明の第１の実施形態のシステムモデル評価システムが保持する候補生成ルールの一例を示す図である。

【図7】本発明の第１の実施形態のシステムモデル評価システムによって生成されるシステムモデル候補の例を示す図である。

【図8】本発明の第１の実施形態のシステムモデル評価システムの動作を表した図である。

【図9】本発明の第１の実施形態のシステムモデル評価システムによるシステムモデル候補の評価手法の一例を説明するための図である。

【図10】本発明の第１の実施形態のシステムモデル評価システムによるシステムモデル候補の評価手法の一例を説明するための図である。

【図11】本発明の第１の実施形態のシステムモデル評価システムによるシステムモデル候補の評価手法の一例を説明するための図である。

【図12】本発明の第１の実施形態のシステムモデル評価システムによるシステムモデル候補の評価手法の一例を説明するための図である。

【図13】本発明の第１の実施形態のシステムモデル評価システムによるシステムモデル候補の評価手法の別の一例を説明するための図である。

【図14】本発明の第２の実施形態のシステムモデル評価システムに含まれる冗長構成の機器と、生成されるシステムモデル候補の例を示す図である。

【図15】本発明の第２の実施形態のシステムモデル評価システムが保持する機器情報の一例を示す図である。

【図16】本発明の第３の実施形態のシステムモデル評価システムによって生成されるシステムモデル候補の例を示す図である。

【図17】本発明の第３の実施形態のシステムモデル評価システムによって生成されるシステムモデル候補の例を示す図である。

【図18】本発明の第４の実施形態の運用管理システムの構成を示す図である。

【図19】本発明の第４の実施形態のシステムモデル評価システムによって生成されるシステムモデル候補の例を示す図である。

【図20】図８のシステムモデル候補評価の処理フローの一例を示す図である。

【図21】本発明の第５の実施形態のシステムモデル評価システムにおけるシステムモデル候補評価の処理フローの一例を示す図である。

【図22】本発明の第５の実施形態のシステムモデル評価システムによるシステムモデル候補の評価手法を説明するための図である。

【発明を実施するための形態】

【0015】

はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以下の説明で用いる図面中のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。

【0016】

本発明は、その一実施形態において、図１に示すように、システムモデルの対象となるシステムに配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関係によって構成された第１のシステムモデル（マスタモデル）を記憶するシステムモデル記憶手段１１と、システムモデル候補作成手段１２と、システムモデル候補評価手段１３と、を備えるシステムモデル評価システム１０にて実現できる。

【0017】

より具体的には、前記システムモデル候補作成手段１２は、前記第１のシステムモデルを構成するセンサ値間の関係を選択するパターンを変えることで、第２のシステムモデルの候補を１つ以上作成する（図１の吹き出し内参照）。例えば、図１の例では、吹き出し内に示すように、第２のシステムモデルの候補として、システムモデル候補２１、２２が作成されている。

【0018】

前記システムモデル候補評価手段１３は、前記作成した第２のシステムモデルの候補に対して、所定の評価データを入力して、前記第２のシステムモデルの候補を評価する。例えば、評価データとして、実際に異常が発生した際のセンサ値の時系列データを入力する。その結果、第２のシステムモデルから得られる値が所定のしきい値を超えているか否か、即ち、「異常」を検出できているかどうかという観点で、第２のシステムモデルが評価される。また反対に、評価データとして、異常が発生しない状態のセンサ値の時系列データを入力することもできる。その結果、第２のシステムモデルから得られる値が所定のしきい値を超えているか否か、即ち、「正常」を誤って「異常」と検出していないかどうかという観点での第２のシステムモデルを評価することができる。

【0019】

以上のように構成されたシステムモデル評価システムによれば、ノイズ等の影響を受けにくいシステムモデル（第２のシステムモデルのうち評価が高いもの）を得ることが可能となる。その理由は、システムモデル候補作成手段１２が、センサ値間の関係を選択するパターンを変えることで、（第２の）システムモデルの候補を１つ以上作成し、評価する構成を採用したことにある。即ち、本発明は、その一側面において、対象システムのセンサから取得されたデータを用いて作成された網羅的な第１のシステムモデルから、ノイズの原因となっているセンサ値間の関係を取り除き、特性が改善されたシステムモデルの候補を作成するものとも言える。

【0020】

［第１の実施形態］
続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。図２は、本発明の第１の実施形態の運用管理システムの構成を示す図である。図２を参照すると、システムモデル評価システム１１０を含んだ運用管理システム１００が示されている。

【0021】

運用管理システム１００は、センサデータ収集部１０１と、センサデータ蓄積部１０２と、システムモデル評価システム１１０側にシステムモデルを提供するシステムモデル生成部１０３と、システムモデル評価システム１１０にて評価されたシステムモデル（第２のシステムモデル）を用いて管理対象のシステムの運用管理を行う運用管理部１２０とを備える。

【0022】

センサデータ収集部１０１は、管理対象のシステムに含まれる各種のセンサからセンサデータを収集し、センサデータ蓄積部１０２に蓄積する。なお、センサデータ収集部１０１が各種のセンサからデータを収集する形態としては、センサデータ収集部１０１がセンサやセンサに接続されたＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）端末等からセンサデータを直接受信する形態のほか、センサデータ収集部１０１がクラウドシステム等に配置されたサーバ等から必要なセンサデータを取得する形態も含まれる。

【0023】

センサデータ蓄積部１０２は、センサデータ収集部１０１にて収集されたデータをそれぞれ時系列データとして保持するデータベース等によって構成される。

【0024】

システムモデル生成部１０３は、センサデータ蓄積部１０２に蓄積されたセンサデータを用いて、システムモデルを生成する。例えば、図３に示すように、あるセンサｓ１０の時系列データを入力とし、別の第２のセンサｓ１１の時系列データを出力とした場合の変換関数ｆを導出することで、センサｓ１０、ｓ１１間の関係が求められる。また、必要に応じて変換関数ｆによって求められた値と実施の時系列データに差がある場合には、図３に示すような重み情報又は信頼度情報を算出して、それを変換関数と共に記憶してもよい。システムモデル生成部１０３には、上記の処理をモデル化に用いるセンサの組み合わせについて繰り返すことで、管理対象のシステムのふるまいをモデル化したシステムモデル（以下、「第１のシステムモデル」乃至「マスタモデル」ともいう）を生成する。生成されたシステムモデルは、システムモデル記憶部１１１に保存される。なお、システムモデル生成部１０３におけるシステムモデルの生成方法としては、特許文献１～３に記載の方法を適宜採用することもできる。

【0025】

運用管理部１２０は、システムモデル評価システム１１０にて評価されたシステムモデルを用いて管理対象のシステムの運用管理を行い、必要に応じて運用管理者に対し、障害の予兆を知らせたり、障害の発生が予想される部位を通知する等の動作を行う。

【0026】

続いて、図２の破線内に示したシステムモデル評価システムの細部について説明する。システムモデル評価システム１１０は、システムモデル記憶部１１１と、システムモデル候補作成部１１２と、システムモデル候補評価部１１３と、システムモデル候補記憶部１１４と、システム構成記憶部１１５と、候補生成ルール記憶部１１６と、評価済システムモデル記憶部１１７とを備えている。

【0027】

システム構成記憶部１１５は、管理対象のシステムの構成情報を記憶する。図４は、各システムに含まれる機器の情報を格納したテーブルの例である。図５は、各機器に備えられているセンサの情報を格納したテーブルの例である。図４、図５のテーブルを参照することで、あるシステムに、どのような機器が含まれ、各機器にどのようなセンサが配置されているかを把握することが可能となる。なお、図４、図５の例では省略しているが、各機器や各センサの接続関係をシステムの構成情報として保持するようにしてもよい。また、図４、図５の例では、システムと機器の構成の２段階の構成を想定したが、例えば、１以上の機器が設備を構成し、１以上の設備が系統を構成し、１以上の系統がシステム全体を構成する、というような構成情報でもよい。

【0028】

候補生成ルール記憶部１１６は、システムモデル記憶部１１１に保持されたシステムモデルから、運用管理に使用する第２のシステムモデルの候補を作成するためのルール（候補生成ルール）を記憶する。図６は、候補生成ルールの一例を示す図である。

【0029】

システムモデル候補作成部１１２は、システムモデル記憶部１１１に保持されたシステムモデルと、システム構成記憶部１１５に保持されたシステムの構成情報と、候補生成ルール記憶部１１６に保持されたルール（候補生成ルール）とを用いて、評価の対象となるシステムモデルの候補（第２のシステムモデルの候補）を作成する。システムモデル候補作成部１１２にて作成されたシステムモデルの候補（第２のシステムモデルの候補）は、システムモデル候補記憶部１１４に格納される。

【0030】

図６は、候補生成ルール記憶部１１６に保持されるシステムモデルの候補作成ルールの一例を示す図である。図６の例では、段階的にシステムモデルの候補に含めるセンサや機器を増やしていく内容を定めたルール（１）～（Ｘ）が設定されている。例えば、図６に示すルールの場合、システムモデル候補作成部１１２は、次のようにバリエーションを持つシステムモデルの候補を作成する。
（１）システムモデル候補作成部１１２は、あるシステム中の機器を選択し、選択した機器に配置されているセンサのみの間の関係を用いてシステムモデルの候補を作成する（図７の（１）参照）。
（２）システムモデル候補作成部１１２は、（１）で選択した機器のセンサと関係のあるセンサを選択し、これらセンサ間の関係を用いてシステムモデルの候補を作成する（図７の（２）参照）。なお、センサ間の関係の有無は、センサが配置されている機器同士が接続され、注目するセンサがそれぞれ監視する値が入出力の関係にあるかどうかや、直接入出力の関係になくとも、監視する項目間にある程度の一定の相関が認められるか否かによって決定することができる。
（３）システムモデル候補作成部１１２は、（１）及び（２）で選択したセンサ間の関係に加え、（２）で選択した機器に備えられたセンサ間の関係を用いてシステムモデルの候補を作成する（図７の（３）参照）。
（４）システムモデル候補作成部１１２は、（１）～（３）で選択したセンサ間の関係に加え、（３）で選択した機器のセンサとさらに関係のあるセンサを選択し、これらセンサ間の関係を用いてシステムモデルの候補を作成する（図７の（４）参照）。同様にして、システムモデル候補作成部１１２は、（１）～（４）で選択したセンサ間の関係に加え、（１）で選択した機器以外の機器に備えられたセンサ間の関係を用いてシステムモデルの候補を作成する。
（Ｘ）最終的に、システムモデル候補作成部１１２は、対象機器と直接又は間接的に関係のある機器間の構成要素全部を含むシステムモデルの候補を作成してもよい（図７の（Ｘ）参照）。もちろん、対象機器と直接又は間接的に関係のある機器間の構成要素全部を含むシステムモデルではなく、例えば、（４）で選択した機器のセンサとさらに関係のあるセンサを選択し、これらセンサ間の関係を用いてシステムモデルの候補を作成したところで、一連のシステムモデルの候補の作成を止めてしまってもよい。

【0031】

以上の処理を注目する機器について繰り返すことで、評価をすべき第２のシステムモデルの候補の組み合わせが得られることになる。なお、第２のシステムモデルの候補を作成するためのルール（候補生成ルール）は上記の例に限られない。これらについては、後に、第３、第４の実施形態として、その一例を説明する。

【0032】

システムモデル候補評価部１１３は、システムモデル候補記憶部１１４から、システムモデルの候補（第２のシステムモデルの候補）を取り出して、所定の評価データを入力し、その出力の妥当性を表す評価値を計算することで、システムモデルの候補（第２のシステムモデルの候補）を評価する。システムモデル候補評価部１１３にて評価されたシステムモデルの候補（第２のシステムモデルの候補）は、評価済みのシステムモデル候補として、評価済システムモデル記憶部１１７に保存される。

【0033】

なお、図２の例では、運用管理システム１００内にシステムモデル評価システム１１０を設けた構成を用いているが、運用管理システム１００と、システムモデル評価システム１１０とは、物理的又は論理的に分離された機器で構成されていてもよい、また、これらシステムモデル評価システム及び運用管理システムの各部（処理手段）は、これらのシステムを構成するコンピュータに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。

【0034】

続いて、上記したシステムモデル評価システム１１０の動作について図面を参照して詳細に説明する。図８は、本発明の第１の実施形態のシステムモデル評価システムの動作を表した図である。図８を参照すると、システムモデル評価システム１１０は、所定の契機で、システムモデル記憶部１１１に保持されたシステムモデル、システム構成及び前述のルール（候補生成ルール）を用いて、評価の対象となるシステムモデルの候補（第２のシステムモデルの候補）を作成する（ステップＳ００１）。

【0035】

次に、システムモデル評価システム１１０は、ステップＳ００１で生成したシステムモデルの候補（第２のシステムモデルの候補）を評価する（ステップＳ００２）。

【0036】

最後に、システムモデル評価システム１１０は、ステップＳ００２で評価したシステムモデルの候補（第２のシステムモデルの候補）から、運用管理に用いるシステムモデル（第２のシステムモデル）を選択する（ステップＳ００３）。ここで、選択したシステムモデル（第２のシステムモデル）は、運用管理部１２０における対象システムの運用管理に用いられる。

【0037】

ここで、上述のステップＳ００２における評価方法について説明する。図２０は、図８のシステムモデル候補評価の処理フローの一例を示す図である。図２０に示すとおり、図８のステップＳ００２は、評価手法Ａ－１（ステップＳ１０１；基本機能確認）、評価手法Ａ－２（ステップＳ１０２；ノイズ評価）、評価手法Ｂ－１（ステップＳ１０３；異常検出機能確認）、評価手法Ｂ－２（ステップＳ１０４；異常検出精度評価）の４ステップから構成される。各ステップは任意に省略されても構わない。各ステップは任意の拡張概念に置換されても構わない。なお、正常データとは、システムにおいて異常が発生していないときのデータを用いて作られた評価データである。異常データとは、システムにおいて異常が発生していたときのデータを用いて作られた評価データである。

【0038】

評価手法Ａ－１（ステップＳ１０１；基本機能確認）は、第２のシステムモデルの候補に正常データを入力し、得られた異常スコアが第１のしきい値を超えるか否かに基づき、正常データを正常と判定できる等の基本的な機能を有しているか否かを確認するステップである。
評価手法Ａ－２（ステップＳ１０２；ノイズ評価）は、第２のシステムモデルの候補に正常データを入力し、得られた異常スコアのノイズの大きさを判定するステップである。
評価手法Ｂ－１（ステップＳ１０３；異常検出機能確認）は、第２のシステムモデルの候補に異常データを入力し、得られた異常スコアが第２のしきい値を超えるか否かに基づき、異常検出機能を有しているか否かを確認するステップである。
評価手法Ｂ－２（ステップＳ１０４；異常検出精度評価）は、第２のシステムモデルの候補に異常データを入力し、異常が検出された場合、その異常が検出された時刻と、異常が実際に発生していた時刻との差を用いて異常検出の精度を評価するステップである。

【0039】

ここで、上述のステップＳ００２における評価方法について具体例を挙げて説明する。以下、システムモデル評価システム１１０が、システムモデルの候補（第２のシステムモデルの候補）として、６つの第２のシステムモデルの候補（それぞれ第２のシステムモデル２１～２６と記す）を作成したものとして説明する。

【0040】

まず、システムモデル候補評価部１１３が、各システムモデルの候補について正常なデータを入力して、正しく「正常」と判定できるか否かを確認する必要がある。図９は、評価手法Ａ－１の実施の具体例として、第２のシステムモデル２１、２２に正常データを入力し、所定の監視項目を用いて得られた異常スコアの変化を表した図である。図９の例では、第２のシステムモデル２１は、正常データが入力されたにも拘わらず、異常スコアが第１のしきい値を超えてしまっている。このため、第２のシステムモデル２１は不合格（誤判定）と判定される。一方、第２のシステムモデル２２の異常スコアは第１のしきい値を超えていないので、第２のシステムモデル２２は適切と判断される。なお、第２のシステムモデル２３～２６については省略しているが、第２のシステムモデル２３～２６についても同様の評価を行うことになる。

【0041】

次に、システムモデル候補評価部１１３は、上記正常データについて誤判定を行わなかった第２のシステムモデルのうち、いずれが優れているかを示す評価値を計算する。図１０は、評価手法Ａ－２の実施の具体例として、第２のシステムモデル２２、２３に正常データを入力し、所定の監視項目を用いて得られた異常スコアの変化を表した図であり、各図下段の網掛け部分がノイズを表している。ノイズが小さいほど第２のシステムモデルとして優れている。なぜなら、マージンが大きいからである。マージンが大きいということは、正常データを正常と判定できる可能性が大きいということである。図１０の例では、第２のシステムモデル２２、２３を比較すると、第２のシステムモデル２２の方が網掛け部分の面積が大きくなっている。この場合、第２のシステムモデル２２よりも第２のシステムモデル２３の方がノイズが少ないシステムモデルになっていると言える。同様にシステムモデル２４～２６について、ノイズを示す網掛け部分の面積の大きさを計算し、システムモデル候補の評価値とすることができる（網掛け部分の面積が小さい方が優れていることを示す）。なお、面積以外にも、異常度の平均を算出して比較してもよいし、異常度の最大値を算出して比較してもよい。

【0042】

次に、システムモデル候補評価部１１３は、システムモデルの候補に、異常が発生した際に異常データを入力して、適切なタイミングで「異常」と判定できるか否かを確認する手法を説明する。図１１は、評価手法Ｂ－１の実施の具体例として、第２のシステムモデル２４、２５に異常データを入力し、所定の監視項目を用いて得られた異常スコアの変化を表した図である。図１１の例では、第２のシステムモデル２５は、異常データが入力されたにも拘わらず、異常スコアが第２のしきい値を超えていない。このため、第２のシステムモデル２５は、異常を検出できない不適切なシステムモデルと判定される。一方、第２のシステムモデル２４は、異常スコアが第２のしきい値を超えているので適切と判断される。なお、第２のシステムモデル２２、２３、２６については省略しているが、これらの第２のシステムモデルについても同様の評価を行うことになる。

【0043】

次に、システムモデル候補評価部１１３は、上記異常を正しく検出できたシステムモデルのうち、いずれが優れているかを示す評価値を計算する。図１２は、評価手法Ｂ－２の実施の具体例として、第２のシステムモデル２４、２６に異常データを入力し、所定の監視項目を用いて得られた異常判定タイミングを表した図である。図１２の例では、第２のシステムモデル２４は、時刻ｔ２に異常発生を検出している。一方、第２のシステムモデル２６は、時刻ｔ３に異常発生を検出している。この場合、元々の異常発生時のデータで検出された異常発生時刻ｔ１とｔ２／ｔ３との差を、システムモデル候補の評価値とすることができる（図１２の両矢線の長さが短い方が優れたシステムモデルと言える。）。なお、第２のシステムモデル２２、２３については省略しているが、第２のシステムモデル２２、２３についても同様の評価を行うことになる。

【0044】

最終的に、システムモデル候補評価部１１３に、図９～図１２に示す評価を総合した評価値を算出させることもできる。例えば、図１０に示すノイズの多寡という観点での評価値と、図１２に示す異常検出の正確さ（正確度）という観点での評価値とを、それぞれ正規化し、加算した評価値を算出させることもできる。また、異常データは必ずある訳ではないので、異常データが無い場合は、図１０に示すノイズの多寡という観点での評価値を用いて採用するシステムモデルを決定してもよい。

【0045】

また、上記した評価の方法はあくまで一例を示したものであって、種々の変形を施すことができる。例えば、図１０に示す、ノイズを示す領域の面積により評価を行う方法に代えて、図１３に示すように、ノイズの最大値の多寡より評価を行うこともできる。同様に、図１２の方法においても、異常検出タイミングが実際の異常発生時より早い場合と、実際の異常発生時より検出が遅れている場合がある。この場合、異常検出タイミングからのズレ量を示すスコアが同値であっても、検出遅れの方の評価値を下げる等の変更を加えることができる。

【0046】

以上説明したように、本実施形態によれば、複数のシステムモデル候補の中から、より精度の高いシステムモデルを採用することが可能となる。これにより、運用管理システムの、障害の予兆の検出精度や、発生場所の特定能力の向上を見込むことが可能となる。

【0047】

［第２の実施形態］
続いて、管理対象のシステムに冗長構成の機器が含まれることを想定した第２の実施形態について説明する。第２の実施形態は第１の実施形態と基本的な構成及び動作は共通するので、以下、相違点を中心に説明する。

【0048】

図１４の左側の図に示すように、管理対象のシステムの機器のうち、機器Ａ１～Ａ４が冗長構成を取っている場合がある。この場合、システムモデルを作成、評価するには、冗長構成であることを考慮に入れる必要がある。例えば、機器Ａ１のシステムモデルを構築する場合、Ａ１と冗長構成である機器Ａ２～Ａ４については、システムモデルの候補（第２のシステムモデルの候補）には含めず、評価することになる。

【0049】

図１５は、第２の実施形態のシステムモデル評価システムのシステム構成記憶部１１５に保持されるシステムの構成情報の例を示している。図５に示した機器情報を格納したテーブルと相違するのは、冗長構成を取る機器について、冗長構成機器の情報を格納可能となっている点である。例えば、図１５の場合、機器Ａ１は、機器Ａ２～機器Ａ４ともに冗長構成を取っていることになる。

【0050】

この場合、システムモデル評価システムのシステムモデル候補作成部１１２は、ある機器のシステムモデルを作成する際には、それと冗長構成を取る機器のセンサは含めずにシステムモデルを作成する。例えば、機器Ａ１のシステムモデル候補を作成する場合、機器Ａ２～機器Ａ４のセンサは除いて、システムモデルを作成することになる。

【0051】

以上、説明したように、本実施形態によれば、管理対象のシステムの機器に冗長構成が含まれる場合においても、冗長構成された機器によるノイズを低減したシステムモデルを構築することができる。

【0052】

［第３の実施形態］
続いて、システムモデル候補作成部１１２が用いる候補生成ルールに変更を加えた第３の実施形態について説明する。第３の実施形態も第１の実施形態と基本的な構成及び動作は共通するので、以下、相違点を中心に説明する。

【0053】

図１６の左側のマスタモデルは、第１の実施形態のシステムモデル記憶部に記憶される第１のシステムモデルに相当し、機器Ａ～機器Ｅによって構成されるシステムモデルを表している。

【0054】

本実施形態において、まず、システムモデル候補作成部１１２は、第１の実施形態と同様に、例えば、機器Ａを選択して、第２のシステムモデルの候補を作成する。例えば、図１６の（Ａ１）は、機器Ａに配置されているセンサ間の関係を用いて作成されたシステムモデルの候補を示している。同様に、図１６の（Ａ２）は、機器Ａに配置されているセンサと、これらのセンサと関係のあるセンサを用いて作成されたシステムモデルの候補を示している。同様に、図１６の（Ａ３）は、機器Ａに配置されているセンサと、機器Ａのセンサと関係のあるセンサを持つ機器のセンサとを用いて作成されたシステムモデルの候補を示している。同様に、図１６の（Ａ４）は、機器Ａに配置されているセンサと、機器Ａのセンサと関係のあるセンサを持つ機器Ｂ、Ｃのセンサと、さらに機器Ｃのセンサと関係のある機器Ｄのセンサとを用いて作成されたシステムモデルの候補を示している。図１６の（ＡＸ）は、対象機器と直接又は間接的に関係のある機器間の構成要素全部を含むシステムモデルを示している。ここまでの動作は、図６に示した候補生成ルールを用いる第１の実施形態と同様である。

【0055】

本実施形態では、上記のように、第２のシステムモデルの候補を作成した後、システムモデル候補作成部１１２が、機器間の関係に着目して、システムモデル内のリンク（関係）の枝刈り処理を実施する。機器間の関係の一例は、機器間の物理的な接続関係である。すなわち、例えば機器の出力が他の機器の入力であるような関係である。図１７は、本実施形態のシステムモデル候補作成部１１２による枝刈り処理の一例を示す図である。例えば、図１７の左下に示すように、機器Ａ、機器Ｂ、機器Ｃ、機器Ｄ、機器Ｅの順に、機器Ａ～機器Ｅが直列に接続されているものとする。この場合、システムモデル候補作成部１１２は、図１７の（Ａ２）～（ＡＸ）に示すように、システムモデルから、機器Ａに接続されていない機器Ｃ、Ｄとのリンクを削除する動作を行う。なお、図１７の例では、システムモデル候補（Ａ３）から機器Ａと機器Ｃ間のリンク及び機器Ｃ内の全リンクが削除され、システムモデル候補（Ａ４）から上記に加え、機器Ｃと機器Ｄ間のリンクが削除され、システムモデル候補（ＡＸ）からは上記に加え、機器Ｂと機器Ｃ間のリンクが削除されている。この結果、システムモデル候補（Ａ３）～（ＡＸ）は同型となっている。もちろん、システムモデル候補（Ａ４）、（ＡＸ）は削除してしまって差し支えない。

【0056】

以上説明したように、機器間の関係に着目して、第２のシステムモデルの候補を作成することも可能である。このようにすることで、直感的に理解しやすい関係性のみからシステムモデルが構成されるため、システムモデル候補評価部の評価結果だけでなく、システムモデルそのものの関係性を人間が見て評価を行うこともできる。

【0057】

［第４の実施形態］
続いて、システムモデル候補作成部１１２が用いる候補生成ルールに変更を加えた第４の実施形態について説明する。第４の実施形態も第１の実施形態と基本的な構成及び動作は共通するので、以下、相違点を中心に説明する。

【0058】

図１８は、本発明の第４の実施形態の運用管理システムの構成を示す図である。図２に示した第１の実施形態の運用管理システムとの相違点は、システムモデル評価システム内の候補生成ルール記憶部１１６が省略されている点である。

【0059】

図１９の左上のマスタモデルは、図１８のシステムモデル記憶部１１１に記憶される第１のシステムモデルに相当し、機器Ａ、機器Ｂによって構成されるシステムモデルを表している。そして、本実施形態において、システムモデル候補作成部１１２ａは、機器Ａセンサをノードとして、少なくとも１つ含み、かつ、ノード間を接続するリンクを１つ以上持つ、すべてのパターンを作成し、これらを第２のシステムモデル候補とする。システムモデル候補作成部１１２ａが、すべての機器について以上の動作を繰り返すことで注目するシステムに内在するすべての第２のシステムモデル候補を抽出することができる。

【0060】

このように、第２のシステムモデルの候補は、図６に示すようなルールを用いずに、任意の機器とその中のノード（センサ）を選択した上で、１つずつリンク数を増やしながら、取りうるリンクを網羅的に探索するアルゴリズムを用いて作成することもできる。

【0061】

［第５の実施形態］
続いて、システムモデル候補評価部１１３による評価手法に変更を加えた第５の実施形態について説明する。第５の実施形態も第１の実施形態と基本的な構成及び動作は共通するので、以下、相違点を中心に説明する。

【0062】

図２１は、本発明の第５の実施形態のシステムモデル評価システムにおけるシステムモデル候補評価の処理フローの一例を示す図である。図８のＳ００２に示す第１の実施形態のシステムモデル候補評価において、第５の実施形態では次のような処理が行われる。まず、システムモデル候補評価部１１３はシステムモデル候補記憶部１１４から評価を行うシステムモデルの候補（第２のシステムモデルの候補）を選択する（ステップＳ２０１）。

【0063】

次に、システムモデル候補評価部１１３は、選択したシステムモデルの候補（第２のシステムモデルの候補）に正常データを入力して異常スコアを計算する（ステップＳ２０２）。

【0064】

次に、システムモデル候補評価部１１３は、選択したシステムモデルの候補（第２のシステムモデルの候補）に異常データを入力して異常スコアを計算する（ステップＳ２０３）。

【0065】

次に、システムモデル候補評価部１１３は、前記正常データを入力して得られた異常スコアと、前記異常データを入力して得られた異常スコアとの差分を計算する（ステップＳ２０４）。この差分の計算方法としては、異常スコアの最大値（ピーク値）の差を計算する方法（これを「差分計算方法１」と呼ぶ）や、異常スコアの平均値の差を計算する方法（これを「差分計算方法２」と呼ぶ）、これらを組み合わせた差分値を計算する方法等が考えられる。他にも、前記正常データを入力して得られた異常スコアの最大値と、前記異常データを入力して得られた異常スコアの最小値の差を計算する方法（これを「差分計算方法３」と呼ぶ）を採用することも考えられる。

【0066】

図２２は、差分計算方法１を採用したときの、上記手順による第２のシステムモデルの候補の評価手法を説明するための図である。図２２では、第２のシステムモデルの候補３１、３２に対し、同一の正常データと異常データのそれぞれを入力して得られた異常スコアの波形を表している。図２２の上段の第２のシステムモデルの候補３１は、異常スコアの最大値（ピーク値）の差ｄ１が大きく出ている。一方、図２２の下段の第２のシステムモデルの候補３２は、異常スコアの最大値（ピーク値）の差ｄ２がｄ１と比較して小さくなっている。即ち、第２のシステムモデルの候補３１は、第２のシステムモデルの候補３２と比較して、正常データを正常であると判定し、異常データを異常であると判定する検出性能が優れていることを示している。一方、第２のシステムモデルの候補３２は、正常データ、異常データをそれぞれ入力した際に明確に正常又は異常であることを判定できないことを示している。なお、図２２の例では、異常スコアの最大値（ピーク値）の差により評価を行っているが、異常スコアの平均値の比較を行うほか、正常データと異常データによる異常スコアの乖離の度合いを示す各種の方法を用いて評価を行うことができる。

【0067】

このように本実施形態によれば、第２のシステムモデル候補の評価を簡便に実施することが可能となる。なお、第５の実施形態においても図９～図１２に示した第１の実施形態の評価手法を実施し、第２のシステムモデルの候補の総合的な評価を行うこととしてもよい。

【0068】

以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。例えば、本発明は、プラント、データセンター、通信システム等の各種のシステムのシステムモデルの構築に適用可能である。

【0069】

最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点によるシステムモデル評価システム参照）
［第２の形態］
第１の形態のシステムモデル評価システムにおいて、
前記システムモデル候補作成手段は、前記システムに含まれる選択された一の対象機器に配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関係と、当該対象機器に配置されたセンサから取得されたセンサ値と当該対象機器に関連する関連機器に配置されたセンサから取得されたセンサ値とを用いて作成されたセンサ値間の関係と、を用いて前記システムモデルの少なくとも一の候補を作成するシステムモデル評価システム。
［第３の形態］
第２の形態のシステムモデル評価システムにおいて、
前記システムモデル候補作成手段は、さらに、前記関連機器に配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関係を用いて、前記システムモデルの少なくとも一の候補を作成するシステムモデル評価システム。
［第４の形態］
第１から第３いずれか一の形態のシステムモデル評価システムにおいて、
システムモデルの対象となるシステムに含まれる冗長構成の機器を記憶する手段をさらに備え、
前記システムモデル評価手段は、前記冗長構成の機器のシステムモデルの候補を作成するときに、他の冗長構成機器を含まないよう、前記システムモデルの少なくとも一の候補を作成するシステムモデル評価システム。
［第５の形態］
第１から第４いずれか一の形態のシステムモデル評価システムにおいて、
前記システムモデル候補作成手段は、前記生成したシステムモデルの候補から、前記システムに含まれる機器の関係に基づいて、センサ値間の関係を削除する処理を実施するシステムモデル評価システム。
［第６の形態］
第１から第５いずれか一の形態のシステムモデル評価システムにおいて、
前記システムモデル候補作成手段は、前記システムに含まれる選択された一の機器に配置されたセンサから取得されたセンサ値を用いて作成されたセンサ値間の関連を少なくとも１つ有する前記システムモデルの候補を網羅的に作成するシステムモデル評価システム。
［第７の形態］
第１から第６いずれか一の形態のシステムモデル評価システムにおいて、
前記システムモデル評価手段は、前記所定の評価データを前記システムモデルの候補に入力して得られた出力と、所定のしきい値を比較することで、前記システムモデルの候補が前記システムの異常状態又は正常状態を判定できるか否かを確認するシステムモデル評価システム。
［第８の形態］
第１から第７いずれか一の形態のシステムモデル評価システムにおいて、
前記システムモデル評価手段は、前記システムモデルの候補に正常データを入力して得られた出力と、前記システムモデルの候補に異常データを入力して得られた出力との差分を用いて前記システムモデルの候補を評価するシステムモデル評価システム。
［第９の形態］
第１から第８いずれか一の形態のシステムモデル評価システムにおいて、
前記システムモデル評価手段は、前記所定の評価データを前記システムモデルの候補に入力して得られた出力に含まれるノイズを算出することで、前記システムモデルの候補の評価値を計算するシステムモデル評価システム。
［第１０の形態］
第１から第９いずれか一の形態のシステムモデル評価システムにおいて、
前記システムモデル評価手段は、前記所定の評価データを前記システムモデルの候補に入力して得られた異常判定タイミングの正確度を算出することで、前記システムモデルの候補の評価値を計算するシステムモデル評価システム。
［第１１の形態］
（上記第２の視点による運用管理システム参照）
［第１２の形態］
（上記第３の視点によるシステムモデル評価方法参照）
［第１３の形態］
（上記第４の視点によるプログラム参照）
なお、上記第１１～第１３の形態は、第１の形態と同様に、第２～第１０の形態に展開することが可能である。

【0070】

なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

【符号の説明】

【0071】

１０、１１０、１１０ａ システムモデル評価システム
１１ システムモデル記憶手段
１２ システムモデル候補作成手段
１３ システムモデル候補評価手段
２１～２６、３１、３２ （第２の）システムモデル候補
１００、１００ａ 運用管理システム
１０１ センサデータ収集部
１０２ センサデータ蓄積部
１０３ システムモデル生成部
１２０ 運用管理部
１１１ システムモデル記憶部
１１２、１１２ａ システムモデル候補作成部
１１３ システムモデル候補評価部
１１４ システムモデル候補記憶部
１１５ システム構成記憶部
１１６ 候補生成ルール記憶部
１１７ 評価済システムモデル記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】