特許 7647915 制御システム、制御方法及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-10

(45)【発行日】2025-03-18

(54)【発明の名称】制御システム、制御方法及び制御プログラム

(51)【国際特許分類】

   G06F 11/34 20060101AFI20250311BHJP

【ＦＩ】

G06F11/34 157

【請求項の数】 8

(21)【出願番号】P 2023555959

(86)(22)【出願日】2021-10-27

(86)【国際出願番号】 JP2021039705

(87)【国際公開番号】W WO2023073839

(87)【国際公開日】2023-05-04

【審査請求日】2024-04-04

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】福田 哲也

(72)【発明者】

【氏名】丸吉 政博

【審査官】大倉 崚吾

(56)【参考文献】

【文献】特開２０１２－１４６１４８（ＪＰ，Ａ）

【文献】特開２０１７－０９１４６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １１／０７

Ｇ０６Ｆ １１／２８－１１／３６

Ｇ１６Ｚ ９９／００

Ｇ０６Ｆ ９／４５５

(57)【特許請求の範囲】

【請求項1】

複数のシミュレータを組み合わせて一つのシミュレーションを構築する連成シミュレーションを制御する制御システムであって、
前記複数のシミュレータにおいてシミュレーションを実行するとともに、各シミュレータの内部における計算過程の状態変数を含む情報を取得するラッパ部と、
前記複数のシミュレータ間の因果関係に沿って、各シミュレータに対する論理時刻管理を行い、当該論理時刻を用いて、前記ラッパ部に、各シミュレータにおけるシミュレーションの実行を指示する第１の制御部と、
前記複数のシミュレータ間の因果関係に沿って、各シミュレータ間の情報交換を制御し、シミュレータ間で交換された情報である連携情報を取得する第２の制御部と、
前記計算過程の状態変数及び前記連携情報を基に、前記連成シミュレーションの異常の有無を解析する解析部と、
を有することを特徴とする制御システム。

【請求項2】

前記計算過程の状態変数、前記連携情報、及び、前記解析部による解析結果の少なくとも一つを可視化して、ユーザに提示する提示部をさらに有することを特徴とする請求項１に記載の制御システム。

【請求項3】

前記連成シミュレーションの速度監視を行い、シミュレーションの実行の中で最も時間がかかっている部分である実行ホットスポットを同定する監視部をさらに有し、
前記提示部は、前記実行ホットスポットの原因を抽出して改善提案を提示することを特徴とする請求項２に記載の制御システム。

【請求項4】

前記解析部は、異常を検知した場合、前記第１の制御部に、異常を検知したシミュレータと、前記異常を検知したシミュレータに依存する全てのシミュレータとに対するシミュレーションの再実行を指示し、
前記第１の制御部は、前記解析部による再実行の指示に応じて、前記解析部によって前記異常が検知されたシミュレータと、前記解析部によって異常が検知されたシミュレータに依存する全てのシミュレータとに対し、任意のタイミングまでロールバックしてシミュレーションを再実行させることを特徴とする請求項１～３のいずれか一つに記載の制御システム。

【請求項5】

前記解析部は、前記計算過程の状態変数を基に、状態変数の変化の軌跡において不連続的な特異点を検知し、前記連携情報を基に、前記特異点における状態変数の変化が前記連成シミュレーションの情報交換に由来することを判定した場合に、前記特異点の発生タイミングで前記連成シミュレーションに異常が発生したことを検知する請求項１～４のいずれか一つに記載の制御システム。

【請求項6】

前記複数のシミュレータ間の通信、及び、前記ラッパ部と前記第２の制御部との間の通信に対し、Ｐ２Ｐ形式の通信方式を適用することを特徴とする請求項１～５のいずれか一つに記載の制御システム。

【請求項7】

複数のシミュレータを組み合わせて一つのシミュレーションを構築する連成シミュレーションを制御する制御システムが実行する制御方法であって、
前記複数のシミュレータ間の因果関係に沿って、各シミュレータに対する論理時刻管理を行い、当該論理時刻を用いて、各シミュレータにおけるシミュレーションの実行を指示する工程と、
前記複数のシミュレータにおいてシミュレーションを実行するとともに、各シミュレータの内部における計算過程の状態変数を含む情報を取得する工程と、
前記複数のシミュレータ間の因果関係に沿って、各シミュレータ間の情報交換を制御し、シミュレータ間で交換された情報である連携情報を取得する工程と、
前記計算過程の状態変数及び前記連携情報を基に、前記連成シミュレーションの異常の有無を解析する工程と、
を含んだことを特徴とする制御方法。

【請求項8】

コンピュータを請求項１～６のいずれか一つに記載の制御システムとして機能させるための制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御システム、制御方法及び制御プログラムに関する。

【背景技術】

【0002】

従来、複数のシミュレーションツールを組み合わせて、一つのシミュレーションを構築する連成技術分野では、連続時間シミュレーションを扱うために策定された規格であるＦＭＩ（Functional Mock-up Interface）や、離散時間イベントベースシミュレーションを行うために策定された規格であるＨＬＡ（High Level Architecture）が提案されている。ＦＭＩは、連続時間シミュレーションを扱うために策定された規格である。ＨＬＡは、離散時間イベントベースシミュレーションを行うために策定された規格である。

【0003】

従来、連成技術として、複数のシミュレータを独立に動作させながら、既定のタイミングでシミュレータ間における情報の交換を行う技術や、各々のシミュレータが、他のシミュレータから受け取った情報を自シミュレータへの入力として与えて次の情報交換までの計算を行う技術がある。

【先行技術文献】

【非特許文献】

【0004】

【文献】Modelica Association, “Functional Mock-up Interface for Model Exchange and Co-Simulation Document version: 2.0.2”, ［online］，［令和３年１０月１５日検索］，インターネット＜ＵＲＬ：https://github.com/modelica/fmi-standard/releases/download/v2.0.2/FMI-Specification-2.0.2.pdf e＞

【文献】IEEE Computer Society, “IEEE Standard for Modeling and Simulation (M&S) High Level Architecture (HLA) Federate Interface Specification”.

【文献】Modelica Association, “DCP Specification document Version 1.0”, ［online］，［令和３年１０月１５日検索］，インターネット＜ＵＲＬ： https://dcp-standard.org/assets/specification/DCP_Specification_v1.0.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

連成シミュレーションでは、計算に参加するシミュレータ要素が増加するにつれて、速度面及び精度面に関して問題が発生した際の解析が困難になる。しかしながら、ＦＭＩ及びＨＬＡは、解析を行う機能を有しておらず、ユーザ自身が情報を収集し、解析を行う必要があった。また、リアルタイム要件の具備の監視に関する仕様を含んだ連成用の通信プロトコルとして、ＤＣＰ（Distributed Co-Simulation Protocol）が存在するが、ＤＣＰでは、仕様を満たせないシミュレータがどのシミュレータであるか判別できるものの、それ以上の解析はできなかった。

【0006】

このように、複雑化しやすい連成シミュレーションに対する解析技術はなく、ユーザによるシステムの管理や改善が円滑に実行できない場合があった。

【0007】

本発明は、上記に鑑みてなされたものであって、連成シミュレーションに対する解析技術を提供することができる制御システム、制御方法及び制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上述した課題を解決し、目的を達成するために、本発明に係る制御システムは、複数のシミュレータを組み合わせて一つのシミュレーションを構築する連成シミュレーションを制御する制御システムであって、複数のシミュレータにおいてシミュレーションを実行するとともに、各シミュレータの内部における計算過程の状態変数を含む情報を取得するラッパ部と、複数のシミュレータ間の因果関係に沿って、各シミュレータに対する論理時刻管理を行い、当該論理時刻を用いて、ラッパ部に、各シミュレータにおけるシミュレーションの実行を指示する第１の制御部と、複数のシミュレータ間の因果関係に沿って、各シミュレータ間の情報交換を制御し、シミュレータ間で交換された情報である連携情報を取得する第２の制御部と、計算過程の状態変数及び連携情報を基に、連成シミュレーションの異常の有無を解析する解析部と、を有することを特徴とする。

【発明の効果】

【0009】

本発明によれば、連成シミュレーションに対する解析技術を提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態に係る制御システムの構成の一例を示すブロック図である。

【図2】図２は、シミュレータラッパ部の構成の一例を示すブロック図である。

【図3】図３は、実行制御部の構成の一例を示すブロック図である。

【図4】図４は、データ流通制御部の構成の一例を示すブロック図である。

【図5】図５は、実行管理部の構成の一例を示すブロック図である。

【図6】図６は、プロファイリング部の構成の一例を示すブロック図である。

【図7】図７は、提示部の構成の一例を示すブロック図である。

【図8】図８は、制御システムにおける正常系の動作時における処理手順を示すシーケンス図である。

【図9】図９は、制御システムにおける異常系の動作時における処理手順を示すシーケンス図である。

【図10】図１０は、制御システムにおける提示処理の処理手順を示すシーケンス図である。

【図11】図１１は、計算結果を示すグラフの一例を示す図である。

【図12】図１２は、解析結果の一例を示す図である。

【図13】図１３は、制御システムにおける通信処理を説明する図である。

【図14】図１４は、制御システムにおける通信処理を説明する図である。

【図15】図１５は、プログラムが実行されることにより、制御システムの各構成要素が実現されるコンピュータの一例を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

【0012】

［実施の形態］
本実施の形態は、複数の異なる専門領域で、各々に高い専門性を用いて構築されたシミュレータを組み合わせる連成を行い、分野をまたいだシミュレーションを構築する基盤技術に関する。実施の形態では、複数のシミュレータを組み合わせて一つのシミュレーションを構築する連成シミュレーションに対する制御方法及び異常解析方法について説明する。

【0013】

なお、連成対象がシミュレータと実システムとの場合では本質的な違いがないため、本実施の形態では、シミュレータは、シミュレータと実システムとを含むものとする。また、連成には、複数のシミュレーションの複数の方程式を一つのソルバで一括計算できるようにする強連成と、各々の方程式を別々のソルバで解きトラジェクトリレベルで連携する弱連成とがあるが、本実施の形態は、その中でも弱連成に関する。シミュレーションには連続時間シミュレーション、離散時間イベントベースシミュレーション、それらを組み合わせたハイブリッドシミュレーションの３種類が存在するが、本実施の形態は、これらの全てを対象とする。

【0014】

［制御システム］
次に、実施の形態に係る制御システムについて説明する。図１は、実施の形態に係る制御システムの構成の一例を示すブロック図である。なお、以降のブロック図において、実線は実行制御における通知／処理の呼び出しを意味し、破線はデータの送受信を意味し、一点鎖線はプロファイリング情報取得を意味する。

【0015】

実施の形態に係る制御システム１０の各構成要素は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＣＰＵ（Central Processing Unit）等を含むコンピュータ等に所定のプログラムが読み込まれて、ＣＰＵが所定のプログラムを実行することで実現される。また、制御システム１０の各構成要素は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースを有する。

【0016】

図１に示すように、制御システム１０は、シミュレータラッパ部１１（ラッパ部）、実行制御部１２（第１の制御部）、データ流通制御部１３（第２の制御部）、実行管理部１４（解析部）、プロファイリング部１５（監視部）及び提示部１６を有する。実施の形態では、一例として、制御システム１０が、マスタースレーブ型のアーキテクチャである場合を例に説明する。

【0017】

シミュレータラッパ部１１は、複数のシミュレータにおいてシミュレーションをそれぞれ実行する複数のスレーブによって構成されており、シミュレータをラップする機能を有する。シミュレータラッパ部１１では、各スレーブが、他のシミュレータと情報を交換するとともに、自シミュレータの計算を実行する。シミュレータラッパ部１１は、自シミュレータの時間区間の計算が終わった場合、データ流通制御部１３（後述）を経由して計算結果を他のシミュレータに出力する。そして、シミュレータラッパ部１１は、解析のために、連成シミュレーションの計算結果とともに、各シミュレータの内部における計算過程の状態変数の情報を取得し、実行管理部１４へ送信する。

【0018】

図２は、シミュレータラッパ部１１の構成の一例を示すブロック図である。図２に示すように、シミュレータラッパ部１１として機能する各スレーブは、実行指示通知受信部１１ａ、データ受信部１１ｂ、実行計画部１１ｃ、シミュレータ実行部１１ｄ、データ送信部１１ｅ及び実行終了通知送信部１１ｆをそれぞれ有する。

【0019】

実行指示通知受信部１１ａは、実行制御部１２から実行指示を受信する。データ受信部１１ｂは、データ流通制御部１３から、自シミュレータへの入力を受信する。実行計画部１１ｃは、他シミュレータから離散時間イベントを受け付けた場合、当該離散時間イベントの時刻で自シミュレータのステップを分割して、シミュレーションを実行する。実行計画部１１ｃは、他シミュレータからの入力を自シミュレータの正確な時刻に反映する。

【0020】

シミュレータ実行部１１ｄは、シミュレータへの入出力を行い、シミュレータにおけるシミュレーションを実行する。データ送信部１１ｅは、シミュレータの実行結果を出力として取得し、任意に変換した上で、データ流通制御部１３へ送信する。

【0021】

データ送信部１１ｅは、シミュレータの内部における計算過程の状態変数の情報を実行管理部１４へ送信する。実行終了通知送信部１１ｆは、実行制御部１２に、シミュレータ実行指示を完了した通知を送信する。なお、シミュレータラッパ部１１では、複数のシミュレータ間の通信に対し、例えば、Ｐ２Ｐ形式の通信方式を適用することで、マスタを介さずに直接、スレーブ間での集団通信を可能としている。

【0022】

実行制御部１２は、複数のシミュレータ間の因果（依存）関係に沿って、各シミュレータに対する論理時刻管理を行い、当該論理時刻を用いて、シミュレータラッパ部１１に、各シミュレータにおけるシミュレーションの実行または再実行を指示する。実行制御部１２は、例えば、連成シミュレーションのマスタとして機能する。

【0023】

実行制御部１２は、正常系の動作の場合、各シミュレータの論理時刻の時刻合わせをするとともに、連成シミュレーション全体の時刻に沿って、各シミュレータの動作を把握して各シミュレータに実行を指示する。実行制御部１２は、異常系の動作の場合、すなわち、実行管理部１４（後述）において異常が検知された場合、実行管理部１４による再実行の指示に応じて、実行管理部１４によって異常が検知されたシミュレータと、実行管理部１４によって異常が検知されたシミュレータに依存する全てのシミュレータとに対し、任意のタイミングまでロールバックしてシミュレーションを再実行させる。

【0024】

図３は、実行制御部１２の構成の一例を示すブロック図である。図３に示すように、実行制御部１２は、論理時刻管理部１２ａ、実行指示生成部１２ｂ、実行終了通知受信部１２ｃ及びロールバック制御部１２ｄを有する。

【0025】

論理時刻管理部１２ａは、シミュレータに対する論理時刻管理を行う。実行指示生成部１２ｂは、シミュレータ間の因果関係に沿って、シミュレータの実行方法の際の並列性や実行順序を決定し、実行指示として、対象となるシミュレータに対応するシミュレータラッパ部１１へ実行指示通知を送信する。実行終了通知受信部１２ｃは、シミュレータラッパ部１１の実行終了通知を受信し、論理時刻を進める。

【0026】

ロールバック制御部１２ｄは、シミュレータ間の因果関係の設定を行う。ロールバック制御部１２ｄは、実行管理部１４において異常が検知された場合、実行管理部１４によって異常が検知されたシミュレータと、実行管理部１４によって異常が検知されたシミュレータに依存する全てのシミュレータとに対し、任意のタイミングまでロールバックして、シミュレーションを再実行可能にする。この際、ロールバック制御部１２ｄは、過去の情報をデータ流通制御部１３から取得する。

【0027】

データ流通制御部１３は、複数のシミュレータ間の因果関係に沿って、情報の交換を制御する。データ流通制御部１３は、各シミュレータの情報の交換を制御するとともに、各シミュレータ間において交換された情報である連携情報を取得して実行管理部１４に送信する。図４は、データ流通制御部１３の構成の一例を示すブロック図である。図４に示すように、データ流通制御部１３は、交換データ蓄積部１３ａを有する。

【0028】

交換データ蓄積部１３ａは、実システムからの情報の取得や、シミュレータから実システムへの情報フィードバックを行う。交換データ蓄積部１３ａは、シミュレータ間の情報流通を、マスタ経由またはスレーブ間で直接行う。データ流通制御部１３は、マスタ経由で通信を行う場合にはキューの仕組みを用いる。また、データ流通制御部は、スレーブ間で直接通信を場合にはＭＰＩ（Message Passing Interface）の仕組みを用いる。シミュレータラッパ部１１とデータ流通制御部１３との間の通信に対し、Ｐ２Ｐ形式の通信方式を適用することで、直接、スレーブ間での集団通信を可能とする。

【0029】

実行管理部１４は、シミュレータラッパ部１１において実行された連成シミュレーションの計算精度を解析する。実行管理部１４は、計算過程の状態変数及び連携情報を基に、連成シミュレーションの異常の有無を解析する。実行管理部１４は、計算過程の状態変数を基に、状態変数の変化の軌跡において不連続的な特異点を検知し、連携情報を基に、特異点における状態変数の変化が連成シミュレーションの情報交換に由来することを判定した場合に、特異点の発生タイミングで連成シミュレーションに異常が発生したことを検知する。実行管理部１４は、異常を検知した場合、実行制御部１２に、異常を検知したシミュレータと、異常を検知したシミュレータに依存する全てのシミュレータとに対するシミュレーションの再実行を指示する。

【0030】

図５は、実行管理部１４の構成の一例を示すブロック図である。図５に示すように、実行管理部１４は、シミュレータ変数情報収集部１４ａ、シミュレータ間交換データ収集部１４ｂ、異常検知部１４ｃ及びロールバック実行指示生成部１４ｄを有する。

【0031】

シミュレータ変数情報収集部１４ａは、シミュレータラッパ部１１から、計算過程の状態変数を受信することで、シミュレータラッパ部１１において実行されたシミュレータの実行情報を収集する。シミュレータの実行情報は、シミュレータの内部における計算過程の状態変数の変化に関する情報である。シミュレータ変数情報収集部１４ａは、収集したシミュレータの実行情報を提示部１６に出力する。

【0032】

シミュレータ間交換データ収集部１４ｂは、データ流通制御部１３から、連携情報を受信することで、連成時における連携情報を収集する。シミュレータ間交換データ収集部１４ｂは、収集した連携情報を提示部１６に出力する。

【0033】

異常検知部１４ｃは、シミュレータの実行情報に解析アルゴリズムを適用し、連成シミュレーションの異常検知を行う。そして、異常検知部１４ｃは、解析結果を提示部１６に出力する。異常検知部１４ｃは、計算過程の状態変数を基に、状態変数の変化の軌跡において不連続的な特異点を検知し、連携情報を基に、特異点における状態変数の変化が連成シミュレーションの情報交換に由来することを判定した場合に、特異点の発生タイミングで連成シミュレーションに異常が発生したことを検知する。

【0034】

ロールバック実行指示生成部１４ｄは、異常検知部１４ｃによって異常が検知された場合、実行制御部１２に、異常検知部１４ｃによって異常が検知されたシミュレータと、異常検知部１４ｃによって異常が検知されたシミュレータに依存する全てのシミュレータとに対して、適切なタイミングで、シミュレーションを再度実行するよう指示する。

【0035】

プロファイリング部１５は、シミュレータラッパ部１１において実行された連成シミュレーションの速度監視を行う。プロファイリング部１５は、連成シミュレーションにおける実行ホットスポットを同定する。実行ホットスポットは、実行の中で最も時間がかかっている部分である。図６は、プロファイリング部１５の構成の一例を示すブロック図である。図６に示すように、プロファイリング部１５は、ホットスポット分析部１５ａを有する。

【0036】

ホットスポット分析部１５ａは、連成システムと個々のシミュレータ全てとを包括的にプロファイリングし、実行ホットスポットを同定する。ホットスポット分析部１５ａは、同定した実行ホットスポットを提示部１６に出力する。なお、実行ホットスポットの同定は、提示部１６が実行してもよい。

【0037】

提示部１６は、シミュレータ内部の計算過程の状態変数、連携情報、及び、実行管理部１４による解析結果の少なくとも一つを可視化して、ユーザに提示する。提示部１６は、シミュレーション結果、シミュレーション実行情報、解析結果、実行ホットスポットに関する情報をユーザが視認可能となるように可視化する。

【0038】

図７は、提示部１６の構成の一例を示すブロック図である。図７に示すように、提示部１６は、コード改善提案部１６ａ、シミュレーション結果可視化部１６ｂ、計算モデル・データレポジトリ部１６ｃ及び相関・因果関係解析部１６ｄを有する。

【0039】

コード改善提案部１６ａは、プロファイリング部１５から受け取った情報コードの改善提案を行い、提案内容を出力する。コード改善提案部１６ａは、プロファイリング部１５が同定した実行ホットスポットの原因を抽出して改善提案を提示する。シミュレーション結果可視化部１６ｂは、実行管理部１４から出力された実行情報及び解析情報をユーザに提示する。

【0040】

計算モデル・データレポジトリ部１６ｃは、過去にこのシステムで実行されたシミュレーションモデルとデータとの組み合わせを、ユーザが利用可能な形で公開する。この際、システム提供者側が公開例をいくつか予め作っておくとよい。相関・因果関係解析部１６ｄは、ユーザデータにおける変数間の相関及び因果関係について、分析する機能を提供する。

【0041】

［正常系の動作］
次に、制御システム１０における正常系の動作について説明する。図８は、制御システム１０における正常系の動作時における処理手順を示すシーケンス図である。

【0042】

まず、実行制御部１２では、論理時刻管理部１２ａが、各々のシミュレータの進行状況を統一の指標（論理時刻）として管理する（ステップＳ１）。実行指示生成部１２ｂが、シミュレータの実行間隔と因果関係とに従って、ある時刻で実行するシミュレータセットとその実行順序、及び、並列に実行するかを決定する（ステップＳ２）。因果関係は、あるシミュレータは必ず他の特定のシミュレータの後に実行しなければならないという制約である。実行指示生成部１２ｂは、決定した実行順序に従って、シミュレータラッパ部１１に、実際に実行を指示する情報を送信する（ステップＳ３）。

【0043】

シミュレータラッパ部１１は、実行指示通知受信部１１ａが実行制御部１２からの実行指示を受信する。シミュレータ実行部１１ｄは、その時刻における自シミュレータまたは実システムへの入力が揃っているかを、データ流通制御部１３に対して問い合わせ、確認する（ステップＳ４）。

【0044】

データ流通制御部１３では、交換データ蓄積部１３ａが、シミュレータラッパ部１１からのリクエストを受け、リクエスト元のシミュレータラッパ部１１が管理するシミュレータへの入力となる情報を、連続時間変数情報と離散時間イベント情報との双方で収集する（ステップＳ５）。この時、交換データ蓄積部１３ａは、データの受け渡しを、マスタ経由でも行ってもよく、また、スレーブ間で直接やりとりしてもよい。

【0045】

マスタ経由の場合、交換データ蓄積部１３ａは、メッセージキューやデータベースなどの共通アクセス領域を用意するか、または、プログラム中で変数を用意する。スレーブ経由の場合、交換データ蓄積部１３ａは、前述したように、例えばＭＰＩのような仕組みを用いて、Ｐ２Ｐ通信を行うが、通信の仕組みに特に制約はない。交換データ蓄積部１３ａは、スレーブ間で集団通信を行ってもよい。なお、Ｐ２Ｐ通信の場合、Push型のやり取りとなるため、収集は入力を行う他のシミュレータの実行終了を待つことと同義である。交換データ蓄積部１３ａは、収集した情報をシミュレータラッパ部１１へ出力する（ステップＳ６）。

【0046】

シミュレータラッパ部１１は、実行計画部１１ｃが、まず、データ流通制御部１３から受信したデータを参照し、入力情報を時刻順に並び替える（ステップＳ７）。実行計画部１１ｃは、自らが管理するシミュレータのステップの間（ステップをｔ１≦ｔ＜ｔ２とした時に、ｔ１＜Ｔ＜ｔ２となるような時刻Ｔを「間」と呼ぶ）の時刻を持つ離散時間イベントがあるかを判定し、存在する場合は、元のステップを分割して、ステップ実行、離散時間イベント情報反映（入力）、ステップ実行、・・・となるように制御する。なお、実行計画部１１ｃは、管理対象が実システムの場合も同様の手順でシステムへの入力情報反映を行う。

【0047】

シミュレータ実行部１１ｄは、実行計画部１１ｃの分割結果に基づいてシミュレータを実行し（ステップＳ８）、シミュレータの時刻が分割前のステップの終了時刻に達したら、シミュレータによる計算を終了する。

【0048】

データ送信部１１ｅは、シミュレータ実行部１１ｄによる計算結果を受け取り（ステップＳ９）、ユーザが設定した任意の方法で変換し（ステップＳ１０）、変換後の計算結果をデータ流通制御部１３に送信する（ステップＳ１１）。この場合、計算結果の受け渡しは、ファイル経由でもよいし、ＭＰＩなどの規格に沿ったネットワーク経由による通信を介したものでもよい。データ流通制御部１３への計算結果の送信は、前述したように、メッセージキューまたはデータベースへの送信と、ＭＰＩなどのＰ２Ｐ通信を用いた送信とのいずれかをユーザが選んで実行できる。実行終了通知送信部１１ｆは、実行制御部１２に、シミュレータ実行指示を完了した通知を送信する（ステップＳ１２）。

【0049】

実行制御部１２では、実行終了通知受信部１２ｃが、シミュレータからの終了通知を受信すると、連成シミュレーション全体の終了時刻であるかを判定する（ステップＳ１３）。

【0050】

連成シミュレーション全体の終了時刻でない場合（ステップＳ１３：Ｎｏ）、実行制御部１２は、終了通知を受け取ったシミュレータの論理時刻を進め（ステップＳ１４）、ステップＳ２に戻り、新しい実行指示を作成し、時刻や因果関係に従って、再度実行指示を出す。制御システム１０は、連成シミュレーション全体の終了時刻に到るまで、ステップＳ２～ステップＳ１４の処理を繰り返す。

【0051】

［異常系の処理］
次に、制御システム１０における異常系の処理について説明する。図９は、制御システム１０における異常系の動作時における処理手順を示すシーケンス図である。

【0052】

実行管理部１４では、シミュレータ変数情報収集部１４ａが、正常系においてシミュレータラッパ部１１で実行されたシミュレータの内部の状態変数をシミュレータのステップ単位で収集し（ステップＳ２１）、論理時刻を付与した情報Ｄ１として保持する（ステップＳ２２）。

【0053】

また、シミュレータ間交換データ収集部１４ｂは、正常系においてデータ流通制御部１３において送受信されたシミュレータ間の連携情報を収集し（ステップＳ２３）、論理時刻を付与した情報Ｄ２として保持する（ステップＳ２４）。ステップＳ２１，Ｓ２２の処理と、ステップＳ２３，Ｓ２４の処理は、いずれが先でもよく、また、並列に実行されてもよい。

【0054】

異常検知部１４ｃは、情報Ｄ１の計算結果の情報を用いて、状態変数の変化の軌跡の中で異常である部分がないかを判別し、情報Ｄ２の情報を用いて、異常である部分が連成由来の問題かどうかを判別する異常検知処理を行う（ステップＳ２５）。

【0055】

異常検知部１４ｃは、異常検知処理として、主に不連続的な特異点の検出を実行する。異常検知部１４ｃは、特異点の検出として、例えば、Discrete Wavelet Transformや特異スペクトル変換といった時系列データの異常検知アルゴリズムを用いるほか、特異点の検出が可能であれば、他のアルゴリズムを用いてもよい。

【0056】

異常検知部１４ｃは、異常検知アルゴリズムによる特異点検出結果と合わせて、情報Ｄ２の時刻情報を用いることで、異常検知結果の中で連成シミュレーションの情報交換に由来するものだけを絞り込み、シミュレータ由来の異常と分けて解析する。シミュレータ由来の異常とは、連成に関係なく起こっていると考えられる異常である。

【0057】

また、ユーザによって予め乖離比較用のデータ（実測データなど）が設定されている場合、異常検知部１４ｃは、情報Ｄ１と乖離比較用のデータとの比較を行い、その乖離の大きさが所定の閾値を超えた場合に異常であると検知することもできる。

【0058】

ロールバック実行指示生成部１４ｄは、異常検知部１４ｃによる解析の結果、問題（異常）が発生していたか否かを判定する（ステップＳ２６）。問題が発生していた場合（ステップＳ２６：Ｙｅｓ）、ロールバック実行指示生成部１４ｄは、実行制御部１２に対して、問題発生箇所となったシミュレータと、問題発生箇所となったシミュレータに依存する（因果関係のある）全てのシミュレータについて、問題が発生した時刻を含むステップからの再実行の依頼を送信する（ステップＳ２７）。問題が発生していなかった場合（ステップＳ２６：Ｎｏ）、実行管理部１４は、ステップＳ２１に戻り、シミュレータの内部の状態変数の収集を行う。

【0059】

実行制御部１２は、ロールバック制御部１２ｄが実行管理部１４からの再実行依頼を受け付けると、問題発生箇所となったシミュレータと、問題発生箇所となったシミュレータに依存する全てのシミュレータの実行を一時中断し、再実行するかどうかを判定する（ステップＳ２８）。

【0060】

ロールバック制御部１２ｄは、問題が不連続性に依存するものである場合、問題発生箇所となったシミュレータと、問題発生箇所となったシミュレータに依存する全てのシミュレータとの再初期化を行った上で、シミュレーションの再実行を指示する（ステップＳ２９）。ロールバック制御部１２ｄは、問題が比較元データとの乖離である場合、比較用データとシミュレーション結果から新たな初期値を生成して、生成した初期値を用いて、問題発生箇所となったシミュレータと、問題発生箇所となったシミュレータに依存する全てのシミュレータとを再初期化し、シミュレーションを再度実行する（ステップＳ２９）。なお、ロールバック制御部１２ｄは、比較用のデータを正解データとみなしてそれを初期値にしてもよい。また、ロールバック制御部１２ｄは、比較用のデータとシミュレーション結果とを用いたデータ同化を行って初期値を推定してもよい。シミュレータラッパ部１１は、再実行指示に従って、該当するシミュレータを実行する（ステップＳ３０）。

【0061】

［提示処理］
次に、制御システム１０がユーザに解析結果等を提示するまでの処理について説明する。図１０は、制御システム１０における提示処理の処理手順を示すシーケンス図である。

【0062】

実行管理部１４は、シミュレータ変数情報収集部１４ａ及びシミュレータ間交換データ収集部１４ｂによって収集された情報と、異常検知部１４ｃによる解析結果を、提示部１６に出力する（ステップＳ４１）。実行管理部１４は、例えば、計算過程の状態変数、連携情報、及び、異常検知部１４ｃによる解析結果を提示部１６に出力する。実行管理部１４は、シミュレーション全体の実行終了時（正常終了または異常終了）に一括で送信してもよいし、所定間隔で情報を送信してもよい。

【0063】

プロファイリング部１５では、ホットスポット分析部１５ａが、連成シミュレーションと個々のシミュレータ全てとを包括的にプロファイリングし、実行の中で最も時間がかかっている部分（実行ホットスポット）を同定できる情報を収集する（ステップＳ４２）。また、ホットスポット分析部１５ａは、実行ホットスポットが判別できているユーザが詳細プロファイリングを行なっている場合には、その詳細プロファイリング情報も収集する。なお、ホットスポット分析部１５ａが使用するプロファイラは、既知のプロファイラでもよいし、ユーザがカスタマイズしたものでもよく、ユーザが定義選択すればよい。

【0064】

ホットスポット分析部１５ａは、収集した情報を基に、実行ホットスポットを同定する（ステップＳ４３）。ホットスポット分析部１５ａは、同定した実行ホットスポットの情報を提示部１６に出力する（ステップＳ４４）。この際、ホットスポット分析部１５ａは、収集した情報も実行ホットスポットの情報とともに提示部１６に出力してもよい。なお、提示部１６のコード改善提案部１６ａが、ホットスポット分析部１５ａがホットスポットを同定してもよい。

【0065】

提示部１６では、コード改善提案部１６ａが詳細プロファイリングを行っている場合、ボトルネックとなっている実行ホットスポットの原因を抽出し、それに応じた改善提案を提示する（ステップＳ４５）。コード改善提案部１６ａは、原因として、主にキャッシュミス率、通信時間に関わる部分がある場合、各々に対して既知の情報を提供する。例えば、キャッシュミス率が高い場合、コード改善提案部１６ａは、キャッシュタイリングなどの行列を分割して演算する方法を提示する。また、コード改善提案部１６ａは、通信時間にかかわる部分がある場合、通信量を減らすための処理の分割方法や、演算と通信のオーバーラップ化などを提示する。

【0066】

シミュレーション結果可視化部１６ｂは、シミュレータ変数情報収集部１４ａ、シミュレータ間交換データ収集部１４ｂ、異常検知部１４ｃなどによる情報を各々プロットし、ユーザに視覚的にデータを提示する（ステップＳ４６）。例えば、シミュレーション結果可視化部１６ｂは、計算結果のグラフや解析結果をディスプレイ等に表示出力する。

【0067】

図１１は、計算結果を示すグラフの一例を示す図である。図１２は、解析結果の一例を示す図である。また、図１２は、図１１の計算結果を、Discrete Wavelet Transformを用いて解析した結果を示す。

【0068】

ユーザは、図１１に示す計算結果を示すグラフ及び図１２の解析結果を確認することで、領域Ｒ１，Ｒ１´に特異点があることを認識することができる。また、シミュレーション結果可視化部１６ｂは、プロット前のデータをユーザがダウンロードできるように提示することで、ユーザによるプロット前のデータの利用を可能とすることもできる。

【0069】

提示部１６では、計算モデル・データレポジトリ部１６ｃが、制御システム１０を用いて過去に実行されたシミュレーションモデル、及び、実行に用いられた入力データ、結果である出力データについて、その他のユーザが利用可能な形で公開する（ステップＳ４７）。その他のユーザは、シミュレーションモデル、入力データ、出力データの中から任意のものを取得して利用可能である。シミュレーションモデルには、シミュレータ間でデータ交換する際の変換も含まれており、その他のユーザは、この部分をそのまま利用してもよいし、任意に変更して用いてもよい。その他のユーザは、出力データ列をエミュレータ（擬似シミュレータ）とみなして、連成に用いることもできる。なお、ユーザが非公開にしたい場合は、公開しないことも可能である。

【0070】

相関・因果関係解析部１６ｄは、公開されている入出力データと任意のユーザが入力したデータから、変数間の相関及び因果分析を行う（ステップＳ４８）。なお、相関・因果関係解析部１６ｄでは、変数間の相関及び因果分析として、既存の技術のほか、ユーザが導入した技術を適用することが可能である。

【0071】

［実施の形態の効果］
このように、実施の形態に係る制御システム１０は、制御システム１０自身が、複数のシミュレータにおいて論理時刻管理を行い、当該論理時刻を用いて、シミュレーションを実行するとともに、各シミュレータの内部における計算過程の状態変数を含む情報を取得する。そして、制御システム１０は、制御システム１０自身が、複数のシミュレータ間の因果関係に沿って、各シミュレータ間の情報交換を制御してシミュレータ間で交換された情報である連携情報を取得する。制御システム１０は、取得した計算過程の状態変数及び連携情報を基に、連成シミュレーションの異常の有無を解析する。

【0072】

したがって、本実施の形態では、システム自身が解析に必要な情報を収集して、連成シミュレーションの異常の有無を解析する制御システム１０を提供する。これによって、ユーザ自身が、複雑化しやすい連成シミュレーションに関する計算結果を解析するための各種情報を収集する処理、及び、異常の有無を解析する処理を行う必要がない。

【0073】

また、制御システム１０は、計算過程の状態変数、連携情報、及び、解析結果の少なくとも一つを可視化して、ユーザに提示するため、ユーザは、これらの情報を確認することで、システムの管理及び改善を効率的に進めることができる。

【0074】

そして、制御システム１０は、連成シミュレーションの速度監視を行い、実行ホットスポットを同定し、実行ホットスポットの原因を抽出して改善提案を提示する。制御システム１０は、過去のデータやモデルを公開して実績のある変数の組み合わせを提示する他、既存のデータを用いた変数間の相関／因果関係分析機能を提供する。このように、制御システム１０、例えば、速度面における包括的なプロファイリング取得と改善提案とを行うため、ユーザが効率的に連成シミュレーションシステム全体を管理し、改善設計を行うことが可能になる。

【0075】

したがって、制御システム１０は、複雑な連成シミュレーションシステム全体に対し、速度・精度両面で解析するため、ユーザがシステムを管理・改善する際の生産性を向上させることができる。言い換えると、制御システム１０は、シミュレーション計算結果、連成時の交換情報、実行プロファイルなどの各種情報を自動収集し、それらをヒューマンリーダブルな形でユーザに対して提供することで、ユーザによるシステムの管理・改善の効率化を図ることができる。

【0076】

また、制御システム１０は、異常を検知した場合、異常を検知したシミュレータと、異常を検知したシミュレータに依存する全てのシミュレータとに対して、任意のタイミングまでロールバックしてシミュレーションを自動的に再実行させる。このため、制御システム１０によれば、ユーザ自身が、シミュレータの入出力を設定して、シミュレーションの再実行を設定するという、煩雑かつ難易度の高い処理を行わずともよい。

【0077】

また、従来技術でユーザが実行していたシミュレータ間における情報入出力マッピングは、連成対象分野の拡大に伴い、ユーザによる実行が困難となり、システム構築の阻害要因となっていた。

【0078】

これに対し、制御システム１０は、過去のデータやモデルを公開して実績のある変数の組み合わせを提示する他、既存のデータを用いた変数間の相関／因果関係分析機能を提供する。このため、制御システム１０によれば、複数の分野に精通していないユーザでも、既存の実験データとモデルのセットをベースにした解析を行うことで、シミュレータ間の入出力関係を推定し、連成シミュレーションシステムを構築することができる。

【0079】

また、複数種のシミュレーション（連続時間、離散時間）の両方の特性を持つハイブリッドシミュレーションについて扱う際には、他シミュレータへの情報入力のタイミングなどで制約ができるやり方を取ることになる。一例として、連続時間シミュレーションに離散時間イベント情報を入力する場合を想定する。一般的に、連続時間シミュレーションは、一定の時間間隔（ステップ）で実行され、そのステップの時のみ入力を受け付けるのに対し、解散時間イベントはそのステップと関わりなく発行される。このため、従来、連続時間シミュレーション側で離散時間イベントを反映しようとする際には、必ず時刻的なずれが発生する。従来では、ハイブリッドシミュレーションの実行時に生じる時刻的なずれが、シミュレーションの結果の正確性や精度を低減させる要因となっていた。

【0080】

これに対し、制御システム１０では、複数のシミュレータにおいて論理時刻管理を行い、当該論理時刻を用いて、シミュレーションを実行するため、時刻的なずれを解消して、シミュレーションの結果の正確及び精度の向上を図ることができる。さらに、制御システム１０は、シミュレータラッパ部１１において、他シミュレータから離散時間イベントを受け付けた場合、離散時間イベントの時刻で連続時間シミュレーションステップを分割する。このため、制御システム１０によれば、連成シミュレーションとしての精度を向上できる。

【0081】

図１３及び図１４は、制御システム１０における通信処理を説明する図である。従来、実システムからは、情報取得のみ可能であった（図１３の（１））。これに対し、制御システム１０では、スレーブのロジックをユーザがカスタマイズできる領域を設けて、実システムへのフィードバック、言い換えると、実システムへの制御も行える仕組みとしている（図１３の（２））。さらに、従来、マスタ経由での通信しかできなかったが（図１４の（１））、制御システム１０では、複数のシミュレータ間の通信、及び、シミュレータラッパ部１１とデータ流通制御部１３との間の通信に対し、Ｐ２Ｐ形式の通信方式を適用する（図１４の（２））。したがって、制御システム１０は、スレーブ間での直接Ｐ２Ｐ通信や集団通信を可能としながら、全体のシミュレーション実行を制御する。

【0082】

したがって、制御システム１０では、マスタを経由することによるオーバーヘッドを低減し、リアルタイム指向のシミュレーション実行を可能にすることができる。制御システム１０は、従来よりも柔軟なスレーブ間数信を可能とすることによって、シミュレータの個数や並列数が増加した大規模並列ワークロード同士の連成シミュレーションであっても、速度向上することができ、リアルタイム性を満たしやすくなる。

【0083】

上記のように、本実施の形態では、シミュレータ同士を連携させる連成シミュレーションの制御に加え、ユーザが連成シミュレーションのシステム全体を正確かつ迅速に制御できることを支援することができる。

【0084】

［実施の形態のシステム構成について］
制御システム１０の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、制御システム１０の機能の分散及び統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。

【0085】

また、制御システム１０の各構成要素においておこなわれる各処理は、全部または任意の一部が、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、及び、ＣＰＵ、ＧＰＵにより解析実行されるプログラムにて実現されてもよい。また、制御システム１０の各構成要素においておこなわれる各処理は、ワイヤードロジックによるハードウェアとして実現されてもよい。

【0086】

また、実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的に行うこともできる。もしくは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上述及び図示の処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて適宜変更することができる。

【0087】

［プログラム］
図１５は、プログラムが実行されることにより、制御システム１０の各構成要素が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

【0088】

メモリ１０１０は、ＲＯＭ１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

【0089】

ハードディスクドライブ１０９０は、例えば、ＯＳ（Operating System）１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、制御システム１０及び推定装置２０の各処理を規定するプログラムは、コンピュータ１０００により実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、制御システム１０及び推定装置２０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid State Drive）により代替されてもよい。

【0090】

また、上述した実施の形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。

【0091】

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【0092】

以上、本発明者によってなされた発明を適用した実施の形態について説明したが、本実施の形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。

【符号の説明】

【0093】

１０ 制御システム
１１ シミュレータラッパ部
１２ 実行制御部
１３ データ流通制御部
１４ 実行管理部
１５ プロファイリング部
１６ 提示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】