特許 7418368 シミュレーションシステム、シミュレーション方法及びシミュレーションプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-11

(45)【発行日】2024-01-19

(54)【発明の名称】シミュレーションシステム、シミュレーション方法及びシミュレーションプログラム

(51)【国際特許分類】

   G06F 9/52 20060101AFI20240112BHJP

【ＦＩ】

G06F9/52 150A

【請求項の数】 5

(21)【出願番号】P 2021026794

(22)【出願日】2021-02-22

(65)【公開番号】P2022128331

(43)【公開日】2022-09-01

【審査請求日】2023-03-02

(73)【特許権者】

【識別番号】306020818

【氏名又は名称】トヨタテクニカルディベロップメント株式会社

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】仙田 康浩

(72)【発明者】

【氏名】上坂 周平

【審査官】漆原 孝治

(56)【参考文献】

【文献】特開２００８－００９８８０（ＪＰ，Ａ）

【文献】特開２０１８－００５３１８（ＪＰ，Ａ）

【文献】特開２００４－０３８７８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ９／５２

(57)【特許請求の範囲】

【請求項1】

シミュレーションの対象システムを表現した演算モデルを実行するシミュレーションシステムであって、
第１演算モデルと、第３演算モデルとを順番に実行する第１計算装置と、
第２演算モデルを実行する第２計算装置と、
を備え、前記第１演算モデル、前記第２演算モデル、及び前記第３演算モデルは前記演算モデルのうち並列演算を実行する演算モデルを割り振ったものであり、
前記第１計算装置は、ステップｔの開始時に、前記第１演算モデルを実行し、
前記第２計算装置は、前記第１計算装置がステップｔの前記第３演算モデルを実行するタイミングより前にステップｔの前記第２演算モデルを実行し、
前記第１演算モデルと前記第２演算モデルの演算がいずれも終了した時点で前記第１計算装置は前記第２計算装置へ、前記第２計算装置は前記第１計算装置へ、計算結果を送信し、
前記第１計算装置は、前記第２計算装置から受信した計算結果を使用して、ステップｔの前記第３演算モデルを実行し、
前記第２計算装置は、前記第１計算装置から受信した計算結果を使用して、ステップ（ｔ＋１）の前記第２演算モデルを実行し、
前記第１計算装置と前記第２計算装置は並列に演算を実行し、
前記第１演算モデルと、前記第３演算モデルの計算の刻み幅は、前記第２演算モデルの計算の刻み幅の整数倍であることを特徴とするシミュレーションシステム。

【請求項2】

前記第１演算モデルと、前記第３演算モデルの計算の刻み幅は、前記第２演算モデルの計算の刻み幅の２以上の整数倍であることを特徴とする請求項１に記載のシミュレーションシステム。

【請求項3】

前記第１計算装置はＣＰＵであり、前記第２計算装置はＦＰＧＡであることを特徴とする請求項１又は２に記載のシミュレーションシステム。

【請求項4】

シミュレーションの対象システムを表現した演算モデルを実行するシミュレーション方法であって、
第１演算モデルと、第３演算モデルとを順番に実行する第１計算装置が、ステップｔの開始時に、前記第１演算モデルを実行するステップと、
第２演算モデルを実行する第２計算装置が、前記第１計算装置がステップｔの前記第３演算モデルを実行するタイミングの前にステップｔの前記第２演算モデルを実行するステップと、
前記第１演算モデルと前記第２演算モデルの演算がいずれも終了した時点で前記第１計算装置が前記第２計算装置へ、前記第２計算装置が前記第１計算装置へ、計算結果を送信するステップと、
前記第１計算装置が、前記第２計算装置から受信した計算結果を使用して、ステップｔの前記第３演算モデルを実行するステップと、
前記第２計算装置が、前記第１計算装置から受信した計算結果を使用して、ステップ（ｔ＋１）の前記第２演算モデルを実行するステップと、
を備え、前記第１演算モデル、前記第２演算モデル、及び前記第３演算モデルは前記演算モデルのうち並列演算を実行する演算モデルを割り振ったものであり、
前記第１計算装置と前記第２計算装置は並列に演算を実行し、
前記第１演算モデルと、前記第３演算モデルの計算の刻み幅は、前記第２演算モデルの計算の刻み幅の整数倍であることを特徴とするシミュレーション方法。

【請求項5】

コンピュータに、
第１演算モデルと、第３演算モデルとを順番に実行する第１計算装置に、ステップｔの開始時に、前記第１演算モデルを実行させる機能と、
第２演算モデルを実行する第２計算装置に、前記第１計算装置にステップｔの前記第３演算モデルを実行するタイミングの前にステップｔの前記第２演算モデルを実行させる機能と、
前記第１演算モデルと前記第２演算モデルの演算がいずれも終了した時点で前記第１計算装置が前記第２計算装置へ、前記第２計算装置が前記第１計算装置へ、計算結果を送信させる機能と、
前記第１計算装置が、前記第２計算装置から受信した計算結果を使用して、ステップｔの前記第３演算モデルを実行させる機能と、
前記第２計算装置が、前記第１計算装置から受信した計算結果を使用して、ステップ（ｔ＋１）の前記第２演算モデルを実行させる機能と、
を備え、前記第１演算モデル、前記第２演算モデル、及び前記第３演算モデルは前記演算モデルのうち並列演算を実行する演算モデルを割り振ったものであり、
前記第１計算装置と前記第２計算装置は並列に演算を実行し、
前記第１演算モデルと、前記第３演算モデルの計算の刻み幅は、前記第２演算モデルの計算の刻み幅の整数倍であることを実現させるシミュレーションプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、シミュレーションシステム、シミュレーション方法及びシミュレーションプログラムに関し、特に、並列演算を実施するシミュレーションシステム、シミュレーション方法及びシミュレーションプログラムに関する。

【背景技術】

【0002】

近年、車両シミュレーションは大規模化、高精度化しており、シミュレーションの高速化に対するニーズが高まっている。高い高速効率で並列演算を行うために、方程式をメモリ相当のブロックで区切り、並列演算を行う方法がある（特許文献１及び特許文献２参照）。特許文献１及び特許文献２に開示の方法は、各ノードの計算が同じ刻み幅で行われる場合、及び互いに異なる刻み幅で行われる場合のいずれにも対応している。また、通信遅延による並列誤差を解消するため、物理的構造に含まれる積分演算を活用して、通信遅延による並列化誤差のない高い高速効率の並列演算を行う方法がある（特許文献３参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４６８１５１３号

【文献】特許第５１６２５３１号

【文献】特許第６６００２８０号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１及び特許文献２には、車両シミュレーションを、複数のノードを用いて並列計算を行う並列シミュレーションにおいて、所定時間ごとに各ノードが相互に通信し、計算結果を授受する方法が開示されている。特許文献１及び特許文献２に開示されている方法によれば、各ノードが互いに計算結果を授受する際、遅延が生じ、遅延に起因する並列化誤差が発生する。

【0005】

特許文献３に開示されている方法は、並列シミュレーションにおいて、各ノードの計算が互いに異なる刻み幅で行われる場合には対応していない。

【0006】

上記問題点を鑑み、本発明は、同じ刻み幅、異なる刻み幅のいずれの場合で行われる並列演算であっても、通信遅延が低減された高速演算を行うことが出来るシミュレーションシステム、シミュレーション方法及びシミュレーションプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の態様は、シミュレーションの対象システムを表現した演算モデルを実行するシミュレーションシステムであって、第１演算モデルと、第３演算モデルとを順番に実行する第１計算装置と、第２演算モデルを実行する第２計算装置と、を備え、第１演算モデル、第２演算モデル、及び第３演算モデルは演算モデルのうち並列演算を実行する演算モデルを割り振ったものであり、第１計算装置は、ステップｔの開始時に、第１演算モデルを実行し、第２計算装置は、第１計算装置がステップｔの第３演算モデルを実行するタイミングの前にステップｔの第２演算モデルを実行し、第１演算モデルと第２演算モデルの演算がいずれも終了した時点で第１計算装置は第２計算装置へ、第２計算装置は第１計算装置へ、計算結果を送信し、第１計算装置は、第２計算装置から受信した計算結果を使用して、ステップｔの第３演算モデルを実行し、第２計算装置は、第１計算装置から受信した計算結果を使用して、ステップ（ｔ＋１）の第２演算モデルを実行し、第１計算装置と第２計算装置は並列に演算を実行し、第１演算モデルと、第３演算モデルの計算の刻み幅は、第２演算モデルの計算の刻み幅の整数倍であることを備えたことを要旨とする。

【0008】

本発明の第１の態様において、第１演算モデルと、第３演算モデルの計算の刻み幅は、第２演算モデルの計算の刻み幅の２以上の整数倍であってよい。

【0009】

本発明の第１の態様において、第１計算装置はＣＰＵであり、第２計算装置はＦＰＧＡであってよい。

【0010】

本発明の第２の態様は、シミュレーションの対象システムを表現した演算モデルを実行するシミュレーション方法であって、第１演算モデルと、第３演算モデルとを順番に実行する第１計算装置が、ステップｔの開始時に、第１演算モデルを実行するステップと、第２演算モデルを実行する第２計算装置が、第１計算装置がステップｔの第３演算モデルを実行するタイミングの前にステップｔの第２演算モデルを実行するステップと、第１演算モデルと第２演算モデルの演算がいずれも終了した時点で第１計算装置が第２計算装置へ、第２計算装置が第１計算装置へ、計算結果を送信するステップと、第１計算装置が、第２計算装置から受信した計算結果を使用して、ステップｔの第３演算モデルを実行するステップと、第２計算装置が、第１計算装置から受信した計算結果を使用して、ステップ（ｔ＋１）の第２演算モデルを実行するステップと、を備え、第１演算モデル、第２演算モデル、及び第３演算モデルは演算モデルのうち並列演算を実行する演算モデルを割り振ったものであり、第１計算装置と第２計算装置は並列に演算を実行し、第１演算モデルと、第３演算モデルの計算の刻み幅は、第２演算モデルの計算の刻み幅の整数倍であることを備えたことを要旨とする。

【0011】

本発明の第３の態様は、コンピュータに、以下の機能を実現させるシミュレーションプログラムであって、第１演算モデルと、第３演算モデルとを順番に実行する第１計算装置に、ステップｔの開始時に、第１演算モデルを実行させる機能と、第２演算モデルを実行する第２計算装置に、第１計算装置にステップｔの第３演算モデルを実行するタイミングの前にステップｔの第２演算モデルを実行させる機能と、第１演算モデルと第２演算モデルの演算がいずれも終了した時点で第１計算装置が第２計算装置へ、第２計算装置が第１計算装置へ、計算結果を送信させる機能と、第１計算装置が、第２計算装置から受信した計算結果を使用して、ステップｔの第３演算モデルを実行させる機能と、第２計算装置が、第１計算装置から受信した計算結果を使用して、ステップ（ｔ＋１）の第２演算モデルを実行させる機能と、を備え、第１演算モデル、第２演算モデル、及び第３演算モデルは演算モデルのうち並列演算を実行する演算モデルを割り振ったものであり、第１計算装置と第２計算装置は並列に演算を実行し、第１演算モデルと、第３演算モデルの計算の刻み幅は、第２演算モデルの計算の刻み幅の整数倍であることを実現させることを要旨とする。

【0012】

本発明によれば、並列演算におけるデータ受け渡しのタイミングを調整することにより、同じ刻み幅、異なる刻み幅のいずれの場合で行われる並列演算であっても、通信遅延が低減された高速演算を行うことが出来るシミュレーションシステム、シミュレーション方法及びシミュレーションプログラムを提供できる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１の実施形態に係るシミュレーションシステムの構成の一例を示すブロック図である。

【図2】第１の実施形態に係るシミュレーションシステムの並列演算モデルの一例を示すブロック図である。

【図3】第１の実施形態に係るシミュレーションシステムの並列演算モデルの具体例を示すブロック図である。

【図4】第１の実施形態に係るシミュレーションシステムによる並列演算の処理タイミングを説明するタイミングチャートである。

【図5】第２の実施形態に係るシミュレーションシステムによる並列演算の処理タイミングを説明するタイミングチャートである。

【図6】従来のシミュレーションシステムによる並列演算の処理タイミングを説明するタイミングチャートである。

【図7】従来のシミュレーションシステムの並列演算モデルの一例を示すブロック図である。

【発明を実施するための形態】

【0014】

次に、図面を参照して、本発明の実施形態を説明する。実施形態に係る図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものであり、平面寸法との関係等は現実のものとは異なることに留意すべきである。したがって、具体的な寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

【0015】

又、実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、各構成要素の構成や配置、レイアウト等を下記のものに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

【0016】

（第１の実施形態）
本発明の第１の実施形態に係るシミュレーションシステムの構成の一例を図１に示す。図１に示すシミュレーションシステム１０は、メイン計算装置１０１、記憶部１０２、入力手段１０３、出力手段１０４、システムバス１０５、第１計算装置１１１、第１記憶部１２１、第２計算装置１１２、第２記憶部１２２、…、第ｎ計算装置１１ｎ、第ｎ記憶部１２ｎから構成されており、各構成要素はシステムバス１０５を介して互いに接続されている。ここで、ｎは２以上の整数である。

【0017】

メイン計算装置１０１は、シミュレーションシステム１０の各構成要素を制御する。メイン計算装置１０１は、記憶部１０２に記憶されているプログラムを実行する。メイン計算装置１０１は、シミュレーションの対象となるシステムを表現する演算モデルを実行するが、それに際し、演算モデルに含まれる演算の構成要素のうち、並列演算を実行可能な要素を第１計算装置１１１、第２計算装置１１２、…、第ｎ計算装置１１ｎに割り振り、並列演算を実行させる。入力手段１０３は、例えば、キーボード、マウス等である。出力手段１０４への出力は、例えばディスプレイ等への表示、紙媒体等への印刷、又は音声による出力等であってよい。

【0018】

第１計算装置１１１、第２計算装置１１２、…、第ｎ計算装置１１ｎは、メイン計算装置１０１から割り振られた並列演算を実行する。第１計算装置１１１、第２計算装置１１２、…、第ｎ計算装置１１ｎは、並列演算の実行の際、第１記憶部１２１、第２記憶部１２２、…、第ｎ記憶部１２ｎに、演算処理のためのデータを一時的に記憶させる。

【0019】

第１計算装置１１１、第２計算装置１１２、…、第ｎ計算装置１１ｎは、ＣＰＵ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の演算を実行可能なハードウェア回路である。第１計算装置１１１、第２計算装置１１２、…、第ｎ計算装置１１ｎの全てが、例えば、ＣＰＵ、又はＦＰＧＡ等であってもよく、又は、上記の各種ハードウェア回路の任意の組み合わせであってもよい。

【0020】

第１計算装置１１１、第２計算装置１１２、…、第ｎ計算装置１１ｎが演算を実行する際の、計算の刻み幅は、全て同じであってもよく、又は、互いに異なっていてもよい。演算実行の際の計算の刻み幅は、第１計算装置１１１、第２計算装置１１２、…、第ｎ計算装置１１ｎのそれぞれに割り振られた演算モデルに応じて決定されてもよい。以下では、ｎ＝２、即ち、シミュレーションシステム１０は２つの並列演算のための回路である第１計算装置１１１、及び第２計算装置１１２を備え、第１計算装置１１１はＣＰＵ、第２計算装置１１２はＦＰＧＡであるとする。

【0021】

図２を参照しながら、本発明の第１の実施形態に係るシミュレーションシステムに適用される並列演算モデルを説明する。図２に示す並列演算モデルは、本実施形態に係るシミュレーションシステムに適用可能な並列演算モデルの一例である。図２に示す並列演算モデル２０は、ＣＰＵモデル２０１と、ＦＰＧＡモデル２０２とから構成される。ＣＰＵモデル２０１は、図１に示す第１計算装置１１１、ＦＰＧＡモデル２０２は第２計算装置１１２に相当する。

【0022】

図２に示すように、ＣＰＵモデル２０１は、部分モデルＡ２０３、部分モデルＢ２０４、積分演算器２０５、メモリブロック２０６とから構成される。並列演算モデル２０を構成する積分演算器２０５、メモリブロック２０６は、いずれも遅延要素である。部分モデルＡ２０３は、第１、２処理２０７、２０８から構成され、部分モデルＢ２０４は、第３～５処理２０９～２１１から構成されるとする。ＦＰＧＡモデル２０２は、第６、７処理２１２、２１３から構成されるとする。

【0023】

部分モデルＡ２０３は、遅延要素である積分演算器２０５、及びメモリブロック２０６からの入力を受け取り、第１、２処理２０７、２０８を実行したのち、出力をＦＰＧＡモデル２０２に渡すが、直接ＦＰＧＡモデル２０２からの入力を受け取ることはない。部分モデルＢ２０４は、ＦＰＧＡモデル２０２からの入力を受け取り、第３～５処理２０９～２１１を実行したのち、出力を積分演算器２０５、及びメモリブロック２０６に渡すが、直接出力をＦＰＧＡモデル２０２に渡すことはない。

【0024】

図２に示した並列演算モデルに代表されるように、並列演算モデルは、ＣＰＵモデル２０１が積分演算器、メモリブロック等の遅延要素を含み、かつＣＰＵモデル２０１が、遅延要素を境界として、以下の２つの条件Ｃ、及び条件Ｄを満たす２つのモデルに分割できる場合に、本実施形態に係るシミュレーションシステムに適用可能である。条件Ｃとは、２つのモデルのうち、一方のモデル（図２において、部分モデルＡ２０３に相当する）が、遅延要素（積分演算器２０５、及びメモリブロック２０６に相当する）からの入力を受け取り、出力をＦＰＧＡモデル（ＦＰＧＡモデル２０２に相当する）に渡すが、直接ＦＰＧＡモデルからの入力を受け取らないことである。条件Ｄとは、２つのモデルのうち、他方のモデル（部分モデルＢ２０４に相当する）が、ＦＰＧＡモデルからの入力を受け取り、出力を遅延要素に渡すが、出力を直接ＦＰＧＡモデルへ渡さないことである。

【0025】

部分モデルＡ２０３及び部分モデルＢ２０４は、積分演算器、メモリブロック等の遅延要素を含んでいてもよく、遅延要素を含んでいなくてもよい。また、部分モデルＡ２０３、又は部分モデルＢ２０４のいずれか一方が、実行する処理を含まない構成であってもよい。

【0026】

以下では、本実施形態に係るシミュレーションシステムの並列演算モデルのうち、部分モデルＡ２０３に相当する、条件Ｃを満たす部分モデルを第１演算モデルとする。また、部分モデルＢ２０４に相当する、条件Ｄを満たす部分モデルを第２演算モデルとする。

【0027】

図３及び図４を参照しながら、本実施形態に係るシミュレーションシステムを説明する。図３及び図４に示す並列演算モデルは、本実施形態に係るシミュレーションシステムの並列演算モデルの具体例であり、図２を参照しながら説明した本実施形態に係るシミュレーションシステムに適用可能な並列演算モデルの条件を満たすモデルである。また、図４に本実施形態に係るシミュレーションシステムによる並列演算の処理タイミングを説明するタイミングチャートを示す。図３及び図４に示す並列演算モデルは、例えば、ハイブリッド自動車の駆動モータの制御をシミュレーションの対象とした、ＦＰＧＡに駆動モータモデルを実装し、ＣＰＵに車両／モータ制御モデルを実装したモデルを示している。

【0028】

図３に示すように、ＣＰＵ３２０に実装した車両／モータ制御モデルは、第１シャフト３０１、第２シャフト３０２、デファレンシャルギア３０３、タイヤ３０４、積分演算器３０５、第１モータ制御装置３０６、メモリブロック３０７、第２モータ制御装置３０８から構成される。図４に示すように、ＣＰＵ３２０の計算の刻み幅Δｔを１［μｓ］とする。

【0029】

図３に示すように、ＦＰＧＡ３３０に実装した駆動モータモデルは、駆動モータ３０９から構成される。駆動モータは、制御周期が短く、駆動モータの制御装置とのデータの送受信等は高速で行われる。従って、図４に示すように、ＦＰＧＡ３３０の計算の刻み幅Δｔは、ＣＰＵ３２０の計算の刻み幅Δｔよりも小さく、１０［ｎｓ］とする。ＦＰＧＡ３３０の計算の刻み幅Δｔは、ＣＰＵ３２０の計算の刻み幅Δｔの整数倍である必要がある。

【0030】

ＣＰＵ３２０とＦＰＧＡ３３０は、ＰＣＩ Ｅｘｐｒｅｓｓ等のシステムバス３１０、３１１によって互いに接続されている。

【0031】

第１モータ制御装置３０６と第２モータ制御装置３０８は同一の構成要素であるが、演算を実行するタイミングが互いに異なっており、動作を説明するために異なる構成要素として図２に示されている。第１シャフト３０１と第２シャフト３０２についても同様である。また、システムバス３１０とシステムバス３１１は、互いに同一であっても構わない。

【0032】

本実施形態においては、ＣＰＵ３２０に振り分けられた演算モデルを、図４に示すように、演算の１ステップの前半に実行される演算モデルと、後半に実行される演算モデルとに分ける。前半に実行されるモデルは第１演算モデルであり、図２における部分モデルＡ２０３に相当する。また、後半に実行されるモデルは第３演算モデルであり、図２における部分モデルＢ２０４に相当する。第１演算モデルの演算実行終了後、第３演算モデルの演算実行前までの間に、ＣＰＵ３２０とＦＰＧＡ３３０とのデータの送受信を行う。図３において、第１演算モデル３４０は、破線で囲まれた、第１シャフト３０１、積分演算器３０５、及び第１モータ制御装置３０６の演算モデルに相当する。第３演算モデル３５０は、破線で囲まれた、第２シャフト３０２、デファレンシャルギア３０３、タイヤ３０４、及び第２モータ制御装置３０８の演算モデルに相当する。また、ＦＰＧＡ３３０に振り分けられた演算モデルを、第２演算モデルとする。

【0033】

第１計算装置の「ステップ」は、第１計算モデルの計算開始時に始まり、第３演算モデルの計算を行う期間を含み、次の第１演算モデルの計算開始直前までの期間である。第２計算装置の「ステップ」は、第２演算モデルの計算開始時から次の第２演算モデルの計算開始直前に終わる期間である。

【0034】

第２演算モデルは、自身のステップｔにおける演算において、第１演算モデルのステップ（ｔ－１）時点の計算結果、又は初期値を必要とする演算であり、第３演算モデルは、自身のステップｔにおける演算において、第２演算モデルのステップｔ時点の計算結果を必要とする演算である。また、ＣＰＵ３２０に振り分けられた演算モデルを第１演算モデルと第３演算モデルに分ける演算のタイミングは、ステップｔの時点のＣＰＵ３２０に振り分けられた演算モデルの、ステップ（ｔ＋１）時点のＦＰＧＡ３３０の第２演算モデルが演算を実行するために必要とする結果が得られるタイミング以降、次のステップが始まる前までである。

【0035】

以下に、図３及び図４を参照しながら、本実施形態に係るシミュレーションシステムの並列演算の流れについて説明する。最初に、図４におけるステップ（ｔ－１）での、ＣＰＵ３２０の第１演算モデル３４０の演算の実行について説明する。時刻ｔ_ｎ－１［ｓ］時点で、第１モータ制御装置３０６がメモリブロック３０７に記憶された３相電圧指令値Ｖ_ｕｖｗ（ｔ_ｎ－１）［Ｖ］を読み出す（第１演算モデル３４０）。同様に、時刻ｔ_ｎ－１［ｓ］時点で、積分演算器３０５が、ステップ（ｔ－２）での第２演算モデルの演算の終了後に第２シャフト３０２から受信したシャフトトルクτ_ｓ（ｔ_ｎ－２）［Ｎｍ］を使用して、機械角速度ω_ｍ（ｔ_ｎ－１）［ｒａｄ／ｓ］を算出して第１シャフト３０１に送信してステップ（ｔ－１）での、ＣＰＵ３２０の第１演算モデル３４０の演算が終了する。

【0036】

図４におけるステップ（ｔ－１）での、ＣＰＵ３２０の第１演算モデル３４０の演算が実行されるのと同時に、ＦＰＧＡ３３０の第２演算モデルの演算が実行される。駆動モータ３０９は、時刻ｔ_ｎ－１［ｓ］時点の３相電圧指令値Ｖ_ｕｖｗ（ｔ_ｎ－１）及び機械角速度ω_ｍ（ｔ_ｎ－１）を受信すると、ｔ_ｎまでモータトルクτ_ｍ、及びロータ角速度ω_ｒの演算を実行して、ＦＰＧＡ３３０の第２演算モデルの演算が終了する。

【0037】

次に、ＣＰＵ３２０とＦＰＧＡ３３０とのデータの送受信を行う。第１モータ制御装置３０６が、３相電圧指令値Ｖ_ｕｖｗ（ｔ_ｎ－１）を駆動モータ３０９へ、システムバス３１０を介して送信する。同時に、第１シャフト３０１が算出された機械角速度ω_ｍ（ｔ_ｎ－１）［ｒａｄ／ｓ］を駆動モータ３０９へ、システムバス３１０を介して送信する。ここで、駆動モータ３０９は、時刻ｔ_ｎ－１［ｓ］時点の３相電圧指令値Ｖ_ｕｖｗ（ｔ_ｎ－１）［Ｖ］及び機械角速度ω_ｍ（ｔ_ｎ－１）を受信し、ステップｔにおいて時刻ｔ_ｎ［ｓ］時点のモータトルクτ_ｍ（ｔ_ｎ）及びロータ角速度ω_ｒ（ｔ_ｎ）を算出するため、この時点で計算の刻み幅Δｔに等しい遅延が生じている。ＦＰＧＡ３３０の計算の刻み幅Δｔは１０［ｎｓ］であるので、Δｔ＝１０［ｎｓ］の遅延が生じており、従って誤差が生じる。

【0038】

一方、第２シャフト３０２は、時刻ｔ_ｎ［ｓ］時点のモータトルクτ_ｍ（ｔ_ｎ）を受信し、時刻ｔ_ｎ［ｓ］時点のシャフトトルクτ_ｓ［Ｎｍ］を算出しているため、遅延は生じない。

【0039】

次に、図４におけるステップ（ｔ－１）での、ＣＰＵ３２０の第３演算モデル３５０の実行について説明する。第２シャフト３０２は、時刻ｔ_ｎ［ｓ］時点のモータトルクτ_ｍ（ｔ_ｎ）を受信すると、時刻ｔ_ｎ［ｓ］時点のシャフトトルクτ_ｓを演算し、算出したシャフトトルクτ_ｓ（ｔ_ｎ）［Ｎｍ］を、デファレンシャルギア３０３、及びタイヤ３０４へ送信する。タイヤ３０４は、時刻ｔ_ｎ時点の負荷トルクτ_ｉを演算し、算出した負荷トルクτ_ｉ［Ｎｍ］を、デファレンシャルギア３０３と、第２シャフト３０２へ送信する。

【0040】

第２モータ制御装置３０８は、時刻ｔ_ｎ［ｓ］時点のロータ角速度ω_ｒ（ｔ_ｎ）を受信すると、時刻ｔ_ｎ［ｓ］時点の３相電圧指令値Ｖ_ｕｖｗを演算し、算出した３相電圧指令値Ｖ_ｕｖｗ（ｔ_ｎ）［Ｖ］をメモリブロック３０７に記憶して図４におけるステップ（ｔ－１）での、ＣＰＵ３２０の第３演算モデル３５０の演算は終了する。

【0041】

ステップ（ｔ－１）での、ＣＰＵ３２０の第３演算モデル３５０の演算が終了すると、ステップｔでの、ＣＰＵ３２０の第１演算モデル３４０の演算が開始される。時刻ｔ_ｎ［ｓ］時点で、第１モータ制御装置３０６は、メモリブロック３０７に記憶された３相電圧指令値Ｖ_ｕｖｗ（ｔ_ｎ）［Ｖ］を読み出し、積分演算器３０５は、ステップ（ｔ－１）での第３演算モデルの演算の終了後に第２シャフト３０２から受信したモータトルクτ_ｍ（ｔ_ｎ－１）［Ｎｍ］及びシャフトトルクτ_ｓ（ｔ_ｎ－１）［Ｎｍ］を使用し機械角速度ω_ｍ（ｔ_ｎ）［ｒａｄ／ｓ］を算出して、ＣＰＵ３２０の第１演算モデル３４０の演算は終了する。

【0042】

ステップｔでの、ＦＰＧＡ３３０の第２演算モデルの演算は、駆動モータ３０９が３相電圧指令値Ｖ_ｕｖｗ（ｔ_ｎ－１）及び機械角速度ω_ｍ（ｔ_ｎ－１）［ｒａｄ／ｓ］を受信したのちに開始される。駆動モータ３０９は、時刻ｔ_ｎ－１［ｓ］時点の３相電圧指令値Ｖ_ｕｖｗ（ｔ_ｎ－１）及び機械角速度ω_ｍ（ｔ_ｎ－１）を受信すると、モータトルクτ_ｍ、及びロータ角速度ω_ｒの演算を実行する。

【0043】

なお、第３演算モデルに対して第２演算モデルの計算結果が入力される場合であって、ステップｔ（ｔ＞１）における計算結果が入力される場合は遅延が発生しないが、第２演算モデルの計算結果が初期値に基づく計算結果である場合（ステップｔ（ｔ＝１）の計算結果）には、遅延が発生する。換言すると、ステップｔ（ｔ＞１）においては、ＣＰＵ側は既に計算が終了しているＦＰＧＡ側の計算結果を受領するだけで待機する必要がないため、同期に要する時間を短縮することが出来、その結果として１サイクルの計算に要する時間を短縮することが出来る。

【0044】

以上述べたように、本実施形態においては、ＣＰＵに振り分けられた演算モデルを、演算の１ステップの前半に実行される演算モデルと、後半に実行される演算モデルとに分け、前半に実行される演算の実行終了後、後半に実行される演算の実行前までの間に、ＣＰＵとＦＰＧＡとのデータの送受信を行う。後述する参考例において述べるように、従来のシミュレーションシステムでは、１ステップの演算の終了後にＣＰＵとＦＰＧＡとのデータの送受信を行うため、ＣＰＵからＦＰＧＡへのデータ送信、及びＦＰＧＡからＣＰＵへのデータ送信のいずれのタイミングにおいても遅延に起因する誤差が生じていた。本実施形態に係るシミュレーションシステムによれば、ＦＰＧＡからＣＰＵへのデータ送信の際、ＦＰＧＡにおいて実行された演算のデータは、同ステップの後半にＣＰＵにおいて実行される演算に受け渡されるため、遅延が生じず、従って通信遅延を抑制することが可能となる。第１計算装置から第２計算装置へのデータ送信の際に生じる遅延は、第２計算装置の刻み幅に等しい。よって、第２計算装置の刻み幅が小さいほど遅延が小さくなる。ゆえに、より刻み幅が短い計算装置（本実施形態においてはＦＰＧＡ）を第２計算装置とすることで、後述する第２実施形態と比較して一層遅延を低減することができる。

【0045】

（参考例）
図６に、特許文献１、及び特許文献２に開示されているような、従来のシミュレーションシステムによる並列演算の処理タイミングを説明するタイミングシーケンスチャートを示す。また、図７に、従来のシミュレーションシステムの並列演算モデルの一例を示す。図７に示す演算モデルの構成要素は、図３に示す構成要素と同様であるが、図６に示すように、ＣＰＵ３２０とＦＰＧＡ３３０とのデータの送受信のタイミングが、第１の実施形態に係るシミュレーションシステムによるデータの送受信のタイミングと異なる。

【0046】

図６では、ＣＰＵ３２０では１μｓ、ＦＰＧＡ３３０では１０ｎｓの刻み幅で演算を行う。ＣＰＵ及びＦＰＧＡは、各ステップ（１μｓ）ごとに相互に通信し、計算結果を授受する。ステップ１の計算を開始する際、ＣＰＵ及びＦＰＧＡは初期値を受け取り、計算を開始する。ＣＰＵがステップ１の演算を1回行う間、ＦＰＧＡは１０ｎｓ刻みで演算を行う。ステップ１の計算が終了したのち、ステップ２の演算を開始するまでに、ＣＰＵはＦＰＧＡが０．９９～１μｓの間、即ち１０ｎｓ前に行った演算による計算結果を受け取り、ＦＰＧＡはＣＰＵが０～１μｓの間、即ち１μｓ前に行った演算による計算結果を受け取る。従って、ＣＰＵがＦＰＧＡから計算結果を受け取る際に発生する１μｓの遅延、及びＦＰＧＡがＣＰＵから計算結果を受け取る際に発生する１０ｎｓの遅延に起因する並列化誤差が発生する。

【0047】

（第２の実施形態）
第１の実施形態に係るシミュレーションシステム１０では、第１計算装置１１１はＣＰＵ、第２計算装置１１２はＦＰＧＡであった。本実施形態においては、第１計算装置、及び第２計算装置のいずれもＣＰＵであり、いずれのＣＰＵも１μｓの刻み幅で演算を行うとする。図５に、本実施形態に係るシミュレーションシステムによる並列演算の処理タイミングを説明するタイミングチャートを示す。本実施形態のように、第１計算装置と第２計算装置との計算の刻み幅が同一の場合でも、第１の実施形態と同様、第２計算装置から第１計算装置へ計算結果を渡す際の遅延が生じないようにすることができる。なお、本実施形態では、第１計算装置から第２計算装置へ計算結果を渡す際、１μｓの遅延が生じる。

【0048】

以上述べたように、本発明の第１、第２の実施形態にかかるシミュレーションシステム、シミュレーション方法及びプログラムによって、並列演算におけるデータ受け渡しのタイミングを調整することにより、同じ刻み幅、異なる刻み幅のいずれの場合で行われる並列演算であっても、通信遅延が低減された高速演算を行うことが可能となった。

【0049】

以上、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

【符号の説明】

【0050】

１０ シミュレーションシステム
１０１ メイン計算装置
１０２ 記憶部
１０３ 入力手段
１０４ 出力手段
１０５ システムバス
１１１ 第１計算装置
１２１ 第１記憶部
１１２ 第２計算装置
１２２ 第２記憶部
１１ｎ 第ｎ計算装置
１２ｎ 第ｎ記憶部
２０ 並列演算モデル
２０１ ＣＰＵモデル
２０２ ＦＰＧＡモデル
２０３ 部分モデルＡ
２０４ 部分モデルＢ
２０５ 積分演算器
２０６ メモリブロック
２０７～２１３ 第１～７処理
３２０ ＣＰＵ
３０１ 第１シャフト
３０２ 第２シャフト
３０３ デファレンシャルギア
３０４ タイヤ
３０５ 積分演算器
３０６ 第１モータ制御装置
３０７ メモリブロック
３０８ 第２モータ制御装置
３０９ 駆動モータ
３１０、２１１ システムバス
３２０ ＣＰＵ
３３０ ＦＰＧＡ
３４０ 第１演算モデル
３５０ 第３演算モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】