特許 7530231 予測装置、学習装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-30

(45)【発行日】2024-08-07

(54)【発明の名称】予測装置、学習装置及びプログラム

(51)【国際特許分類】

   G06N 3/0442 20230101AFI20240731BHJP

   G06N 7/00 20230101ALI20240731BHJP

【ＦＩ】

G06N3/0442

G06N7/00

【請求項の数】 6

(21)【出願番号】P 2020134499

(22)【出願日】2020-08-07

(65)【公開番号】P2022030449

(43)【公開日】2022-02-18

【審査請求日】2023-06-15

【新規性喪失の例外の表示】特許法第３０条第２項適用 刊行物名：２０１９年度年次大会 まんず，あべ！機械学会さ！－秋田に集うしったげおもしぇ技術－ サスティナビリティ，ＡＩ社会の機械工学 少子高齢化・人手不足を支えるテクノロジー， 発行日：令和元年（２０１９年）９月２日， 発行者：一般社団法人日本機械学会（東京都新宿区信濃町３５番地 信濃町煉瓦館５階）， 公開者：深沢剛司（三菱ＦＢＲシステムズ株式会社）， 公開された発明の内容：人工知能を活用した減衰要素のモデル化に関する発明 〔刊行物等〕 集会名：２０１９年度年次大会， 開催日：令和元年（２０１９年）９月８日～１１日， 主催者：一般社団法人日本機械学会（東京都新宿区信濃町３５番地 信濃町煉瓦館５階）， 開催場所：秋田大学 手形キャンパス（秋田県秋田市手形学園町１番１号），公開者：深沢剛司（三菱ＦＢＲシステムズ株式会社）， 公開日：令和元年９月９日， 公開された発明の内容：人工知能を活用した減衰要素のモデル化に関する発明

(73)【特許権者】

【識別番号】307041573

【氏名又は名称】三菱ＦＢＲシステムズ株式会社

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】深沢 剛司

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２０２２－０２１８５６（ＪＰ，Ａ）

【文献】特開２００８－２４９６１０（ＪＰ，Ａ）

【文献】国際公開第２０１８／１５０７９８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０４４

Ｇ０６Ｎ ７／００

(57)【特許請求の範囲】

【請求項1】

土木建築構造物をモデル化した力学モデルにおける荷重、速度及び変位の時系列データのうち何れか２つの入力時系列データから、もう１つの出力時系列データを予測する予測装置において、
入力から出力に向けて順に入力層、隠れ層及び出力層を有するリカレントニューラルネットワークを構築するＲＮＮ構築部と、
前記２つの入力時系列データを前記入力層に入力して、予めの学習により得られた複数の重みからなる学習済みパラメータ群を前記隠れ層に割り当てて前記隠れ層を活性化させることによって前記出力層における前記出力時系列データを算出する予測部と、を備え、
前記ＲＮＮ構築部は複数の長短期記憶ブロックが時系列で結合されてなる層を前記隠れ層として構築する予測装置。

【請求項2】

前記ＲＮＮ構築部が前記隠れ層を複数層に構築する請求項１に記載の予測装置。

【請求項3】

土木建築構造物をモデル化した力学モデルにおける荷重、速度及び変位の時系列データのうち何れか２つの入力時系列データともう１つの正解時系列データとを学習させる学習装置において、
入力から出力に向けて順に入力層、隠れ層及び出力層を有するリカレントニューラルネットワークを構築するＲＮＮ構築部と、
前記２つの入力時系列データを前記入力層に入力して、複数の重みからなる学習済みパラメータ群を前記隠れ層に割り当てて前記隠れ層を活性化させることによって前記出力層における出力時系列データを算出し、前記出力時系列データと前記正解時系列データの損失を算出し、バックプロパゲーション処理により前記損失を前記複数の重みでそれぞれ微分することによって微分パラメータを算出し、勾配降下法により前記微分パラメータと前記複数の重みとに基づいて前記複数の重みを更新する学習部と、を備え、
前記ＲＮＮ構築部は複数の長短期記憶ブロックが時系列で結合されてなる層を前記隠れ層として構築する学習装置。

【請求項4】

前記ＲＮＮ構築部が前記隠れ層を複数層に構築する請求項３に記載の学習装置。

【請求項5】

土木建築構造物をモデル化した力学モデルにおける荷重、速度及び変位の時系列データのうち何れか２つの入力時系列データから、もう１つの出力時系列データを予測する予測装置の演算処理装置を、
入力から出力に向けて順に入力層、隠れ層及び出力層を有するリカレントニューラルネットワークを構築し、複数の長短期記憶ブロックが時系列で結合されてなる層を前記隠れ層として構築するＲＮＮ構築部と、
前記２つの入力時系列データを前記入力層に入力して、予めの学習により得られた複数の重みからなる学習済みパラメータ群を前記隠れ層に割り当てて前記隠れ層を活性化させることによって前記出力層における前記出力時系列データを算出する予測部と、に機能させるプログラム。

【請求項6】

土木建築構造物をモデル化した力学モデルにおける荷重、速度及び変位の時系列データのうち何れか２つの入力時系列データともう１つの正解時系列データとを学習させる学習装置の演算処理装置を、
入力から出力に向けて順に入力層、隠れ層及び出力層を有するリカレントニューラルネットワークを構築し、複数の長短期記憶ブロックが時系列で結合されてなる層を前記隠れ層として構築するＲＮＮ構築部と、
前記２つの入力時系列データを前記入力層に入力して、複数の重みからなる学習済みパラメータ群を前記隠れ層に割り当てて前記隠れ層を活性化させることによって前記出力層における出力時系列データを算出し、前記出力時系列データと前記正解時系列データの損失を算出し、バックプロパゲーション処理により前記損失を前記複数の重みでそれぞれ微分することによって微分パラメータを算出し、勾配降下法により前記微分パラメータと前記複数の重みとに基づいて前記複数の重みを更新する学習部と、に機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人工知能を利用した予測装置、学習装置及びプログラムに関し、特に、力学モデルにおける荷重、速度及び変位の時系列データのうち何れか２つの入力時系列データから、もう１つの出力時系列データを予測あるいは学習する技術に関する。

【背景技術】

【0002】

建築構造物等の耐震性を検証するために時刻歴応答解析が活用されている（例えば、非特許文献１参照）。時刻歴応答解析を行う場合、構造物の弾性域から終局域に至る応答を把握する必要がある。

【先行技術文献】

【非特許文献】

【0003】

【文献】深沢ほか，“高振動・低振幅に着目したオイルダンパーの解析モデルに関する検討”，日本建築学会構造計論文集，一般社団法人日本建築学会，2018 年 12 月，第 83 巻，第 754 号，p.1777－1787

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところが、一般に終局域の挙動は強い非線形性を伴うため、終局域の挙動を数式でモデル化することが難しい。たとえこれをモデル化することができたものとしても、その構成式は複雑なものなる。

【0005】

本発明は、上記事情に鑑みてなされたものであって、数式でモデル化することができない力学モデルであっても時刻歴応答を算出することを目的とする。

【課題を解決するための手段】

【0006】

以上の課題を解決するために、土木建築構造物をモデル化した力学モデルにおける荷重、速度及び変位の時系列データのうち何れか２つの入力時系列データから、もう１つの出力時系列データを予測する予測装置は、入力から出力に向けて順に入力層、隠れ層及び出力層を有するリカレントニューラルネットワークを構築するＲＮＮ構築部と、前記２つの入力時系列データを前記入力層に入力して、予めの学習により得られた複数の重みからなる学習済みパラメータ群を前記隠れ層に割り当てて前記隠れ層を活性化させることによって前記出力層における前記出力時系列データを算出する予測部と、を備え、前記ＲＮＮ構築部は複数の長短期記憶ブロックが時系列で結合されてなる層を前記隠れ層として構築する。

【0007】

また、土木建築構造物をモデル化した力学モデルにおける荷重、速度及び変位の時系列データのうち何れか２つの入力時系列データともう１つの正解時系列データとを学習させる学習装置は、入力から出力に向けて順に入力層、隠れ層及び出力層を有するリカレントニューラルネットワークを構築するＲＮＮ構築部と、前記２つの入力時系列データを前記入力層に入力して、複数の重みからなる学習済みパラメータ群を前記隠れ層に割り当てて前記隠れ層を活性化させることによって前記出力層における出力時系列データを算出し、前記出力時系列データと前記正解時系列データの損失を算出し、バックプロパゲーション処理により前記損失を前記複数の重みでそれぞれ微分することによって微分パラメータを算出し、勾配降下法により前記微分パラメータと前記複数の重みとに基づいて前記複数の重みを更新する学習部と、を備え、前記ＲＮＮ構築部は複数の長短期記憶ブロックが時系列で結合されてなる層を前記隠れ層として構築する。

【発明の効果】

【0008】

本発明によれば、力学モデルが数式でモデル化することができなくても、荷重、速度及び変位の時系列データのうち何れか２つの入力時系列データからもう１つの出力時系列データを算出できる。出力時系列データは、時間経過に伴って変化する荷重、速度及び変位の何れか２つが力学モデルに与えられた場合の応答である。

【図面の簡単な説明】

【0009】

【図1】モデル化された減衰装置の概略図である。

【図2】学習装置及び予測装置を兼ねた人工知能装置のブロック図である。

【図3】リカレントニューラルネットワークの模式図である。

【図4】長短期記憶ブロックの模式図である。

【発明を実施するための形態】

【0010】

〔１． 人工知能装置の構成〕
図１は、力学的にモデル化された減衰装置９０の概略図である。図２は、人工知能装置１のブロック図である。

【0011】

減衰装置９０は例えばオイルダンパーである。減衰装置９０を力学的にモデル化すると、減衰装置９０がダッシュポット９１、弾性バネ９２、弾性バネ９３及び摩擦抵抗９４から構成され、ダッシュポット９１、弾性バネ９２及び弾性バネ９３が直列され、これらの直列体と摩擦抵抗９４が並列されている。ダッシュポット９１及び弾性バネ９２が減衰装置９０の粘弾性要素であり、弾性バネ９３が減衰装置９０の弾性要素であり、摩擦抵抗９４が減衰装置９０の可動部（例えば、ロッド）に生じるものである。地震、振動又は衝突等が生じると、時間経過に伴い変化する荷重及び速度が減衰装置９０に与えられ、それに伴って減衰装置９０が応答して変位する。図２に示す人工知能装置１は、減衰装置９０の応答、つまり時間経過に伴う減衰装置９０の変位の変化を予測する。つまり、人工知能装置１は、人工知能を利用して、荷重の時系列データと速度の時系列データから、変位の時系列データを算出する。

【0012】

人工知能装置１は、予測装置と学習装置を兼ねたものである。人工知能装置１は、演算処理装置１０、表示デバイス３０、入力デバイス４０及びストレージ５０等を備える。
演算処理装置１０は、ＣＰＵ、ＧＰＵ、ＲＡＭ、システムバス及び各種インターフェース等を備える。

【0013】

表示デバイス３０は例えば液晶ディスプレイデバイス、有機ＥＬディスプレイデバイス又はプロジェクタである。演算処理装置１０が映像信号を生成し、その映像信号を表示デバイス１２に出力する。そうすると、映像信号に従った画面が表示デバイス３０によって表示される。

【0014】

入力デバイス４０は例えばスイッチ、キーボード、ポインティングである。入力デバイス４０は、操作されると操作内容に応じた信号を演算処理装置１０に出力する。

【0015】

ストレージ５０には、プログラム５１、教師データ５２、学習済みパラメータ群５６及び分析対象データ５７が格納されている。

【0016】

教師データ５２は、後述のリカレントニューラルネットワーク２００（図３参照）の学習に利用される。教師データ５２は、互いに対応付けされた荷重の時系列データ５３と速度の時系列データ５４と変位の時系列データ５５とから構成される。これら時系列データ５３，５４，５５は、それぞれ荷重、速度、変位の値が時系列で配列された離散的なデータ列である。変位の時系列データ５５は、正解として利用される。

【0017】

これら時系列データ５３、５４，５５は予め行われたシミュレーション又は実験により求められたものである。非日常的な地震或いは衝撃から日常的な微振動までを想定して、シミュレーション又は実験ごとの荷重、速度及び変位の条件を変化させて、多数回のシミュレーション又は実験により得られた多数の教師データ５２がストレージ５０に格納されている。

【0018】

学習済みパラメータ群５６は、リカレントニューラルネットワーク２００の多数のニューロンにおける重み及びバイアスから構成されている。学習済みパラメータ群５６は、リカレントニューラルネットワーク２００が学習する度に更新される。なお、リカレントニューラルネットワーク２００が未学習状態である場合、学習済みパラメータ群５６の各重み及びバイアスの初期値は乱数である。

【0019】

分析データ５７は、リカレントニューラルネットワーク２００を用いた変位の時系列データの予測に利用される。分析データ５７は、互いに対応付けされた荷重の時系列データ５８と速度の時系列データ５９とから構成される。これら時系列データ５８，５９は、それぞれ荷重、速度の値が時系列で配列された離散的なデータ列である。

【0020】

プログラム５１は、演算処理装置１０にとって読取可能及び実行可能なものである。演算処理装置１０が、プログラム５１を実行することによって、ＲＮＮモデル構築部１１、学習部１２及び予測部１３として機能する。ＲＮＮモデル構築部１１及び学習部１２は学習装置の機能であり、ＲＮＮモデル構築部１１及び予測部１３は予測装置の機能である。以下、ＲＮＮモデル構築部１１、学習部１２及び予測部１３の機能について詳細に説明する。

【0021】

〔２． ＲＮＮモデル構築部〕
ＲＮＮモデル構築部１１は、図３に示すように、積層された長短期記憶（Long short-term memory：LSTM）のアーキテクチャを利用したリカレントニューラルネットワーク２００を構築する。リカレントニューラルネットワーク２００は再帰型ニューラルネットワークともいう。リカレントニューラルネットワーク２００は、入力層２１０、４層の隠れ層２２０、２３０，２４０，２５０、全結合層２６０、ドロップアウト層２７０及び出力層２８０から構成されている。

【0022】

入力層２１０は、時系列の複数の入力ユニット２１１から構成されている。入力層２１０には、２種類の時系列データ、具体的には変位の時系列データと速度の時系列データが入力される。つまり、入力層２１０の各入力ユニット２１１には２つのニューロンが用いられ、変位データと速度データがこれらニューロンにそれぞれ入力される。従って、各入力ユニット２１１に入力される入力データｘ_ｔはベクトルであり、入力データｘ_ｔの要素は同一ステップ（つまり、同一時刻）の変位データと速度データからなる。ここで、添字の「ｔ」は時系列のステップ順を表す。

【0023】

１層目の隠れ層２２０は、時系列の長短期記憶ブロック２２１から構成されている。２層目～４層目の隠れ層２３０，２４０，２５０もそれぞれ時系列の長短期記憶ブロック２３１，２４１，２５１から構成されている。ここで、ｊを１から４の任意の数とした場合、添字の「（ｔ，ｊ）」の「ｊ」は隠れ層２１０，２３０，２４０，２５０の層順を表す。

【0024】

隠れ層２１０，２３０，２４０，２５０の各々では、或るステップにおけるニューロンの出力が、次のステップのニューロンの入力と次の層のニューロンの入力とに結合されている。具体的には、１層目の各長短期記憶ブロック２２１は、同一ステップの入力ユニット２１１から入力データｘ_ｔを入力するとともに前のステップの長短期記憶ブロック２２１から隠れ状態データｈ_{（ｔ－１，１）}を入力すると、隠れ状態データｈ_{（ｔ，１）}を次のステップの長短期記憶ブロック２２１に出力するとともにデータｙ_{（ｔ，１）}を次の層の長短期記憶ブロック２３１に出力する。また、２層目の長短期記憶ブロック２３１は、１層目の長短期記憶ブロック２２１からデータｙ_{（ｔ，１）}を入力するとともに前のステップの長短期記憶ブロック２３１から隠れ状態データｈ_{（ｔ－１，２）}を入力すると、隠れ状態データｈ_{（ｔ，２）}を次のステップの長短期記憶ブロック２３１に出力するとともにデータｙ_{（ｔ，２）}を次の層の長短期記憶ブロック２４１に出力する。また、３層目の長短期記憶ブロック２４１は、２層目の長短期記憶ブロック２３１からデータｙ_{（ｔ，２）}を入力するとともに前のステップの長短期記憶ブロック２４１から隠れ状態データｈ_{（ｔ－１，３）}を入力すると、隠れ状態データｈ_{（ｔ，３）}を次のステップの長短期記憶ブロック２４１に出力するとともにデータｙ_{（ｔ，３）}を次の層の長短期記憶ブロック２５１に出力する。また、４層目の長短期記憶ブロック２５１は、３層目の長短期記憶ブロック２４１からデータｙ_{（ｔ，３）}を入力するとともに前のステップの長短期記憶ブロック２５１から隠れ状態データｈ_{（ｔ－１，４）}を入力すると、隠れ状態データｈ_{（ｔ，４）}を次のステップの長短期記憶ブロック２５１に出力するとともにデータｙ_{（ｔ，４）}を全結合層２６０の同一ステップの全結合ブロック２６１に出力する。１ステップの長短期記憶ブロック２２１，２３１，２４１，２５１の数は長短期記憶ブロック２２１，２３１，２４１，２５１の順に多く、例えば１ステップの長短期記憶ブロック２２１，２３１，２４１，２５１の数がそれぞれ２００，１２５，７８，４９である。

【0025】

全結合層２６０は、時系列の全結合ブロック２６１から構成されている。全結合ブロック２６１は複数、例えば３０のニューロンを有し、全結合ブロック２６１のニューロンが同一ステップの４層目の長短期記憶ブロック２５１の出力に全結合されている。全結合ブロック２６１は、同一ステップの長短期記憶ブロック２５１の出力データｙ_{（ｔ，４）}を入力すると、それらに重みを乗算して、その積にバイアスを加算する。

【0026】

ドロップアウト層２７０は、時系列のドロップアウトブロック２７１から構成されている。ドロップアウトブロック２７１は複数のニューロンを有し、ドロップアウトブロック２７１のニューロンが同一ステップの全結合ブロック２６１のニューロンに全結合されている。学習の際に幾つかのニューロンを無効にするように更新し、予測の際に同一ステップの全結合ブロック２６１のニューロンからこのドロップアウトブロック２７１の無効ニューロンへの入力をゼロに設定する。これにより、ドロップアウトブロック２７１は、過学習による精度低下を低減させるものである。

【0027】

出力層２８０は、時系列の複数の出力ユニット２８１から構成されている。入力層２８０の各出力ユニット２８１には１つのニューロンが用いられ、出力ユニット２８１のニューロンが同一ステップのドロップアウトブロック２７１のニューロンに結合され、出力ユニット２８１は、ドロップアウトブロック２７１の有効なニューロンの出力を入力すると、出力データｚ_ｔを出力する。よって、各出力ユニット２８１に出力される出力データｚ_ｔはスカラーの荷重データであり、出力層２８０から１種類の時系列データ、具体的には荷重の時系列データが出力される。

【0028】

図４を参照して、長短期記憶ブロック２２１，２３１，２４１，２５１について説明する。
長短期記憶ブロック２２１，２３１，２４１，２５１は、入力ブロック３１０、入力ゲートブロック３２０、忘却ゲートブロック３３０、出力ゲートブロック３４０、乗算ブロック３５０、乗算ブロック３６０、加算ブロック３７０、メモリセル３７５、活性化関数ブロック３８０及び乗算ブロック３９０から構成されている。ここで、１層目の長短期記憶ブロック２２１の場合には、図４における入力データｖ_{（ｔ，ｊ－１）}が図３における入力データｘ_ｔであり、図４における出力データｖ_{（ｔ，ｊ）}が図３におけるデータｙ_{（ｔ，１）}である。２層目の長短期記憶ブロック２３１の場合には、図４における入力データｖ_{（ｔ，ｊ－１）}が図３におけるデータｙ_{（ｔ，１）}であり、図４における出力データｖ_{（ｔ，ｊ）}が図３におけるデータｙ_{（ｔ，２）}である。３層目の長短期記憶ブロック２４１の場合には、図４における入力データｖ_{（ｔ，ｊ－１）}が図３におけるデータｙ_{（ｔ，２）}であり、図４における出力データｖ_{（ｔ，ｊ）}が図３におけるデータｙ_{（ｔ，３）}である。４層目の長短期記憶ブロック２５１の場合には、図４における入力データｖ_{（ｔ，ｊ－１）}が図３におけるデータｙ_{（ｔ，３）}であり、図４における出力データｖ_{（ｔ，ｊ）}が図３におけるデータｙ_{（ｔ，４）}である。

【0029】

入力ブロック３１０は、入力データｖ_{（ｔ，ｊ－１）}及び隠れ状態データｈ_{（ｔ－１，ｊ）}を入力すると、次式（１）により入力ブロック３１０の状態データｓ_{（ｔ，ｊ）}を算出する。ここで、入力ブロック３１０は重み付け和ブロック３１１及び活性化関数ブロック３１２から構成されている。重み付け和ブロック３１１は、入力データｖ_{（ｔ，ｊ－１）}と重みＵ_{ｓ（ｔ，ｊ）}の積と、隠れ状態データｈ_{（ｔ－１，ｊ）}と重みＷ_{ｓ（ｔ，ｊ）}の積と、バイアスｂ_{ｓ（ｔ，ｊ）}とを加算することによって、それらの和をネット値として算出する。活性化関数ブロック３１２は、重み付け和ブロック３１１によって算出されたネット値を活性化関数（具体的には、双曲線正接関数）に当て嵌めることによって、入力ブロック３１０の状態データｓ_{（ｔ，ｊ）}を算出する。

【0030】

【数1】

【0031】

ここで、Ｕ_{ｓ（ｔ，ｊ）}及びＷ_{ｓ（ｔ，ｊ）}は入力ブロック３１０における重みであり、ｂ_{ｓ（ｔ，ｊ）}は入力ブロック３１０におけるバイアスである。

【0032】

入力ゲートブロック３２０は、入力データｖ_{（ｔ，ｊ－１）}及び隠れ状態データｈ_{（ｔ－１，ｊ）}を入力すると、次式（２）により入力ゲートブロック３２０の状態データｉ_{（ｔ，ｊ）}を算出する。ここで、入力ゲートブロック３２０は重み付け和ブロック３２１及び活性化関数ブロック３２２から構成されている。重み付け和ブロック３２１は、入力データｖ_{（ｔ，ｊ－１）}と重みＵ_{ｉ（ｔ，ｊ）}の積と、隠れ状態データｈ_{（ｔ－１，ｊ）}と重みＷ_{ｉ（ｔ，ｊ）}の積と、バイアスｂ_{ｉ（ｔ，ｊ）}とを加算することによって、その和をネット値として算出する。活性化関数ブロック３２２は、重み付け和ブロック３２１によって算出されたネット値を活性化関数（具体的には、シグモイド関数）に当て嵌めることによって、入力ゲートブロック３２０の状態データｉ_{（ｔ，ｊ）}を算出する。

【0033】

【数2】

【0034】

ここで、Ｕ_{ｉ（ｔ，ｊ）}及びＷ_{ｉ（ｔ，ｊ）}は入力ゲートブロック３２０における重みであり、ｂ_{ｉ（ｔ，ｊ）}は入力ゲートブロック３２０におけるバイアスである。

【0035】

忘却ゲートブロック３３０は、入力データｖ_{（ｔ，ｊ－１）}及び隠れ状態データｈ_{（ｔ－１，ｊ）}を入力すると、次式（３）により忘却ゲートブロック３３０の状態データｆ_{（ｔ，ｊ）}を算出する。ここで、忘却ゲートブロック３３０は重み付け和ブロック３３１及び活性化関数ブロック３３２から構成されている。重み付け和ブロック３３１は、入力データｖ_{（ｔ，ｊ－１）}と重みＵ_{ｆ（ｔ，ｊ）}の積と、隠れ状態データｈ_{（ｔ－１，ｊ）}と重みＷ_{ｆ（ｔ，ｊ）}の積と、バイアスｂ_{ｆ（ｔ，ｊ）}とを加算して、その和をネット値として算出する。活性化関数ブロック３３２は、重み付け和ブロック３３１によって算出されたネット値を活性化関数（具体的には、シグモイド関数）に当て嵌めることによって、入力ゲートブロック３２０の状態データｉ_{（ｔ，ｊ）}を算出する。

【0036】

【数3】

【0037】

ここで、Ｕ_{ｆ（ｔ，ｊ）}及びＷ_{ｆ（ｔ，ｊ）}は忘却ゲートブロック３３０における重みであり、ｂ_{ｆ（ｔ，ｊ）}は忘却ゲートブロック３３０におけるバイアスである。

【0038】

出力ゲートブロック３４０は、入力データｖ_{（ｔ，ｊ－１）}及び隠れ状態データｈ_{（ｔ－１，ｊ）}を入力すると、次式により出力ゲートブロック３４０の状態データｏ_{（ｔ，ｊ）}を算出する。ここで、出力ゲートブロック３４０は重み付け和ブロック３４１及び活性化関数ブロック３４２から構成され、重み付け和ブロック３４１は、入力データｖ_{（ｔ，ｊ－１）}と重みＵ_{ｏ（ｔ，ｊ）}の積と、隠れ状態データｈ_{（ｔ－１，ｊ）}と重みＷ_{ｏ（ｔ，ｊ）}の積と、バイアスｂ_{ｏ（ｔ，ｊ）}とを加算することによって、それら和をネット値として算出する。活性化関数ブロック３４２は、重み付け和ブロック３４１によって算出されたネット値を活性化関数（具体的には、シグモイド関数）に当て嵌めることによって、入力ゲートブロック３２０の状態データｏ_{（ｔ，ｊ）}を算出する。

【0039】

【数4】

【0040】

ここで、Ｕ_{ｏ（ｔ，ｊ）}及びＷ_{ｏ（ｔ，ｊ）}は出力ゲートブロック３４０における重みであり、ｂ_{ｏ（ｔ，ｊ）}は出力ゲートブロック３４０におけるバイアスである。

【0041】

乗算ブロック３５０は、入力ブロック３１０によって算出された状態データｉ_{（ｔ，ｊ）}と入力ゲートブロック３２０によって算出された状態データｉ_{（ｔ，ｊ）}を入力すると、これらを次式（５）のようにアダマール乗算することによってアダマール積を算出する。アダマール積とは、同じサイズの行列の要素ごとの積をいう。

【0042】

【数5】

【0043】

乗算ブロック３６０は、忘却ゲートブロック３３０によって算出された状態データｆ_{（ｔ，ｊ）}と、メモリセル３７５に保持された前のステップの加算ブロック３７０の計算結果（記憶データＣ_{（ｔ－１，ｊ）}）とを入力すると、これらを次式（６）のようにアダマール乗算することによってアダマール積を算出する。

【0044】

【数6】

【0045】

加算ブロック３７０は、乗算ブロック３５０によって算出されたアダマール積と、乗算ブロック３６０によって算出されたアダマール積とを入力すると、これらを次式（７）のように加算して、その計算結果（記憶データＣ_{（ｔ，ｊ）}）をメモリセル３７５に格納する。

【0046】

【数7】

【0047】

式（７）はメモリセル３７５の更新式である。つまり、メモリセル３７５は、保持していた前のステップの加算ブロック３７０の計算結果（記憶データＣ_{（ｔ－１，ｊ）}）を本ステップの加算ブロック３７０の計算結果（記憶データＣ_{（ｔ，ｊ）}）に更新して、それを保持する。

【0048】

活性化関数ブロック３８０は、メモリセル３７５に更新保持された加算ブロック３７０の計算結果（記憶データＣ_{（ｔ，ｊ）}）を活性化関数（具体的には、双曲線正接関数）に当て嵌めることによって、活性化状態データを算出する。

【0049】

乗算ブロック３３０は、忘却ゲートブロック３３０によって算出された状態データｆ_{（ｔ，ｊ）}と、活性化関数ブロック３８０によって算出された活性化状態データとを入力すると、これらを次式（８）のようにアダマール乗算することによって隠れ状態データｈ_{（ｔ，ｊ）}を算出する。

【0050】

【数8】

【0051】

図３及び図４に示すように、乗算ブロック３３０によって算出された隠れ状態データｈ_{（ｔ，ｊ）}は、同一層の次のステップに長短期記憶ブロックに出力される。乗算ブロック３３０によって算出された隠れ状態データｈ_{（ｔ，ｊ）}に等しいデータｙ_{（ｔ，ｊ）}が次の層の長短期ブロック又は全結合ブロック２６１に出力される。

【0052】

上述のように構成されたリカレントニューラルネットワーク２００の各長短期記憶ブロック２２１，２３１，２４１，２５１における重みＵ_{ｓ（ｔ，ｊ）}，Ｗ_{ｓ（ｔ，ｊ）}，ｂ_{ｓ（ｔ，ｊ）}，Ｕ_{ｉ（ｔ，ｊ）}，Ｗ_{ｉ（ｔ，ｊ）}，ｂ_{ｉ（ｔ，ｊ）}，Ｕ_{ｆ（ｔ，ｊ）}，Ｗ_{ｆ（ｔ，ｊ）}，ｂ_{ｆ（ｔ，ｊ）}，Ｕ_{ｏ（ｔ，ｊ）}，Ｗ_{ｏ（ｔ，ｊ）}，ｂ_{ｏ（ｔ，ｊ）}は学習済みパラメータ群５６としてストレージ５０に記憶されている。未学習の場合、学習済みパラメータ群５６としてストレージ５０に予め記憶された重みＵ_{ｓ（ｔ，ｊ）}，Ｗ_{ｓ（ｔ，ｊ）}，ｂ_{ｓ（ｔ，ｊ）}，Ｕ_{ｉ（ｔ，ｊ）}，Ｗ_{ｉ（ｔ，ｊ）}，ｂ_{ｉ（ｔ，ｊ）}，Ｕ_{ｆ（ｔ，ｊ）}，Ｗ_{ｆ（ｔ，ｊ）}，ｂ_{ｆ（ｔ，ｊ）}，Ｕ_{ｏ（ｔ，ｊ）}，Ｗ_{ｏ（ｔ，ｊ）}，ｂ_{ｏ（ｔ，ｊ）}の値は乱数である。

【0053】

〔３． 学習部〕
学習部１２は、ＲＮＮモデル構築部１１によって構築されたリカレントニューラルネットワーク２００に多数の教師データ５２を学習させて、学習済みパラメータ群５６を更新する。以下、具体的に説明する。

【0054】

まず、学習部１２は、ストレージ５０から現在の学習済みパラメータ群５６を取得して、学習済みパラメータ群５６の重みＵ_{ｓ（ｔ，ｊ）}，Ｗ_{ｓ（ｔ，ｊ）}，ｂ_{ｓ（ｔ，ｊ）}，Ｕ_{ｉ（ｔ，ｊ）}，Ｗ_{ｉ（ｔ，ｊ）}，，ｂ_{ｉ（ｔ，ｊ）}，Ｕ_{ｆ（ｔ，ｊ）}，Ｗ_{ｆ（ｔ，ｊ）}，ｂ_{ｆ（ｔ，ｊ）}，Ｕ_{ｏ（ｔ，ｊ）}，Ｗ_{ｏ（ｔ，ｊ）}，ｂ_{ｏ（ｔ，ｊ）}をリカレントニューラルネットワーク２００の各長短期記憶ブロック２２１，２３１，２４１，２５１に割り当てる。

【0055】

次に、学習部５６は、ストレージ５０から何れかの教師データ５２を取得して、教師データ５２の荷重及び速度の時系列データ５３、５４をリカレントニューラルネットワーク２００の入力層２１０に入力して、リカレントニューラルネットワーク２００のフォワード処理を実行する。これにより、学習部５６は、リカレントニューラルネットワーク２００の隠れ層２２０，２３０，２４０，２５０、全結合層２６０及びドロップアウト層２７０を活性化させることによって出力層２８０の各出力ユニット２８１における出力データｚ_ｔを算出して、出力データｚ_ｔを時系列で配列した出力時系列データを取得する。

【0056】

次に、学習部５６は、各ステップにつき、教師データ５２の変位時系列データ５３における変位データと出力データｚ_ｔとを損失関数に当て嵌めて、教師データ５２の変位時系列データ５３における変位データと出力データｚ_ｔとの損失を算出する。損失関数は半平均二乗誤差関数であることが好ましいが、平均二乗誤差関数、平均絶対誤差関数、平均対数誤差関数又は交差エントロピー誤差関数であってもよい。

【0057】

次に、学習部５６は、バックプロパゲーション処理により、損失を各長短期記憶ブロック２２１，２３１，２４１，２５１における現在の重みＵ_{ｓ（ｔ，ｊ）}，Ｗ_{ｓ（ｔ，ｊ）}，ｂ_{ｓ（ｔ，ｊ）}，Ｕ_{ｉ（ｔ，ｊ）}，Ｗ_{ｉ（ｔ，ｊ）}，ｂ_{ｉ（ｔ，ｊ）}，Ｕ_{ｆ（ｔ，ｊ）}，Ｗ_{ｆ（ｔ，ｊ）}，ｂ_{ｆ（ｔ，ｊ）}，Ｕ_{ｏ（ｔ，ｊ）}，Ｗ_{ｏ（ｔ，ｊ）}，ｂ_{ｏ（ｔ，ｊ）}でそれぞれ微分した微分パラメータ（勾配）を算出する。ここで、微分パラメータの算出の際には、勾配クリッピング法が採用される。つまり、微分パラメータが所定の閾値を超える場合には、その微分パラメータは所定の閾値（例えば、1.0）で正規化される。

【0058】

次に、学習部５６は、勾配降下法、特にＡｄａｍの最適化アルゴリズムを利用した勾配降下法により、各長短期記憶ブロック２２１，２３１，２４１，２５１における現在の重みＵ_{ｓ（ｔ，ｊ）}とその微分パラメータとに基づいて新たな重みＵ_{ｓ（ｔ，ｊ）}を算出する。同様に、学習部５６は、各長短期記憶ブロック２２１，２３１，２４１，２５１における新たな重みＷ_{ｓ（ｔ，ｊ）}，ｂ_{ｓ（ｔ，ｊ）}，Ｕ_{ｉ（ｔ，ｊ）}，Ｗ_{ｉ（ｔ，ｊ）}，ｂ_{ｉ（ｔ，ｊ）}，Ｕ_{ｆ（ｔ，ｊ）}，Ｗ_{ｆ（ｔ，ｊ）}，ｂ_{ｆ（ｔ，ｊ）}，Ｕ_{ｏ（ｔ，ｊ）}，Ｗ_{ｏ（ｔ，ｊ）}，ｂ_{ｏ（ｔ，ｊ）}を算出する。Ａｄａｍの最適化アルゴリズムの場合、微分パラメータの１次モーメント（平均値）に係わる係数の値は例えば0.900であり、微分パラメータの２次モーメント（分散）に係わる係数の値は例えば0.999であり、初期学習率の値は0.005であるが、これらの数値に限るものではない。

【0059】

次に、学習部５６は、ストレージ５０に格納された学習済みパラメータ群５６を、算出した新たな重みＵ_{ｓ（ｔ，ｊ）}，Ｗ_{ｓ（ｔ，ｊ）}，ｂ_{ｓ（ｔ，ｊ）}，Ｕ_{ｉ（ｔ，ｊ）}，Ｗ_{ｉ（ｔ，ｊ）}，ｂ_{ｉ（ｔ，ｊ）}，Ｕ_{ｆ（ｔ，ｊ）}，Ｗ_{ｆ（ｔ，ｊ）}，ｂ_{ｆ（ｔ，ｊ）}，Ｕ_{ｏ（ｔ，ｊ）}，Ｗ_{ｏ（ｔ，ｊ）}，ｂ_{ｏ（ｔ，ｊ）}に更新する。

【0060】

以上が１回の学習処理であり、学習部５６が他の教師データ５２を利用して同様の処理を繰り返し実行すると、学習済みパラメータ群５６が最適化される。ここで、上述したように勾配クリッピング法が採用されているため、学習が繰り返されても、勾配消失及び勾配爆発が抑えられる。

【0061】

〔４． 予測部〕
予測部１３は、ＲＮＮモデル構築部１１によって構築されたリカレントニューラルネットワーク２００を用いて、分析データ５７から変位の時系列データを予測する。以下、具体的に説明する。

【0062】

まず、予測部１３は、ストレージ５０から学習済みパラメータ群５６を取得して、学習済みパラメータ群５６の重みＵ_{ｓ（ｔ，ｊ）}，Ｗ_{ｓ（ｔ，ｊ）}，ｂ_{ｓ（ｔ，ｊ）}，Ｕ_{ｉ（ｔ，ｊ）}，Ｗ_{ｉ（ｔ，ｊ）}，，ｂ_{ｉ（ｔ，ｊ）}，Ｕ_{ｆ（ｔ，ｊ）}，Ｗ_{ｆ（ｔ，ｊ）}，ｂ_{ｆ（ｔ，ｊ）}，Ｕ_{ｏ（ｔ，ｊ）}，Ｗ_{ｏ（ｔ，ｊ）}，ｂ_{ｏ（ｔ，ｊ）}をリカレントニューラルネットワーク２００の各長短期記憶ブロック２２１，２３１，２４１，２５１に割り当てる。

【0063】

次に、予測部１３は、ストレージ５０から分析データ５７を取得して、分析データ５７の荷重及び速度の時系列データ５８、５９をリカレントニューラルネットワーク２００の入力層２１０に入力する。これにより、予測部５６は、リカレントニューラルネットワーク２００の隠れ層２２０，２３０，２４０，２５０、全結合層２６０及びドロップアウト層２７０を活性化させることによって出力層２８０の各出力ユニット２８１における出力データｚ_ｔを算出して、出力データｚ_ｔを時系列で配列した予測変位の時系列データを取得する。この時系列データは、予測した変位の値が時系列で配列された離散的なデータ列である。

【0064】

次に、予測部１３は、算出した予測変位の時系列データを予測結果の時系列データ６０としてストレージ５０に記録する。

【0065】

また、予測部１３は、予測変位の時系列データからチャートを生成し、そのチャートを画面に含む映像信号を表示デバイス３０に出力する。そうすると、そのチャートが表示デバイス３０に表示される。チャートは、例えば、時間を横軸で表し、予測変位を縦軸で表し、予測変位の値が時系列でプロットされたものである。

【0066】

また、予測部１３は、予測変位の時系列データの各値と、荷重の時系列データ５８の各値とを同一時刻で対応付けして、予測変位の時系列データと荷重の時系列データ５８との対応関係を表したチャートを生成し、そのチャートを画面に含む映像信号を表示デバイス３０に出力する。そうすると、そのチャートが表示デバイス３０に表示される。チャートは、例えば、予測変位を横軸で表し、荷重を縦軸で表し、対応付けられた荷重の値と予測変位の値とがプロットされたものである。

【0067】

また、予測部１３は、予測変位の時系列データの各値と、速度の時系列データ５８の各値とを同一時刻で対応付けして、予測変位の時系列データと速度の時系列データ５８との対応関係を表したチャートを生成し、そのチャートを画面に含む映像信号を表示デバイス３０に出力する。そうすると、そのチャートが表示デバイス３０に表示される。チャートは、例えば、予測変位を横軸で表し、速度を縦軸で表し、対応付けられた速度の値と予測変位の値とがプロットされたものである。

【0068】

〔５． 有利な効果〕
減衰装置９０を数式でモデル化しなくても、学習済みのリカレントニューラルネットワーク２００を用いて荷重及び速度の時系列データ５８，５９から変位の時系列データを算出することができる。つまり、時間の経過に伴って変化する荷重及び速度が減衰装置９０に与えられた場合の応答を変位の時系列データとして算出することができる。特に日常に生じる小さな荷重であっても、また終局に至る大きな荷重であっても、応答変位を算出することができる。

【0069】

リカレントニューラルネットワーク２００を用いたため、時系列の回帰型のモデル化が可能となる。つまり、隠れ層２１０，２３０，２４０，２５０の各々では、或るステップにおけるニューロンの入力が前のステップのニューロンの出力に結合されているため、前のステップの計算結果が次のステップの計算に回帰されて影響を及ぼすため、リカレントニューラルネットワーク２００は時系列データの算出に適している。

【0070】

リカレントニューラルネットワーク２００が長短期記憶（Long short-term memory：LSTM）のアーキテクチャを利用したものであるため、時系列における長期にわたる記憶が実現され、勾配消失が生じにくい。従って、長短期記憶のアーキテクチャを利用したリカレントニューラルネットワーク２００は、地震等のように大小様々な荷重が長期にわたって励起するような場合の応答解析に適している。

【0071】

また、リカレントニューラルネットワーク２００は複数の隠れ層２１０，２３０，２４０，２５０を有するため、予測精度が向上するが、複数の隠れ層２１０，２３０，２４０，２５０は勾配消失等の要因になり得る。そのような問題点は長短期記憶のアーキテクチャによって解消される。

【0072】

〔６． 変形例〕
上記実施形態では、分析データ５７が荷重の時系列データ５８と速度の時系列データ５９からなり、予測時には、荷重の時系列データ５８と速度の時系列データ５９がリカレントニューラルネットワーク２００の入力層２１０に入力され、変位の時系列データが出力層２８０に出力される。それに対して、分析データ５７が荷重の時系列データ５８と変位の時系列データからなり、荷重の時系列データ５８と変位の時系列データがリカレントニューラルネットワーク２００の入力層２１０に入力され、速度の時系列データが出力層２８０に出力されてもよい。この場合、教師データ５２における正解は速度の時系列データ５４であり、学習時には、荷重及び変位の時系列データ５３、５５がリカレントニューラルネットワーク２００の入力層２１０に入力され、教師データ５２の速度時系列データ５４における速度データと出力データｚ_ｔとの損失が算出される。

【0073】

また、分析データ５７が速度の時系列データ５９と変位の時系列データからなり、速度の時系列データ５９と変位の時系列データがリカレントニューラルネットワーク２００の入力層２１０に入力され、荷重の時系列データが出力層２８０に出力されてもよい。この場合、教師データ５２における正解は荷重の時系列データ５３であり、学習時には、速度及び変位の時系列データ５４、５５がリカレントニューラルネットワーク２００の入力層２１０に入力され、教師データ５２の荷重時系列データ５３における荷重データと出力データｚ_ｔとの損失が算出される。

【0074】

上記実施形態では、力学モデルとして減衰装置９０の例を挙げ、減衰装置９０についてのシミュレーション又は実験により求められた時系列データ５３、５４，５５が教師データ５２として利用される。力学モデルは減衰装置９０に限らず、土木建築構造物（例えば、建物、橋梁、梁、柱等）又は機械構造物（例えば、自動車の車体、弾性装置、ばね要素等）であり、土木建築構造物又は機械構造物についてのシミュレーション又は実験により求められた速度、荷重及び変位の時系列データが教師データ５２として利用されてもよい。

【符号の説明】

【0075】

１０…演算処理装置
１１…ＲＮＮモデル構築部
１２…学習部
１３…予測部
５１…プログラム
５２…教師データ
５７…分析データ
２００…リカレントニューラルネットワーク
２１０…入力層
２２０，２３０，２４０，２５０…隠れ層
２６０…全結合層
２７０…ドロップアウト層
２８０…出力層
２２１，２３１，２４１，２５１…長短期記憶ブロック

【図1】

【図2】

【図3】

【図4】