特許 7512158 強化学習モデル生成方法、強化学習モデル生成装置、地下構造モデル提供方法、及び、地下構造モデル提供装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-28

(45)【発行日】2024-07-08

(54)【発明の名称】強化学習モデル生成方法、強化学習モデル生成装置、地下構造モデル提供方法、及び、地下構造モデル提供装置

(51)【国際特許分類】

   G01V 1/28 20060101AFI20240701BHJP

【ＦＩ】

G01V1/28

【請求項の数】 5

(21)【出願番号】P 2020168916

(22)【出願日】2020-10-06

(65)【公開番号】P2022061128

(43)【公開日】2022-04-18

【審査請求日】2023-08-30

(73)【特許権者】

【識別番号】000002299

【氏名又は名称】清水建設株式会社

(74)【代理人】

【識別番号】100214260

【弁理士】

【氏名又は名称】相羽 昌孝

(74)【代理人】

【識別番号】100139114

【弁理士】

【氏名又は名称】田中 貞嗣

(74)【代理人】

【識別番号】100139103

【弁理士】

【氏名又は名称】小山 卓志

(74)【代理人】

【氏名又は名称】片寄 武彦

(72)【発明者】

【氏名】石井 透

(72)【発明者】

【氏名】小穴 温子

(72)【発明者】

【氏名】和田 健介

【審査官】佐々木 崇

(56)【参考文献】

【文献】特開２０１８－１２８９２９（ＪＰ，Ａ）

【文献】特開２０１７－１６４８０１（ＪＰ，Ａ）

【文献】特開２０２０－１１３０５６（ＪＰ，Ａ）

【文献】特開２０１９－１５７８４１（ＪＰ，Ａ）

【文献】特開２０１６－１３３４９７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２４３０１７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｖ １／００－９９／００

Ｇ０６Ｎ ３／００－ ３／１２

７／０８－９９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータを用いて、強化学習により地下構造モデルを更新するための強化学習モデルを生成する強化学習モデル生成方法であって、
所定の震源特性を有する実地震について地震動が観測されたときの地震動指標観測結果を取得する観測データ取得工程と、
前記震源特性を有する仮想地震について前記地下構造モデルに基づくシミュレーションが実行されたときの地震動指標算出結果を取得するシミュレーションデータ取得工程と、
前記震源特性に対する前記地震動指標観測結果及び前記地震動指標算出結果に基づいて前記地下構造モデルを修正する修正操作を前記強化学習モデルに実行させて、前記修正操作により修正された前記地下構造モデルの修正版を生成する地下構造モデル修正工程と、
前記修正版に基づく前記シミュレーションが再実行されたときの地震動指標算出結果と前記地震動指標観測結果との差異に応じた報酬を前記強化学習モデルに与えて前記修正操作を学習させることにより、前記強化学習の学習済みモデルとして前記強化学習モデルを生成する機械学習工程と、を含む、
強化学習モデル生成方法。

【請求項2】

コンピュータを用いて、請求項１に記載の強化学習モデル生成方法により生成された前記強化学習モデルに基づいて地下構造モデルを更新し、前記地下構造モデルの最新版を外部に提供する地下構造モデル提供方法であって、
所定の震源特性を有する実地震について地震動が観測されたときの地震動指標観測結果を取得する観測データ取得工程と、
前記震源特性を有する仮想地震について前記地下構造モデルに基づくシミュレーションが実行されたときの地震動指標算出結果を取得するシミュレーションデータ取得工程と、
前記震源特性に対する前記地震動指標観測結果及び前記地震動指標算出結果に基づいて前記地下構造モデルを修正する修正操作を前記強化学習モデルに実行させて、前記修正操作により修正された前記地下構造モデルの修正版を生成する地下構造モデル修正工程と、
前記修正版に基づいて前記地下構造モデルを更新し、前記最新版として外部に提供する地下構造モデル提供工程と、を含む、
地下構造モデル提供方法。

【請求項3】

前記修正版に基づく前記シミュレーションが再実行されたときの地震動指標算出結果と前記地震動指標観測結果との差異に応じた報酬を前記強化学習モデルに与えて前記修正操作を学習させることにより、前記強化学習の学習済みモデルとして前記強化学習モデルを生成する機械学習工程をさらに含む、
請求項２に記載の地下構造モデル提供方法。

【請求項4】

コンピュータであって、
請求項１に記載の強化学習モデル生成方法に含まれる各工程を実行する制御部を備える、
強化学習モデル生成装置。

【請求項5】

コンピュータであって、
請求項２又は請求項３に記載の地下構造モデル提供方法に含まれる各工程を実行する制御部を備える、
地下構造モデル提供装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、強化学習モデル生成方法、強化学習モデル生成装置、地下構造モデル提供方法、及び、地下構造モデル提供装置に関する。

【背景技術】

【0002】

地震動の特徴分析・解釈・評価・予測、構造物の挙動予測・構造設計、地震防災等において、その精度や信頼性を担保するには、地下構造に関するデータや諸情報とそれに基づく地下構造モデルが極めて重要である。

【0003】

例えば、特許文献１には、地下構造モデルを構築するための計測装置として、３点以上に振動センサを設置し、それら振動センサにより計測された振動データを解析することで、地盤の層構造、性質等の特性を判定することが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平４－１２２９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示された計測装置は、計測に際して計測作業者が振動センサを設置しなければならないため、設置場所の選定や設置の作業には計測作業者の技量や経験が求められ、計測結果の信頼性を左右する。また、計測結果には、振動センサ自体の誤差や解析処理の誤差等も含まれる。

【0006】

一方、近年、地下構造モデルの改善に有用で膨大な地震観測記録が日常的・自動的・連続的に蓄積され、利用可能となっている。このような状況にも関わらず、専門分野の細分化・高度化や少子化に伴う専門家の減少といった環境変化も相まって、専門家が地下構造モデルの構築と検証に十分な時間と労力を費やすことが困難になりつつある。

【0007】

本発明は、このような事情を考慮してなされたものであって、計測作業者の技量や経験に依存することなく、また、専門家の知見や検証作業に係る時間と労力を要することなく、高精度な地下構造モデルを自動生成及び自動更新することを可能とする、強化学習モデル生成方法、強化学習モデル生成装置、地下構造モデル提供方法、及び、地下構造モデル提供装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明は、上記課題を解決するものであって、本発明の一実施形態に係る強化学習モデル生成方法は、
コンピュータを用いて、強化学習により地下構造モデルを更新するための強化学習モデルを生成する強化学習モデル生成方法であって、
所定の震源特性を有する実地震について地震動が観測されたときの地震動指標観測結果を取得する観測データ取得工程と、
前記震源特性を有する仮想地震について前記地下構造モデルに基づくシミュレーションが実行されたときの地震動指標算出結果を取得するシミュレーションデータ取得工程と、
前記震源特性に対する前記地震動指標観測結果及び前記地震動指標算出結果に基づいて前記地下構造モデルを修正する修正操作を前記強化学習モデルに実行させて、前記修正操作により修正された前記地下構造モデルの修正版を生成する地下構造モデル修正工程と、
前記修正版に基づく前記シミュレーションが再実行されたときの地震動指標算出結果と前記地震動指標観測結果との差異に応じた報酬を前記強化学習モデルに与えて前記修正操作を学習させることにより、前記強化学習の学習済みモデルとして前記強化学習モデルを生成する機械学習工程と、を含む。

【0009】

また、本発明の一実施形態に係る強化学習モデル生成装置は、
コンピュータであって、上記強化学習モデル生成方法に含まれる各工程を実行する制御部を備える。

【0010】

また、本発明の一実施形態に係る地下構造モデル提供方法は、
コンピュータを用いて、上記強化学習モデル生成方法により生成された前記強化学習モデルに基づいて地下構造モデルを更新し、前記地下構造モデルの最新版を外部に提供する地下構造モデル提供方法であって、
所定の震源特性を有する実地震について地震動が観測されたときの地震動指標観測結果を取得する観測データ取得工程と、
前記震源特性を有する仮想地震について前記地下構造モデルに基づくシミュレーションが実行されたときの地震動指標算出結果を取得するシミュレーションデータ取得工程と、
前記震源特性に対する前記地震動指標観測結果及び前記地震動指標算出結果に基づいて前記地下構造モデルを修正する修正操作を前記強化学習モデルに実行させて、前記修正操作により修正された前記地下構造モデルの修正版を生成する地下構造モデル修正工程と、
前記修正版に基づいて前記地下構造モデルを更新し、前記最新版として外部に提供する地下構造モデル提供工程と、を含む。

【0011】

また、本発明の一実施形態に係る地下構造モデル提供装置は、
コンピュータであって、上記地下構造モデル提供方法に含まれる各工程を実行する制御部を備える。

【発明の効果】

【0012】

本発明の一実施形態に係る強化学習モデル生成方法、及び、強化学習モデル生成装置によれば、強化学習モデルに、地震動指標算出結果と地震動指標観測結果との差異に応じた報酬を与えて地下構造モデルの修正操作を学習させるので、計測作業者の技量や経験に依存することなく、また、専門家の知見や検証作業に係る時間と労力を要することなく、高精度な地下構造モデルを自動生成及び自動更新することが可能な強化学習モデルを生成することができる。

【0013】

また、本発明の一実施形態に係る地下構造モデル提供方法、及び、地下構造モデル提供装置によれば、地下構造モデルに対する修正操作を学習させた強化学習モデルが、新たに取得された地震動指標観測結果及び地震動指標算出結果に基づいて地下構造モデルの修正版を生成するので、計測作業者の技量や経験に依存することなく、また、専門家の知見や検証作業に係る時間と労力を要することなく、高精度な地下構造モデルを自動生成及び自動更新することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の第１の実施形態に係る地下構造モデル提供・利用システム１の一例を示す概略構成図である。

【図2】本発明の第１の実施形態に係る地下構造モデル提供・利用システム１の一例を示すブロック図である。

【図3】データベース１０の一例を示すデータ構成図である。

【図4】地下構造モデル１３の一例を示すデータ構成図である。

【図5】本発明の第１の実施形態に係る地下構造モデル提供装置３Ａによる地下構造モデル提供方法の一例を示すフローチャートである。

【図6】強化学習モデル１２及び地下構造モデル１３における強化学習の仕組みの一例を示す概略図である。

【図7】本発明の第２の実施形態に係る地下構造モデル提供・利用システム１の一例を示す概略構成図である。

【図8】本発明の第２の実施形態に係る地下構造モデル提供・利用システム１の一例を示すブロック図である。

【発明を実施するための形態】

【0015】

以下、本発明の一実施形態について添付図面を参照しつつ説明する。

【0016】

（第１の実施形態）
図１は、本発明の第１の実施形態に係る地下構造モデル提供・利用システム１の一例を示す概略構成図である。図２は、本発明の第１の実施形態に係る地下構造モデル提供・利用システム１の一例を示すブロック図である。

【0017】

地下構造モデル提供・利用システム１は、実地震による地震動が観測されたときの観測データを外部に提供する観測データ提供装置２と、地下構造に関する地下構造モデル１３の修正版１３０を生成し、地下構造モデル１３の最新版１３１を外部に提供する地下構造モデル提供装置３Ａと、地下構造モデル提供装置３Ａにより提供された地下構造モデル１３を利用する地下構造モデル利用装置４と、各装置間を接続するネットワーク５とを備える。

【0018】

観測データ提供装置２は、実地震が発生し、当該実地震による地震動が複数の観測点で観測されたときの地震動観測記録と、当該地震動観測記録から得られる震源特性や地震動指標等の解析情報と、観測点の各位置を示す観測点位置等の付加情報とを含む観測データを外部に提供する。地震動観測記録は、例えば、国立研究開発法人防災科学技術研究所（以下、「防災科研」という）の強震観測網Ｋ－ＮＥＴにより提供されるデータが使用される。また、解析情報は、例えば、防災科研の広帯域震観測網Ｆ－ＮＥＴや気象庁により提供されるデータが使用される。

【0019】

なお、観測データ提供装置２は、実地震が発生したときに、当該実地震に関する観測データをリアルタイムに地下構造モデル提供装置３Ａに提供してもよいし、地下構造モデル提供装置３Ａからデータの要求を受けたときに、その要求に関する観測データ（過去に発生した実地震のうち所定の条件に合致する複数の実地震に関する観測データでもよい）を地下構造モデル提供装置３Ａに提供してもよい。

【0020】

地下構造モデル提供装置３Ａは、地下構造パラメータとして、例えば、層厚、密度、地震波伝播速度、Ｑ値、減衰定数等を含む地下構造モデル１３を外部に提供する。地下構造モデル提供装置３Ａの詳細は後述する。

【0021】

地下構造モデル利用装置４は、地下構造モデル提供装置３Ａにより提供された地下構造モデル１３を利用して、各種の計算を実行したり、サービスを実現したりする。地下構造モデル利用装置４は、例えば、地震動の特徴分析・解釈・評価・予測等を行う装置、建築物・構造物の挙動予測・構造設計を行う装置、地震防災情報の配信等を行う装置である。図１では、地下構造モデル利用装置４は１つであるが、複数でもよい。

【0022】

ネットワーク５は、無線通信又は有線通信により各種のデータや信号を通信するものであり、任意の通信規格が用いられる。

【0023】

（地下構造モデル提供装置３Ａの詳細について）
地下構造モデル提供装置３Ａは、観測データ提供装置２により提供された観測データを収集し、データベース１０を随時更新する。地下構造モデル提供装置３Ａは、その更新したデータベース１０を用いて、地下構造モデル１３を更新するための強化学習モデル１２を強化学習により生成するとともに、強化学習モデル１２に基づいて地下構造モデル１３を更新し、地下構造モデル１３の最新版１３１を外部（本実施形態では、地下構造モデル利用装置４）に提供する。なお、初期の地下構造モデル１３は、既往の研究や知見から推定された任意の地下構造モデルを用いることができる。

【0024】

地下構造モデル提供装置３Ａは、汎用又は専用のコンピュータで構成されており、図２に示すように、ＨＤＤ、メモリ等により構成される記憶部３０と、ＣＰＵ、ＧＰＵ等のプロセッサにより構成される制御部３１と、ネットワーク５との通信インターフェースである通信部３２と、キーボード、マウス等により構成される入力部３３と、ディスプレイ、タッチパネル等により構成される表示部３４とを備える。

【0025】

記憶部３０には、強化学習モデル１２及び地下構造モデル１３の他に、観測データ提供装置２により提供された観測データが登録・更新されるデータベース１０と、地下構造モデル提供装置３Ａの動作を制御して地下構造モデル提供方法を実現する地下構造モデル提供プログラム３００とが記憶されている。なお、データベース１０は、記憶部３０に代えて、外部記憶装置に記憶されていてもよく、その場合には、地下構造モデル提供装置３Ａは、ネットワーク５を介して当該外部記憶装置と通信し、データベース１０にアクセスするようにすればよい。

【0026】

制御部３１は、地下構造モデル提供プログラム３００を実行することにより、ＤＢ管理部３１０、観測データ取得部３１１、シミュレーションデータ取得部３１２、地下構造モデル修正部３１３、機械学習部３１４、及び、地下構造モデル提供部３１５として機能する。

【0027】

ＤＢ管理部３１０は、観測データ提供装置２により提供された観測データに基づいて、実地震による地震動が観測されたときの震源特性、観測点位置、地震動観測記録及び地震動指標観測結果を関連付けて、データベース１０に登録する。

【0028】

図３は、データベース１０の一例を示すデータ構成図である。

【0029】

データベース１０には、複数の地震と当該複数の地震による地震動が観測された少なくとも１つの観測点との各組み合わせについて、当該地震動が観測されたときの震源特性、観測点位置、地震動観測記録及び地震動指標観測結果が関連付けられた観測データ１１が複数登録されて記憶されている。

【0030】

震源特性は、例えば、マグニチュード（モーメントマグニチュードＭｗ、気象庁マグニチュード等）、震央位置（緯度ｌａｔ＿ｅｑ，経度ｌｏｎ＿ｅｑ）、震源深さＨ、地震種別Ｔｙｐｅ（内陸地殻内地震・プレート境界地震・スラブ内地震）、断層タイプＭｅｃｈ（正断層・逆断層・横ずれ断層）、震源メカニズム解（走向Ｓｔｒｉｋｅ１、傾斜角ｄｉｐ１、すべり角ｒａｋｅ１）、及び、震源メカニズム解の共役解（走向Ｓｔｒｉｋｅ２、傾斜角ｄｉｐ２、すべり角ｒａｋｅ２）等の少なくとも１つである。本実施形態に係る震源特性は、モーメントマグニチュードＭｗ、震央位置（緯度ｌａｔ＿ｅｑ，経度ｌｏｎ＿ｅｑ）、震源深さＨ、地震種別Ｔｙｐｅ、断層タイプＭｅｃｈ、震源メカニズム解（Ｓｔｒｉｋｅ１、ｄｉｐ１、ｒａｋｅ１）、及び、震源メカニズム解の共役解（Ｓｔｒｉｋｅ２、ｄｉｐ２、ｒａｋｅ２）である。

【0031】

地震動観測記録は、例えば、南北方向、東西方向及び上下方向に対する三成分の加速度、速度、及び、変位の時刻歴波形である。地震動観測記録は、所定の評価手法により評価・解析されることで、各種の地震動指標が得られる。本実施形態に係る地震動観測記録は、強震観測網Ｋ－ＮＥＴのうち関東地方一都六県（東京・神奈川・千葉・埼玉・茨城・栃木・群馬）に設置された観測点１３８地点（図１参照）にて観測された水平二成分（南北方向及び東西方向）に対する時刻歴波形である。

【0032】

地震動指標観測結果は、地震動の振幅特性、周期特性、及び、経時特性の少なくとも１つを含む。

【0033】

振幅特性は、地震動観測記録（加速度、速度、及び、変位の時刻歴波形）から得られる地震動の最大加速度ＰＧＡ、最大速度、及び、最大変位の少なくとも１つである。本実施形態に係る振幅特性は、最大加速度ＰＧＡである。

【0034】

周期特性は、地震動観測記録（加速度、速度、及び、変位の時刻歴波形）から得られる応答スペクトル又はフーリエスペクトル等において、少なくとも１つの周期に対する応答値である。応答スペクトルは、例えば、所定の減衰定数（例えば、５％）に対する加速度応答スペクトル、擬似速度応答スペクトルｐＳｖ、速度応答スペクトル、及び、変位応答スペクトル等である。フーリエスペクトルは、例えば、加速度フーリエスペクトル、速度フーリエスペクトル、及び、変位フーリエスペクトル等である。本実施形態に係る周期特性は、０．１秒、０．５秒、１秒、３秒、５秒の各周期における減衰定数５％の擬似速度応答スペクトルｐＳｖ（０．１ｓ）、ｐＳｖ（０．５ｓ）、ｐＳｖ（１ｓ）、ｐＳｖ（３ｓ）、ｐＳｖ（５ｓ）の５つである。

【0035】

経時特性は、例えば、地震動観測記録（加速度、速度、及び、変位の時刻歴波形）から得られる応答継続時間スペクトルにおいて、少なくとも１つの周期に対する応答継続時間である。応答継続時間スペクトルは、例えば、所定の減衰定数（例えば、５％）に対する加速度応答継続時間スペクトル、速度応答継続時間スペクトルＴＳｖ、及び、変位応答継続時間スペクトル等である。本実施形態に係る経時特性は、０．１秒、０．５秒、１秒、３秒、５秒の各周期における減衰定数５％の速度応答継続時間スペクトルＴＳｖ（０．１ｓ）、ＴＳｖ（０．５ｓ）、ＴＳｖ（１ｓ）、ＴＳｖ（３ｓ）、ＴＳｖ（５ｓ）の５つである。なお、応答継続時間の開始と終了を規定するパラメータは、ｐ１＝０．０３、ｐ２＝０．９５である。

【0036】

図４は、地下構造モデル１３の一例を示すデータ構成図である。地下構造モデル１３は、モデル定義位置毎に、各層の層厚、密度、地震波（Ｓ波・Ｐ波）伝播速度、Ｑ値、及び、減衰定数の少なくとも１つを含む。

【0037】

次に、地下構造モデル提供装置３Ａの制御部３１が実行する地下構造モデル提供方法と、制御部３１の各部（観測データ取得部３１１、シミュレーションデータ取得部３１２、地下構造モデル修正部３１３、機械学習部３１４、及び、地下構造モデル提供部３１５）の機能について、図５及び図６を参照して説明する。

【0038】

図５は、本発明の第１の実施形態に係る地下構造モデル提供装置３Ａによる地下構造モデル提供方法の一例を示すフローチャートである。

【0039】

地下構造モデル提供装置３Ａは、所定の地下構造モデル更新条件が満たされたときに、図５に示すフローチャートに従って、強化学習モデル１２の機械学習及び地下構造モデル１３の更新を実施する。本実施形態では、地下構造モデル更新条件として、新たな１つの観測データ１１がデータベース１０に登録された場合について説明するが、地下構造モデル更新条件は、新たな観測データ１１がデータベース１０に所定数以上登録されたときでもよいし、所定の期間毎（例えば、1時間毎、1日毎、1週間毎、1か月毎等）でもよいし、地下構造モデル提供装置３Ａの管理者から更新操作が行われたときでもよいし、これらの条件を組み合わせたものでもよい。また、地下構造モデル更新条件は、地下構造モデル提供装置３Ａの管理者からの指示操作に基づいて適宜変更されてもよいし、同一の更新条件が常時設定されていてもよい。

【0040】

まず、観測データ取得部３１１は、上記の地下構造モデル更新条件が満たされたときに、データベース１０から観測データ１１を読み出すことで、所定の震源特性を有する実地震について地震動が観測されたときの地震動指標観測結果を取得する（ステップＳ１００：観測データ取得工程）。なお、観測データ取得部３１１は、観測データ提供装置２から観測データ１１を直接取得するようにしてもよく、その場合には、ＤＢ管理部３１０やデータベース１０が省略されてもよい。

【0041】

次に、シミュレーションデータ取得部３１２は、観測データ１１における震源特性と同一の震源特性を有する仮想地震が発生したと想定し、当該仮想地震による地震動を解析するために地下構造モデル１３に基づくシミュレーションを実行する（ステップＳ１１０）。そして、シミュレーションデータ取得部３１２は、当該震源特性を有する仮想地震について地下構造モデル１３に基づくシミュレーションが実行されたときの地震動指標算出結果を取得する（ステップＳ１２０：シミュレーションデータ取得工程）。

【0042】

なお、シミュレーションデータ取得部３１２は、自装置（地下構造モデル提供装置３Ａ）にてシミュレーションを実行することで地震動指標算出結果を取得してもよいし、シミュレーションデータ提供装置等の他の装置でシミュレーションが実行されたときの地震動指標算出結果をネットワーク５経由で取得してもよい。また、シミュレーションの手法は、任意の手法が採用可能であり、複数の手法が採用されてもよい。

【0043】

次に、地下構造モデル修正部３１３は、同一の震源特性に対して観測データ取得部３１１により取得された地震動指標観測結果とシミュレーションデータ取得部３１２により取得された地震動指標算出結果とに基づいて、地下構造モデル１３を修正する修正操作を強化学習モデル１２に実行させて、修正操作により修正された地下構造モデル１３の修正版１３０を生成する（ステップＳ１３０：地下構造モデル修正工程）。

【0044】

次に、シミュレーションデータ取得部３１２は、同一の震源特性について地下構造モデル１３の修正版１３０に基づくミュレーションを再実行し（ステップＳ１４０）、シミュレーションが再実行されたときの地震動指標算出結果を再取得する（ステップＳ１５０：シミュレーションデータ再取得工程）。

【0045】

次に、機械学習部３１４は、地下構造モデル１３の修正版１３０に基づくミュレーションが再実行されたときの地震動指標算出結果と、ステップＳ１００にて取得された地震動指標観測結果との差異を算出し（ステップＳ１６０）、当該差異に応じた報酬を強化学習モデル１２に修正操作を学習させることにより、強化学習の学習済みモデルとして強化学習モデル１２を生成する（ステップＳ１７０：機械学習工程）。

【0046】

ここで、機械学習部３１４は、観測データ取得部３１１、シミュレーションデータ取得部３１２及び地下構造モデル修正部３１３とともに、強化学習のエージェントとして機能する。強化学習の基本的な仕組みにおいて、エージェントは、所定の条件下において環境の状態を観測し、その観測された状態に基づいて行動を選択（意思決定）し、当該行動に基づいて環境が変化したときに、当該環境の変化に応じた報酬が与えられる、という一連の処理を繰り返すことで、報酬が最も多く獲得できるように行動の選択（意思決定）を学習する。

【0047】

図６は、強化学習モデル１２及び地下構造モデル１３における強化学習の仕組みの一例を示す概略図である。本実施形態に係る強化学習モデル１２を、上記の強化学習の基本的な仕組みに対応させた場合、所定の条件は、震源特性及び地震動指標観測結果であり、環境は、地震動指標算出結果であり、行動は、修正操作の修正操作であり、報酬は、地震動指標算出結果と地震動指標観測結果との差異に応じた値である。

【0048】

修正操作は、図４に示すような地下構造モデル１３に含まれる各パラメータのうち少なくともの１つのパラメータを指定するともに、当該パラメータを増減するときの増加量又は減少量を指定するものである。したがって、異なるパラメータを指定するものや、異なる増加量又は減少量を指定するものを適宜組み合わせることで複数の修正操作を事前に定義することで、強化学習モデル１２は、複数の修正操作の中から特定の修正操作を選択（意思決定）する。また、強化学習モデル１２に与える報酬は、地震動指標算出結果と地震動指標観測結果との差異が小さいほど高くすることで、地震動指標算出結果と地震動指標観測結果とが一致するように、修正操作を選択するときの意思決定を強化学習モデル１２に学習させる。

【0049】

なお、強化学習の手法としては、任意の手法を採用すればよく、例えば、Ｑ学習、ＴＤ学習等を採用すればよい。また、強化学習モデル１２は、例えば、ニューラルネットワーク等で構成されて、機械学習の結果調整された行動評価関数を表すパラメータ等が記憶される。

【0050】

次に、地下構造モデル提供部３１５は、地下構造モデル１３の修正版１３０により最新版１３１を更新し、当該最新版１３１を外部に提供する（ステップＳ１８０：地下構造モデル提供工程）。その結果、最新版１３１が、外部に提供可能な状態となり公開される。その際、最新版１３１は、事前に登録された配信先（本実施形態では、地下構造モデル利用装置４）にネットワーク５を介して自動配信されてもよいし、ダウンロード可能な状態で公開されてもよい。また、地下構造モデル１３の最新版１３１だけでなく、更新前の地下構造モデル１３についても公開されてもよい。

【0051】

なお、地下構造モデル提供部３１５が、最新版１３１を更新した場合であっても、最新版１３１を外部に公開するか否かは、管理者の指示操作に基づいて最終的に決定されるようにしてもよい。また、地下構造モデル提供部３１５は、地下構造モデル１３の修正版１３０に対して所定の検証処理を実施し、その結果有効性が認められた場合に、修正版１３０により最新版１３１を更新するようにしてもよい。

【0052】

以上のようにして、地下構造モデル提供装置３Ａが、図５に示す一連の処理を実行することによって、強化学習モデル１２の機械学習及び地下構造モデル１３の更新を実施する。なお、複数の観測データ１１を用いる場合には、図５に示すステップＳ１００～Ｓ１７０を繰り返し実行すればよい。

【0053】

したがって、本実施形態に係る地下構造モデル提供装置３Ａ及び地下構造モデル提供方法によれば、強化学習モデル１２に、地震動指標算出結果と地震動指標観測結果との差異に応じた報酬を与えて地下構造モデル１３の修正操作を学習させるので、計測作業者の技量や経験に依存することなく、また、専門家の知見や検証作業に係る時間と労力を要することなく、高精度な地下構造モデル１３を自動生成及び自動更新することが可能な強化学習モデル１２を生成することができる。

【0054】

また、本実施形態に係る地下構造モデル提供装置３Ａ及び地下構造モデル提供方法によれば、地下構造モデル１３に対する修正操作を学習させた強化学習モデル１２が、新たに取得された地震動指標観測結果及び地震動指標算出結果に基づいて地下構造モデル１３の修正版１３０を生成するので、計測作業者の技量や経験に依存することなく、また、専門家の知見や検証作業に係る時間と労力を要することなく、高精度な地下構造モデル１３を自動生成及び自動更新することができる。

【0055】

（第２の実施形態）
図７は、本発明の第２の実施形態に係る地下構造モデル提供・利用システム１の一例を示す概略構成図である。図８は、本発明の第２の実施形態に係る地下構造モデル提供・利用システム１の一例を示すブロック図である。

【0056】

第２の実施形態に係る地下構造モデル提供・利用システム１は、地下構造モデル提供装置３Ｂの他に強化学習モデル生成装置６を備える点で第１の実施形態と相違する。また、第２の実施形態に係る地下構造モデル提供装置３Ｂは、機械学習部３１４を備えない点で第１の実施形態と相違する。その他の基本的な構成及び動作は、第１の実施形態と同様のため、以下では両者の相違点を中心に説明する。

【0057】

強化学習モデル生成装置６は、地下構造モデル提供装置３Ａと同様に、汎用又は専用のコンピュータで構成されており、図８に示すように、ＨＤＤ、メモリ等により構成される記憶部６０と、ＣＰＵ、ＧＰＵ等のプロセッサにより構成される制御部６１と、ネットワーク５との通信インターフェースである通信部６２と、キーボード、マウス等により構成される入力部６３と、ディスプレイ、タッチパネル等により構成される表示部６４とを備える。

【0058】

記憶部６０には、強化学習モデル１２及び地下構造モデル１３の他に、観測データ提供装置２により提供された観測データが登録・更新されるデータベース１０と、強化学習モデル生成装置６の動作を制御して強化学習モデル生成方法を実現する強化学習モデル生成プログラム６００とが記憶されている。

【0059】

制御部６１は、強化学習モデル生成プログラム６００を実行することにより、ＤＢ管理部６１０、観測データ取得部６１１、シミュレーションデータ取得部６１２、地下構造モデル修正部６１３、及び、機械学習部６１４として機能する。

【0060】

強化学習モデル生成装置６による強化学習モデル生成方法は、図５に示す各ステップのうちステップＳ１８０に示す地下構造モデル提供部による地下構造モデル提供工程を省略したものであり、その他の工程は同様である。そのため、地下構造モデル修正工程（ステップＳ１３０）にて修正された地下構造モデル１３の修正版１３０は、外部に提供されるものではなく、強化学習モデル生成装置６の記憶部６０に記憶されて、機械学習部６１４が、強化学習モデル１２の機械学習に利用する。一方、機械学習工程（ステップＳ１６０、Ｓ１７０）にて生成された強化学習モデル１２は、外部（例えば、本実施形態では、地下構造モデル提供装置３Ｂ）に提供される。

【0061】

地下構造モデル提供装置３Ｂは、地下構造モデル提供装置３Ａと同様に構成されている。記憶部６０には、データベース１０、強化学習モデル１２及び地下構造モデル１３の他に、地下構造モデル提供装置３Ｂの動作を制御して地下構造モデル提供方法を実現する強化学習モデル生成プログラム６００が記憶されている。

【0062】

制御部３１は、地下構造モデル提供プログラム３００を実行することにより、ＤＢ管理部３１０、観測データ取得部３１１、シミュレーションデータ取得部３１２、地下構造モデル修正部３１３、及び、地下構造モデル提供部３１５として機能する。

【0063】

地下構造モデル提供装置３Ｂによる地下構造モデル提供方法は、図５に示す各ステップのうちステップＳ１６０、Ｓ１７０に示す機械学習部による機械学習工程を省略したものであり、その他の工程は同様である。そのため、地下構造モデル提供装置３Ｂの記憶部３０に記憶された強化学習モデル１２は、強化学習モデル生成装置６から提供されたものであり、地下構造モデル修正部３１３が地下構造モデル１３の修正に利用する。そして、地下構造モデル修正工程（ステップＳ１３０）にて修正され、地下構造モデル提供工程（ステップＳ１８０）にて更新された地下構造モデル１３の最新版１３１は、外部（例えば、本実施形態では、地下構造モデル利用装置４）に提供される。

【0064】

したがって、本実施形態に係る強化学習モデル生成装置６及び強化学習モデル生成方法によれば、強化学習モデル１２に、地震動指標算出結果と地震動指標観測結果との差異に応じた報酬を与えて地下構造モデル１３の修正操作を学習させるので、計測作業者の技量や経験に依存することなく、また、専門家の知見や検証作業に係る時間と労力を要することなく、高精度な地下構造モデル１３を自動生成及び自動更新することが可能な強化学習モデル１２を生成することができる。

【0065】

また、本実施形態に係る地下構造モデル提供装置３Ｂ及び地下構造モデル提供方法によれば、地下構造モデル１３に対する修正操作を学習させた強化学習モデル１２が、新たに取得された地震動指標観測結果及び地震動指標算出結果に基づいて地下構造モデル１３の修正版１３０を生成するので、計測作業者の技量や経験に依存することなく、また、専門家の知見や検証作業に係る時間と労力を要することなく、高精度な地下構造モデル１３を自動生成及び自動更新することができる。

【0066】

（他の実施形態）
以上、本発明の実施形態について説明したが、本発明は上記各実施形態に限定されるものではなく、本発明の技術的思想を逸脱しない範囲で適宜変更可能である。

【0067】

例えば、上記実施形態では、地下構造モデル提供装置３Ａ、３Ｂ及び強化学習モデル生成装置６が、１つの観測点で観測された観測データ１１に基づいて、強化学習モデル１２の機械学習及び地下構造モデル１３の更新を実施する場合について説明したが、複数の観測点で観測された観測データ１１に基づいて強化学習モデル１２の機械学習及び地下構造モデル１３の更新を実施するようにしてもよい。その場合、地下構造モデル１３は、鉛直断面に相当する二次元の地下構造モデル、又は、三次元の地下構造モデルに拡張されるようにしてもよい。

【0068】

また、上記実施形態では、地下構造モデル提供プログラム３００及び強化学習モデル生成プログラム６００は、記憶部３０、６０にそれぞれ記憶されたものとして説明したが、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。また、地下構造モデル提供プログラム３００及び強化学習モデル生成プログラム６００は、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供されてもよい。

【符号の説明】

【0069】

１…利用システム、２…観測データ提供装置
３Ａ、３Ｂ…地下構造モデル提供装置、４…地下構造モデル利用装置
５…ネットワーク、６…強化学習モデル生成装置
１０…データベース、１１…観測データ、１２…強化学習モデル、１３…地下構造モデル
３０…記憶部、３１…制御部、３２…通信部、３３…入力部、３４…表示部
６０…記憶部、６１…制御部、６２…通信部、６３…入力部、６４…表示部
１３０…修正版、１３１…最新版
３００…地下構造モデル提供プログラム、３１０…ＤＢ管理部、３１１…観測データ取得部
３１２…シミュレーションデータ取得部、３１３…地下構造モデル修正部、３１４…機械学習部
３１５…地下構造モデル提供部
６００…強化学習モデル生成プログラム、６１０…ＤＢ管理部、６１１…観測データ取得部、
６１２…シミュレーションデータ取得部、６１３…地下構造モデル修正部、６１４…機械学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】