知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社大林組の特許一覧 ▶ 株式会社Ｌａｂｏｒｏ．ＡＩの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024009059
(43)【公開日】2024-01-19
(54)【発明の名称】構造体の制振システム
(51)【国際特許分類】
E04H 9/02 20060101AFI20240112BHJP
F16F 15/02 20060101ALI20240112BHJP
【ＦＩ】
E04H9/02 341D
F16F15/02 A
F16F15/02 C
E04H9/02 341C
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023192616
(22)【出願日】2023-11-10
(62)【分割の表示】P 2019134011の分割
【原出願日】2019-07-19
(71)【出願人】
【識別番号】000000549
【氏名又は名称】株式会社大林組
(71)【出願人】
【識別番号】518462765
【氏名又は名称】株式会社Ｌａｂｏｒｏ．ＡＩ
(74)【代理人】
【識別番号】110000176
【氏名又は名称】弁理士法人一色国際特許事務所
(72)【発明者】
【氏名】青山 優也
(72)【発明者】
【氏名】山中 昌之
(72)【発明者】
【氏名】中塚 光一
(72)【発明者】
【氏名】鈴木 貴博
(72)【発明者】
【氏名】佐野 剛志
(72)【発明者】
【氏名】椎橋 徹夫
(72)【発明者】
【氏名】井澤 敦
(72)【発明者】
【氏名】吉岡 琢
(57)【要約】
【課題】制振性能の向上を図る。
【解決手段】支持端と、前記支持端と所定方向に並ぶ第１質点と、前記支持端と前記第１質点を結ぶ第１バネ要素であって、前記所定方向と直交する直交方向に沿って作用する弾性反力を発生する第１バネ要素と、前記第１質点に対して前記直交方向に相対変位可能な第２質点と、前記第１質点に接続され、前記第２質点を前記直交方向に加振する加振器と、を有する質点モデルで表現される構造体の制振システムであって、前記加振器の加振力を制御する制御則を、強化学習を用いて定めた。
【選択図】図４
【解決手段】支持端と、前記支持端と所定方向に並ぶ第１質点と、前記支持端と前記第１質点を結ぶ第１バネ要素であって、前記所定方向と直交する直交方向に沿って作用する弾性反力を発生する第１バネ要素と、前記第１質点に対して前記直交方向に相対変位可能な第２質点と、前記第１質点に接続され、前記第２質点を前記直交方向に加振する加振器と、を有する質点モデルで表現される構造体の制振システムであって、前記加振器の加振力を制御する制御則を、強化学習を用いて定めた。
【選択図】図４
【特許請求の範囲】
【請求項1】
支持端と、
前記支持端と所定方向に並ぶ第１質点と、
前記支持端と前記第１質点を結ぶ第１バネ要素であって、前記所定方向と直交する直交方向に沿って作用する弾性反力を発生する第１バネ要素と、
前記第１質点に対して前記直交方向に相対変位可能な第２質点と、
前記第１質点に接続され、前記第２質点を前記直交方向に加振する加振器と、
を有する質点モデルで表現される構造体の制振システムであって、
前記加振器の加振力を制御する制御則を、強化学習を用いて定め、
前記第２質点を前記第１質点の振動を抑制するマスダンパーのマスとし、
前記強化学習における報酬を、前記第１質点の保存量に基づいて定める、
ことを特徴とする構造体の制振システム。
前記支持端と所定方向に並ぶ第１質点と、
前記支持端と前記第１質点を結ぶ第１バネ要素であって、前記所定方向と直交する直交方向に沿って作用する弾性反力を発生する第１バネ要素と、
前記第１質点に対して前記直交方向に相対変位可能な第２質点と、
前記第１質点に接続され、前記第２質点を前記直交方向に加振する加振器と、
を有する質点モデルで表現される構造体の制振システムであって、
前記加振器の加振力を制御する制御則を、強化学習を用いて定め、
前記第２質点を前記第１質点の振動を抑制するマスダンパーのマスとし、
前記強化学習における報酬を、前記第１質点の保存量に基づいて定める、
ことを特徴とする構造体の制振システム。
【請求項2】
請求項１に記載の構造体の制振システムであって、
前記保存量がエネルギーである、
ことを特徴とする構造体の制振システム。
前記保存量がエネルギーである、
ことを特徴とする構造体の制振システム。
【請求項3】
請求項２に記載の構造体の制振システムであって、
前記エネルギーは、少なくとも運動エネルギーを含む、
ことを特徴とする構造体の制振システム。
前記エネルギーは、少なくとも運動エネルギーを含む、
ことを特徴とする構造体の制振システム。
【請求項4】
請求項３に記載の構造体の制振システムであって、
前記エネルギーは、バネ系の位置エネルギーをさらに含む、
ことを特徴とする構造体の制振システム。
前記エネルギーは、バネ系の位置エネルギーをさらに含む、
ことを特徴とする構造体の制振システム。
【請求項5】
請求項１乃至請求項４の何れかに記載の構造体の制振システムであって、
前記加振器と並列に設けられ、バネ方向が前記直交方向である第２バネ要素を有する、
ことを特徴とする構造体の制振システム。
前記加振器と並列に設けられ、バネ方向が前記直交方向である第２バネ要素を有する、
ことを特徴とする構造体の制振システム。
【請求項6】
請求項１乃至請求項５の何れかに記載の構造体の制振システムであって、
前記所定方向は鉛直方向であり、
前記直交方向は水平方向であり、
前記第１質点の上に、前記第２質点を前記水平方向に転がり可能に支承する転がり支承を有する、
ことを特徴とする構造体の制振システム。
前記所定方向は鉛直方向であり、
前記直交方向は水平方向であり、
前記第１質点の上に、前記第２質点を前記水平方向に転がり可能に支承する転がり支承を有する、
ことを特徴とする構造体の制振システム。
【請求項7】
請求項１に記載の構造体の制振システムであって、
前記強化学習における報酬を、以下の式（１６）で表すような対戦型とする、
ことを特徴とする構造体の制振システム。
前記強化学習における報酬を、以下の式（１６）で表すような対戦型とする、
ことを特徴とする構造体の制振システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、構造体の制振システムに関する。
【背景技術】
【0002】
各種外乱に起因する建築物の水平振動や、床の上下振動など、構造体の振動を低減させる手法として、質量体（マス）を能動的に動かすことによって制振するＡＭＤ（Active Mass Damper）が知られている（例えば、特許文献１参照）。ＡＭＤでは、一般的に、制御工学に基づく制御則に従って制御を行っている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平１－２７５８６７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
制御工学に基づく制御則では、制御理論が必要であり、ＡＭＤの能力を最大限に発揮させること（すなわち、マスを最適に動かすこと）が困難であった。
【0005】
本発明は、かかる課題に鑑みてなされたものであって、その目的とするところは、制振性能の向上を図ることにある。
【課題を解決するための手段】
【0006】
上記目的を達成するための主たる発明は、支持端と、前記支持端と所定方向に並ぶ第１質点と、前記支持端と前記第１質点を結ぶ第１バネ要素であって、前記所定方向と直交する直交方向に沿って作用する弾性反力を発生する第１バネ要素と、前記第１質点に対して前記直交方向に相対変位可能な第２質点と、前記第１質点に接続され、前記第２質点を前記直交方向に加振する加振器と、を有する質点モデルで表現される構造体の制振システムであって、 前記加振器の加振力を制御する制御則を、強化学習を用いて定め、前記第２質点を前記第１質点の振動を抑制するマスダンパーのマスとし、前記強化学習における報酬を、前記第１質点の保存量に基づいて定める、ことを特徴とする。
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
【発明の効果】
【0007】
本発明によれば、制振性能の向上を図ることができる。
【図面の簡単な説明】
【0008】
【図2】アクチュエータ４０の制御部分の構成を示すブロック図である。
【図3】比較例におけるＡＭＤ制御システム構築のフロー図である。
【図4】本実施形態におけるＡＭＤ制御システム構築のフロー図である。
【図7】第３実施形態の変形例を示す図である。
【図8】第３実施形態の別の変形例を示す図である。
【図10】第４実施形態の変形例を示す図である。
【図11】第４実施形態の別の変形例を示す図である。
【発明を実施するための形態】
【0009】
本明細書及び添付図面の記載により、少なくとも以下の事項が明らかとなる。
【0010】
支持端と、前記支持端と所定方向に並ぶ第１質点と、前記支持端と前記第１質点を結ぶ第１バネ要素であって、前記所定方向と直交する直交方向に沿って作用する弾性反力を発生する第１バネ要素と、前記第１質点に対して前記直交方向に相対変位可能な第２質点と、前記第１質点に接続され、前記第２質点を前記直交方向に加振する加振器と、を有する質点モデルで表現される構造体の制振システムであって、前記加振器の加振力を制御する制御則を、強化学習を用いて定めたことを特徴とする構造体の制振システムが明らかとなる。
このような構造体の制振システムによれば、制御理論に基づく制御則（例えば最適制御）よりも優れた制御則を実現できる。これにより、加振器によって第２質点を加振することによる制振（ＡＭＤ）の能力を高めることができ、制振性能の向上を図ることができる。
このような構造体の制振システムによれば、制御理論に基づく制御則（例えば最適制御）よりも優れた制御則を実現できる。これにより、加振器によって第２質点を加振することによる制振（ＡＭＤ）の能力を高めることができ、制振性能の向上を図ることができる。
【0011】
かかる構造体の制振システムであって、前記強化学習における報酬を、前記第１質点の保存量に基づいて定めることが望ましい。
このような構造体の制振システムによれば、優れた制御則を得ることができる。
このような構造体の制振システムによれば、優れた制御則を得ることができる。
【0012】
かかる構造体の制振システムであって、前記保存量を対戦型とすることが望ましい。
このような構造体の制振システムによれば、優れた制御則を得ることができる。
このような構造体の制振システムによれば、優れた制御則を得ることができる。
【0013】
かかる構造体の制振システムであって、前記保存量がエネルギーであることが望ましい。
このような構造体の制振システムによれば、さらに優れた制御則を得ることができる。
このような構造体の制振システムによれば、さらに優れた制御則を得ることができる。
【0014】
かかる構造体の制振システムであって、前記エネルギーは、少なくとも運動エネルギーを含むことが望ましい。
このような構造体の制振システムによれば、制振性能を高めることができる。
このような構造体の制振システムによれば、制振性能を高めることができる。
【0015】
かかる構造体の制振システムであって、前記エネルギーは、バネ系の位置エネルギーをさらに含むことが望ましい。
このような構造体の制振システムによれば、制振性能をより高めることができる。
このような構造体の制振システムによれば、制振性能をより高めることができる。
【0016】
かかる構造体の制振システムであって、前記加振器と並列に設けられ、バネ方向が前記直交方向である第２バネ要素を有していてもよい。
このような構造体の制振システムによれば、第２バネ要素を有していても制振性能を高めることができる。
このような構造体の制振システムによれば、第２バネ要素を有していても制振性能を高めることができる。
【0017】
かかる構造体の制振システムであって、前記所定方向は鉛直方向であり、前記直交方向は水平方向であり、前記第１質点の上に、前記第２質点を前記水平方向に転がり可能に支承する転がり支承を有していてもよい。
このような構造体の制振システムによれば、第１質点の上で第２質点を水平方向に加振する（転がす）ことで第１質点の水平方向の振動を制振できる。
このような構造体の制振システムによれば、第１質点の上で第２質点を水平方向に加振する（転がす）ことで第１質点の水平方向の振動を制振できる。
【0018】
かかる構造体の制振システムであって、前記所定方向は鉛直方向であり、前記直交方向は水平方向であり、前記第２バネ要素は、前記第１質点の上で前記第２質点を支承する積層ゴムであってもよい。
このような構造体の制振システムによれば、第１質点の上に積層ゴムで支承された第２質点を水平方向に加振することで第１質点の水平方向の振動を制振できる。
このような構造体の制振システムによれば、第１質点の上に積層ゴムで支承された第２質点を水平方向に加振することで第１質点の水平方向の振動を制振できる。
【0019】
かかる構造体の制振システムであって、前記所定方向は水平方向であり、前記直交方向は鉛直方向であってもよい。
このような構造体の制振システムによれば、例えばブリッジなどの鉛直方向の振動を制振できる。
このような構造体の制振システムによれば、例えばブリッジなどの鉛直方向の振動を制振できる。
【0020】
＝＝＝第１実施形態＝＝＝
＜＜制振システム構成について＞＞
図１Ａは、第１実施形態に係る構造体の制振システム構成を示す図であり、図１Ｂは、図１Ａをモデル化した図であり、図１Ｃは、図１Ｂの等価図である。また、図２は、アクチュエータ４０の制御部分の構成を示すブロック図である。
＜＜制振システム構成について＞＞
図１Ａは、第１実施形態に係る構造体の制振システム構成を示す図であり、図１Ｂは、図１Ａをモデル化した図であり、図１Ｃは、図１Ｂの等価図である。また、図２は、アクチュエータ４０の制御部分の構成を示すブロック図である。
【0021】
図１Ａに示すように第１実施形態の制振対象となる構造体は、長手方向の両端（支持端１２）が固定され、水平方向に掛け渡されたブリッジ１０である。このブリッジ１０の長手方向の中央部に、バネ３０とアクチュエータ４０を介して、マス２０が設けられている。また、図２に示すように、ブリッジ１０及びマス２０の状態を検出するセンサ群６０（例えば、加速度を検出する加速度センサ、変位（相対変位等）を検出する変位センサ等）と、センサ群６０の各センサの出力に基づいて状態量の計算やアクチュエータ４０の加振の制御を行うコントローラ７０が設けられている。
【0022】
図１Ａを質点モデルにモデル化すると図１Ｂに示す２質点のモデルとなり、さらに簡易化すると図１Ｃのようになる。図１Ｂ、図１Ｃでは、ブリッジ１０とマス２０がそれぞれ質点で示されている。このうち、ブリッジ１０を示す質点は第１質点に相当し、マス２０を示す質点は第２質点に相当する。
【0023】
図１Ｂ及び図１Ｃの質点モデルにおいて、ブリッジ１０は、支持端１２と水平方向に並んでいる。また、図１Ｂ及び図１Ｃの質点モデルに示すバネ要素１４（第１バネ要素に相当）は、ブリッジ１０の剛性に相当する。バネ要素１４は、支持端１２とブリッジ１０（第１質点）を結んでおり、ブリッジ１０と支持端１２の並ぶ方向（ここでは水平方向）と直交する方向（ここでは鉛直方向）に沿って作用する弾性反力を発生する。
【0024】
マス２０は、ＡＭＤ制御を行うための錘（質量体）であり、バネ３０を介してブリッジ１０の上に設けられている（ブリッジ１０と鉛直方向に並んでいる）。これにより、マス２０はブリッジ１０に対して、鉛直方向に相対変位可能である。
【0025】
バネ３０（第２バネ要素に相当）は、バネ方向が鉛直方向となるように、ブリッジ１０とマス２０の間に配置（アクチュエータ４０と並列に配置）されてマス２０を支えている。
【0026】
アクチュエータ４０（加振器）は、ブリッジ１０に接続されており、コントローラ７０による制御に基づいてマス２０を鉛直方向に加振する。
【0027】
このアクチュエータ４０の加振力（制御力）を調整（制御）することにより、ブリッジ１０の上を人が歩行することに起因するブリッジ１０の縦揺れ（上下振動）を抑制することができる。
【0028】
【0029】
なお、式（１）の各項について以下の式（２）～式（５）に示す。
ここで、
【0030】
＜＜ＡＭＤ制御（比較例）＞＞
図３は、比較例におけるＡＭＤ制御システム構築のフロー図である。ここでは、アクティブ制御の一例として知られる最適制御を用いている。
図３は、比較例におけるＡＭＤ制御システム構築のフロー図である。ここでは、アクティブ制御の一例として知られる最適制御を用いている。
【0031】
まず、各パラメータの設定を行う（Ｓ００１）。ここでは、[マス２０,ブリッジ１０]の[変位,速度]および制御力の絶対値を、各ステップでできるだけ小さくすることを目的として、評価関数Ｊを以下の式（６）に示すように、[マス２０,ブリッジ１０]の[変位,速度]および制御力の２乗に重みをかけて足し合わせたものとして定義する。
【0032】
式（６）において、ｘ（ｔ）は上述の式（４）、ｕ(ｔ)は制御力、εは制御力にかかる重みである。また、Ｑはｘ（ｔ）にかかる重みであり、
である。
【0033】
【0034】
【0035】
次に、制御則のフィードバックゲインを計算する（Ｓ００２）。評価関数Ｊを最小にするx(t)のフィードバックゲインを理論的に求めると、制御力u(t)は、次式（９）で表される。
ここで、Ｐは次式（１０）で表されるリカッチ方程式の解である。
【0036】
【0037】
次に、歩行加振力を入力するシミュレーションにより、得られた制御則の効果を確認する（Ｓ００３）。
【0038】
制御則の確認結果が不良であれば（Ｓ００４でＮｏ）、ステップＳ００１に戻り、パラメータを再設定する。一方、制御則の確認結果が良好であれば（Ｓ００４でＹｅｓ）、実装を行う（Ｓ００５）。すなわち、センサ群６０の各センサ（加速度センサや変位センサなど）からリアルタイムに取得・計算したx(t)を基に、制御力u(t)を計算しアクチュエータ４０に与える。
【0039】
なお、この例では最適制御（最適フィードバック制御、ＬＱ制御、ＬＱＲ制御、最適レギュレータ制御も同義）について説明したが、これ以外のアクティブ制御として、ＬＱＧ制御、双線形最適制御、瞬間最適制御、準最適制御、準最適併合制御、極配置制御、スカイフック制御、Ｈ∞制御、ＰＩＤ制御、スライディングモード制御、Ｏｎ／Ｏｆｆ制御、ＥＦ(Energy Function)制御、ファジィ制御、予測制御、履歴制御、直接出力フィードバック制御、直接速度フィードバック制御（DVFB制御）、外乱相殺制御、μシンセシス制御、ゲインスケジュールド制御などの制御方法（制御則）が知られている。
【0040】
但し、上述したような制御則を用いてもＡＭＤの能力を最大限に発揮した制御が行えないおそれがあった。具体的には、上述の最適制御では状態量の線形結合で表される制御力を前提としているため、各種制約に対して安全率を見込んで設計せざるを得ず、非効率な制御則となるおそれがあった。また、物件ごとに異なる各種制約を満足するように、設計者が複数のシミュレーションによりパラメータを試行錯誤的に調整する必要があった。そのため、設計者の経験による所が大きく、必ずしも最適な解が得られない上、設計に時間と労力を要していた。また、理論解を求める必要があるため、評価関数の自由度が低く、特定の外乱に対して最適化することが困難であった。また、主にコンクリート構造物のように、非線形な復元力を有する構造物に対して線形の理論を適用することは困難であった。
【0041】
そこで、本実施形態ではＡＭＤ制御に人工知能（artificial intelligence: 以下ＡＩ）を用いることにより、制振性能の向上を図っている。なお、ＡＩによる機械学習は、教師あり学習、教師なし学習、強化学習の３つに分類されるが、本実施形態では、このうち強化学習を用いた。
【0042】
＜＜ＡＭＤ制御（本実施形態）＞＞
図４は、本実施形態におけるＡＭＤ制御システム構築のフロー図である。本実施形態では、上述したようにＡＩによる強化学習を用いている。強化学習とは、教師データが無くても、試行錯誤を通じて価値を最大化するような行動を学習するものである。また、強化学習のアルゴリズムとしては、Ｑ-Learning及びＤＱＮ（Deep Ｑ-Learning）を用いた。
図４は、本実施形態におけるＡＭＤ制御システム構築のフロー図である。本実施形態では、上述したようにＡＩによる強化学習を用いている。強化学習とは、教師データが無くても、試行錯誤を通じて価値を最大化するような行動を学習するものである。また、強化学習のアルゴリズムとしては、Ｑ-Learning及びＤＱＮ（Deep Ｑ-Learning）を用いた。
【0043】
＜パラメータ設定＞
まず、各パラメータ（状態ｓｔ、報酬Ｒｔ、行動ａｔ）の設定を行う（Ｓ１０１）。
まず、各パラメータ（状態ｓｔ、報酬Ｒｔ、行動ａｔ）の設定を行う（Ｓ１０１）。
【0044】
〔行動ａｔ〕
行動ａｔは、時刻ｔにおいてアクチュエータ４０に出力する制御力である。アクチュエータ４０の制御力について、離散化数と最大制御力を設定する。本実施形態では以下のように最大制御力100（N）とし、５分割で設定した。
ａｔ={-100,-50,0,50,100} ・・・・（１２）
行動ａｔは、時刻ｔにおいてアクチュエータ４０に出力する制御力である。アクチュエータ４０の制御力について、離散化数と最大制御力を設定する。本実施形態では以下のように最大制御力100（N）とし、５分割で設定した。
ａｔ={-100,-50,0,50,100} ・・・・（１２）
【0045】
〔状態ｓｔ〕
状態ｓｔは、時刻ｔにおけるブリッジ１０、マス２０の状態量であり、何を入力として行動ａｔを決定するかを設定するものである。状態量を小さくした行動に報酬を与えたい所であるが、バネに起因する振動においては、状態量が小さくなったのが、振動により自然に小さくなったものなのか、アクチュエータ４０の制御により小さくなったものなのかを区別する必要がある、特に、本実施形態のように対戦型の報酬設定（後述）とした場合、両者の振動数がずれていると、両者の応答中の位相差によって振動の影響が顕著になる。
状態ｓｔは、時刻ｔにおけるブリッジ１０、マス２０の状態量であり、何を入力として行動ａｔを決定するかを設定するものである。状態量を小さくした行動に報酬を与えたい所であるが、バネに起因する振動においては、状態量が小さくなったのが、振動により自然に小さくなったものなのか、アクチュエータ４０の制御により小さくなったものなのかを区別する必要がある、特に、本実施形態のように対戦型の報酬設定（後述）とした場合、両者の振動数がずれていると、両者の応答中の位相差によって振動の影響が顕著になる。
【0046】
これを明確にするために、振動による影響をできるだけ排除し、応答中の位相に関わらない状態量として以下の式（１３）で定義する保存量S(t)を考える。
【0047】
【0048】
【0049】
〔報酬ｒｔ〕
【0050】
【0051】
・対戦相手は、マスなし、パッシブ制御（減衰ありでも減衰なしでも良い）、既往のアクティブ制御、自分自身のアクティブ制御（自己対戦型）などについて、事前の応答解析を行った上でS(t)を計算したものでもよいし、適宜設定した時間ｔに関する関数F(t)でもよい（０や定数も含む）。
・学習対象がセミアクティブの場合、対戦相手をセミアクティブとしても良いし、前述の対戦相手としてもよい。
・ε＝δが標準であるが、εの値をδよりも小さくすることで、より強い対戦相手を設定できる。
・最初からあまり強い相手をターゲットにすると学習が収束しない。徐々に対戦相手を強くしていくとよい。
・学習対象がセミアクティブの場合、対戦相手をセミアクティブとしても良いし、前述の対戦相手としてもよい。
・ε＝δが標準であるが、εの値をδよりも小さくすることで、より強い対戦相手を設定できる。
・最初からあまり強い相手をターゲットにすると学習が収束しない。徐々に対戦相手を強くしていくとよい。
【0052】
また、その他の即時報酬srｔとして、以下の例が挙げられる（〔〕内は複合任意）。
・S(t)を直近ｎタイムステップの〔ブリッジ１０・マス２０〕の〔変位・速度・加速度〕の〔絶対値・そのままの値・逆数・逆数の絶対値〕の〔平均値・総和・最大値〕の線形結合とする。
・S(t)の〔差分・２回差分・微分・２回微分・逆数〕を報酬とする（この場合、対戦相手はなし）。
・S(t)に、マス２０の項を入れても良い。
・収束するまでステップ毎にマイナスの報酬を与えてもよい。
・クリアランスを超えた場合に、マイナスの報酬を与えても良い。
・報酬のclippingを行っても良い。
・S(t)を直近ｎタイムステップの〔ブリッジ１０・マス２０〕の〔変位・速度・加速度〕の〔絶対値・そのままの値・逆数・逆数の絶対値〕の〔平均値・総和・最大値〕の線形結合とする。
・S(t)の〔差分・２回差分・微分・２回微分・逆数〕を報酬とする（この場合、対戦相手はなし）。
・S(t)に、マス２０の項を入れても良い。
・収束するまでステップ毎にマイナスの報酬を与えてもよい。
・クリアランスを超えた場合に、マイナスの報酬を与えても良い。
・報酬のclippingを行っても良い。
【0053】
【0054】
＜学習の実行＞
次に、学習を実行する（Ｓ１０２）。前述したように本実施形態では強化学習を実行する。強化学習とは、ある環境におかれたエージェントが、環境との相互作用を通じて、最適な行動規則を獲得するための枠組みである。ここでは、学習波を入力とする質点モデルのシミュレーションを複数回繰り返し、以下に従い学習を行う。
次に、学習を実行する（Ｓ１０２）。前述したように本実施形態では強化学習を実行する。強化学習とは、ある環境におかれたエージェントが、環境との相互作用を通じて、最適な行動規則を獲得するための枠組みである。ここでは、学習波を入力とする質点モデルのシミュレーションを複数回繰り返し、以下に従い学習を行う。
【0055】
〔Ｑ学習〕
Ｑ学習(Q-learning)は、行動価値関数（Ｑ関数）を用いて最適方策を獲得する強化学習の代表的手法である。Ｑ関数は、ある状態にてある行動を選択し続けた時に将来にわたり得られる累積報酬の期待値を、全ての状態と行動の組み合わせについてテーブル形式で定義したものである。次式に従ってＱ関数の更新を繰り返すことにより、累積報酬が最大化される最適方策を獲得する。
ここで、αは学習率（０＜α＜１）で、Ｑ関数の更新スピードを調整する係数、γは割引率（０＜γ＜１）で、将来におけるＱ値（報酬）をどれだけ割り引いて考慮するかを定める係数である。
Ｑ学習(Q-learning)は、行動価値関数（Ｑ関数）を用いて最適方策を獲得する強化学習の代表的手法である。Ｑ関数は、ある状態にてある行動を選択し続けた時に将来にわたり得られる累積報酬の期待値を、全ての状態と行動の組み合わせについてテーブル形式で定義したものである。次式に従ってＱ関数の更新を繰り返すことにより、累積報酬が最大化される最適方策を獲得する。
【0056】
【0057】
〔ＤＱＮ〕
【0058】
＜制御則の確認＞
【0059】
そして、その結果の良否を判定する（Ｓ１０４）。結果が不良であれば（Ｓ１０４でＮＯ）、ステップＳ１０１に戻り再度パラメータを設定する。
【0060】
結果が良好であれば、（Ｓ１０４でＹＥＳ）、実装を行う（Ｓ１０５）。すなわち、センサ群６０の各センサ（加速度センサ、変位センサ等）からリアルタイムに取得・計算したｓｔを基に、式（１９）又は式（２０）にて計算した制御力u(t)をアクチュエータ４０に与える。
【0061】
このような本実施形態（ＡＩ制御）によると、ステップＳ１０３のシミュレーション、及び、ステップＳ１０５の実装（実験）での検証において、比較例（最適制御）と比べて、高い制振効果が得られた。特に、強化学習のアルゴリズムとしてＤＱＮを用いた場合に高い制振効果が得られた。
【0062】
【0063】
以上説明したように、本実施形態では、ＡＭＤ制御を行う制御則（アクチュエータ４０の加振力を制御する制御則）をＡＩによる強化学習で獲得している。これにより、ＡＭＤの能力を最大限に発揮させることができ、制振性能の向上を図ることができる。
【0064】
また、ＡＩ制御では、最大制御力やクリアランス等の各種制約を、状態や報酬の形で定義することができる上、ニューラルネットワークを用いた非線形な制御が可能であるため、各種制約の中で制御効果を最大限に高めた制御則が得られる。
【0065】
また、状態や報酬の設定方法、各種ハイパーパラメータを定めておけば、物件ごとの試行錯誤は少なくて済む。そのため、安定した制御則が得られる上、設計に要する時間と労力が短縮される。
【0066】
また、繰り返しのシミュレーションにより最適な制御則を逐次更新するため（理論解を得る必要がないため）、自由度の高い制御則の設計が可能である。例えば対戦型の報酬設定を考えると、優れた制御を対戦相手として更に制御効果を高めたり、制御効果はそのままに装置の制約を加味したカスタマイズを加えたりすることができる。また、外乱をインパルスにして自由振動に対して制御を最適化することも可能であるし、例えば、構造物に生じやすいと考えられる外乱に対して制御を最適化することも可能である。これにより、比較例（最適制御）よりも制振効果が優れた制御則や、より固有の環境に特化した制御則が得られる。
【0067】
【0068】
図５Ａに示すように、第２実施形態の制振対象となる構造体は建物１００であり、建物１００の頂部にマス２００が水平方向に転がり可能に配置されている（転がり型の頂部ＡＭＤ）。また、第１実施形態と同様に、建物１００とマス２００の状態を検出する各センサ（不図示）や、センサの出力に基づいてアクチュエータ４００を制御するコントローラ（不図示）が設けられている（第３実施形態、第４実施形態についても同様）。
【0069】
図５Ａを質点モデルにモデル化すると図５Ｂに示す２質点のモデルとなる。図５Ｂでは、建物１００とマス２００がそれぞれ質点で示されている。このうち、建物１００を示す質点は第１質点に相当し、マス２００を示す質点は第２質点に相当する。
【0070】
図５Ｂの質点モデルにおいて、建物１００は支持端１０２（ここでは地盤）と鉛直方向（所定方向に相当）に並んでいる。また、図５Ｂのバネ要素１０４は、建物１００の剛性に相当する。バネ要素１０４は、支持端１０２と建物１００（第１質点）を結んでおり、建物１００と支持端１０２の並ぶ方向（ここでは鉛直方向）と直交する方向（ここでは水平方向）に沿って作用する弾性反力を発生する。
【0071】
マス２００は、ＡＭＤ制御を行うための錘（質量体）であり、建物１００の頂部に配置されている。また、建物１００の上（建物１００とマス２００の間）には、マス２００を水平方向に転がり可能に支承する転がり支承５００（ローラー等）が設けられている。これにより、マス２００は、建物１００に対して水平方向に相対変位可能となっている。
【0072】
アクチュエータ４００（加振器）は、建物１００に接続されて、マス２００を水平方向に加振する。このアクチュエータ４００の加振力（制御力）を調整（制御）することにより、建物１００の横揺れ（水平振動）を抑制することができる。
【0073】
この第２実施形態の場合においても、第１実施形態と同様に、アクチュエータ４００をＡＩによる制御則で制御することにより、制振性能の向上を図ることができる。
【0074】
なお、ここでは転がり型（転がり支承）のＡＭＤであったが、これには限られず、滑り型（滑り支承）のＡＭＤであっても同様に制振することができる。
【0075】
＝＝＝第３実施形態＝＝＝
図６Ａは、第３実施形態に係る構造体の制振システム構成を示す図である。また、図６Ｂは図６Ａをモデル化した図である。なお、第２実施形態（図５Ａ、図５Ｂ）と同一構成の部分には同一符号を付し説明を省略する。
図６Ａは、第３実施形態に係る構造体の制振システム構成を示す図である。また、図６Ｂは図６Ａをモデル化した図である。なお、第２実施形態（図５Ａ、図５Ｂ）と同一構成の部分には同一符号を付し説明を省略する。
【0076】
第３実施形態では、建物１００とマス２００との間に積層ゴム３０１が設けられている。積層ゴム３０１は、マス２００を水平方向に変位可能に支承している。また積層ゴム３０１は、マス２００が水平方向に変位した場合、元の位置に復元させる。これにより、図６Ｂに示すように、建物１００とマス２００との間には、積層ゴム３０１の水平方向の剛性であるバネ要素３００がアクチュエータ４００と並列に設けられていることになる。この図６Ｂは、第１実施形態の図１Ｃと同じ質点モデル（但し方向は異なる）となるので、この場合も、アクチュエータ４００をＡＩによる制御則で制御することにより、制振性能の向上を図ることができる。
【0077】
＜変形例＞
図７は、第３実施形態の変形例を示す図である。図７では、建物１００の頂部において、マス２００が振り子３０２によって吊り下げられている。これにより、マス２００は、建物１００に対して水平方向に相対変位可能となっている。また、振り子３０２の水平方向の剛性はバネ要素３００に相当する。
図７は、第３実施形態の変形例を示す図である。図７では、建物１００の頂部において、マス２００が振り子３０２によって吊り下げられている。これにより、マス２００は、建物１００に対して水平方向に相対変位可能となっている。また、振り子３０２の水平方向の剛性はバネ要素３００に相当する。
【0078】
また、図８は、第３実施形態の別の変形例を示す図である。この変形例では、建物１００の頂部に台３０３が設けられている。台３０３の上面は、緩い勾配を持つすり鉢状に構成されている。そして、台３０３上には、転がり支承５００によって転がり可能に支承されたマス２００と、アクチュエータ４００が設けられている。これにより、マス２００が水平方向に変位した場合に、中央に戻る復元力（剛性：バネ要素３００）を発生する構造となっている。
【0079】
【0080】
＝＝＝第４実施形態＝＝＝
図９Ａは、第４実施形態に係る構造体の制振システム構成を示す図である。また、図９Ｂは図９Ａをモデル化した図である。なお、第３実施形態（図６Ａ、図６Ｂ）と同一構成の部分には同一符号を付し説明を省略する。
図９Ａは、第４実施形態に係る構造体の制振システム構成を示す図である。また、図９Ｂは図９Ａをモデル化した図である。なお、第３実施形態（図６Ａ、図６Ｂ）と同一構成の部分には同一符号を付し説明を省略する。
【0081】
第４実施形態では、建物１００とマス２００との間にマス１５０が設けられている。マス１５０は、建物１００の頂部に積層ゴム１６１を介して設けられており、建物１００の揺れに同調して建物１００の振動を抑制するＴＭＤ（Tuned Mass Damper）として機能する。
【0082】
また、マス１５０の上には、転がり支承５００により支承されたマス２００と、アクチュエータ４００が設けられている。マス２００は、転がり支承５００によって、マス１５０に対して水平方向に転がり可能（水平変位可能）に支承されており、アクチュエータ４００は、マス１５０と接続され、マス２００を水平方向に加振する（ＡＭＤ）。
【0083】
図９Ａを質点モデルにモデル化すると図９Ｂに示す３質点のモデルとなる。図５Ｂでは、建物１００とマス１５０とマス２００がそれぞれ質点で示されている。マス１５０と建物１００との間には、積層ゴム１６１の水平方向の剛性（バネ要素１６０）が付与されているこの場合においても、建物１００とマス１５０が同調して動くため、一つの質点（第１質点に相当）としてみなすことができる。また、バネ要素１０４とバネ要素１６０を一つのバネ要素（第１バネ要素に相当）とみなすことができる。よって、前述の実施形態と同様に、この第４実施形態においても、前述の実施形態と同様に、アクチュエータ４００をＡＩによる制御則で制御することにより、制振性能の向上を図ることができる。
【0084】
＜変形例＞
図１０は、第４実施形態の変形例を示す図である。この例では、建物１００の頂部に振り子１６２（バネ要素１６０）によってマス１５０が吊り下げられている。そして、マス１５０の上には、転がり支承５００により転がり可能に支承されたマス２００と、アクチュエータ４００が設けられている。マス２００は、マス１５０に対して水平方向に相対変位可能であり、アクチュエータ４００は、マス２００を水平方向に加振する。
図１０は、第４実施形態の変形例を示す図である。この例では、建物１００の頂部に振り子１６２（バネ要素１６０）によってマス１５０が吊り下げられている。そして、マス１５０の上には、転がり支承５００により転がり可能に支承されたマス２００と、アクチュエータ４００が設けられている。マス２００は、マス１５０に対して水平方向に相対変位可能であり、アクチュエータ４００は、マス２００を水平方向に加振する。
【0085】
また、図１１は、第４実施形態の別の変形例を示す図である。この例では、建物１００の頂部には、上面に緩い勾配を持つすり鉢状の台１６３（バネ要素１６０）が配置されており、その上には転がり支承６００により転がり可能に支承されたマス１５０が配置されている。さらに、マス１５０の上には転がり支承５００で支承されたマス２００と、アクチュエータ４００が配置されている。マス２００は、マス１５０に対して水平方向に相対変位可能であり、アクチュエータ４００は、マス２００を水平方向に加振する。
【0086】
【0087】
＝＝＝その他の実施の形態＝＝＝
以上、本発明の実施形態について説明したが、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その趣旨を逸脱することなく、変更や改良され得るとともに、本発明にはその等価物が含まれるのはいうまでもない。例えば、以下に示すような変形が可能である。
以上、本発明の実施形態について説明したが、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その趣旨を逸脱することなく、変更や改良され得るとともに、本発明にはその等価物が含まれるのはいうまでもない。例えば、以下に示すような変形が可能である。
【0088】
前述の実施形態では、強化学習のアルゴリズムとして、Ｑ学習(Q-learning)とＤＱＮ（Deep Ｑ-Learning）を用いていたが、これには限られず、他の強化学習アルゴリズム（例えば、Sarsa、モンテカルロ法など）を用いても良い。
【0089】
前述の実施形態では、構造体（第１質点）として、理解を容易にするためブリッジ１０や建物１００を記載していたが、柱、梁、壁、床等により構成されてもよいことは言うまでもない。
【符号の説明】
【0090】
１０ ブリッジ、１２ 支持端、１４ バネ要素（第１バネ要素）、
２０ マス、
３０ バネ（第２バネ要素）、４０ アクチュエータ、
６０ センサ群、７０ コントローラ、
１００ 建物、１０２ 支持端、１０４ バネ要素（第１バネ要素）、
１５０ マス、１６０ バネ要素、
１６１ 積層ゴム、１６２ 振り子、１６３ 台、
２００ マス、
３００ バネ要素（第２バネ要素）、３０１ 積層ゴム、
３０２ 振り子、３０３ 台、
４００ アクチュエータ、
５００ 転がり支承、６００ 転がり支承、
２０ マス、
３０ バネ（第２バネ要素）、４０ アクチュエータ、
６０ センサ群、７０ コントローラ、
１００ 建物、１０２ 支持端、１０４ バネ要素（第１バネ要素）、
１５０ マス、１６０ バネ要素、
１６１ 積層ゴム、１６２ 振り子、１６３ 台、
２００ マス、
３００ バネ要素（第２バネ要素）、３０１ 積層ゴム、
３０２ 振り子、３０３ 台、
４００ アクチュエータ、
５００ 転がり支承、６００ 転がり支承、
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】