特開 2022-111784 学習装置の学習方法、設計パターンの設計方法、積層体の製造方法及び設計パターンの設計装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022111784

(43)【公開日】2022-08-01

(54)【発明の名称】学習装置の学習方法、設計パターンの設計方法、積層体の製造方法及び設計パターンの設計装置

(51)【国際特許分類】

   B32B 37/00 20060101AFI20220725BHJP

   G06N 20/00 20190101ALI20220725BHJP

   B32B 5/02 20060101ALI20220725BHJP

【ＦＩ】

B32B37/00

G06N20/00

B32B5/02

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021007444

(22)【出願日】2021-01-20

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、戦略的イノベーション創造プログラム（ＳＩＰ）課題「統合型材料開発システムによるマテリアル革命」研究開発課題名「ＡＩ援用積層最適化によるＣＦＲＰ設計・製造自動化技術の開発」委託研究（管理法人：ＪＳＴ）、 産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】福田 章雄

【テーマコード（参考）】

4F100

【Ｆターム（参考）】

4F100BA22A

4F100DG06A

4F100GB90

(57)【要約】

【課題】制約条件を考慮した適切な積層パターンを容易に導出する。
【解決手段】繊維の配向方向が一方向となる一方向材としての繊維シートを用いて、前記繊維シートを積層して形成される積層体の積層パターンを探索するための探索モデルを、学習装置が学習する学習装置の学習方法であって、前記探索モデルは、前記繊維シートの積層に関する制約条件を含む方策関数及び価値関数を用いた学習モデルとなっており、前記学習装置に、初期状態の前記積層パターンである初期積層パターンを取得するステップと、前記初期積層パターンを入力として、前記制約条件を満足する前記積層パターンとなるように、前記探索モデルを学習させるステップと、を実行させる。
【選択図】図５

【特許請求の範囲】

【請求項1】

繊維の配向方向が一方向となる一方向材としての繊維シートを用いて、前記繊維シートを積層して形成される積層体の積層パターンを探索するための探索モデルを、学習装置が学習する学習装置の学習方法であって、
前記探索モデルは、前記繊維シートの積層に関する制約条件を含むと共に、方策関数及び価値関数を用いた学習モデルとなっており、
前記学習装置に、
初期状態の前記積層パターンである初期積層パターンを取得するステップと、
前記初期積層パターンを入力として、前記制約条件を満足する前記積層パターンとなるように、前記探索モデルを学習させるステップと、を実行させる学習装置の学習方法。

【請求項2】

前記探索モデルは、モンテカルロ木探索と深層強化学習とを組み合わせた学習モデルである請求項１に記載の学習装置の学習方法。

【請求項3】

前記探索モデルを学習させるステップは、
前記初期積層パターンとして、前記制約条件を満足する前記積層パターンを取得するステップと、
前記制約条件を満足する前記積層パターンの一部の前記繊維シートの層を入れ替えて、前記制約条件を満足しない前記積層パターンを生成するステップと、
前記制約条件を満足しない前記積層パターンを、前記初期積層パターンの入力として選択するステップと、を含む請求項１または２に記載の学習装置の学習方法。

【請求項4】

前記探索モデルを学習させるステップは、
前記探索モデルによる前記積層パターンの探索時において、隣接する前記繊維シートの層同士を入れ替えて、探索を実行する請求項１から３のいずれか１項に記載の学習装置の学習方法。

【請求項5】

前記探索モデルを学習させるステップは、
前記探索モデルによる前記積層パターンの探索時における前記繊維シートの層同士の入れ替えの回数が少ないほど、前記価値関数における報酬が高くなる学習となっている請求項４に記載の学習装置の学習方法。

【請求項6】

前記制約条件は、積層方向において、前記配向方向が同一方向となる前記繊維シートの連続性に関する条件と、積層方向において隣接する前記繊維シート同士の配向方向が為す配向角度の差に関する条件と、の少なくともいずれかを含む請求項１から５のいずれか１項に記載の学習装置の学習方法。

【請求項7】

前記繊維シートの連続性に関する条件は、前記繊維シートの連続が３層以下となる条件であり、
前記配向角度の差に関する条件は、配向角度の差が４５°以下となる条件である請求項６に記載の学習装置の学習方法。

【請求項8】

前記探索モデルで用いられる前記積層パターンにおける積層数は、前記積層体の積層数よりも少ない積層数となっている請求項１から７のいずれか１項に記載の学習装置の学習方法。

【請求項9】

請求項１から８のいずれか１項に記載の学習装置の学習方法により学習した前記探索モデルを用いて、前記制約条件を満足する前記積層体の積層パターンである設計パターンを、設計装置を用いて設計する設計パターンの設計方法であって、
前記設計装置に、
所定のアルゴリズムにより前記積層体の候補となる前記積層パターンである候補パターンを導出するステップと、
前記積層体の前記候補パターンを前記探索モデルに入力して、前記制約条件を満足する前記積層パターンである設計パターンを導出するステップと、を実行させる設計パターンの設計方法。

【請求項10】

前記積層体の前記設計パターンの積層数が、前記探索モデルに用いられる前記積層パターンにおける積層数よりも多い積層数である場合、
前記積層体の前記候補パターンを導出するステップの実行後、導出された前記積層体の前記候補パターンのうち、前記制約条件を満たしていない前記積層パターンを抽出パターンとして抽出するステップを実行し、
前記制約条件を満足する前記設計パターンを導出するステップでは、前記抽出パターンを前記探索モデルに入力する請求項９に記載の設計パターンの設計方法。

【請求項11】

前記積層体の積層数が、前記探索モデルに用いられる前記積層パターンにおける積層数よりも多い積層数である場合、
前記制約条件を満足する前記設計パターンを導出するステップでは、前記積層体の前記候補パターンを覆うように、複数の前記積層パターンを並べて設定すると共に、並べた複数の前記積層パターンの一部が重複するように設定する請求項９に記載の設計パターンの設計方法。

【請求項12】

前記制約条件を満足する前記設計パターンを導出するステップは、
前記探索モデルによる前記積層パターンの探索時において、隣接する前記繊維シートの層同士を入れ替えて、探索を実行する請求項９から１１のいずれか１項に記載の設計パターンの設計方法。

【請求項13】

請求項９から１２のいずれか１項に記載の設計パターンの設計方法により設計された前記設計パターンに基づいて、前記繊維シートを積層するステップと、
積層した前記繊維シートを一体化して前記積層体を形成するステップと、を実行する積層体の製造方法。

【請求項14】

請求項１から８のいずれか１項に記載の学習装置の学習方法により学習した前記探索モデルを用いて、前記制約条件を満足する前記積層体の積層パターンである設計パターンを設計する設計パターンの設計装置であって、
所定のアルゴリズムにより前記積層体の候補となる前記積層パターンである候補パターンを導出するステップと、
前記積層体の前記候補パターンを前記探索モデルに入力して、前記制約条件を満足する前記積層パターンである設計パターンを導出するステップと、を実行する制御部を備える設計パターンの設計装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習装置の学習方法、設計パターンの設計方法、積層体の製造方法及び設計パターンの設計装置に関するものである。

【背景技術】

【0002】

従来、積層体である複合材料積層構造体の積層構成を設計する複合材料積層構造体の設計方法が知られている（例えば、特許文献１参照）。この設計方法では、物性値から積層構成を予測する予測モデルとしての関係式を用いて、物性値を入力として、積層構成を算出している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６６２５３０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

積層構成には、積層方向において積層順等の制約条件がある。制約条件としては、例えば、隣接する２つの層同士の繊維の配向方向が為す配向角度の差が４５°以下となる条件等がある。特許文献１の設計方法では、物性値に基づき、関係式を用いて、上記の制約条件を考慮した積層構成の情報である積層構成情報を算出するとしている。

【0005】

しかしながら、特許文献１では、入力値として物性値を用いる場合、上記の制約条件を考慮した積層構成情報を算出しようとすると、解を予測することができず、積層構成情報を得られない可能性がある。また、特許文献１では、解が収束する場合であっても、計算時間がかかってしまう可能性があり、積層数が増えるほど計算時間が増大し、計算コストの増大の抑制を図ることが困難となる。

【0006】

そこで、本開示は、制約条件を考慮した適切な積層パターンを容易に導出することができる学習装置の学習方法、設計パターンの設計方法、積層体の製造方法及び設計パターンの設計装置を提供することを課題とする。

【課題を解決するための手段】

【0007】

本開示の学習装置の学習方法は、繊維の配向方向が一方向となる一方向材としての繊維シートを用いて、前記繊維シートを積層して形成される積層体の積層パターンを探索するための探索モデルを、学習装置が学習する学習装置の学習方法であって、前記探索モデルは、前記繊維シートの積層に関する制約条件を含むと共に、方策関数及び価値関数を用いた学習モデルとなっており、前記学習装置に、初期状態の前記積層パターンである初期積層パターンを取得するステップと、前記初期積層パターンを入力として、前記制約条件を満足する前記積層パターンとなるように、前記探索モデルを学習させるステップと、を実行させる。

【0008】

本開示の設計パターンの設計方法は、上記の学習装置の学習方法により学習した前記探索モデルを用いて、前記制約条件を満足する前記積層体の積層パターンである設計パターンを、設計装置を用いて設計する設計パターンの設計方法であって、前記設計装置に、所定のアルゴリズムにより前記積層体の候補となる前記積層パターンである候補パターンを導出するステップと、前記積層体の前記候補パターンを前記探索モデルに入力して、前記制約条件を満足する前記積層パターンである設計パターンを導出するステップと、を実行させる。

【0009】

本開示の積層体の製造方法は、上記の設計パターンの設計方法により設計された前記設計パターンに基づいて、前記繊維シートを積層するステップと、積層した前記繊維シートを一体化して前記積層体を形成するステップと、を実行する。

【0010】

本開示の設計パターンの設計装置は、上記の学習装置の学習方法により学習した前記探索モデルを用いて、前記制約条件を満足する前記積層体の積層パターンである設計パターンを設計する設計パターンの設計装置であって、所定のアルゴリズムにより前記積層体の候補となる前記積層パターンである候補パターンを導出するステップと、前記積層体の前記候補パターンを前記探索モデルに入力して、前記制約条件を満足する前記積層パターンである設計パターンを導出するステップと、を実行する制御部を備える。

【発明の効果】

【0011】

本開示によれば、制約条件を考慮した適切な積層パターンを迅速に導出することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、積層パターンに関する説明図である。

【図2】図２は、本実施形態に係る設計パターンの設計装置に関する図である。

【図3】図３は、探索モデルに関する説明図である。

【図4】図４は、本実施形態に係る設計装置の学習方法に関するフローチャートである。

【図5】図５は、探索モデルの学習に関するフローチャートである。

【図6】図６は、本実施形態に係る設計パターンの設計方法に関するフローチャートである。

【図7】図７は、本実施形態に係る積層体の製造方法に関するフローチャートである。

【発明を実施するための形態】

【0013】

以下に、本開示に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。

【0014】

［本実施形態］
本実施形態に係る学習装置の学習方法、設計パターンの設計方法、積層体の製造方法及び設計パターンの設計装置は、繊維シートＳを積層して形成される積層体１の積層パターンＰに関するものである。図１は、積層パターンに関する説明図である。図２は、本実施形態に係る設計パターンの設計装置に関する図である。図３は、探索モデルに関する説明図である。図４は、本実施形態に係る設計装置の学習方法に関するフローチャートである。図５は、探索モデルの学習に関するフローチャートである。図６は、本実施形態に係る設計パターンの設計方法に関するフローチャートである。図７は、本実施形態に係る積層体の製造方法に関するフローチャートである。

【0015】

（積層体）
図１は、上側の図が、制約条件を満たしていない積層体１の積層パターンＰを示す図となっており、下側の図が、制約条件を満たす積層体１の積層パターンＰを示す図となっている。図１に示すように、積層体１は、複数の繊維シートＳを積層方向に並べて積層し、一体成形することで形成されるものである。繊維シートＳは、例えば、強化繊維に樹脂を含侵させたプリプレグであり、繊維の配向方向が一方向となる一方向材となっている。なお、繊維シートＳは、プリプレグに特に限定されず、樹脂を含侵させていないドライ状態の強化繊維シートであってもよい。積層体１は、積層方向において、所定の積層パターンＰとなっている。積層パターンＰとは、基準方向と各繊維シートＳの配向方向とが為す配向角度の積層方向における並び順である。

【0016】

図１の上側の図において、積層体１の積層パターンＰは、配向角度が（0,45,90,0,45,90,-45,45,0,0,0,0）となっている。ここで、積層パターンＰには、求められる特性から制約条件が課されることがある。制約条件は、積層方向において隣接する繊維シートＳ同士の配向角度の差が４５°以下となる第１条件と、積層方向において、配向方向が同一方向となる繊維シートＳの連続が３層以下となる第２条件とを含む。図１の上側の図では、点線Ｃ１で囲った隣接する繊維シートＳにおいて、第１条件が満たされておらず、点線Ｃ２で囲った並んだ繊維シートＳにおいて、第２条件が満たされていないものとなっている。これに対して、図１の下側の図において、積層体１の積層パターンＰは、配向角度が（0,0,45,90,45,90,-45,0,45,0,0,0）となっており、上記の制約条件を満たしたものとなっている。なお、制約条件の第１条件は、配向角度の差が４５°以下となる条件であったが、配向角度については特に限定されず、何れの配向角度であってもよい。また、制約条件の第２条件は、繊維シートＳの連続が３層以下となるとなる条件であったが、層数については特に限定されず、何れの層数であってもよい。さらに、制約条件は、積層体１に求められる特性に応じた条件であってもよく、第１条件及び第２条件に特に限定されない。

【0017】

（設計パターンの設計装置）
設計パターンの設計装置１０は、制約条件を満足する積層体１の積層パターンＰである設計パターンを設計する装置となっている。また、設計装置１０は、積層パターンＰを探索するための探索モデルＭを学習するための学習装置としても機能している。なお、本実施形態では、設計装置１０と学習装置とは、一体となっているが、特に限定されず、別体として構成してもよい。

【0018】

図２に示すように、設計装置１０は、制御部１５と、記憶部１６とを備えている。

【0019】

記憶部１６は、プログラム及びデータを記憶している。また、記憶部１６は、制御部１５の処理結果を一時的に記憶する作業領域としても機能してもよい。記憶部１６は、半導体記憶デバイス、及び磁気記憶デバイス等の任意の記憶デバイスを含んでよい。

【0020】

記憶部１６は、プログラムとして、探索モデルＭを含む。探索モデルＭは、積層体１の積層パターンＰを探索する学習モデルである。探索モデルＭは、モンテカルロ木探索と深層強化学習とを組み合わせた、上記の制約条件を含む学習モデルとなっている。探索モデルＭでは、方策関数と価値関数とが用いられており、積層方向において隣接する繊維シートＳの配向角度を入れ替えることで、制約条件を満たす積層パターンＰの探索を行っている。また、この探索モデルＭは、教師データなしで学習可能な学習モデルとなっている。記憶部１６は、データとして、積層パターンＰに関する積層データＤ１と、制約条件に関する制約データＤ２と、を記憶している。積層データＤ１は、図１に示す積層パターンＰに関する情報であり、入力として用いられる積層データＤ１と、出力として取得する積層データＤ１とを含む。制約データＤ２は、上記した第１条件及び第２条件に関する情報である。

【0021】

制御部１５は、プログラムを実行したり、記憶部１６との間でデータを授受したりする。制御部１５は、例えば、ＣＰＵ（Central Processing Unit）等の集積回路を含んでいる。具体的に、制御部１５は、記憶部１６に記憶されている積層データＤ１及び制約データＤ２を用いて、探索モデルＭの学習を実行している。また、制御部１５は、学習済みの探索モデルＭを用いて、制約条件を満たす積層体１の積層パターンＰを導出している。

【0022】

ここで、図３を参照して、制御部１５により、探索モデルＭを用いた、制約条件を満たす積層体１の積層パターンＰの導出について説明する。図３の上側の積層パターンＰは、図１の上側の積層パターンＰに相当し、制約条件を満たさない積層パターンＰとなっている。図３の下側の積層パターンＰは、図１の下側の積層パターンＰに相当し、制約条件を満たす積層パターンＰとなっている。図３では、制約条件を満たさない積層パターンＰが入力されると、モンテカルロ木探索と深層強化学習とを組み合わせた探索モデルＭにより、積層方向に隣接する繊維シートＳの配向角度の入れ替えが行われる。図３では、学習済みの探索モデルＭが用いられており、具体的に、探索モデルＭに含まれる学習済みの方策関数及び価値関数が用いられる。このため、探索モデルＭは、繊維シートＳの配向角度の入れ替えに関する探索を行い、探索を行った探索結果から、報酬が高い方策となる繊維シートＳの配向角度の入れ替えを選択する。そして、探索モデルＭは、繊維シートＳの配向角度の入れ替えによって制約条件を満たすと、制約条件を満たす積層パターンＰを解として導出する。

【0023】

図３に示すように、探索モデルＭで用いられる積層パターンＰは、その積層数が、例えば、１２層となっている。本実施形態において、積層パターンＰの積層数は、積層体１の積層数よりも少ない積層数となっている。なお、積層パターンＰの積層数は、積層体１の積層数と同じ積層数であってもよい。

【0024】

（設計装置の学習方法）
次に、図４及び図５を参照して、上記の設計装置１０が探索モデルＭを学習する設計装置１０の学習方法について説明する。

【0025】

図４に示すように、設計装置（学習装置）の学習方法において、先ず、設計装置１０の制御部１５は、初期状態の積層パターンＰである初期積層パターンを取得するステップを実行する（ステップＳ１１）。初期積層パターンとしては、例えば、制約条件を満たした積層パターンである。続いて、制御部１５は、初期積層パターンを用いて、探索モデルＭを学習させるステップＳ１２を実行する。つまり、ステップＳ１２では、探索モデルＭが教師データなしで学習可能なモデルとなっていることから、初期積層パターンを用いて、探索モデルＭの学習を実行することができる。この後、制御部１５は、学習後の探索モデルＭが性能を満足しているか否かを評価する（ステップＳ１３）。ステップＳ１３では、学習済みの探索モデルＭに、評価用の入力となる積層パターンＰを入力し、出力された積層パターンＰが制約条件を満足しているか否かを評価することで、探索モデルＭの性能を評価している。制御部１５は、ステップＳ１３において、探索モデルＭの性能を満足したと判定する場合（ステップＳ１３：Ｙｅｓ）、探索モデルＭの評価を終了する。一方で、制御部１５は、ステップＳ１３において、探索モデルＭの性能を満足していないと判定する場合（ステップＳ１３：Ｎｏ）、ステップＳ１２に進み、探索モデルＭの学習を再び実行する。

【0026】

次に、図５を参照して、探索モデルＭの学習に関するステップＳ１２について、具体的に説明する。探索モデルＭの学習において、制御部１５は、ステップＳ１１において制約条件を満足する初期積層パターンを取得すると、初期積層パターンの一部の繊維シートＳの層を入れ替えて、制約条件を満足しない初期積層パターンを複数生成する（ステップＳ２１）。ステップＳ２１では、隣接する繊維シートの層同士を入れ替えてもよいし、繊維シートの層をランダムに入れ替えてもよく、特に限定されない。続いて、制御部１５は、制約条件を満足しない複数の初期積層パターンの中から、１つの初期積層パターンを入力として選択する（ステップＳ２２）。制御部１５は、入力とした初期積層パターンを、積層パターンＰのステートとする（ステップＳ２３）。続いて、制御部１５は、所定のエピソードステップ数に達したか否かを判定する（ステップＳ２４）。ここで、エピソードステップ数とは、ステップＳ２３を起点として、後述するステップＳ２６からステップＳ２８を経て、再びステップＳ２３に戻るまでの一連のフローを一つのエピソードステップとし、このエピソードステップの繰り返し数となっている。そして、所定のエピソードステップ数は、予め規定された数値となっている。制御部１５は、所定のエピソードステップ数に達していると判定する（ステップＳ２４：Ｙｅｓ）と、後述するステップＳ２９に進む。一方で、制御部１５は、所定のエピソードステップ数に達していないと判定する（ステップＳ２４：Ｎｏ）と、ステップＳ２５に進む。

【0027】

制御部１５は、ステップＳ２５において、ステップＳ２３においてステートとした積層パターンＰが、制約条件を満足したか否かを判定する（ステップＳ２５）。制御部１５は、積層パターンＰが制約条件を満足したと判定する（ステップＳ２５：Ｙｅｓ）と、後述するステップＳ２９に進む。一方で、制御部１５は、積層パターンＰが制約条件を満足していないと判定する（ステップＳ２５：Ｎｏ）と、探索モデルＭを用いて、ステップＳ２３においてステートとした積層パターンＰに基づく探索を実行する（ステップＳ２６）。ステップＳ２６では、積層パターンＰにおいて、隣接する繊維シートＳの層同士を入れ替えて探索を実行している。そして、制御部１５は、ステップＳ２６において、探索の実行による結果である探索結果を取得する。この後、制御部１５は、探索回数が、予め規定した所定回数に達したか否かを判定する（ステップＳ２７）。制御部１５は、探索回数が所定回数に達していないと判定する（ステップＳ２７：Ｎｏ）と、再びステップＳ２６に進んで探索を再実行する。このように、ステップＳ２６は、所定の探索回数となるまで、繰り返し探索が実行される。

【0028】

制御部１５は、ステップＳ２７において、探索回数が所定回数に達していると判定する（ステップＳ２７：Ｙｅｓ）と、探索回数に応じた複数の探索結果の情報を用いて、入れ替え後の１つの積層パターンＰを選択するアクション（行動）を選択・実行し（ステップＳ２８）、ステップＳ２３に進む。制御部１５は、ステップＳ２３において、ステップＳ２８において選択した積層パターンＰのステートとする。なお、制御部１５は、ステップＳ２８においてアクションを実行することにより、エピソードステップ数をカウントアップする（「＋１」に増やす）。

【0029】

制御部１５は、ステップＳ２４において、所定のエピソードステップ数に達していると判定するか、または、ステップＳ２５において、積層パターンＰが制約条件を満足したと判定すると、ステップＳ２９に進む。制御部１５は、ステップＳ２９において、探索モデルＭに含まれる方策関数及び価値関数を更新する。ステップＳ２９では、全てのエピソードステップを実行することで得られた情報に基づいて方策関数及び価値関数を更新する。具体的に、ステップＳ２９では、探索モデルＭによる積層パターンＰの探索時において、繊維シートＳの層同士の入れ替えの回数が少ないほど報酬が高くなるように、方策関数及び価値関数を更新する。そして、制御部１５は、探索モデルＭの学習が終了したか否かを判定する（ステップＳ３０）。ステップＳ３０において、制御部１５は、学習が終了したと判定する（ステップＳ３０：Ｙｅｓ）と、ステップＳ１３に進む。一方で、ステップＳ３０において、制御部１５は、学習が終了していないと判定する（ステップＳ３０：Ｎｏ）と、ステップＳ２２に進み、探索モデルＭの学習を継続する。ステップＳ３０では、探索モデルＭの学習の終了を、例えば、ステップＳ２１において生成した複数の初期積層パターンの全て、または所定の数を実行したか否かに基づいて判定してもよい。探索モデルＭの学習の終了については、上記に特に限定されず、何れの判定であってもよい。

【0030】

なお、上記の学習方法では、ステップＳ２５を実行することで、制御部１５が、積層パターンＰが制約条件を満足したと判定すると、ステップＳ２９に進む。しかしながら、この方法に特に限定されず、ステップＳ２５を省き、積層パターンＰが制約条件を満足した場合であっても、所定のエピソードステップ数に達するまでは、探索モデルＭによる探索を繰り返し実行してもよい。

【0031】

（設計パターンの設計方法）
次に、図６を参照して、上記の設計装置１０を用いた設計パターンの設計方法について説明する。設計パターンは、制約条件を満足する積層体１の積層パターンＰである。なお、図６では、積層体１の設計パターンと、探索モデルＭで用いられる積層パターンＰとが同じ積層数となっている場合について説明する。

【0032】

図６に示すように、設計パターンの設計方法において、先ず、設計装置１０の制御部１５は、所定のアルゴリズムにより積層体１の候補となる積層パターンＰである候補パターンを導出するステップＳ３１を実行する。ステップＳ３１で用いられる所定のアルゴリズムとしては、例えば、遺伝的アルゴリズムである。候補パターンは、所定のアルゴリズムによって導出された積層体１の全積層に関する積層パターンである。ステップＳ３１では、導出された候補パターンを、探索モデルＭに入力する積層パターンＰとしている。続いて、制御部１５は、候補パターンを探索モデルＭに入力する（ステップＳ３２）。制御部１５は、入力とした候補パターンを、積層パターンＰのステートとする（ステップＳ３３）。続いて、制御部１５は、学習済みの探索モデルＭを用いて、ステップＳ３３からステップＳ３８を実行する。ステップＳ３３からステップＳ３８は、図５のステップＳ２３からステップＳ２８と同じステップとなるため、説明を省略する。制御部１５は、ステップＳ３４において、所定のエピソードステップ数に達していると判定するか、または、ステップＳ３５において、積層パターンＰが制約条件を満足したと判定すると、探索結果となる積層パターンＰを設計パターンとして出力する（ステップＳ３９）。制御部１５は、ステップＳ３９の実行後、設計方法に関する処理を終了する。

【0033】

ここで、積層体１の設計パターンの積層数は、探索モデルＭに用いられる積層パターンＰの積層数よりも多い場合がある。この場合、一例として、制御部１５は、積層体１の候補パターンを導出するステップＳ３１の実行後、積層体１の候補パターンのうち、制約条件を満たしていない積層パターンＰを抽出パターンとして抽出するステップを実行する。そして、制御部１５は、ステップＳ３２において、抽出パターンを探索モデルＭに入力する。また、他の一例として、制御部１５は、積層体１の候補パターンを導出するステップＳ３１の実行後、ステップＳ３２において、積層体１の積層数の覆うように、複数の積層パターンＰを積層方向に並べて設定する。このとき、制御部１５は、並べた複数の積層パターンＰの一部が重複するように設定する。複数の積層パターンＰを重複させる一例として、探索モデルＭで用いる積層パターンＰの積層数で、候補パターンをブロック単位に分割して、各積層パターンＰが制約条件を満足するように適正化し、この後、ブロック同士の界面を跨ぐように、探索モデルＭで用いる積層パターンＰを設定して、界面を跨ぐ積層パターンＰが制約条件を満足するように適正化してもよい。

【0034】

（積層体の製造方法）
次に、図７を参照して、上記の設計装置１０により設計された積層パターンＰに基づく積層体の製造方法について説明する。

【0035】

図７に示すように、積層体１の製造方法では、先ず、設計装置１０により導出された設計パターンに基づいて、繊維シートＳを積層するステップＳ４１を実行する。ステップＳ４１では、例えば、繊維シートＳを自動で積層する自動積層装置を用いて繊維シートＳを積層する。つまり、ステップＳ４１では、自動積層装置に、設計装置１０により導出された設計パターンを入力することで、所定の設計パターンとなるように繊維シートＳを積層する。続いて、積層体１の製造方法では、積層した繊維シートＳを一体化して積層体１を形成するステップＳ４２を実行する。ステップＳ４２では、繊維シートＳとして、熱硬化性樹脂を含侵させた強化繊維シートである場合には、加熱により樹脂を熱硬化させることで、積層した複数の繊維シートＳを一体化して積層体１とする。

【0036】

以上のように、本実施形態に記載の設計装置１０（学習装置）の学習方法、設計パターンの設計方法、積層体の製造方法及び設計パターンの設計装置１０は、例えば、以下のように把握される。

【0037】

第１の態様に係る学習装置（設計装置１０）の学習方法は、繊維の配向方向が一方向となる一方向材としての繊維シートＳを用いて、前記繊維シートＳを積層して形成される積層体１の積層パターンＰを探索するための探索モデルＭを、学習装置（設計装置１０）が学習する学習装置（設計装置１０）の学習方法であって、前記探索モデルＭは、前記繊維シートＳの積層に関する制約条件を含むと共に、方策関数及び価値関数を用いた学習モデルとなっており、前記学習装置に、初期状態の前記積層パターンＰである初期積層パターンを取得するステップＳ１１と、前記初期積層パターンを入力として、前記制約条件を満足する前記積層パターンＰとなるように、前記探索モデルを学習させるステップＳ１２と、を実行させる。

【0038】

この構成によれば、積層パターンＰを探索モデルＭの入力とすることができるため、入力として物性値を用いる場合と比べて、探索モデルＭによる制約条件を満足する積層パターンＰの探索を容易に導出することができる。

【0039】

第２の態様として、前記探索モデルＭは、モンテカルロ木探索と深層強化学習とを組み合わせた学習モデルである。

【0040】

この構成によれば、探索モデルＭによる効率の良い探索を実行することができる。

【0041】

第３の態様として、前記探索モデルＭを学習させるステップＳ１２は、前記初期積層パターンとして、前記制約条件を満足する前記積層パターンＰを取得するステップＳ１１と、前記制約条件を満足する前記積層パターンＰの一部の前記繊維シートＳの層を入れ替えて、前記制約条件を満足しない前記積層パターンＰを生成するステップＳ２１と、前記制約条件を満足しない前記積層パターンＰを、前記初期積層パターンの入力として選択するステップＳ２２と、を含む。

【0042】

この構成によれば、制約条件を満足する積層パターンＰを用いて、制約条件を満足しない積層パターンＰを生成することができるため、探索モデルＭの学習に用いるデータ量を低減することができる。

【0043】

第４の態様として、前記探索モデルＭを学習させるステップＳ１２は、前記探索モデルＭによる前記積層パターンＰの探索時において、隣接する前記繊維シートＳの層同士を入れ替えて、探索を実行する。

【0044】

この構成によれば、積層パターンＰの探索のルールを簡易なルールとすることができるため、簡易なルールに基づく探索により、制約条件を満足する積層パターンＰを効率よく探索することができる。

【0045】

第５の態様として、前記探索モデルＭを学習させるステップＳ１２は、前記探索モデルＭによる前記積層パターンＰの探索時における前記繊維シートＳの層同士の入れ替えの回数が少ないほど、前記価値関数における報酬が高くなる学習となっている。

【0046】

この構成によれば、制約条件を考慮した適切な積層パターンＰを迅速に導出する探索モデルＭとして学習させることができる。

【0047】

第６の態様として、前記制約条件は、積層方向において、前記配向方向が同一方向となる前記繊維シートの連続性に関する条件と、積層方向において隣接する前記繊維シート同士の配向方向が為す配向角度の差に関する条件と、の少なくともいずれかを含む。

【0048】

この構成によれば、求められる特性（強度・剛性・損傷の発生及び進展）を有する積層パターンＰとなる積層体１を形成することができる。

【0049】

第７の態様として、前記繊維シートＳの連続性に関する条件は、前記繊維シートＳの連続が３層以下となる条件であり、前記配向角度の差に関する条件は、配向角度の差が４５°以下となる条件である。

【0050】

この構成によれば、積層体に求められる特性を適切に調整することができる。

【0051】

第８の態様として、前記探索モデルＭで用いられる前記積層パターンＰにおける積層数は、前記積層体の積層数よりも少ない積層数となっている。

【0052】

この構成によれば、積層体１の積層数よりも、探索モデルＭで用いられる積層パターンＰの積層数を少なくできるため、探索モデルＭの学習負荷を軽減することができる。

【0053】

第９の態様に係る設計パターンの設計方法は、上記の学習装置の学習方法により学習した前記探索モデルを用いて、前記制約条件を満足する前記積層体の積層パターンである設計パターンを、設計装置を用いて設計する設計パターンの設計方法であって、前記設計装置に、所定のアルゴリズムにより前記積層体の候補となる前記積層パターンである候補パターンを導出するステップＳ３１と、前記積層体の前記候補パターンを前記探索モデルに入力して、前記制約条件を満足する前記積層パターンである設計パターンを導出するステップＳ３２～Ｓ３９と、を実行させる。

【0054】

この構成によれば、候補パターンを入力とし、探索モデルＭを用いることで、制約条件を考慮した適切な設計パターンを容易に導出することができる。

【0055】

第１０の態様として、前記積層体１の前記設計パターンの積層数が、前記探索モデルに用いられる前記積層パターンにおける積層数よりも多い積層数である場合、前記積層体の前記候補パターンを導出するステップＳ３１の実行後、導出された前記積層体の前記候補パターンのうち、前記制約条件を満たしていない前記積層パターンを抽出パターンとして抽出するステップを実行し、前記制約条件を満足する前記設計パターンを導出するステップＳ３２～Ｓ３９では、前記抽出パターンを前記探索モデルに入力する。

【0056】

この構成によれば、積層体１の候補パターンの一部である制約条件を満たしていない抽出パターンに対して、探索モデルＭの積層パターンＰを設定することで、制約条件を満足した積層体１の設計パターンを導出することができる。

【0057】

第１１の態様として、前記積層体１の積層数が、前記探索モデルＭに用いられる前記積層パターンＰにおける積層数よりも多い積層数である場合、前記制約条件を満足する前記設計パターンＰを導出するステップＳ３２～Ｓ３９では、前記候補パターンを覆うように、複数の前記積層パターンＰを並べて設定すると共に、並べた複数の前記積層パターンＰの一部が重複するように設定する。

【0058】

この構成によれば、探索モデルＭの積層パターンＰの積層数が少ない場合であっても、積層体１の候補パターンの全ての積層数に亘って、探索モデルＭの積層パターンＰを設定することができる。このため、制約条件を満足した積層体１の設計パターンとすることができる。

【0059】

第１２の態様として、前記制約条件を満足する前記設計パターンを導出するステップＳ３２～Ｓ３９は、前記探索モデルＭによる前記積層パターンＰの探索時において、隣接する前記繊維シートＳの層同士を入れ替えて、探索を実行する。

【0060】

この構成によれば、積層パターンＰの探索のルールを簡易なルールとすることができるため、簡易なルールに基づく探索により、制約条件を満足する積層パターンＰを効率よく探索することができる。

【0061】

第１３の態様に係る積層体１の製造方法は、上記の設計パターンの設計方法により設計された前記設計パターンに基づいて、前記繊維シートＳを積層するステップＳ４１と、積層した前記繊維シートＳを一体化して前記積層体１を形成するステップＳ４２と、を実行する。

【0062】

この構成によれば、制約条件を満足した積層パターンＰとなる積層体１を製造することができる。

【0063】

第１４の態様に係る設計パターンの設計装置１０は、上記の学習装置（設計装置１０）の学習方法により学習した前記探索モデルＭを用いて、前記制約条件を満足する前記積層体１の積層パターンＰである設計パターンを設計する設計パターンの設計装置１０であって、所定のアルゴリズムにより前記積層体１の候補となる前記積層パターンＰである候補パターンを導出するステップＳ３１と、前記積層体１の前記候補パターンを前記探索モデルＭに入力して、前記制約条件を満足する前記積層パターンＰである設計パターンを導出するステップＳ３２～Ｓ３９と、を実行する制御部１５を備える。

【0064】

この構成によれば、候補パターンＰを入力とし、探索モデルＭを用いることで、制約条件を考慮した適切な設計パターンを容易に導出することができる。

【符号の説明】

【0065】

１ 積層体
１０ 設計装置
１５ 制御部
１６ 記憶部
Ｓ 繊維シート
Ｐ 積層パターン
Ｍ 探索モデル
Ｄ１ 積層データ
Ｄ２ 制約データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】