特許 7571224 材料開発のための予測設計空間メトリック

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-11

(45)【発行日】2024-10-22

(54)【発明の名称】材料開発のための予測設計空間メトリック

(51)【国際特許分類】

   G16C 60/00 20190101AFI20241015BHJP

【ＦＩ】

G16C60/00

【請求項の数】 18

(21)【出願番号】P 2023129970

(22)【出願日】2023-08-09

(62)【分割の表示】P 2021572256の分割

【原出願日】2020-01-09

(65)【公開番号】P2023138736

(43)【公開日】2023-10-02

【審査請求日】2023-08-09

(31)【優先権主張番号】16/568,701

(32)【優先日】2019-09-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/810,291

(32)【優先日】2019-02-25

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521375117

【氏名又は名称】シトリン インフォマティックス， インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ユルヒ キム

(72)【発明者】

【氏名】エリン メリッサ タン アントノ

(72)【発明者】

【氏名】エドワード スー キム

(72)【発明者】

【氏名】ブライス ウィリアム メレディグ

(72)【発明者】

【氏名】ジュリア ブラック リン

【審査官】山崎 誠也

(56)【参考文献】

【文献】特許第７３３１１５０（ＪＰ，Ｂ２）

【文献】国際公開第９８／００６５５０（ＷＯ，Ａ１）

【文献】特開２００４－２３９６８５（ＪＰ，Ａ）

【文献】特開２００４－１５８００８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０２３６５４８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０１４７９１２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００６／００７４５９４（ＵＳ，Ａ１）

【文献】GOPAKUMAR et al.，Multi-objective Optimization for Materials Discovery via Adaptive Design，Scientific Reports(2018)8:3738，2018年02月27日，p.1-12，[online]，[検索日 2023.02.07]

【文献】小関敏彦，材料データとマテリアルズインテグレーション，情報管理，国立研究開発法人科学技術振興機構，2016年06月01日，第59巻,第3号，p.165-171

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｃ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

システム内のプロセッサによる実行のための材料設計空間品質を決定する方法であって、前記方法は、
前記プロセッサが、ユーザから、規定された材料特性および設計空間の入力を受信するステップであって、前記設計空間は、複数の候補材料を備えている、ステップと、
前記プロセッサが、第１のモデルを訓練するために使用された訓練データの組から、前記規定された材料特性に関する前記組の最高特性値を有する最良データ点を識別するステップと、
前記設計空間の各それぞれの候補材料に関して、
前記プロセッサが、前記それぞれの候補材料を前記第１のモデルに入力することと、
前記プロセッサが、前記第１のモデルからの出力として、前記規定された材料特性に関するそれぞれの特性値を受信することと、
前記プロセッサが、前記それぞれの特性値が前記最良データ点の特性値を超えるかどうかを決定することと、
前記プロセッサが前記それぞれの特性値が前記最良データ点の特性値を超えることを決定することに応答して、前記プロセッサが、前記それぞれの候補材料を候補材料のサブセットに追加することと
を行うステップと、
前記プロセッサが、前記候補材料のサブセット内の候補材料の総数を前記設計空間内の候補材料の総数によって徐算することによって、改良された候補の予測される割合（ＰＦＩＣ）スコアを決定するステップと、
前記プロセッサが、第２のモデルを使用して、複数の曲線を生成するステップであって、前記複数の曲線のうちの各それぞれの曲線は、それぞれの候補材料がもたらすであろう前記規定された材料特性に関する特性値のそれぞれの確率分布を反映する、ステップと、
前記プロセッサが、前記複数のそれぞれの曲線のサブセットに基づいて、改良の累積最大尤度（ＣＭＬＩ）スコアを決定するステップであって、前記ＣＭＬＩスコアは、前記設計空間が前記最良データ点の前記特性値を超える特性値を伴う少なくとも１つの候補材料を備えている確率を示す、ステップと、
前記プロセッサが、ＰＦＩＣ閾値スコアを超える前記ＰＦＩＣスコアとＣＭＬＩ閾値スコアを超える前記ＣＭＬＩスコアとの両方に基づいて、前記設計空間が高品質であるかどうかを決定するステップと、
前記プロセッサが前記設計空間が高品質であることを決定することに応答して、前記プロセッサが、前記設計空間を用いて前進するための推奨を前記ユーザに出力するステップと
を含む、方法。

【請求項2】

前記ＣＭＬＩスコアを決定することは、
前記プロセッサが、前記ＣＭＬＩスコアが導出されるべき前記複数の候補材料の量ｎのユーザ入力を受信することと、
前記プロセッサが、前記複数のそれぞれの曲線の前記サブセットを前記複数の曲線のうちのｎ個の曲線を含むように限定することと
をさらに含み、
前記ｎ個の曲線の各々は、前記複数の曲線のうちの他の曲線に対して、前記ｎ個の曲線のそれぞれの候補材料が前記最良データ点の前記特性値を超える特性値を有することの最高尤度を反映する、請求項１に記載の方法。

【請求項3】

前記プロセッサが、前記設計空間を用いて前進するための推奨を前記ユーザに出力することは、前記プロセッサが、前記最良データ点の前記特性値を超える特性値を有するそれらの尤度の順序において、前記候補材料のランク付けされたリストを出力することを含む、請求項２に記載の方法。

【請求項4】

前記プロセッサが、前記ランク付けされたリストをｎ個の候補材料に限定することをさらに含む、請求項３に記載の方法。

【請求項5】

前記プロセッサが、前記ＣＭＬＩスコアを決定することは、
前記プロセッサが、前記複数のそれぞれの曲線の前記サブセットを前記複数の曲線のうちの所定のパーセンテージの曲線を含むように限定することをさらに含み、
前記複数の曲線のうちの各曲線は、それぞれの候補材料が前記最良データ点の前記特性値を超える特性値を有する尤度を表し、前記限定されたサブセットに含まれる各曲線の前記表される尤度は、前記複数の曲線のうちの前記限定されたサブセットに含まれない曲線の前記表される尤度のいずれよりも高い、請求項１に記載の方法。

【請求項6】

前記プロセッサが、前記ＰＦＩＣスコアが前記ＰＦＩＣ閾値スコアを下回ることと、前記ＣＭＬＩスコアが前記ＣＭＬＩ閾値スコアを下回ることとの両方に基づいて、前記設計空間が低品質であるかどうかを決定するステップと、
前記設計空間が低品質であることを決定することに応答して、前記プロセッサが、前記設計空間を用いて前進するためではない推奨を前記ユーザに出力するステップと
をさらに含む、請求項１に記載の方法。

【請求項7】

材料設計空間品質を決定するためのメモリを備えている非一過性コンピュータ読み取り可能な媒体であって、命令が前記メモリ上にエンコーディングされており、前記命令は、実行されると、プロセッサに動作を実行させ、前記命令は、
ユーザから、規定された材料特性および設計空間の入力を受信することであって、前記設計空間は、複数の候補材料を備えている、ことと、
第１のモデルを訓練するために使用された訓練データの組から、前記規定された材料特性に関する前記組の最高特性値を有する最良データ点を識別することと、
前記設計空間の各それぞれの候補材料に関して、
前記それぞれの候補材料を前記第１のモデルに入力することと、
前記第１のモデルからの出力として、前記規定された材料特性に関するそれぞれの特性値を受信することと、
前記それぞれの特性値が前記最良データ点の特性値を超えるかどうかを決定することと、
前記それぞれの特性値が前記最良データ点の特性値を超えることを決定することに応答して、前記それぞれの候補材料を候補材料のサブセットに追加することと
を行うことと、
前記候補材料のサブセット内の候補材料の総数を前記設計空間内の候補材料の総数によって徐算することによって、改良された候補の予測される割合（ＰＦＩＣ）スコアを決定することと、
第２のモデルを使用して、複数の曲線を生成することであって、前記複数の曲線のうちの各それぞれの曲線は、それぞれの候補材料がもたらすであろう前記規定された材料特性に関する特性値のそれぞれの確率分布を反映する、ことと、
前記複数のそれぞれの曲線のサブセットに基づいて、改良の累積最大尤度（ＣＭＬＩ）スコアを決定することであって、前記ＣＭＬＩスコアは、前記設計空間が前記最良データ点の前記特性値を超える特性値を伴う少なくとも１つの候補材料を備えている確率を示す、ことと、
ＰＦＩＣ閾値スコアを超える前記ＰＦＩＣスコアとＣＭＬＩ閾値スコアを超える前記ＣＭＬＩスコアとの両方に基づいて、前記設計空間が高品質であるかどうかを決定することと、
前記設計空間が高品質であることを決定することに応答して、前記設計空間を用いて前進するための推奨を前記ユーザに出力することと
を行うための命令を備えている、非一過性コンピュータ読み取り可能な媒体。

【請求項8】

前記ＣＭＬＩスコアを決定するための命令は、
前記ＣＭＬＩスコアが導出されるべき前記複数の候補材料の量ｎのユーザ入力を受信することと、
前記複数のそれぞれの曲線の前記サブセットを前記複数の曲線のうちのｎ個の曲線を含むように限定することと
を行うための命令をさらに備え、
前記ｎ個の曲線の各々は、前記複数の曲線のうちの他の曲線に対して、前記ｎ個の曲線のそれぞれの候補材料が前記最良データ点の前記特性値を超える特性値を有することの最高尤度を反映する、請求項７に記載の非一過性コンピュータ読み取り可能な媒体。

【請求項9】

前記設計空間を用いて前進するための推奨を前記ユーザに出力するための命令は、前記最良データ点の前記特性値を超える特性値を有するそれらの尤度の順序において、前記候補材料のランク付けされたリストを出力するための命令を備えている、請求項８に記載の非一過性コンピュータ読み取り可能な媒体。

【請求項10】

前記ランク付けされたリストをｎ個の候補材料に限定することをさらに備えている、請求項９に記載の非一過性コンピュータ読み取り可能な媒体。

【請求項11】

前記ＣＭＬＩスコアを決定するための命令は、
前記複数のそれぞれの曲線の前記サブセットを前記複数の曲線のうちの所定のパーセンテージの曲線を含むように限定するための命令をさらに備え、
前記複数の曲線のうちの各曲線は、それぞれの候補材料が前記最良データ点の前記特性値を超える特性値を有する尤度を表し、前記限定されたサブセットに含まれる各曲線の前記表される尤度は、前記複数の曲線のうちの前記限定されたサブセットに含まれない曲線の前記表される尤度のいずれよりも高い、請求項７に記載の非一過性コンピュータ読み取り可能な媒体。

【請求項12】

前記命令は、
前記ＰＦＩＣスコアが前記ＰＦＩＣ閾値スコアを下回ることと、前記ＣＭＬＩスコアが前記ＣＭＬＩ閾値スコアを下回ることとの両方に基づいて、前記設計空間が低品質であるかどうかを決定することと、
前記設計空間が低品質であることを決定することに応答して、前記設計空間を用いて前進するためではない推奨を前記ユーザに出力することと
を行うための命令をさらに備えている、請求項７に記載の非一過性コンピュータ読み取り可能な媒体。

【請求項13】

材料設計空間品質を決定するためのシステムであって、前記システムは、
プロセッサと、
メモリを備えている非一過性コンピュータ読み取り可能な媒体と
を備え、
命令が前記メモリ上にエンコーディングされており、
前記プロセッサは、前記命令を実行すると、
規定された材料特性および設計空間のユーザによる入力を受信することであって、前記設計空間は、複数の候補材料を備えている、ことと、
第１のモデルを訓練するために使用された訓練データの組から、前記規定された材料特性に関する前記組の最高特性値を有する最良データ点を識別することと、
前記設計空間の各それぞれの候補材料に関して、
前記それぞれの候補材料を前記第１のモデルに入力することと、
前記第１のモデルからの出力として、前記規定された材料特性に関するそれぞれの特性値を受信することと、
前記それぞれの特性値が前記最良データ点の特性値を超えるかどうかを決定することと、
前記それぞれの特性値が前記最良データ点の特性値を超えることを決定することに応答して、前記それぞれの候補材料を候補材料のサブセットに追加することと
を行うことと、
前記候補材料のサブセット内の候補材料の総数を前記設計空間内の候補材料の総数によって徐算することによって、改良された候補の予測される割合（ＰＦＩＣ）スコアを決定することと、
第２のモデルを使用して、複数の曲線を生成することであって、前記複数の曲線のうちの各それぞれの曲線は、それぞれの候補材料がもたらすであろう前記規定された材料特性に関する特性値のそれぞれの確率分布を反映する、ことと、
前記複数のそれぞれの曲線のサブセットに基づいて、改良の累積最大尤度（ＣＭＬＩ）スコアを決定することであって、前記ＣＭＬＩスコアは、前記設計空間が前記最良データ点の前記特性値を超える特性値を伴う少なくとも１つの候補材料を備えている確率を示す、ことと、
ＰＦＩＣ閾値スコアを超える前記ＰＦＩＣスコアとＣＭＬＩ閾値スコアを超える前記ＣＭＬＩスコアとの両方に基づいて、前記設計空間が高品質であるかどうかを決定することと、
前記設計空間が高品質であることを決定することに応答して、前記設計空間を用いて前進するための推奨を前記ユーザに出力することと
を行うように構成されている、システム。

【請求項14】

前記プロセッサは、前記ＣＭＬＩスコアを決定するとき、
前記ＣＭＬＩスコアが導出されるべき前記複数の候補材料の量ｎのユーザ入力を受信することと、
前記複数のそれぞれの曲線の前記サブセットを前記複数の曲線のうちのｎ個の曲線を含むように限定することと
を行うようにさらに構成され、
前記ｎ個の曲線の各々は、前記複数の曲線のうちの他の曲線に対して、前記ｎ個の曲線のそれぞれの候補材料が前記最良データ点の前記特性値を超える特性値を有することの最高尤度を反映する、請求項１３に記載のシステム。

【請求項15】

前記プロセッサは、前記設計空間を用いて前進するための推奨を前記ユーザに出力するとき、前記最良データ点の前記特性値を超える特性値を有するそれらの尤度の順序において、前記候補材料のランク付けされたリストを出力するようにさらに構成されている、請求項１４に記載のシステム。

【請求項16】

前記プロセッサは、前記ランク付けされたリストをｎ個の候補材料に限定するようにさらに構成される、請求項１５に記載のシステム。

【請求項17】

前記プロセッサは、前記ＣＭＬＩスコアを決定するとき、
前記複数のそれぞれの曲線の前記サブセットを前記複数の曲線のうちの所定のパーセンテージの曲線を含むように限定するようにさらに構成され、
前記複数の曲線のうちの各曲線は、それぞれの候補材料が前記最良データ点の前記特性値を超える特性値を有する尤度を表し、前記限定されたサブセットに含まれる各曲線の前記表される尤度は、前記複数の曲線のうちの前記限定されたサブセットに含まれない曲線の前記表される尤度のいずれよりも高い、請求項１３に記載のシステム。

【請求項18】

前記プロセッサは、
前記ＰＦＩＣスコアが前記ＰＦＩＣ閾値スコアを下回ることと、前記ＣＭＬＩスコアが前記ＣＭＬＩ閾値スコアを下回ることとの両方に基づいて、前記設計空間が低品質であるかどうかを決定することと、
前記設計空間が低品質であることを決定することに応答して、前記設計空間を用いて前進するためではない推奨を前記ユーザに出力することと
を行うようにさらに構成されている、請求項１３に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、材料情報科学および材料開発の分野に関し、より具体的に、製造用の高性能材料の発見を加速させるための人工知能（ＡＩ）支援材料開発技法に関する。

【背景技術】

【0002】

製造業者は、多くの場合、ある仕様を満たす特性を伴う物体を作成するタスクを課される。例えば、物体が、引っ張られるとき、容易に破損しないであろう、したがって、少なくとも１００メガパスカル（ＭＰａ）の引張強度を要求するように、仕様が、作られ得る。それらが規定された製造パラメータを満たすかどうかを決定するための候補材料の大量または種々の組を包括的に試験することは、膨大な時間、労働力、および資金の消耗を要求し、商業的に実行不可能である。

【0003】

既存のシステムは、以前に実施された実験からのデータにアクセスし、機械学習モデルを使用して、データに基づいて、規定された製造パラメータを満たし得る候補材料を識別する。候補材料を識別後、実験が、これらの候補材料上で実施され、いずれが製造パラメータに対する既知の材料に優る改良であるかどうかを決定する。問題として、これらの既存のシステムは、ある候補の組がパラメータを満たす候補を含む可能性についての印を提供せず、したがって、そのようなシステムを使用することは、最終的に、実行可能材料をもたらさない、高価かつ時間を消費するプロセスであり得る。

【発明の概要】

【課題を解決するための手段】

【0004】

（構成概要）
開示されるシステム、方法、およびコンピュータ読み取り可能な記憶媒体の一実施形態は、材料開発用途のための設計空間品質を評価するためのシステムを含む。システムは、予測メトリックを実装し、機械学習モデルを使用して、最良の既知の候補に優る改良である材料が、設計空間内に存在するかどうかの尤度を決定する。尤度が、十分に高い場合、設計者は、改良された材料がその中にあるかどうかを決定するために、その設計空間を反復することにおいて自信を持ち、したがって、所望のパラメータに従って物体を製造することにおいて使用されるべき改良された材料を取得することにおける効率を改良するであろう。

【0005】

ある実施形態において、設計空間評価サービスは、ユーザによって、規定された材料特性および設計空間の入力を受信し、設計空間は、複数の候補材料を含む。設計空間評価サービスは、第１のモデルを訓練するために使用され、規定された材料特性に関する組の最高特性値を有する訓練データの組から、最良データ点を識別する。最良データ点は、製造されるべき物体に関して規定された特性値に関する最良の既知の値であり得る。設計空間評価サービスは、設計空間の各それぞれの候補材料に関して、それぞれの候補材料を第１のモデルに入力し、第１のモデルからの出力として、規定された材料特性に関するそれぞれの特性値を受信し、それぞれの特性値が最良データ点の特性値を超えるかどうかを決定し得る。それぞれの特性値がデータ点の特性値を超えることを決定することに応答して、設計空間評価サービスは、それぞれの候補材料を候補材料のサブセットに追加し得る。

【0006】

開示される実施形態は、発明を実施するための形態、添付の請求項、および付随の図（または図面）からより容易に明白になるであろう、他の利点および特徴を有する。図の簡単な紹介が、下記で行われる。
本発明は、例えば、以下を提供する。
（項目１）
材料設計空間品質を決定する方法であって、前記方法は、
ユーザから、規定された材料特性および設計空間の入力を受信することであって、前記設計空間は、複数の候補材料を備えている、ことと、
第１のモデルを訓練するために使用された訓練データの組から、前記規定された材料特性に関する前記組の最高特性値を有する最良データ点を識別することと、
前記設計空間の各それぞれの候補材料に関して、
前記それぞれの候補材料を前記第１のモデルに入力することと、
前記第１のモデルからの出力として、前記規定された材料特性に関するそれぞれの特性値を受信することと、
前記それぞれの特性値が前記最良データ点の特性値を超えるかどうかを決定することと、
前記それぞれの特性値が前記データ点の特性値を超えることを決定することに応答して、前記それぞれの候補材料を候補材料のサブセットに追加することと
を行うことと、
前記候補材料のサブセット内の候補材料の総数を前記設計空間内の候補材料の総数によって徐算することによって、改良された候補の予測される割合（ＰＦＩＣ）スコアを決定することと、
第２のモデルを使用して、複数の曲線を生成することであって、前記複数の曲線のうちの各それぞれの曲線は、それぞれの候補材料がもたらすであろう前記規定された材料特性に関する特性値のそれぞれの確率分布を反映する、ことと、
前記複数のそれぞれの曲線のサブセットに基づいて、改良の累積最大尤度（ＣＭＬＩ）スコアを決定することであって、前記ＣＭＬＩスコアは、前記設計空間が前記最良データ点の前記特性値を超える特性値を伴う少なくとも１つの候補材料を備えている確率を示す、ことと、
ＰＦＩＣ閾値スコアを超える前記ＰＦＩＣスコアとＣＭＬＩ閾値スコアを超える前記ＣＭＬＩスコアとの両方に基づいて、前記設計空間が高品質であるかどうかを決定することと、
前記設計空間が高品質であることを決定することに応答して、前記設計空間を用いて前進するための推奨を前記ユーザに出力することと
を含む、方法。
（項目２）
前記ＣＭＬＩスコアを決定することは、
前記ＣＭＬＩスコアが導出されるべき前記複数の候補材料の量ｎのユーザ入力を受信することと、
前記複数のそれぞれの曲線の前記サブセットを前記複数の曲線のうちのｎ個の曲線を含むように限定することと
をさらに含み、
前記ｎ個の曲線の各々は、前記複数の曲線のうちのその他に対して、前記ｎ個の曲線のそれぞれの候補材料が前記最良データ点の前記特性値を超える特性値を有することの最も高い尤度を反映する、項目１に記載の方法。
（項目３）
前記設計空間を用いて前進するための推奨を前記ユーザに出力することは、前記最良データ点の前記特性値を超える特性値を有するそれらの尤度の順序において、前記候補材料のランク付けされたリストを出力することを含む、項目２に記載の方法。
（項目４）
前記ランク付けされたリストをｎ個の候補材料に限定することをさらに含む、項目３に記載の方法。
（項目５）
前記ＣＭＬＩスコアを決定することは、
前記複数のそれぞれの曲線の前記サブセットを前記複数の曲線の所定のパーセンテージを含むように限定することをさらに含み、
前記所定のパーセンテージの各曲線は、前記複数の曲線のうちのその他に対して、それらのそれぞれの候補材料が前記最良データ点の前記特性値を超える特性値を有する最も高い尤度を反映する、項目１に記載の方法。
（項目６）
前記ＰＦＩＣスコアが前記ＰＦＩＣ閾値スコアを下回ることと、前記ＣＭＬＩスコアが前記ＣＭＬＩ閾値スコアを下回ることと両方に基づいて、前記設計空間が低品質であるかどうかを決定することと、
前記設計空間が低品質であることを決定することに応答して、前記設計空間を用いて前進するためではない推奨を前記ユーザに出力することと
をさらに含む、項目１に記載の方法。
（項目７）
前記ＰＦＩＣスコアが前記ＰＦＩＣ閾値スコアを上回り、前記ＣＭＬＩスコアが前記ＣＭＬＩ閾値スコアを下回ること、または、前記ＰＦＩＣスコアが前記ＰＦＩＣ閾値スコアを下回り、前記ＣＭＬＩスコアが前記ＣＭＬＩ閾値スコアを超えることのいずれかに基づいて、前記設計空間が未知の品質であるかどうかを決定することと、
前記設計空間が未知の品質であることを決定することに応答して、前記設計空間が未知の品質であることを示す推奨を前記ユーザに出力することと
をさらに含む、項目１に記載の方法。
（項目８）
材料設計空間品質を決定するためのその上にエンコーディングされた命令を伴うメモリを備えている非一過性コンピュータ読み取り可能な媒体であって、前記命令は、実行されると、プロセッサに動作を実行させ、前記命令は、
ユーザから、規定された材料特性および設計空間の入力を受信することであって、前記設計空間は、複数の候補材料を備えている、ことと、
第１のモデルを訓練するために使用された訓練データの組から、前記規定された材料特性に関する前記組の最高特性値を有する最良データ点を識別することと、
前記設計空間の各それぞれの候補材料に関して、
前記それぞれの候補材料を前記第１のモデルに入力することと、
前記第１のモデルからの出力として、前記規定された材料特性に関するそれぞれの特性値を受信することと、
前記それぞれの特性値が前記最良データ点の特性値を超えるかどうかを決定することと、
前記それぞれの特性値が前記データ点の特性値を超えることを決定することに応答して、前記それぞれの候補材料を候補材料のサブセットに追加することと
を行うことと、
前記候補材料のサブセット内の候補材料の総数を前記設計空間内の候補材料の総数によって徐算することによって、改良された候補の予測される割合（ＰＦＩＣ）スコアを決定することと、
第２のモデルを使用して、複数の曲線を生成することであって、前記複数の曲線のうちの各それぞれの曲線は、それぞれの候補材料がもたらすであろう前記規定された材料特性に関する特性値のそれぞれの確率分布を反映する、ことと、
前記複数のそれぞれの曲線のサブセットに基づいて、改良の累積最大尤度（ＣＭＬＩ）スコアを決定することであって、前記ＣＭＬＩスコアは、前記設計空間が前記最良データ点の前記特性値を超える特性値を伴う少なくとも１つの候補材料を備えている確率を示す、ことと、
ＰＦＩＣ閾値スコアを超える前記ＰＦＩＣスコアとＣＭＬＩ閾値スコアを超える前記ＣＭＬＩスコアとの両方に基づいて、前記設計空間が高品質であるかどうかを決定することと、
前記設計空間が高品質であることを決定することに応答して、前記設計空間を用いて前進するための推奨を前記ユーザに出力することと
を行うための命令を備えている、非一過性コンピュータ読み取り可能な媒体。
（項目９）
前記ＣＭＬＩスコアを決定するための命令は、
前記ＣＭＬＩスコアが導出されるべき前記複数の候補材料の量ｎのユーザ入力を受信することと、
前記複数のそれぞれの曲線の前記サブセットを前記複数の曲線のうちのｎ個の曲線を含むように限定することと
を行うための命令をさらに備え、
前記ｎ個の曲線の各々は、前記複数の曲線のうちのその他に対して、前記ｎ個の曲線のそれぞれの候補材料が前記最良データ点の前記特性値を超える特性値を有することの最も高い尤度を反映する、項目８に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１０）
前記設計空間を用いて前進するための推奨を前記ユーザに出力するための命令は、前記最良データ点の前記特性値を超える特性値を有するそれらの尤度の順序において、前記候補材料のランク付けされたリストを出力するための命令を備えている、項目９に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１１）
前記ランク付けされたリストをｎ個の候補材料に限定するための命令をさらに備えている、項目１０に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１２）
前記ＣＭＬＩスコアを決定するための命令は、
前記複数のそれぞれの曲線の前記サブセットを前記複数の曲線の所定のパーセンテージを含むように限定するための命令をさらに備え、
前記所定のパーセンテージの各曲線は、前記複数の曲線のうちのその他に対して、それらのそれぞれの候補材料が前記最良データ点の前記特性値を超える特性値を有する最も高い尤度を反映する、項目８に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１３）
前記命令は、
前記ＰＦＩＣスコアが前記ＰＦＩＣ閾値スコアを下回ることと、前記ＣＭＬＩスコアが前記ＣＭＬＩ閾値スコアを下回ることと両方に基づいて、前記設計空間が低品質であるかどうかを決定することと、
前記設計空間が低品質であることを決定することに応答して、前記設計空間を用いて前進するためではない推奨を前記ユーザに出力することと
を行うための命令をさらに備えている、項目８に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１４）
前記命令は、
前記ＰＦＩＣスコアが前記ＰＦＩＣ閾値スコアを上回り、前記ＣＭＬＩスコアが前記ＣＭＬＩ閾値スコアを下回ること、または、前記ＰＦＩＣスコアが前記ＰＦＩＣ閾値スコアを下回り、前記ＣＭＬＩスコアが前記ＣＭＬＩ閾値スコアを超えることのいずれかに基づいて、前記設計空間が未知の品質であるかどうかを決定することと、
前記設計空間が未知の品質であることを決定することに応答して、前記設計空間が未知の品質であることを示す推奨を前記ユーザに出力することと
を行うための命令をさらに備えている、項目８に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１５）
材料設計空間品質を決定するためのシステムであって、前記システムは、
プロセッサと、
その上にエンコーディングされた命令を伴うメモリを備えている非一過性コンピュータ読み取り可能な媒体と
を備え、
前記プロセッサは、前記命令を実行すると、
ユーザによって、規定された材料特性および設計空間の入力を受信することであって、前記設計空間は、複数の候補材料を備えている、ことと、
第１のモデルを訓練するために使用された訓練データの組から、前記規定された材料特性に関する前記組の最高特性値を有する最良データ点を識別することと、
前記設計空間の各それぞれの候補材料に関して、
前記それぞれの候補材料を前記第１のモデルに入力することと、
前記第１のモデルからの出力として、前記規定された材料特性に関するそれぞれの特性値を受信することと、
前記それぞれの特性値が前記最良データ点の特性値を超えるかどうかを決定することと、
前記それぞれの特性値が前記データ点の特性値を超えることを決定することに応答して、前記それぞれの候補材料を候補材料のサブセットに追加することと
を行うことと、
前記候補材料のサブセット内の候補材料の総数を前記設計空間内の候補材料の総数によって徐算することによって、改良された候補の予測される割合（ＰＦＩＣ）スコアを決定することと、
第２のモデルを使用して、複数の曲線を生成することであって、前記複数の曲線のうちの各それぞれの曲線は、それぞれの候補材料がもたらすであろう前記規定された材料特性に関する特性値のそれぞれの確率分布を反映する、ことと、
前記複数のそれぞれの曲線のサブセットに基づいて、改良の累積最大尤度（ＣＭＬＩ）スコアを決定することであって、前記ＣＭＬＩスコアは、前記設計空間が前記最良データ点の前記特性値を超える特性値を伴う少なくとも１つの候補材料を備えている確率を示す、ことと、
ＰＦＩＣ閾値スコアを超える前記ＰＦＩＣスコアとＣＭＬＩ閾値スコアを超える前記ＣＭＬＩスコアとの両方に基づいて、前記設計空間が高品質であるかどうかを決定することと、
前記設計空間が高品質であることを決定することに応答して、前記設計空間を用いて前進するための推奨を前記ユーザに出力することと
を行うように構成されている、システム。
（項目１６）
前記プロセッサは、前記ＣＭＬＩスコアを決定するとき、
前記ＣＭＬＩスコアが導出されるべき前記複数の候補材料の量ｎのユーザ入力を受信することと、
前記複数のそれぞれの曲線の前記サブセットを前記複数の曲線のうちのｎ個の曲線を含むように限定することと
を行うようにさらに構成され、
前記ｎ個の曲線の各々は、前記複数の曲線のうちのその他に対して、前記ｎ個の曲線のそれぞれの候補材料が前記最良データ点の前記特性値を超える特性値を有することの最も高い尤度を反映する、項目１５に記載のシステム。
（項目１７）
前記プロセッサは、前記設計空間を用いて前進するための推奨を前記ユーザに出力するとき、前記最良データ点の前記特性値を超える特性値を有するそれらの尤度の順序において、前記候補材料のランク付けされたリストを出力するようにさらに構成されている、項目１６に記載のシステム。
（項目１８）
前記プロセッサは、前記ランク付けされたリストをｎ個の候補材料に限定するようにさらに構成される、項目１７に記載のシステム。
（項目１９）
前記プロセッサは、前記ＣＭＬＩスコアを決定するとき、
前記複数のそれぞれの曲線の前記サブセットを前記複数の曲線の所定のパーセンテージを含むように限定するようにさらに構成され、
前記所定のパーセンテージの各曲線は、前記複数の曲線のうちのその他に対して、それらのそれぞれの候補材料が前記最良データ点の前記特性値を超える特性値を有する最も高い尤度を反映する、項目１５に記載のシステム。
（項目２０）
前記プロセッサは、
前記ＰＦＩＣスコアが前記ＰＦＩＣ閾値スコアを下回ることと、前記ＣＭＬＩスコアが前記ＣＭＬＩ閾値スコアを下回ることと両方に基づいて、前記設計空間が低品質であるかどうかを決定することと、
前記設計空間が低品質であることを決定することに応答して、前記設計空間を用いて前進するためではない推奨を前記ユーザに出力することと
を行うようにさらに構成されている、項目１５に記載のシステム。

【図面の簡単な説明】

【0007】

【図1】図１は、改良された材料が設計空間内にある確率を決定する設計空間評価サービスを含むシステムの一実施形態を図示する。

【0008】

【図2】図２は、設計空間評価サービスと相互作用するように構成されたクライアントデバイスの詳細なコンポーネントの一実施形態を図示する。

【0009】

【図3】図３は、設計空間評価サービスの詳細なコンポーネントの一実施形態を描写する。

【0010】

【図4】図４は、命令を機械読み取り可能な媒体から読み取り、それらをプロセッサ（またはコントローラ）内で実行することが可能である例示的機械のコンポーネントを図示するブロック図である。

【0011】

【図5】図５は、ユーザによる材料仕様および／または設計空間の入力のための例示的ユーザインターフェースの一実施形態を描写する。

【0012】

【図6】図６は、設計空間内で検査される材料を分析するための例示的ユーザインターフェースの一実施形態を描写する。

【0013】

【図7】図７は、設計空間を評価するための例示的データフローの一実施形態を描写する。

【発明を実施するための形態】

【0014】

図および以下の説明は、例証のみとしての好ましい実施形態に関する。以下の議論から、本明細書に開示される構造および方法の代替実施形態が、請求される内容の原理から逸脱することなく採用され得る実行可能代替として容易に認識されるであろうことに留意されたい。

【0015】

ここで、その例が、付随の図に図示される、いくつかの実施形態の詳細が参照されるであろう。実践可能である場合は常に、類似または同様の参照番号が、図中で使用さ得、類似または同様の機能性を示し得ることに留意されたい。図は、例証目的のためにのみ、開示されるシステム（または方法）の実施形態を描写する。当業者は、以下の説明から、本明細書に図示される構造および方法の代替実施形態が、本明細書に説明される原理から逸脱することなく採用され得ることを容易に認識するであろう。

【0016】

設計空間評価サービスは、候補材料のサブセット内の候補材料の総数を設計空間内の候補材料の総数によって徐算することによって、改良された候補の予測される割合（ＰＦＩＣ）スコアを決定し得る。ＰＦＩＣスコアは、高品質設計空間を識別するために使用される。すなわち、多数の候補材料が、最良の既知の材料より高い値を有する場合、ＰＦＩＣスコアは、高く、それは、設計空間の品質が高いことを示すであろう。

【0017】

設計空間評価サービスは、第２のモデルを使用して、複数の曲線を生成し得、複数の曲線のうちの各それぞれの曲線は、それぞれの候補材料がもたらすであろう規定された材料特性に関する特性値のそれぞれの確率分布を反映する。設計空間評価サービスは、次いで、複数のそれぞれの曲線のサブセットに基づいて改良の累積最大尤度（ＣＭＬＩ）スコアを決定し得、ＣＭＬＩスコアは、設計空間が最良データ点の特性値を超える特性値を伴う少なくとも１つの候補材料を含む確率を示す。ＣＭＬＩスコアは、例えば、低確率が最良データ点の特性値を超える特性値を有する任意の候補材料を設計空間がもたらす尤度が低いことを示すであろうという点で、不良設計空間を識別するために使用されることができる。

【0018】

設計空間評価サービスは、ＰＦＩＣ閾値スコアを超えるＰＦＩＣスコアとＣＭＬＩ閾値スコアを超えるＣＭＬＩスコアとの両方に基づいて、設計空間が高品質であるかどうかを決定し得、それらは、設計空間がその性能が最良データ点を超える候補を有する尤度が高いことと、そのような候補材料を見出す確率が高いこととの両方を示すであろう。設計空間が高品質であることを決定することに応答して、設計空間評価サービスは、設計空間を用いて前進するための推奨をユーザに出力し得る。例えば、ユーザは、製造において使用するための材料を探し出すために、設計空間を反復するように推奨され得る。
（設計空間評価サービスのためのシステム環境）

【0019】

図１は、改良された材料が設計空間内にある確率を決定する設計空間評価サービスを含むシステムの一実施形態を図示する。環境１００は、クライアントデバイス１１０と、ネットワーク１２０と、設計空間評価サービスと、随意に、製造業者１４０とを含む。クライアントデバイス１１０は、設計空間のためのパラメータを入力するためにユーザによって使用されるデバイスであり得る。例えば、クライアントデバイス１１０は、パーソナルコンピュータ、携帯電話のようなモバイルデバイス、ラップトップコンピュータ、またはユーザ入力を受け取り、該ユーザ入力をアプリケーションまたはサーバに転送するように構成された任意の他のタイプのデバイスであり得る。例えば、ユーザは、クライアントデバイス１１０を使用して、製造することを意図する材料を処理することを望む仕様を入力し得る。仕様の例示的リストは、半導体材料のバンドギャップエネルギーに関する特定の値を標的化すること、光学デバイスまたは電子ディスプレイのために使用される材料の光学吸光度を最小化すること、再充電可能バッテリ内で使用される材料の大きな容量損失前のサイクルの数を最大化すること、光起電デバイス内で使用される材料の変換効率を最大化すること、熱電デバイスとして使用される材料に関する機能性能指数を最大化すること、および／または、触媒または炭素捕捉のために使用される多孔性材料の細孔サイズを微調整することのうちの１つ以上を含み得る。ユーザはまた、クライアントデバイス１１０を使用して、設計空間、または設計空間内の材料がパラメータを満たすかどうかを決定するために評価されるべき設計空間を形成する複数の材料を入力し得る。本明細書で使用されるような用語「設計空間」は、ユーザによって入力されるパラメータ（パラメータは、本明細書の用語「仕様」と同義的に使用される）への部分的または完全一致に関して分析されるべき１つ以上の材料を指す。設計空間の材料は、ユーザによって手動で入力され得るか、データベースのエントリ内に記憶され得るか、または、文書から導出され得る（例えば、クローラは、ユーザによって入力された検索用語に合致する、または学術論文等のユーザによって規定される文書から、材料の各言及を採集し得る）。例として、設計空間は、ガラスを形成するために使用され得る種々の鉱物を含み得、パラメータは、１０メガパスカル等のある値を上回る引張強度、または６０ギガパスカルの弾性／ヤング率を含み得る。

【0020】

クライアントデバイス１１０によってユーザから受信された入力は、ネットワーク１２０を経由して、設計空間評価サービス１３０に伝送され得る。ネットワーク１２０は、インターネット等の通信ネットワークである。描写されないが、ある実施形態において、設計空間評価サービス１３０は、アプリケーションとしてクライアントデバイス１１０上にインストールされ、ネットワーク１２０を経由して実コンタクトをとられる必要はない。主に本明細書で参照される実施形態において、設計空間評価サービス１３０は、１つ以上のサーバ上にインストールされる。設計空間評価サービス１３０は、材料の１つ以上の所望の特性および設計空間を規定するユーザ入力を受信する。設計空間評価サービス１３０は、ユーザ入力および種々の機械学習モデルに基づいて、１つ以上の所望の特性を伴う材料を識別するために、設計空間が高品質設計空間であるかどうかを決定する。設計空間評価サービス１３０は、設計空間が所望の材料を識別することに関連してユーザによって使用されるべきかどうかに関する推奨を出力する。

【0021】

製造業者１４０は、材料の製造業者であり、随意に、環境１００内に含まれる。ある実施形態において、クライアントデバイス１００は、設計空間評価サービス１３０によって推奨される設計空間上で反復することによって、所望の仕様を伴う材料を識別する。材料を識別することに応答して、クライアントデバイス１１０は、材料を製造するための要求を製造業者１４０に伝送する。製造業者１４０は、クライアントデバイス１１０のユーザのために材料を製造し得る。
（クライアントデバイス詳細）

【0022】

図２は、設計空間評価サービスと相互作用するように構成されたクライアントデバイスの詳細なコンポーネントの一実施形態を図示する。クライアントデバイス２１０は、ユーザインターフェースモジュール２１１と、実験起動モジュール２１２と、材料承認モジュール２１３と、設計空間データベース２１５とを含む。これらのモジュールおよびデータベースは、例示的であり、より少ないまたはより多いモジュールが、使用され得、より少ないまたはより多いデータベースが、同様に、実装され得る。図２に描写されるモジュールおよびアプリケーションは、クライアントデバイス２１０のプロセッサによって実行され得る。モジュールおよび／またはアプリケーションの実行は、実行されると、プロセッサに図２に関して説明される動作を実施させる非一過性コンピュータ読み取り可能な媒体上のコンピュータ読み取り可能な命令によって駆動され得る。クライアントデバイス２１０は、クライアントデバイス１１０に関して説明される任意の機能性を有し得る。

【0023】

ユーザインターフェースモジュール２１１は、ユーザからの入力を受信する。入力は、材料特性仕様、設計空間のための材料の入力、既存の設計空間の参照等を含み得る。材料特性仕様は、所望の材料の組成および処理パラメータ等の自由度を含み得る。ユーザインターフェースモジュール２１１（およびクライアントデバイス２１０の他のモジュールおよびデータベース）は、設計空間評価サービス１３０によって提供され、それと通信するように構成されたクライアントデバイス２１０にインストールされる設計空間評価サービスモジュールの一部であり得る。

【0024】

実験起動モジュール２１２は、設計空間に対する反復処理を起動する。ある実施形態において、実験起動モジュール２１２は、実験を設計空間上で起動するための手動入力に基づいて実行される。ある実施形態において、実験起動モジュール２１２は、クライアントデバイス２２０における設計空間が高品質であることの設計空間評価サービス１３０による推奨を受信することに応答して、実行される。実験起動モジュール２１２は、設計空間評価サービス１３０によって提供される、アプリケーションの一部であり得るか、または、異なるアプリケーションの一部であるモジュールであり得る。

【0025】

材料承認モジュール２１３は、実験起動モジュール２１２によって起動された実験の出力に基づいて、１つ以上の材料を製造するための承認または推奨を製造業者１４０に伝送し得る。ある実施形態において、承認または推奨は、実験起動モジュール２１２からの出力に基づいて、所望の仕様を伴う材料をもたらすことに応答して、自動的に伝送される。ある実施形態において、ユーザは、承認が伝送されるべきかどうかを確認するようにプロンプトされる。

【0026】

設計空間データベース２１５は、１つ以上の設計空間の一部を形成する、材料を定義する、エントリを含むデータベースである。設計空間は、ユーザによって手動で定義され得る。設計空間は、既存の定義された設計空間であり得る。設計空間は、実行可能候補に関してパラメータ空間を検索する最適化ルーチンによっても、または、規定されたパラメータ範囲内の候補のグリッドのユーザ入力によっても、規定されることができる。エントリは、設計空間評価サービスがある接続方式において種々の材料について言及する（例えば、種々の材料が、同一論文内にある、または同一の隣接する用語に関連して述べられる）刊行物を読み出し、種々の材料をエントリの形式で採集することによって、データ投入され得る。ある実施形態において、ユーザは、ユーザインターフェースモジュール２１１を使用して、設計空間データベース２１５のエントリをブラウジングし（例えば、検索機能を使用して）、設計空間評価サービス１３０による評価のための設計空間をブラウジング中に選択し得る。設計空間データベース２１５は、クライアントデバイス２１０の一部として描写されるが、加えて、または代替として、設計空間評価サービス１３０内に、または環境１００内のいずれかの場所に第三者データベースとして位置し得る。
（設計空間評価サービス詳細）

【0027】

図３は、設計空間評価サービスの詳細なコンポーネントの一実施形態を描写する。設計空間評価サービスは、改良された候補の予測される割合（ＰＦＩＣ）スコアモジュール３３１と、改良の累積最大尤度（ＣＭＬＩ）スコアモジュール３３２と、設計空間品質決定モジュール３３３と、設計空間推奨モジュール３３４と、モデルデータベース３３５と、閾値データベース３３６とを含む。これらのモジュールおよびデータベースは、例示的であり、より少ないまたはより多いモジュールが、使用され得、より少ないまたはより多いデータベースが、同様に、実装され得る。図３に描写されるモジュールおよびアプリケーションは、設計空間評価サービス３３０が起動されるサーバ等、１つ以上のコンピューティングデバイスのプロセッサによって実行され得る。モジュールおよび／またはアプリケーションの実行は、実行されると、プロセッサに図３に関して説明される動作を実施させる非一過性コンピュータ読み取り可能な媒体上のコンピュータ読み取り可能な命令によって駆動され得る。設計空間評価サービス３３０は、設計空間評価サービス１１０に関して説明される任意の機能性を有し得る。

【0028】

ＰＦＩＣスコアは、最良訓練データ点に優る改良された性能を有することが予測される設計空間内の候補材料の割合である。本明細書で使用される場合、用語「最良訓練データ点」（本明細書では、「最良データ点」と同義的に使用される）は、他の既知の材料のうち、ある特性に関して最良の既知の特性値を有する特定の性質に関する既知の特性値を伴う既知の材料のデータを指す。例えば、材料は、９０ＧＰａの圧力に耐えることが既知であり得、９０ＧＰａは、訓練データセット内の他の材料の最高量であり得る。したがって、訓練データセットを使用して訓練された機械学習モデルに関して、９０ＧＰａの圧力に耐え得る材料に関するデータは、最良訓練データ点であろう。

【0029】

ＰＦＩＣスコアモジュール３３１は、最良の既知の特性値が導出されるべき訓練データに機械学習モデルを適合させる。機械学習モデルは、ランダムフォレスト、サポートベクトルリグレッサ、ガウスプロセスリグレッサ、カーネルリッジリグレッサ、ニューラルネットワーク、多項式リグレッサ等を含み得る。１つ以上のモデルは、設計空間サービス３３０内にあり得るモデルデータベース３３５に記憶され得るか、または、環境１００内にあるが、設計空間評価サービス３３０にアクセス可能であるいずれかの場所に記憶され得る。ある実施形態において、機械学習モデルは、線形リーフを伴うランダムフォレストである。ランダムフォレスト内の各リーフノードにおいて、線形モデルは、リーフノードに到達する訓練データに適合され、これは、最良訓練データ点に優る改良の予測を有効にする。ある実施形態において、各ツリーの最大深度は、所定の値（例えば、３０）に設定され、分割あたりの最小訓練点は、同様に、所定の値（例えば、２０）に設定される。さらに、ランダムフォレスト内のツリーの数は、各ケースに関する訓練セットのサイズに等しい量等、所定の量に設定され得る。線形モデル係数の正則化が、実装され得る。

【0030】

どの機械学習モデルが使用されるかどうかにかかわらず、ＰＦＩＣスコアモジュール３３１は、機械学習モデルを適用し、設計空間内の各候補の性能を予測する。例えば、規定された特性に関して、ＰＦＩＣスコアモジュール３３１は、設計空間内の候補が、１つ以上の規定された特性に関して、最良訓練データ点における値より高い特性値を達成するであろうかどうかを予測する。この予測を知らせるために、ＰＦＩＣスコアモジュール３３１は、自由度（例えば、材料の組成および処理パラメータ）を機械学習モデルに入力し、機械学習モデルの出力として、材料特性および特性値を受信する。
ＰＦＩＣスコアモジュール３３１は、以下の式によって、ＰＦＩＣスコアを計算し得る。

【数1】

式中、Ｘは、設計空間であり、ｂは、訓練データにおける最良点の性能であり、｜｜Ｘ｜｜は、設計空間サイズであり、Ｎは、訓練データにおける最良点のそれに優る改良である予測される特性値を有する条件を満たす設計空間Ｘの候補ｘのカウントされた数である。したがって、分子は、モデルが最良訓練データ候補に優る改良であると予測する設計空間内の候補の数を表し、分母は、設計空間内の候補の総数である。ある実施形態において、最大化が、式１における目標であると仮定される。しかしながら、最小化目的が、ＰＦＩＣスコアを１から減算することによって、実現されることができる（例えば、材料が、最良訓練データ点を形成する、最小値のそれより小さい特性値を有することが所望される場合）。

【0031】

ＣＭＬＩスコアモジュール３３２は、ＣＭＬＩスコアを決定し、ＣＭＬＩスコアは、設計空間からの上位ｎ個の候補のうちの少なくとも１つが訓練セットからの最良候補に優る改良を表す予測される確率を反映する。クライアントデバイス１１０のユーザは、ＣＭＬＩスコアモジュール３３２によって考慮されるべきｎ個の候補の数を決定し得る（例えば、ユーザインターフェースモジュール２１１を使用して、入力を用いて）。代替として、ＣＭＬＩスコアモジュール３３２は、所定の基準（例えば、所定の量、または設計空間内の候補の総数の所定の割合またはパーセンテージ）に基づいて、ユーザへの上位候補のうちの数ｎを決定し得る。ＣＭＬＩスコアモジュール３３２に関して使用される場合、用語「上位候補」は、訓練セットからの最良データ点に優る改良である最も高い尤度を伴う設計空間の候補を指す。

【0032】

ＣＭＬＩスコアモジュール３３２は、１つ以上の機械学習モデル（例えば、モデルデータベース３３５から読み出されたような）を使用して、設計空間の各候補に関して、その候補が訓練セットからの最良データ点に優る改良であろう尤度を決定する。ある実施形態において、機械学習モデルは、一定値リーフを伴うランダムフォレストモデルである。ＣＭＬＩスコアモジュール３３２は、例えば、明示的バイアスモデルおよびジャックナイフベースの方法の組み合わせを使用して、またはベイズ不確実性方法、または従来の交差検証方法を使用して、不確実性推定値を計算する。不確実性推定値は、候補が改良であることの尤度を反映する確率曲線を形成するために、機械学習モデル誤差の分布を決定するために使用され得る。これらの実施形態は、単に、例示的であり、ＣＭＬＩスコアモジュール３３２は、ガウスプロセスリグレッサまたはベイズリグレッサ等の他のモデルを使用して、ＣＭＬＩスコアを評価し得る。さらに、任意のアンサンブルモデルが、アンサンブル予測間の分散がモデル不確実性として捉えられる場合、ＣＭＬＩスコアを評価するために使用され得る。

【0033】

ＣＭＬＩスコアモジュール３３２は、モデルのうちの１つ以上を使用して、所与の設計候補ｘ_ｉの改良Ｌの尤度を計算する。モデルは、曲線を生産するために使用される。各それぞれの曲線は、それぞれの候補材料がもたらすであろう規定された材料特性に関する特性値のそれぞれの確率分布を反映する。ある実施形態において、ＣＭＬＩスコアモジュール３３２は、次いで、以下の式を使用して、尤度計算を実施し得る。

【数2】

式中、

【数2-1】

は、平均μおよび標準偏差σの正規分布である。正規分布の平均は、候補ｘ_ｉの性能の機械学習モデルによって与えられ、標準偏差は、その予測内の不確実性によって与えられる。この積分は、したがって、各それぞれの曲線下の面積に基づいて、設計候補ｘ_ｉが最良訓練データ候補に優る改良を表す予測される尤度を表す。最大化が、この積分における目標と仮定される。しかしながら、最小化標的は、－∞およびｂの積分限界を使用することによって計算され得る。異なる分布が、異なる分布タイプ（例えば、非正規分布）のための積分の内側で使用され得る。

【0034】

ＣＭＬＩスコアモジュール３３２は、設計空間の上位ｎ個の候補の改良Ｌの尤度を使用して、ＣＭＬＩスコアを計算する。ＣＭＬＩスコアモジュール３３２は、以下の式、すなわち、

【数2-2】

を使用して、ＣＭＬＩスコアを計算する。このＣＭＬＩスコア式において使用される積は、最良訓練データ候補に優る改良の最も高い尤度Ｌを伴う設計空間からのｎ個の候補に対するものである。故に、ＣＭＬＩスコアモジュール３３２は、これらの上位ｎ個の候補の予測される性能が独立していると仮定し得、ＣＭＬＩスコアモジュール３３２は、これらの候補のうちの少なくとも１つが改良を表す全体的尤度を査定する。

【0035】

設計空間品質決定モジュール３３３は、ＣＭＬＩスコアおよびＰＦＩＣスコアに基づいて、設計空間の品質レベルを決定する。設計空間品質決定モジュール３３３は、ＰＦＩＣ閾値およびＣＭＬＩ閾値を閾値データベース３３６から読み出す。ＰＦＩＣおよびＣＭＬＩ閾値は、設計空間評価サービス３３０の管理者によってプログラムされ得る。代替として、ＰＦＩＣおよびＣＭＬＩ閾値は、クライアントデバイス１１０のユーザによって入力され得る。代替として、ＰＦＩＣおよびＣＭＬＩ閾値は、事前にプログラムされ、可変であり得、異なる材料は、閾値データベース３３６のエントリ内にマッピングされるように、異なるＰＦＩＣおよびＣＭＬＩ閾値に対応する。

【0036】

設計空間品質決定モジュール３３３は、それぞれ、ＰＦＩＣおよびＣＭＬＩスコアをＰＦＩＣおよびＣＭＬＩ閾値と比較する。ＰＦＩＣおよびＣＭＬＩスコアの両方が、その対応する閾値の値を超える場合、設計空間品質決定モジュール３３３は、設計空間が高品質であることを決定する。ＰＦＩＣおよびＣＭＬＩスコアの一方がその対応する閾値の値を超えるが、他方がその対応する閾値の値を超えない場合、設計空間品質決定モジュール３３３は、設計空間が未知の品質であることを決定する。ＰＦＩＣスコアまたはＣＭＬＩスコアのいずれも、その対応する閾値の値を超えない場合、設計空間品質決定モジュール３３３は、設計空間が低品質であることを決定する。

【0037】

設計空間推奨モジュール３３４は、品質決定に対応する推奨を出力する（例えば、ユーザインターフェースモジュール２２１を介して、クライアントデバイス２２０に）。ある実施形態において、推奨は、品質決定が設計空間に関して高い場合、ユーザが前進すべきことを示す。推奨は、品質決定が設計空間に関して低い場合、ユーザが前進すべきでないことを示し得る。推奨は、品質決定が未知である場合、ユーザが、前進すべき、または前進すべきでないことを示し得る。推奨にかかわらず、設計空間推奨モジュール３３４は、推奨とともに、設計空間内の候補材料のいくつかまたは全てのランク付けされたリストを含み得、ランクは、それらが最良データ点を超える値を有するであろうそれらの尤度に基づく。設計空間が、複数のパラメータに関して試験されている場合、推奨は、ユーザによって構成可能であり得、ユーザは、規定された着目パラメータに基づいて、ランク付けされたリストをソートし得る（例えば、ユーザが、パラメータのメニューから、着目されるパラメータを選択することによって、それによって、ランク付けされたリストは、選択に基づいて再ランク付けされる）。ある実施形態において、ランク付けされたリストは、上位ｎ個の候補に限定される（例えば、フィルタリングオプションのユーザ選択に基づいて）。
（コンピューティング機械アーキテクチャ）

【0038】

図４は、命令を機械読み取り可能な媒体から読み取り、それらをプロセッサ（またはコントローラ）内で実行することが可能である例示的機械のコンポーネントを図示するブロック図である。具体的に、図４は、機械に本明細書で議論される方法論のうちの任意の１つ以上のものを実施させるためのプログラムコード（例えば、ソフトウェア）が実行され得るコンピュータシステム４００の例示的形態における機械の概略表現を示す。プログラムコードは、１つ以上のプロセッサ４０２によって実行可能な命令４２４から成ってもよい。代替実施形態において、機械は、独立型デバイスとして動作するか、または、他の機械に接続（例えば、ネットワーク化）され得る。ネットワーク化された展開では、機械は、サーバ－クライアントネットワーク環境内のサーバ機械またはクライアント機械の容量内で、または、ピアツーピア（または分散型）ネットワーク環境内のピア機械として動作し得る。

【0039】

機械は、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、セルラー電話、スマートフォン、ウェブ家電、ネットワークルータ、スイッチまたはブリッジ、またはその機械によって行われるべきアクションを規定する命令４２４を実行する（シーケンシャルまたは別様に）ことが可能な任意の機械であり得る。さらに、単一機械のみが、図示されるが、用語「機械」はまた、個々に、または、一緒に、命令１２４を実行し、本明細書で議論される方法論のうちの任意の１つ以上のものを実施する機械の任意の集合を含むものと捉えられるものとする。

【0040】

例示的コンピュータシステム４００は、プロセッサ４０２（例えば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上の無線周波数集積回路（ＲＦＩＣ）、または任意のこれらの組み合わせ）と、メインメモリ４０４と、静的メモリ４０６とを含み、それらは、バス４０８を介して、互いに通信するように構成される。コンピュータシステム４００は、視覚的ディスプレイインターフェース４１０をさらに含み得る。視覚的インターフェースは、ユーザインターフェースを画面（またはディスプレイ）上に表示することを可能にするソフトウェアドライバを含み得る。視覚的インターフェースは、直接（例えば、画面上に）、または間接的に、表面、窓等（例えば、視覚的投影ユニットを介して）上にユーザインターフェースを表示し得る。議論を容易にするために、視覚的インターフェースは、画面として説明され得る。視覚的インターフェース４１０は、タッチ対応画面を含み得るか、または、それとインターフェースをとり得る。コンピュータシステム４００は、英数字入力デバイス４１２（例えば、キーボードまたはタッチスクリーンキーボード）と、カーソル制御デバイス４１４（例えば、マウス、トラックボール、ジョイスティック、運動センサ、またはポインティング手段）と、記憶ユニット４１６と、信号生成デバイス４１８（例えば、スピーカ）と、ネットワークインターフェースデバイス４２０とも含み得、それらも、バス４０８を介して、通信するように構成される。

【0041】

記憶ユニット４１６は、機械読み取り可能な媒体４２２を含み、媒体上に、本明細書に説明される方法論または機能のうちの任意の１つ以上のものを具現化する命令４２４（例えば、ソフトウェア）が記憶されている。命令４２４（例えば、ソフトウェア）は、コンピュータシステム４００によるそれらの実行中、完全にまたは少なくとも部分的に、メインメモリ４０４内に、またはプロセッサ４０２内（例えば、プロセッサのキャッシュメモリ内）に常駐し得、メインメモリ４０４、およびプロセッサ４０２も、機械読み取り可能な媒体を構成する。命令４２４（例えば、ソフトウェア）は、ネットワーク４２６を経由して、ネットワークインターフェースデバイス４２０を介して、伝送または受信され得る。

【0042】

機械読み取り可能な媒体４２２は、単一媒体であるように例示的実施形態に示されるが、用語「機械読み取り可能な媒体」は、命令（例えば、命令４２４）を記憶することが可能である単一媒体または複数の媒体（例えば、一元型または分散型データベース、または関連付けられるキャッシュおよびサーバ）を含むものと捉えられるべきである。用語「機械読み取り可能な媒体」は、機械による実行のための命令（例えば、命令４２４）を記憶することが可能であり、機械に本明細書に開示される方法論のうちの任意の１つ以上のものを実施させる、任意の媒体も含むものと捉えられるものとする。用語「機械読み取り可能な媒体」は、限定ではないが、固体メモリ、光学媒体、および磁気媒体の形態におけるデータリポジトリを含む。
（例示的ユーザインターフェースコンポーネント）

【0043】

図５は、ユーザによる材料仕様および／または設計空間の入力のための例示的ユーザインターフェースの一実施形態を描写する。ユーザインターフェース５００は、ユーザ入力モジュール２１１によって生成されるようなクライアントデバイス２１０のインターフェースであり得る。ユーザは、パラメータ５５１を入力し得る。パラメータ５５１は、規定された特性（例えば、引張強度）、およびその規定された特性に関して所望される最小または最大値であり得る。パラメータは、ユーザによってタイプされ得るか、メニューから選択され得るか、または任意の他の既知の様式で規定され得る。ユーザは、同じ様式で設計空間５５２も入力し得る。設計空間評価サービス１３０は、次いで、上記の開示に従ってパラメータ５５１を見出すために、設計空間５５２の品質を評価する。

【0044】

図６は、設計空間内で検査される材料を分析するための例示的ユーザインターフェースの一実施形態を描写する。ある実施形態において、高い、未知の、または低い品質である設計空間の推奨後、ユーザは、設計空間上で実験するために選定し得る。設計空間評価サービス１３０は、実験を実行し得るか、または、実験の結果を受信し得る。そのような場合、設計空間評価サービス１３０は、ユーザによって入力された仕様を満たし、したがって、製造のために好適である材料のランク付けされたリストを出力し得る。ユーザインターフェース６００は、その好適性に従ってランク付けされる材料６０１のランク付けされたリストを描写する。好適性は、所望の仕様に対する各材料のパラメータ値に基づいて決定される。ある実施形態において、材料６０１が、選択可能であり、材料６０１の材料の選択の受信に応答して、選択された材料を製造するための命令が、製造業者１４０に伝送される。
（例示的データフロー）

【0045】

図７は、設計空間を評価するための例示的データフローの一実施形態を描写する。データフロー７００は、設計空間評価サービス１３０が、設計空間選択および所望の材料特性の仕様（例えば、クライアントデバイス２１０のユーザインターフェースモジュール２１１を使用して）を受信すること７１０から開始する。並行して、または順次のいずれかにおいて、設計空間評価サービス１３０は、受信された選択に基づいて、ＰＦＩＣスコアを計算し７２０、ＣＭＬＩスコアを計算する７３０（例えば、それぞれ、ＰＦＩＣスコアモジュール３３１およびＣＭＬＩスコアモジュール３３２を使用して）。設計空間評価サービス１３０は、ＰＦＩＣスコアを閾値ＰＦＩＣスコアと比較し７２５、ＣＭＬＩスコアを閾値ＣＭＬＩスコアと比較する７３５。設計空間評価サービス１３０は、比較の結果を使用し、設計空間推奨モジュール３４を使用して、設計空間品質が、低いか、未知であるか、または高いかを決定する。設計空間評価サービス１３０は、ＰＦＩＣスコアおよびＣＭＬＩスコアの両方がそれらのそれぞれの閾値を下回る場合、設計空間品質が低いことを決定７４０する。設計空間評価サービス１３０は、ＰＦＩＣスコアおよびＣＭＬＩスコアの一方がそのそれぞれの閾値を下回り、ＰＦＩＣスコアおよびＣＭＬＩスコアの他方がそのそれぞれの閾値を上回る場合、設計空間品質が未知であることを決定する７５０。設計空間評価サービス１３０は、ＰＦＩＣスコアおよびＣＭＬＩスコアの両方がそれらのそれぞれの閾値を上回る場合、設計空間品質が高いことを決定する７６０。描写されないが、データフロー７００は、表示のために、設計空間品質に基づいて、設計空間上で実験を前進すべきかどうかに関する推奨を生成するステップに進み得、積極的に、高品質設計空間に関して実験を生じさせ得る。ある実施形態において、１つ以上の好適な材料が見出される場合、データフロー７００は、設計空間評価サービス１３０が、好適な材料のうちの１つ以上を製造するための要求を製造業者１４０に伝送することを含み得る。
（追加の構成考慮点）

【0046】

本明細書全体を通して、複数形インスタンスは、単一インスタンスとして説明されるコンポーネント、動作、または構造を実装し得る。１つ以上の方法の個々の動作は、別個の動作として図示および説明されるが、個々の動作のうちの１つ以上は、並行して行われ得、動作が図示される順序で行われることを要求するものではない。例示的構成において別個のコンポーネントとして提示される構造および機能性は、組み合わせられた構造またはコンポーネントとして実装され得る。同様に、単一コンポーネントとして提示される構造および機能性は、別個のコンポーネントとして実装され得る。これらおよび他の変形例、修正、追加、および改良は、本明細書の主題の範囲内にある。

【0047】

ある実施形態が、論理またはいくつかのコンポーネント、モジュール、または機構を含むように本明細書に説明される。モジュールは、ソフトウェアモジュール（例えば、機械読み取り可能な媒体上または伝送信号内にエンコーディングされたコード）またはハードウェアモジュールのいずれかを構成し得る。ハードウェアモジュールは、ある動作を行うことが可能な有形ユニットであり、ある様式において構成または配列され得る。例示的実施形態において、１つ以上のコンピュータシステム（例えば、独立型、クライアント、またはサーバコンピュータシステム）またはコンピュータシステムの１つ以上のハードウェアモジュール（例えば、プロセッサまたはプロセッサ群）が、本明細書に説明されるようにある動作を行うように動作する、ハードウェアモジュールとして、ソフトウェア（例えば、アプリケーションまたはアプリケーション部分）によって構成され得る。

【0048】

種々の実施形態において、ハードウェアモジュールは、機械的または電子的に実装され得る。例えば、ハードウェアモジュールは、ある動作を行うように恒久的に構成される専用回路または論理（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）等の特殊目的プロセッサ）を備え得る。ハードウェアモジュールは、ある動作を行うように、ソフトウェアによって一時的に構成されるプログラマブル論理または回路（例えば、汎用プロセッサまたは他のプログラマブルプロセッサ内に包含される）も備え得る。ハードウェアモジュールを専用および恒久的に構成される回路または一時的に構成される回路（例えば、ソフトウェアによって構成される）内に機械的に実装するための決定は、コストおよび時間的考慮事項によって促され得ることを理解されるであろう。

【0049】

故に、用語「ハードウェアモジュール」は、有形エンティティを包含し、ある様式において動作する、または本明細書に説明されるある動作を行うように、物理的に構築される、恒久的に構成される（例えば、有線）、または一時的に構成される（例えば、プログラムされる）エンティティであることを理解されたい。本明細書で使用されるように、「ハードウェア実装モジュール」は、ハードウェアモジュールを指す。ハードウェアモジュールが一時的に構成される（例えば、プログラムされる）実施形態を検討すると、ハードウェアモジュールの各々は、ある時間内に任意の１つのインスタンスを構成またはインスタンス化される必要はない。例えば、ハードウェアモジュールが、ソフトウェアを使用して構成される汎用プロセッサを備えている場合、汎用プロセッサは、異なる時間においてそれぞれの異なるハードウェアモジュールとして構成され得る。ソフトウェアは、故に、例えば、１つの時間のインスタンスにおいて、特定のハードウェアモジュールを構成し、異なる時間のインスタンスにおいて、異なるハードウェアモジュールを構成するように、プロセッサを構成し得る。

【0050】

ハードウェアモジュールは、他のハードウェアモジュールに情報を提供し、それから情報を受信することができる。故に、説明されるハードウェアモジュールは、通信可能に結合されるものとして見なされ得る。複数のそのようなハードウェアモジュールが、同時に存在する場合、通信は、ハードウェアモジュールを接続する信号伝送（例えば、適切な回路およびバスを経由して）を通して達成され得る。複数のハードウェアモジュールが異なる時間において構成またはインスタンス化される実施形態において、そのようなハードウェアモジュール間の通信は、例えば、複数のハードウェアモジュールがアクセスを有するメモリ構造内の情報の記憶および読出を通して、達成され得る。例えば、１つのハードウェアモジュールは、動作を行い、通信可能に結合されるメモリデバイス内のその動作の出力を記憶し得る。さらなるハードウェアモジュールは、次いで、後に、メモリデバイスにアクセスし、記憶された出力を読み出し、処理し得る。ハードウェアモジュールはまた、入力または出力デバイスとの通信を開始し得、リソース（例えば、情報の集合）に作用することができる。

【0051】

本明細書に説明される例示的方法の種々の動作は、少なくとも部分的に、関連動作を行うように一時的に構成される（例えば、ソフトウェアによって）または恒久的に構成される、１つ以上のプロセッサによって行われ得る。一時的にまたは恒久的に構成されるかにかかわらず、そのようなプロセッサは、１つ以上の動作または機能を行うように動作する、プロセッサ実装モジュールを構成し得る。本明細書で言及されるモジュールは、いくつかの例示的実施形態において、プロセッサ実装モジュールを備え得る。

【0052】

同様に、本明細書に説明される方法は、少なくとも部分的に、プロセッサ実装され得る。例えば、方法の動作の少なくともいくつかは、１つ以上のプロセッサまたはプロセッサ実装ハードウェアモジュールによって行われ得る。ある動作の性能は、１つ以上のプロセッサ間に分散され得、単一機械内のみに常駐するのではなく、いくつかの機械を横断して展開される。いくつかの例示的実施形態において、プロセッサまたは複数のプロセッサは、単一場所内に位置し得る（例えば、家庭環境、事務所環境内、またはサーバファームとして）一方、他の実施形態において、プロセッサは、いくつかの場所を横断して分散され得る。

【0053】

１つ以上のプロセッサは、「クラウドコンピューティング」環境内の、または「サービスとしてのソフトウェア」（ＳａａＳ）としての関連動作の性能をサポートするようにも動作し得る。例えば、動作のうちの少なくともいくつかは、コンピュータのグループ（プロセッサを含む機械の例として）によって実施され得、これらの動作は、ネットワーク（例えば、インターネット）を介して、および１つ以上の適切なインターフェース（例えば、アプリケーションプログラムインターフェース（ＡＰＩ））を介して、アクセス可能である。

【0054】

動作のあるものの性能は、１つ以上のプロセッサの中に分散され、単一機械内にのみ常駐するのではなく、いくつかの機械を横断して展開され得る。いくつかの例示的実施形態において、１つ以上のプロセッサまたはプロセッサ実装モジュールは、単一の地理的場所内（例えば、自宅環境、オフィス環境、またはサーバファーム内）に位置し得る。他の例示的実施形態において、１つ以上のプロセッサまたはプロセッサ実装モジュールは、いくつかの地理的場所を横断して分散され得る。

【0055】

本明細書のいくつかの部分は、機械メモリ（例えば、コンピュータメモリ）内にビットまたはバイナリデジタル信号として記憶されたデータ上の動作のアルゴリズムまたは記号表現の観点から提示される。これらのアルゴリズムまたは記号表現は、その機能の概要を他の当業者に伝えるために、データ処理分野における当業者によって使用される技法の例である。本明細書で使用されるように、「アルゴリズム」は、所望の結果につながる動作または類似処理の自己一貫シーケンスである。この文脈では、アルゴリズムおよび動作は、物理的量の物理的操作を伴う。典型的に、必ずしもではないが、そのような量は、機械によって記憶、アクセス、転送、組み合わせ、比較、または別様に操作されることが可能な電気、磁気、または光学信号の形態をとり得る。時として、主に、一般的使用の理由から、「データ」、「コンテンツ」、「ビット」、「値」、「要素」、「記号」、「文字」、「項」、「数」、「数値」等等の用語を使用して、そのような信号を指すことが便宜的である。しかしながら、これらの用語は、単に、便宜的標識であって、適切な物理的量と関連付けられるものとする。

【0056】

具体的に別様に述べられない限り、「処理する」、「算出する」、「計算する」、「決定する」、「提示する」、「表示する」等の用語を使用した本明細書における議論は、１つ以上のメモリ（例えば、揮発性メモリ、不揮発性メモリ、またはそれらの組み合わせ）、レジスタ、または情報を受信、記憶、伝送、または表示する他の機械コンポーネント内の物理的（例えば、電子、磁気、または光学）量として表されるデータを操作または変換する、機械（例えば、コンピュータ）のアクションまたはプロセスを指し得る。

【0057】

本明細書で使用されるように、「一実施形態」または「ある実施形態」の任意の言及は、実施形態に関連して説明される特定の要素、特徴、構造、または特性が、少なくとも一実施形態に含まれることを意味する。本明細書内の種々の場所における語句「一実施形態では」の表出は、必ずしも全て、同一実施形態を参照するわけではない。

【0058】

いくつかの実施形態は、その派生形とともに、表現「結合される」および「接続される」を使用して説明され得る。これらの用語は、相互の同義語として意図されるものではないことを理解されたい。例えば、いくつかの実施形態は、２つ以上の要素が互いに直接物理的または電気的に接続することを示すために用語「接続される」を使用して説明され得る。別の例では、いくつかの実施形態は、２つ以上の要素が直接物理的または電気的に接触することを示すために、用語「結合される」を使用して説明され得る。しかしながら、用語「結合される」はまた、２つ以上の要素が、直接互いに接触しないが、依然として、互いに協働または相互作用することを意味し得る。実施形態は、本文脈において制限されない。

【0059】

本明細書で使用されるように、用語「備えている（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ、ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｓ、ｈａｖｉｎｇ）」、またはその任意の他の変形例は、非排他的含有を網羅するように意図される。例えば、要素のリストを備えている、プロセス、方法、物品、または装置は、必ずしも、それらの要素のみに制限されず、明示的に列挙されない、またはそのようなプロセス、方法、物品、または装置に固有の他の要素を含み得る。さらに、そうではないことが明示的に述べられない限り、「または（ｏｒ）」は、包含のｏｒを指し、排他的ｏｒを指すわけではない。例えば、条件ＡまたはＢは、Ａが真であって（または存在する）、Ｂが偽である（または存在しない）、Ａが偽であって（または存在しない）、Ｂが真である（または存在する）、およびＡおよびＢは両方とも真である（または存在する）の任意の１つによって満たされる。

【0060】

加えて、「ａ」または「ａｎ」の使用は、本明細書の実施形態の要素およびコンポーネントを説明するために採用される。これは、単に、便宜のためであって、本発明の一般的意味を与えるために行われる。本説明は、１つまたは少なくとも１つを含むものとして読まれるべきであって、単数形もまた、別様に意味されることが明白でない限り、複数形を含む。

【0061】

本開示の熟読に応じて、当業者は、本明細書に開示される原理を通して、設計区間の品質を評価するためのシステムおよびプロセスのためのさらに追加の代替構造および機能設計を理解するであろう。したがって、特定の実施形態および用途が図示および説明されたが、開示される実施形態は、本明細書に開示される精密な構造およびコンポーネントに制限されないことを理解されたい。種々の修正、変更、および変形例が、添付の請求項に定義される精神および範囲から逸脱することなく、本明細書に開示される方法および装置の配列、動作、および詳細に行われ得ることが当業者に明白であろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】