特許 7376450 学習済モデルの構築方法、及び、その学習済モデルを用いた設計支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-30

(45)【発行日】2023-11-08

(54)【発明の名称】学習済モデルの構築方法、及び、その学習済モデルを用いた設計支援装置

(51)【国際特許分類】

   G06F 30/27 20200101AFI20231031BHJP

   G06F 30/10 20200101ALI20231031BHJP

   G06N 20/00 20190101ALI20231031BHJP

【ＦＩ】

G06F30/27

G06F30/10

G06N20/00

【請求項の数】 11

(21)【出願番号】P 2020164148

(22)【出願日】2020-09-29

(65)【公開番号】P2022056238

(43)【公開日】2022-04-08

【審査請求日】2022-12-01

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】安原 重人

(72)【発明者】

【氏名】岡田 英之

(72)【発明者】

【氏名】吉本 毅

(72)【発明者】

【氏名】岡田 高幸

(72)【発明者】

【氏名】後藤 禎

(72)【発明者】

【氏名】福田 昇

(72)【発明者】

【氏名】山田 航司

【審査官】堀井 啓明

(56)【参考文献】

【文献】特開２０２０－０３５３２５（ＪＰ，Ａ）

【文献】特開２０１３－２２５１９２（ＪＰ，Ａ）

【文献】特表２０２０－５０６４９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３０／００－３０／３９８

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

設計の活動の実行の有無に依存して定められる状態と、前記状態の下で選択可能な前記活動である行動との組み合わせに対して報酬を付与し、価値を最大化することによって学習済モデルを構築する学習済モデルの構築方法であって、
予め入力された規則に基づいて前記報酬を付与するステップと、
付与された前記報酬に基づいて強化学習を行うステップとを含み、
前記規則は経路元活動と、前記経路元活動の後に行われる経路先活動と、前記経路元活動の後に前記経路先活動が行われることの重要度を示す太さとに係る情報を含み、
前記報酬を付与するステップにおいて、前記状態に至る直前の前記行動が前記経路元活動に適合し、且つ、前記行動と前記経路先活動とが適合するときに、前記太さに基づいて前記報酬を設定する学習済モデルの構築方法。

【請求項2】

前記状態は、複数の前記活動の実行の有無と、直前に実行された前記活動とを含む組み合わせによって定義される請求項１に記載の学習済モデルの構築方法。

【請求項3】

前記状態は、複数の前記活動の実行の有無と、直前に実行された前記活動と、設計の条件に対応する番号とを含む組み合わせによって定義される請求項１に記載の学習済モデルの構築方法。

【請求項4】

設計の前記条件に対応する前記番号には、設計の前記条件が未定であることを示す前記番号を含む請求項３に記載の学習済モデルの構築方法。

【請求項5】

設計に係る前記活動に対応する複数のノード、及び、前記活動の関係に基づいて、対応する前記ノードを接続するエッジを含むナレッジグラフを用いて、前記ノードに対応する前記活動の中から、前記規則に照合することにより前記状態を定義するための前記活動を抽出し、前記状態の集合である状態空間を生成するステップを含む請求項１～請求項４のいずれか１つの項に記載の学習済モデルの構築方法。

【請求項6】

前記ナレッジグラフは、設計情報、及び、設計手順に係るデータをそれぞれ含む請求項５に記載の学習済モデルの構築方法。

【請求項7】

前記ナレッジグラフには、前記ノードが階層に分かれて記録され、
前記規則は前記経路元活動に対応する前記ノードが、前記経路先活動に対応する前記ノードの上層に位置することを含む請求項５又は請求項６に記載の学習済モデルの構築方法。

【請求項8】

前記規則は前記経路元活動に対応する前記ノードと、前記経路先活動に対応する前記ノードとの階層の差が所定値以上であるときには、前記報酬は付与されない請求項７に記載の学習済モデルの構築方法。

【請求項9】

前記規則はテキストによって入力され、
前記状態空間を生成するステップにおいて、前記テキストに含まれる単語と、前記ノードに対応する前記活動とを照合することによって、前記ノードに対応する前記活動の中から、前記状態を定義するための前記活動を抽出する請求項５～請求項８のいずれか１つの項に記載の学習済モデルの構築方法。

【請求項10】

請求項１～請求項９のいずれか１つの項に記載された方法によって構築された学習済モデルに基づいて、設計支援を行う設計支援装置であって、
ユーザから入力された情報に基づいて初期状態を設定するステップと、
前記初期状態から価値を最大化する前記行動を順次行わせるべく、前記ユーザに指示を行う出力を行うステップとを実行する設計支援装置。

【請求項11】

請求項３又は請求項４に記載された方法によって構築された学習済モデルに基づいて、設計支援を行う設計支援装置であって、
ユーザから入力された情報に基づいて初期状態を設定するステップと、
前記初期状態から価値を最大化する前記行動を順次行わせるべく、前記ユーザに指示を行う出力を行うステップとを実行し、
前記出力を行うステップにおいて、設計の前記条件に係る入力を受け付けたときには、前記状態を入力された前記条件に合致するものに遷移させた後、価値を最大化する前記行動を順次行わせるべく、前記ユーザに指示を行う前記出力を行う設計支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習済モデル構築方法であって、特に、設計支援を行うための設計支援装置に係る学習済モデルの構築方法と、その学習済モデルを用いた設計支援装置に関する。

【背景技術】

【0002】

車両の設計を支援するための設計支援システムであって、一つの要素の設計変更に伴って入力された入力諸元値に基づいて、他の関連する要素の諸元値を自動的に変更するものが開発されている（例えば、特許文献１）。

【0003】

建物の設計を支援するための設計支援装置であって、建築主から画像情報や言語情報の入力を受け付けて、学習済モデルによる演算を行い、設計対象である建物の設計条件を出力するものが知られている（例えば、特許文献２）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００９－３７５０９号公報

【文献】特開２０１９－２００７２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

車両を設計するためには、目標の設定や、荷重入力の検討等、多くの活動を経る必要がある。特許文献１の設計支援装置では、一つの要素の変更によって、他の要素の諸元値が変更されるものの、経験の浅いユーザは車両設計の各段階でどのような活動をすべきかを知ることができないため、経験の浅いユーザに対して十分な設計支援を行うことが難しい。

【0006】

そこで、設計支援装置を、特許文献２に記載されているように学習済モデルを用いた設計支援が可能となるように構成することが考えられる。

【0007】

学習済モデルを、設計状況を示す状態において、その状態において取るべき行動に報酬をつけ、行動を順次行うことによって得られる価値を最大化する強化学習を用いて構築することが考えられる。このとき、価値を最大化するべく選択される行動が、十分な経験を持つユーザ（エキスパート）の行動に合致するように、価値を設定することが求められる。

【0008】

しかし、車両設計のように、各状態において選択可能な活動の数が多くなると、設定すべき報酬の数が増大し、報酬の設定に係る負担が増大するという問題がある。

【0009】

本発明は、以上の背景を鑑み、強化学習を用いた学習済モデルの構築方法、及び、その学習済モデルを用いた設計支援装置において、報酬の設定を容易にすることを課題とする。

【課題を解決するための手段】

【0010】

上記課題を解決するために本発明のある態様は、設計の活動の実行の有無に依存して定められる状態（Ｓ）と、前記状態の下で選択可能な前記活動である行動（Ａ）との組み合わせに対して報酬（Ｒ）を付与し、価値を最大化することによって学習済モデル（５０）を構築する学習済モデルの構築方法であって、予め入力された規則（１６）に基づいて前記報酬を付与するステップ（ＳＴ４）と、付与された前記報酬に基づいて強化学習を行うステップ（ＳＴ５）とを含み、前記規則は経路元活動と、前記経路元活動の後に行われる経路先活動と、前記経路元活動の後に前記経路先活動が行われることの重要度を示す太さとに係る情報を含み、前記報酬を付与するステップにおいて、前記状態に至る直前の前記行動が前記経路元活動に適合し、且つ、前記行動と前記経路先活動とが適合するときに、前記太さに基づいて前記報酬を設定する。

【0011】

この態様によれば、エキスパートの経験や知識に基づく規則を入力することによって、エキスパートの行動に即した報酬を容易に且つ適切に設定することができる。

【0012】

上記態様において、前記状態は、複数の前記活動の実行の有無（Ｔ，Ｆ）と、直前に実行された前記活動とを含む組み合わせによって定義されるとよい。

【0013】

この態様によれば、状態に至る直前の活動及び行動を用いて、状態及び行動の組み合わせがエキスパートの設計手順に沿った規則に合致しているかを容易に判定することができる。

【0014】

上記態様において、前記状態は、複数の前記活動の実行の有無と、直前に実行された前記活動と、設計の条件に対応する番号（ａ，ｂ，ｕ）とを含む組み合わせによって定義されるとよい。

【0015】

この態様によれば、設計の条件に応じた設計支援が可能となる。

【0016】

上記態様において、設計の前記条件に対応する前記番号には、設計の前記条件が未定であることを示す前記番号（ｕ）を含むとよい。

【0017】

この態様によれば、設計の条件が未定である場合であっても、設計支援が可能となる。

【0018】

上記態様において、設計に係る前記活動に対応する複数のノード（２２）、及び、前記活動の関係に基づいて、対応する前記ノードを接続するエッジ（２３）を含むナレッジグラフ（２１）を用いて、前記ノードに対応する前記活動の中から、前記規則に照合することにより前記状態を定義するための前記活動を抽出し、前記状態の集合である状態空間（Ｐ）を生成するステップを含むとよい。

【0019】

この態様によれば、設計に係る情報が記憶されたナレッジグラフを用いて状態を生成し、設計支援を行うことができる。

【0020】

上記態様において、前記ナレッジグラフは、設計情報、及び、設計手順に係るデータをそれぞれ含むとよい。

【0021】

この態様によれば、ナレッジグラフに設計情報に係るデータと設計手順に係るデータとが含まれるため、ナレッジグラフの有用性が高められる。

【0022】

上記態様において、前記ナレッジグラフには、前記ノードが階層に分かれて記録され、前記規則は前記経路元活動に対応する前記ノードが、前記経路先活動に対応する前記ノードの上層に位置しているときに、前記太さが所定の値であることを含むとよい。

【0023】

この態様によれば、ナレッジグラフの上層に位置するノードに対応する活動から、下層に位置するノードに対応する活動に向かって下るように活動の指示が行われるため、ユーザに指示内容が理解され易くなる。

【0024】

上記態様において、前記規則は前記経路元活動に対応する前記ノードと、前記経路先活動に対応する前記ノードとの階層の差が所定値以上であるときには、前記報酬は付与されないとよい。

【0025】

この態様によれば、経路元活動に対応するノードと、経路先活動に対応するノードとの階層の差が大きくなり、活動の流れがユーザに理解し難くなることが防止できる。

【0026】

上記態様において、前記規則はテキストによって入力され、前記状態空間を生成するステップにおいて、前記テキストに含まれる単語と、前記ノードに対応する前記活動とを照合することによって、前記ノードに対応する前記活動の中から、前記状態を定義するための前記活動を抽出するとよい。

【0027】

この態様によれば、ノードに対応する活動と規則とを容易に照合することができる。

【0028】

上記態様において、上記の方法によって構築された学習済モデルに基づいて、設計支援を行う設計支援装置（１、１０１）であって、ユーザから入力された情報に基づいて初期状態を設定するステップ（ＳＴ２４）と、前記初期状態から価値を最大化する前記行動を順次行わせるべく、前記ユーザに指示を行う出力を行うステップ（ＳＴ２５）とを実行する。

【0029】

この態様によれば、設計支援装置を、エキスパートの経験や知識に基づく規則を入力することによって、エキスパートの行動に即した学習モデルに基づいて設計支援を行うように構成することができる。

【0030】

上記態様において、上記の方法によって構築された学習済モデルに基づいて、設計支援を行う設計支援装置（１０１）であって、ユーザから入力された情報に基づいて初期状態を設定するステップ（ＳＴ２４）と、前記初期状態から価値を最大化する前記行動を順次行わせるべく、前記ユーザに指示を行う出力を行うステップ（ＳＴ２５）とを実行し、前記出力を行うステップにおいて、設計の前記条件に係る入力を受け付けたときには、前記状態を入力された前記条件に合致するものに遷移させた後、価値を最大化する前記行動を順次行わせるべく、前記ユーザに指示を行う前記出力を行う。

【0031】

この態様によれば、設計支援装置をエキスパートの行動に即した学習モデルに基づいて設計支援が可能となるように構成できる。また、設計支援装置を、設計の条件が変更された場合であっても、変更後の条件に合致した学習モデルを用いて設計支援が可能となるように構成できる。

【発明の効果】

【0032】

以上の構成によれば、強化学習を用いた学習済モデルの構築方法、及び、その学習済モデルを用いた設計支援装置において、報酬の設定を容易にすることができる。

【図面の簡単な説明】

【0033】

【図1】第１実施形態に係る学習済モデルの構築方法が実施される設計支援装置のハードウェア構成を示すブロック図

【図2】設計支援装置の機能ブロック図

【図3】ナレッジグラフの例を示す図

【図4】上位概念モデルの例を示す図

【図5】学習済モデル構築処理のフローチャート

【図6】（Ａ）抽出グラフ、及び（Ｂ）状態空間を説明するための説明図

【図7】報酬テーブルを示す図

【図8】報酬設定処理のフローチャート

【図9】Ｑテーブルを示す図

【図10】支援処理のフローチャート

【図11】学習済の状態遷移を説明するための説明図

【図12】第２実施形態に係る上位概念モデルの例を示す図

【図13】第２実施形態に係る状態及び状態遷移を説明するための説明図

【発明を実施するための形態】

【0034】

本発明に係る学習済モデルの構築方法は、学習済モデルを用いた設計支援を行う設計支援装置によって実施される。以下、図面を参照して、本発明に係る設計支援装置を、車両の設計支援に適用した実施形態について説明する。

【0035】

ここでいう設計支援とは、設計に携わるユーザから入力を受け付けて、設計するためにユーザに行うべき工程（活動）を指示することである。

【0036】

＜＜第１実施形態＞＞
設計支援装置１は、図１に示すように、公知のハードウェア構成を有するコンピュータを含み、プロセッサ２、ＲＡＭ３、ＲＯＭ４、ストレージ５、入力装置６、及び、出力装置７を有する。ストレージ５はＨＤＤやＳＳＤ等の、情報を記憶する公知の記憶装置であってよい。また、入力装置６はキーボード、マウス、マイクロホン等であってよく、出力装置７はモニタ、スピーカ等であってよい。

【0037】

設計支援装置１は図２に示すように、機能部として、記憶部１０と、入力部１１と、出力部１２と、モデル構築部１３と、支援処理部１４とを備える。

【0038】

記憶部１０はストレージ５を含み、設計支援に係る情報を記憶する。記憶部１０は少なくとも、知識データベース１５と、上位概念モデル１６とを記憶（保持）している。

【0039】

知識データベース１５は、設計に係る知識が階層化されて記録されたデータベースであり、ナレッジグラフ２１を含む。ナレッジグラフ２１は、図３に示すように、所定の高さの木構造（ツリー構造）を有している。本実施形態では、ナレッジグラフ２１は、設計情報に係るデータベース（ＳｙｓＭＬ）と設計手順に係るデータベース（ＧＳＮ）とを組み合わせることによって構築されている。ナレッジグラフ２１には，設計対象となる車両の部分や部品の諸元、その目標値、また、設計上の制約、開発戦略（手順）、証拠などが分類されて保持されている。このように、ナレッジグラフ２１に、設計情報と設計手順に係る情報とが含まれているため、いずれか一方のみが含まれている場合に比べて、その有用性が高められている。

【0040】

ナレッジグラフ２１は、複数のノード２２と、それぞれが２つのノード２２を接続する複数のエッジ２３とによって構成されている。ナレッジグラフ２１に含まれるノード２２はそれぞれ、設計に要する１つの活動に対応する。ここでいう活動とは、設計を行うために実行すべき工程に相当する。図３に示すように、ノード２２は、例えば、「扉上部の管理目標を設定する」や、「部位αの荷重入力を検討する」等の活動に対応する。

【0041】

ナレッジグラフ２１には、ノード２２がそれぞれ、対応する活動の抽象レベル（概念）に応じて、複数の階層に分かれて記録されている。すなわち、活動に係る概念が上位になるほど、対応するノード２２は上層に位置している。例えば、設計工程における上流に位置する活動（例えば、目標設定）に対応するノード２２は、下流に位置する活動（例えば、目標を達するために要する検討）に対応するノード２２に比べて上層に位置する。より具体的には、図３に示すように、車両設計に関するノード２２は、入力の検討、耐力の検討や、板厚の検討に対応するノード２２よりも上層に位置する。

【0042】

その他、包含関係にある部材に係る同一の活動については、含まれる部材に係る活動が記載されたノード２２は、含む部材に係る活動が記載されたノード２２よりも下層に位置している。また、部材（例えば、車体）の設計と記載されたノード２２は、その部材に含まれる部分（例えば、部位α）に係る検討と記載されたノード２２よりも上層に位置する。

【0043】

各エッジ２３はノード２２の間の関係性を表し、互いに関わり合いのある（すなわち、相関のある）活動が記載されたノード２２を接続している。本実施形態では、エッジ２３は主に互いに階層の異なる２つのノード２２を接続している。エッジ２３は例えば、２つのノード２２に記載された活動が親子関係にある場合や、包含関係にある場合、従属関係にある場合、因果関係にある場合等に両者を接続する。

【0044】

上位概念モデル１６は、エキスパートの設計順序に係る判断基準（暗黙知）をモデル化したものであり、設計における条件（プロジェクト全体の条件や設計結果による条件）を元に依存関係を記述している。上位概念モデル１６はエキスパートが持っているノウハウの抽出することによって構築される。上位概念モデル１６は、実際の業務シナリオ、過去のトラブル分析、ヒアリング、動的発生事象の因果関係から抽出されて、構築されるとよい。

【0045】

本実施形態では、図４に示すように、上位概念モデル１６は、複数の上位概念ユニット３０を含む。上位概念ユニット３０はそれぞれ、エキスパートから取得したテキストと、そのテキストそれぞれに係る一対以上の活動（以下、対をなす２つの活動を活動対と記載する）と、活動対それぞれに付与された太さとを含む。活動対はそれぞれ、活動（経路元活動）と、経路元活動の直後に行われる活動（経路先活動）とを含む。上位概念モデル１６は、エキスパートならば、経路元活動を行った後に、経路後の活動を行うという規則を示すものであって、太さは経路元活動の後に経路先活動が行われることの重要度を示す。本実施形態では、太さの値が大きくなることによって、重要度が大きくなる。上位概念モデル１６は上位概念モデル１６を複数含むテーブルとして、記憶部１０に記憶されている。但し、上位概念モデル１６はこの態様には限定されず、更に、活動対が行われるための前提条件（例えば、開発モデル等）を含んでいてもよい。

【0046】

上位概念モデル１６は、学習モデルの構築前に予め記憶部１０に記憶されている。上位概念モデル１６はエキスパートが設計支援装置１に入力されることによって構築され、記憶部１０に記憶されてもよい。また、設計支援装置１がエキスパートから取得したテキストから上位概念モデル１６を構築する概念構築部を備え、その概念構築部によって複数の上位概念ユニット３０が構築され、上位概念モデル１６として記憶部１０に記憶されてもよい。

【0047】

入力部１１は入力装置６を含み、ユーザから入力される入力情報を取得する。本実施形態では、入力部１１はユーザから設計に係る言語情報を取得することができる。

【0048】

出力部１２は出力装置７を含み、ユーザに出力情報を出力する。本実施形態では、出力部１２はユーザにすべき行動の内容を音声や画像、テキスト等によって出力して、ユーザにすべき活動を伝達する。

【0049】

モデル構築部１３は、プロセッサ２によって実行されるソフトウエアによって構成されている。モデル構築部１３はモデル構築処理を行うことによって学習済モデルの構築方法を実施する。本実施形態では、モデル構築部１３はモデル構築処理において、少なくとも設計の活動の実行の有無に依存して定められる状態Ｓと、状態Ｓの下で選択可能な活動である行動Ａとの組み合わせに対して報酬Ｒ（図７参照）を付与し、価値を最大化する、いわゆる強化学習を行うことによって学習済モデルを構築する。

【0050】

支援処理部１４は、プロセッサ２によって実行されるソフトウエアによって構成されている。支援処理部１４はモデル構築部１３によって構築された学習済モデルを用いて設計支援を行う。

【0051】

次に、図５を参照して、モデル構築部１３によって実行されるモデル構築処理の詳細について説明する。

【0052】

モデル構築部１３はモデル構築処理の最初のステップＳＴ１において、上位概念モデル１６から、設計を行うために要する上位概念ユニット３０を選択する選択処理を実行する。より具体的には、モデル構築部１３は選択処理において、上位概念モデル１６に含まれる上位概念ユニット３０のリストを出力部１２に出力する。エキスパートはその出力部１２の出力を確認し、入力部１１に入力する。モデル構築部１３は入力部１１から設計対象となる車両に適した上位概念ユニット３０の選択を受け付ける。上位概念ユニット３０の選択の受付が完了すると、モデル構築部１３はステップＳＴ２を実行する。

【0053】

モデル構築部１３はステップＳＴ２において、抽出処理を実行する。モデル構築部１３は、抽出処理において、ナレッジグラフ２１からステップＳＴ１において選択された上位概念ユニット３０に適合する領域を抽出し、抽出グラフ３２として記憶部１０に保存する。

【0054】

本実施形態では、モデル構築部１３は、まず、ナレッジグラフ２１のノード２２の中から、ノード２２に対応する活動が、抽出された上位概念ユニット３０に含まれる経路元活動又は経路先活動に適合するものを抽出する。このとき、モデル構築部１３は、活動に記載れた単語と、経路元活動に記載された単語又は経路先活動に記載された単語とがそれぞれ同一であるか、類似であるときに、ノード２２に対応する活動が、経路元活動又は経路先活動に適合すると判定するとよい。このような類似判定を行うため、記憶部１０は類義語辞書等を含む所定のデータベースを記憶しているとよく、モデル構築部１３はこのデータベースを参照することによって、単語の類否を判定するとよい。その後、モデル構築部１３は、ナレッジグラフ２１の中から、適合したノード２２を含む領域（図３の破線で囲まれた領域を参照）を上位概念ユニット３０に適合する領域として抽出し、抽出グラフ３２（図６（Ａ）を参照）として記憶部１０に保存する。抽出グラフ３２の保存が完了すると、モデル構築部１３はステップＳＴ３を実行する。

【0055】

モデル構築部１３はステップＳＴ３において、抽出グラフ３２から上位概念ユニット３０に適合するノード２２を抽出し、抽出されたノード２２に基づいて状態空間生成処理を行う。ここでいう状態Ｓは少なくとも抽出グラフ３２の含まれる各活動の実行の有無を示す組み合わせに依存して定められるものであり、その組み合わせに加えて、活動の履歴に基づくものであってもよい。本実施形態では、状態Ｓは、図６に示すように、各活動の実行の有無と、その組み合わせに至る直前に実行された活動との組み合わせとによって定義され、状態空間Ｐは全ての状態Ｓを含む集合として定義される。

【0056】

本実施形態では、モデル構築部１３は、抽出グラフ３２から上位概念ユニット３０に適合するノード２２を抽出し、抽出されたノード２２それぞれに対応する活動の各活動の実行（Ｔ）又は未実行（Ｆ）を示す論理式の組み合わせを算出する。但し、モデル構築部１３は、抽出グラフ３２の最も上流に位置するノード２２に対応する活動（図４では活動１）については、常に実行（Ｔ）とする。その後、モデル構築部１３は、各活動の実行及び未実行の組み合わせに対し、実行（Ｔ）となっている活動をその組み合わせに至る直前に実施された活動として１つずつ選択して組み合わせて全ての状態Ｓを取得し、それらを組み合わせて状態空間Ｐを構成する。

【0057】

図６（Ｂ）に示すように、活動１～３が抽出された場合には、活動２及び３の実行、未実行を示す論理式の組み合わせは、（活動２、活動３）＝（Ｆ，Ｆ）、（Ｔ，Ｆ）、（Ｆ、Ｔ）及び（Ｔ，Ｔ）となる。但し、（活動２、活動３）＝（Ｆ，Ｆ）は両活動が未実行、（Ｔ，Ｆ）は活動２が実行、活動３が未実行、（Ｆ，Ｔ）は活動２が未実行、活動３が実行、（Ｔ，Ｔ）は両活動が実行済であることを意味する。全ての状態Ｓは、活動２及び３の実行、未実行を示す論理式の組み合わせそれぞれに至る直前に実行されうる活動を組み合わせることによって表現される。より具体的には、状態Ｓは、図６（Ｂ）に示されるように、（活動２、活動３，直前の活動）＝（Ｆ，Ｆ，１）、（Ｔ，Ｆ，２）、（Ｆ，Ｔ，３）、（Ｔ，Ｔ，２）、（Ｔ，Ｔ，３）の５つとなる。ここで、（）内の最後の要素は、直前の活動の番号を表す。

【0058】

図６（Ｂ）に示すように、標記を簡略化するため、適宜、（活動２、活動３，直前の活動）＝（Ｆ，Ｆ，１）、（Ｔ，Ｆ，２）、（Ｆ，Ｔ，３）、（Ｔ，Ｔ，２）、（Ｔ，Ｔ，３）の各状態Ｓをそれぞれ、Ｓ_００，１、Ｓ_１０，２、Ｓ_０１，３、Ｓ_１１，２、Ｓ_１１，３と記載する。ここで、Ｓ_ｉｊ，ｋにおいて、ｉは活動２の実行（１）、未実行（０）を示し、ｊは活動３の実行（１）、未実行（０）を示し、ｋは直前の活動の番号を示している。

【0059】

状態空間Ｐの構成が完了すると、モデル構築部１３は状態空間Ｐを記憶部１０に記憶させ、その後、ステップＳＴ４を実行する。

【0060】

モデル構築部１３はステップＳＴ４において、報酬設定処理を行う。報酬設定処理は、抽出グラフ３２、及び、ステップＳＴ１において予め入力された規則（上位概念ユニット３０）に基づいて、状態空間Ｐに含まれる各状態Ｓと、その状態Ｓの下で選択可能な行動Ａとの組み合わせに対して報酬Ｒ（より詳細には即時報酬）を付与する処理である。具体的には、モデル構築部１３は状態空間Ｐの全ての状態Ｓと、その状態Ｓから状態空間Ｐに含まれる状態Ｓへ移る全ての行動Ａとの組み合わせそれぞれについて報酬設定処理を行って報酬テーブル４０（図７参照）を構成し、記憶部１０に記憶させる。図７に示すように、報酬テーブル４０には、各状態Ｓに対して各行動Ａにより得られる報酬Ｒが記載されている。

【0061】

図８を参照して、報酬設定処理の詳細を説明する。以下、説明の便宜上、報酬Ｒを設定する状態Ｓ及び行動Ａにおいて、当該状態Ｓを遷移元と記載し、遷移元において行動Ａを行うことによって遷移する先の状態Ｓを遷移先と記載する。すなわち、図９に示すように、遷移元（遷移先）は状態空間Ｐに含まれる状態Ｓの一つであり、状態空間Ｐに含まれる全ての状態Ｓが遷移元（遷移先）になり得る。行動Ａは遷移元から遷移先への遷移の可否や遷移における活動の有無に依らず、遷移元から遷移先に遷移するために要する活動として定義され、いずれの活動も実行しないことをも含む。

【0062】

報酬設定処理の最初のステップＳＴ１１において、モデル構築部１３は、遷移元と遷移先とが同一かを判定する。同一である場合には、モデル構築部１３はステップＳＴ１２を、異なる場合はステップＳＴ１３を実行する。

【0063】

モデル構築部１３は、ステップＳＴ１２において、遷移元において、全ての活動が実行済の場合（図７では、遷移元及び遷移先が共にＳ_１１，２、又は、共にＳ_１１，３が該当）は報酬Ｒを零に設定し、それ以外の場合（遷移元において、少なくとも一つの活動が実行済でない場合）には報酬Ｒを負の値（本実施形態では、－１）に設定する（図７の最も薄い網掛けがされている部分参照）。設定が完了すると、モデル構築部１３は、報酬設定処理（すなわち、ＳＴ４）を終える。

【0064】

モデル構築部１３は、ステップＳＴ１３において、遷移元と遷移先とが一つの活動を実行することによって遷移可能であるかを判定する。遷移元と遷移先が遷移可能でない場合には、遷移元から遷移先に遷移するためには２つ以上の活動を実行する必要がある場合（例えば、遷移元がＳ_００，１であり、遷移先がＳ_１１，２の場合）、及び、遷移元の直前の活動と、遷移後の直前の活動とが等しい場合（例えば、遷移元がＳ_１０，２であり、遷移先がＳ_１１，２の場合）が含まれる。モデル構築部１３は、遷移元と遷移先とが一つの活動を実行することによって遷移可能であると判定した場合には、ステップＳＴ１４を、遷移不可能であると判定した場合には、ステップＳＴ１５を実行する。

【0065】

モデル構築部１３は、ステップＳＴ１４において、遷移元及び遷移先をそれぞれ抽出された上位概念ユニット３０それぞれに対して照合し、遷移元及び遷移先が上位概念ユニット３０の示す条件に適合するかを判定する。より詳細には、モデル構築部１３は、上位概念ユニット３０の経路元活動が遷移元の直前の活動に適合し、且つ、経路先活動が遷移先の直前の活動に適合するときに、遷移元及び遷移先が上位概念ユニット３０の示す条件に合致すると判定する。モデル構築部１３は、経路元活動（経路先活動）に記載された単語と、遷移元（遷移先）の直前の活動に含まれる単語との類否判定を行い、両者が類似である場合に、経路元活動と遷移元の直前の活動とが適合すると判定するとよい。

【0066】

例えば、図６（Ｂ）に示す状態空間Ｐにおいて、図４に示す上位概念ユニット３０の示す条件を満たす遷移元は直前の活動が活動１となる状態Ｓであり、上位概念ユニット３０の示す条件を満たす遷移先は直前の活動が活動２（上段）又は活動３（下段）となる状態Ｓである（図７の最も濃い網掛け部分を参照）。よって、遷移元及び遷移先が上位概念ユニット３０の示す条件に合致する組み合わせは、遷移元がＳ_００，１、且つ、遷移先がＳ_１０，２である場合（太さ５）と、遷移元がＳ_００，１、且つ、遷移先がＳ_１０，３である場合（太さ４）になる。

【0067】

その後、モデル構築部１３は、遷移元及び遷移先がともに適合する上位概念ユニット３０に含まれる太さに基づいて、報酬Ｒを設定する。より具体的には、モデル構築部１３は遷移元及び遷移先がともに適合する上位概念ユニット３０の太さの値を取得し、その値それぞれに所定の値（本実施形態では１）を積算することによって換算し、その和を取って、報酬Ｒを算出する。モデル構築部１３は、遷移元及び遷移先がともに適合する上位概念ユニット３０がない場合（図７の中程度の濃さの網掛け部分を参照）は、報酬Ｒを零に設定する。報酬Ｒの設定が完了すると、モデル構築部１３は、報酬設定処理（ＳＴ４）を終える。

【0068】

モデル構築部１３はステップＳＴ１５において、報酬Ｒを負の値（本実施形態では、－１）に設定する。設定が完了すると、モデル構築部１３は報酬設定処理（ＳＴ４）を終える。

【0069】

モデル構築部１３は報酬設定処理（ＳＴ４）が完了すると、図５に示すように、ステップＳＴ５において、付与された報酬Ｒに基づいて強化学習を行う学習処理を実行する。より詳細には、学習処理において、モデル構築部１３は報酬テーブル４０を用いて、公知のアルゴリズムにより強化学習を行って、学習モデルを示すＱテーブル５０（図９参照）を生成する。Ｑテーブル５０は、状態Ｓにあるときに、行動Ａ（遷移）を行うことの価値、すなわち、行動価値関数Ｑ（Ｓ，Ａ）（Ｓは状態、Ａは行動）を示している。但し、状態Ｓの間の遷移が実質的に不可能である場合（例えば、例えば、遷移元がＳ_００，１であり、遷移先がＳ_１１，２の場合）は報酬Ｒが負に設定されているため、強化学習によってその価値が０となり、その行動Ａ（遷移）が行われない。Ｑテーブル５０の生成に用いられるアルゴリズムはいかなるものであってもよく、例えば、動的計画法、モンテカルロ法、ＴＤ法（より具体的には、Ｑ学習や、ＳＡＲＳＡ等）のいずれに基づくものであってよい。Ｑテーブル５０の生成が完了すると、モデル構築部１３はモデル構築処理を終える。

【0070】

次に、図１０を参照して、支援処理部１４によって実行される支援処理の詳細について説明する。支援処理部１４は支援処理の最初のステップＳＴ２１において、ユーザに支援すべき設計の工程等の情報を入力させるべく出力部１２に出力を行い、入力部１１から支援すべき工程に係る情報をテキストにより取得する。取得が完了すると、支援処理部１４はステップＳＴ２２を実行する。

【0071】

支援処理部１４はステップＳＴ２２において、抽出グラフ３２のノード２２に対応する活動から、取得した情報と最も適合するものを抽出する。抽出が完了すると、支援処理部１４はステップＳＴ２３を実行する。

【0072】

支援処理部１４はステップＳＴ２３において、ＳＴ２２において抽出された活動を行うようにユーザに指示する出力を出力部１２に行う。出力が完了すると、支援処理部１４はステップＳＴ２４を実行する。

【0073】

支援処理部１４はステップＳＴ２４において、ステップＳＴ２２において抽出された活動に基づいて、状態空間Ｐから一つの状態を抽出し、学習モデルに基づいた出力を行うための初期状態に設定する。本実施形態では、支援処理部１４はＳＴ２２において抽出された活動に対応するノード２２が、抽出グラフ３２の最も上流に位置するノード２２である場合には、その活動のみが実行済となった状態Ｓを初期状態に設定する。支援処理部１４は、ＳＴ２２において抽出された活動に対応するノード２２が抽出グラフ３２の最も上流に位置するノード２２でない場合には、最も上流に位置するノード２２に対応する活動、及び、ステップＳＴ２２において抽出された活動が実行済となった状態Ｓを初期状態に設定する。初期状態の設定が完了すると、支援処理部１４はステップＳＴ２５を実行する。

【0074】

支援処理部１４はステップＳＴ２５において、初期状態から学習モデル（Ｑテーブル５０）に基づいて、現在の状態Ｓに対応する最も価値のある行動Ａを選択して状態Ｓを遷移させる工程を繰り返し行う。その際、支援処理部１４は、状態遷移ごとに行動Ａに対応する活動を行わせるべくユーザに指示する出力を出力部１２に行う。支援処理部１４は初期状態において実行済となっている活動を除き、全ての活動が完了すると、支援処理を終える。

【0075】

次に、設計支援装置１の動作について説明する。設計対象となる車両が決定すると、エキスパートは上位概念モデル１６から設計対象となる車両に適合する上位概念ユニット３０を選択することによって、設計を行う際の規則を入力する（ＳＴ１）。図４には、選択された上位概念ユニット３０の例が示されている。その後、モデル構築部１３は、上位概念ユニット３０に含まれる経路元活動及び経路先活動と、ナレッジグラフ２１のノード２２に対応する活動とを照合（図３の「マッチ」を参照）することによって、ナレッジグラフ２１の一部の領域（図３の破線で囲まれた部分、及び、図６（Ａ）を参照）を抽出グラフ３２として抽出する（ＳＴ２）。

【0076】

次に、モデル構築部１３は抽出グラフ３２を用いて状態空間Ｐ（図６（Ｂ）を参照）を生成する（ＳＴ３）。その後、モデル構築部１３は、図７に示すように、モデル構築部１３は、状態Ｓのそれぞれと、状態Ｓの遷移を引き起こす行動Ａとの組み合わせに対して、それぞれ報酬Ｒを設定し、報酬テーブル４０（図７参照）を作成する（ＳＴ４）。報酬テーブル４０の設定が完了すると、モデル構築部１３は強化学習を行い、学習モデルであるＱテーブル５０（図９参照）を生成する（ＳＴ５）。これにより、学習モデルの構築が完了する。

【0077】

その後、出力部１２の出力に従い、ユーザが入力部１１に支援すべき工程に係る情報を入力すると、支援処理部１４はその情報を取得し（ＳＴ２１）、抽出グラフ３２のノード２２に対応する活動から、取得した情報に最も適合したものを抽出する（ＳＴ２２）。

【0078】

より具体的には、ユーザが「扉上部の設計を行いたい」と入力を行うと、支援処理部１４は「扉上部」の単語を抽出し、抽出グラフ３２（図６（Ａ）参照）の中から、適合する活動として活動１「扉上部の管理目標を設定する」を抽出する。

【0079】

その後、支援処理部１４は、活動１の実行、すなわち扉上部の管理目標の設定を指示する出力を出力部１２に行う（ＳＴ２３）。次に、支援処理部１４は、初期状態として活動１のみが実行されている状態Ｓ_００，１を設定し（ＳＴ２４）、学習モデル（Ｑテーブル５０）に基づいて、価値の高い行動Ａ（遷移）を順次選択し、その行動Ａを行わせるべく、ユーザに実行を指示する（ＳＴ２５）。

【0080】

図１１には、強化学習によって得られたＱテーブル５０に対応する状態遷移図が示されている。支援処理部１４は初期状態として状態Ｓ_００，１を設定し、Ｑテーブル５０を参照して、価値の高い、活動２の実行、すなわち、部位αの荷重入力の検討をユーザに指示する。これにより、状態Ｓは状態Ｓ_００，１から状態Ｓ_１０，２に遷移する。

【0081】

次に、支援処理部１４は状態Ｓ_１０，２において、価値の高い活動３の実行、すなわち、部位βの耐力の検討をユーザに指示する。これにより、状態Ｓは状態Ｓ_１０，２から状態Ｓ_１１，３に遷移する。その後、支援処理部１４は、全ての活動が実行済であると判定し、支援処理を終える。

【0082】

次に、設計支援装置１、及び、モデル構築部１３によって実行される学習済モデルの構築方法の効果について説明する。

【0083】

設計支援装置１は、エキスパートの経験や知識に基づいて入力された規則（上位概念モデル１６）に基づいて報酬Ｒを設定し、学習モデルを構築する。設計支援装置１は、その学習モデルに基づいて活動指示を行う。このように、設計支援装置１は、エキスパートから入力された規則に基づき、自律的に学習モデルを構築し、その学習結果をもとにユーザに活動指示を行う推論エージェントとして機能する。

【0084】

設計支援装置１による活動指示は、エキスパートから入力された規則（上位概念モデル１６、上位概念ユニット３０）に基づいて学習モデルを用いて行われる。そのため、設計支援装置１はエキスパートの行動に即した活動指示を行うことができる。更に、経験の少ない設計初心者であっても、数多の選択肢の中から価値の高い最適な活動を選択して実行することができるため、設計初心者がエキスパートに指示を仰ぐ機会を低減することができる。これにより、エキスパートの負担（例えば、設計初心者へ個別教育や業務ＯＪＴ等）を低減することができる。

【0085】

設計支援装置１では、エキスパートが上位概念モデル１６から適した上位概念ユニット３０を選択すると、状態Ｓと、状態Ｓの間を遷移する行動Ａとの組み合わせそれぞれに報酬Ｒが設定される。そのため、エキスパートが状態Ｓと行動Ａとの組み合わせそれぞれに報酬Ｒを設定することを要せず、報酬Ｒの設定が容易である。

【0086】

状態Ｓはその状態Ｓに至る直前の活動によっても定義される。そのため、状態Ｓに至る直前の活動と、その後行い得る行動Ａとの組み合わせがエキスパートの設計手順に沿った規則に合致しているかを容易に判定することができる。また、状態Ｓ及び行動Ａがその規則に合致するかは、状態Ｓに至る直前の活動と、その後行い得る行動Ａに対応する活動を示す単語と、上位概念モデル１６の経路元活動及び経路先活動に係る単語とを比較することによって行われる。このように、単語を比較することによって、状態Ｓ及び行動Ａが規則に合致するかの判定を行うことができるため、その判定を機械的に行うことができ、その判定が容易である。

【0087】

＜＜第２実施形態＞＞
第２実施形態に係る学習済モデルの構築方法、及び、その方法を実施する設計支援装置１０１は、第１実施形態と比べて上位概念モデル１６の構成と、状態Ｓの定義と、学習モデル構築処理のＳＴ３～ＳＴ５と、支援処理のＳＴ２３、ＳＴ２４とが異なる。第２実施形態のその他の構成は第１実施形態と同様であるので、説明を省略する。

【0088】

図１２に示すように、第２実施形態に係る上位概念モデル１６には、第１実施形態に係る上位概念モデル１６に加えて設計条件が含まれる。設計条件は、エキスパートから入力されたテキストから抽出されてもよく、また、エキスパートから直接入力されてもよい。設計条件には、条件の番号（図１２ではａ，ｂ）、又は、条件が定まっていないことを示す番号（図１２ではｕ）が付されている。上位概念モデル１６には、条件の番号ごとに、活動対（経路元活動、及び経路先活動）と、対応する太さとが記録されている。

【0089】

モデル構築部１３は状態空間作成処理（図５のＳＴ３）において第１実施形態と同様に、抽出グラフ３２から上位概念ユニット３０に適合するノード２２を抽出し、抽出されたノード２２に基づいて状態空間生成処理を行う。但し、第２実施形態に係る状態Ｓは、図１２に示すように、ノード２２に対応する各活動の実行の有無と、その組み合わせに至る直前に行われた活動の番号と、設計条件の番号との組み合わせによって定義される。

【0090】

図６（Ａ）に示すように抽出グラフ３２に３つの活動（活動１～３）が含まれ、図１２に示すように、上位概念ユニット３０に２つの設計条件（ａ，ｂ，ｕ）が含まれる場合には、状態空間Ｐには１５の状態Ｓが含まれる。図１３では、各状態Ｓは、Ｓ_{ｉｊ，ｋ，ｌ}（ｉは活動２の実行（１）、未実行（０）を示し、ｊは活動３の実行（１）、未実行（０）を示し、ｋは直前の活動を示し、ｌは設計条件を示す）によって表現されている。

【0091】

状態空間Ｐの生成が完了すると、モデル構築部１３は報酬設定処理を行う。第２実施形態において、モデル構築部１３は、設計条件ごとに報酬設定処理（ＳＴ４）を行い、学習モデル生成処理（ＳＴ５）を行なって、設計条件ごとに学習モデルを生成する。

【0092】

支援処理部１４は、支援処理の最初のステップＳＴ２１において、第１実施形態と同様に、支援すべき工程に係る情報を取得する。その後、支援処理部１４は、ステップＳＴ２２において、第１実施形態と同様に、抽出グラフ３２のノード２２に対応する活動から、取得した情報と最も適合するものを抽出する。その後、ステップＳＴ２３において、第１実施形態と同様に、支援処理部１４は、ＳＴ２２において抽出された活動を行うようにユーザに指示する出力を出力部１２に行う。

【0093】

次に、支援処理部１４はステップＳＴ２３において、ステップＳＴ２２において抽出された活動に基づいて、状態空間Ｐから一つの状態Ｓを抽出し、学習モデルに基づいた出力を行うための初期状態に設定する。本実施形態では、まず、支援処理部１４はＳＴ２１において取得した情報に基づいて、支援すべき工程の設計条件を取得し、設計条件の番号を設定する。但し、設計条件が取得できなかったとき、又は、条件が未定であると判定したときには、支援処理部１４は設計条件の番号に、条件が未定であることを示す番号（本実施形態ではｕ）を設定する。

【0094】

次に、支援処理部１４はステップＳＴ２４において、ＳＴ２２において抽出された活動に対応するノード２２が、抽出グラフ３２の最も上流に位置するノード２２である場合には、設定した設計条件の番号に該当し、且つ、その活動のみが実行済となった状態Ｓを初期状態に設定する。支援処理部１４は、ＳＴ２２において抽出された活動に対応するノード２２が抽出グラフ３２の最も上流に位置するノード２２でない場合には、設定した設計条件の番号に該当し、且つ、最も上流に位置するノード２２に対応する活動、及び、ステップＳＴ２２において抽出された活動が実行済となった状態Ｓを初期状態に設定する。但し、ＳＴ２１において取得した情報に設計条件に係る情報が含まれている場合には、支援処理部１４は、対応する設計条件の番号として、条件が未定であることを示す番号（本実施形態ではｕ）を用いる。初期状態の設定が完了すると、支援処理部１４はステップＳＴ２５を実行する。

【0095】

支援処理部１４はステップＳＴ２５において、第１実施形態と同様に、初期状態から学習モデル（Ｑテーブル５０）に基づいて、現在の状態Ｓに対応する最も価値のある行動Ａを選択して状態Ｓを遷移させる工程を繰り返し行う。その際、支援処理部１４は、状態遷移ごとに行動Ａに対応する活動を行うようにユーザに指示する出力を出力部１２に行う。但し、入力部１１において、設計条件の変更を示す入力を受け付けると、支援処理部１４は状態Ｓを設計条件のみを変更した状態Ｓを遷移させる。その後、支援処理部１４は、現在の状態Ｓに対応する最も価値のある行動Ａを選択して状態遷移を行い、順次、行動Ａに対応する活動を行うようにユーザに指示する出力を出力部１２に行う。全ての活動が実行済となると、支援処理部１４は、支援処理を終了する。

【0096】

このように構成した設計支援装置１０１の動作、及び、効果について説明する。

【0097】

設計を開始した段階では、設計対象に求められる設計条件が定まっていないことがある。その場合には、設計条件の番号に、条件が未定であることを示す番号（本実施形態ではｕ）が設定される。その後、ＳＴ２２において抽出された活動に活動１に合致すると、状態ＳはＳ_{００，１，u}となり、活動１が実行される。

【0098】

活動１を実行した直後に、ユーザから設計条件がａとなったことを示す入力があった場合には、状態Ｓは、Ｓ_{００，１，ｕ}から、Ｓ_{００，１，ａ}に遷移する（図１３の破線矢印を参照）。その後、支援処理部１４は学習モデル（Ｑテーブル５０）に基づいて、現在の状態Ｓに対応する最も価値のある行動Ａを選択して状態遷移を行い、順次、行動Ａに対応する活動を行うようにユーザに指示する出力を出力部１２に行う。

【0099】

このように、状態Ｓは、設計に係る複数の活動の実行の有無と、その組み合わせに至る直前に行われた活動の番号と、設計条件とを含む組み合わせによって定義されている。これにより、設計の条件が変更され、設計の条件に係る入力が行われた場合に、状態Ｓを入力された設計の条件に合致するものに遷移させることができる。その後、設計支援装置１は受け付けられた設計の条件に合致した学習モデルを用いて、価値を最大にする行動を順次行うように指示を行う。よって、設計支援装置１によって設計条件に応じた設計支援が可能となる。

【0100】

特に、本実施形態では、設計条件を示す番号に、未定であることを示す番号が含まれる。そのため、設計条件が詳細に定まっていない場合でも、設計支援を行うことができる。また、設計条件が定まると、その条件に合った状態Ｓに遷移し、設計条件に沿った活動の指示が行われるため、設計開発の進捗により合致した設計支援を行うことができる。

【0101】

以上で具体的実施形態の説明を終えるが、本発明は上記実施形態に限定されることなく幅広く変形実施することができる。

【0102】

上記実施形態では、上位概念ユニット３０は活動の順序に係るものであったが、この態様には限定されない。例えば、上位概念ユニット３０は経路元活動と経路先活動との対応するノード２２のナレッジグラフ２１における位置に関するものであってもよい。より具体的には、上位概念モデル１６は、上位概念ユニット３０として、ナレッジグラフ２１において、経路元活動に対応するノード２２が、経路先活動に対応するノード２２の上層に位置するときに、所定値の太さに設定するものを含むとよい。エキスパートがこの上位概念ユニット３０を選択すると、上層に位置するノード２２に対応する活動を終えた後、下層に位置するノード２２に対応する活動を実行して状態が遷移すると、正の報酬Ｒが付与される。これにより、上層に位置するノード２２に位置する活動から下層に位置するノード２２に対応する活動に向かって順に活動指示が行われ易くなる。これにより、後に指示される活動が先に指示される活動の下位概念（下の抽象レベル）となり易くなるため、ユーザが活動指示の内容を理解し易くなる。

【0103】

更に、上位概念モデル１６は、上位概念ユニット３０として、経路元活動に対応するノード２２と、経路先活動に対応するノード２２との階層の差が所定値以上（例えば、３階層以上）であるときには、報酬Ｒを設定しない（零に設定する）ものを含むとよい。経路元活動に対応するノード２２と、経路先活動に対応するノード２２との階層の差が大きくなると、経路元活動の直後に経路先活動が実行される状態の遷移に対して、報酬Ｒが設定されなくなる。これにより、経路元活動と経路先活動との抽象レベルの差が大きく、両者の活動の流れが理解し難いものに報酬Ｒが設定されなくなるため、活動の流れがユーザに理解し難くなることが防止できる。

【0104】

上記実施形態では、支援処理部１４はステップＳＴ２５において、学習モデルに基づいて、状態遷移を繰り返し行い、支援処理部１４は、状態遷移ごとに活動を行うようにユーザに指示していたが、この態様には限定されない。例えば、支援処理部１４はステップＳＴ２５において、学習モデル（Ｑテーブル５０）に基づいて、現在の状態Ｓにおいて、選択可能な行動Ａと、それぞれに対応する価値とを出力部１２に出力し、入力部１１においてユーザから希望する行動Ａを受け付けて、入力に応じた状態遷移を繰り返すように構成してもよい。但し、支援処理部１４が選択可能な行動Ａと、それぞれに対応する価値とを出力部１２に出力する際には、行動Ａを価値の高い順に並べて出力部１２に出力するとよい。

【0105】

上記実施形態では、設計支援装置１、１０１は、ナレッジグラフ２１から抽出された抽出グラフに基づいて学習済モデルを構築して設計支援を行っていたが、この態様には限定されない。例えば、設計支援装置１、１０１は設計を行うために要する活動のリストを保持し、そのリストを用いて、上位概念モデル１６の上位概念ユニット３０と照合することにより、状態空間Ｐを生成し、報酬Ｒを設定した後、学習済モデルを生成するように構成されていてもよい。

【0106】

上記実施形態では、設計支援装置１、１０１は１つのコンピュータによって構成されていたが、この態様には限定されない。設計支援装置１はインターネット等のネットワークによって接続された複数のコンピュータが協働することによって構成されていてもよい。設計支援装置１はネットワーク上の複数のサーバを含むいわゆるクラウドコンピューティングシステムによって構成されていてもよい。

【0107】

上記実施形態では、設計支援装置１は車両の設計支援に用いられていたが、この態様には限定されない。設計支援装置１は、例えば、船舶、航空機等の輸送機器や機械の設計支援に適用されてもよい。

【符号の説明】

【0108】

１ ：第１実施形態に係る設計支援装置
１６ ：上位概念モデル
２１ ：ナレッジグラフ
２２ ：ノード
２３ ：エッジ
５０ ：Ｑテーブル（学習済モデル）
１０１ ：第２実施形態に係る設計支援装置
Ａ ：行動
Ｐ ：状態空間
Ｒ ：報酬
Ｓ ：状態

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】