特開 2024-146248 モデル作成装置、モデル作成方法およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024146248

(43)【公開日】2024-10-15

(54)【発明の名称】モデル作成装置、モデル作成方法およびコンピュータプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241004BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023059032

(22)【出願日】2023-03-31

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】高平 寛之

(72)【発明者】

【氏名】木村 裕司

(57)【要約】

【課題】モデルを作成するフェーズごとに、当該モデルの性能を測るための指標を選択できるようにすること。
【解決手段】情報処理に使用されるモデルＭを作成するモデル作成装置１０は、モデルを複数のフェーズを経て作成するに際し、フェーズごとに選択される指標を用いてモデルの性能を評価する。
【選択図】図１

【特許請求の範囲】

【請求項1】

情報処理に使用されるモデルを作成するモデル作成装置であって、
前記モデルを複数のフェーズを経て作成するに際し、
フェーズごとに選択される指標を用いて前記モデルの性能を評価する
モデル作成装置。

【請求項2】

請求項１記載のモデル作成装置であって、
記憶装置と、前記記憶装置に接続された演算装置とを備え、
前記記憶装置は、
モデル作成のフェーズを示すフェーズ情報と、前記フェーズの遷移を表すフェーズ遷移情報と、前記モデルの性能を測るための指標を示す指標情報と、前記フェーズに応じて前記指標情報の中から選定される指標を示す指標選定情報とを記憶しており、
前記演算装置は、
対象モデルを特定する情報を取得し、
前記フェーズ情報に含まれる少なくとも１つ以上のフェーズの中から第１フェーズを選択し、
前記選択された第１フェーズと前記フェーズ遷移情報とに基づいて、前記フェーズ情報に含まれる少なくとも１つ以上のフェーズの中から第２フェーズを選択し、
前記選択された第２フェーズと前記指標選定情報とから、前記第２フェーズに適用される所定の指標を決定し、
前記所定の指標に基づいて、前記特定された対象モデルの性能を評価する、
モデル作成装置。

【請求項3】

請求項２記載のモデル作成装置であって、
前記演算装置は、前記選択された第２フェーズと前記指標選定情報とから、前記第２フェーズに適用される前記所定の指標を、前記第２フェーズに対応する前記指標選定情報へ変更し、
前記変更された所定の指標に基づいて、前記特定された対象モデルの性能を評価する、
モデル作成装置。

【請求項4】

請求項２記載のモデル作成装置であって、
前記演算装置は、さらに、
前記所定の指標が設定された目標値となるように前記対象モデルを改善させた改善モデルを作成する、
モデル作成装置。

【請求項5】

請求項４記載のモデル作成装置であって、
前記演算装置は、さらに、
前記改善モデルを出力させる、
モデル作成装置。

【請求項6】

請求項２記載のモデル作成装置であって、
前記フェーズ情報は、前記対象モデルについてフィードバックを取得する時間の短縮を目的とするフェーズを含む、
モデル作成装置。

【請求項7】

請求項２記載のモデル作成装置であって、
前記フェーズ情報は、所定装置の修理コストの低減を目的とするフェーズを含む、
モデル作成装置。

【請求項8】

請求項２記載のモデル作成装置であって、
前記フェーズ情報は、前記対象モデルを運用可能な所定レベルに到達させることを目的とするフェーズを含む、
モデル作成装置。

【請求項9】

請求項２記載のモデル作成装置であって、
前記フェーズ情報は、前記対象モデルが運用可能な所定レベルに到達した後で発生した課題を解決することを目的とするフェーズを含む、
モデル作成装置。

【請求項10】

請求項２記載のモデル作成装置であって、
前記記憶装置は、さらにシナリオ情報を含んでおり、
前記シナリオ情報は、所定の複数のフェーズ情報を含む、
モデル作成装置。

【請求項11】

請求項２記載のモデル作成装置であって、
前記第２フェーズに属する前記対象モデルには、前記第２フェーズで決定された所定の指標と、前記第１フェーズで使用された指標とがそれぞれ適用される、
モデル作成装置。

【請求項12】

計算機を用いて、情報処理に使用されるモデルを作成するモデル作成方法であって、
前記計算機は、記憶装置と、前記記憶装置に接続された演算装置とを備え、
前記記憶装置は、
モデル作成のフェーズを示すフェーズ情報と、前記フェーズの遷移を表すフェーズ遷移情報と、前記モデルの性能を測るための指標を示す指標情報と、前記フェーズに応じて前記指標情報の中から選定される指標を示す指標選定情報とを記憶しており、
前記演算装置は、
対象モデルを特定する情報を取得し、
前記フェーズ情報に含まれる少なくとも１つ以上のフェーズの中から第１フェーズを選択し、
前記選択された第１フェーズと前記フェーズ遷移情報とに基づいて、前記フェーズ情報に含まれる少なくとも１つ以上のフェーズの中から第２フェーズを選択し、
前記選択された第２フェーズと前記指標選定情報とから、前記第２フェーズに適用される所定の指標を決定し、
前記所定の指標に基づいて、前記特定された対象モデルの性能を評価する、
モデル作成方法。

【請求項13】

計算機を、情報処理に使用されるモデルを作成するモデル作成装置として機能させるコンピュータプログラムであって、
前記計算機は、
モデル作成のフェーズを示すフェーズ情報と、前記フェーズの遷移を表すフェーズ遷移情報と、前記モデルの性能を測るための指標を示す指標情報と、前記フェーズに応じて前記指標情報の中から選定される指標を示す指標選定情報とを記憶しており、
前記計算機上に、
対象モデルを特定する情報を取得する対象モデル取得部と、
前記フェーズ情報に含まれる少なくとも１つ以上のフェーズの中から第１フェーズを選択する第１フェーズ選択部と、
前記選択された第１フェーズと前記フェーズ遷移情報とに基づいて、前記フェーズ情報に含まれる少なくとも１つ以上のフェーズの中から第２フェーズを選択する第２フェーズ選択部と、
前記選択された第２フェーズと前記指標選定情報とから、前記第２フェーズに適用される所定の指標を決定する指標決定部と、
前記決定された所定の指標に基づいて、前記特定された対象モデルの性能を評価する性能評価部と、
を実現させる
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モデル作成装置、モデル作成方法およびコンピュータプログラムに関するものである。

【背景技術】

【0002】

ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術の発展に伴い、様々な分野でＡＩが実用化されている。例えば、産業分野では、機器、設備、車両等のアセットに故障が発生した際に、過去のアセットに関する故障の情報とアセットに施した修理の情報との組を収集した修理履歴情報をモデルに学習させ、保守員に適切な修理方法を推薦するシステム（「リペアリコメンドシステム」と呼ぶ）が提案されている。特許文献１では、修理に必要な部品と装置の状態に関する因果関係とを確率分布で記述したベイジアンネットワークをモデルとして用いることで、リペアリコメンドシステムを実現する。

【0003】

このような潮流の中、モデルを作成するモデル作成者には、リペアリコメンドシステムのユーザが満足する性能のモデルを迅速に作成することが求められる。これに対して、特許文献２では、ある検査指標に定められた要求仕様に基づいて学習モデルを評価することで、現場のユーザが要求仕様を満足する学習モデルを選択できるようにした検査装置及び機械学習方法を提供する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特願２０２１－２２２０５号公報

【特許文献2】特開２０２２－０９７３８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

モデルの性能を評価する際に使用する指標には、一般的に機械学習分野で用いられる「正解率」の他にも多様な指標がある。例えば、リペアリコメンドシステムで用いるベイジアンネットワークでは、正解率に加えて、例えば、リコメンドする修理部品の粒度一致度、リコメンド可能な修理部品の数、修理部品をリコメンドするまでに掛かる装置の状態の入力回数の少なさなどの多様な指標がある。

【0006】

モデル作成者は、ユーザに対してどのくらいの性能のモデルがあれば満足するかの要望を聞き、その要望に合わせた性能のモデルを作成する。しかしながら、ユーザが多様な指標をすべて正確に理解して、モデルの性能に対する要望を一度に明確化することは困難である。したがって、モデル作成者は、ユーザの希望を一度に知ることができず、ユーザが満足するモデルを迅速に作成できない。

【0007】

本発明の目的は、モデルを作成するフェーズごとに、当該モデルの性能を測るための指標を選択できるようにしたモデル作成装置、モデル作成方法およびコンピュータプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決すべく、本発明の一つの観点に係るモデル作成装置は、情報処理に使用されるモデルを作成するモデル作成装置であって、モデルを複数のフェーズを経て作成するに際し、フェーズごとに選択される指標を用いてモデルの性能を評価する。

【発明の効果】

【0009】

本発明によれば、複数のフェーズを経てモデルを作成する際に、フェーズごとに選択される指標を用いてモデルの性能を評価することができる。

【図面の簡単な説明】

【0010】

【図1】モデル作成装置の全体構成図。

【図2】モデル作成装置のハードウェア構成のブロック図。

【図3】シナリオ情報の説明図。

【図4】フェーズ情報の説明図。

【図5】フェーズ遷移情報の説明図。

【図6】指標情報の説明図。

【図7】優先指標選定情報の説明図。

【図8】モデル作成処理のフローチャート。

【図9】対象モデルを選択（取得）する画面の例。

【図10】シナリオを選択する画面の例。

【図11】第１フェーズを選択する画面の例。

【図12】第２フェーズを選択する画面の例。

【図13】第２フェーズで使用される指標を決定する画面の例。

【図14】指標に対する目標値を入力する画面の例。

【図15】性能評価結果を表示する画面の例。

【図16】性能評価結果を表示する画面の他の例。

【図17】モデルを出力する画面の例。

【図18】第２実施例に係り、目標値設定を支援するモデル作成装置の説明図。

【図19】第３実施例に係り、モデルを利用する情報処理システムの全体構成図。

【発明を実施するための形態】

【0011】

以下、実施の形態について、図面を用いて詳細に説明する。ただし、本発明は、以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

【0012】

以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。

【0013】

同一または同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。

【0014】

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。構成要素の識別のための番号は、文脈毎に用いられ、１つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

【0015】

図面等において示す各構成の位置、大きさ、形状、範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲等を表していない場合がある。本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲等に限定されない。本明細書で引用した刊行物、特許および特許出願は、そのまま本明細書の説明の一部を構成する。

【0016】

本実施形態では、完成に向けて複数フェーズを経てモデルを作成する場合に、フェーズごとにモデルを評価するための指標を変更し、フェーズごとの指標に基づいてモデルを評価する。

【0017】

本発明では、フェーズごとに優先すべき指標を変えていくことで、多様な指標に対するユーザの理解と性能に対する要望の明確化とを促進し、ユーザが満足する性能のモデルを迅速に作成する方法を提供する。

【0018】

例えば、リペアリコメンドシステムにおいて、初めのフェーズでは、ユーザからいち早くフィードバックを貰うためにリコメンドする修理部品の粒度一致度を優先したモデルを作成し、次のフェーズにて、修理に掛かる工数削減効果を評価するために正解率と入力回数の少なさを優先したモデルに改良する、といった順に進める。これにより、多様な指標に対するユーザの理解と性能に対する要望の明確化とを促進できる。

【0019】

これに対し、特許文献２で述べた従来技術では、特定の評価指標で継続してモデルを評価するだけであり、フェーズごとに指標を変えることはまったく考慮されていない。

【0020】

以下、適宜図面を参照しながら本発明を実施するための代表的な形態を説明する。本実施の形態では、特許文献１に開示されたリペアリコメンドシステムで使用するベイジアンネットワークをフェーズに基づいて作成する装置について詳細に説明する。

【0021】

実施例の一つを説明する。モデル作成装置１は、モデル作成のフェーズを示すフェーズ情報を管理するフェーズ情報管理部１１１と、フェーズの遷移を表すフェーズ遷移情報を管理するフェーズ情報管理部１１２と、モデルの性能を測るための指標を示す情報を管理する指標情報管理部１１３と、フェーズに基づいて優先すべき指標を選定する優先指標選定情報を管理する優先指標選定情報管理部１１４と、モデルの作成者が指標を改善したいモデルＭを入力するモデル入力部１２０と、作成者がフェーズ情報に基づいて第１フェーズを選択する第１フェーズ選択部１２２と、作成者が選択した第１フェーズとフェーズ遷移情報に基づいて第２フェーズを選択する第２フェーズ選択部１２３と、選択した第２フェーズと優先指標選定情報に基づいて優先すべき指標群を決定する指標決定部１２４と、性能評価部１２７にてモデルの評価に使用する指標を、決定した優先すべき指標群に変更する指標変更部１２５と、作成者が優先すべき指標群に対する目標値を入力する目標値入力部１２６と、モデルの性能を評価する性能評価部１２７と、性能を改善したモデルを作成する改善モデル作成部１２８と、モデルを出力するモデル出力部１２９とを備える。

【0022】

モデル作成装置１は、第１フェーズ選択部１２２が、フェーズ情報に基づいて第１フェーズを選択し、第２フェーズ選択部１２３が、第１フェーズとフェーズ遷移情報に基づいて第２フェーズを選択し、指標決定部１２４が、第２フェーズと優先指標選定情報に基づいて優先すべき指標群を決定し、指標変更部１２５が、優先すべき指標群に基づいて、性能評価部１２７にてモデルの評価に使用する指標を優先すべき指標群に変更し、性能評価部１２７が、優先すべき指標群とモデルと目標値に基づいて優先すべき指標群の評価値を算出し、改善モデル作成部１２８が、評価値とモデルに基づいて改善モデルＭａを生成することで、フェーズごとの優先すべき指標を改善したモデルを生成する。

【0023】

第１フェーズ選択部１２２は、例えば、ユーザからいち早くフィードバックを貰うフェーズと、修理に掛かる工数削減効果を評価するフェーズと、実適用可能なモデルに仕立て上げるフェーズと、実運用で発生した課題を解決するフェーズと、既存機器のモデルと類似機器のモデルにおいて共通利用できるモデルを作成するフェーズと、類似機器に対して特化したモデルを作成するフェーズの中から、第１フェーズを選択してもよい。

【0024】

さらに、指標決定部１２４は、リコメンド結果がユーザの所望する部品の粒度になっているかを表す指標と、リコメンド可能な修理部品の数を表す指標リコメンド結果がどれだけ実際の修理部品と一致しているかの割合を表す指標と、リコメンド結果を出力するまでに掛かる装置の状態の入力回数の少なさを表す指標と、装置の状態の入力順序がベテランが実施する入力順序とどれだけ一致するかを表す指標と、ユーザに提示する質問事項や推薦内容などのテキストが理解しやすいかを表す指標と、選択肢に回答する際の判断基準が明確かを表す指標と、保守手順書等の補足情報の数を表す指標と、リコメンド結果を出力するまでに掛かる処理時間を表す指標と、類似機器のモデルに対して既存製品のモデルの何割を共通利用できるかを表す指標との組み合わせから、優先すべき指標群を決定することもできる。

【0025】

本開示には、以下の観点のモデル作成装置が含まれている。

【0026】

（観点１）記憶装置１１と、前記記憶装置に接続された演算装置１２とを備え、前記記憶装置は、モデル作成のフェーズを示すフェーズ情報Ｄ１１１と、前記フェーズの遷移を表すフェーズ遷移情報Ｄ１１２と、前記モデルの性能を測るための指標を示す指標情報Ｄ１１３と、前記フェーズに応じて前記指標情報の中から選定される指標を示す指標選定情報Ｄ１１４とを記憶しており、前記演算装置は、対象モデルＭを特定する情報を取得し（１２０）、前記フェーズ情報に含まれる少なくとも１つ以上のフェーズの中から第１フェーズを選択し（１２２）、前記選択された第１フェーズと前記フェーズ遷移情報とに基づいて、前記フェーズ情報に含まれる少なくとも１つ以上のフェーズの中から第２フェーズを選択し（１２３）、前記選択された第２フェーズと前記指標選定情報とから、前記第２フェーズに適用される所定の指標を決定し（１２４）、前記所定の指標に基づいて、前記特定された対象モデルの性能を評価する（１２７）、モデル作成装置。

【0027】

（観点２）観点１記載のモデル作成装置であって、前記演算装置１２は、前記選択された第２フェーズと前記指標選定情報とから、前記第２フェーズに適用される前記所定の指標を、前記第２フェーズに対応する前記指標選定情報へ変更し、前記変更された所定の指標に基づいて、前記特定された対象モデルの性能を評価する、モデル作成装置。

【0028】

（観点３）観点１記載のモデル作成装置であって、前記演算装置１２は、さらに、前記所定の指標が設定された目標値（１２６）となるように前記対象モデルＭを改善させた改善モデルＭａを作成する、モデル作成装置。

【0029】

（観点４）観点１～３のいずれか１項に記載のモデル作成装置であって、前記演算装置１２は、さらに、前記改善モデルを出力させる（１２９）、モデル作成装置。

【0030】

（観点５）観点１～４のいずれか１つに記載のモデル作成装置であって、前記フェーズ情報Ｄ１１１は、前記対象モデルについてフィードバックを取得する時間の短縮を目的とするフェーズを含む、モデル作成装置。

【0031】

（観点６）観点１～５のいずれか１つに記載のモデル作成装置であって、前記フェーズ情報Ｄ１１１は、所定装置の修理コストの低減を目的とするフェーズを含む、モデル作成装置。

【0032】

（観点７）観点１～６のいずれか１つに記載のモデル作成装置であって、前記フェーズ情報Ｄ１１１は、前記対象モデルを運用可能な所定レベルに到達させることを目的とするフェーズを含む、モデル作成装置。

【0033】

（観点８）観点１～７のいずれか１つに記載のモデル作成装置であって、前記フェーズ情報Ｄ１１１は、前記対象モデルが運用可能な所定レベルに到達した後で発生した課題を解決することを目的とするフェーズを含む、モデル作成装置。

【0034】

（観点９）観点１～８のいずれか１つに記載のモデル作成装置であって、前記記憶装置１１は、さらにシナリオ情報Ｄ１１０を含んでおり、前記シナリオ情報は、所定の複数のフェーズ情報を含む、モデル作成装置。

【0035】

（観点１０）観点１～９のいずれか１つに記載のモデル作成装置であって、前記第２フェーズに属する前記対象モデルには、前記第２フェーズで決定された所定の指標と、前記第１フェーズで使用された指標とがそれぞれ適用される、モデル作成装置。

【実施例0036】

＜１．概略＞
図１を参照して、モデル作成装置１０を用いて、リペアリコメンドシステム２０で用いるベイジアンネットワークを作成する処理を説明する。本実施例では、情報処理に使用されるモデルＭとして、ベイジアンネットワークを用いるものとするが、これに限らず、例えば、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅや深層学習などの、一般的に用いられる機械学習モデルでもよい。

【0037】

モデルの作成者Ｕ１は、例えば、製品仕様書、保守手順書、ＦＭＥＡ（Ｆａｉｌｕｒｅ Ｍｏｄｅ ａｎｄ Ｅｆｆｅｃｔｓ Ａｎａｌｙｓｉｓ）、ＦＴ（Ｆａｕｌｔ Ｔｒｅｅ）などのアセットに関する設計・保守情報を用いて、初期のベイジアンネットワークを作成する。以降、ベイジアンネットワークをモデルと呼ぶ。

【0038】

図中では、機能ブロックの名称などを簡略化して表示する場合がある。例えば、シナリオ情報管理部は「シナリオ情報」と、フェーズ情報管理部は「フェーズ情報」と、モデル入力部は「モデル入力」と、シナリオ選択部は「シナリオ選択」と、第１フェーズ選択部は「第１フェーズ選択」のように簡略化する。

【0039】

図１に示すモデル利用システム１は、例えば、少なくとも１つの、モデル作成装置１０と、リペアリコメンドシステム２０と、モデル管理端末３０と、ユーザ端末４０を備えており、それら各装置１０，２０，３０，４０は通信ネットワークＣＮにより双方向通信可能に接続されている。これら各装置１０，２０，３０，４０は、後述のようにコンピュータを用いて構成することができる。リペアリコメンドシステム２０は、モデルＭを用いて所定の情報処理を実行するアプリケーションシステムの例である。

【0040】

モデル利用システム１では、モデル管理端末３０がモデル作成装置１０へ適宜情報を与えることにより、性能を評価する指標の異なる複数のフェーズを経て、モデルＭが段階的に作成される。

【0041】

モデル管理端末３０は、モデルを作成するモデル作成者Ｕ１により操作されるコンピュータ端末である。ユーザ端末４０は、モデルを用いたアプリケーションシステム（ここではリペアリコメンドシステム２０）を使用するユーザＵ２により操作されるコンピュータ端末である。モデル作成者Ｕ１を、作成者Ｕ１、管理者Ｕ１または第１ユーザＵ１と呼ぶこともできる。ユーザＵ２は、例えば、モデル使用者Ｕ２または第２ユーザＵ２と呼ぶこともできる。

【0042】

本実施例では、作成者Ｕ１とユーザＵ２とを区別して説明するが、作成者Ｕ１とユーザＵ２とは同一人物であってもよい。また、作成者Ｕ１とユーザＵ２はそれぞれ複数人でもよい。

【0043】

モデル作成装置１０は、管理部１１と、モデル作成装置１２と含む。管理部１１は、「記憶装置」の例である。モデル作成装置１２は「演算装置」の例である。管理部１１には、後述する所定の情報Ｄ１１０～Ｄ１１４が記憶されている。モデル作成部１２は、後述する各機能１２０～１２９を備える。

【0044】

管理部１１は、例えば、シナリオ情報Ｄ１１０を管理するシナリオ情報管理部１１０と、フェーズ情報Ｄ１１１を管理するフェーズ情報管理部１１１と、フェーズ遷移情報Ｄ１１２を管理するフェーズ遷移情報管理部１１２と、指標情報Ｄ１１３を管理する指標情報管理部１１３と、優先指標選定情報Ｄ１１４を管理する優先指標選定情報管理部１１４とを備える。

【0045】

モデル作成部１２は、モデルが入力されるモデル入力部１２０と、シナリオを選択するシナリオ選択部１２１と、第１フェーズが選択される第１フェーズ選択部１２２と、第２フェーズが選択される第２フェーズ選択部１２３と、指標が決定される指標決定部１２４と、性能を評価するための指標を変更する指標変更部１２５と、評価の目標値が入力される目標値入力部１２６と、モデルの性能を評価する性能評価部１２７と、改善されたモデルを作成する改善モデル作成部１２８と、モデルを出力するモデル出力部１２９とを備えている。なお、モデル入力部１２０は、対象モデルＭを取得する「対象モデル取得部」の例である。

【0046】

記憶媒体ＭＭは、コンピュータプログラム（ここではデータが含まれてもよい。）を非一時的に記憶する媒体である。記憶媒体ＭＭは、例えば、フラッシュメモリ、ハードディスク、磁気テープ、光ディスク、光磁気ディスクである。記憶媒体ＭＭは、モデル作成装置１０に有線または無線で接続することができ、モデル作成装置１０との間でコンピュータプログラムを送受信することができる。

【0047】

モデル作成装置１０に格納されたコンピュータプログラム（各機能１２０～１２９を実現させるコンピュータプログラム）を記憶媒体ＭＭへ転送して記憶し、その記憶媒体ＭＭを図示せぬ他のコンピュータに接続し、記憶媒体ＭＭに記憶されたコンピュータプログラムを他のコンピュータへ転送して記憶させることができる。記憶媒体ＭＭに記憶されたコンピュータプログラムをモデル作成装置１０へ転送して記憶させることもできる。さらに、コンピュータプログラムを配信するサーバ（図示せず）とモデル作成装置１０とを通信ネットワークＣＮを介して接続し、サーバからモデル作成装置１０へコンピュータプログラムを送信して記憶させることもできる。

【0048】

モデル作成者Ｕ１は、作成対象または改善対象のモデル情報をモデル作成部１２のモデル入力部１２０へ入力する。シナリオ選択部１２１は、シナリオ情報管理部１１０で管理されるシナリオ情報Ｄ１１０に基づき、モデル作成者Ｕ１に対してシナリオ情報の一覧をモデル管理端末３０の画面に提示させる。作成者Ｕ１は、提示されたシナリオ情報に基づいて、対象モデルに適用するシナリオを１つ選択する。

【0049】

第１フェーズ選択部１２２は、選択されたシナリオとフェーズ情報管理部１１１で管理されるフェーズ情報Ｄ１１１とに基づいて、選択されたシナリオに対応するフェーズ情報をモデル管理端末３０の画面に表示させる。

【0050】

モデル作成者Ｕ１は、端末画面に表示されたフェーズ情報に基づいて、現在のモデル作成のフェーズを１つ選択する。次に、第２フェーズ選択部１２３は、選択された第１フェーズとフェーズ遷移情報管理部１１２で管理されるフェーズ遷移情報Ｄ１１２とに基づいて、次のモデル作成フェーズである第２フェーズを選択する。第２フェーズを「対象フェーズ」と、第１フェーズを「対象フェーズの直前に実施された直前フェーズ」と、それぞれ呼ぶこともできる。

【0051】

指標決定部１２４は、指標情報管理部１１３で管理される指標情報Ｄ１１３と優先指標選定情報管理部１１４で管理される優先指標選定情報Ｄ１１４とに基づいて、優先すべき指標（指標群）を選択する。優先すべき指標とは、対象フェーズにおいて対象モデルの性能を評価するために優先的に使用される１つ以上の指標である。

【0052】

目標値入力部１２６は、作成者Ｕ１に対し、選択された優先すべき指標群に対する目標値の入力を要求する、作成者Ｕ１は、選択された優先すべき指標群に対する目標値を、目標値入力部１２６に入力する。目標値は、作成者Ｕ１の経験に基づいて入力（設定）されてもよい。目標値入力部１２６は、管理部１１で保存されているモデル作成履歴（不図示）などを統計処理することで基準値を算出し、その基準値を目標値として入力することもできる。

【0053】

指標変更部１２５は、性能評価部１２７にてモデルの評価に使用される指標を、優先すべき指標群に変更する。性能評価部１２７は、優先すべき指標群と対象モデルと目標値とに基づいて、優先すべき指標群の評価値を算出する。優先すべき指標群の評価値のうち１つ以上が目標値を下回っている場合、改善モデル作成部１２８が実行される。

【0054】

改善モデル作成部１２８は、目標値に達していない指標に対する改善手法を対象モデルＭに対して実行し、改善モデルＭａを作成する。性能評価部１２７は、改善モデルＭａに対して再び性能を評価する。

【0055】

モデルの改善と再評価とが繰り返されて、優先すべき指標群の評価値が全て目標値を上回ると、モデル出力部１２９が実行される。モデル出力部１２９は、改善モデルＭａをモデル管理端末３０へ送信する。以上の手順により、フェーズごとに優先すべき指標を変更して、改善モデルを作成できる。

【0056】

次に、多様な指標に対するユーザＵ２の理解とユーザＵ２の性能に対する要望とを明確化する方法を説明する。

【0057】

作成者Ｕ１は、リペアリコメンドシステム２０に対象モデルを登録する。作成者Ｕ１は、第２フェーズと当該第２フェーズで優先すべき指標群の内容とを、ユーザＵ２に説明する。作成者Ｕ１は、ユーザＵ２と対面（実際の対面またはオンラインでの対面）で説明することもできるし、電子メールまたはチャットなどのテキスト、電話などで説明することもできる。

【0058】

ユーザＵ２は、リペアリコメンドシステム２０を利用し、優先すべき指標群のうちどの指標をどの程度改善すべきか作成者Ｕ１へ伝える。改善すべき指標がユーザＵ２から伝えられると、作成者Ｕ１は、再びモデル作成装置１０を利用し、改善モデルを作成する。このとき、未だ第２フェーズは完了していないと見なし、前回と同じシナリオと第１フェーズとが選択される。ユーザＵ２から作成者Ｕ１への改善希望点の通知は、対面、テキスト、電話などを用いて行うことができる。

【0059】

ユーザＵ２からの改善希望点がない場合、作成者Ｕ１は、前回の第２フェーズを新たな第１フェーズとして選択し、モデル作成装置１０を利用する。これを全てのフェーズが完了するまで繰り返すことで、多様な指標に対するユーザの理解と性能に対する要望の明確化とを促進し、ユーザが満足する性能のモデルを迅速に作成できる。

【0060】

つまり、本実施例では、複数フェーズを経て作成されるモデルについて、フェーズを変えるたびに優先すべき指標を選択し直して評価することにより、ユーザＵ２の理解を深めながら（ユーザＵ２を教育しながら）、ユーザＵ２の望むモデルを作成する。
＜２．システム構成＞
＜２－１．機能ブロック＞
情報処理に用いるモデルを利用するシステム１の構成を説明する。これらの構成要素は、有線または無線による通信ネットワークＣＮで相互に接続されている。通信ネットワークＣＮは、公衆回線、専用回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等で構成される。なお、図に示す構成要素の数は一例であって、増減してもよい。例えば、分散処理のために、複数のモデル作成装置１０を連携させてもよい。

【0061】

モデル作成装置１０について説明する。上述の通り、モデル作成装置１０は、「記憶装置」としての管理部１１と、「演算装置」としてのモデル作成部１２とを備える。

【0062】

管理部１１は、シナリオ情報管理部１１０と、フェーズ情報管理部１１１と、フェーズ遷移情報管理部１１２と、指標情報管理部１１３と、優先指標選定情報管理部１１４とを備える。

【0063】

モデル作成部１２は、モデル入力部１２０と、シナリオ選択部１２１と、第１フェーズ選択部１２２と、第２フェーズ選択部１２３と、指標決定部１２４と、指標変更部１２５と、目標値入力部１０２６と、性能評価部１２７と、改善モデル作成部１２８と、モデル出力部１２９とを備える。
＜２－２．機能およびハードウェア＞
図２は、モデル作成装置１０のハードウェア構成の一例を示している。図１と図２とを参照して、機能とハードウェアとの対応を説明する。図１は、モデル作成装置１０が備える機能構成の一例を示している。モデル作成装置１０のハードウェアは、例えばサーバコンピュータのようなコンピュータで構成される。

【0064】

図１に示すモデル作成装置１０が備える管理部１１とモデル作成部１２は、図２に示すＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２と、外部記憶装置１０３と、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０４と、マウスまたはキーボード等に代表される外部入力装置１０５と、ディスプレイ等に代表される外部出力装置１０６とを備える。

【0065】

ＣＰＵ１００が、ＲＯＭ１０１または外部記憶装置１０３に格納されたコンピュータプログラムをＲＡＭ１０２に読み込み、通信Ｉ／Ｆ１０４、外部入力装置１０５、外部出力装置１０６を制御することで、各種機能が実現される。

【0066】

本実施形態では、コンピュータにおける計算、制御等の機能は、ＲＯＭ１０１、外部記憶装置１０３等の記憶装置に格納されたコンピュータプログラムがＣＰＵ１００等のプロセッサによって実行されることで、定められた処理を他のハードウェアと協働して実現される。コンピュータ等が実行するプログラム、その機能、またはその機能を実現する手段を、「機能」、「手段」、「部」、「ユニット」、「モジュール」、「モデル」等と呼ぶ場合がある。

【0067】

モデル作成装置１０の全ての構成が単体のコンピュータ上に実現されてもよいし、モデル作成装置１０の任意の構成が他のコンピュータ上で実現されて互いに連携してもよい。ソフトウェアで構成される機能と同等の機能は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の回路（ハードウェア）でも実現できる。さらに、プロセッサは、ＣＰＵに限らず、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などでもよい。

【0068】

モデル作成装置１０を構築するコンピュータは、デスクトップ型コンピュータ、ノート型コンピュータ、ラップトップ型コンピュータ、タブレット型コンピュータ、眼鏡型コンピュータ、ゴーグル型コンピュータ、腕時計型コンピュータ、腕輪型コンピュータであってもよい。ユーザインターフェース装置として、例えば、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）を用いることもできる。
＜２－３．データ構造＞
＜２－３－１．シナリオ情報＞
図３を用いて、シナリオ情報管理部１１０が管理するシナリオ情報Ｄ１１０について説明する。シナリオ情報Ｄ１１０は、どのようにモデルを構築していくかの情報であるシナリオを一覧形式で示す。シナリオ情報Ｄ１１０は、例えば、シナリオ名を示すシナリオ名Ｄ１１０１と、シナリオの説明を示すシナリオ説明Ｄ１１０２とを備える。

【0069】

本実施例では、複数のシナリオを用意している。複数のシナリオとは、例えば、新規機器に対する新しいモデルを作成するシナリオである「新規機種に対するモデル作成」と、既存機器のモデルを再利用して類似機器に対するモデルを作成するシナリオである「類似機器に対するモデル作成」である。これら以外に、試験的なモデルを作成するシナリオ、経験の浅いユーザ向けのモデルを作成するシナリオなどの他のシナリオでもよい。上記項目の一部の項目を備えてもよい。
＜２－３－２．フェーズ情報＞
図４を用いて、フェーズ情報管理部１１１が管理するフェーズ情報Ｄ１１１について説明する。フェーズ情報Ｄ１１１は、シナリオ名ごとに、モデル作成におけるフェーズ一覧を示す。フェーズ情報Ｄ１１１は、例えば、フェーズの名前を示すフェーズ名Ｄ１１１１と、フェーズがどのシナリオに属するか示すシナリオ名Ｄ１１１２と、フェーズの説明を示すフェーズ説明Ｄ１１１３とを備える。

【0070】

本実施例では、シナリオ名からフェーズ名の一覧を選択する。選択されたシナリオ名が「新規機器に対するモデル作成」の場合、ユーザからいち早くフィードバックを貰うフェーズである「立ち上げ」と、修理に掛かる工数削減効果を評価するフェーズである「トライアル」と、実適用可能なモデルに仕立て上げるフェーズである「実適用」と、実運用で発生した課題を解決するフェーズである「保守」が選択される。

【0071】

「立ち上げ」フェーズは、「対象モデルについてフィードバックを取得する時間の短縮を目的とするフェーズ」の例である。「トライアル」フェーズは、「所定装置の修理コストの低減を目的とするフェーズ」の例である。「実適用」フェーズは、「対象モデルを運用可能な所定レベルに到達させることを目的とするフェーズ」の例である。「保守」フェーズは、「対象モデルが運用可能な所定レベルに到達した後で発生した課題を解決することを目的とするフェーズ」の例である。

【0072】

他方、選択されたシナリオ名が「類似機器に対するモデル作成」の場合、既存機器のモデルと類似機器のモデルとの両方に共通利用できるモデルを作成するフェーズである「共通化」と、類似機器に対して特化したモデルを作成するフェーズである「特化」とを選択する。なお、上述した各シナリオでは、上述したフェーズ以外の他のフェーズを備えてもよい。上述したフェーズの一部のフェーズだけを備えたシナリオが存在してもよい。
＜２－３－３．フェーズ遷移情報＞
図５を用いて、フェーズ遷移情報管理部１１２が管理するフェーズ遷移情報Ｄ１１２について説明する。フェーズ遷移情報Ｄ１１２は、フェーズがどのように遷移するかを示す。フェーズ遷移情報Ｄ１１２は、第１フェーズを特定する第１フェーズＤ１１２１と、第２フェーズを特定する第２フェーズＤ１１２２とを備える。

【0073】

本実施例では、第１フェーズから第２フェーズを選択する。なお、第１フェーズと第２フェーズの遷移には、木構造のように、他の階層構造にしてもよい。
＜２－３－４．指標情報＞
図６を用いて、指標情報管理部１１３が管理する指標情報Ｄ１１３を説明する。指標情報Ｄ１１３は、モデルの性能を測定する指標の一覧である。指標情報Ｄ１１３は、指標の名前を示す指標名Ｄ１１３１と、指標の説明を示す指標説明Ｄ１１３２を含む。なお、本実施例では、リペアリコメンドシステム２０のベイジアンネットワークで用いられる指標を例上げて説明するが、例えば、適合率、再現率、Ｆ値などの、機会学習モデルの評価で用いられる他の指標を使用してもよいし、上記項目の一部の項目を備えてもよい。
＜２－３－５．優先指標選定情報＞
図７を用いて、優先指標選定情報管理部１１４が管理する優先指標選定情報Ｄ１１４について説明する。優先指標選定情報Ｄ１１４は、フェーズに基づいてどの指標を優先すべきかを記載する。優先指標選定情報Ｄ１１４は、例えば、指標名一覧Ｄ１１４１と、フェーズ名一覧Ｄ１１４２と、記入欄Ｄ１１４３とを備える。図７では、一か所にのみ符号Ｄ１１４３を付しているが、各四角形の欄が記入欄Ｄ１１４３である。

【0074】

指標名一覧Ｄ１１４１には、指標情報Ｄ１１３の指標名Ｄ１１３１で示された指標の一覧が記載される。フェーズ名一覧Ｄ１１４２には、フェーズ情報Ｄ１１１のフェーズ名Ｄ１１１１で示されたフェーズ一覧が記載される。記入欄Ｄ１１４３には、対応するフェーズごとに指標を優先すべきか否かの印が記載される。図中では、丸印の付された指標が、そのフェーズで選択されることを示す。

【0075】

本実施例では、「立ち上げ」フェーズの場合、ユーザからいち早くフィードバックを貰うために、リペアリコメンドシステム２０のアウトプットである「修理部品の粒度一致度」を優先するとして、印をつける。

【0076】

「トライアル」フェーズの場合、「立ち上げ」フェーズで印の付された指標に加えて、修理に掛かる工数削減効果を評価するために、モデルの効果に関する「正解率」、「入力回数の少なさ」に、優先する指標として印がつけられる。

【0077】

「実適用」フェーズの場合、「トライアル」フェーズで印をつけた指標に加えて、実適用可能なモデルに仕立て上げるために、モデルの適用範囲と使用性に関する「修理部品の種類数」、「記載内容の理解しやすさ」、「処理時間」に対して、優先する指標として印がつけられる。

【0078】

「保守」フェーズの場合、「実適用」フェーズで印をつけたものに加えて、実適用で発生した課題を解決するために、「ベテラン一致度」、「判断基準明確性」、「補足情報の付与数」に印がつけられる。すなわち、「保守」フェーズでは、全ての指標に印がつけられる。「ベテラン一致度」とは、モデルの出力する回答とベテランユーザの回答とが一致する割合である。「判断基準明確性」とは、モデルの判断基準の明確性を示す。「補足情報の付与数」とは、付与される補足情報の数である。

【0079】

「共通化」フェーズの場合、既存機器のモデルと類似機器のモデルとの両方に共通利用できるモデルを作成するために、「共通率」が優先する指標として選択され、印がつけられる。

【0080】

「特化」フェーズの場合、類似機器に対して特化したモデルを作成するために、類似機器に対するモデルの適用範囲に関する「修理部品の一致度」、「修理部品の種類数」が優先する指標であるとして印がつけられる。

【0081】

なお、本実施例では、優先する場合は丸印をつけ、優先しない場合は空欄としているが、丸印以外の他の記号を用いてもよい。記号に代えて、指標の重要度または影響を及ぼす度合いを表す数値を用いてもよい。
＜４．処理フロー＞
図８のフローチャートを用いて、モデル作成装置１０を用いてモデルを作成する処理を説明する。

【0082】

モデル入力部１２０は、作成者Ｕ１から管理端末３０を介してモデル情報を受け付ける（Ｓ１０１）。本実施例では、モデル情報は、特許文献１に開示されたベイジアンネットワークのノード情報および確率分布情報である。ただし、ベイジアンネットワークのモデル情報に限らず、例えば、一般的な機械学習モデルの重み情報でもよいし、エキスパートシステムで用いられるフローチャートなどでもよい。

【0083】

シナリオ選択部１２１は、シナリオ情報Ｄ１１０に基づいて、作成者Ｕ１から管理端末３０を介してシナリオ名を１つ受け付ける（Ｓ１０２）。シナリオ名は、シナリオ情報Ｄ１１０のシナリオ名Ｄ１１０１に含まれる値である。

【0084】

第１フェーズ選択部１２２は、シナリオ名とフェーズ情報Ｄ１１１とに基づいて、作成者Ｕ１から管理端末３０を介して第１フェーズを受け付ける（Ｓ１０３）。第１フェーズは、フェーズ情報Ｄ１１１においてステップＳ１０２で受け付けたシナリオ名に対応するフェーズ名Ｄ１１１１に含まれる値もしくは初回のモデル作成を表す「－」である。例えば、シナリオ名が「新規機器に対するモデル作成」であれば、「－」、「立ち上げ」、「トライアル」、「実適用」、「保守」の中から第１フェーズが選択される。

【0085】

第２フェーズ選択部１２３は、第１フェーズとフェーズ遷移情報Ｄ１１２とに基づいて、第２フェーズを選択する（Ｓ１０４）。例えば、第１フェーズが「立ち上げ」であれば、「トライアル」を第２フェーズとして選択する。

【0086】

指標決定部１２４は、第２フェーズと優先指標選定情報１Ｄ４とに基づいて、優先すべき指標群を決定する（Ｓ１０５）。例えば、第２フェーズが「トライアル」であれば、優先指標選定情報１Ｄ４の「トライアル」列に対応する「修理部品の一致度」、「正解率」、「入力回数の少なさ」が優先すべき指標群として選択される。

【0087】

指標変更部１２５は、性能評価部１２７でモデルの評価に使用する指標群を、ステップＳ１０５で決定された優先すべき指標群に変更する（Ｓ１０６）。

【0088】

目標値入力部１０２６は、作成者Ｕ１から管理端末３０を介して、優先すべき指標群に対する目標値を受け付ける（Ｓ１０７）。例えば、「修理部品の一致度」に対して「０．８」、「正解率」に対して「０．８」、「入力回数の少なさ」に対して「０．５」を受け付ける。

【0089】

性能評価部１２７は、ステップＳ１０６で変更された、優先すべき指標群に基づいてモデルの評価値を算出する（Ｓ１０８）。例えば、指標「修理部品の一致度」に対しては、モデルがリコメンドする部品の粒度と予め設定したユーザの所望する部品の粒度が一致している割合を算出する。指標「正解率」に対しては、予め設定した装置の状態群と修理部品とのペアの集合であるテストデータセット用いて、テストデータセットの装置の状態群に基づいてモデルがリコメンドした修理部品とテストデータセットの修理部品とが一致する割合を算出する。指標「入力回数の少なさ」に対しては、テストデータセットの装置の状態群の一部を入力しなくとも正解率の評価値を維持できる場合において、何割を入力しなくてもよいか最大値を算出する。ここでは、例えば「修理部品の一致度」の評価値は「０．９」、「正解率」の評価値は「０．７」、「入力回数の少なさ」の評価値は「０．４」とする。

【0090】

性能評価部１２７は、優先すべき指標群の目標値と優先すべき指標群の評価値とを比較し、全ての評価値が目標値に達しているか判断する（Ｓ１０９）。

【0091】

優先すべき指標群の評価値のうち１つでも目標値に達していない指標がある場合（Ｓ１０９：ＮＯ）、改善モデル作成部１２８は、目標値を上回っていない指標に対する改善手法を実行し、改善モデルを作成する（Ｓ１１０）。

【0092】

前述の例では、「正解率」の評価値と「入力回数の少なさ」の評価値が目標値に達していないため、これら指標を改善するための性能改善手法が実行される。性能改善手法は、例えば、「正解率」の評価値と「入力回数の少なさ」の評価値とを改善するように、モデルの確率分布をＧｒｉｄＳｅａｒｃｈにより探索し、改善モデルを作成する。性能改善手法は、新しく装置の状態群と修理部品とのペアを集めた訓練データセットを用いてモデルを学習させる手法などでもよい。改善モデルの作成後、ステップＳ１０８へ戻る。

【0093】

全ての優先すべき指標群の評価値が目標値に達すると（Ｓ１０９：ＹＥＳ）、そのモデル（改善モデル）は管理端末３０へ出力される（Ｓ１１１）。作成者Ｕ１は、管理端末３０が受信したモデルを確認し、リペアリコメンドシステム２０に登録する。

【0094】

以上のように、モデル作成装置１０は、フェーズごとに優先すべき指標を変化させながら、各フェーズに適した改善モデルを作成する。作成者Ｕ１は、改善モデルをリペアリコメンドシステム２０に登録して運用を開始させることにより、多様な指標に対するユーザの理解を促進させると共に、性能に対するユーザの要望を明確化させる。

【0095】

作成者Ｕ１は、第２フェーズと優先すべき指標群の内容とをユーザＵ２に説明する。ユーザＵ２は、リペアリコメンドシステム２０を利用し、優先すべき指標群のうちどの指標をどの程度改善すべきか、作成者Ｕ１に伝える。

【0096】

改善すべき指標がある場合、作成者Ｕ１は、再びモデル作成装置１０を利用し、改善モデルを作成する。このとき、まだ第２フェーズは完了していないと見なし、前回と同じシナリオと第１フェーズを選択する。

【0097】

改善すべき指標がない場合、前回の第２フェーズを新たな第１フェーズとして選択し、モデル作成装置１０を利用する。これを全てのフェーズが完了するまで繰り返すことで、モデル作成装置１０は、多様な指標に対するユーザの理解と性能に対するユーザの要望の明確化とを促進し、ユーザが満足する性能のモデルを迅速に作成することができる。
＜５．ユーザインターフェース＞
以下、モデル作成装置１０から外部出力装置１０６に表示させるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の例を説明する。作成者Ｕ１は、モニタディスプレイに表示されるＧＵＩを通じて、モデル作成装置１０との間で情報を交換することができる。

【0098】

図９は、モデル入力部１２０へモデルを入力するために使用されるモデル入力画面Ｇ１の例である。モデル入力画面Ｇ１は、例えば、モデル情報ファイル送信フォームＧＰ１１と、確定ボタンＧＰ１２とを備える。モデル情報ファイル送信フォームＧＰ１１は、モデル情報のファイルを指定する。モデル情報ファイル送信フォームＧＰ１１で指定されるファイルは、例えば、ベイジアンネットワークにおける、故障原因情報と調査項目情報と故障原因と調査項目の因果関係情報と確率分布情報を記載した、ＣＳＶ（Ｃｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅ）形式のファイルである。

【0099】

Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅや深層学習などの、一般的に用いられる機械学習モデルの重みを記載したファイルをフォームＧＰ１１で指定してもよい。作成者Ｕ１は、確定ボタンＧＰ１２を押すことで、フォームＧＰ１１で指定されたモデル情報を、性能評価部１２７および改善モデル作成部１２８へ送信する。

【0100】

図１０は、シナリオ選択部１２１がシナリオを選択するために使用されるシナリオ選択画面Ｇ２の例である。シナリオ選択画面Ｇ２は、例えば、シナリオ名を表示する領域ＧＰ２１と、シナリオの説明を表示する領域ＧＰ２２と、選択ラジオボタンＧＰ２３と、確定ボタンＧＰ２４を備える。

【0101】

シナリオ名を表示する領域ＧＰ２１には、シナリオ情報Ｄ１１０のシナリオ名Ｄ１１０１が表示される。シナリオの説明を表示する領域ＧＰ２２には、シナリオ情報Ｄ１１０のシナリオ説明Ｄ１１０２が表示される。作成者Ｕ１は、選択ラジオボタンＧＰ２３を用いてシナリオを１つ選択する。シナリオを選択した後、作成者Ｕ１は、確定ボタンＧＰ２４を押すことで、選択されたシナリオ名を第１フェーズ選択部１２２へ送信する。

【0102】

図１１は、第１フェーズ選択部１２２により第１フェーズを選択する画面Ｇ３の例である。第１フェーズ選択画面Ｇ３は、例えば、フェーズ名を表示する領域ＧＰ３１と、フェーズの説明を表示する領域ＧＰ３２と、選択ラジオボタンＧＰ３３と、確定ボタンＧＰ３４とを備える。

【0103】

フェーズ名を表示する領域ＧＰ３１は、フェーズ情報Ｄ１１１においてステップＳ１０２で受け付けたシナリオ名に対応するフェーズ名Ｄ１１１１に含まれる値もしくは初回のモデル作成を表す「－」を表示する。

【0104】

フェーズの説明を表示する領域ＧＰ３２は、フェーズ情報Ｄ１１１においてステップＳ１０２で受け付けたシナリオ名に対応するフェーズ説明１Ｄ２０２に含まれる値もしくは初回のモデル作成の説明を表す「既に完了したフェーズが無い場合に選択してください」を表示する。

【0105】

作成者Ｕ１は、第１フェーズを選択ラジオボタンＧＰ３３を用いて選択する。作成者Ｕ１は、確定ボタンＧＰ３４を押すことで、第１フェーズを第２フェーズ選択部１２３へ送信する。

【0106】

図１２は、第２フェーズ選択部１２３が第２フェーズを選択するために使用される画面Ｇ４を説明する。

【0107】

第２フェーズ選択画面Ｇ４は、例えば、第２フェーズであることを表示する領域ＧＰ４１と、フェーズ名を表示する領域ＧＰ４２と、フェーズの説明を表示する領域ＧＰ４２と、選択ラジオボタンＧＰ４３と、確定ボタンＧＰ４４とを備える。

【0108】

第２フェーズ表示領域ＧＰ４１は、フェーズ遷移情報Ｄ１１２と第１フェーズとに基づいて選択された第２フェーズの名前を表示する。フェーズ名を表示する領域ＧＰ４１は、フェーズ遷移情報Ｄ１１２と第１フェーズとに基づいて、第１フェーズから遷移可能なフェーズ名を表示する。フェーズの説明を表示する領域ＧＰ４２は、第１フェーズから遷移可能なフェーズの説明を表示する。選択ラジオボタンＧＰ４３は、第１フェーズから直接遷移可能なフェーズを選択するための選択部である。作成者Ｕ１は、ラジオボタンＧＰ４３を操作することで、選択される第２フェーズを変更できる。作成者Ｕ１は、確定ボタンＧＰ４４を押すことで、選択された第２フェーズを指標決定部１２４へ送信する。

【0109】

図１３は、指標決定部１２４で指標を決定するために使用される画面Ｇ５の例である。指標決定画面Ｇ５は、例えば、第２フェーズであることを表示する領域ＧＰ５１と、指標名を表示する領域ＧＰ５２と、指標の説明を表示する領域ＧＰ５３と、選択チェックボックスＧＰ５４と、確定ボタンＧＰ５５とを備える。

【0110】

第２フェーズであることを表示する領域ＧＰ５１は、第２フェーズ選択部１２３にて選択された第２フェーズを表示する。指標名を表示する領域ＧＰ５２には、指標情報Ｄ１１３の指標名Ｄ１１３１が表示される。指標の説明を表示する領域ＧＰ５３には、指標情報Ｄ１１３の指標説明Ｄ１１３２が表示される。選択チェックボックスＧＰ５４では、ステップＳ１０５で決定された優先すべき指標をチェックしておく。作成者Ｕ１は、選択チェックボックスＧＰ５４のチェック先を変えることで、優先すべき指標を変更できる。作成者Ｕ１は、確定ボタンＧＰ５５を押すことで、優先すべき指標を指標変更部１２５へ送信する。

【0111】

図１４は、目標値入力部１０２６へ目標値を入力するために使用される画面Ｇ６の例である。

【0112】

目標値入力画面Ｇ６は、例えば、優先して適用される指標を表示する領域ＧＰ６と、目標値を入力するボックスＧＰ６２と、確定ボタンＧＰ６３とを備える。優先指標を表示する領域ＧＰ６には、指標変更部１２５から送信された優先すべき指標が表示される。作成者Ｕ１は、目標値入力ボックスＧＰ６２に対して、優先すべき指標ごとの目標値を数値で入力する。作成者Ｕ１は、確定ボタンＧＰ６３を押すことで、優先すべき指標群と目標値を性能評価部１２７へ送信する。

【0113】

図１５，図１６は、性能評価部１２７がモデルの性能を評価する際に使用する画面Ｇ７，Ｇ７Ａの例である。

【0114】

モデルの性能を評価する画面Ｇ７は、ステップＳ１０９にて優先すべき指標群の評価値のうち１つ以上が目標値に達していないと判定された場合に使用される。図１６に示す性能評価画面ＧＰ７は、全ての優先すべき指標群の評価値が目標値に達していると判定された場合に使用される。

【0115】

性能評価画面Ｇ７は、例えば、優先指標を表示する領域ＧＰ７１と、評価値を表示する領域ＧＰ７２と、目標値を表示する領域ＧＰ７３と、指標の改善を促すメッセージを表示する領域ＧＰ７４と、改善モデルの作成を指示するボタンＧＰ７５とを備える。

【0116】

優先指標を表示する領域ＧＰ７１には、指標変更部１２５から送信された優先すべき指標群が表示される。評価値を表示する領域ＧＰ７２には、ステップＳ１０８にて算出された、モデルの評価値が表示される。

【0117】

目標値を表示する領域ＧＰ７３には、指標変更部１２５から送信された優先すべき指標群に対する目標値が表示される。指標の改善を促すメッセージを表示する領域ＧＰ７４には、評価値が目標値に達していない優先すべき指標群に関して、改善モデルを作成することを推薦するメッセージが表示される。作成者Ｕ１は、改善モデル作成ボタンＧＰ７５を押すことで、改善モデル作成部１２８に対してモデルの改善を指示する。

【0118】

図１６に示す性能評価画面１Ｇ７Ａは、優先指標を表示する領域ＧＰ７１と、評価値を表示する領域ＧＰ７２と、目標値を表示する領域ＧＰ７３と、モデルを出力する旨のメッセージを表示する領域ＧＰ７４と、確定ボタンＧＰ７５とを備える。

【0119】

優先指標を表示する領域ＧＰ７１には、指標変更部１２５から送信された優先すべき指標群が表示される。評価値を表示する領域ＧＰ７２には、ステップＳ１０８にて算出されたモデルの評価値が表示される。目標値を表示する領域ＧＰ７３には、指標変更部１２５から送信された優先すべき指標群に対する目標値が表示される。モデルを出力する旨のメッセージを表示する領域ＧＰ７４には、改善モデルの出力を促すメッセージが表示される。作成者Ｕ１は、確定ボタンＧＰ７５を押すことで、モデル出力部１２９からモデル（改善されたモデル）を出力させる。

【0120】

図１７を用いて、モデル出力部１２９のモデル出力画面Ｇ８を説明する。モデル出力画面Ｇ８は、例えば、改善モデルを出力させるボタンＧＰ８１を備える。作成者Ｕ１は、ボタンＧＰ８１を押すことで、モデル作成装置１０から改善モデルを出力させ、その改善モデルを管理端末３０で受信することができる。

【0121】

以上に説明したように、本実施例によれば、フェーズごとに優先すべき指標を改善した改善モデルを作成することができる。本実施例のモデル作成装置１０を利用することで、作成者Ｕ１は、多様な指標に対するユーザの理解と性能に対する要望の明確化とを促進し、ユーザが満足する性能のモデルを迅速に作成できる。作成者Ｕ１は、ユーザＵ２を教育しながら、モデルを段階的に作成することができる。すなわち、作成者Ｕ１は、フェーズごとに、ユーザの成長に合わせてモデルを改善することができる。

【実施例0122】

図１８を用いて第２実施例を説明する。本実施例を含む以下の各実施例では、第１実施例との相違を中心に述べる。本実施例のモデル作成装置１０Ａは、優先すべき指標に対する目標値の設定を支援する目標値設定支援部１３０を備える。

【0123】

図１８の優先指標選定情報Ｄ１１４Ａは、図７で述べた記入欄Ｄ１１４３に変えて、目標値が設定される記入欄Ｄ１１４３Ａを備える。記入欄Ｄ１１４３Ａには、目標値設定支援部１３０により、指標毎に目標値Ｖ１～Ｖ２２が設定される。作成者Ｕ１は、管理端末３０を用いて、記入欄Ｄ１１４３Ａに設定された目標値Ｖ１～Ｖ２２を適宜手動で修正することもできる。

【0124】

目標値設定支援部１３０は、例えば、モデルの作成履歴から算出される目安を目標値Ｖ１～Ｖ２２として設定してもよいし、図示せぬ機械学習モデルにより提案された値を目標値Ｖ１～Ｖ２２として設定してもよい。

【0125】

このように構成される本実施例も第１実施例と同様の作用効果を奏する。さらに本実施例では、優先すべき各指標の目標値の設定を支援できるため、作成者Ｕ１にとっての利便性が向上する。