特許 7559946 モデル生成支援装置、モデル生成支援方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-24

(45)【発行日】2024-10-02

(54)【発明の名称】モデル生成支援装置、モデル生成支援方法及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240925BHJP

【ＦＩ】

G06N20/00

【請求項の数】 13

(21)【出願番号】P 2023528801

(86)(22)【出願日】2021-06-15

(86)【国際出願番号】 JP2021022691

(87)【国際公開番号】W WO2022264262

(87)【国際公開日】2022-12-22

【審査請求日】2023-12-08

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】市原 悦子

(72)【発明者】

【氏名】榮 純明

(72)【発明者】

【氏名】多賀戸 裕樹

(72)【発明者】

【氏名】小梨 貴史

(72)【発明者】

【氏名】西岡 淳

(72)【発明者】

【氏名】小林 佑嗣

(72)【発明者】

【氏名】児玉 純

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０２０－４０８０（ＪＰ，Ａ）

【文献】特開２０１８－１０９９０６（ＪＰ，Ａ）

【文献】特許第５８８５８７５（ＪＰ，Ｂ１）

【文献】米国特許出願公開第２０１７／０２０６４５１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得手段と、
複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定する推定手段と、
前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する出力手段と、
を備えるモデル生成支援装置。

【請求項2】

前記表示データに含まれる複数の前記ノードは、前記試行を行った順に配列される、
請求項１に記載のモデル生成支援装置。

【請求項3】

前記試行情報は、
第１のパラメータ及び前記第１のパラメータとは異なる第２のパラメータを含み、
前記推定手段は、前記第１のパラメータが共通し前記第２のパラメータが変化する複数の試行を、関連する第１の試行群として抽出し、
前記出力手段は、前記第１の試行群を示す複数のノードと当該複数のノード間を接続するリンクとを含む前記表示データを出力する、
請求項１又は２に記載のモデル生成支援装置。

【請求項4】

前記試行情報は、
前記第１のパラメータ及び前記第２のパラメータとは異なる第３のパラメータをさらに含み、
前記推定手段は、前記第２のパラメータ及び前記第３のパラメータが共通し前記第１のパラメータが変化する複数の試行を、関連する第２の試行群として抽出し、
前記第２の試行群のうちの時間的に先頭の試行に対して前記第１のパラメータ及び前記第２のパラメータが共通する、前記第１の試行群における試行を、前記第１の試行群における分岐点として特定し、
前記出力手段は、
前記第２の試行群を示す前記ノード及び前記リンクが、前記第１の試行群を示す複数のノードのうちの前記分岐点の試行を示すノードから分岐して接続された前記表示データを出力する、
請求項３に記載のモデル生成支援装置。

【請求項5】

前記表示データでは、前記第１の試行群及び前記第２の試行群に含まれる複数の試行に対応する複数のノードが、試行を行った順に所定の方向に配置される、
請求項４に記載のモデル生成支援装置。

【請求項6】

前記表示データは、各前記試行において得られる前記ＡＩモデルの性能を示す情報を含む、
請求項１から５のいずれか１項に記載のモデル生成支援装置。

【請求項7】

前記表示データは、各試行で用いたパラメータを含む、
請求項１から６のいずれか１項に記載のモデル生成支援装置。

【請求項8】

前記推定手段は、前記複数の試行のうち、前記関連性を有する前段の試行に比べて前記ＡＩモデルの性能が向上した試行、又は性能が劣化した試行を特定し、
前記出力手段は、前記特定した試行を示すノードと、当該ノードと前記前段の試行を示すノードとを接続するリンクとの一方又は両方を、他のノード又は他のリンクと異なる態様で出力する、
ことを特徴とする請求項１から７のいずれか１項に記載のモデル生成支援装置。

【請求項9】

前記出力手段は、前記特定した試行を示すノードの色調、当該ノードの大きさ、形状、当該リンクの色調、及び当該リンクの太さのうちの少なくともいずれかを、他のノード又は他のリンクと異なる態様で出力する、
ことを特徴とする請求項８に記載のモデル生成支援装置。

【請求項10】

前記表示データは、性能の向上又は劣化の程度に応じた態様のノードを含む、
ことを特徴とする請求項８又は９に記載のモデル生成支援装置。

【請求項11】

前記表示データは、前記特定した試行で得られた前記ＡＩモデルの性能と、前記前段の試行で得られた前記ＡＩモデルの性能との差が所定の閾値以内である場合、前記特定した試行を示すノードと、前記前段の試行を示すノードとを、これらのノードの少なくとも一部を重ねた態様で含む、
ことを特徴とする請求項８から１０のいずれか１項に記載のモデル生成支援装置。

【請求項12】

少なくとも１つのプロセッサが、
ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得し、
複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定し、
前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する、
ことを含むモデル生成支援方法。

【請求項13】

コンピュータに、
ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得処理と、
複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定する推定処理と、
前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する出力処理と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モデル生成支援装置、モデル生成支援方法及びプログラムに関する。

【背景技術】

【0002】

近年、予測モデルに基づいて、さまざまな事象の予測が行われている。例えば、特許文献１には、予測モデルから出力された予測結果と、当該予測モデルの予測ロジックを示す決定論理とを提示する計算機システムが開示されている。

【0003】

また、例えば特許文献２には、分析対象の学習データが非常に少ない段階では、対象の学習データ及び類似する学習データを用いて予測モデルを構築し、対象の学習データが十分に蓄積された段階では、対象の学習データのみを用いて予測モデルを構築する学習モデル選択システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開2020-126510号公報

【文献】国際公開2015/146026号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、より精度のよい予測モデルを構築する過程では、構築条件等を変化させながら予測モデルを構築する処理が繰り返される。このような構築の過程は、他の予測モデルを構築する際に参考にできる場合がある。また、このような構築の過程は、当該予測モデルの性能の良さを示す根拠として提示できる場合がある。しかしながら、特許文献１、２に記載された技術では、どのような経過で予測モデルが構築されたのかがわかりにくく、モデルの生成を支援することが難しいという問題があった。

【0006】

本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、モデルの構築の過程をより理解し易く提示することにより、モデルの生成を支援する技術を提供することである。

【課題を解決するための手段】

【0007】

本発明の一側面に係るモデル生成支援装置は、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得手段と、複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定する推定手段と、前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する出力手段と、を備える。

【0008】

本発明の一側面に係るモデル生成支援方法は、少なくとも１つのプロセッサが、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得し、複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定し、前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する、ことを含む。

【0009】

本発明の一側面に係るプログラムは、コンピュータに、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得処理と、複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定する推定処理と、前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する出力処理と、を実行させる。

【発明の効果】

【0010】

本発明の一態様によれば、モデルの構築の過程をより理解し易く提示することにより、モデルの生成を支援することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の例示的実施形態１に係る情報処理装置の構成を示すブロック図である。

【図2】例示的実施形態１に係る情報処理装置が出力するノード及びリンクの表示要素の一例である。

【図3】例示的実施形態１に係る情報処理方法Ｓ１の流れを示すフローチャートである。

【図4】本発明の例示的実施形態２に係る情報処理システムの構成を示すブロック図である。

【図5】ユーザが実行する１回の試行の処理の流れを示す概念図である。

【図6】例示的実施形態２に係るモデル構築装置に入力される入力データとパラメータデータの一例である。

【図7】データベースに記録されたすべての試行情報表の一部を示す例である。

【図8】例示的実施形態２に係る情報処理装置が取得する試行情報表の一例である。

【図9】例示的実施形態２に係る情報処理装置が試行間の関連性を推定した推定データの一例である。

【図10】例示的実施形態２に係る情報処理装置が生成して出力する表示データの一例である。

【図11】例示的実施形態３に係る情報処理装置が推定した、各試行を示すノードの色濃度を含む色濃度表の一例である。

【図12】例示的実施形態３に係る情報処理装置が推定した、ノードを接続するリンクの太さを含む太さ表の一例である。

【図13】例示的実施形態３に係る情報処理装置が出力した、ノードの色濃度とリンクの太さをロス値に基づいて強調表示した表示データの一例である。

【図14】例示的実施形態３に係る情報処理装置が出力した別の態様の表示データの一例である。

【図15】例示的実施形態３に係る情報処理装置が出力した別の態様の表示データの一例である。

【図16】例示的実施形態３に係る情報処理装置が出力した別の態様の表示データの一例である。

【図17】例示的実施形態３に係る情報処理装置が出力した別の態様の表示データの一例である。

【図18】ソフトウェアによって各部を構成する図である。

【発明を実施するための形態】

【0012】

〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。

【0013】

（情報処理装置の構成）
本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、モデル構築装置がモデルを構築する過程を可視化する装置である。モデル構築装置は、情報処理装置１とは物理的に異なる装置であってもよいし、同一の装置であってもよい。なお、情報処理装置１は、請求の範囲に記載した「モデル生成支援装置」の一形態である。

【0014】

本例示的実施形態におけるモデルは、入力情報に対する推論結果を出力する。モデルが行う推論の内容は限定されないが、例えば、回帰、分類、予測、最適化等を含む。この場合、推論結果とは、回帰結果、分類結果、予測結果、最適結果等を含む。モデルの種類は限定されないが、例えば、背景知識を参照して生成されるルールベースモデルであってもよいし、機械学習アルゴリズムによって生成される機械学習モデルであってもよい。また、機械学習モデルは、回帰分析モデル、サポートベクターマシン、決定木モデル、遺伝的アルゴリズムモデル、ニューラルネットワークモデル等を含む。以降、本実施形態におけるモデルを、「ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデル」ともいう。

【0015】

本例示的実施形態では、ＡＩモデルを生成又は改変する試行を繰り返すことを、「モデルを構築する」と称する。また、このような試行は、ユーザ操作に基づいてモデル構築装置が繰り返すものであってもよいし、ユーザ操作によらずにモデル構築装置が繰り返すものであってもよい。本例示的実施形態では、このような試行は、ユーザ操作に基づいてモデル構築装置が繰り返すものとする。以下、構築する対象のＡＩモデルを、「対象モデル」と称することがある。

【0016】

図１に示すように、情報処理装置１は、取得部１１、推定部１２及び出力部１３を備えている。なお、取得部１１は請求の範囲に記載した「取得手段」の一形態であり、推定部１２は請求の範囲に記載した「推定手段」の一形態であり、出力部１３は請求の範囲に記載した「出力手段」の一形態である。また、情報処理装置１は、少なくとも１つのプロセッサを含み、取得部１１、推定部１２及び出力部１３は、請求の範囲に記載した「少なくとも１つのプロセッサ」によって実現される構成の一形態である。

【0017】

モデル構築装置は、ユーザ操作に基づき、ＡＩモデルを構築するために複数の試行を実行する。取得部１１は、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する。以下では、試行の各々を示す情報の全体、又は個々の情報を「試行情報」とも称する。試行情報には、一例として、当該試行において用いられたパラメータ、評価結果等を示す情報が含まれる。例えば、試行情報は、モデル構築装置によって情報処理装置１の外部にあるデータベースに記録されており、取得部１１は、試行情報をデータベースから取得する。取得部１１は、取得した情報を推定部１２に送信する。あるいは、この試行情報は、情報処理装置１の図示しないメモリに記録されており、取得部１１は、メモリから試行情報を取得してもよい。試行情報の具体例については後述する。

【0018】

推定部１２は、取得部１１から受信した複数の試行それぞれの試行情報の差異に基づいて、複数の試行の間の関連性を推定する。推定部１２は、推定した関連性に関する事項を、出力部１３に送信する。試行情報の差異又は変化と試行の関連性の具体例については後述する。

【0019】

出力部１３は、推定部１２から受信した関連性に関する事項を参照して、複数の試行それぞれを示す複数のノードと、関連性を示すリンクとを含む表示データを出力する。表示データは、出力部１３が生成してもよい。出力部１３は、生成した表示データを、図示しない出力インタフェースを介して表示装置（例えばディスプレイ）に出力する。これにより、表示データが表示装置に表示される。

【0020】

本例示的実施形態におけるノードとは、１つの試行を表す表示要素であり、例えば、矩形、楕円形、菱形等の枠で表示されてもよい。リンクは、試行間の関連性を示す表示要素であり、例えば、ノードとノードとを接続する線分又は矢印で表示されてもよい。

【0021】

図２は、出力部１３が生成するノードＮ及びリンクＲの一例である。図２に示す例では、試行１を表すノードＮ１と試行２を表すノードＮ２とが、矢印であるリンクＲ１によって接続されている。ノードＮ１とノードＮ２とがリンクＲ１によって接続されているということは、試行１と試行２とに関連性があるということである。同様に、ノードＮ２とノードＮ３とがリンクＲ２によって接続され、ノードＮ３とノードＮ４とがリンクＲ３によって接続され、ノードＮ４とノードＮ５とがリンクＲ４によって接続されている。後述するように、表示データは、ノードＮの内部又は近傍に、当該ノードＮに対応する試行情報の少なくとも一部を含んでもよい。また、表示データは、リンクＲの内部又は近傍に、当該リンクＲが示す関連性を有する試行間で変化した試行情報の少なくとも一部を含んでもよい。

【0022】

試行とは、一例として、ユーザ操作により設定又は更新した入力情報を用いて対象モデルを生成する処理と、生成された対象モデルから出力された推論結果を評価する処理とを含む一連の処理である。通常、このような試行は、入力情報の一部又は全部を変化させながら複数回繰り返される。例えば、対象モデルが機械学習モデルである場合は、学習フェーズとしてこのような試行が繰り返し実行される。なお、「対象モデルを生成する」とは、当該対象モデルを初めて生成すること、及び、生成した対象モデルの性能等を調整するために当該対象モデルを改変することを含むものとする。

【0023】

なお、図１では、取得部１１、推定部１２及び出力部１３は、物理的に一体に形成された１つの装置にまとめて配置されているように記載しているが、必ずしもその必要はない。即ち、これらの機能ブロックは物理的に異なる複数の装置に分散して配置され、これらの装置が有線又は無線で互いに情報通信可能に接続されていてもよい。また、これらの機能ブロックのうちの少なくとも一部がクラウド上に配置されていてもよい。

【0024】

また、情報処理装置１は、少なくとも１つのプロセッサを備えており、このプロセッサが、図示しないメモリに記録されたプログラムを読み込んで、取得部１１、推定部１２及び出力部１３として機能する構成を有していてもよい。このような構成については後述する。

【0025】

（情報処理装置１の効果）
以上のように、本例示的実施形態に係る情報処理装置１においては、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得部と、複数の試行それぞれの試行情報の差異に基づいて、複数の試行の間の関連性を推定する推定部と、複数の試行それぞれを示す複数のノードと、関連性を示すリンクとを含む表示データを出力する出力部と、を備える構成が採用されている。このため、本例示的実施形態に係る情報処理装置１によれば、ユーザは、ＡＩモデルの構築の過程を、試行を示すノードとノード間を接続するリンクとによって視認できる。その結果、当該過程をより理解し易く提示することにより、モデルの生成を支援することができる、という効果が得られる。

【0026】

（情報処理方法）
次に、情報処理装置１が実行する、ＡＩモデルを構築する過程を可視化する情報処理方法Ｓ１の流れについて説明する。図３は、情報処理方法Ｓ１の流れを示すフローチャートである。図３に示すように、情報処理方法Ｓ１はステップＳ１１、ステップＳ１２及びステップＳ１３を含む。なお、情報処理方法Ｓ１は、請求の範囲に記載した「モデル生成支援方法」の一形態である。

【0027】

ステップＳ１１において、取得部１１は、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する。ステップＳ１２において、推定部１２は、複数の試行それぞれの試行情報の差異に基づいて、複数の試行の間の関連性を推定する。ステップＳ１３において、出力部１３は、複数の試行それぞれを示す複数のノードと、関連性を示すリンクとを含む表示データを出力する。出力された表示データは、例えば図２に示すように、表示装置に表示される。

【0028】

（情報処理方法Ｓ１の効果）
以上のように、本例示的実施形態に係る情報処理方法Ｓ１においては、情報処理装置１が、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得し、複数の試行それぞれの試行情報の差異に基づいて、複数の試行の間の関連性を推定し、複数の試行それぞれを示す複数のノードと、関連性を示すリンクとを含む表示データを出力する、という構成が採用されている。このため、本例示的実施形態に係る情報処理方法Ｓ１によれば、ユーザは、ＡＩモデルの構築の過程を、試行を示すノードとノード間を接続するリンクとによって視認できる。その結果、当該過程をより理解し易く提示することにより、モデルの生成を支援することができる、という効果が得られる。

【0029】

〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。本例示的実施形態に係る情報処理装置２は、例示的実施形態１で説明した情報処理装置１の機能に加えて、あるいはそれに代えて以下に説明する機能を実行することができる。

【0030】

図４は、例示的実施形態２に係る情報処理システム３の構成を示すブロック図である。図４に示すように、情報処理システム３は、モデル構築装置５０、データベース６０、情報処理装置２及びディスプレイ７０を備えている。モデル構築装置５０は、ユーザが対象モデルＬを生成するために用いる装置である。データベース６０には、モデル構築装置５０が出力した各試行における出力情報が記録される。情報処理装置２は、データベース６０に記録された出力情報を用いて、複数の試行間の関連性を推定し、表示データを生成してディスプレイ７０に出力する。ディスプレイ７０は、表示データを表示する。

【0031】

情報処理装置２は、取得部２１、推定部２２及び出力部２３を備える。取得部２１、推定部２２及び出力部２３の機能は、基本的に例示的実施形態１で説明した取得部１１、推定部１２及び出力部１３と同様であるが、これらと異なる機能については順次説明する。

【0032】

（試行Ｔの処理の流れ）
前述のように、ユーザは、モデル構築装置５０を用いて対象モデルＬを構築する。図５は、ユーザがモデル構築装置５０を用いて行う１回の試行Ｔの処理の流れを示す概念図である。図５に示すように、ある試行において、ユーザは、入力装置（図示せず）を用いて入力情報１００をモデル構築装置５０に入力する。モデル構築装置５０は、対象モデルＬに入力情報１００を入力して推論させ、推論結果を評価する。推論結果を評価するとは、例えばロス値を導出することである。モデル構築装置５０は、入力情報１００と評価結果を示す情報とを含む出力情報２００を生成する。ユーザは、モデル構築装置５０から出力された出力情報２００に基づいて対象モデルＬを改変する。具体的には、ユーザは、対象モデルＬを構成するパラメータを更新する。ユーザは、出力情報２００に基づいて、次の試行で入力する入力情報１００を決定し、モデル構築装置５０に入力する。また、ユーザは、出力情報２００に基づいて、対象モデルＬの種類を変更することを決定し、当該対象モデルＬの種類を示す情報を入力情報１００に含めてもよい。

【0033】

入力情報１００は、一例として、入力データ１０１、パラメータデータ１０２、モデルＩＤ１０３及びタグデータ１０４を含む。入力データ１０１は、対象モデルＬに入力するデータである。入力データ１０１は、例えば、当該入力データ１０１に付与されたラベルを含んでいる。パラメータデータ１０２は、対象モデルＬを構成するパラメータ群に適用される重み係数、ハイパーパラメータ等を含む。モデルＩＤ１０３は、当該試行において生成すべき対象モデルＬを識別するＩＤである。タグデータ１０４は、一連の試行を識別するＩＤである。

【0034】

一例として、図６に示すように、入力データ１０１は、センサ１、センサ２、センサ３、センサ４の出力値の経時データを含む。入力データ１０１の１行はある時点での各センサの出力値であり、これが時間の経過に沿って配列されている。入力データ１０１は、X.cvsという名称のデータファイルに保存されている。このようなデータは、例えば、あるプラント設備のセンサデータであり、センサデータに基づき設備の異常を検出する対象モデルＬを構築する際の入力データの例である。

【0035】

また、パラメータデータ１０２は、一例として、４つのパラメータの名称と値を含む。具体的には、パラメータＡとその値である１０、パラメータＢとその値である０．００５、パラメータＣとその値である１０００、パラメータInput File（つまり入力データ１０１を示すパラメータ）とそのデータファイル名であるX.cvsである。ファイルX.cvsに含まれるデータは、例えば、生データ（各センサからの出力値）をフーリエ変換処理したデータである。換言すると、この例では、入力データ１０１は多数のデータを含むため、そのデータファイル名がパラメータとしてパラメータデータ１０２に含まれる。

【0036】

パラメータＡ～Ｃは、例えば、対象モデルＬを構成するパラメータ群に適用される重み係数（重み）を含んでいてもよいし、ハイパーパラメータを含んでもよい。例えば、対象モデルＬがニューラルネットワークモデルである場合、ハイパーパラメータの一例としては、ニューラルネットワークの総数、ユニット数、活性化関数、ドロップアウト率、最適化関数等が挙げられるが、これらに限られない。

【0037】

モデル構築装置５０は、入力データ１０１の少なくとも一部及びパラメータデータ１０２を対象モデルＬに入力して当該入力データ１０１に付与されたラベルが出力されるよう、対象モデルＬを生成する。例えば、対象モデルＬが機械学習モデルである場合、対象モデルＬを生成する処理は、対象モデルＬを構成するパラメータ群を更新する処理を繰り返す処理である。この場合、モデル構築装置５０は、当該パラメータ群の更新処理を、当該パラメータ群が収束するまで又は設定された回数に達するまで繰り返すことにより、対象モデルＬを生成する。

【0038】

また、モデル構築装置５０は、対象モデルＬに、入力データ１０１の少なくとも一部を入力することにより出力される推論結果を評価する。例えば、モデル構築装置５０は、評価結果として、後述するロス値２０１、異常度２０２等を算出する。

【0039】

図５に戻り、モデル構築装置５０から出力される出力情報２００は、一例として、ロス値２０１、異常度２０２、試行時刻２０３、入力データ１０１、パラメータデータ１０２、モデルＩＤ１０３、及びタグデータ１０４を含む。

【0040】

ロス値２０１又は異常度２０２は、対象モデルＬの性能を示す指標の一例であり、対象モデルＬの種類により、例えばいずれか１つが出力される。ロス値２０１は、入力情報に対して対象モデルＬが出力すべき正解値がある場合に、対象モデルＬの出力値と正解値との誤差を示す誤差関数値である。異常度２０２は、対象モデルＬが入力データ１０１の中の異常なデータを抽出するＡＩモデルである場合に、異常なデータの特定とそれがどの程度正常な値から異なっているかを示す数値である。あるいは、対象モデルＬの種類により、ロス値２０１又は異常度２０２とは異なる指標が出力されてもよい。試行時刻は、試行Ｔを開始した時刻であり、例えば対象モデルＬに入力データを入力した時刻である。

【0041】

入力データ１０１、パラメータデータ１０２、モデルＩＤ１０３、及びタグデータ１０４は、入力情報１００に含まれる情報と同じである。

【0042】

出力情報２００は、データベース６０に送信され、試行情報として記録される。一例として、データベース６０には、対象モデルＬの構築の過程における７回の試行Ｔ１～Ｔ７の出力情報２００が送信され、試行情報として記録されている。なお、データベース６０には、他のＡＩモデルを構築する過程における試行情報が記録されていてもよい。記録された試行情報のうち、対象モデルＬの構築の過程における一連の試行を示す試行情報は、一例として、モデルＩＤ１０３及びタグデータ１０４の一方又は両方により区別することができる。

【0043】

本例示的実施形態に係る情報処理装置２は、モデル構築装置５０を用いて行った試行Ｔ１～Ｔ７における試行情報を取得し、これらの試行の間の関連性を推定する。具体的には、まず、取得部２１は、データベース６０に記録されたすべての試行情報のうち、モデルＩＤ及びタグデータの両方が類似する試行情報を抽出（取得）する。

【0044】

図７は、データベース６０に記録されたすべての試行情報を記録した試行情報表２５０の一部である。試行情報表２５０は、一例として、試行ＩＤ、モデルＩＤ、タグデータ、試行時刻、ロス値、パラメータＡ、パラメータＢ、パラメータＣ、及び入力データファイル名の各欄に記録されたデータで構成される。

【0045】

図７において、試行ＩＤの欄に記録されたＴ１～Ｔ７、Ｓ１、Ｒ３は、それぞれの試行を識別するＩＤである。モデルＩＤの欄に記録された「Ｌ００１」は、対象モデルＬに付されたＩＤである。モデルＩＤは、一連の試行で同じ符号を用いてもよく、試行ごとに一部を変更した符号を用いてもよい。本例示的実施形態では、一連の試行で同じ符号を用いるものとし、以降、モデルＩＤ「Ｌ００１」が付されたＡＩモデルを、モデルＬ００１とも記載する。また、タグデータの欄に記録された「ＴＡＧ００１」は、対象モデルＬ００１を構築する過程における一連の試行Ｔ１～Ｔ７に共通して付されたデータである。また、タグデータの欄に記録された「ＴＡＧ００２」は、対象モデルＬ００１を構築する過程における試行Ｓ１を含む他の一連の試行に共通して付されたデータである。換言すると、図７の例では、同じ対象モデルＬ００１を構築するために、ＴＡＧ００１が付された一連の試行Ｔ１～Ｔ７と、ＴＡＧ００１とは異なるアプローチがなされた一連の試行（試行Ｓ１を含む）とが行われている。また、モデルＩＤの欄にＬ００２と記録され、タグデータの欄にＴＡＧ００３と記録された試行情報は、対象モデルＬ００１とは異なるＡＩモデルＬ００２を構築するために行われた試行Ｒ３を示すものである。

【0046】

図８は、データベース６０に記録されたすべての試行情報から、取得部２１が抽出した試行情報を記録した試行情報表３００の一例である。前述のように、取得部２１は、データベース６０に記録されたすべての試行情報のうち、モデルＩＤ及びタグデータの両方が類似する試行情報を試行情報表３００のように抽出（取得）する。ここで、「モデルＩＤが類似する」とは「モデルＩＤが一致する（同じである）」こととするが、これに限らず、モデルＩＤが所定の類似条件を示すことであってもよい。また、「タグデータが類似する」とは、「タグデータが一致する」こととするが、これに限らず、タグデータが所定の類似条件を示すことであってもよい。類似条件とは、例えば、モデルＩＤ又はタグデータを示すテキストの一部が一致することであってもよい。また、取得部２１は、対象モデルＬの構築の過程における一連の試行として、モデルＩＤ及びタグデータの少なくとも一方が類似する複数の試行を抽出してもよい。

【0047】

本例示的実施形態では、図８に示すように、取得部２１は、モデルＩＤが同じかつタグデータが同じである試行Ｔ１～Ｔ７を抽出している。なお、取得部２１は、モデルＩＤ及びタグデータの少なくとも一方が同じ試行情報を抽出してもよく、モデルＩＤ及びタグデータの少なくとも一方が類似の試行情報を抽出してもよい。

【0048】

図９は、推定部２２が試行間の関連性を推定した推定データ表４００の一例である。具体的には、推定部２２は、複数の試行の時系列において連続する２つの試行間の関連性を推定する。例えば、試行Ｔ１と試行Ｔ２とは、連続する試行である。連続する試行とは、複数の試行を行った順（試行開始時刻の順）に並べた時系列において、隣接する試行である。つまり、推定部２２は、複数の試行から連続する試行Ｔ１と試行Ｔ２とを抽出し、これらの間には、時系列において前段（スタート）の試行Ｔ１で生成された対象モデルＬを改変するために、後段（エンド）の試行Ｔ２が行われた、という関連性があることを推定する。

【0049】

同様に、推定部２２は、連続する試行Ｔ２と試行Ｔ３を抽出し、前段の試行Ｔ２で生成された対象モデルＬを改変するために、後段の試行Ｔ３が行われた、という関連性があることを推定する。このように、推定部２２は、時系列において連続する２つの試行の組み合わせ全てについて抽出してその関連性を推定する。

【0050】

（試行間の関連性の推定の具体例）
推定部２２が実行する、試行間の関連性の推定について、具体例を説明する。一例として、推定部２２は、第１のパラメータが共通し第２のパラメータが変化する複数の試行を、関連する第１の試行群として抽出する。第１のパラメータと第２のパラメータは試行情報の一例である。第２のパラメータは、第１のパラメータとは種類が異なるパラメータである。本例示的実施形態では、前段の試行に対して後段の試行において変更するパラメータの個数が１つであり、それ以外のパラメータは変更しないことを想定している。ただし、変更するパラメータの個数は、２以上であってもよい。

【0051】

具体的には、図８に示す試行情報表３００を参照し、図８の例では、推定部２２は、試行Ｔ１～Ｔ７のうち、パラメータＢが共通するとともにパラメータＡが前段の試行に対して変化している試行Ｔ２、Ｔ３、Ｔ４を抽出する。パラメータＢは、第１のパラメータの一例であり、パラメータＡは第２のパラメータの一例である。そこで、推定部２２は、試行Ｔ１から試行Ｔ４までを第１の試行群として抽出する。そして、抽出した試行Ｔ１から試行Ｔ４までのうち、連続する試行Ｔ１及びＴ２、Ｔ２及びＴ３、Ｔ３及びＴ４の間に、それぞれ上述した関連性があると推定する。

【0052】

また、試行情報は、第１のパラメータ及び第２のパラメータとは異なる第３のパラメータをさらに含み、推定部２２は、第２のパラメータ及び第３のパラメータが共通し第１のパラメータが変化する複数の試行を、関連する第２の試行群として抽出する。

【0053】

具体的には、図８の例で、入力データファイル名を第３のパラメータとすると、試行Ｔ５から試行Ｔ７までは、第２のパラメータ（Ａ）と第３のパラメータ（入力データファイル名）は同じ値である一方、第１のパラメータ（Ｂ）はすべて異なっている。そこで、推定部２２は、試行Ｔ５から試行Ｔ７までを第２の試行群の試行Ｔとして抽出する。そして、抽出した試行Ｔ５から試行Ｔ７のうち、連続する試行Ｔ２及びＴ５、Ｔ５及びＴ６、Ｔ６及びＴ７の間に、それぞれ上述した関連性があると推定する。なお、入力データファイル名が異なるのは、データの前処理方法が異なるためである。本例示的実施形態では、ファイルX.cvsに含まれるデータは、生データ（各センサからの出力値）をフーリエ変換したデータである。一方、ファイルY.cvsに含まれるデータは、生データを極座標変換したデータである。

【0054】

さらに、推定部２２は、第２の試行群のうちの時間的に先頭の試行に対して第１のパラメータ及び第２のパラメータが共通する、第１の試行群における試行を、第１の試行群における分岐点として特定する。

【0055】

具体的には、推定部２２は、第２の試行群の時間的に先頭の試行（試行Ｔ５）における第１のパラメータ（Ｂ）及び第２のパラメータ（Ａ）が共通する第１の試行群における試行Ｔ２を、第１の試行群における分岐点として特定する。さらに、推定部２２は、第２の試行群の先頭である試行Ｔ５と試行Ｔ２とを、分岐したリンクＲ４で関連付ける。以上の処理を行うことにより、推定部２２は、図９に示す推定データ表４００を生成する。

【0056】

図１０は、出力部２３が生成して出力する表示データ５００の一例である。出力部２３は、推定データ表４００を参照して、図１０に示すように、ノードＮ１～Ｎ７とリンクＲ１～Ｒ６を含む表示データを生成する。ノードＮ１～Ｎ７は、試行Ｔ１～Ｔ７を示す表示要素である。リンクＲ１～Ｒ６は、試行Ｔ１～Ｔ７のうち該当する２つの試行Ｔ間の関連性を示す表示要素である。このように図示することで、第２の試行群（ノードＮ５～ノードＮ７）が示す試行Ｔ５～Ｔ７は、分岐点であるノードＮ２が示す試行Ｔ２から別のアプローチでパラメータを変化させて行った一連の試行であることが容易に視認できる。

【0057】

ノードＮ１～Ｎ７は、それぞれ矩形の枠で表されている。また、ノードを特定しない場合はノードＮと記載し、リンクを特定しない場合はリンクＲと記載する。リンクＲは、向きを有し、例えば、矢印で表されている。リンクＲの始点には、対応する関連性を有する２つの試行Ｔのうち、時系列において前段の試行Ｔを示すノードＮが接続される。リンクＲの終点には、対応する関連性を有する２つの試行Ｔのうち、時系列において後段の試行Ｔを示すノードＮが接続される。これにより、ノードＮ１～Ｎ７及びリンクＲ１～Ｒ６は、有向グラフを表す。以下、前段の試行を示すノードを前段ノード、後段の試行を示すノードを後段ノードとも称する。

【0058】

表示データに含まれる複数のノードは、試行を行った順に配列される。つまり、出力部２３は、複数のノードＮを、各試行を行った順に配列した表示データを生成する。具体的には、図１０に示すように、出力部２３は、複数のノードＮを、試行を行った順に図の左から右に向かって配列した表示データ５００を生成して出力する。換言すると、表示データ５００では、時間的に早い試行Ｔを示すノードＮがリンクＲの左側に、時間的に遅い試行Ｔを示すノードＮがリンクＲの右側に配列される。

【0059】

また、出力部２３は、図１０に示すように、第１の試行群を示す複数のノード（Ｎ１～Ｎ４）と当該複数のノード間を接続するリンク（Ｒ１～Ｒ３）とを含む表示データを第１の列として出力する。この際、出力部２３は、試行群に含まれるノードを試行を行った順に配列した表示データを出力する。さらに、出力部２３は、図１０に示すように、第２の試行群を示すノード（Ｎ５～Ｎ７）及びリンク（Ｒ４～Ｒ６）が、第１の試行群を示す複数のノードのうちの分岐点の試行を示すノード（Ｒ２）から分岐して接続された表示データを第２の列として出力する。

【0060】

図１０に示すように、表示データ５００は、途中でリンクＲ２とＲ４とに分岐している。分岐先のそれぞれのノードＮの列は、異なるパラメータが対象モデルＬの性能に与える影響を探索した過程を示している。つまり、ユーザは、対象モデルＬの構築過程を図１０のようなグラフ構造で視認することにより、対象モデルＬの構築の過程を容易に理解することができる。

【0061】

（情報処理装置２の効果）
以上のように、本例示的実施形態に係る情報処理装置２においては、表示データに含まれる複数のノードは、試行を行った順に配列されるという構成が採用されている。このため、本例示的実施形態に係る情報処理装置２によれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、対象モデルＬの構築の経時的な過程が容易に理解できるという効果が得られる。

【0062】

さらに、情報処理装置２においては、推定部２２は、第１のパラメータが共通し第２のパラメータが変化する複数の試行を、関連する第１の試行群として抽出し、出力部２３は、第１の試行群を示す複数のノードと当該複数のノード間を接続するリンクとを含む表示データを出力するという構成が採用されている。さらに、情報処理装置２においては、試行情報として第１のパラメータ及び第２のパラメータとは異なる第３のパラメータをさらに含み、推定部２２は、第２のパラメータ及び第３のパラメータが共通し第１のパラメータが変化する複数の試行を、関連する第２の試行群として抽出し、第２の試行群のうちの時間的に先頭の試行に対して第１のパラメータ及び第２のパラメータが共通する、第１の試行群における試行を、第１の試行群における分岐点として特定し、出力部は、第２の試行群を示すノード及びリンクが、第１の試行群を示す複数のノードのうちの分岐点の試行を示すノードから分岐されて接続された表示データを出力するという構成が採用されている。このため、情報処理装置２によれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、対象モデルＬを改変するために、複数通りに入力情報を異ならせてそれぞれ試行を行ったという経過を容易に理解することができるという効果が得られる。

【0063】

〔例示的実施形態３〕
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。

【0064】

（情報処理装置の構成）
例示的実施形態３に係る情報処理装置４は、例示的実施形態２に係る情報処理装置２を、以下のように変形した態様である。以下では、情報処理装置４の各機能ブロックについて、例示的実施形態２から変形した点について、順次説明する。

【0065】

情報処理装置４の取得部２１は、データベース６０から一連の試行の試行情報を取得する。本例示的実施形態では、一連の試行情報は、例示的実施形態２で説明した試行情報表３００（図８参照）と同じである。従って、推定部２２は、試行情報表３００から、推定データ表４００（図９参照）を生成する。そして出力部２３は、表示データ５００（図１０参照）を生成してディスプレイ７０に出力する。

【0066】

（異なる態様の表示）
本例示的実施形態では、推定部２２は、複数の試行のうち、関連性を有する前段の試行に比べてＡＩモデルの性能が向上した試行、又は性能が劣化した試行を特定する。さらに、出力部２３は、特定した試行を示すノードと、当該ノードと前段の試行を示すノードとを接続するリンクとの一方又は両方を、他のノード又は他のリンクと異なる態様で出力する。異なる態様ということは、例えば、他よりも強調するということである。あるいは、異なる態様ということは、逆に他よりも目立たなくすることでもよい。

【0067】

具体的には、推定部２２は、試行情報表３００のロス値を参照して、推定データ表４００のリンクＲで接続された２つのノードの組み合わせのうち、前段のノードに対してロス値が減少又は増加した後段のノードを特定する。出力部２３は、その後段ノードと、前段ノードと後段ノードを接続するリンクと、の一方又は両方の態様を、他と異ならせた表示データを出力する。

【0068】

ノード又はリンクを他と異ならせた態様とする方法は限定されないが、一例として、出力部２３は、特定した試行を示すノード（後段ノード）の色調、当該ノードの大きさ、形状、当該リンクの色調、及び当該リンクの太さのうちの少なくともいずれかを、他のノード又は他のリンクと異ならせることができる。

【0069】

例えば、ロス値は小さいほうが性能が良いことを示すため、一例として、出力部２３は、ロス値が小さくなった後段ノードと、後段ノードと前段ノードを接続するリンクに対して強調表示を行う。強調表示の方法は限定されないが、例えば、ノードの色調を薄くし、リンクの太さを太くすることにより、強調表示をすることができる。逆に、出力部２３は、あるノードを小さくすることにより、他のノードよりも目立たなくすることができる。本例示的実施形態では、色調とは色の種類又は色の濃度を指す。

【0070】

図１１は、試行情報表３００に各試行を示すノードの色濃度を加えた色濃度表６００の一例である。色濃度表６００の右端の欄は、ノードの色の濃度（％）を示す。試行ＩＤがＴ１で示されるノードＮ１は、試行の最初でロス値が最も大きいため、濃度１００％とする。出力部２３は、これを基準として、各ノードＮの濃度を計算する。

【0071】

色濃度表６００の各ノードＮの濃度Ｃは、以下の式（１）で計算した値である。
Ｃ（％）＝１００×（Loss_T－Loss_min）／（Loss_max－Loss_min）…（１）
ここで、Loss_Tは各ノードＮのロス値、Loss_minは最小ロス値、Loss_maxは最大ロス値である。上記式（１）は、一連の試行のうち、ロス値が最大のノードを１００％の濃度とし、ロス値が最小のノードを０％の濃度とするための計算式である。つまり、性能が良いノードほど色が薄くなるように表示する。なお、ノードの色の濃度を求める方法は上記の方法に限らず任意である。

【0072】

図１２は、ノードＮを接続するリンクＲの太さを示す太さ表７００の一例である。太さ表７００は、推定データ表４００にリンクの太さを加えた表である。太さ表７００のリンクの太さは、前段ノードと後段ノードとのロス値の差に基づいて求めた値である。具体的には、前段ノードのロス値から後段ノードのロス値を差し引き、その差が０．５未満ならリンクの太さを１．０とし、差が０．５以上０．７未満なら太さを２．０とし、差が０．７以上であれば太さを３．０とする。

【0073】

例えば、ノードＮ２からノードＮ５のリンクＲ４は、ロス値の減少量が１．０と大きく減少しているため、太さが３．０である。一方、ノードＮ２とノードＮ３を接続するリンクＲ２、ノードＮ３とノードＮ４を接続するリンクＲ３等はロス値の減少量が小さいため、太さが１．０である。太さの単位は任意であるが、ロス値の減少が大きいほど太さを太くする。なお、リンクの太さを求める方法は上記の方法に限らず任意である。

【0074】

以上の方法で求めたノードの色濃度とリンクの太さが反映された、強調された表示データ８０１を図１３に示す。図１３に示すように、最初のノードＮ１は黒色で塗りつぶされている。しかしロス値が小さくなる（性能が良くなる）ほど、ノードＮの色が薄く表示されている。また、リンクＲの太さは、ロス値の減少量が大きいリンクＲ４は太い矢印で表示されている。この表示データは、ディスプレイ７０に表示される。つまり、ディスプレイ７０上で、リンクの太さが太いルートに従って、色が薄くなるようにノードを辿ることにより、対象モデルＬの性能を高める構築過程を視覚的に理解し易くすることができる。

【0075】

なお、図１３に示すように、出力部２３は、分岐されたノードを含む複数のノードが、試行を行った時刻に対応させて所定の方向に配置された表示データを出力する。言い換えれば、表示データでは、第１の試行群及び第２の試行群に含まれる複数の試行に対応する複数のノードが、試行を行った順に所定の方向に配置される。一例として、表示データにおいて時間的な順序を示す方向をｘ軸とする座標系を定め、第１の列に含まれる第１の試行を示す第１のノードのｘ座標と、第２の列に含まれる第２の試行を示す第２のノードのｘ座標との関係が、第１の試行と第２の試行との時間的な順序関係を表すように、第１のノード及び第２のノードを配置している。つまり、図１３では、左側ほど時間的に早く試行されたノードＮが配置されており、図の右側ほど時間的に後で試行されたノードＮが配置されている。より具体的には、時間軸８０２に示すように、各試行Ｔの試行開始時刻は、ノードＮの矩形の左辺の位置で示されている。例えば、ノードＮ３及びノードＮ５の配置関係により、試行Ｔ２から分岐した一方の列に含まれる試行Ｔ３は、他方の列に含まれる試行Ｔ５より時間的に先行して行われていることが容易に視認できる。このように、複数のノードＮを時間的な前後関係を保って配列することにより、対象モデルＬが構築された過程の時間的な前後関係を視覚的に理解し易くすることができる。なお、時間軸８０２は表示データ８０１に含める必要はない。

【0076】

また、図１３に示すように、表示データは、各試行において得られるＡＩモデルの性能を示す情報を含む。出力部２３は、各試行において得られるＡＩモデルの性能を示す情報を含む表示データを出力する。つまり、表示データ８０１の各ノードＮの矩形の中に、ロス値を表示している。このように、対象モデルＬの性能を示す情報を表示することにより、性能の向上を具体的な数値として確認し易くすることができる。

【0077】

さらに、図１３に示すように、表示データは、各試行で用いたパラメータを含む。出力部２３は、前段の試行で用いたパラメータのうち、少なくとも後段の試行で変更されたパラメータを含む表示データを出力する。例えば、ノードＮ１とノードＮ２を接続するリンクＲ１に対応する下方位置に、パラメータＡが１０から５０に変更されたことを示す情報「Ａ：１０→５０」が表示されている。また、リンクＲ４に対応する下方位置に、入力ファイルがX.csvからY.csvに変更されたことを示す情報「入力ファイル変更 入力ファイル：X.csv→Y.csv」が表示されている。このように、変化させたパラメータを表示することにより、性能の変化がどのパラメータによるものかを視覚的に理解し易くすることができる。

【0078】

また、図１３に示すように、最後のノードＮ７で用いたモデルＩＤ、入力ファイル名、パラメータの値は、ノードＮ７の内側に表示できないため、ノードＮ７の外側にまとめて表示されている。これは、最終的に構築された対象モデルＬの仕様を表すデータである。最終的に構築された対象モデルＬとは、本例示的実施形態では、最も性能値が良い対象モデルＬを指す。従って、必ずしも時間的に最後に試行したＡＩモデルとは限らない。

【0079】

また、最初の試行Ｔ１から最も結果が良くなった試行Ｔ７までの最短ルートのみノードとリンクの色を変更してもよい。例えば、図９に示すリンク情報が得られたとして、最初に試行した試行Ｔ１から最も良かった試行Ｔ７までに通る全てのノード（Ｎ１，Ｎ２，Ｎ５～Ｎ７）とリンク（Ｒ１，Ｒ４～６）の色を変更する。このような強調表示により、類似の実験をする場合にどのパラメータをどの程度変更すればよいか追跡しやすい効果がある。

【0080】

また、表示データは、性能の向上又は劣化の程度に応じた態様のノードを含んでもよい。例えば、性能向上の程度が大きいほど、ノードの色は濃く、大きさを大きくしてもよい。逆に、性能劣化の程度が大きいほど、ノードの色は薄く、大きさを小さくしてもよい。このような強調表示により、性能向上に寄与したノードを見分けることが容易となる。

【0081】

（他の強調表示例）
次に、出力部２３が生成する表示データの強調表示の他の例について、図面を参照して説明する。図１４は、出力部２３が生成した他の態様の表示データ８０３である。表示データ８０３では、出力部２３は、複数のノードを仮想的な三次元空間に配置して表示データに含め、特定した試行を示すノードを、前段の試行を示すノードに対して三次元空間の視点からの距離を異ならせて配置している。具体的には、図１４では、ノードＮ１、Ｎ２、Ｎ３、及びＮ４を、他のノードＮよりも視点から遠い距離にあるように表示している。表示データ８０３は、仮想的な三次元空間に各ノードＮを配置した時に見える様子を模擬した表示データである。

【0082】

具体的には、出力部２３は、対象モデルＬの性能の向上の程度が相対的に大きい試行を示すノードＮは、大きさを大きくかつ色を濃く表示し、対象モデルＬの性能の向上の程度が相対的に小さい試行を示すノードＮは、大きさを相対的に小さくかつ色を薄く表示する。三次元空間では、視点（見る人の眼）に近い位置にあるものは大きく、濃く見え、視点から遠い位置にあるものは小さく、薄く見える。各ノードＮの大きさと濃さは、そのノードＮのロス値の大きさから適宜導出することができる。このように、仮想的な三次元空間に各ノードＮを配置した時に見える様子を模擬することにより、対象モデルＬの性能の向上の過程を視覚的に理解し易くすることができる。

【0083】

図１５は、出力部２３が生成した他の態様の表示データ８０４である。表示データ８０４は、特定した試行で得られたＡＩモデルの性能と、前段の試行で得られたＡＩモデルの性能との差が所定の閾値以内である場合、特定した試行を示すノードと、前段の試行を示すノードとを、これらのノードの少なくとも一部を重ねた態様で含む。出力部２３は、このような表示データ８０４を出力する。

【0084】

例えば、ユーザは、連続するノード間でロス値の差の閾値を０．２と設定する。図１５に示すように、ノードＮ３とノードＮ４とのロス値の差は０．１であるので、ノードＮ３とノードＮ４とを一部重ねて表示している。これにより、重ねて表示されたノードは、性能があまり向上しないノードであると容易に理解することができる。なお、ノードＮ２とノードＮ３とのロス値の差は０であり、閾値よりも小さいが、ノードＮ２は分岐するノードであるため、ノードＮ２とノードＮ３とを重ねる表示はしていない。

【0085】

図１６は、出力部２３が生成した他の態様の表示データ８０５である。表示データ８０５では、連続するノード間でロス値の差が所定の閾値より小さい場合は、その連続するノードの表示を目立たなくしている。具体的には、所定の閾値を０．２として、図１６に示すように、ノードＮ３とノードＮ４とのロス値の差は０．１であるので、ノードＮ３とノードＮ４の大きさを、他のノードよりも小さくするとともに、ロス値とパラメータの変化の情報を省略している。これにより、ノードＮ３とノードＮ４は他のノードに比べて目立たない。従って、これらのノードで示される試行は対象モデルＬの性能の向上に寄与しなかったということ視覚的に容易に理解することができる。なお、ノードＮ２は分岐するノードであるため、ノードＮ２の表示を簡略化することはしていない。

【0086】

図１７は、出力部２３が生成した他の態様の表示データ８０６である。表示データ８０６では、入力データはどのような前処理によって生成されたかの前処理情報を表示している。例えば、ユーザは入力情報１００に、生データの前処理方法を加えておく。これにより、出力情報２００にも前処理方法の情報が加えられる。出力部２３は、この前処理情報を表示データとしてリンクＲに関連させて表示する。

【0087】

より具体的には、表示データ８０６では、生データのノードＲＤが表示され、リンクＲ０でノードＮ１に接続されている。そして、リンクＲ０には、前処理情報の表示枠ＰＴ１が表示され、表示枠ＰＴ１には前処理方法がＦＦＴ（高速フーリエ変換）であることを示す「前処理：ＦＦＴ」が表示されている。さらに、ノードＮ２からノードＮ５へのリンクＲ４には、表示枠ＰＴ２が追加され、表示枠ＰＴ２には、使用した入力データが生データを極座標変換処理をして得られたデータに変更されたことを示す「前処理：ＦＦＴ→極座標」が表示されている。

【0088】

このように、生データを前処理した方法によってロス値が変わる場合、前処理方法を表示データに加えることにより、ロス値の変化が前処理方法の変更の効果であることを視覚的に理解し易くすることができる。

【0089】

（情報処理装置４の効果）
以上のように、本例示的実施形態に係る情報処理装置４においては、推定部２２は、複数の試行のうち、関連性を有する前段の試行に比べてＡＩモデルの性能が向上した試行、又は性能が劣化した試行を特定する。さらに、出力部２３は、特定した試行を示すノードと、当該ノードと前段の試行を示すノードとを接続するリンクとの一方又は両方を、他のノード又は他のリンクと異なる態様で出力する、という構成が採用されている。このため、本例示的実施形態に係る情報処理装置４によれば、例示的実施形態１、２に係る情報処理装置１、２の奏する効果に加えて、異なる態様で表示されたノードとリンクを辿ることにより、対象モデルの性能を高める構築の過程を視覚的に理解し易くすることができる、という効果が得られる。

【0090】

〔変形例〕
なお、上述した例示的実施形態２、３において、入力情報１００は、入力データ１０１、パラメータデータ１０２、モデルＩＤ１０３、及びタグデータ１０４の一部又は全部に替えて、又は加えて、他のデータを含んでいてもよい。また、出力情報２００は、ロス値２０１、異常度２０２、試行時刻２０３、入力データ１０１、パラメータデータ１０２、モデルＩＤ１０３、及びタグデータ１０４の一部又は全部に替えて、又は加えて、他のデータを含んでいてもよい。また、各試行において対象モデルＬの評価結果を示す情報は、ロス値２０１及び異常度２０２の一方又は両方に替えて、又は加えて、他の指標であってもよい。

【0091】

また、上述した例示的実施形態２、３において、第１の列、及び第２の列を抽出して分岐点を特定する手法は、第１のパラメータ、第２のパラメータ、及び、第３のパラメータを参照する手法に限らず、その他の手法であってもよい。

【0092】

また、上述した例示的実施形態２、３において、性能が向上又は劣化した試行を示すノード及び関連するリンクの態様は、上述した態様に限られず、その他の態様であってもよい。

【0093】

〔ソフトウェアによる実現例〕
情報処理装置１，２，４の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。

【0094】

後者の場合、情報処理装置１，２，４は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１８に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１，２，４として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１，２，４の各機能が実現される。

【0095】

プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。

【0096】

なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。

【0097】

また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。

【0098】

〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。

【0099】

〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。

【0100】

（付記１）
ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得手段と、複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定する推定手段と、前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する出力手段と、を備えるモデル生成支援装置。

【0101】

上記の構成によれば、モデルの構築の過程をより理解し易く提示することにより、モデルの生成を支援することができる。

【0102】

（付記２）
前記表示データに含まれる複数の前記ノードは、前記試行を行った順に配列される、ことを特徴とする付記１に記載のモデル生成支援装置。

【0103】

上記の構成によれば、対象モデルの構築の経時的過程を容易に理解することができる。

【0104】

（付記３）
前記試行情報は、第１のパラメータ及び前記第１のパラメータとは異なる第２のパラメータを含み、前記推定手段は、前記第１のパラメータが共通し前記第２のパラメータが変化する複数の試行を、関連する第１の試行群として抽出し、前記出力手段は、前記第１の試行群を示す複数のノードと当該複数のノード間を接続するリンクとを含む前記表示データを出力する、、ことを特徴とする付記１又は２に記載のモデル生成支援装置。

【0105】

上記の構成によれば、対象モデルを改変するために、複数通りに入力情報を異ならせてそれぞれ試行を行ったという経過を容易に理解することができる。

【0106】

（付記４）
前記試行情報は、前記第１のパラメータ及び前記第２のパラメータとは異なる第３のパラメータをさらに含み、前記推定手段は、前記第２のパラメータ及び前記第３のパラメータが共通し前記第１のパラメータが変化する複数の試行を、関連する第２の試行群として抽出し、前記第２の試行群のうちの時間的に先頭の試行に対して前記第１のパラメータ及び前記第２のパラメータが共通する、前記第１の試行群における試行を、前記第１の試行群における分岐点として特定し、前記出力手段は、前記第２の試行群を示す前記ノード及び前記リンクが、前記第１の試行群を示す複数のノードのうちの前記分岐点の試行を示すノードから分岐して接続された前記表示データを出力する、ことを特徴とする付記３に記載のモデル生成支援装置。

【0107】

上記の構成によれば、対象モデルを改変するために、複数通りに入力情報を異ならせてそれぞれ試行を行ったという経過を容易に理解することができる。

【0108】

（付記５）
前記表示データでは、前記第１の試行群及び前記第２の試行群に含まれる複数の試行に対応する複数のノードが、試行を行った順に所定の方向に配置される、ことを特徴とする付記４に記載のモデル生成支援装置。

【0109】

上記の構成によれば、複数のノードを時間的な前後関係を保って配列することにより、対象モデルが構築された過程の時間的な前後関係を視覚的に理解し易くすることができる。

【0110】

（付記６）
前記表示データは、各前記試行において得られる前記ＡＩモデルの性能を示す情報を含む、ことを特徴とする付記１から５のいずれか１つに記載のモデル生成支援装置。

【0111】

上記の構成によれば、対象モデルの性能を示す情報を表示することにより、性能の向上を具体的な数値として確認し易くすることができる。

【0112】

（付記７）
前記表示データは、各試行で用いたパラメータを含む、ことを特徴とする付記１から６のいずれか１つに記載のモデル生成支援装置。

【0113】

上記の構成によれば、変化させたパラメータを表示することにより、性能の変化がどのパラメータによるものかを視覚的に理解し易くすることができる。

【0114】

（付記８）
前記推定手段は、前記複数の試行のうち、前記関連性を有する前段の試行に比べて前記ＡＩモデルの性能が向上した試行、又は性能が劣化した試行を特定し、前記出力手段は、前記特定した試行を示すノードと、当該ノードと前記前段の試行を示すノードとを接続するリンクとの一方又は両方を、他のノード又は他のリンクと異なる態様で出力する、ことを特徴とする付記１から７のいずれか１つに記載のモデル生成支援装置。

【0115】

上記の構成によれば、異なる態様で表示されたノードとリンクを辿ることにより、対象モデルの性能を高める構築過程を視覚的に理解し易くすることができる。

【0116】

（付記９）
前記出力手段は、前記特定した試行を示すノードの色調、当該ノードの大きさ、形状、当該リンクの色調、及び当該リンクの太さのうちの少なくともいずれかを、他のノード又は他のリンクと異なる態様で出力する、ことを特徴とする付記８に記載のモデル生成支援装置。

【0117】

上記の構成によれば、ノード又はリンクの少なくとも一方を、他のそれと異ならせることで、他よりも強調する、あるいは目立たなくすることができる。

【0118】

（付記１０）
前記表示データは、性能の向上又は劣化の程度に応じた態様のノードを含む、、ことを特徴とする付記８又は９に記載のモデル生成支援装置。

【0119】

上記の構成によれば、対象モデルの性能の向上の過程を視覚的に理解し易くすることができる。

【0120】

（付記１１）
前記表示データは、前記特定した試行で得られた前記ＡＩモデルの性能と、前記前段の試行で得られた前記ＡＩモデルの性能との差が所定の閾値以内である場合、前記特定した試行を示すノードと、前記前段の試行を示すノードとを、これらのノードの少なくとも一部を重ねた態様で含む、ことを特徴とする付記８から１０のいずれか１項に記載のモデル生成支援装置。

【0121】

上記の構成によれば、重ねて表示されたノードは、性能があまり向上しないノードであると容易に理解することができる。

【0122】

（付記１２）
少なくとも１つのプロセッサが、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得し、複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定し、前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する、ことを含むモデル生成支援方法。

【0123】

上記の構成によれば、モデルの構築の過程をより理解し易く提示することにより、モデルの生成を支援することができる。

【0124】

（付記１３）
コンピュータに、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得処理と、複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定する推定処理と、前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する出力処理と、を実行させるプログラム。

【0125】

〔付記事項３〕
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。

【0126】

少なくとも１つのプロセッサを備え、前記プロセッサは、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得処理と、複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定する推定処理と、前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する出力処理と、を実行するモデル生成支援装置。

【0127】

なお、このモデル生成支援装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記推定処理と、前記出力処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。

【符号の説明】

【0128】

１，２，４・・・情報処理装置（モデル生成支援装置）
３・・・情報処理システム（モデル生成支援システム）
１１，２１・・・取得部
１２，２２・・・推定部
１３，２３・・・出力部
５０・・・モデル構築装置
６０・・・データベース
７０・・・ディスプレイ
１００・・・入力情報
１０１・・・入力データ
１０２・・・パラメータデータ
２００・・・出力情報
２５０，３００・・・試行情報表
４００・・・推定データ表
５００・・・表示データ
６００・・・色濃度表
７００・・・太さ表
８０１，８０２，８０３，８０４，８０５，８０６・・・表示データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】