特開 2022-187739 情報処理システム、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022187739

(43)【公開日】2022-12-20

(54)【発明の名称】情報処理システム、情報処理方法、プログラム

(51)【国際特許分類】

   G06F 3/0481 20220101AFI20221213BHJP

   G06N 20/00 20190101ALI20221213BHJP

【ＦＩ】

G06F3/0481

G06N20/00

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021095900

(22)【出願日】2021-06-08

(71)【出願人】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(71)【出願人】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】中山 正明

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA22

5E555AA26

5E555BA02

5E555BB02

5E555BC04

5E555DA01

5E555DB58

5E555DC18

5E555DC21

5E555DC31

5E555DC35

5E555DC40

5E555DD11

5E555EA11

5E555EA14

5E555EA19

5E555FA00

(57)【要約】      （修正有）

【課題】複数のパラメータから構成される情報をより効率的に確認する情報処理システム、情報処理方法及びプログラムを提供する。
【解決手段】クライアント端末とサーバ装置とがネットワークを介して通信可能に接続された情報処理システムにおいて、クライアント端末１０１及びサーバ装置１０２に適用可能な情報処理装置は、複数のパラメータ項目に係る値から構成されるレコードのリストを表示制御する表示制御手段と、表示制御手段により表示制御されるリストの表示形態を、複数のパラメータ項目毎のユニーク数に応じて制御する制御手段と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数のパラメータ項目に係る値から構成される情報を表示制御する表示制御手段と、
前記表示制御手段により表示制御される情報の表示形態を、前記パラメータ項目ごとのユニーク数に応じて制御する制御手段と、
を備えることを特徴とする情報処理システム。

【請求項2】

前記制御手段は、前記ユニーク数に応じて、前記パラメータ項目の並びを制御することを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記制御手段は、前記ユニーク数が所定数を満たすパラメータ項目が上位に表示されるよう制御することを特徴とする請求項１または２に記載の情報処理システム。

【請求項4】

前記制御手段は、前記ユニーク数に多い順にパラメータ項目を並べて表示されるよう制御することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。

【請求項5】

前記制御手段は、前記パラメータ項目ごとのユニーク数に応じて、パラメータ項目の表示形態を制御することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。

【請求項6】

前記制御手段は、ユニーク数が所定数を満たすパラメータ項目が識別可能に表示されるよう制御することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。

【請求項7】

前記制御手段は、ユニーク数が所定数を満たさないパラメータ項目を表示しないよう制御することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。

【請求項8】

前記制御手段は、前記パラメータ項目にかかるパラメータ値の表示形態を制御することを特徴とする請求項１乃至７のいずれか1項に記載の情報処理システム。

【請求項9】

前記制御手段は、パラメータ値の表示形態をユニーク値毎に異なる表示形態となるよう制御することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。

【請求項10】

前記制御手段は、パラメータ値が数値である場合は、数値の大小関係を識別可能な表示形態となるよう制御することを特徴とする請求項1乃至９のいずれか１項に記載の情報処理システム。

【請求項11】

前記複数のパラメータ項目に係る値から構成される情報は、複数のパラメータ項目から構成されるレコードのリストであることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理システム。

【請求項12】

前記複数のパラメータ項目に係る値から構成される情報は、複数のパラメータ項目に係るパラメータ値の入力を受け付ける画面であることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理システム。

【請求項13】

情報処理システムの表示制御手段が、複数のパラメータ項目に係る値から構成される情報を表示制御する表示制御工程と、
前記情報処理システムの制御手段が、前記表示制御工程により表示制御される情報の表示形態を、前記パラメータ項目ごとのユニーク数に応じて制御する制御工程と、
を備えることを特徴とする情報処理方法。

【請求項14】

コンピュータを、請求項１乃至１２のいずれか１項に記載された各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法、プログラムに関する。

【背景技術】

【0002】

近年、画像に含まれる物体の認識や、需要予測、文章解析など様々な分野において、ディープラーニングにより生成されたＡＩ（人工知能、学習済みモデル）が活用されている。

【0003】

十分な精度のＡＩを開発するには、生成された学習済みモデルと生成に用いられた学習用データや各種パラメータ値（設定値）を対応付けて記録し、どのような学習用データやパラメータ値を用いて学習した場合にどの程度の精度の学習済みモデルが生成されたのかを、あとから確認できるようにすることが重要である。

【0004】

特許文献１には、生成した学習済みモデルのバージョンごとに、当該学習済みモデルに関する各種情報を一覧表示した画面が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１１３３１９号公報

【発明の開示】

【発明が解決しようとする課題】

【0006】

上述の通り、ＡＩ開発においては、学習用データや各種パラメータ値を様々に変えて、試行錯誤を繰り返しながら開発が行われる。

【0007】

そして、パラメータの種類も非常に多くなることから、どのパラメータが精度に影響を与えたのか、影響を与えなかったパラメータはどれなのか、といったことを効率的に把握することが求められる。

【0008】

そこで、本発明は、複数のパラメータから構成される情報をより効率的に確認できる仕組みを提供することを目的とする。

【課題を解決するための手段】

【0009】

複数のパラメータ項目に係る値から構成される情報を表示制御する表示制御手段と、
前記表示制御手段により表示制御される情報の表示形態を、前記パラメータ項目ごとのユニーク数に応じて制御する制御手段と、
を備えることを特徴とする。

【発明の効果】

【0010】

本発明によれば、複数のパラメータから構成される情報をより効率的に確認することが可能となる。

【図面の簡単な説明】

【0011】

【図1】情報処理システムの構成の一例を示す図

【図2】情報処理装置のハードウェア構成の一例を示す図

【図3】学習済みモデルの生成処理の全体像を示すフローチャート

【図4】ステップＳ３０３の学習結果の分析処理の詳細を示すフローチャート

【図5】ステップＳ４０５の処理の詳細を示すフローチャート

【図6】ステップＳ４０４、Ｓ４０５の処理結果を説明する図

【図7】ステップＳ４０６の処理結果を説明する図

【図8】ステップＳ４０４の他の実施例を説明する図

【図9】ステップＳ４０４の他の実施例を説明する図

【発明を実施するための形態】

【0012】

以下、図面を参照して、本発明の実施形態を詳細に説明する。

【0013】

図１は、本発明における情報処理システムの構成の一例を示す図である。

【0014】

図１に示す通り、クライアント端末１０１とサーバ装置１０２とがネットワーク１１０を介して通信可能に接続された形態となっている。

【0015】

クライアント端末１０１はユーザからの操作を受け付け、表示部にサーバ装置１０２等から取得した各種データなどを表示する端末である。サーバ装置１０２は、クライアント端末１０１で受け付けた操作に従い、学習処理などを実行する端末である。

【0016】

なお、図１においては、クライアント端末１０１とサーバ装置１０２の２つの端末のみ図示しているが、たとえば学習用データを記憶する外部記憶装置と通信可能に接続されているなど、他の端末を含めたシステムであってもよい。また、クライアント端末１０１が学習処理などを行い１つの端末で完結するシステムであってもよい。

【0017】

図２は、本発明のクライアント端末１０１、サーバ装置１０２に適用可能な情報処理装置のハードウェア構成の一例を示すブロック図である。

【0018】

図２に示すように、情報処理装置は、システムバス２００を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、記憶装置２０４、ＧＰＵ２１５、入力コントローラ２０５、音声コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。

【0019】

ＣＰＵ２０１、ＧＰＵ２１５は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。

【0020】

ＧＰＵ２１５はデータをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵ２１５で処理を行うことが有効である。そのため、本実施形態のうち学習処理については、ＣＰＵ２０１に加えてＧＰＵ２１５を用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ２０１とＧＰＵ２１５が協働して演算を行うことで学習を行う。なお、学習処理はＣＰＵ２０１またはＧＰＵ２１５のみにより演算が行われても良い。

【0021】

ＲＯＭ２０２あるいは外部メモリ２１３は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

【0022】

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１３からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

【0023】

入力コントローラ２０５は、キーボード２１０や不図示のマウス等のポインティングデバイス等の入力装置からの入力を制御する。入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

【0024】

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

【0025】

ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。

【0026】

なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

【0027】

メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

【0028】

通信Ｉ／Ｆコントローラ２０９は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の４Ｇ回線、５Ｇ回線等を用いた通信が可能である。

【0029】

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１２上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１２上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0030】

次に図３のフローチャートを用いて、本発明が適用される一例となる「学習済みモデルの生成処理」の全体像について説明する。

【0031】

ステップＳ３０１では、クライアント端末１０１を介してユーザから指定を受け付けた学習用データを取得する。また、クライアント端末１０１を介してユーザから受け付けた指示に従い、パラメータの値を設定する。

【0032】

ステップＳ３０２では、ステップＳ３０１で取得した学習用データと設定されたパラメータ値を用いて、学習プログラムを実行することで学習処理を行い、学習済みモデルを生成する。

【0033】

ステップＳ３０３では、ステップＳ３０２で実行した学習処理の結果を分析する。ステップＳ３０３の処理の詳細は、図４のフローチャートを用いて説明する。

【0034】

ステップＳ３０４では、ユーザから学習完了の旨の指示を受け付けた場合は、本フローチャートの処理を終了する（Ｓ３０４：ＹＥＳ）。ユーザが望む精度の学習済みモデルが生成されていない等の理由で、再度学習を行う旨の指示を受け付けた場合（Ｓ３０４：ＮＯ）は、処理をステップＳ３０５に移行し、パラメータ値や学習用データの変更を受け付け、受け付けたパラメータ値や学習用データを用いて再度学習処理（Ｓ３０１～Ｓ３０３）を行う。

【0035】

新たな学習用データやパラメータ値の設定を受け付ける画面においても、ユニーク数の多いパラメータ項目に係る入力欄の表示を制御する。例えば、ユニーク数の多いパラメータ項目に係る入力欄を一か所に集めて表示したり、強調表示（入力欄を太枠にする、入力欄の色を異ならせる、パラメータ項目の文字を太字にしたり赤字にして表示するなど）する。

【0036】

このようにすることで、効率的にパラメータの設定を行うことが可能となる。

【0037】

学習処理に用いられたパラメータ値は、本フローチャートにおける１回目の学習処理については学習ＩＤ：１、２回目の学習処理については学習ＩＤ：２・・・といった形で学習処理ごとに記憶しておき、本フローチャートの開始から終了するまでに行われた学習処理を１つのまとまりとして管理するものとする。

【0038】

次に図４のフローチャートを用いて、ステップＳ３０３の学習結果の分析処理の詳細を説明する。

【0039】

ステップＳ４０１では、ステップＳ３０２の学習処理で用いられたパラメータ値（ステップＳ３０１、Ｓ３０５で設定されたパラメータ）を取得する。この際、直近の学習処理に用いられたパラメータ値だけでなく、過去の学習処理（上記学習ＩＤ：１から直近の学習まで）で用いられたパラメータ値についても取得する。

【0040】

ステップＳ４０２では、パラメータ値の項目であるパラメータ項目についてユニーク数（当該パラメータ項目におけるパラメータ値の種類数）を取得する。

【0041】

例えば、図６の学習データファイルパス６０１については、パラメータ値として「./train.csv」と「./train_added.csv」の２種類のパラメータ値があるため、ユニーク数は「２」となる。

【0042】

ステップＳ４０３では、並び替え対象とするパラメータのユニーク数の閾値を取得する。閾値については、予め設定された値であっても良いし、ステップＳ４０２で取得した各パラメータ項目におけるユニーク数から求まる値であっても良い（例えば、ユニーク数が上位Ｘ位までのパラメータ項目が特定できる値や、ユニーク数の平均値、中央値などがある）。

【0043】

ステップＳ４０４では、ステップＳ４０３で取得した閾値以上のユニーク数を持つパラメータ項目（ユニーク数が所定数を満たすパラメータ項目）をユニーク数が多い順に並び変える。

【0044】

ステップＳ４０５では、各パラメータのユニーク値毎にセルの色を変更する。ステップＳ４０５の処理の詳細は、図５を用いて説明する。

【0045】

図５は、ステップＳ４０５の処理の詳細を説明するフローチャートである。

【0046】

ステップＳ５０１では、パラメータ列（パラメータ項目と、当該パラメータ項目に係るパラメータ値）を１つ取得する。

【0047】

ステップＳ５０２では、ステップＳ５０１で取得したパラメータ値が数値であるかを判定する。

【0048】

数値である場合（Ｓ５０２：ＹＥＳ）は、処理をステップＳ５０３に移行し、数値ではない場合（Ｓ５０２：ＮＯ）は、処理をステップＳ５０５に移行する。

【0049】

ステップＳ５０３では、ステップＳ５０１で取得したパラメータ値の最大値と最小値を取得する。

【0050】

ステップＳ５０４では、ステップＳ５０３で取得した最小値を一番薄い色、最大値を一番濃い色として、値に応じたグラデーションとなるよう各パラメータ値の色を決定し描画する。

【0051】

そして、ステップＳ５０６の処理に移行する。

【0052】

ステップＳ５０５では、ユニーク値毎に異なる色となるよう各パラメータ値の色を決定し描画する。そして、ステップＳ５０６の処理に移行する。

【0053】

ステップＳ５０６では、処理を行っていないパラメータ列が残っているかを判定し、残っている場合（Ｓ５０６：ＹＥＳ）は処理をステップＳ５０７に移行し、残っていない場合（Ｓ５０６：ＮＯ）は、本フローチャートの処理を終了する。

【0054】

ステップＳ５０７では、処理を行っていないパラメータ列を取得し、ステップＳ５０２以降の処理に移行する。

【0055】

図４の説明に戻る。

【0056】

ステップＳ４０６では、所定数を満たすユニーク数をもつパラメータが１画面に収まるよう、列のサイズを調整する。

【0057】

ステップＳ４０７では、ステップＳ４０４～Ｓ４０６の処理を行ったパラメータ一覧表を表示する。

【0058】

なお、本実施例においては、ステップＳ４０４～Ｓ４０６の処理を行ったあとの一覧表を表示するものとして説明したが、当該処理を実行する前の一覧表（例えば図６の（Ａ））を表示して、ユーザからの指示に従いステップＳ４０４、Ｓ４０５、Ｓ４０６の処理を実行するようにしてもよい。この場合、Ｓ４０４、Ｓ４０５、Ｓ４０６のそれぞれの処理を実行する旨の指示を受け付けるボタンやチェックボックスを表示しておき、当該ボタンに対する操作やチェックボックスへのチェック操作が行われたことを１つの条件として、Ｓ４０４～Ｓ４０６の各処理を実行するものとする。

【0059】

次に図６を用いて、ステップＳ４０４の処理について説明する。

【0060】

図６の（Ａ）は、ステップ４０４の処理が実行される前のパラメータ一覧を示す図である。

【0061】

学習データファイルパス６０１、評価データファイルパス６０２、学習率６０３、ネットワーク層数６０４、画像サイズ６０５にかかるパラメータ値から構成されたレコードが、学習ＩＤ：１～５の５つ、リスト形式で表示された例を示している。

【0062】

この図に示す通り、学習データファイルパス６０１のユニーク数は２（「./train.csv」と「./train_added.csv」の２種類）であり、評価データファイルパス６０２のユニーク数は１、学習率６０３のユニーク数は３、ネットワーク層数のユニーク数は２、画像サイズのユニーク数は１となっている。

【0063】

図６の（Ｂ）は、ステップＳ４０４の処理が実行された後の表示例を示す図である。

【0064】

図に示す通り、ユニーク数が最も多い３である学習率６０３が一番左になり、その右にはユニーク数が２である学習データファイルパス６０１、ネットワーク層数６０４が並んでいる。このように、ステップＳ４０４の処理を実行することで、ユニーク数の多い順にパラメータを並び替えられる。

【0065】

このように、ユニーク数に応じてパラメータの並び順を制御する（ユニーク数の多い順に表示する、ユニーク数の多いパラメータを上位に表示する）ことで、レコード同士を比較する際に差異のあるパラメータを効率的に確認することが可能となる。

【0066】

特にパラメータ項目の数が多く、大きくスクロールをしないとすべて表示されないような場合には、ユニーク数の多いパラメータ項目同士を近くに表示することで、ユニーク数の多いパラメータを一目で確認することが可能となるため、効率的に確認することが可能となる。

【0067】

次に図６の（Ｂ）を用いて、ステップＳ４０５の処理について説明する。

【0068】

図６の（Ｂ）に示す通り、学習率の値は数値であり、ユニーク値として「０．１」「０．０１」「０．００１」の３つがある。これらのうち最も大きい値である「０．１」のセルについては、黒色で表示され、最も小さい値である「０．００１」のセルについては白色で表示されている。そして中間の値である「０．０１」のセルについては、薄墨色で表示されている。このように、値の大小関係を色の濃さで識別可能に表示している。

【0069】

なお、本実施例においては、最も大きい値を最も濃い色で表現し、最も小さい値を最も薄い色で表現しているが、反対に最も大きい値を最も薄い色で、最も小さい値を最も濃い色で表現しても良い。このように、数値の大小関係を直感的に把握できるような表現であればいずれでも良い。

【0070】

図６（Ｂ）に示す学習データファイルパスは数値ではなく、ユニーク値は「./train.csv」と「./train_added.csv」の２つである。これらの２つの値をそれぞれ直感的に識別できるように、「./train.csv」のセルについては車線パターンにより塗りつぶして表示され、「./train_added.csv」のセルについては薄墨色により塗りつぶして表示されている。

【0071】

このように、ユニーク値毎に色分けするなど異なる表示形態で表示することで、レコード同士の比較において同じパラメータ値を持つレコードや、異なるパラメータ値を持つレコードを効率的に把握することが可能となる。

【0072】

また、ユニーク数の多いパラメータ項目同士を近くに表示し、ユニーク値毎に表示形態を制御することで、試行していないパラメータ値の組み合わせの有無を効率的に確認できることから、パラメータ値の組み合わせの抜け漏れを低減させることが可能となる。これにより、次の試行におけるパラメータ設定の参考とすることが可能となる。

【0073】

また、不図示であるが、各学習ジョブにより生成された学習済みモデルの精度（品質）を対応させて表示させても良い。これにより、どのようなパラメータ設定であればどの程度の精度になるのかを把握できるため、学習済みモデルの精度に影響を与えたパラメータや影響を与えていないパラメータを把握することができる。これにより、次の試行におけるパラメータ設定の参考とすることが可能となる。

【0074】

特に、ＡＩ開発においては、学習処理は非常時間のかかる処理であるから、むやみにパラメータを変更して網羅的に試行することが困難であることも多い。そのため、どのパラメータを変更すべきかという点や、どのようなパラメータの組み合わせがまだ実行していないのか、といった点を適切に把握し、次の試行に活かすことが必要であるから、本実施例のように学習結果や各種のパラメータ値を一覧表で表示し、効率的に把握できる仕組みが必要である。

【0075】

次に図７を用いてステップＳ４０６の処理について説明する。

【0076】

図７の（Ａ）は、ステップＳ４０６の処理を実行する前の状態を説明するための図である
この図で示す通り、ウィンドウ領域にパラメータ一覧が収まらないため、ユニーク数が所定数を満たすパラメータ項目である「ネットワーク層数」にかかるパラメータ値が表示できていない。

【0077】

これに対して図７の（Ｂ）はステップＳ４０６の処理を実行した後の状態を示す図である。この図で示す通り、各列の幅を調整することで（図７（Ｂ）においては、「学習率」「ネットワーク層数」の列の幅を調整している）、ユニーク数が所定数を満たすパラメータ項目である「評価データファイルパス」「学習率」「学習データファイルパス」「ネットワーク層数」のすべてがウィンドウ領域に表示されている。

【0078】

このような表示を行うことで、スクロールせずに学習結果に影響を与えたと考えられるパラメータを比較・検討・確認をすることができるため、レコード（学習ジョブ）同士の比較を効率的に行うことが可能となる。

【0079】

なお、本実施例においては幅を調整して表示したが、一覧表全体を縮小することで表示してもよい。

【0080】

次に図８を用いて他の実施例について説明する。

【0081】

図８はユニーク数に応じてパラメータ項目の表示形態を異ならせることで、ユニーク数を識別可能にした表示した例である。

【0082】

図８に示す通り、ユニーク数が最も多いパラメータ項目（図８の例では学習率）をもっとも濃い色で表示し、次にユニーク数の多いパラメータ項目である「学習データファイルパス」を「学習率」よりも薄い色で表示し、次にユニーク数の多いパラメータである「ネットワーク層数」をさらに薄い色で表示している。

【0083】

このような表示形態によっても、いずれのパラメータ項目がユニーク数の多いパラメータ項目であるかを効率的に把握することが可能となる。

【0084】

次に図９を用いて他の実施例について説明する。

【0085】

図９は、ユニーク数が所定数を満たすパラメータ項目のみを表示した例である。図９のように、ユニーク数が所定数を満たさないパラメータ項目については、非表示（表示されていないと評価できる程度に幅を狭める表示形態を含む）にすることで、ユニーク数が所定数を満たすパラメータ項目を効率的に把握することを可能としている。

【0086】

上述の通り、ＡＩ開発への適用を前提として説明したが、本発明の適用先はＡＩ開発に限られるものではない。例えば、特許文献などの検索システムに適用可能である。具体的には、特許検索における「明細書」「ＩＰＣ」「請求の範囲」「出願人」などの検索対象項目が、ＡＩ開発の例におけるパラメータ項目に相当し、各検索対象項目のキーワードがＡＩ開発の例におけるパラメータ値に相当するものとして、適用することが可能である。特許検索においては、キーワードを様々に変えながら試行錯誤をして適切な検索式を作成することが行われているため、本発明を適用することで、キーワードをどのように変更したらどのような検索結果となるのか、どの項目のキーワードを変更したのかといった点を効率的に把握することが可能となり、検索業務の効率化を図ることが可能となる。

【0087】

また、画像処理にも適用可能である。画像処理においては、各種のパラメータ項目（明るさ、彩度、ホワイトバランス、コントラスト、シャープネス、フィルター効果、トリミング、解像度変換、ボケ効果など）を適宜変更しながら所望の画像になるよう調整をすることから、本発明を適用することで、どのような設定の場合にどのような画像になるのか、どのような設定を試行したことがあり、どのような設定を試行していないのか、を把握することで、効率的な画像処理が実現できる。

【0088】

このように本発明は、さまざまな項目のデータを変更しながら試行錯誤することが必要な仕組みに対して適用できる技術である。

【0089】

本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

【0090】

また、本発明におけるプログラムは、図３～図５に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図３～図５の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図３～図５の各装置の処理方法ごとのプログラムであってもよい。

【0091】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0092】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0093】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0094】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0095】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0096】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0097】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0098】

１０１ クライアント端末
１０２ サーバ装置
１１０ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】