特開 2023-79180 情報処理システム、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023079180

(43)【公開日】2023-06-07

(54)【発明の名称】情報処理システム、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20230531BHJP

   G06Q 30/0202 20230101ALI20230531BHJP

【ＦＩ】

G06Q50/10

G06Q30/02 310

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022183471

(22)【出願日】2022-11-16

(62)【分割の表示】P 2022037736の分割

【原出願日】2022-03-11

(31)【優先権主張番号】P 2021192392

(32)【優先日】2021-11-26

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】521456117

【氏名又は名称】株式会社ＤＡＴＡＦＬＵＣＴ

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(72)【発明者】

【氏名】久米村 隼人

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049BB01

5L049CC11

(57)【要約】      （修正有）

【課題】適切な学習器の選択を可能とする情報処理システム、情報処理方法及び情報処理プログラムを提供する。
【解決手段】情報処理システムは、制御部を備える。制御部は、次の各ステップを実行するように構成される。データ受付ステップでは、第１の入力データの入力を受け付ける。学習器特定ステップでは、受け付けた第１の入力データに応じて複数の学習器を特定する。モデル表示ステップでは、第１の入力データに基づき、特定された学習器が生成する学習モデルに関するモデル情報を、学習モデルごとに比較可能な態様で表示させる。
【選択図】図５

【特許請求の範囲】

【請求項1】

情報処理システムであって、
制御部を備え、
前記制御部は、次の各ステップを実行するように構成され、
データ受付ステップでは、第１の入力データの入力を受け付け、
学習器特定ステップでは、受け付けた前記第１の入力データに応じて複数の学習器を特定し、
モデル表示ステップでは、前記第１の入力データに基づき、特定された前記学習器が生成する学習モデルに関するモデル情報を、前記学習モデルごとに比較可能な態様で表示させる、もの。

【請求項2】

請求項１に記載の情報処理システムにおいて、
前記モデル情報は、少なくとも前記学習モデルの予測精度に関する精度情報を含み、
前記モデル表示ステップでは、生成される前記学習モデルごとの前記精度情報を比較可能に表示させる、もの。

【請求項3】

請求項１に記載の情報処理システムにおいて、
さらに、学習器選択受付ステップでは、特定された前記学習器に対する選択をユーザより受け付け、
前記モデル表示ステップでは、特定された前記学習器のうち、前記選択により選択された前記学習器を用いて生成される前記モデル情報を表示させる、もの。

【請求項4】

請求項１に記載の情報処理システムにおいて、
さらに、データ処理ステップでは、入力された前記第１の入力データを、特定された前記学習器に入力可能な態様である第２の入力データに変換する変換処理を実行し、
前記モデル情報は、前記学習器によって前記第２の入力データを用いて生成される前記学習モデルに関する、もの。

【請求項5】

請求項４に記載の情報処理システムにおいて、
さらに、処理表示ステップでは、前記第１の入力データと前記第２の入力データとの差異点を認識可能な態様で表示させる、もの。

【請求項6】

請求項５に記載の情報処理システムにおいて、
さらに、処理条件表示ステップでは、少なくとも入力された前記第１の入力データと、特定された前記学習器と、に基づき、前記変換処理が行われる条件を認識可能な態様で表示させる、もの。

【請求項7】

請求項１に記載の情報処理システムにおいて、
さらに、分析手法選択受付ステップでは、複数の分析手法のうちの前記学習モデルの生成に用いられる少なくとも１つの選択を受け付ける、もの。

【請求項8】

請求項７に記載の情報処理システムにおいて、
前記分析手法は、分類分析、回帰分析、及び時系列分析のうちの少なくとも１つを含む、もの。

【請求項9】

請求項１に記載の情報処理システムにおいて、
前記第１の入力データは、少なくともユーザが保有する保有データを含む、もの。

【請求項10】

請求項１に記載の情報処理システムにおいて、
前記第１の入力データは、少なくとも構造化データを含む、もの。

【請求項11】

情報処理方法であって、
請求項１～請求項１０の何れか１つに記載の情報処理システムの各ステップを含む、もの。

【請求項12】

情報処理プログラムであって、
コンピュータに、請求項１～請求項１０の何れか１つに記載の情報処理システムの各ステップを実行させる、もの。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

従来技術として、学習器に関する下記の文献が挙げられる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１７７４２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

学習器から生成される学習モデルは、同一の入力データを用いたとしても学習器のアルゴリズム等によって異なることがある。そのため、ユーザは、学習モデルを用いた予測精度の向上のために、入力データに応じて学習器を適切に選択する必要がある。しかし、適切な学習器の選択には、データサイエンスに関する知見が比較的高い水準で求められることがある。

【課題を解決するための手段】

【0005】

（１）本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、制御部を備える。制御部は、次の各ステップを実行するように構成される。データ受付ステップでは、第１の入力データの入力を受け付ける。学習器特定ステップでは、受け付けた第１の入力データに応じて複数の学習器を特定する。モデル表示ステップでは、第１の入力データに基づき、特定された学習器が生成する学習モデルに関するモデル情報を、学習モデルごとに比較可能な態様で表示させる。

【0006】

かかる情報処理システムによれば、ユーザに要求されるデータサイエンスに関する知見の水準を、これまでより下げることができる。

【図面の簡単な説明】

【0007】

【図1】情報処理システム１を表す構成図である。

【図2】情報処理装置２のハードウェア構成を示すブロック図である。

【図3】ユーザ端末３のハードウェア構成を示すブロック図である。

【図4】制御部２３が備える機能部の一例を示す。

【図5】情報処理システム１において実行される情報処理の流れの一例を示すアクティビティ図である。

【図6】表示部３４に表示される受付ウィンドウ４の一例である。

【図7】表示部３４に表示されるデータウィンドウ５及び変換処理ウィンドウ６の一例である。

【図8】第２の表示モード６ｂの場合に表示部３４に表示される変換処理ウィンドウ６の一例を示す図である。

【図9】表示部３４に表示されるモデル情報表示ウィンドウ７の一例を示す図である。

【図10】表示部３４に表示されたモデル検索ウィンドウ８及びモデル比較ウィンドウ９の一例である。

【発明を実施するための形態】

【0008】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

【0009】

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

【0010】

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

【0011】

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

【0012】

１．ハードウェア構成
本節では、ハードウェア構成について説明する。

【0013】

<情報処理システム１>
図１は、情報処理システム１を表す構成図である。情報処理システム１は、情報処理装置２と、ユーザ端末３と、データベースＤＢ１と、を備える。情報処理装置２と、ユーザ端末３と、データベースＤＢ１と、は、電気通信回線を通じて通信可能に構成されている。一実施形態において、情報処理システム１とは、１つ又はそれ以上の装置又は構成要素からなるものである。仮に例えば、情報処理装置２のみからなる場合であれば、情報処理システム１は、情報処理装置２となりうる。以下、これらの構成要素について説明する。

【0014】

<情報処理装置２>
図２は、情報処理装置２のハードウェア構成を示すブロック図である。情報処理装置２は、通信部２１と、記憶部２２と、制御部２３とを備え、これらの構成要素が情報処理装置２の内部において通信バス２０を介して電気的に接続されている。各構成要素についてさらに説明する。

【0015】

通信部２１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、ＢＬＵＥＴＯＯＴＨ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、情報処理装置２は、通信部２１及びネットワークを介して、外部から種々の情報を通信してもよい。

【0016】

記憶部２２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部２３によって実行される情報処理装置２に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部２２は、制御部２３によって実行される情報処理装置２に係る種々のプログラムや変数等を記憶している。

【0017】

制御部２３は、情報処理装置２に関連する全体動作の処理・制御を行う。制御部２３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部２３は、記憶部２２に記憶された所定のプログラムを読み出すことによって、情報処理装置２に係る種々の機能を実現する。すなわち、記憶部２２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部２３によって具体的に実現されることで、制御部２３に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部２３は単一であることに限定されず、機能ごとに複数の制御部２３を有するように実施してもよい。またそれらの組合せであってもよい。

【0018】

<ユーザ端末３>
図３は、ユーザ端末３のハードウェア構成を示すブロック図である。ユーザ端末３は、通信部３１と、記憶部３２と、制御部３３と、表示部３４と、入力部３５とを備え、これらの構成要素がユーザ端末３の内部において通信バス３０を介して電気的に接続されている。通信部３１、記憶部３２及び制御部３３の説明は、情報処理装置２における各部の説明と同様のため省略する。

【0019】

表示部３４は、ユーザ端末３筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部３４は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスを、ユーザ端末３の種類に応じて使い分けて実施することが好ましい。

【0020】

入力部３５は、ユーザ端末３の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部３５は、表示部３４と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。すなわち、入力部３５がユーザによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス３０を介して制御部３３に転送され、制御部３３が必要に応じて所定の制御や演算を実行しうる。

【0021】

<データベースＤＢ１>
データベースＤＢ１は、外部データＤ０を記憶する。外部データＤ０は、例えば公衆がアクセス可能なデータであっても、特定のユーザのみがアクセス可能なデータであってもよい。また、外部データＤ０は、本情報処理システム１を使用するユーザのみがアクセス可能なデータであってもよい。データベースＤＢ１は、単一の記憶デバイスにより実現されていても、複数の記憶デバイスにより実現されていてもよい。外部データＤ０が表す内容は、例えば衛生観測結果、気候観測結果、統計資料、カレンダー情報など、任意である。

【0022】

２．機能構成
図４は、制御部２３が備える機能部の一例を示す。図４に示すように、制御部２３は、データ受付部２３１と、学習器特定部２３２と、学習器選択受付部２３３と、分析手法選択受付部２３４と、データ処理部２３５と、モデル表示部２３６と、処理表示部２３７と、処理条件表示部２３８と、を備える。

【0023】

データ受付部２３１は、第１の入力データＤ１の入力を受け付ける。第１の入力データＤ１は、情報処理装置２に入力されるデータである。第１の入力データＤ１は、複数のデータ点を含みうる。第１の入力データＤ１は、データセットということもできる。第１の入力データＤ１は、少なくともユーザが保有する保有データを含む。なお、第１の入力データＤ１は、ユーザ以外が保有するデータ、例えばデータベースＤＢ１に記憶されたデータ、を含んでもよい。第１の入力データＤ１は、少なくとも構造化データを含む。構造化データは、予め定められた構造となるように標準化されたデータである。なお、第１の入力データＤ１は、構造化データ以外のデータ、例えば非構造化データ、又は半構造化データを含んでもよい。非構造化データは、構造化データのように標準化された構造を持たない任意の形式のデータである。半構造化データは、非構造化データと、当該非構造化データを識別可能なタグと、の組み合わせからなる。半構造化データの形式は、例えば、グラフ型、キーバリュー型、ドキュメント型、カラム型などである。なお、入力データ受付部２３１が受け付ける第１の入力データＤ１は１つに限られず、複数であってもよい。

【0024】

学習器特定部２３２は、受け付けた第１の入力データＤ１に応じて複数の学習器ＭＬを特定する。
学習器は、入力されるデータを用いて学習モデルＭ１を生成する。学習モデルＭ１は、少なくとも１つの入力ｘ１に基づいて、少なくとも１つの出力ｙ１を生成する。入力ｘ１は、説明変数とも言われる。また、出力ｙ１は、評価関数とも言われる。

【0025】

学習器選択受付部２３３は、特定された学習器ＭＬに対する選択をユーザより受け付ける。

【0026】

分析手法選択受付部２３４は、複数の分析手法のうちの学習モデルＭ１の生成に用いられる少なくとも１つの選択を受け付ける。分析手法は、任意であるが、例えば分類分析、回帰分析、時系列分析、レコメンド分析、異常検知、クラスタリング、画像解析、及びテキスト解析のうちの少なくとも１つを含む。分析手法としては、教師あり学習、教師なし学習、強化学習など任意のアルゴリズムのものを採用可能である。

【0027】

データ処理部２３５は、変換処理を実行する。変換処理とは、データ受付部２３１に入力された第１の入力データＤ１を、特定された学習器ＭＬに入力可能な態様である第２の入力データＤ２に変換する処理である。変換処理は、例えば、第１の入力データＤ１の一部の削除、欠損値の補完、外れ値の削除、第１の入力データＤ１の規格化など、任意の処理を含みうる。変換処理は、データ整形ともいわれる。
変換処理は、第１の入力データＤ１に含まれる複数の入力ｘ１の結合処理、分離処理、補正などを含んでもよい。例えば、変換処理は、第１の入力データＤ１が時系列を表す年、月、及び日をそれぞれ異なる入力ｘ１として有する場合に、これらの複数の入力ｘ１を１つの入力に結合する処理を含みうる。また、変換処理は、複数の入力データ受付部２３１にて複数の第１の入力データＤ１を受け付けた場合、これらの第１の入力データＤ１の結合処理を行ってもよい。別例として、変換処理は、入力ｘ１の追加処理、特徴量の追加などを含んでもよい。例えば、データ処理部２３５は、第１の入力データＤ１に応じてデータベースＤＢ１から任意の外部データＤ０を取得し、当該外部データＤ０を第１の入力データＤ１に追加してもよい。データ処理部２３５は、追加された外部データＤ０に基づき、特徴量の追加を行ってもよい。
変換処理は、第１の入力データＤ１の内容に基づいて、制御部２３によって自動で実行可能な処理を含む。なお、変換処理は、ユーザによる指定に基づいて実行可能な処理を含んでもよい。また、本実施形態では、変換処理は、第１の入力データＤ１を所定の変換条件と比較することで特定される自動変換処理を含む。変換条件とは、例えば第１の入力データＤ１の容量、第１の入力データＤ１の統計情報の分散値が閾値未満か否か、第１の入力データＤ１の統計情報に基づく外れ値の有無などである。変換条件は、変換処理が行われる必要性を示唆するものでもある。
また、変換処理は、入力データ受付部２３１に入力された第１の入力データＤ１の形式を、特定された学習器ＭＬのそれぞれに適合する形式に変換する処理を含む。第１の入力データＤ１の形式は、例えば、第１の入力データＤ１の名称、文字コード、改行コード、表記言語、区切り文字などを含む。
例えば、特定された学習器ＭＬに入力可能な入力データＤの文字コードがＵＴＦ－８であるにも関わらず、第１の入力データＤ１の文字コードがＳｈｉｆｔ－ＪＩＳの場合、データ処理部２３５は、当該第１の入力データＤ１を、文字コードがＵＴＦ－８に変更された第２の入力データＤ２に変換する変換処理を実行する。
別例として、変換処理は、特定された複数の学習器ＭＬに入力可能な第２の入力データＤ２のそれぞれに対して名称を付与する処理を含みうる。このとき、変換処理は、制御部２３が第２の入力データＤ２を一意に特定可能な名称を、第２の入力データＤ２に付与することが好ましい。これにより、第２の入力データＤ２の管理が容易となる。なお、名称の付与は、第１の入力データＤ１の名称を変更することによって行われてもよい。
別例として、第１の入力データＤ１がＢＯＭ（Ｂｙｔｅ Ｏｒｄｅｒ Ｍａｒｋ）を含む場合、変換処理は、当該ＢＯＭの除去を含んでもよい。これにより、意図しないエラーが抑制しやすくなる。
別例として、変換処理は、第１の入力データＤ１に含まれる入力ｘ１のうち、学習モデルＭ１の生成に用いられないものを除去する処理を含んでもよい。データ処理部２３５は、例えば、入力ｘ１の形式、分布に基づいて、当該入力ｘ１が学習モデルＭ１の生成に用いられるか否かを判定すればよい。これにより、第２の入力データＤ２の容量が軽減されるため、学習モデルＭ１の生成に必要な時間が短縮される。なお、変換処理の特定は、変換処理を行う必要がない場合などには、行う変換処理がないことを特定することを含みうる。
制御部２３は、さらに、特定され、又は選択された分析手法に基づき、変換処理を特定してもよい。例えば、選択された分析手法が時系列分析である場合、制御部２３によって特定される変換処理は、時系列を表す複数の入力ｘ１を１つに結合する変換処理、各データ点の時間間隔が異なる場合、時間間隔を調整するようにデータ点の補完、削除、又は補正を行う変換処理、外部データＤ０としてのカレンダー情報、気象情報、又は人口統計情報を第１の入力データＤ１と結合し、時系列を表す入力ｘ１と関連付ける変換処理などを含む。

【0028】

モデル表示部２３６は、第１の入力データＤ１に基づき、モデル情報ＩＦ１を、学習モデルごとに比較可能な態様で表示部３４に表示させる。詳細には、モデル表示部２３６は、特定された学習器ＭＬのうち、選択により選択された学習器ＭＬを用いて生成されるモデル情報ＩＦ１を表示部３４に表示させる。

【0029】

モデル情報ＩＦ１は、学習モデルＭ１に関する情報である。例えば、モデル情報ＩＦ１は、学習モデルＭ１の生成に用いられた第１の入力データＤ１の名称、容量、学習モデルＭ１が生成された日時などを含みうる。第１の入力データＤ１の名称とは、例えば、第１の入力データＤ１のファイル名である。本実施形態では、モデル情報ＩＦ１は、少なくとも学習モデルＭ１の予測精度に関する精度情報を含む。分析手法が回帰分析の場合、精度情報は、例えば、決定係数（Ｒ２スコア）、平均二乗誤差（ＭＳＥ：Ｍｅａｎｓ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）、平均絶対誤差（ＭＡＥ：Ｍｅａｎｓ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ）、平均二乗偏差（ＲＭＳＥ：Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）、二乗平均平方根誤差（ＲＭＳＥ：Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）、対数平均二乗誤差（ＲＭＬＳＥ：Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅｄ Ｌｏｇａｒｉｔｈｍｉｃ Ｅｒｒｏｒ）、平均絶対パーセント誤差（ＭＡＰＥ：Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｐｅｒｃｅｎｔａｇｅ Ｅｒｒｏｒ）などの指標を含む。分析手法が分類分析の場合、精度情報は、正解率（Ａｃｃｕｒａｃｙ）、再現率（Ｒｅｃａｌｌ）、適合率（Ｐｒｅｃｉｓｉｏｎ）、特異度（Ｓｐｅｃｉｆｉｃｉｔｙ）、Ｆ値（Ｆ－ｍｅａｓｕｒｅ）、重み付きＦ値、マシューズ相関係数（ＭＣＣ：Ｍａｔｔｈｅｗｓ Ｃｏｒｒｅｌａｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）、カッパ係数（Ｋａｐｐａ）、ログ損失（Ｌｏｇｌｏｓｓ）、ＡＵＣ：Ａｒｅａ Ｕｎｄｅｒ ｔｈｅ Ｃｕｒｖｅ、ＰＲ－ＡＵＣ：Ａｒｅａ Ｕｎｄｅｒ ｔｈｅ Ｐｒｅｃｉｓｉｏｎ－Ｒｅｃａｌｌ ｃｕｒｖｅなどの指標を含む。上記精度情報は、二値分類に用いられるものに限られず、２より大きい他クラス分類に用いられるものであってもよい。分析手法が時系列分析の場合、精度情報は、例えば、変動係数（Ｃｏｅｆｆｉｃｉｅｎｔ ｏｆ Ｖａｒｉａｔｉｏｎ）、動的時間伸縮法での平均絶対誤差（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ ＭＡＥ）、ＭＡＰＥ、対称平均絶対パーセント誤差（ＳＭＡＰＥ：Ｓｙｍｍｅｔｒｉｃ ＭＡＰＥ）、加重ＳＭＡＰＥ、平均絶対スケール誤差（ＭＡＳＥ：Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｓｃａｌｅｄ Ｅｒｒｏｒ）、ＭＡＲＲＥ： Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｒａｎｇｅｄ Ｒｅｌａｔｉｖｅ Ｅｒｒｏｒ、Ｏｖｅｒａｌｌ Ｐｅｒｃｅｎｔａｇｅ ｅｒｒｏｒ、Ｒ２、ｒｈｏ－ｒｉｓｋ ＲＭＳＬＥなどの指標を含む。精度情報は、各パラメータの統計値、例えば、ＭＡＥの中央値（ＭＡＥ ｍｅｄｉａｎ）、ＭＡＥの平均値（ＭＡＥ ｍｅａｎ）などを含んでもよい。ある分析手法の指標が、他の分析手法の指標として用いられてもよい。

【0030】

処理表示部２３７は、第１の入力データＤ１と第２の入力データＤ２との差異点を認識可能な態様で、表示部３４に表示させる。例えば、処理表示部２３７は、第１の入力データＤ１と第２の入力データＤ２との差異点５１２を、第１の入力データＤ１と第２の入力データＤ２との共通点５１１と異なる態様で表示させる。例えば、処理表示部２３７は、両者を色彩、形状、模様の少なくとも１つが異なる態様で表示させる。別例として、処理表示部２３７は、矢印等の所定の目印を、第１の入力データＤ１と第２の入力データＤ２の差異点５１２に対応付けて表示させてもよい。

【0031】

処理条件表示部２３８は、少なくとも入力された第１の入力データＤ１と、特定された学習器ＭＬと、に基づき、変換処理が行われる条件を認識可能な態様で表示させる。本実施形態において、変換処理が行われる条件とは、上述した変換条件に相当する。

【0032】

モデル表示部２３６は、第１の入力データＤ１に基づき、特定された学習器ＭＬが生成する学習モデルＭ１に関するモデル情報ＩＦ１を、学習モデルＭ１ごとに比較可能な態様で表示部３４に表示させる。本実施形態のモデル表示部２３６は、少なくとも、生成される学習モデルＭ１ごとの精度情報を比較可能に表示させる。例えば、モデル表示部２３６は、それぞれの学習モデルＭ１に関するモデル情報ＩＦ１を、表示部３４に一覧可能に表示させる。

【0033】

３．情報処理の詳細
本節では、前述した情報処理システム１において実行される情報処理について説明する。なお、当該情報処理は、アクティビティ図に図示されない、任意の例外処理を含みうる。例外処理は、当該情報処理の中断や、各処理の省略を含む。当該情報処理にて行われる選択又は入力は、ユーザによる操作に基づくものでも、ユーザの操作に依らず自動で行われるものでもよい。

【0034】

図５は、情報処理システム１において実行される情報処理の流れの一例を示すアクティビティ図である。図５に示すように、アクティビティＡ００１にて、データ受付部２３１は、第１の入力データＤ１の入力を受け付ける。

【0035】

次にアクティビティＡ００２にて、学習器特定部２３２は、第１の入力データＤ１に応じて複数の学習器ＭＬを特定する。

【0036】

次にアクティビティＡ００３にて、学習器選択受付部２３３は、アクティビティＡ００２にて特定された学習器ＭＬの選択を受け付ける。

【0037】

学習器ＭＬの選択を受け付けた後、処理がアクティビティＡ００４に進み、分析手法選択受付部２３４は、分析手法の選択を受け付ける。分析手法は、予め定められたものでも、特定され、又は選択された学習器ＭＬに応じて特定されるものでもよい。

【0038】

分析手法の選択を受け付けた後、処理がアクティビティＡ００５に進み、制御部２３は、分析手法選択受付部２３４によって選択された学習器ＭＬに応じて、変換処理を特定する。詳細には、制御部２３は、さらに、特定され、又は選択された分析手法に基づき、変換処理を特定する。例えば、アクティビティＡ００４にて選択された分析手法が時系列分析である場合、制御部２３によって特定される変換処理は、時系列を表す複数の入力ｘ１を１つに結合する変換処理、各データ点の時間間隔が異なる場合、時間間隔を調整するようにデータ点の補完、削除、又は補正を行う変換処理、外部データＤ０としてのカレンダー情報、気象情報、又は人口統計情報を第１の入力データＤ１と結合し、時系列を表す入力ｘ１と関連付ける変換処理などを含む。
なお、変換処理の特定は、変換処理を行う必要がない場合などには、行う変換処理がないことを特定することを含みうる。

【0039】

制御部２３は、当該変換処理が行われる条件、すなわち変換条件を特定してもよい。例えば、制御部２３は、少なくとも第１の入力データＤ１と、アクティビティＡ００２で特定され、又はアクティビティＡ００５で選択された学習器ＭＬと、に基づいて、変換条件を特定してもよい。例えば、制御部２３は、第１の入力データＤ１を示す統計情報に基づき、変換条件を特定する。第１の入力データＤ１に関する統計情報とは、例えばデータ点の分布、平均値、分散、標準偏差、最大値、最小値、中央値、最頻値、再尤度、共分散、相関係数、Ｒ２値などを含む。変換処理が外れ値の除去の場合、制御部２３は、あるデータ点と平均値との差分の絶対値が標準偏差の２倍以上である場合、当該データ点を外れ値と判断する。この場合、あるデータ点と平均値との差分の絶対値が標準偏差の２倍以上であることが、変換条件に相当する。

【0040】

次に処理がアクティビティＡ００６に進み、制御部２３は、アクティビティＡ００５にて特定された変換処理の選択を受け付ける。

【0041】

次に処理がアクティビティＡ００７に進み、処理表示部２３７は、アクティビティＡ００６にて特定された変換処理に関する情報を表示部３４に表示させる。変換処理に関する情報とは、例えば、変換処理の具体的内容、変換処理による第１の入力データＤ１の変化、変換処理によって生成される第２の入力データＤ２などである。例えば、処理表示部２３７は、特定された変換処理に基づき、第１の入力データＤ１と第２の入力データＤ２との差異点を、ユーザが認識可能な態様で表示部３４に表示させる。これにより、ユーザは、第１の入力データＤ１に対して行われる変換処理の内容を直感的に認識しやすくなる。なお、この段階では第２の入力データＤ２は、実際に生成されている必要はなく、例えば第１の入力データＤ１と変換処理とに基づいて生成されることが予想されるものでもよい。

【0042】

アクティビティＡ００７では、さらに処理条件表示部２３８が、変換処理が行われる条件を認識可能な態様で表示部３４に表示させてもよい。これにより、変換処理のブラックボックス化が抑制される。

【0043】

次に処理がアクティビティＡ００８に進み、制御部２３は、第１の入力データＤ１に対して、アクティビティＡ００６にて選択された変換処理を実行する。これにより、第２の入力データＤ２が生成される。

【0044】

次に処理がアクティビティＡ００９に進み、制御部２３は、第２の入力データＤ２を、アクティビティＡ００３にて選択された学習器ＭＬのそれぞれに入力する。このとき、制御部２３は、選択された分析手法に基づき、学習器ＭＬでの学習アルゴリズムを指定してもよい。これにより、学習器ＭＬのそれぞれは、第１の入力データＤ１に基づいて学習モデルＭ１を生成する。詳細には、学習器ＭＬは、第２の入力データＤ２を用いて学習モデルＭ１を生成する。なお、学習器ＭＬは、情報処理システム１に含まれる任意の部材に保存されているものでも、情報処理システム１と電気通信回線を介して通信可能な外部装置に保存されているものでもよい。なお、外部装置の図示は省略されている。

【0045】

次に処理がアクティビティＡ０１０に進み、制御部２３は、学習器ＭＬのそれぞれから生成される学習モデルＭ１を取得する。

【0046】

次に処理がアクティビティＡ０１１に進み、モデル表示部２３６は、モデル情報ＩＦ１を表示部３４に表示させる。

【0047】

４．表示部３４に表示される内容の一例
本節では、上記情報処理に基づいて表示部３４に表示される内容の一例について説明する。本実施形態では、ユーザが、第１の入力データＤ１を用いて、商品の売上価格の予測を行う場面を用いて説明する。本実施形態の表示部３４には、受付ウィンドウ４と、データウィンドウ５と、変換処理ウィンドウ６と、モデル情報表示ウィンドウ７と、モデル検索ウィンドウ８と、モデル比較ウィンドウ９と、が表示され得る。

【0048】

４－１．受付ウィンドウ４の一例
まず、受付ウィンドウ４の詳細について説明する。図６は、表示部３４に表示される受付ウィンドウ４の一例である。図６に示すように、受付ウィンドウ４は、入力データ受付エリア４１と、学習器選択エリア４２と、分析手法選択エリア４３と、受付操作表示エリア４４と、を含む。

【0049】

入力データ受付エリア４１には、第１の入力データＤ１の入力を受け付けるユーザインタフェースが表示される。以下、説明の便宜上、ユーザインタフェースを単にＵＩという。入力データ受付エリア４１は、インポートボタン４１１と、データ名表示エリア４１２と、を含む。

【0050】

ユーザは、インポートボタン４１１を操作することにより、第１の入力データＤ１をデータ受付部２３１に入力する。このとき、データ受付部２３１は、ユーザによるインポートボタン４１１の操作に基づき、ユーザによる第１の入力データＤ１の入力を受け付ける。

【0051】

データ名表示エリア４１２には、入力された第１の入力データＤ１の名称が表示される。

【0052】

学習器選択エリア４２には、学習モデルＭ１の生成に用いられる学習器ＭＬを選択可能なＵＩが表示される。学習器選択エリア４２に表示される学習器ＭＬは、学習器特定部２３２によって、データ受付部２３１が受け付けた第１の入力データＤ１に応じて特定される。例えば、学習器特定部２３２は、第１の入力データＤ１の容量、フォーマット、識別子に応じて、学習器選択エリア４２に表示される学習器ＭＬを特定する。本実施形態の学習器選択エリア４２は、データ受付部２３１が第１の入力データＤ１の入力を受け付けた場合に学習器ＭＬを選択可能なアクティブ状態となる。
学習器選択エリア４２は、予測対象選択エリア４２１と、複数の学習器表示エリア４２２と、学習器選択表示エリア４２３と、第１の受付操作ボタン４２４と、を含む。

【0053】

予測対象選択エリア４２１は、学習モデルＭ１の出力ｙ１となるパラメータを指定可能に構成されている。予測対象選択エリア４２１は、例えばプルタブ、リスト、ボタンなど、任意の対応で実現可能である。図６では、出力ｙ１として、売上価格が指定されている。なお、指定される出力ｙ１は１つに限られず、複数であってもよい。

【0054】

学習器表示エリア４２２には、アクティビティＡ００２にて特定された学習器ＭＬを選択可能なＵＩが表示される。例えば、学習器表示エリア４２２には、複数の学習器ＭＬを区別可能な情報が表示される。当該区別可能な情報とは、学習器ＭＬの名称、種類、アルゴリズムなど、任意の情報を含みうる。なお、特定された学習器ＭＬの数が学習器表示エリア４２２の数より小さい場合、学習器表示エリア４２２の一部には、学習器ＭＬの情報がないことが表示されてもよい。

【0055】

学習器選択表示エリア４２３には、学習器表示エリア４２２のそれぞれに対応する学習器ＭＬが選択されているか否かが表示される。学習器選択表示エリア４２３の具体的態様はユーザが視覚的に把握可能であれば任意である。例えば、学習器選択表示エリア４２３には、チェックボックスでのチェックの有無、色彩の変化、濃淡の変化、枠線の変化などが表示される。

【0056】

第１の受付操作ボタン４２４は、ユーザの操作により、選択された学習器ＭＬで後述する分析手法の選択を行うか否かを決定可能なＵＩである。分析手法の選択を行わないための操作が行われた場合、例えば、学習器選択エリア４２に代わり入力データ受付エリア４１がアクティブとなり、再度第１の入力データＤ１の受付が可能となる。

【0057】

一方、第１の受付操作ボタン４２４に対して分析手法の選択を行うための操作が行われた場合、分析手法選択エリア４３がアクティブになる。分析手法選択エリア４３には、ユーザが分析手法を選択可能なＵＩが表示される。分析手法選択エリア４３は、分析手法選択ボタン４３１と、モデル名表示エリア４３２と、第２の受付操作ボタン４３３と、を含む。

【0058】

分析手法選択ボタン４３１は、ユーザによる操作に応じて、分析手法の選択を受付可能に構成されている。分析手法選択ボタン４３１は、例えばユーザのクリック操作、タップ操作、フリック操作を受付可能に構成されている。本実施形態では、分析手法選択ボタン４３１は、設定されている分析手法の数に応じて複数存在する。選択されている分析手法選択ボタン４３１の表示態様は、選択されていない分析手法選択ボタン４３１の表示態様と異なっていてもよい。これにより、ユーザは、どの分析手法が選択されているかを把握しやすくなる。

【0059】

モデル名表示エリア４３２は、入力データ受付エリア４１で受け付けられた第１の入力データＤ１と、学習器選択エリア４２にて選択された学習器ＭＬと、分析手法選択エリア４３で選択された分析手法と、に基づき生成される学習モデルＭ１の名称を表示可能に構成されている。なお、モデル名表示エリア４３２は、ユーザが当該学習モデルＭ１の名称を入力可能に構成されていてもよい。

【0060】

第２の受付操作ボタン４３３は、ユーザが上記学習モデルＭ１の生成を行うか否かを決定可能に構成されている。第２の受付操作ボタン４３３の操作に基づき学習モデルＭ１の生成を行わない決定がされた場合、分析手法選択エリア４３に代えて、入力データ受付エリア４１又は学習器選択エリア４２がアクティブとなる。

【0061】

４－２．データウィンドウ５の一例
一方、第２の受付操作ボタン４３３の操作に基づき学習モデルＭ１の生成を行う決定がされた場合、データウィンドウ５及び変換処理ウィンドウ６が表示部３４に表示される。図７は、表示部３４に表示されるデータウィンドウ５及び変換処理ウィンドウ６の一例である。

【0062】

データウィンドウ５は、第１の入力データＤ１に関する情報を表示可能に構成されている。第１の入力データＤ１に関する情報とは、例えば、第１の入力データＤ１の名称、第１の入力データＤ１のデータ点の数、容量、第１の入力データＤ１に含まれるデータ点の内容などである。データウィンドウ５は、変数名表示エリア５０と、集計グラフ表示エリア５１と、集計情報表示エリア５２と、個別情報表示エリア５３と、を含む。

【0063】

変数名表示エリア５０では、第１の入力データＤ１に含まれる入力ｘ１を識別可能な情報が表示される。例えば、変数名表示エリア５０では、第１の入力データＤ１から入力ｘ１のそれぞれの名称に相当する情報が表示される。

【0064】

集計グラフ表示エリア５１では、入力データ視覚情報が表示される。入力データ視覚情報は、第１の入力データＤ１に関する情報が視覚的に表示されたものである。入力データ視覚情報は、例えばヒストグラム、折れ線グラフ、円グラフ、又はバブルチャートなどを用いて表示される。入力データ視覚情報は、これらの組み合わせを用いて表示されてもよい。例えば、入力データ視覚情報は、第１の入力データＤ１の統計情報を含む。詳細には、入力データ視覚情報は、入力ｘ１ごとの第１の入力データＤ１の統計情報を含む。本実施形態では、入力データ視覚情報は、第１の入力データＤ１のデータ点の分布のヒストグラムとして集計情報表示エリア５２に表示されている。また、入力データ視覚情報は、これらの表示態様の組み合わせとして集計情報表示エリア５２に表示されてもよい。例えば、上記ヒストグラム及び上記折れ線グラフは、集計情報表示エリア５２に一覧可能に表示されていてもよい。また、上記ヒストグラム及び上記折れ線グラフは、集計情報表示エリア５２に重畳して表示されていてもよい。
集計グラフ表示エリア５１では、第１の入力データＤ１と第２の入力データＤ２との差異点５１２を認識可能な態様で表示されている。差異点５１２は、第１の入力データＤ１と第２の入力データＤ２との差分に対応するともいえる。第１の入力データＤ１と第２の入力データＤ２との差異点５１２は、第１の入力データＤ１と第２の入力データＤ２との共通点５１１と異なる態様で表示される。例えば、処理表示部２３７は、両者を色彩、形状、模様の少なくとも１つが異なる態様で表示させる。別例として、処理表示部２３７は、矢印等の所定の目印を、第１の入力データＤ１と第２の入力データＤ２の差異点５１２に対応付けて表示させてもよい。

【0065】

集計情報表示エリア５２では、第１の入力データＤ１に関する統計情報が表示されている。集計情報表示エリア５２にて表示される統計情報は、例えば最大値、最小値、平均値、標準偏差である。また、当該統計情報は、第１の入力データＤ１の欠損値の数を表示してもよい。統計情報は、数値や文字列として表示されても、ヒストグラムなどの視覚情報として表示されてもよい。

【0066】

個別情報表示エリア５３では、第１の入力データＤ１に含まれるデータ点の情報が表示される。詳細には、個別情報表示エリア５３では、入力ｘ１ごとのデータ点の情報が表示される。個別情報表示エリア５３での表示態様は任意であるが、例えば、入力ｘ１ごとのデータ点の情報が、テーブル形式で表示される。

【0067】

４－３．変換処理ウィンドウ６について
変換処理ウィンドウ６では、少なくとも、第１の入力データＤ１に対して行う変換処理に関する情報が表示される。本実施形態では、変換処理ウィンドウ６は、データウィンドウ５と一覧可能に表示されるが、データウィンドウ５と別々に表示されてもよい。変換処理ウィンドウ６の表示モードは、第１の表示モード６ａと、第２の表示モード６ｂと、を含む。第１の表示モード６ａでは、変換処理ウィンドウ６は、第１の入力データ情報表示エリア６１と、生成条件表示エリア６２と、自動変換処理表示エリア６３と、処理条件表示エリア６４と、第１の処理実行ボタン６５と、手動変換移行ボタン６６と、処理保存ボタン６７と、を含む。

【0068】

第１の入力データ情報表示エリア６１には、第１の入力データＤ１又は第２の入力データＤ２に関する情報が表示される。本実施形態では、変換処理によって生成される第２の入力データＤ２に関する情報が表示される。第２の入力データＤ２に関する情報とは、例えば、第２の入力データＤ２の容量、第２の入力データＤ２のサイズ、第１の入力データＤ１と第２の入力データＤ２との容量の差分などである。

【0069】

生成条件表示エリア６２には、学習モデルＭ１の生成条件が表示される。学習モデルＭ１の生成条件とは、例えば、予測対象選択エリア４２１にて選択された予測対象、学習器表示エリア４２２にて選択された学習器ＭＬ、学習器ＭＬで用いられるアルゴリズムなど任意である。

【0070】

自動変換処理表示エリア６３は、処理表示部２３７で特定される自動変換処理の内容を表示する。変換処理の内容とは、例えば、第１の入力データＤ１の一部の削除、欠損値の補完、外れ値の削除、第１の入力データＤ１の規格化などである。第１の入力データＤ１の一部の削除とは、説明変数として用いられる可能性の低い入力ｘ１を削除することである。このような入力ｘ１としては、例えば各データ点のＩＤ番号などである。なお、データウィンドウ５にて表示される第１の入力データＤ１のうち、変換処理による変更部分は、インジケータＬ１によって示唆される。インジケータＬ１は、例えば色彩、形状、模様の差異に基づいて、変換処理によって変更部分を示唆する。インジケータＬ１は、変更部分に対応する領域を、他の領域と異なる輪郭線で示唆するものでもよい。

【0071】

処理条件表示エリア６４には、自動変換処理表示エリア６３にて表示される自動変換処理の変換条件が表示される。詳細には、処理条件表示エリア６４には、自動変換処理のそれぞれに対応する変換条件が、当該自動変換処理ごとに表示される。

【0072】

第１の処理実行ボタン６５は、制御部２３に自動変換処理表示エリア６３に表示された自動変換処理を実行させるためのＵＩである。ユーザは、第１の処理実行ボタン６５を操作することによって制御部２３に当該自動変換処理を実行させることができる。

【0073】

手動変換移行ボタン６６は、ユーザの操作に応じて、変換処理ウィンドウ６の表示モードを第１の表示モード６ａから第２の表示モード６ｂに遷移させるものである。第２の表示モード６ｂは、ユーザが手動で変換処理を指定可能な表示モードである。図８は、第２の表示モード６ｂの場合に表示部３４に表示される変換処理ウィンドウ６の一例を示す図である。手動変換移行ボタン６６が操作されることにより、変換処理ウィンドウ６は、手動変換処理指定エリア６６１と、手動変換処理保存エリア６６２と、を含む表示モードに遷移する。このとき、処理条件表示エリア６４及び第１の処理実行ボタン６５が非表示となってもよい。これにより、ユーザが手動での変換処理の指定に重要度の低い表示を減らし、操作の便宜の向上を図ることができる。

【0074】

手動変換処理指定エリア６６１は、自動変換処理と異なる変換処理をユーザが指定可能に構成されている。以下、説明の便宜上、手動変換処理指定エリア６６１にて指定された変換処理を、手動変換処理という。例えば、変換処理が外れ値の除去の場合、手動変換処理指定エリア６６１には外れ値の候補が表示される。ユーザは、当該候補のなかから変換処理で除去されるものを指定する。また、変換処理が欠損値の補完の場合、手動変換処理指定エリア６６１には、自動変換処理で補完される欠損値の候補が表示される。ユーザは、当該候補のなかから変換処理で補完されるものを指定する。これらの指定は、例えば、手動変換処理保存エリア６６２に含まれるチェックボックス、スライダー、ボタンなどの視覚情報に対する操作によって実現可能である。

【0075】

なお、指定された手動変換処理を含む変換処理によって生成される第２の入力データＤ２が変化することがある。この場合、手動変換処理を含む変換処理によって生成される第２の入力データＤ２と、第１の入力データＤ１と、の共通点５１１及び差異点５１２は、集計グラフ表示エリア５１に表示されてもよい。また、集計グラフ表示エリア５１には、手動変換処理前後での第２の入力データＤ２の差異点が、上述した共通点５１１及び差異点５１２と異なる態様で表示されてもよい。これにより、ユーザは、指定した手動変換処理の内容を視覚的に把握可能となる。また、当該表示は、手動変換処理の指定と連動して行われることが好ましい。これにより、手動変換処理の指定が第１の入力データＤ１に与える影響の把握が容易となる。

【0076】

手動変換処理保存エリア６６２は、ユーザによる操作に基づき、手動変換処理を保存するか否かを決定可能なＵＩである。手動変換処理を保存しない決定が行われた場合、当該手動変換処理が破棄される。その後、変換処理ウィンドウ６の表示モードが第２の表示モード６ｂから第１の表示モード６ａに遷移する。一方、手動変換処理を保存する決定が行われた場合、当該手動変換処理が変換処理として更新される。その後、変換処理ウィンドウ６の表示モードが第２の表示モード６ｂから第１の表示モード６ａに遷移する。

【0077】

処理保存ボタン６７は、ユーザの操作に基づいて変換処理の内容を保存するか否かを決定可能なＵＩである。変換処理の内容を保存しない決定がされた場合、制御部２３は、第１の入力データＤ１に対して変換処理を行わず、情報処理を終了する。このとき、制御部２３は、表示部３４に、再度受付ウィンドウ４を表示させてもよい。

【0078】

一方、変換処理の内容を保存する決定がされた場合、第１の入力データＤ１に対して変換処理が実行される。この場合、手動変換処理の指定が行われていた場合、第１の入力データＤ１に対して手動変換処理が行われる。一方、手動変換処理の指定が行われていない場合、第１の入力データＤ１に対して自動変換処理が行われる。これにより、第２の入力データＤ２が生成される。なお、生成された第２の入力データＤ２は、記憶部２２に保存されてもよい。その後、学習条件に基づいて第２の入力データＤ２を、特定された学習器ＭＬのそれぞれに入力することで、学習器ＭＬのそれぞれから学習モデルＭ１が生成される。その後、学習モデルＭ１についてのモデル情報表示ウィンドウ７が表示部３４に表示される。

【0079】

４－４．モデル情報表示ウィンドウ７について
次に、表示部３４に表示されるモデル情報表示ウィンドウ７の一例について説明する。図９は、表示部３４に表示されるモデル情報表示ウィンドウ７の一例を示す図である。モデル情報表示ウィンドウ７には、生成された学習モデルＭ１に関する情報が表示される。本実施形態では、生成された学習モデルＭ１の１つに関する情報が表示される。モデル情報表示ウィンドウ７は、第２の入力データ情報表示エリア７１と、モデル情報表示エリア７２と、シミュレーション実行ボタン７３と、を含む。

【0080】

第２の入力データ情報表示エリア７１には、学習器ＭＬに入力された入力データに関する情報が表示される。本実施形態では、第２の入力データＤ２に関する情報が表示される。例えば、第２の入力データ情報表示エリア７１には、第２の入力データＤ２の容量、サイズなどが表示される。

【0081】

モデル情報表示エリア７２には、生成された学習モデルＭ１に関するモデル情報ＩＦ１が表示される。本実施形態では、モデル情報表示エリア７２には、少なくとも学習モデルＭ１の予測精度に関する精度情報を含む。モデル情報表示エリア７２は、複数の精度情報表示エリア７２１と、寄与度表示エリア７２２と、寄与度一覧表示ボタン７２５と、を含む。

【0082】

精度情報表示エリア７２１には、学習モデルＭ１の精度情報が表示される。本実施形態では、精度情報表示エリア７２１のそれぞれには、異なる精度情報が表示される。具体的には、精度情報表示エリア７２１のそれぞれには、決定係数、平均二乗誤差、平均二乗偏差が、個別に表示されている。精度情報表示エリア７２１には、各精度情報の数値、各精度情報の意味、各精度情報の評価方法、各精度情報の改善方法などが表示されうる。

【0083】

寄与度表示エリア７２２には、学習モデルＭ１の説明変数、すなわち、学習モデルＭ１の生成に用いられた入力ｘ１ごとの出力ｙ１への寄与度が表示される。寄与度は、例えば学習モデルＭ１における入力ｘ１ごとの係数に基づいて導出される。寄与度は、増加寄与度と減少寄与度とを含む。増加寄与度は、入力ｘ１の寄与度のうち出力ｙ１の増加に関与する成分である。減少寄与度は、入力ｘ１の寄与度のうち出力ｙ１の減少に関与する成分である。この場合、学習モデルＭ１における入力ｘ１ごとの係数は、増加寄与度に対応する成分と、減少寄与度に対応する成分と、を含みうる。寄与度表示エリア７２２は、増加寄与度が表示される増加寄与度表示エリア７２３と、減少寄与度が表示される減少寄与度表示エリア７２４と、を含む。

【0084】

増加寄与度表示エリア７２３及び減少寄与度表示エリア７２４には、増加寄与度と減少寄与度とが区別可能に表示される。また、増加寄与度表示エリア７２３及び減少寄与度表示エリア７２４には、増加寄与度と減少寄与度とが比較可能に表示される。例えば、増加寄与度表示エリア７２３及び減少寄与度表示エリア７２４には、増加寄与度と減少寄与度とが横棒グラフとして比較可能かつ一覧可能に表示される。本実施形態では、寄与度表示エリア７２２には、全部の入力ｘ１のうちの一部の寄与度が表示される。具体的には、寄与度表示エリア７２２には、全部の入力ｘ１のうち、寄与度が高いものから順に所定の序数、例えば５番目、までのものが表示される。これにより、ユーザは、が出力ｙ１に影響を与えやすい入力ｘ１を認識しやすくなる。

【0085】

寄与度一覧表示ボタン７２５は、全部の入力ｘ１のうちの一部の寄与度のみが表示されている場合に、ユーザによる操作に基づいて入力ｘ１の寄与度の表示数を増加させるＵＩである。寄与度一覧表示ボタン７２５の操作に基づいて、全部の入力ｘ１の寄与度が表示されてもよい。

【0086】

シミュレーション実行ボタン７３は、ユーザによる操作に基づいて、学習モデルＭ１を用いた予測シミュレーションを実行するためのＵＩである。例えば、予測シミュレーションは、所定の条件を満たす出力ｙ１に対応する入力ｘ１の探索である。所定の条件とは、例えば、出力ｙ１が予め定められた閾値以上となることや、所定の試行回数において出力ｙ１が最大又は最大となること、などである。入力ｘ１が学習モデルＭ１に入力されると、出力ｙ１が得られる。このとき、予め定められた定義域内で入力ｘ１を変化させることで、入力ｘ１の変化に応じて出力ｙ１が変化する。これにより、出力ｙ１が所定の条件を満たす場合における入力ｘ１が導出される。例えば、出力ｙ１が売上価格である場合で、所定の条件が売上価格の最大化の場合、ユーザは、当該予測シミュレーションにより、売上価格が最大となる入力ｘ１を得ることができる。

【0087】

４－５．モデル検索ウィンドウ８及びモデル比較ウィンドウ９について
制御部２３は、表示部３４にモデル検索ウィンドウ８及びモデル比較ウィンドウ９を表示させてもよい。図１０は、表示部３４に表示されたモデル検索ウィンドウ８及びモデル比較ウィンドウ９の一例である。

【0088】

モデル検索ウィンドウ８は、過去に生成された学習モデルＭ１を検索可能なＵＩを含む。具体的には、モデル検索ウィンドウ８は、検索条件入力エリア８１と、検索結果表示エリア８２と、検索ウィンドウ終了ボタン８３と、を含む。

【0089】

検索条件入力エリア８１は、検索に用いられる検索条件を受付可能に構成されている。検索条件は、例えば、学習モデルＭ１の名称、アルゴリズム、出力ｙ１の名称などのキーワード、学習モデルＭ１の学習条件、学習モデルＭ１が生成された時期など、任意である。また、検索条件入力エリア８１は、ユーザによる操作に基づいて、受け付けられた検索条件をもとに学習モデルＭ１の検索を実行可能に構成されている。

【0090】

検索結果表示エリア８２には、検索条件入力エリア８１が受け付けた検索条件に基づく検索結果が表示される。検索結果表示エリア８２には、検索条件に適合する過去の学習モデルＭ１が一覧可能に表示される。検索結果表示エリア８２には、当該過去の学習モデルＭ１のモデル情報ＩＦ１の少なくとも一部がユーザに視認可能に表示されていてもよい。これにより、検索結果の一覧性が向上する。検索結果表示エリア８２に表示される過去の学習モデルＭ１は、ユーザにより指定可能に構成されている。ユーザによる学習モデルＭ１の指定は、チェックボックス等のインジケータにより視認可能に表示される。以下、説明の便宜上、検索結果表示エリア８２にて指定された学習モデルＭ１を、指定学習モデルＭ２という。

【0091】

検索ウィンドウ終了ボタン８３は、ユーザの操作に基づき過去の学習モデルＭ１の検索を終了するＵＩである。

【0092】

モデル比較ウィンドウ９では、指定学習モデルＭ２のモデル情報ＩＦ１を比較可能に表示される。モデル比較ウィンドウ９は、比較モデル表示エリア９１と、パラメータ選択エリア９２と、比較結果表示エリア９３と、シミュレーション実行ボタン９４と、を含む。

【0093】

比較モデル表示エリア９１では、検索結果表示エリア８２にて指定された学習モデルＭ１のモデル情報ＩＦ１の少なくとも一部が表示される。比較モデル表示エリア９１では、ユーザが、比較モデル表示エリア９１に表示される指定学習モデルＭ２のうちの１つを指定可能に構成されている。

【0094】

パラメータ選択エリア９２では、ユーザが指定学習モデルＭ２の生成及び評価に用いられるパラメータを選択可能に構成されている。本実施形態では、２つのパラメータを選択可能に構成されている。指定学習モデルＭ２の生成及び評価に用いられるパラメータは、モデル情報ＩＦ１に含まれる各種精度情報や、指定学習モデルＭ２の学習条件などが含まれる。以下、説明の便宜上、パラメータ選択エリア９２にて選択されるパラメータを、選択パラメータという。

【0095】

比較結果表示エリア９３では、指定学習モデルＭ２のそれぞれの選択パラメータを一覧可能な視覚情報が表示される。視覚情報とは、例えば、散布図、ヒストグラム、相関図、三次元プロット図など、任意である。これにより、指定学習モデルＭ２の精度比較を容易に行うことができる。

【0096】

シミュレーション実行ボタン９４は、ユーザによる操作に基づき、指定学習モデルＭ２を用いた予測シミュレーションを実行するＵＩである。予測シミュレーションに用いられる指定学習モデルＭ２は、例えば比較モデル表示エリア９１にて指定される指定学習モデルＭ２である。

【0097】

本実施形態では、モデル比較ウィンドウ９は、モデル検索ウィンドウ８と一覧可能に表示されている。これにより、検索結果と指定学習モデルＭ２との比較が容易となる。

【0098】

５．その他
前述の実施形態に係る情報処理システム１に関して、以下のような態様を採用してもよい。

【0099】

第１の入力データＤ１及び第２の入力データＤ２は、それぞれ外部データＤ０としてデータベースＤＢ１に記憶されてもよい。これらの外部データＤ０は、所定の条件のもと、他のユーザに提供可能であってもよい。

【0100】

制御部２３は、データウィンドウ５、変換処理ウィンドウ６、モデル情報表示ウィンドウ７の少なくとも１つに、第１の入力データＤ１に対して行われた変換処理の履歴、いわゆる変換処理のバージョン、を表示させてもよい。これにより、変換処理と精度情報との関係性の類推が容易となる。また、制御部２３は、変換処理のバージョンの管理を行ってもよい。

【0101】

制御部２３は、例えば、第１の入力データＤ１が所定の品質条件を満たさない場合、表示部３４に警告を表示させてもよい。品質条件とは、例えば、第１の入力データＤ１のデータ点の数、容量、外れ値の割合などである。品質条件を満たさない場合とは、例えば、第１の入力データＤ１のデータ点の数が所定の値未満である場合、第１の入力データＤ１の外れ値が所定の基準数より多い場合などである。当該警告は、受付ウィンドウ４、データウィンドウ５、変換処理ウィンドウ６、モデル情報表示ウィンドウ７、モデル検索ウィンドウ８、及びモデル比較ウィンドウ９のうちの少なくとも１つでも、それ以外のウィンドウでもよい。なお、当該警告は、表示部３４に表示されるものに限られず、音、振動、光など任意の態様で実現可能である。

【0102】

情報処理装置２は、オンプレミス形態であってもよく、クラウド形態であってもよい。クラウド形態の情報処理装置２としては、例えば、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）、クラウドコンピューティングという形態で、上述の機能や処理を提供してもよい。

【0103】

以上の実施形態では、情報処理装置２が種々の記憶・制御を行ったが、情報処理装置２に代えて、複数の外部装置が用いられてもよい。すなわち、ブロックチェーン技術等を用いて、第１の入力データＤ１、第２の入力データＤ２、学習モデルＭ１を分散して複数の外部装置に記憶させてもよい。

【0104】

次に記載の各態様で提供されてもよい。

【0105】

（２）前記情報処理システムにおいて、前記モデル情報は、少なくとも前記学習モデルの予測精度に関する精度情報を含み、前記モデル表示ステップでは、生成される前記学習モデルごとの前記精度情報を比較可能に表示させる、もの。

【0106】

このような構成によれば、ユーザは第１の入力データに適した学習モデルを、精度情報に基づき判断することが可能となる。したがって、ユーザに要求されるデータサイエンスに関する知見の水準を、さらに下げることができる。

【0107】

（３）前記情報処理システムにおいて、さらに、学習器選択受付ステップでは、特定された前記学習器に対する選択をユーザより受け付け、前記モデル表示ステップでは、特定された前記学習器のうち、前記選択により選択された前記学習器を用いて生成される前記モデル情報を表示させる、もの。

【0108】

このような構成によれば、ユーザは、ユーザ自身の利用態様に合わせて、学習モデルを生成させる学習器を選択することができるため、利便性の向上を図ることができる。

【0109】

（４）前記情報処理システムにおいて、さらに、データ処理ステップでは、入力された前記第１の入力データを、特定された前記学習器に入力可能な態様である第２の入力データに変換する変換処理を実行し、前記モデル情報は、前記学習器によって前記第２の入力データを用いて生成される前記学習モデルに関する、もの。

【0110】

このような構成によれば、ユーザが第１の入力データを、特定された学習器のそれぞれに入力可能な第２の入力データに変換する労力を軽減することができる。

【0111】

（５）前記情報処理システムにおいて、さらに、処理表示ステップでは、前記第１の入力データと前記第２の入力データとの差異点を認識可能な態様で表示させる、もの。

【0112】

このような構成によれば、ユーザは、第１の入力データと第２の入力データとの差異点に基づき、変換処理を把握することができる。したがって、ユーザにとって学習モデルがブラックボックス化する可能性を低減することができる。

【0113】

（６）前記情報処理システムにおいて、さらに、処理条件表示ステップでは、少なくとも入力された前記第１の入力データと、特定された前記学習器と、に基づき、前記変換処理が行われる条件を認識可能な態様で表示させる、もの。

【0114】

このような構成によれば、ユーザは、変換処理が行われる根拠を条件として認識することができるため、学習モデルがブラックボックス化する可能性をさらに低減することができる。

【0115】

（７）前記情報処理システムにおいて、さらに、分析手法選択受付ステップでは、複数の分析手法のうちの前記学習モデルの生成に用いられる少なくとも１つの選択を受け付ける、もの。

【0116】

このような構成によれば、ユーザが学習モデルの利用態様に応じて分析手法を選択することができるため、さらなる利便性の向上を図ることができる。

【0117】

（８）前記情報処理システムにおいて、前記分析手法は、分類分析、回帰分析、及び時系列分析のうちの少なくとも１つを含む、もの。

【0118】

このような構成によれば、分析手法のなかでも特に汎用性の高い、分類分析、回帰分析、及び時系列分析のうちの少なくとも１つを用いることが可能となるため、さらなる利便性の向上を図ることができる。

【0119】

（９）前記情報処理システムにおいて、前記第１の入力データは、少なくともユーザが保有する保有データを含む、もの。

【0120】

このような構成によれば、保有データに含まれるユーザ固有の条件が学習モデルに反映可能となるため、さらなる予測精度の向上を図ることができる。

【0121】

（１０）前記情報処理システムにおいて、前記第１の入力データは、少なくとも構造化データを含む、もの。

【0122】

このような構成によれば、第１の入力データの構造に基づき、学習モデルの予測精度のさらなる向上を図ることができる。

【0123】

（１１）情報処理方法であって、前記情報処理システムの各ステップを含む、もの。

【0124】

（１２）情報処理プログラムであって、コンピュータに、前記情報処理システムの各ステップを実行させる、もの。
もちろん、この限りではない。

【0125】

さらに、以下のような観点にも留意されたい。

【0126】

深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ、ＤＬ）をはじめとする機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ、ＭＬ）の技術を様々な局面で利用しようとする動きが加速し、一種のブームとも言える状況が生まれている。しかしこのような盛り上がりに反し、ＭＬ導入のプロジェクトの８５％が失敗し、ＭＬやＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）技術を活用できている企業は１０％、情報系企業ですら１７％にとどまると言われる。

【0127】

これには様々な原因がある。第１にＭＬやＡＩがいかなる問題に対して有効かの理解が簡単ではないこと、第２にＭＬを使うためにはどういうデータを用意すればよいのか、どのようにデータの加工と前処理をすればよいのかが経験と勘に依存すること、第３にデータを大量に準備することが容易ではないこと、第４にＭＬやＡＩのモデルをどう構築したらよいのかの理解が簡単ではなく、しかも経験と勘に依存すること、第５にＭＬの一手法であるＤＬからなぜ欲する出力を得られるのかの理解が困難なこと、第６に以上のように理解が進まない結果として満足できる性能を得ることができないことなどが挙げられる。

【0128】

上述のとおり、ＭＬを成功裏に活用するためには様々な障害が存在する反面、インターネット上には多くのＭＬサービスやＡＩサービスが存在し、どれを使えばよいのか分からないというカオス的状況にもある。

【0129】

その上、上記のＭＬサービス、ＡＩサービスを使いこなすためにはたくさんのパラメータを入力しなければならず、パラメータの意味の理解も難しく、ＭＬやＡＩの専門家でなければ使いこなせないという現実も存在する。いわば、ＭＬサービスやＡＩサービスは専門家以外にも使える民主化されたサービスとはなっていなかった。

【0130】

前述の状況を鑑み、専門的な知識を有していなくても使いこなすことができ、入力データを準備さえすれば３ステップでＭＬサービスを使うことができ、得られた結果に対する解析を提供し、さらには予測も行うことのできる技術を提供することにより、誰でもＭＬサービスを利用できる環境を創出することが本発明の目的である。これによりＭＬサービスが民主化される。

【0131】

上記課題を解決するための技術的思想は、インターネット上に存在する多くのＭＬ（以下ＡｕｔｏＭＬと呼ぶ）サービスへ接続するためのラッピング・インターフェースシステムを提供することである。これにより、データの収集、前処理、アップロードなどのデータ準備（ステップ１）、モデル構築と複数のＭＬの並行的実行（ステップ２）、各ＭＬの性能比較と実業務への導入（ステップ３）の３ステップでＭＬの導入が可能となる。

【0132】

そのためにまずアカウント設定やパラメータ入力手順等を一元化し、次に各ＡｕｔｏＭＬへとフォーマット変換を施す。これにより１０～１５ステップが必要であったアカウント作成を３ステップで行うことが可能となる。

【0133】

次に、社内外のデータを収集する。このために必要な社内外データへのアクセスポイントに対して自動的に、あるいはユーザーの介入と補助を得ながら接続が行なわれ、データが収集される。

【0134】

続いて、入力データの加工を行う。以下に限られないが、これにはデータのクレンジングとして日付データなどの形式の一元的形式への変換、欠損の多いデータ項目の処理などを行い、原データから統計的処理を含む前処理を適用して目的に適したデータに変換すること、クエリを使用してデータ抽出やデータ結合などを行うことなどが含まれる。

【0135】

このとき、必要に応じて加工後のデータを表示して確認と修正を行ってもよい。

【0136】

次に、ＭＬモデルの準備を行う。インターネット上に存在する各種ＭＬサービスの利用に限られず、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）ベースによってプログラミングを行わずに独自モデルを構築する方法、インターネット上に存在する各種ＭＬサービスの修正を行って独自モデルを構築する方法、および既に構築されているがインターネット上には公開されていないＭＬモデルを本発明システムへインポートを行う方法等によって行われる。

【0137】

さらには、プログラミングすることなく、ＭＬや統計分析を可能にする機能も提供される。加えて、どのようなテンプレートでモデル構築を行えば精度の高いモデルが構築できるかについて、入力データからリコメンドする機能も提供される。

【0138】

ＭＬに入力されるデータを学習データと予測データに分割し、学習データによって学習したＭＬに予測データを入力してもよい。予測データはＭＬ性能比較等のためにこれ以降使われる。

【0139】

入力データとＭＬモデルの準備が終了したら、学習データを用いて学習が開始される。
このとき複数のＭＬを並行的に実行させてもよい。

【0140】

学習が終わったら、予測データが自動的あるいはユーザーの指示によって各ＭＬサービスに投入され、結果を得る。このとき複数のＡｕｔｏＭＬが並行的に実行されていれば、即座に性能比較ができる。

【0141】

各ＡｕｔｏＭＬサービスの結果を表示する。これにはグラフィカルな可視化を含み、各ＭＬサービスの予測精度レベル（決定係数）、項目の寄与度の比較などが表示される。

【0142】

上記のデータ収集～結果の表示と比較までを繰り返し、実業務に投入が可能だとユーザーによって判断されたら、運用が開始される。

【0143】

運用において、用意されたＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）によってアプリケーションプログラムから本システムへ問い合わせを行うことによって結果がアプリケーションプログラムによって活用すること、あるいは本システムから直接結果を表示することも本発明の範囲である。

【0144】

運用の自動化のためにＫｕｂｅｆｌｏｗを含むＭＬプラットフォームを利用しても良い。

【0145】

上記一連の操作をパイプライン化し、操作の単純化を図っても良い。パイプライン化することにより自由度は下がるが全体の見通しが良くなり、専門家でなくても扱うことが可能となる。もし自由度を上げる必要があるときには、詳細画面を開く等によって専門的な項目設定を行っても良い。

【0146】

さらにはパイプラインの流れに沿って各種変更や操作履歴の記録と閲覧が可能となり、ＭＬサービスやモデル選択の根拠を示すことが可能となる。

【0147】

採用すべきＭＬモデルとそれに必要なデータ前処理方法が決定された後に、実業務に導入される。例えば、ＭＬの出力として売上予測が欲しい場合、直接本発明システムによって表示される画面を見ても良いし、必要に応じて本発明システムが提供するＡＰＩを介してアプリケーションプログラムから情報提供のリクエストが出され、それによってアプリケーションプログラムの画面に表示されても良い。

【0148】

そこで、上記課題を解決するために、第１の態様に係る情報処理方法は、アカウント設定、パラメータ入力手順設定のうち少なくともいずれかを含む初期設定作業を一元化する第１のステップと、インターネット上に存在し得る自動機械学習サービスへ接続するためのフォーマット変換を施す第２のステップと、社内外のデータが収集される第３のステップと、前記収集されたデータを加工する第４のステップと、使用されるべき自動機械学習サービスの準備を行う第５のステップと、前記第４のステップにおいて加工されたデータを学習データと予測データとに分割し、前記学習データを前記第５のステップにおいて準備が行われた自動機械学習サービスによって学習させる第６のステップとを具備することを特徴とする。

【0149】

また、上記課題を解決するために、第２の態様に係る情報処理装置は、アカウント設定、パラメータ入力手順設定のうち少なくともいずれかを含む初期設定作業を一元化することのできる一元化部と、インターネット上に存在し得る自動機械学習サービスへ接続するためのフォーマット変換を施すフォーマット変換部と、社内外のデータが収集されるデータ収集部と、前記収集されたデータを加工するデータ加工部と、使用されるべき自動機械学習サービスの準備を行う準備部と、前記データ加工部によって加工されたデータを学習データと予測データとに分割し、前記学習データを前記準備部によって準備が行われた自動機械学習サービスによって学習させる学習部とを具備することを特徴とする。

【0150】

上記２つの態様によれば、深層学習をはじめとする機械学習技術の専門家でなくても、学習データを準備さえすれば学習モデルの選択および／または構築ができ、複数の学習モデルの結果から性能の比較ができ、複数の学習モデルから最適なものを選択でき、それを実業務に投入し、投入後の運用をサポートすることができることとなる。

【0151】

第３の態様として、第２の態様において、前記収集され準備された入力データをインターネット上に存在する多くの自動機械学習サービスに応じた変換を行うようにしてもよい。この態様によれば、機械学習サービス毎に異なる入力データを準備するプロセスを省くことが可能となる。なお、この第３の態様は第１の態様に対して重畳的に用いることもできる。

【0152】

第４の態様として、第２の態様において、入力データの単純な形式変換、欠損データもしくは重複・不要データの処理を含むデータクレンジング、原データからの特徴量の抽出、統計的処理を含む前処理を適用して目的に適したデータへの変換、クエリを使用したデータ抽出もしくはデータ結合を含むデータ変換、のうちの少なくともいずれかを実行するようにしてもよい。この態様によれば、入力データの単純な形式変換、欠損データもしくは重複・不要データの処理を含むデータクレンジング、原データからの特徴量の抽出、統計的処理を含む前処理を適用して目的に適したデータへの変換、クエリを使用したデータ抽出もしくはデータ結合を含むデータ変換、を簡単な指示を与えることにより実行することが可能となる。なお、この第４の態様は第１の態様に対して重畳的に用いることもできる。

【0153】

第５の態様として、第２の態様において、インターネット上に存在する複数の機械学習サービスあるいは機械学習モデルを一覧できる一覧部と、前記一覧部にて一覧される複数の機械学習サービスあるいは機械学習モデルのうちのいずれかへの接続が選択される選択部と、前記選択部によって選択されたことにより一括して複数の機械学習サービスあるいは機械学習モデルへのデータ投入、平行的実行、結果の取得及び比較、のうちの少なくともいずれかを実行する実行部とをさらに備えるようにしてもよい。なお、この第５の態様は第１の態様に対して重畳的に用いることもできる。

【0154】

第６の態様として、第２の態様において、前記学習部及び／もしくは前記準備部は、グラフィカル・ユーザー・インターフェース手段によって行われるようにしてもよい。この態様によれば、上記の機械学習サービスを選択することに加え、グラフィカル・ユーザー・インターフェースをベースにした手法でユーザー独自の機械学習モデルを構築することができ、および／または、公開情報として存在する機械学習モデルをインポートすることができる。なお、この第６の態様は第１の態様に対して重畳的に用いることもできる。

【0155】

第７の態様として、第２の態様において、前記学習部において前記加工されたデータが前記学習データと前記予測データとに分割されるにおいては、機械学習への入力データを学習用データと性能比較および／または予測データに分割されるようにしてもよい。この態様によれば、前記機械学習への入力データを学習用データと性能比較および／または予測データに分割して利用することができる。なお、この第７の態様は第１の態様に対して重畳的に用いることもできる。

【0156】

第８の態様として、第２の態様において、同一入力データによって実行した複数の機械学習サービスあるいは機械学習モデルの性能を比較するための指標を提供する指標提供部をさらに備えるようにしてもよい。なお、この第８の態様は第１の態様に対して重畳的に用いることもできる。

【0157】

第９の態様として、第８の態様において、前記指標として、決定係数、平均絶対誤差、平均二乗偏差、項目寄与度、モデルの予測と実際の比較、残差ヒストグラム、のうちの少なくともいずれかを含む機械学習サービスと機械学習モデルの性能の比較を行うための指標が提示されるようにしてもよい。なお、この第９の態様は第１の態様に対して第８の態様が重畳された態様に対して重畳的に用いることもできる。

【0158】

第１０の態様として、第２の態様において、複数の機械学習サービスと前記複数のうちのそれぞれの機械学習モデルの結果とから選択する選択部をさらに備えるようにしてもよい。この態様によれば、複数の機械学習サービスと前記複数のうちのそれぞれの機械学習モデルの結果とから最適なものが選択されて実業務への投入を行うことができる。なお、この第１０の態様は第１の態様に対して重畳的に用いることもできる。

【0159】

第１１の態様として、第２の態様において、前記機械学習サービスと前記機械学習モデルの精度の維持及び／もしくは管理とを行うことのできる維持管理部をさらに備えるようにしてもよい。この態様によれば、実投入後に前記機械学習サービスと前記機械学習モデルの精度の維持及び／もしくは管理とを行うことのできる機能が提供される。
なお、この第１１の態様は第１の態様に対して重畳的に用いることもできる。

【0160】

第１２の態様として、第２の態様において、前記データの収集・準備、複数の機械学習サービスと機械学習モデルの平行的実行、機械学習サービスと機械学習モデルの性能比較、実業務への投入の操作をパイプライン化するパイプライン部をさらに備えるようにしてもよい。この態様によれば、上記データの収集・準備、複数の機械学習サービスと機械学習モデルの平行的実行、機械学習サービスと機械学習モデルの性能比較、実業務への投入の操作がパイプライン化され、全体の見通しをよくすることができる。なお、この第１２の態様は第１の態様に対して重畳的に用いることもできる。

【0161】

第１３の態様として、第１２の態様において、前記パイプライン化された処理の様々な中間段階で、必要に応じてユーザーが介入することを許容するユーザー介入部をさらに具備するようにしてもよい。この態様によれば、パイプライン化された処理の様々な中間段階で、必要に応じてユーザーが介入して詳細な設定や操作が行われてもよいこととなる。なお、この第１３の態様は第１の態様に対して第１２の態様が重畳された態様に対して重畳的に用いることもできる。

【0162】

第１４の態様として、第２の態様において、前記機械学習サービスあるいは前記機械学習モデルの処理結果を得るために、アプリケーションプログラムからアプリケーションプログラムインターフェースを介して前記データの要求が行われるデータ要求部をさらに具備するようにしてもよい。この態様によれば、実業務へ投入された機械学習サービスあるいは機械学習モデルの処理結果を得るために、アプリケーションプログラムからアプリケーションプログラムインターフェースを介して本発明システムに対してデータの要求が行われ、それぞれのアプリケーションプログラムで表示を含む処理がされてもよいこととなる。なお、この第１４の態様は第１の態様に対して重畳的に用いることもできる。

【0163】

第１５の態様として、第２の態様において、前記一元化部、前記フォーマット変換部、前記データ収集部、前記データ加工部、前記準備部、前記学習部、のうちの少なくともいずれかにおける画面がデータの収集と準備に係る画面、機械学習モデルの選択・構築・実行に係る画面、各学習モデルの性能比較に係る画面、機械学習モデルの選択を決定して実業務への導入する画面、の少なくともいずれかを含む画面遷移を有するようにしてもよい。この態様によれば、データの準備とアップロードから複数のＭＬ間の性能の比較と実業務への導入までの各ステップにおいて、複数の画面を用いてユーザーと情報がやり取りされるが、これらの画面がデータの収集と準備（前処理、アップロード等）に関わる画面、機械学習モデルの選択・構築・実行に関わる画面、（モデル構築、ＭＬの実行）、各学習モデルの性能比較に関する画面、そして機械学習モデルの選択を決定して実業務への導入する画面を含む画面遷移を有するから、画面遷移定義において学習プロセスが設計できることとなる。なお、この第１５の態様は第１の態様に対して重畳的に用いることもできる。

【0164】

また、上記課題を解決するために、第１６の態様に係るプログラムは、コンピュータを、専門家の介在無しに、収集された学習データをそれぞれの機械学習サービスや機械学習モデルに合致するように変換するデータ加工・変換部と、欠損データや重複・不要データの処理を含むデータクレンジング部と、原データからの特徴量の抽出を行う特徴量抽出部と、統計的処理を含む前処理を適用して目的に適したデータへの変換やクエリを使用したデータ抽出やデータ結合を含むデータ変換を行うデータ結合・分割部と、データの正規化・標準化を行う正規化・標準化部と、複数の機械学習サービスや機械学習モデルを選択するサービス・モデル選択部と、機械学習モデルを構築するためのノーコード開発部と、平行的に複数の機械学習サービスや機械学習モデルを実行するシミュレーション部と、結果を表示し比較するモデル評価部と、最適な機械学習サービスあるいは機械学習モデルを選択するモデル選択部と、選択モデルを実業務へ投入し運用する投入・運用部と、上記一連の各部の機能をサポートするサポート部と、として機能させることを特徴とする。

【0165】

上記態様によれば、専門家の介在無しに、収集された学習データをそれぞれの機械学習サービスや機械学習モデルに合致するように変換するデータ加工・変換部、欠損データや重複・不要データの処理を含むデータクレンジング部、原データからの特徴量の抽出を行う特徴量抽出部、統計的処理を含む前処理を適用して目的に適したデータへの変換やクエリを使用したデータ抽出やデータ結合を含むデータ変換を行うデータ結合・分割部、データの正規化・標準化を行う正規化・標準化部、複数の機械学習サービスや機械学習モデルを選択するサービス・モデル選択部、プログラミングをすることなしに独自の機械学習モデルを構築するノーコード開発部、平行的に複数の機械学習サービスや機械学習モデルを実行するシミュレーション部、結果を表示し比較するモデル評価部、最適な機械学習サービスあるいは機械学習モデルを選択するモデル選択部、選択モデルを実業務へ投入し運用する投入・運用部、およびこれら一連をサポートするサポート部、として機能することが可能となる。

【0166】

第１７の態様として、第１６の態様に係るプログラムが記憶された記録媒体として実現することもできる。

【0167】

最後に、本開示に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0168】

１ ：情報処理システム
２ ：情報処理装置
３ ：ユーザ端末
４ ：受付ウィンドウ
５ ：データウィンドウ
６ ：変換処理ウィンドウ
６ａ ：第１の表示モード
６ｂ ：第２の表示モード
７ ：モデル情報表示ウィンドウ
８ ：モデル検索ウィンドウ
９ ：モデル比較ウィンドウ
２０ ：通信バス
２１ ：通信部
２２ ：記憶部
２３ ：制御部
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３４ ：表示部
３５ ：入力部
４１ ：入力データ受付エリア
４２ ：学習器選択エリア
４３ ：分析手法選択エリア
４４ ：受付操作表示エリア
５０ ：変数名表示エリア
５１ ：集計グラフ表示エリア
５２ ：集計情報表示エリア
５３ ：個別情報表示エリア
６１ ：第１の入力データ情報表示エリア
６２ ：生成条件表示エリア
６３ ：自動変換処理表示エリア
６４ ：処理条件表示エリア
６５ ：第１の処理実行ボタン
６６ ：手動変換移行ボタン
６７ ：処理保存ボタン
７１ ：第２の入力データ情報表示エリア
７２ ：モデル情報表示エリア
７３ ：シミュレーション実行ボタン
８１ ：検索条件入力エリア
８２ ：検索結果表示エリア
８３ ：検索ウィンドウ終了ボタン
９１ ：比較モデル表示エリア
９２ ：パラメータ選択エリア
９３ ：比較結果表示エリア
９４ ：シミュレーション実行ボタン
２３１ ：データ受付部
２３２ ：学習器特定部
２３３ ：学習器選択受付部
２３４ ：分析手法選択受付部
２３５ ：データ処理部
２３６ ：モデル表示部
２３７ ：処理表示部
２３８ ：処理条件表示部
４１１ ：インポートボタン
４１２ ：データ名表示エリア
４２１ ：予測対象選択エリア
４２２ ：学習器表示エリア
４２３ ：学習器選択表示エリア
４２４ ：第１の受付操作ボタン
４３１ ：分析手法選択ボタン
４３２ ：モデル名表示エリア
４３３ ：第２の受付操作ボタン
５１１ ：共通点
５１２ ：差異点
６６１ ：手動変換処理指定エリア
６６２ ：手動変換処理保存エリア
７２１ ：精度情報表示エリア
７２２ ：寄与度表示エリア
７２３ ：増加寄与度表示エリア
７２４ ：減少寄与度表示エリア
７２５ ：寄与度一覧表示ボタン
Ａ００１ ：アクティビティ
Ａ００２ ：アクティビティ
Ａ００３ ：アクティビティ
Ａ００４ ：アクティビティ
Ａ００５ ：アクティビティ
Ａ００６ ：アクティビティ
Ａ００７ ：アクティビティ
Ａ００８ ：アクティビティ
Ａ００９ ：アクティビティ
Ａ０１０ ：アクティビティ
Ａ０１１ ：アクティビティ
Ｄ０ ：外部データ
Ｄ１ ：第１の入力データ
Ｄ２ ：第２の入力データ
ＤＢ１ ：データベース
ＩＦ１ ：モデル情報
Ｌ１ ：インジケータ
Ｍ１ ：学習モデル
Ｍ２ ：指定学習モデル
ＭＬ ：学習器
ｘ１ ：入力
ｙ１ ：出力

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】