特許 7607431 データ管理システム、データ管理方法、および機械学習データ管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-19

(45)【発行日】2024-12-27

(54)【発明の名称】データ管理システム、データ管理方法、および機械学習データ管理プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241220BHJP

【ＦＩ】

G06N20/00

【請求項の数】 8

(21)【出願番号】P 2020172818

(22)【出願日】2020-10-13

(65)【公開番号】P2022064214

(43)【公開日】2022-04-25

【審査請求日】2023-05-31

(73)【特許権者】

【識別番号】508014464

【氏名又は名称】株式会社ブルーブックス

(74)【代理人】

【識別番号】100135781

【弁理士】

【氏名又は名称】西原 広徳

(72)【発明者】

【氏名】志茂 英之

【審査官】大倉 崚吾

(56)【参考文献】

【文献】特開２０２０－０２１３０１（ＪＰ，Ａ）

【文献】特開２０２０－１５６９０３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／００３４８４８（ＵＳ，Ａ１）

【文献】特許第６５０１８５５（ＪＰ，Ｂ１）

【文献】国際公開第２０２０／１５７９３９（ＷＯ，Ａ１）

【文献】特開２０１９－０１６２３５（ＪＰ，Ａ）

【文献】特開２０２０－０９２６９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ１６Ｈ ５０／００－５０／８０

Ａ６１Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

機械学習に用いる学習用データを取得する学習用データ取得手段と、
前記学習用データを記憶する第１記憶手段と、
医療分野における同じ種類または同じ目的の学習用データを利用して、互いに異なるバリエーションの複数の学習済モデルを生成する学習済モデル生成手段と、
前記複数の学習済モデルのデータのそれぞれを、機械学習で用いた前記学習用データと紐づけて、区別可能に記憶する第２記憶手段を備え、
前記学習済モデル生成手段は、或る診断の前の学習用データを利用した診断前の学習済モデルと、当該診断の後の学習用データを利用した診断後の学習済モデルとを、異なるバリエーションの学習済モデルとして生成する
データ管理システム。

【請求項2】

前記学習済モデルを検索するためのモデル検索条件の指定を受け付けるモデル検索条件指定手段と、
前記第２記憶手段に記憶されている学習済モデルのデータから前記モデル検索条件に該当する学習済モデルを検索するモデル検索手段と、
前記モデル検索手段における検索によりヒットした学習済モデルの情報をユーザに提示するモデル情報提示手段を備える
請求項１記載のデータ管理システム。

【請求項3】

前記複数の学習済モデルのデータのそれぞれは、学習履歴のデータおよび機械学習で用いた学習用データを含み、
前記モデル情報提示手段は、検索によりヒットした学習済モデルの学習履歴のデータおよび機械学習で用いた学習用データの情報をユーザに提示する
請求項２記載のデータ管理システム。

【請求項4】

前記学習用データ取得手段は、互いに異なるバリエーションの複数の前記学習用データを取得し、
前記第１記憶手段は、前記複数の学習用データのそれぞれを区別可能に記憶し、
前記学習済モデル生成手段は、前記複数の学習用データのうち少なくとも１つを用いて、前記学習済モデルを生成し、
前記第２記憶手段は、前記複数の学習済モデルのデータのそれぞれを、機械学習で用いた学習用データと紐づけて、区別可能に記憶する
請求項１、２または３記載のデータ管理システム。

【請求項5】

前記学習用データを検索するための学習用データ検索条件の指定を受け付ける学習用データ検索条件指定手段と、
前記第１記憶手段に記憶されている前記複数の学習用データから前記学習用データ検索条件に該当する学習用データを検索する学習用データ検索手段と、
前記学習用データ検索手段における検索によりヒットした前記学習用データの情報をユーザに提示する学習用データ情報提示手段を備える
請求項４記載のデータ管理システム。

【請求項6】

前記学習用データ取得手段で前記学習用データが取得されたときに、当該学習用データが前記第１記憶手段に記憶されている前記学習用データに対応する更新データかどうかを判断する判断手段、
前記学習用データ取得手段で取得された前記学習用データが前記更新データであると判断された場合に、当該更新データに対応する前記学習用データを用いて生成された更新前の学習済モデルを当該更新データで再学習する再学習手段を備える
請求項４または５記載のデータ管理システム。

【請求項7】

機械学習に用いる学習用データを取得し、
前記学習用データを記憶部に記憶させ、
医療分野における同じ種類または同じ目的の学習用データを利用して、互いに異なるバリエーションの複数の学習済モデルを生成し、
或る診断の前の学習用データを利用した診断前の学習済モデルと、当該診断の後の学習用データを利用した診断後の学習済モデルとを、異なるバリエーションの学習済モデルとして生成し、
前記複数の学習済モデルのデータのそれぞれを、機械学習で用いた前記学習用データと紐づけて、区別可能に前記記憶部に記憶させる
データ管理方法。

【請求項8】

コンピュータを、
機械学習に用いる学習用データを取得する学習用データ取得手段と、
前記学習用データを記憶部に記憶させる第１記憶手段と、
医療分野における同じ種類または同じ目的の学習用データを利用して、互いに異なるバリエーションの複数の学習済モデルを生成する学習済モデル生成手段と、
前記複数の学習済モデルのデータのそれぞれを、機械学習で用いた前記学習用データと紐づけて、区別可能に前記記憶部に記憶する第２記憶手段として機能させ、
前記学習済モデル生成手段は、或る診断の前の学習用データを利用した診断前の学習済モデルと、当該診断の後の学習用データを利用した診断後の学習済モデルとを、異なるバリエーションの学習済モデルとして生成する
データ管理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、例えば、機械学習を用いた学習済モデルのデータおよび学習済モデルの機械学習に用いる学習用データを管理するような、データ管理システム、データ管理方法、および機械学習データ管理プログラムに関する。

【背景技術】

【0002】

近年、人間の行い得る推論等の知的活動をコンピュータ等に行わせる一連のソフトウェア技術として、いわゆるＡＩ技術を利用した学習済モデルが提案されている。
このような学習済モデルは、一般的に、多量の教師データ（学習用データ）を用いた機械学習が行われることによって生成される。

【0003】

この種の背景技術の一例が特許文献１に開示される。背景技術の学習装置では、環境や使用状況の変化に対して追加学習が自動で行われ、学習済モデルを常に最新の状態にすることによって、学習済モデルの精度が維持される。
このように、背景技術の学習装置では、或る目的の学習済モデルについて、最新状態の学習済モデルしか提供されない。
したがって、背景技術の学習装置では、複数の観点で或る事象を検証したいという要望に対しては充分な対応ができず、利便性の観点で問題がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１４０６４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

この発明は、上述の問題に鑑みて、ユーザの多様なニーズに対応できるように学習済モデルのデータを管理することができる、データ管理システム、データ管理方法、および機械学習データ管理プログラムを提供し、ユーザの利便性を向上させることを目的とする。

【課題を解決するための手段】

【0006】

この発明は、機械学習に用いる学習用データを取得する学習用データ取得手段と、学習用データを記憶する第１記憶手段と、学習用データを用いて、互いに異なる学習条件で機械学習した、互いに異なるバリエーションの複数の学習済モデルを生成する学習済モデル生成手段と、複数の学習済モデルのデータのそれぞれを、機械学習で用いた学習用データと紐づけて、区別可能に記憶する第２記憶手段を備えたデータ管理システム、データ管理方法、および機械学習データ管理プログラムであることを特徴とする。

【発明の効果】

【0007】

この発明により、ユーザの多様なニーズに対応できるように学習済モデルのデータを管理し、ユーザの利便性を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】この発明のデータ管理システムの構成の一例を示す説明図。

【図2】仮想マシンサーバの構成の一例を示す説明図。

【図3】管理サーバの補助記憶部に記憶されるデータの一例を示す説明図。

【図4】学習済モデルデータのデータ構造の一例を示す説明図。

【図5】管理サーバの主記憶部のメモリマップの一例を示す説明図。

【図6】初期画面等の画面構成の説明図。

【図7】第１会員登録画面等の画面構成の説明図。

【図8】ログイン画面等の画面構成の説明図。

【図9】メイン画面等の画面構成の説明図。

【図10】第２会員登録画面等の画面構成の説明図。

【図11】実行環境設定画面等の画面構成の説明図。

【図12】学習済モデル検索画面等の画面構成の説明図。

【図13】バージョン確認登録画面等の画面構成の説明図。

【図14】モデル変更履歴確認画面等の画面構成の説明図。

【図15】データ変更履歴確認画面等の画面構成の説明図。

【図16】変更データ確認画面等の画面構成の説明図。

【図17】アノテーション管理画面等の画面構成の説明図。

【図18】セルフ編集画面等の画面構成の説明図。

【図19】外部委託管理画面等の画面構成の説明図。

【図20】学習用データ管理画面等の画面構成の説明図。

【図21】利用者確認画面等の画面構成の説明図。

【図22】連絡画面等の画面構成の説明図。

【図23】学習済モデル登録画面等の画面構成の説明図。

【図24】演算処理画面等の画面構成の説明図。

【図25】管理サーバの制御プログラムのデータ管理動作のフローチャート図。

【発明を実施するための形態】

【0009】

以下、この発明の一実施形態を図面と共に説明する。
＜システム構成＞

【0010】

図１は、演算処理システム１のシステム構成の一例を示すブロック図である。演算処理システム１は、ＡＩ技術を利用した学習済モデルに従って所定形式の演算用データの演算を実行するための演算処理システムである。

【0011】

ただし、演算処理システム１は、ＡＩ技術を利用した学習済モデルのデータおよび学習済モデルの機械学習に用いる教師データ（学習用データ）を管理するためのデータ管理システムでもある。

【0012】

図１に示すように、演算処理システム１は、管理サーバ２、複数のユーザ端末３および仮想マシンサーバ４を含み、管理サーバ２と複数のユーザ端末３とは、インターネットのような公衆回線（公衆ネットワーク）５を介して、相互に通信可能に接続される。また、管理サーバ２と仮想マシンサーバ４とは、有線または無線で、直接通信可能に接続される。なお、管理サーバ２と仮想マシンサーバ４とは、公衆回線５を介して接続されてもよい。

【0013】

管理サーバ２および仮想マシンサーバ４は、汎用のサーバコンピュータで構成されており、ユーザ端末３は、タブレットＰＣ、デスクトップＰＣ、ノート（ラップトップ）ＰＣまたはスマートフォンなどの汎用のコンピュータ（端末）で構成される。なお、管理サーバ２および仮想マシンサーバ４は、１台のサーバコンピュータで構成されてもよいし、複数のサーバコンピュータで構成されてもよい。

【0014】

管理サーバ２は、制御部２１、入力部２２、表示部２３、通信部２４、および補助記憶部２５を備える。入力部２２、表示部２３、通信部２４、および補助記憶部２５のそれぞれは、通信線（バス）を介して制御部２１に接続される。

【0015】

ユーザ端末３は、制御部３１、入力部３２、表示部３３、通信部３４、および補助記憶部３５を備える。入力部３２、表示部３３、通信部３４、および補助記憶部３５のそれぞれは、通信線を介して制御部３１に接続される。

【0016】

制御部２１は、プロセッサ２６および主記憶部２７を含み、管理サーバ２における各種演算および制御動作を実行する。制御部３１は、プロセッサ３６および主記憶部３７を含み、ユーザ端末３における各種演算および制御動作を実行する。

【0017】

プロセッサ（２６、３６）は、ＣＰＵまたはＭＰＵなどを含む演算処理部である。主記憶部２７、３７は、ＲＡＭ（ＤＲＡＭ）およびＲＯＭなどを含む。ＲＡＭは、プロセッサ（２６、３６）のワーク領域およびバッファ領域として用いられる。ＲＯＭは、管理サーバまたはユーザ端末３の起動プログラムや各種情報についてのデフォルト値等を記憶する。

【0018】

入力部（２２、３２）は、利用者（ユーザ）の操作入力を受け付ける入力部品および入力部品とプロセッサ（２６、３６）との間に介在する入力検出回路を含む。入力部品は、たとえばキーボードまたは／およびコンピュータマウスであり、入力部品がキーボードである場合には、ハードウェアの操作ボタンないし操作キーが含まれる。また、入力部品としては、タッチパネルが用いられても良い。タッチパネルとしては、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。入力検出回路は、各入力部品の操作に応じた操作信号ないし操作データをプロセッサ（２６、３６）に出力する。

【0019】

表示部（２３、３３）は、ディスプレイおよびディスプレイとプロセッサ（２６、３６）との間に介在する表示制御回路を含む。ディスプレイとしては、たとえばＬＣＤ（液晶ディスプレイ）または有機ＥＬディスプレイなどを用いることができる。表示制御回路は、ＧＰＵおよびＶＲＡＭなどを含む。プロセッサ（２６、３６）の指示の下、ＧＰＵは、ＲＡＭに記憶された画像生成用のデータを用いてディスプレイに種々の画面を表示するための表示画像データをＶＲＡＭに生成し、生成した表示画像データをディスプレイに出力する。

【0020】

通信部（２４、３４）は、公衆回線５に接続するための通信回路を含む。通信回路は、有線通信回路または無線通信回路であり、プロセッサ（２６、３６）からの指示に従って、公衆回線５を介して、外部コンピュータと通信する。

【0021】

補助記憶部（２５、３５）は、ＨＤＤ、ＳＳＤ、フラッシュメモリ、ＥＥＰＲＯＭなどの他の不揮発性メモリで構成され、プロセッサ（２６、３６）が管理サーバ２またはユーザ端末の動作を制御するための制御プログラムおよび各種データなどを記憶する。

【0022】

ユーザ端末３の補助記憶部３５は、ユーザの操作入力に応じて本システムにおけるユーザ端末３の各種動作を実行するためのユーザプログラム３８と、本システムの利用に必要となるユーザデータ３９とを記憶している。

【0023】

ユーザプログラム３８およびユーザデータ３９は、必要に応じて補助記憶部３５から読み出され主記憶部３７（ＲＡＭ）に記憶される（展開される）。ユーザ端末３の動作は、プロセッサ３６が主記憶部３７（ＲＡＭ）に展開されたユーザプログラム３８を実行することによって実現される。

【0024】

ユーザプログラム３８は、少なくとも、管理サーバ２にアクセスするプログラムを用いる構成としているが、専用のユーザプログラムを用いる構成としてもよい。ユーザデータ３９は、少なくとも、本システムにおいてユーザを特定するための識別データ（ユーザＩＤなどのデータ）を含む。

【0025】

また、図１に示す管理サーバ２の構成およびユーザ端末３の構成は、単なる一例であり、これに限定される必要はない。例えば、管理サーバ２およびユーザ端末３には、ＳＤカードまたはＵＳＢメモリなどの各種の記憶媒体（外部記憶媒体）からデータを読み出したり、外部記憶媒体にデータを書き込んだりするためのインターフェイス（外部記憶媒体接続部）が設けられていてもよい。

【0026】

図２は仮想マシンサーバ４の構成の一例を示すブロック図である。図２に示すように、仮想マシンサーバ４は、２種類の仮想マシン４１、４２を含む。仮想マシン４１、４２は、仮想マシンサーバ４を構成するサーバコンピュータのプロセッサ、記憶部（ＲＡＭなどのメモリ）などのハードウェア要素を使用して、仮想マシンサーバ４内で稼働する仮想的な計算機システム（計算機マシン）である。

【0027】

本実施形態では、仮想マシンサーバ４は、特定のユーザのために稼働する占有仮想マシン４１と、不特定のユーザのために稼働する共有仮想マシン４２とを含む。なお、占有仮想マシン４１は、仮想マシンサーバ４内の特定のハードウェア（占有ハードウェア）と対応することによって実現されてもよいし、ハードウェアを特定せずに、仮想マシンサーバ４内の全体のリソースのうち、占有仮想マシン４１に必要なリソースが常に確保されることによって実現されてもよい。

【0028】

また、本実施形態では、占有仮想マシン４１および共有仮想マシン４２のそれぞれは、仮想マシンサーバ４内に複数存在しており、複数の占有仮想マシン４１によって占有マシン群が形成され、複数の共有仮想マシン４２によって共有マシン群が形成される。

【0029】

演算処理システム１では、仮想マシン４１、４２が学習済モデルに従って演算を行うことにより、推論対象としての演算用データ（入力）に対し一定の結果（推論結果）が出力される。学習済モデルとは、データを用いた帰納的アプローチによる未知の現象に対する推論をコンピュータに実施させるモデルのことであり、学習済モデルを利用することによって、人間の行い得る知的活動をコンピュータ等に行わせることができる。

【0030】

学習済モデルのアルゴリズムとしては、たとえば、「回帰」、「クラス分類」、「クラスタ分析（クラスタリング）」、「次元削減」、および「異常検出」などがある。

【0031】

「回帰」とは、過去に学習したデータから得られた「パターン」によって、未知の推論対象に対する結果を予測することをいう。「クラス分類」とは、過去に学習したデータから得られた「分類方法」によって、未知の推論対象を分類することをいう。なお、「クラス分類」には、２つのクラスに分類する「２クラス分類」と、３以上のクラスに分類する「マルチ分類」とがある。「クラスタ分析」とは、過去に学習したデータから得られた「データの類似性」によって、複数の未知の推論対象をグループ化（または複数の未知の推論対象のデータ構造を検出）することをいう。「次元削減」とは、推論対象のデータの次元を削減して、主要因子を検出すること、すなわち、データの次元数を減らすことをいう。「異常検出」とは、推論対象のデータの一部または全部が異常かどうかを検出することをいう。

【0032】

本実施形態の演算処理システム１の学習済モデルは、上述したアルゴリズムの１または複数を含み、様々な分野および様々な目的（用途）で利用することができ、一例として、医療画像診断などに利用することができる。

【0033】

医療画像診断用の学習済モデルは、多量の医用画像を学習することによって生成される。医用画像とは、Ｘ線撮影、血管造影、コンピュータ断層撮影（ＣＴ）、核磁気共鳴画像法（ＭＲＩ）、シンチグラフィ、陽電子放出断層撮影法（ＰＥＴ）または内視鏡検査などの医療行為によって得られる画像のことをいう。医療画像診断用の学習済モデルを利用することによって、病変候補領域の検出、病変の良悪性分類、症例予測などが可能になる。
このような学習済モデルの実用過程としては、学習済モデルの生成過程（学習過程）と生成されたモデルを用いた推論過程（利用過程）とがある。

【0034】

学習済モデルの生成過程について簡単に説明する。まず、生成される学習済モデルの利用分野・利用目的に沿ったデータ（以下「元データ」ということがある。）が、機械学習に適したデータ（以下「学習用データ」ということがある。）に加工される。続いて、機械学習を受けていない（以下「未学習モデル」ということがある。）に学習用データを機械学習させることによって、学習済モデルが生成される。このように生成された学習済モデルは、機械学習によって得られたパラメータ（以下「学習済パラメータ」ということがある。）および学習済パラメータが組み込まれた推論プログラムを含み、上記のように、利用分野・利用目的に応じて利用される。
＜データ構成＞

【0035】

図３は管理サーバ２の補助記憶部２５に記憶されるデータの一例を示す説明図である。管理サーバ２の補助記憶部２５には、演算処理システム１で利用される（学習済モデルに関連する）各種データが記憶（登録）されている。図３に示すように、管理サーバ２の補助記憶部２５には、元データＤＢ（データベース）５０と、学習用データＤＢ（データベース）５１と、未学習モデルＤＢ（データベース）５２と、学習済モデルＤＢ（データベース）５３と、ユーザ管理データＤＢ（データベース）５４と、演算用データＤＢ（データベース）５５などが登録される。

【0036】

元データＤＢ５０には、学習用データの元になる複数の元データが登録される。元データは、たとえば画像データ、文書データおよび数値データなどであって、演算処理システム１のユーザまたは管理者などにより一次的に入力（アップロード）され、コンピュータで処理できるように変換・加工処理（一次加工処理）されたデータである。元データは、たとえば通信部２４を介して、ユーザ端末３などの外部コンピュータから入力されたり、外部記憶媒体接続部を介して外部記憶媒体から入力されたりする。

【0037】

学習用データＤＢ５１には、機械学習に適するように、元データが加工処理（二次加工処理）され、タグ情報（正解情報）が設定された学習用データが登録される。二次加工処理としては、たとえば、元データの欠測値や外れ値を除去する処理などがある。また、タグ情報を設定するプロセスのことをアノテーション設定ということがある。さらに、学習用データには、対応する（加工元の）元データが紐づけられている。

【0038】

本実施例の演算処理システム１では、互いに異なるバリエーションの複数の学習用データが存在する。たとえば、同じ元データから生成された学習用データであっても、タグ情報が異なる（アノテーション設定が異なる）場合には、それらの学習用データは、同じ分野、同じ種類、同じ目的（用途）のデータではあるが、内容が異なるデータとなる。また、元データが追加または変更されるなどして、学習用データが更新（変更）されることがある。この場合、更新前の学習用データと、更新後の学習用データとは、互いに異なるバリエーションのデータとなる。また、更新前の学習用データには更新前の元データが紐づけられ、更新後の学習用データには更新後の元データが紐づけられる。たとえば、肺の医用画像から生成された学習用データに関して、肺の医用画像が定期的（たとえば１年毎）に撮影されている場合であって、或る時点で肺がん（と診断される）というタグ情報が設定された場合には、肺がんと診断される前の学習用データおよびこれに紐づけられる元データと、肺がんと診断された後の学習用データおよびこれに紐づけられる元データとが互いに異なるバリエーションのデータとなる。
このように、本実施形態では、互いに異なるバリエーションの複数の学習用データは、学習用データＤＢ５１に区別可能に記憶される。

【0039】

また、学習用データは、複数の学習用データを含むデータセットとして登録されており、１つのデータセットには、分野、種類、目的などに応じて、互いに関連する複数の学習用データが含まれる。たとえば、同じ医療施設において一定期間に撮影された同種の医用画像（たとえば肺のＸ線画像）が複数存在する場合には、それらの画像は同じデータセットとして登録される。

【0040】

未学習モデルＤＢ５２には、未学習モデルのデータが登録される。ただし、未学習モデルには、利用分野・利用目的に沿っていくつかのパラメータ（初期パラメータ）が予め組み込まれていてもよい。
学習済モデルＤＢ５３には、学習済モデルのデータが登録される。新たに登録された学習済モデルのデータは、学習済モデルＤＢ５３に登録される。

【0041】

本実施例の演算処理システム１では、互いに異なるバリエーションの複数の学習済モデルが存在する。たとえば、同じ学習用データを機械学習した場合であっても、機械学習の条件が異なる場合には、互いに異なるバリエーションの学習済モデルとなる。また、更新前の学習用データを機械学習した学習済モデルと、更新後の学習用データを機械学習した学習済モデルとは、互いに異なるバリエーションの学習済モデルとなる。このように互いに異なるバリエーションの複数の学習済モデルは、学習済モデルＤＢ５３に区別可能に記憶される。

【0042】

図４は学習済モデルのデータ（学習済モデルデータ）６０のデータ構造の一例を示す説明図である。図４に示すように、学習済モデルデータ６０は、少なくとも、実行データ６１、モデル情報データ６２、学習用データ６３、および変更履歴データ６４を含む。

【0043】

実行データ６１は、仮想マシン４１、４２において学習済モデルに従って演算を実行するためのデータである。実行データ６１は、典型的には学習済パラメータが組み込まれた推論プログラムのデータであるが、仮想マシン４１、４２が汎用のＡＩプログラムに従って動作する場合には、プログラムのデータが省略され、汎用のＡＩプログラムで処理可能な学習済パラメータのデータであってもよい。

【0044】

モデル情報データ６２は、学習済モデルの情報（モデル情報）のデータである。モデル情報は、モデル識別情報、管理ＩＤ情報、プログラム言語情報、必須ライブラリ情報、バリエーション情報、変更時期情報、および変更者情報などを含む。

【0045】

モデル識別情報は、学習済モデルを人間が識別するための情報であり、利用分野・利用目的を示す単語（語句）などが含まれる文字列として表現される。管理ＩＤ情報は、本システムにおいて学習済モデルを管理するための情報であり、文字、数字および記号を組み合わせた文字列として表現される。プログラム言語情報は、学習済モデルを実行できるプログラム言語の名称やプログラム言語のバージョンなどの情報である。必須ライブラリ情報は、学習済モデルの実行に必要なライブラリの情報である。バリエーション情報は、学習済モデルのバリエーション（バージョン）を示す情報である。たとえば、学習済モデルのバージョンは、番号（数字）で区別可能に表現される。変更時期情報は、学習済モデルが生成された後に、変更が加えられた時期（変更時期）の情報である。学習済モデルに複数の変更が加えられていた場合には、変更時期情報には、それぞれの変更時期の情報が含まれる。変更者情報は、学習済モデルに変更を加えたユーザの情報であり、たとえば、ユーザの所属組織名、氏名などの情報が含まれる。

【0046】

学習用データ６３は、学習済モデルの生成過程で利用された学習用データに関する情報である。ただし、本実施形態では、学習用データに関する情報は、個別の学習用データの情報としてではなく、データセットの情報として表現される。学習用データに関する情報は、データ識別情報、発生元情報（生成元情報）、データカテゴリＩＤ情報、データ仕様情報、およびデータ件数情報を含む。なお、これらの情報に変えて、またはこれらの情報に加えて、学習用データそのものを学習用データ６３としてもよい。

【0047】

変更履歴データ６４は、学習済モデルの変更履歴の情報のデータである。学習済モデルの変更履歴の情報は、実行データ６１の変更履歴の情報および学習用データの変更履歴の情報を含む。

【0048】

なお、学習済モデルデータ６０は、実行データ６１、モデル情報データ６２、学習用データ６３、および変更履歴データ６４に加えて、学習済モデルに従って演算を実行するためのアプリケーションのデータおよび必要なライブラリデータなどを含んでコンテナ化（コンテナ型仮想化）されたデータであってもよい。

【0049】

図３に戻って、ユーザ管理データＤＢ５４には、演算処理システム１を利用するユーザを管理するためのデータ（以下「ユーザ管理データ」ということがある。）が登録される。ユーザ管理データは、ユーザ識別情報のデータ（ユーザ識別情報データ）、ユーザ認証情報のデータ（ユーザ認証情報データ）、ユーザ利用情報のデータ（ユーザ利用情報データ）、およびユーザ属性情報のデータ（ユーザ属性情報データ）などを含み、同じユーザの、ユーザ識別情報データ、ユーザ識別情報データ、ユーザ利用情報データおよびユーザ属性情報データは、互いに紐づけられている。

【0050】

ユーザ識別情報は、演算処理システム１においてユーザを特定するための情報であり、たとえば、ユーザが使用するメールアドレスや会員ＩＤなどの情報である。ユーザ認証情報は、ユーザ識別情報と組み合わせてユーザ認証を行うための情報であり、たとえばパスワードである。ユーザ利用情報は、ユーザの過去の利用実績や、ユーザが登録した学習済モデル、ユーザが登録した学習用データ、ユーザが利用可能なリソースなどの情報である。ユーザ属性情報は、無料会員、有料会員の別を示す情報、すなわち、演算処理システム１におけるユーザの権限を示す情報である。

【0051】

演算用データＤＢ５５には、仮想マシン４１、４２が学習済モデルに従って演算を行う際の推論対象としての演算用データが登録される。演算用データは、元データに対応する形式のデータであり、たとえば、テキストデータ、数値データ、画像データなどである。

【0052】

なお、学習用データＤＢ５１、未学習モデルＤＢ５２、学習済モデルＤＢ５３、および演算用データＤＢ５５のそれぞれは、特定のユーザのみが利用可能な占有領域と、不特定のユーザが利用可能な共有領域とを含む。

【0053】

管理サーバ２の補助記憶部２５に登録される各種データは、必要に応じて補助記憶部３５から読み出され主記憶部２７（ＲＡＭ）に展開される。管理サーバ２の動作は、主記憶部２７に展開されたデータを用いて、プロセッサ２６が主記憶部２７に記憶された管理サーバ２の制御プログラムを実行することによって実現される。

【0054】

図５は管理サーバ２の主記憶部２７（ＲＡＭ）のメモリマップ７０の一例を示す説明図である。図５に示すように、主記憶部２７は、プログラム記憶領域７１およびデータ記憶領域７２を含む。プログラム記憶領域７１には、管理サーバ２の制御プログラムが記憶される。制御プログラムは、学習用データ生成プログラム７１Ａ、学習用データ管理プログラム７１Ｂ、学習済モデル生成プログラム７１Ｃ、学習済モデル管理プログラム７１Ｄ、学習済モデル検索プログラム７１Ｅ、学習用データ検索プログラム７１Ｆ、元データ検索プログラム７１Ｇ、実行環境設定プログラム７１Ｈおよび仮想マシン管理プログラム７１Ｊを含む。

【0055】

学習用データ生成プログラム７１Ａは、元データに二次加工処理を施し、アノテーション設定を行い学習用データを生成する（学習用データ生成機能を発揮する）ためのプログラムである。学習用データ管理プログラム７１Ｂは、新たな学習用データを登録したり、既に登録されている学習用データを削除したりする（学習用データ管理機能を発揮する）ためのプログラムである。

【0056】

学習済モデル生成プログラム７１Ｃは、未学習モデルまたは既存の学習済モデルに学習用データを機械学習させることによって、学習済モデルを生成する（学習済モデル生成機能を発揮する）ためのプログラムである。

【0057】

学習済モデル管理プログラム７１Ｄは、生成した学習済モデルを登録したり、既に登録されている学習済モデルを削除したりする（学習済モデル管理機能を発揮する）ためのプログラムである。

【0058】

学習済モデル検索プログラム７１Ｅは、学習済モデルを検索するモデル検索条件の指定を受け付け、本システムにおいて登録されている学習済モデルの中からモデル検索条件に該当する学習済モデルを検索する（学習済モデル検索機能を発揮する）ためのプログラムである。

【0059】

学習用データ検索プログラム７１Ｆは、学習用データを検索するための学習用データ検索条件の指定を受け付け、本システムにおいて登録されている学習用データの中から学習用データ検索条件に該当する学習用データを検索する（学習用データ検索機能を発揮する）ためのプログラムである。ただし、学習用データは、データセットの単位で検索される。

【0060】

元データ検索プログラム７１Ｇは、元データを検索するための元データ検索条件の指定を受け付け、本システムにおいて登録されている元データの中から元データ検索条件に該当する元データを検索する（元データ検索機能を発揮する）ためのプログラムである。

【0061】

実行環境設定プログラム７１Ｈは、仮想マシン４１、４２が学習済モデルに従って演算を行う際の実行環境を設定する（実行環境設定機能を発揮する）ためのプログラムである。

【0062】

仮想マシン管理プログラム７１Ｊは、仮想マシン４１、４２の稼働状況を検出して、演算を行うマシンの割り当てなどを行う（仮想マシン管理機能を発揮する）ためのプログラムである。

【0063】

なお、図示は省略するが、プログラム記憶領域７１には、外部のコンピュータと公衆回線５を介してデータを通信（送受信）するための通信プログラム、入力部２２に対するユーザの操作入力を検出するための操作検出プログラム、ＲＡＭに記憶された画像生成用のデータを用いて表示画像データを生成し、表示部２３（ディスプレイ）に出力するための表示プログラム、および管理サーバ２が備える各種の機能を実行するためのプログラムなども記憶される。

【0064】

また、データ記憶領域７２には、元データ７２Ａ、学習用データ７２Ｂ、未学習モデルデータ７２Ｃ、学習済モデルデータ７２Ｄ、ユーザ管理データ７２Ｅ、および演算用データ７２Ｆなどが記憶される。

【0065】

元データ７２Ａは、新たに入力された元データまたは元データＤＢ５０から読み出された元データである。学習用データ７２Ｂは、学習用データ生成プログラム７１Ａに従って新たに生成された学習用データまたは学習用データＤＢ５１から読み出された学習用データである。未学習モデルデータ７２Ｃは、新たに入力された未学習モデルデータまたは未学習モデルＤＢ５２から読み出された未学習モデルデータである。学習済モデルデータ７２Ｄは、学習済モデル管理プログラム７１Ｄに従って新たに生成された学習済モデルデータまたは学習済モデルＤＢ５３から読み出された学習済モデルデータである。

【0066】

ユーザ管理データ７２Ｅは、新たに登録されたユーザ管理データ、更新されたユーザ管理データ、またはユーザ管理データＤＢ５４から読み出されたユーザ管理データである。

【0067】

演算用データ７２Ｆは、新たに登録された演算用データ、または演算用データＤＢ５５から読み出された演算用データである。ただし、演算用データ７２Ｆは、管理サーバ２内部のデータ管理に用いられるだけであり、演算が行われる場合には、仮想マシンサーバ４０の記憶部に演算用データが展開される。

【0068】

なお、図示は省略するが、データ記憶領域７２には、表示画像データを生成するための画像生成データ、ユーザの操作入力に応じた操作データ、および管理サーバ２の制御プログラムの実行に必要な他のデータが記憶される。
＜システム動作例＞

【0069】

以下、図６ないし図２４を参照して演算処理システム１の動作例を説明する。ユーザの操作入力に応じてユーザ端末３が管理サーバ２にアクセスすると、ユーザ端末３の表示部３３（ディスプレイ）には、種々の操作画面が表示される。以下、図６ないし図２４を参照して説明する各操作画面は、ユーザ端末３のディスプレイに表示されるものとする。

【0070】

図６に示す初期画面１００は、ユーザ端末３が管理サーバ２にアクセスした場合に、最初に表示される操作画面の一例である。初期画面１００は、ユーザの情報を登録する第１ユーザ登録部（ユーザエントリー部）１０１と、登録済のユーザがシステムにログインするためのユーザログイン部１０２とを含む。第１ユーザ登録部１０１およびユーザログイン部１０２のそれぞれは、ソフトウェアキー（操作ボタン）として機能する。以下、ソフトウェアキーを「ボタン」という。

【0071】

第１ユーザ登録部１０１が操作されると、図７に示すような第１会員登録画面１１０が表示される。第１会員登録画面１１０は、ユーザ識別情報の入力を受け付けるための画面であり、メールアドレスまたは任意の会員ＩＤを入力する識別情報入力部１１１と、ユーザの氏名を入力する氏名入力部１１２と、ユーザの生年月日を入力する生年月日入力部１１３と、ユーザの性別を入力する性別入力部１１４と、登録実行ボタン１１５とを含む。

【0072】

識別情報入力部１１１、氏名入力部１１２、生年月日入力部１１３および性別入力部１１４は、テキストの入力を受け付けるテキストボックス（入力欄）である。ただし、生年月日入力部１１３および性別入力部１１４は、プルダウンメニューでもよい。

【0073】

第１会員登録画面１１０において、各入力部１１１～１１４に必要な情報が入力された状態で、登録実行ボタン１１５が操作されると、ユーザ識別情報を含むユーザ管理データがユーザ管理データＤＢ５４に登録される。続いて、パスワードの入力を受け付けるためのパスワード入力画面が表示され、パスワード入力画面でパスワードが入力されると、入力されたパスワードがユーザ認証情報として、ユーザ識別情報に紐づけられて登録される。ユーザ識別情報およびユーザ認証情報が登録されると、初期画面１００に戻る。ユーザ識別情報およびユーザ認証情報が登録されたユーザは、本システムにおいて登録ユーザとして取り扱われる。

【0074】

初期画面１００においてユーザログイン部１０２が操作されると、図８に示すようなログイン画面１２０が表示される。ログイン画面１２０は、ユーザ認証をするための画面であり、ユーザ識別情報の入力を受け付ける識別情報入力部１２１と、ユーザ認証情報の入力を受け付ける認証情報入力部１２２と、ログイン実行ボタン１２３とを含む。

【0075】

各入力部１２１、１２２に必要な情報が入力された状態で、ログイン実行ボタン１２３が操作されると、ユーザ認証が行われる。ユーザ認証では、識別情報入力部１２１に入力されたユーザ識別情報および認証情報入力部１２２に入力されたユーザ認証情報の組み合わせと、ユーザ管理データＤＢ５４に登録されているユーザ識別情報およびユーザ認証情報の組み合わせとが一致する場合には、ユーザ認証が成功し、ログインが許可される。

【0076】

ログインが許可されると、図９に示すようなメイン画面１３０が表示される。メイン画面１３０は、本システムのメインメニューおよび各メニューに対応する操作ボタンを表示し、各操作ボタンが操作されるとそれに応じた画面に移行する。

【0077】

メイン画面１３０は、第２ユーザ登録ボタン１３１と、ユーザ識別情報表示部１３２と、会員レベル表示部１３３と、ステータス表示部１３４と、実行環境設定ボタン１３５と，学習済モデル検索ボタン１３６と、アノテーション管理ボタン１３７と、学習用データ生成ボタン１３８と、学習済モデル登録ボタン１３９と、学習済モデル実行ボタン１４０と、計算結果比較ボタン１４１と、領収証発行ボタン１４２とを含む。

【0078】

第２ユーザ登録ボタン１３１が操作されると、図１０に示すような第２会員登録画面１５０が表示される。第２会員登録画面１５０は、有料会員としての情報（有料会員情報）を登録するための画面であり、決済方式選択部１５１と、カード種類選択部１５２と、カード情報入力部１５３と、登録実行ボタン１５４とを含む。

【0079】

決済方式選択部１５１は、月極決済（月払い）か年間決済（年払い）かを選択するためのラジオボタンを含み、ユーザはいずれか一方の決済方式を選択することができる。カード種類選択部１５２は、プルダウンメニューによってクレジットカードの種類（ブランド）を選択することができる。カード情報入力部１５３は、カード情報（カード番号）の入力を受け付けるテキストボックスである。なお、決済方法は、クレジットカード払いに限定されず、口座引き落としまたは電子マネー払い等の他の決済方法でもよい。

【0080】

第１会員登録画面１１０において、決済方式、カード種類およびカード情報が入力された状態で、登録実行ボタン１５４が操作されると、決済が可能かどうかの審査が開始され、決済が可能と判断されると（審査を通過すると）、有料会員情報がユーザ管理データＤＢ５４に登録される。

【0081】

図９に戻って、ユーザ識別情報表示部１３２には、ログイン中の登録ユーザ（以下、単に「ユーザ」ということがある。）の識別情報が表示される。会員レベル表示部１３３には、ユーザの会員レベル、すなわち無料会員、有料会員の別を示す情報が表示される。ステータス表示部１３４には、現在の演算処理システム１のステータス情報が表示される。ステータス情報は、仮想マシンの性能および使用時間、学習中モデルの件数、アノテーションの処理件数、ログイン中のユーザの学習済モデルの参照数および利用数、ログイン中のユーザ以外の学習済モデルの利用状況一覧などの情報を含む。

【0082】

学習済モデル検索ボタン１３６は、会員レベルにかかわらず（無料会員であっても）、利用可能である。一方、実行環境設定ボタン１３５、アノテーション管理ボタン１３７、学習用データ生成ボタン１３８、学習済モデル登録ボタン１３９、学習済モデル実行ボタン１４０、計算結果比較ボタン１４１、および領収証発行ボタン１４２は、有料会員のみ利用可能である。有料会員のみ利用可能な操作ボタン１３５，１３７～１４２のそれぞれには、有料会員のみが利用可能であることを示すマーク画像１３５Ａ，１３７Ａ～１４２Ａが表示される。また、無料会員のメイン画面１３０では、有料会員のみ利用可能な操作ボタン１３５，１３７～１４２のそれぞれは、無効化されており、操作できないようにされる。

【0083】

実行環境設定ボタン１３５が操作されると、図１１に示すような実行環境設定画面１６０が表示される。実行環境設定画面１６０は、仮想マシン４１、４２が学習済モデルに従って演算を行う際の実行環境を設定するための画面であり、記憶領域設定部１６１と、演算能力設定部１６２と、確保条件設定部１６３と、登録済環境表示部１６４と、利用実績表示部１６５とを含む。

【0084】

記憶領域設定部１６１は、仮想マシン４１、４２が学習済モデルに従って演算を行う際のデータを保管する、ユーザが利用可能な記憶領域（占有領域）を設定（変更または追加）するために設けられる。記憶領域設定部１６１には、ユーザの現在の占有領域の容量情報と、空き領域（追加可能領域）の容量情報とが表示される。記憶領域設定部１６１では、追加可能領域の容量を上限として、占有領域を追加拡張する容量（追加容量）をプルダウンメニューによって選択できる。

【0085】

また、追加容量が選択されると、追加容量に応じたコストが表示される。領域追加によるコストは、月払いの場合のコストと、年払いの場合のコストとが表示され、購入単位をプルダウンメニューによって選択できるようになっている。

【0086】

記憶領域設定部１６１には、購入ボタン１６６が設けられており、追加容量および購入単位が選択された状態で購入ボタン１６６が操作されると、追加容量に応じて、ユーザの占有領域が追加拡張される。

【0087】

演算能力設定部１６２は、仮想マシン４１、４２が学習済モデルに従って演算を行う際の演算能力を設定するために設けられる。演算能力設定部１６２では、演算実行時のＯＳ、メモリ容量、ＣＰＵのコア数および周波数、ＧＰＵのコア数および周波数のそれぞれをプルダウンメニューによって選択できる。

【0088】

確保条件設定部１６３は、仮想マシン４１、４２を確保する条件を設定するために設けられる。確保条件設定部１６３は、占有仮想マシン４１を確保するか共有仮想マシン４２を確保するかを選択するためのラジオボタンを含む。確保条件設定部１６３には、確保する仮想マシンの種類に応じた、月払いの場合のコストと、年払いの場合のコストとが表示され、購入単位をプルダウンメニューによって選択できるようになっている。また、確保条件設定部１６３には、購入ボタン１６７が設けられており、購入ボタン１６７が操作されると、選択された種類の仮想マシン４１が確保される。

【0089】

登録済環境表示部１６４には、ユーザが登録した実行環境の情報が一覧表示される。実行環境の情報は、管理番号、演算能力（メモリ、ＣＰＵのコア数、ＧＰＵのコア数）、仮想マシンの確保条件、単価、利用状態（利用状況）、累積使用時間、および実行経過時間などの情報を含む。また、登録済環境表示部１６４には、利用可能な実行環境の情報を表示させるための利用可能環境表示ボタン１６８と、利用可能な実行環境を除く実行環境の情報（登録履歴情報）を表示させるための登録履歴情報表示ボタン１６９とが設けられる。

【0090】

利用実績表示部１６５には、ユーザの利用実績の情報が一覧表示される。利用実績の情報は、過去にシステムを利用（演算を実行）した際の、時期（年月日）、管理番号、請求費用、購入日、支払い完了日、演算時間、決済方式（月払い、年払いの別）、契約内容（月単位、年単位、従量課金の別）および単価などの情報を含む。

【0091】

図９に戻って、学習済モデル検索ボタン１３６が操作されると、図１２に示すような学習済モデル検索画面１７０が表示される。学習済モデル検索画面１７０は、演算処理システム１に登録されている学習済モデルを検索するための画面である。学習済モデル検索画面１７０は、作成者条件設定部１７１と、分析対象条件設定部１７２と、適用分野条件設定部１７３と、その他条件設定部１７４と、検索実行ボタン１７５と、結果表示部１７６と、概要表示ボタン１７７と、確認登録ボタン１７８と、詳細表示ボタン１７９と、検証情報表示ボタン１８０とを含む。

【0092】

作成者条件設定部１７１は、作成者に応じて、検索対象となる学習済モデルの条件（モデル検索条件）の一部である作成者条件を設定するために設けられる。この作成者条件設定部１７１は、作成者の属性に応じてチェックボックスが設けられる。チェックマークが表示されている場合には検索対象となり、チェックマークが表示されていない場合には検索対象外となる。作成者の属性としては、ユーザ自身、およびユーザ以外の作成者などがある。ただし、ユーザ以外の作成者が作成した学習済モデルのうち、検索対象となるのは公開されている学習済モデルに限定される。

【0093】

分析対象条件設定部１７２は、分析対象の種類に応じて、モデル検索条件の一部である分析対象条件を設定するために設けられ、分析対象の種類に応じてチェックボックスが設けられる。分析対象としては、画像、数値、およびテキストなどがある。

【0094】

適用分野条件設定部１７３は、適用分野の種類に応じて、モデル検索条件の一部である適用分野条件を設定するために設けられ、適用分野の種類に応じてチェックボックスが設けられる。適用分野としては、医療分野、画像認識分野、および汎用分野などがある。また、医療分野および汎用分野は、細分化されている。たとえば、医療分野は、肺の画像診断分野、眼底の画像診断分野、認知症予測分野、および症例予測分野を含み、汎用分野は、マルチ分類分野、および線形予測分野を含む。

【0095】

その他条件設定部１７４は、モデル検索条件の他の条件を設定するために設けられ、各条件をプルダウンメニューによって選択できるようになっていたり、テキストボックスが設けられていたりする。その他の条件としては、学習済モデルのＯＳ、プログラムの種類、アルゴリズムの種類、初回リリース年、最新リリース年、および学習済モデルに関するキーワードなどがある。

【0096】

作成者条件設定部１７１と、分析対象条件設定部１７２と、適用分野条件設定部１７３と、その他条件設定部１７４は、ユーザの操作入力に従ってモデル検索条件を指定する検索条件指定手段として機能する。
検索実行ボタン１７５が操作されると、モデル検索条件に従って、学習済モデルが検索される。検索結果は、結果表示部１７６に一覧表示される。

【0097】

結果表示部１７６に表示される検索結果には、モデル検索条件に合致した学習済モデルの各種情報が表示される。結果表示部１７６に表示される学習済モデルの情報は、公開者（学習済モデルを公開したユーザ）ＩＤ、学習済モデルの名称とＩＤ、ＯＳとプログラムの種類、アルゴリズムの種類、適用分野、ソースコードの種類、バージョン番号、およびリリース時期の情報などを含む。結果表示部１７６には、バリエーション違いの同じ名称の学習済モデルが表示されることがあるが、学習済モデルのＩＤ、バージョン番号、リリース時期などが異なるため、識別可能である。

【0098】

概要表示ボタン１７７が操作されると、結果表示部１７６でユーザが選択した学習済モデルの概要情報が表示され、詳細表示ボタン１７９が操作されると、結果表示部１７６でユーザが選択した学習済モデルの詳細情報（少なくとも概要情報よりも情報量が多い）が表示され、検証情報表示ボタン１８０が操作されると、結果表示部１７６でユーザが選択した学習済モデルの検証情報（検証の有無および信頼性のスコアなど）が表示される。ただし、詳細表示ボタン１７９、および検証情報表示ボタン１８０は、有料会員のみ利用可能である。

【0099】

確認登録ボタン１７８が操作されると、図１３に示すようなバージョン確認登録画面１９０が表示される。バージョン確認登録画面１９０は、ユーザが選択した学習済モデルのバージョン情報の確認と、バージョン毎の学習済モデルの利用登録を行うための画面である。バージョン確認登録画面１９０は、公開者ＩＤを表示する公開者情報表示部１９１と、学習済モデルの名称を表示するモデル名称表示部１９２と、学習済モデルのＩＤを表示するモデルＩＤ表示部１９３と、変更履歴表示部１９４と、モデル変更履歴確認登録ボタン１９５と、データ変更履歴確認ボタン１９６とを含む。

【0100】

変更履歴表示部１９４には、学習済モデルの情報がバージョン毎に一覧表示される。変更履歴表示部１９４に表示される学習済モデルの情報は、バージョン番号、プログラムの変更内容、利用した学習用データの識別情報、登録状況、および価格の情報などを含む。

【0101】

変更履歴表示部１９４でいずれかのバージョンが選択された状態で、モデル変更履歴確認登録ボタン１９５が操作されると、図１４に示すようなモデル変更履歴確認画面２００が表示される。

【0102】

モデル変更履歴確認画面２００は、選択されたバージョンの学習済モデルの変更履歴の確認および利用登録を行うための画面である。モデル変更履歴確認画面２００は、バージョン番号を表示するバージョン番号表示部２０１と、当該バージョン生成時の変更内容の概要を表示する概要表示部２０２と、当該バージョンの学習済モデルの価格を表示する価格表示部２０３と、詳細表示部２０４と、使用許諾確認ボタン２０５と、利用登録ボタン２０６とを含む。

【0103】

詳細表示部２０４には、当該バージョン生成時の具体的な変更内容が表示される。詳細表示部２０４には、たとえば、変更前のバージョンに対する差異点（変更した点、追加した点、削除した点）の説明文または登録者のコメントなどが表示される。

【0104】

使用許諾確認ボタン２０５が操作されると、当該バージョンの学習済モデルの使用許諾情報が表示される。利用登録ボタン２０６が操作されると、当該バージョンの学習済モデルが利用登録される。このように、本実施形態の演算処理システム１では、最新のバージョンだけでなく、多様なバリエーション（バージョン）の学習済モデルを検索し、利用登録することができ、ユーザの多様なニーズに対応することができる。

【0105】

図１３に戻って、変更履歴表示部１９４でいずれかのバージョンが選択された状態で、データ変更履歴確認ボタン１９６が操作されると、図１５に示すようなデータ変更履歴確認画面２１０が表示される。

【0106】

データ変更履歴確認画面２１０は、選択されたバージョンの学習済モデルの生成時に利用された学習用データの変更履歴を確認するための画面である。データ変更履歴確認画面２１０は、学習用データの名称を表示するデータ名表示部２１１と、学習用データの識別情報（識別ＩＤ）を表示するデータ識別情報表示部２１２と、学習用データの種別を表示するデータ種別表示部２１３と、変更履歴表示部２１４と、詳細確認ボタン２１５とを含む。

【0107】

変更履歴表示部２１４には、学習用データの変更時の情報がバージョン毎に一覧表示される。たとえば、学習用データの変更時の情報は、バージョン番号、解像度、時間または枚数、データ変更の態様（初版、追加、削除の別）、および登録日（生成日または更新日）の情報などを含む。

【0108】

変更履歴表示部２１４でいずれかのバージョンが選択された状態で、詳細確認ボタン２１５が操作されると、図１６に示すような変更データ確認画面２２０が表示される。

【0109】

変更データ確認画面２２０は、選択されたバージョンの学習用データの生成時の変更内容を確認するための画面である。変更データ確認画面２２０は、バージョン番号を表示するバージョン番号表示部２２１と、具体的な変更内容を示す変更内容表示部２２２とを含む。変更内容表示部２２２には、たとえば、変更前のバージョンに対する差異点（変更した点、追加した点、削除した点）の説明文または登録者のコメントなどが表示される。

【0110】

以上のように、図１２～図１６では、演算処理システム１に登録されている学習済モデルを検索する方法を説明したが、これと同様に、演算処理システム１に登録されている学習用データも検索することができる。簡単に説明すると、学習用データの検索画面を表示して、学習用データを検索するための学習用データ検索条件の指定を受け付け、登録されている複数の学習用データから学習用データ検索条件に該当する学習用データを検索し、ヒットした学習用データの情報が表示される。このとき、ヒットした学習用データのバリエーションのデータが存在する場合には、ヒットした学習用データに加えて、バリエーションのデータの情報も表示される。

【0111】

図９に戻って、アノテーション管理ボタン１３７が操作されると、図１７に示すようなアノテーション管理画面２３０が表示される。アノテーション管理画面２３０は、学習用データ（データセット毎）に設定されるタグ情報を管理するための画面である。アノテーション管理画面２３０は、未設定データ表示部２３１と、編集中データ表示部２３２と、設定済データ表示部２３３と、セルフ設定ボタン２３４と、外部委託ボタン２３５とを含む。

【0112】

未設定データ表示部２３１には、未設定データの情報が一覧表示される。未設定データとは、元データに二次加工処理が施されたデータのうち、タグ情報が設定されていないデータのことをいう。未設定データの情報は、たとえば、データ名称、データＩＤ、およびデータボリューム（データサイズ）の情報などを含む。また、未設定データ表示部２３１に対応してデータ確認ボタン２３６が表示されている。未設定データ表示部２３１でいずれかの未設定データが選択された状態でデータ確認ボタン２３６が操作されると、未設定データの具体的な内容が表示される。

【0113】

編集中データ表示部２３２は、タグ情報の編集中の学習用データ（編集中データ）の情報が一覧表示される。編集中データの情報は、たとえば、データ名称、データＩＤ、データボリューム、編集区分（自身、外部委託の別）、および委託先の情報などを含む。また、編集中データ表示部２３２に対応して状態確認ボタン２３７が表示されている。編集中データ表示部２３２でいずれかの編集中データが選択された状態で状態確認ボタン２３７が操作されると、編集中データの状態（編集作業の進捗状況など）が表示される。

【0114】

設定済データ表示部２３３には、タグ情報が設定済のデータ（設定済データ）、すなわち学習用データの情報が一覧表示される。設定済データの情報は、たとえば、データ名称、データＩＤ、データボリューム、編集区分、および委託先の情報などを含む。また、設定済データ表示部２３３に対応してデータ確認ボタン２３８が表示されている。設定済データ表示部２３３でいずれかの設定済データが選択された状態でデータ確認ボタン２３８が操作されると、設定済データの具体的な内容が表示される。なお、設定済データは、学習用データとして学習用データＤＢ５１に登録される。

【0115】

セルフ設定ボタン２３４が操作されると、図１８に示すようなセルフ編集画面２４０が表示される。セルフ編集画面２４０は、ユーザ自身で学習用データのアノテーションの設定を行うための画面であり、未設定データ表示部２４１と、編集中データ表示部２４２と、設定済データ表示部２４３とを含む。

【0116】

未設定データ表示部２４１には、未設定データの情報が一覧表示され、編集中データ表示部２４２には、編集中データの情報が一覧表示され、設定済データ表示部２４３には、設定済データの情報が一覧表示される。各データ表示部２４１，２４２，２４３に表示されるデータは、個別に選択することができ、いずれかのデータを選択することによって、データの内容が表示されたり、アノテーション設定を行うための作業画面（アノテーション付与画面）が表示されたりする。

【0117】

また、設定済データ表示部２４３に表示される設定済データについて、再度アノテーション設定を行うこともできる。この場合、再度のアノテーション設定を行う前後の設定済データは、別のデータとして扱われる。

【0118】

図１７に戻って、外部委託ボタン２３５が操作されると、図１９に示すような外部委託管理画面２５０が表示される。外部委託管理画面２５０は、アノテーション設定を外部委託した学習用データを管理するための画面である。外部委託管理画面２５０は、未設定データ表示部２５１と、委託先選択部２５２と、見積依頼データ表示部２５３と、発注済データ表示部２５４と、納品済データ表示部２５５と、記憶領域確認部２５６とを含む。

【0119】

未設定データ表示部２５１には、未設定データの情報が一覧表示される。また、未設定データ表示部２５１に対応してデータ確認ボタン２５７が表示されている。未設定データ表示部２５１でいずれかの未設定データが選択された状態でデータ確認ボタン２５７が操作されると、未設定データの具体的な内容が表示される。

【0120】

委託先選択部２５２には、委託可能な委託先（外部事業者）候補の情報が一覧表示される。委託先候補の情報は、たとえば、委託先ＩＤ、委託先名称（事業者名）、サービス名称、および価格の情報などを含む。また、委託先選択部２５２に対応して、仕様記入欄２５８および見積依頼ボタン２５９が表示されている。未設定データが選択され、かつ、委託先選択部２５２で委託先候補のいずれかが選択された状態で、プルダウンメニューから希望納期を選択し、見積依頼ボタン２５９が操作されると、選択された委託先候補に見積依頼を行う。このとき、仕様記入欄２５８には、見積りの作成に関する仕様情報（申し送り情報）を記入することができる。

【0121】

見積依頼データ表示部２５３には、見積依頼中の案件の情報が一覧表示される。見積依頼中の案件の情報は、たとえば、委託先名称、仕様、未設定データＩＤ、見積期限、ステータス、および価格の情報などを含む。また、見積依頼データ表示部２５３に対応して、見積処理部２６０が設けられる。見積処理部２６０は、各案件の見分内容を確認するための見分内容確認ボタンと、各案件の見分を取り消す取消ボタンと、納期を設定するプルダウンメニューと、アノテーション設定を発注する発注ボタンとを含む。見積依頼中の案件が選択された状態で、発注ボタンが操作されると、選択された委託先にアノテーション設定の依頼を行う。

【0122】

発注済データ表示部２５４には、アノテーション設定の依頼中（発注済）の案件の情報が一覧表示される。発注済の案件の情報は、たとえば、委託先名称、仕様、未設定データＩＤ、納期、ステータス（発注済、キャンセル中の別）、および価格の情報などを含む。また、発注済データ表示部２５４に対応して、発注処理部２６１が設けられる。発注処理部２６１は、各案件の発注内容を確認するための発注内容確認ボタンと、各案件の依頼を取り消す取消ボタンとを含む。

【0123】

納品済データ表示部２５５には、納品済の案件の情報が一覧表示される。納品済の案件の情報は、たとえば、委託先名称、仕様、データＩＤ、納期、納品日、および価格の情報などを含む。また、納品済データ表示部２５５に対応して、納品処理部２６２が設けられる。納品処理部２６２は、タグ情報が設定された学習用データを含む納品済のデータの内容を確認するための納品内容確認ボタンと、納品済の案件の明細を確認する明細確認ボタンと、納品済の案件の検収・決済を行う検収・決済ボタンとを含む。納品済の案件の検収が行われると、納品済のデータに含まれる学習用データが、学習用データＤＢ５１に登録される。

【0124】

記憶領域確認部２５６には、ユーザの占有領域の情報が表示される。また、記憶領域確認部２５６に対応して、ユーザの占有領域の容量を変更するための容量変更ボタン２６３が設けられる。

【0125】

図９に戻って、学習用データ生成ボタン１３８が操作されると、図２０に示すような学習用データ管理画面２７０が表示される。学習用データ管理画面２７０は、学習用データＤＢ５１に登録されている学習用データを管理するための画面である。学習用データ管理画面２７０は、学習用データ表示部２７１と、利用者確認ボタン２７２とを含む。

【0126】

学習用データ表示部２７１には、学習用データＤＢ５１に登録されている学習用データの情報が一覧表示される。学習用データの情報は、たとえば、データ名称、データＩＤ、データボリューム、アノテーション設定区分（自身、外部委託の別）、公開区分（公開、非公開の別）、利用回数、および価格の情報などを含む。学習用データ表示部２７１で公開区分が「公開」の学習用データが選択された状態で利用者確認ボタン２７２が操作されると、図２１に示すような利用者確認画面２８０が表示される。

【0127】

利用者確認画面２８０は、公開した学習用データの利用者を確認するための画面である。利用者確認画面２８０は、学習用データの名称およびＩＤを含む学習用データの識別情報を表示するデータ識別情報表示部２８１と、利用情報表示部２８２と、利用者連絡ボタン２８３とを含む。

【0128】

利用情報表示部２８２には、学習用データの利用情報が一覧表示される。学習用データの利用情報は、利用機会毎に表示され、利用者のＩＤ、利用日、評価スコア、用途、およびコメントの有無の情報などを含む。利用情報表示部２８２でコメントが「有」の利用機会が選択された状態で利用者連絡ボタン２８３が操作されると、図２２に示すような連絡画面２９０が表示される。

【0129】

連絡画面２９０は学習用データの利用者とコミュニケーションをとるための画面である。連絡画面２９０は、学習用データの利用者の氏名またはＩＤなどを含む利用者の識別情報を表示する利用者情報表示部２９１と、メッセージ表示部２９２と、メッセージ入力部２９３と、メッセージ送信ボタン２９４とを含む。

【0130】

メッセージ表示部２９２は、利用者からのメッセージと、ログイン中のユーザ（学習用データの提供元のユーザ）からのメッセージとをチャット形式で表示する。メッセージ入力部２９３は、新たに送信するメッセージの入力を受け付けるテキストボックスである。メッセージ送信ボタン２９４が操作されると、メッセージ入力部２９３に入力されているメッセージが送信され、メッセージ表示部２９２に追加表示される。

【0131】

図９に戻って、学習済モデル登録ボタン１３９が操作されると、図２３に示すような学習済モデル登録画面３００が表示される。学習済モデル登録画面３００は、学習済モデルを登録するための画面である。学習済モデル登録画面３００は、登録部３０１と、登録モデル表示部３０２と、検証部３０３とを含む。

【0132】

登録部３０１は、所望の学習済モデルの学習条件（生成条件）を設定し、学習条件に従って生成した学習済モデルを登録するために設けられる。登録部３０１では、学習済モデルの名称の入力を受け付けるテキストボックスが設けられており、また、複数の学習条件をプルダウンメニューによって選択できるようになっている。学習条件としては、ＯＳ、プログラムタイプ、適用分野、ソースコード、バージョン番号、価格、公開区分、およびデータ学習モードなどがある。

【0133】

これに加えて、利用する学習用データを検索して登録するための学習用データ検索ボタンが設けられていてもよい。学習用データ検索ボタンが操作されると、学習用データの検索画面が表示され、学習用データ検索条件を指定して学習用データを検索することができる。学習用データの検索画面には、ヒットした学習用データに加えて、バリエーションのデータの情報も表示され、各学習用データを個別に利用登録することができる。たとえば、肺がんと診断された後の学習用データが検索でヒットした場合には、これのバリエーションとして肺がんと診断される前の学習用データが表示されることがあり、肺がんと診断される前の学習用データを利用登録して、肺がんの兆候の有無を検出する学習済モデルを生成することができる。

【0134】

また、登録部３０１は、プログラムを外部コンピュータまたは外部記憶媒体などからアップロードするためのアップロードボタン３０４と、登録部３０１で設定された学習条件で学習済モデルを生成して登録する登録ボタン３０５とを含む。

【0135】

登録モデル表示部３０２には、学習済モデルＤＢ５３に登録されている学習済モデルのうち、ユーザが利用登録した学習済モデル（登録済の学習済モデル）の情報が一覧表示される。登録済の学習済モデルの情報は、モデルＩＤ、モデル名称、ＯＳ、プログラムタイプ、アルゴリズムの種類、適用分野、ソースコード、バージョン番号、登録日、検証日、検証結果、自動バージョンアップ内容、および学習用データＩＤなどの情報を含む。登録モデル表示部３０２に表示される登録済の学習済モデルは、個別に選択することができる。また、登録モデル表示部３０２に対応して、登録モデル処理部３０６が設けられる。登録モデル処理部３０６は、登録済の学習済モデルの詳細内容を確認するための詳細内容確認ボタンと、登録済の学習済モデルを削除（登録を解除）する削除ボタンと、登録済の学習済モデルに紐づけられた学習用データの内容を表示する学習用データ表示ボタンと、登録済の学習済モデルのエラー確認を行うためのエラー確認ボタンとを含む。

【0136】

検証部３０３は、登録済の学習済モデルを検証するために設けられる。検証部３０３は、検証を実行する検証実行部３０７と、各種データを確認するためのデータ確認部３０８とを含む。検証実行部３０７は、登録済の学習済モデルの検証を実行する実行ボタンと、検証結果を表示する検証結果参照ボタンとを含む。データ確認部３０８は、登録済の学習済モデルに紐づけられた学習用データの内容を表示する学習用データ表示ボタンと、検証済のデータ（検証データ）を表示する検証データ表示ボタンとを含む。

【0137】

図９に戻って、学習済モデル実行ボタン１４０が操作されると、図２４に示すような演算処理画面３１０が表示される。演算処理画面３１０は、学習済モデルを利用した演算に関する各種処理を行うための画面である。演算処理画面３１０は、演算用データ表示部３１１と、登録済モデル表示部３１２と、利用可能マシン表示部３１３と、待機ジョブ表示部３１４と、処理中ジョブ表示部３１５と、処理結果表示部３１６と、処理結果確認ボタン３１７と、学習済モデル登録ボタン３１８とを含む。

【0138】

演算用データ表示部３１１には、演算用データＤＢ５５に登録されている演算用データの情報が一覧表示される。演算用データの情報は、データＩＤ、データ名称、データ種別、データ件数、およびデータサイズなどの情報を含む。また、演算用データ表示部３１１に対応して、演算用データ処理部３１９が設けられる。演算用データ処理部３１９は、ユーザの占有領域を変更するための記憶領域変更ボタンと、演算用データを外部コンピュータまたは外部記憶媒体などからアップロードするためのアップロードボタンと、演算に用いる演算用データを選択するための選択ボタンとを含む。

【0139】

登録済モデル表示部３１２には、ユーザが利用登録している登録済の学習済モデルの情報が一覧表示される。学習済モデルの情報は、モデルＩＤ、モデル名称、学習済モデルのＯＳ、プログラムの種類、アルゴリズムの種類、適用分野、バージョン番号、および学習用データＩＤなどの情報を含む。また、登録済モデル表示部３１２に対応して、登録済モデル処理部３２０が設けられる。登録済モデル処理部３２０は、登録済の学習済モデルの詳細内容を表示するための詳細内容表示ボタンと、演算に用いる学習済モデルを選択するための選択ボタンとを含む。

【0140】

利用可能マシン表示部３１３には、現在利用可能な仮想マシン４１、４２の情報が一覧表示される。仮想マシン４１、４２の情報は、マシン番号、メモリ容量、ＣＰＵのコア数、確保条件（月または年の別）、稼働状態（待機中、未使用など）、累積使用時間、および実行経過時間などの情報を含む。利用可能マシン表示部３１３に表示される仮想マシン４１、４２は、個別に選択することができる。また、利用可能マシン表示部３１３に対応して、演算予約ボタン３２１が設けられており、プルダウンメニューから実行日および実行時間を指定して、演算予約ボタン３２１が操作されると、選択された学習済モデルに従って、選択された演算用データを用いて演算を行う演算ジョブが予約される。

【0141】

待機ジョブ表示部３１４には、予約済であって未実行の演算ジョブの情報が表示される。また、処理中ジョブ表示部３１５には、実行中の演算ジョブの情報が表示される。演算ジョブの情報は、演算用データ識別情報（演算用データの名称）、実行予定日時、仮想マシン識別情報（実行予定マシン番号）、および学習済モデル識別情報（学習済モデルＩＤ）などの情報を含む。また、待機ジョブ表示部３１４に対応して、未実行の演算ジョブの予約を取り消すための取消ボタン３２２が設けられる。

【0142】

処理結果表示部３１６は、実行済の演算ジョブの処理結果の情報が一覧表示される。演算ジョブの処理結果の情報は、演算用データ識別情報（演算用データの名称）、実行予定日時、仮想マシン識別情報（実行予定マシン番号）、学習済モデル識別情報（学習済モデルＩＤ）、および処理結果の概要（正常終了またはエラー発生の別）などの情報を含む。処理結果表示部３１６に表示される処理結果は、演算ジョブ毎に個別に選択することができ、処理結果が選択された状態で、処理結果確認ボタン３１７が操作されると、処理結果の具体的な内容が表示される。
学習済モデル登録ボタン３１８が操作されると、図２３に示すような学習済モデル登録画面３００が表示される。

【0143】

図９に戻って、計算結果比較ボタン１４１が操作されると、演算処理結果の比較を行うことができる。また、領収証発行ボタン１４２が操作されると、本システムの利用に係る領収証を発行することができる。
＜更新データ登録時の再学習＞

【0144】

上述したように、学習用データの登録、学習済モデルの登録については、基本的にはユーザが手動で行うことになる。ただし、学習用データが登録されたときに、その学習用データの前のバージョンの学習用データ（更新前データ）が学習済モデルＤＢ５３に既に登録されていることがある。この場合、登録される学習用データは、既に登録されている更新前データに対する更新データとなる。更新データが登録された場合には、更新前データと更新データとは区別可能に登録される。

【0145】

また、更新前データを利用した学習済モデル（更新前の学習済モデル）が存在する場合には、更新前の学習済モデルが更新データで自動的に再学習され、更新後の学習済モデルが自動生成される。図２５は管理サーバ２の再学習動作のフローチャート図である。以下、図２５を参照して再学習動作を説明する。

【0146】

まず、新たに学習用データが登録されると（ステップＳ１）、学習用データＤＢ５１が参照されて（ステップＳ２）、ステップＳ１で登録された学習用データが更新データかどうかが判断される（ステップＳ３）。すなわち、ステップＳ１で登録された学習用データの前のバージョンの学習用データが存在するかどうかが判断される。

【0147】

ステップＳ１で登録された学習用データが更新データでなければ（ステップＳ３：ＮＯ）、新規な学習用データとして学習用データＤＢ５１に登録される（ステップＳ４）。一方、ステップＳ１で登録された学習用データが更新データであれば（ステップＳ３：ＹＥＳ）、更新前データの利用実績があるか、すなわち、更新前データを利用した更新前の学習済モデルが存在するかどうかが判断される（ステップＳ５）。

【0148】

更新前データの利用実績がある場合には（ステップＳ５：ＹＥＳ）、更新前データを利用した更新前の学習済モデルのデータを読み出し（ステップＳ６）、更新データを利用して更新前の学習済モデルに自動再学習処理が実行され（ステップＳ７）、自動再学習処理によって生成された新たな学習済モデルが更新前の学習済モデルとは区別されて学習済モデルＤＢ５３に登録され（ステップＳ８）、更新データが更新前データとは区別されて学習用データＤＢ５１に登録され（ステップＳ９）、再学習動作が終了する。また、更新前データの利用実績が無い場合には（ステップＳ５：ＮＯ）、更新データが更新前データとは区別されて学習用データＤＢ５１に登録され（ステップＳ９）、再学習動作が終了する。

【0149】

以上の構成および動作により、互いに異なる条件で機械学習した複数の学習済モデルが生成され、複数の学習済モデルのデータのそれぞれが、機械学習で用いた学習用データと紐づけられて、区別可能に登録されるので、ユーザの多様なニーズに対応できるように学習済モデルのデータを管理し、ユーザの利便性を向上させることができる。

【0150】

また、区別可能に登録された複数の学習済モデルのデータのそれぞれを、ユーザが指定したモデル検索条件に従って検索することができるので、ユーザの利便性を向上させることができる。

【0151】

さらに、複数の学習済モデルのデータのそれぞれは、学習履歴のデータおよび機械学習で用いた学習用データを含むので、検索によりヒットした学習済モデルの学習履歴のデータおよび機械学習で用いた学習用データの情報をユーザに提示することができ、ユーザの利便性を向上させることができる。

【0152】

さらにまた、学習用データは、互いに異なる条件で複数生成されており、複数の学習用データのそれぞれが区別可能に登録され、学習済モデルは、複数の学習用データのうち少なくとも１つを用いて生成され、複数の学習済モデルのデータのそれぞれが、機械学習で用いた学習用データと紐づけられて、区別可能に登録されるので、ユーザの多様なニーズに対応できるように学習済モデルのデータを管理し、ユーザの利便性を向上させることができる。

【0153】

また、区別可能に登録された複数の学習用データのそれぞれを、ユーザが指定した学習用データ検索条件に従って検索することができるので、ユーザの利便性を向上させることができる。

【0154】

新たに登録された学習用データが、既に登録されている学習用データに対応する更新データである場合に、更新データに対応する学習用データを用いて生成された更新前の学習済モデルを当該更新データで再学習するので、最新のバージョンの学習済モデルを自動的に生成し、ユーザの利便性を向上させることができる。

【0155】

この発明は本実施形態に限られず他の様々な実施形態とすることができる。また、上述の実施形態で挙げた画面および具体的な構成等は一例であり、実際の製品に応じて適宜変更することが可能である。

【0156】

たとえば、上述の実施形態では、演算処理システム１の各種操作画面は、ユーザ端末３の表示部３３に表示されるようにしたが、各種操作画面は、管理サーバ２の表示部２３に表示されるようにしてもよい。

【産業上の利用可能性】

【0157】

この発明は、機械学習を用いた学習済モデルを用いて演算を行うことにより、入力に対し一定の結果を出力するような産業に利用することができる。

【符号の説明】

【0158】

１…データ管理システム
２…管理サーバ
２１…制御部
２２…入力部
２３…表示部
２４…通信部
２５…補助記憶部
３…ユーザ端末
３１…制御部
３２…入力部
３３…表示部
４…仮想マシンサーバ
４１…占有仮想マシン
４２…共有仮想マシン
５…公衆回線
５０…元データＤＢ
５１…学習用データＤＢ
５２…未学習モデルＤＢ
５３…学習済モデルデータＤＢ
５４…ユーザ管理データＤＢ
６０…学習済モデルデータ
６１…実行データ
６２…モデル情報データ
６３…学習用データ
６４…変更履歴データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】