知財求人 - 知財ポータルサイト「IP Force」
特開2024-106633機械学習のライフサイクルの管理方法、および機械学習のライフサイクルの管理システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024106633
(43)【公開日】2024-08-08
(54)【発明の名称】機械学習のライフサイクルの管理方法、および機械学習のライフサイクルの管理システム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240801BHJP
G06F 8/70 20180101ALI20240801BHJP
G06F 8/60 20180101ALI20240801BHJP
【ＦＩ】
G06N20/00
G06F8/70
G06F8/60
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023011003
(22)【出願日】2023-01-27
(71)【出願人】
【識別番号】000213297
【氏名又は名称】中部電力株式会社
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】岡本 雄司
(72)【発明者】
【氏名】追良瀬 利也
【テーマコード（参考）】
5B376
【Ｆターム（参考）】
5B376AB01
5B376DA21
(57)【要約】
【課題】ＭＬＯｐｓパイプラインの全てに精通することなくその一部の開発に容易に携われるようにする機械学習のライフサイクルの管理方法を提供する。
【解決手段】ＩＴプラットフォーム１０の記憶装置１４の第１リモートリポジトリＲＲ１には、ＭＬＯｐｓパイプライン定義ファイル２０が記憶されている。ＭＬＯｐｓパイプライン定義ファイル２０は、機械学習の開発のライフサイクルの各工程を自動化するパイプラインに関するソースコードを有する。記憶装置１４の第２リモートリポジトリＲＲ２には、編集ファイル３０が記憶されている。編集ファイル３０は、機械学習モデルの学習を自動化するためのソースコードを有する。ユーザ端末６０は、ＭＬＯｐｓパイプライン定義ファイル２０に触れることなく、編集ファイル３０を編集可能である。
【選択図】図１
【解決手段】ＩＴプラットフォーム１０の記憶装置１４の第１リモートリポジトリＲＲ１には、ＭＬＯｐｓパイプライン定義ファイル２０が記憶されている。ＭＬＯｐｓパイプライン定義ファイル２０は、機械学習の開発のライフサイクルの各工程を自動化するパイプラインに関するソースコードを有する。記憶装置１４の第２リモートリポジトリＲＲ２には、編集ファイル３０が記憶されている。編集ファイル３０は、機械学習モデルの学習を自動化するためのソースコードを有する。ユーザ端末６０は、ＭＬＯｐｓパイプライン定義ファイル２０に触れることなく、編集ファイル３０を編集可能である。
【選択図】図１
【特許請求の範囲】
【請求項1】
定義ファイルに規定されたパイプラインを実行装置に実行させるパイプライン実行工程を有し、
前記定義ファイルは、
記憶装置に記憶されて且つ、
機械学習のライフサイクルを自動化する前記パイプラインを規定するファイルを含んで且つ、前記ライフサイクルの一部を構成する工程を自動化するための前記パイプラインを規定する第２定義ファイルと、前記ライフサイクルの他の工程を自動化するための前記パイプラインを規定する第１定義ファイルとを含み、
前記第２定義ファイルを、前記第１定義ファイルに含まれるソースコードを把握することなく編集可能とした機械学習のライフサイクルの管理方法。
前記定義ファイルは、
記憶装置に記憶されて且つ、
機械学習のライフサイクルを自動化する前記パイプラインを規定するファイルを含んで且つ、前記ライフサイクルの一部を構成する工程を自動化するための前記パイプラインを規定する第２定義ファイルと、前記ライフサイクルの他の工程を自動化するための前記パイプラインを規定する第１定義ファイルとを含み、
前記第２定義ファイルを、前記第１定義ファイルに含まれるソースコードを把握することなく編集可能とした機械学習のライフサイクルの管理方法。
【請求項2】
前記記憶装置は、第１記憶装置であり、
前記第１記憶装置に記憶された前記定義ファイルのうちの前記第２定義ファイルを、前記第１記憶装置とは別の第２記憶装置に選択的に複製する複製工程と、
前記複製された前記第２定義ファイルを編集する編集工程と、
前記編集した前記第２定義ファイルを前記第１記憶装置にアップロードするアップロード工程と、を有する請求項１記載の機械学習のライフサイクルの管理方法。
前記第１記憶装置に記憶された前記定義ファイルのうちの前記第２定義ファイルを、前記第１記憶装置とは別の第２記憶装置に選択的に複製する複製工程と、
前記複製された前記第２定義ファイルを編集する編集工程と、
前記編集した前記第２定義ファイルを前記第１記憶装置にアップロードするアップロード工程と、を有する請求項１記載の機械学習のライフサイクルの管理方法。
【請求項3】
前記第２定義ファイルには、機械学習モデルの学習を実行するためのソースコードが含まれる請求項１記載の機械学習のライフサイクルの管理方法。
【請求項4】
前記第１定義ファイルには、検査工程を自動化するためのファイルが含まれ、
前記検査工程は、前記機械学習モデルの学習を実行するためのソースコードを検査する工程である請求項３記載の機械学習のライフサイクルの管理方法。
前記検査工程は、前記機械学習モデルの学習を実行するためのソースコードを検査する工程である請求項３記載の機械学習のライフサイクルの管理方法。
【請求項5】
前記第２定義ファイルには、前記検査工程におけるテスト項目を設定する設定ファイルが含まれ、
前記実行工程は、前記設定ファイルによって設定された項目に従って前記機械学習のパイプラインを前記実行装置に実行させる工程である請求項４記載の機械学習のライフサイクルの管理方法。
前記実行工程は、前記設定ファイルによって設定された項目に従って前記機械学習のパイプラインを前記実行装置に実行させる工程である請求項４記載の機械学習のライフサイクルの管理方法。
【請求項6】
前記第１定義ファイルに対するアクセス権限と、前記第２定義ファイルに対するアクセス権限とが異なっている請求項１記載の機械学習のライフサイクルの管理方法。
【請求項7】
前記第１定義ファイルは、第１リモートリポジトリに保存され、
前記第２定義ファイルは、第２リモートリポジトリに保存されている請求項６記載の機械学習のライフサイクルの管理方法。
前記第２定義ファイルは、第２リモートリポジトリに保存されている請求項６記載の機械学習のライフサイクルの管理方法。
【請求項8】
前記第２定義ファイルが前記第２リモートリポジトリに更新されることに応じて、前記機械学習のパイプラインが実行される請求項７記載の機械学習のライフサイクルの管理方法。
【請求項9】
前記ライフサイクルには、機械学習モデルの学習を実行するためのソースコードをデプロイするデプロイ工程が含まれ、
前記第１定義ファイルには、前記デプロイ工程を自動化するためのファイルが含まれる請求項１記載の機械学習のライフサイクルの管理方法。
前記第１定義ファイルには、前記デプロイ工程を自動化するためのファイルが含まれる請求項１記載の機械学習のライフサイクルの管理方法。
【請求項10】
前記第２定義ファイルには、前記機械学習の前記パイプラインの実行のトリガに対して、実行される工程を定めるための設定ファイルが含まれ、
前記設定ファイルによって設定された項目に従って前記機械学習の前記パイプラインを実行する請求項１記載の機械学習のライフサイクルの管理方法。
前記設定ファイルによって設定された項目に従って前記機械学習の前記パイプラインを実行する請求項１記載の機械学習のライフサイクルの管理方法。
【請求項11】
前記第２定義ファイルに対するアクセス権限を有して且つ前記第１定義ファイルに対するアクセス権限を有しない場合であっても、前記機械学習のパイプラインが実行される場合に、前記パイプラインの進捗状況に関する情報を提供する請求項６記載の機械学習のライフサイクルの管理方法。
【請求項12】
前記第２定義ファイルに対するアクセス権限を有して且つ前記第１定義ファイルに対するアクセス権限を有しない場合であっても、前記機械学習のパイプラインが実行される場合に、前記パイプラインのログに関する情報を提供する請求項６記載の機械学習のライフサイクルの管理方法。
【請求項13】
実行装置と、記憶装置と、を備え、
前記実行装置は、定義ファイルに規定されたパイプラインを実行するパイプライン実行処理を実行するように構成され、
前記記憶装置には、前記定義ファイルが記憶され、
前記定義ファイルは、機械学習のライフサイクルを自動化する前記パイプラインを規定するファイルを含んで且つ、前記ライフサイクルの一部を構成する工程を自動化するための前記パイプラインを規定する第２定義ファイルと、前記ライフサイクルの他の工程を自動化するための前記パイプラインを規定する第１定義ファイルとを含み、
前記第２定義ファイルを、前記第１定義ファイルに含まれるソースコードを把握することなく編集可能とした機械学習のライフサイクルの管理システム。
前記実行装置は、定義ファイルに規定されたパイプラインを実行するパイプライン実行処理を実行するように構成され、
前記記憶装置には、前記定義ファイルが記憶され、
前記定義ファイルは、機械学習のライフサイクルを自動化する前記パイプラインを規定するファイルを含んで且つ、前記ライフサイクルの一部を構成する工程を自動化するための前記パイプラインを規定する第２定義ファイルと、前記ライフサイクルの他の工程を自動化するための前記パイプラインを規定する第１定義ファイルとを含み、
前記第２定義ファイルを、前記第１定義ファイルに含まれるソースコードを把握することなく編集可能とした機械学習のライフサイクルの管理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習のライフサイクルの管理方法、および機械学習のライフサイクルの管理システムに関する。
【背景技術】
【0002】
たとえば下記非特許文献１には、機械学習モデルのライフサイクルには、機械学習モデルを開発する工程以外に様々な工程が存在することが記載されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Ｈｉｄｄｅｎ Ｔｅｃｈｎｉｃａｌ Ｄｅｂｔ ｉｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｓｙｓｔｅｍｓ（Ｄ． Ｓｃｕｌｌｅｙ， Ｇａｒｙ Ｈｏｌｔ， Ｄａｎｉｅｌ Ｇｏｌｏｖｉｎ， Ｅｕｇｅｎｅ Ｄａｖｙｄｏｖ, Ｔｏｄｄ Ｐｈｉｌｌｉｐｓ著：ＮｅｕｒＩＰＳ２０１５）
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したように、機械学習モデルのライフサイクルが様々な工程を有することから、たとえば機械学習モデルの開発者等、ライフサイクルの一部の工程を自動化するパイプラインの開発者にとって、全ての工程のパイプラインを把握することは困難である。
【課題を解決するための手段】
【0005】
以下、上記課題を解決するための手段およびその作用効果について記載する。
［１］定義ファイルに規定されたパイプラインを実行装置に実行させるパイプライン実行工程を有し、前記定義ファイルは、記憶装置に記憶されて且つ、機械学習のライフサイクルを自動化する前記パイプラインを規定するファイルを含んで且つ、前記ライフサイクルの一部を構成する工程を自動化するための前記パイプラインを規定する第２定義ファイルと、前記ライフサイクルの他の工程を自動化するための前記パイプラインを規定する第１定義ファイルとを含み、前記第２定義ファイルを、前記第１定義ファイルに含まれるソースコードを把握することなく編集可能とした機械学習のライフサイクルの管理方法である。
［１］定義ファイルに規定されたパイプラインを実行装置に実行させるパイプライン実行工程を有し、前記定義ファイルは、記憶装置に記憶されて且つ、機械学習のライフサイクルを自動化する前記パイプラインを規定するファイルを含んで且つ、前記ライフサイクルの一部を構成する工程を自動化するための前記パイプラインを規定する第２定義ファイルと、前記ライフサイクルの他の工程を自動化するための前記パイプラインを規定する第１定義ファイルとを含み、前記第２定義ファイルを、前記第１定義ファイルに含まれるソースコードを把握することなく編集可能とした機械学習のライフサイクルの管理方法である。
【0006】
上記方法では、第１定義ファイルに含まれるソースコードを把握することなく、第２定義ファイルを編集可能とする。したがって、第２定義ファイルの編集者は、機械学習のライフサイクルを自動化する一連のパイプラインの全てに精通しているわけではなくても、第２定義ファイルによって規定されるパイプラインを開発することができる。
【0007】
［２］前記記憶装置は、第１記憶装置であり、前記第１記憶装置に記憶された前記定義ファイルのうちの前記第２定義ファイルを、前記第１記憶装置とは別の第２記憶装置に選択的に複製する複製工程と、前記複製された前記第２定義ファイルを編集する編集工程と、前記編集した前記第２定義ファイルを前記第１記憶装置にアップロードするアップロード工程と、を有する上記１記載の機械学習のライフサイクルの管理方法である。
【0008】
上記方法では、編集対象である第２定義ファイルのコピーが第２記憶装置に選択的に複製される。すなわち、第１定義ファイルについては複製されることなく、第２定義ファイルが第２記憶装置に複製される。そして、第２記憶装置に記憶された第２定義ファイルが編集された後、第１記憶装置にアップロードされる。これにより、編集対象となる第２定義ファイルを編集用の記憶装置である第２記憶装置に選択的に記憶させて作業することができる。
【0009】
［３］前記第２定義ファイルには、機械学習モデルの学習を実行するためのソースコードが含まれる上記１または２記載の機械学習のライフサイクルの管理方法である。
上記方法では、機械学習モデルの学習を実行するソースコードを、第１定義ファイルのソースコードを把握することなく編集可能である。機械学習のライフサイクルは、機械学習モデルの学習のみならず、様々な工程を有する。そしてそれらすべてについて精通することは、機械学習モデルの開発者にとって負担となる。この点、上記方法では、第１定義ファイルによって定義されるパイプラインについて把握することなく、第２定義ファイルを編集できることから、機械学習モデルの開発に集中することができる。
上記方法では、機械学習モデルの学習を実行するソースコードを、第１定義ファイルのソースコードを把握することなく編集可能である。機械学習のライフサイクルは、機械学習モデルの学習のみならず、様々な工程を有する。そしてそれらすべてについて精通することは、機械学習モデルの開発者にとって負担となる。この点、上記方法では、第１定義ファイルによって定義されるパイプラインについて把握することなく、第２定義ファイルを編集できることから、機械学習モデルの開発に集中することができる。
【0010】
［４］前記第１定義ファイルには、検査工程を自動化するためのファイルが含まれ、前記検査工程は、前記機械学習モデルの学習を実行するためのソースコードを検査する工程である上記３記載の機械学習のライフサイクルの管理方法である。
【0011】
上記方法では、機械学習モデルの開発者が、検査工程を自動化するパイプラインについて把握していなくても、同開発者が検査工程を利用することができる。
［５］前記第２定義ファイルには、前記検査工程におけるテスト項目を設定する設定ファイルが含まれ、前記実行工程は、前記設定ファイルによって設定された項目に従って前記機械学習のパイプラインを前記実行装置に実行させる工程である上記４記載の機械学習のライフサイクルの管理方法である。
［５］前記第２定義ファイルには、前記検査工程におけるテスト項目を設定する設定ファイルが含まれ、前記実行工程は、前記設定ファイルによって設定された項目に従って前記機械学習のパイプラインを前記実行装置に実行させる工程である上記４記載の機械学習のライフサイクルの管理方法である。
【0012】
上記方法では、機械学習モデルの開発者が設定ファイルを設定することによって、検査工程におけるテスト項目を選択できる。したがって、機械学習モデルの開発者が、機械学習モデルの学習を実行するソースコードに、所定の項目のテストに合格しないソースコードを意図的に含める場合、その項目を検査工程から外すことができる。
【0013】
［６］前記第１定義ファイルに対するアクセス権限と、前記第２定義ファイルに対するアクセス権限とが異なっている上記１～５のいずれか１つに記載の機械学習のライフサイクルの管理方法である。
【0014】
上記方法では、機械学習モデルの開発者がアクセス権限を有する定義ファイルを第２定義ファイルに制限することができる。そのため、機械学習モデルの開発者が第１定義ファイルによって規定される工程に精通していないにもかかわらず、同開発者によって第１定義ファイルが更新されることを抑制できる。
【0015】
［７］前記第１定義ファイルは、第１リモートリポジトリに保存され、前記第２定義ファイルは、第２リモートリポジトリに保存されている上記６記載の機械学習のライフサイクルの管理方法である。
【0016】
リモートリポジトリを利用する場合、１つのリモートリポジトリに、第１定義ファイルと第２定義ファイルとを記憶すると、第２定義ファイルにアクセス権限を有する者は、第１定義ファイルにもアクセス権限を有する設定となりやすい。そのため、上記方法では、第１定義ファイルを記憶するリモートリポジトリと、第２定義ファイルを記憶するリモートリポジトリとを、互いに異なるリモートリポジトリとした。これにより、第１定義ファイルに対するアクセス権限と、第２定義ファイルに対するアクセス権限とを異ならせることができる。
【0017】
［８］前記第２定義ファイルが前記第２リモートリポジトリに更新されることに応じて、前記機械学習のパイプラインが実行される上記７記載の機械学習のライフサイクルの管理方法である。
【0018】
上記方法によれば、機械学習モデルの開発者が、第２定義ファイルを編集後、第２リモートリポジトリにプッシュすることによって、パイプラインが実行される。これにより、開発されたモデルを簡易にライフサイクルに載せることができる。
【0019】
［９］前記ライフサイクルには、機械学習モデルの学習を実行するためのソースコードをデプロイするデプロイ工程が含まれ、前記第１定義ファイルには、前記デプロイ工程を自動化するためのファイルが含まれる上記１～８のいずれか１つに記載の機械学習のライフサイクルの管理方法である。
【0020】
上記方法では、第２定義ファイルの編集者が、デプロイ工程について精通していなくてもデプロイ工程を利用できる。
［１０］前記第２定義ファイルには、前記機械学習の前記パイプラインの実行のトリガに対して、実行される工程を定めるための設定ファイルが含まれ、前記設定ファイルによって設定された項目に従って前記機械学習の前記パイプラインを実行する上記１～９のいずれか１つに記載の機械学習のライフサイクルの管理方法である。
［１０］前記第２定義ファイルには、前記機械学習の前記パイプラインの実行のトリガに対して、実行される工程を定めるための設定ファイルが含まれ、前記設定ファイルによって設定された項目に従って前記機械学習の前記パイプラインを実行する上記１～９のいずれか１つに記載の機械学習のライフサイクルの管理方法である。
【0021】
上記方法では、第２定義ファイルの編集者が定義ファイルを設定することによって、実行される工程を定めることができる。そのため、編集した第２定義ファイルとの相性が悪い工程を除くことなどが可能となる。
【0022】
［１１］前記第２定義ファイルに対するアクセス権限を有して且つ前記第１定義ファイルに対するアクセス権限を有しない場合であっても、前記機械学習のパイプラインが実行される場合に、前記パイプラインの進捗状況に関する情報を提供する上記１～１０のいずれか１つに記載の機械学習のライフサイクルの管理方法である。
【0023】
上記方法では、第２定義ファイルの編集者がパイプラインの進捗状況を把握できる。
［１２］前記第２定義ファイルに対するアクセス権限を有して且つ前記第１定義ファイルに対するアクセス権限を有しない場合であっても、前記機械学習のパイプラインが実行される場合に、前記パイプラインのログに関する情報を提供する上記６記載の機械学習のライフサイクルの管理方法である。
［１２］前記第２定義ファイルに対するアクセス権限を有して且つ前記第１定義ファイルに対するアクセス権限を有しない場合であっても、前記機械学習のパイプラインが実行される場合に、前記パイプラインのログに関する情報を提供する上記６記載の機械学習のライフサイクルの管理方法である。
【0024】
上記方法では、第２定義ファイルの編集者がパイプラインのログを把握できる。
［１３］実行装置と、記憶装置と、を備え、前記実行装置は、定義ファイルに規定されたパイプラインを実行するパイプライン実行処理を実行するように構成され、前記記憶装置には、前記定義ファイルが記憶され、前記定義ファイルは、機械学習のライフサイクルを自動化する前記パイプラインを規定するファイルを含んで且つ、前記ライフサイクルの一部を構成する工程を自動化するための前記パイプラインを規定する第２定義ファイルと、前記ライフサイクルの他の工程を自動化するための前記パイプラインを規定する第１定義ファイルとを含み、前記第２定義ファイルを、前記第１定義ファイルに含まれるソースコードを把握することなく編集可能とした機械学習のライフサイクルの管理システムである。
［１３］実行装置と、記憶装置と、を備え、前記実行装置は、定義ファイルに規定されたパイプラインを実行するパイプライン実行処理を実行するように構成され、前記記憶装置には、前記定義ファイルが記憶され、前記定義ファイルは、機械学習のライフサイクルを自動化する前記パイプラインを規定するファイルを含んで且つ、前記ライフサイクルの一部を構成する工程を自動化するための前記パイプラインを規定する第２定義ファイルと、前記ライフサイクルの他の工程を自動化するための前記パイプラインを規定する第１定義ファイルとを含み、前記第２定義ファイルを、前記第１定義ファイルに含まれるソースコードを把握することなく編集可能とした機械学習のライフサイクルの管理システムである。
【0025】
上記構成では、第１定義ファイルに含まれるソースコードを把握することなく、第２定義ファイルを編集可能とする。したがって、第２定義ファイルの編集者は、機械学習のライフサイクルを自動化する一連のパイプラインの全てに精通しているわけではなくても、第２定義ファイルによって規定されるパイプラインを開発することができる。
【0026】
なお、上記構成は、上記２～１２の事項によって特定されてもよい。
【図面の簡単な説明】
【0027】
【図1】一実施形態にかかる機械学習のライフサイクルの管理方法を実現するシステムの構成を示すブロック図である。
【図2】ユーザ端末が実行する処理の手順を示す流れ図である。
【図3】ＩＴプラットフォームが実行する処理の手順を示す流れ図である。
【図4】上記ＩＴプラットフォームが実行する処理の一部の詳細な手順を示す流れ図である。
【発明を実施するための形態】
【0028】
【0029】
図１に示すＩＴプラットフォーム１０は、たとえばインターネット等のネットワークを介して各端末が要求するタスクを実行するサービスを提供する。ＩＴプラットフォーム１０は、ＰＵ１２と、記憶装置１４とを備える。ＰＵ１２は、ＣＰＵ、ＧＰＵ、およびＴＰＵ等のソフトウェア処理装置である。記憶装置１４は、電気的に書き換え可能な不揮発性メモリ、およびディスク媒体等の記憶媒体であってよい。
【0030】
記憶装置１４は、第１リモートリポジトリＲＲ１および第２リモートリポジトリＲＲ２に対応する記憶領域を有する。第１リモートリポジトリＲＲ１には、ＭＬＯｐｓパイプライン定義ファイル２０が記憶されている。ＭＬＯｐｓパイプライン定義ファイル２０は、ＭＬＯｐｓパイプラインを定義するファイルである。ＭＬＯｐｓパイプラインは、機械学習の開発のライフサイクルの各工程を自動化するパイプラインに関するソースコードを有する。ライフサイクルは、データ処理工程、モデル学習工程、モデル評価工程、デプロイ工程、およびモデル監視工程を含む。
【0031】
データ処理工程は、モデル学習工程、およびモデル評価工程を自動で実行するためのソースコードのテスト工程を含む。テスト工程は、ソースコードの品質をチェックする工程と、ユニットテストを実行する工程とを含む。ソースコードの品質チェック工程を自動化するパイプラインは、継続インテグレーション、すなわち、ＣＩ（Ｃｏｎｔｉｎｕｏｕｓ Ｉｎｔｅｇｒａｔｉｏｎ）である。
【0032】
デプロイ工程を自動化するパイプラインは、継続デプロイ、すなわち、ＣＤ（Ｃｏｎｔｉｎｕｏｕｓ Ｄｅｐｌｏｙ）である。
モデル監視工程は、機械学習モデルを実際に利用しているときにその精度が要求通りかなど、機械学習モデルの性能を監視する工程である。
モデル監視工程は、機械学習モデルを実際に利用しているときにその精度が要求通りかなど、機械学習モデルの性能を監視する工程である。
【0033】
第２リモートリポジトリＲＲ２には、編集ファイル３０と、設定ファイル３２とが記憶されている。
編集ファイル３０は、ＭＬＯｐｓのモデル学習工程、およびモデル評価工程を実行するためのソースコードを含む。モデル学習工程を実行するためのソースコードには、データを選択してモデルに入力する処理を実行するソースコードが含まれる。なお、モデルに入力するデータ自体は、ＩＴプラットフォームの外に存在する。上述のデータを選択してモデルに入力する処理を実行するソースコードは、外部からデータを選択的に取得してモデルに入力する処理を実行するソースコードである。また、モデル学習を実行するためのソースコードには、モデルのパラメータを更新する処理を実行するソースコードが含まれる。また、モデル学習を実行するためのソースコードには、モデルのアーキテクチャを規定するためのソースコードが含まれる。なお、モデルのパラメータ自体は、第２リモートリポジトリＲＲ２には記憶されていない。上述のアーキテクチャを規定するためのソースコードには、パラメータを取得する処理を実行するソースコードが含まれる。なお、アーキテクチャを規定するソースコードは、たとえば第１レイヤが畳み込み層であるアーキテクチャの場合、畳み込みに用いる特徴マップを規定するパラメータを取得する処理を定めるソースコードを含む。また、このソースコードは、同パラメータとの結合演算をするデータを取得するソースコードを含む。また、このソースコードは、上記結合演算を実行するソースコードを含む。
編集ファイル３０は、ＭＬＯｐｓのモデル学習工程、およびモデル評価工程を実行するためのソースコードを含む。モデル学習工程を実行するためのソースコードには、データを選択してモデルに入力する処理を実行するソースコードが含まれる。なお、モデルに入力するデータ自体は、ＩＴプラットフォームの外に存在する。上述のデータを選択してモデルに入力する処理を実行するソースコードは、外部からデータを選択的に取得してモデルに入力する処理を実行するソースコードである。また、モデル学習を実行するためのソースコードには、モデルのパラメータを更新する処理を実行するソースコードが含まれる。また、モデル学習を実行するためのソースコードには、モデルのアーキテクチャを規定するためのソースコードが含まれる。なお、モデルのパラメータ自体は、第２リモートリポジトリＲＲ２には記憶されていない。上述のアーキテクチャを規定するためのソースコードには、パラメータを取得する処理を実行するソースコードが含まれる。なお、アーキテクチャを規定するソースコードは、たとえば第１レイヤが畳み込み層であるアーキテクチャの場合、畳み込みに用いる特徴マップを規定するパラメータを取得する処理を定めるソースコードを含む。また、このソースコードは、同パラメータとの結合演算をするデータを取得するソースコードを含む。また、このソースコードは、上記結合演算を実行するソースコードを含む。
【0034】
モデル評価を実行するためのソースコードには、最新のモデルと従来のモデルとの性能比較を実行するソースコードが含まれる。
ちなみに、ＭＬＯｐｓパイプライン定義ファイル２０には、データ処理工程のパイプラインの実行後にモデル学習工程のパイプラインに移行するソースコードが含まれる。また、ＭＬＯｐｓパイプライン定義ファイル２０には、モデル学習工程のパイプラインの実行後にモデル評価工程のパイプラインに移行するソースコードが含まれる。また、ＭＬＯｐｓパイプライン定義ファイル２０には、モデル評価工程のパイプラインの実行後にデプロイ工程のパイプラインに移行するソースコードが含まれる。すなわち、ＭＬＯｐｓパイプライン定義ファイル２０は、一連の工程を自動化するパイプラインを規定するものである。編集ファイル３０は、ＭＬＯｐｓパイプライン定義ファイル２０が規定するパイプラインの一部の詳細を規定するファイルである。
ちなみに、ＭＬＯｐｓパイプライン定義ファイル２０には、データ処理工程のパイプラインの実行後にモデル学習工程のパイプラインに移行するソースコードが含まれる。また、ＭＬＯｐｓパイプライン定義ファイル２０には、モデル学習工程のパイプラインの実行後にモデル評価工程のパイプラインに移行するソースコードが含まれる。また、ＭＬＯｐｓパイプライン定義ファイル２０には、モデル評価工程のパイプラインの実行後にデプロイ工程のパイプラインに移行するソースコードが含まれる。すなわち、ＭＬＯｐｓパイプライン定義ファイル２０は、一連の工程を自動化するパイプラインを規定するものである。編集ファイル３０は、ＭＬＯｐｓパイプライン定義ファイル２０が規定するパイプラインの一部の詳細を規定するファイルである。
【0035】
設定ファイル３２は、ＭＬＯｐｓのパイプラインを実行する際に実際に実行する工程を指定するためのファイルである。具体的には、設定ファイル３２には、たとえばＣＩパイプラインにおけるソースコードの品質チェック項目が列挙されている。そして、それら各項目について、実行するか否かを選択可能となっている。またたとえば、設定ファイル３２には、ＣＩパイプラインのユニットテストにおけるチェック項目が列挙されている。そして、それら各項目について、実行するか否かを選択可能となっている。
【0036】
記憶装置１４には、第１リモートリポジトリＲＲ１および第２リモートリポジトリＲＲ２とは別の領域に、上位プログラム４０および設定ファイル４２が記憶されている。
上位プログラム４０は、ＭＬＯｐｓパイプライン定義ファイル２０に従って、ＭＬＯｐｓのパイプラインをＰＵ１２に実行させる指令が含まれている。設定ファイル４２は、ＭＬＯｐｓのパイプラインの実行条件等を設定するファイルである。
上位プログラム４０は、ＭＬＯｐｓパイプライン定義ファイル２０に従って、ＭＬＯｐｓのパイプラインをＰＵ１２に実行させる指令が含まれている。設定ファイル４２は、ＭＬＯｐｓのパイプラインの実行条件等を設定するファイルである。
【0037】
管理者端末５０は、ＭＬＯｐｓのパイプラインの管理者の端末である。管理者端末５０は、ＰＵ５２および記憶装置５４を備える。記憶装置５４は、第１ローカルリポジトリＬＲ１を有する。第１ローカルリポジトリＬＲ１は、管理者が第１リモートリポジトリＲＲ１内のデータを管理者端末５０内においてダウンロードする領域である。なお、管理者端末５０には、第２リモートリポジトリＲＲ２内のデータをダウンロードすることも可能である。
【0038】
ユーザ端末６０は、機械学習モデルを開発するユーザの端末である。ユーザ端末６０は、ＰＵ６２および記憶装置６４を備える。記憶装置６４は、第２ローカルリポジトリＬＲ２を有する。第２ローカルリポジトリＬＲ２は、ユーザが第２リモートリポジトリＲＲ２内のデータをユーザ端末６０内においてダウンロードする領域である。
【0039】
上述のように、ＭＬＯｐｓのパイプラインを定義する定義ファイルは、第１リモートリポジトリＲＲ１および第２リモートリポジトリＲＲ２に分散して記憶されている。これは、第１リモートリポジトリＲＲ１に記憶されたファイルと、第２リモートリポジトリＲＲ２に記憶されたファイルと、でアクセス権限を異ならせるための設定である。すなわち、本実施形態では、機械学習モデルのユーザは、第２リモートリポジトリＲＲ２にアクセス権限を有するものの、第１リモートリポジトリＲＲ１にアクセス権限を有しない。
【0040】
「ユーザ端末の処理」
図２に、ユーザ端末６０が実行する処理の手順を示す。図２に示す処理は、たとえば、ユーザ端末６０が備える記憶装置６４に記憶されたプログラムをユーザ端末６０が備えるＰＵ６２が実行することによって実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって、各処理のステップ番号を表現する。
図２に、ユーザ端末６０が実行する処理の手順を示す。図２に示す処理は、たとえば、ユーザ端末６０が備える記憶装置６４に記憶されたプログラムをユーザ端末６０が備えるＰＵ６２が実行することによって実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって、各処理のステップ番号を表現する。
【0041】
図２に示す一連の処理において、ユーザ端末６０に識別記号またはパスワードを入力することによって、ＰＵ６２は、ＩＴプラットフォーム１０にログインする（Ｓ１０）。次に、ＰＵ６２は、第２ローカルリポジトリＬＲ２に第２リモートリポジトリＲＲ２のファイルを複製する（Ｓ１２）。このファイルには、編集ファイル３０および設定ファイル３２が含まれる。Ｓ１２の処理は、ユーザがユーザ端末６０のマンマシンインターフェースを操作することに応じて実行される処理である。
【0042】
次に、ＰＵ６２は、編集ファイル３０を編集する（Ｓ１４）。Ｓ１４の処理は、ユーザがユーザ端末６０のマンマシンインターフェースを操作することによって実現される。ユーザは、マンマシンインターフェースを操作することによって、たとえば、機械学習のモデルの新たなアーキテクチャを設計する。またたとえば、ユーザは、マンマシンインターフェースを操作することによって、機械学習モデルの学習に際してのパラメータの更新の仕方を定める学習率を指定する。またたとえば、ユーザは、マンマシンインターフェースを操作することによって、機械学習モデルの学習回数を指定する。Ｓ１４の処理は、ＰＵ６２が、マンマシンインターフェースの操作に応じて編集ファイル３０を編集する処理である。
【0043】
次にＰＵ６２は、設定ファイル３２を設定する（Ｓ１６）。Ｓ１６の処理は、ユーザがユーザ端末６０のマンマシンインターフェースを操作することに応じてＰＵ６２が設定ファイル３２を設定する処理である。たとえば、開発したソースコードが、所定のソースコードの品質チェックを通らないことが予めわかっているソースコードである場合、ユーザは、設定ファイル３２の設定によって、所定のソースコードの品質チェックを実行しないように指定する。
【0044】
次にＰＵ６２は、ユーザによるマンマシンインターフェースの操作に応じて、第２ローカルリポジトリＬＲ２内のファイルをコミットする（Ｓ１８）。そしてＰＵ６２は、コミットしたファイルを、第２リモートリポジトリＲＲ２にプッシュする（Ｓ２０）。
【0045】
なお、ユーザ端末６０は、Ｓ２０の処理を完了する場合、図２に示す一連の処理を一旦終了する。
「ＩＴプラットフォーム１０の処理」
図３に、ＩＴプラットフォーム１０によって実行される、ＭＬＯｐｓのパイプラインの実行に関する処理の手順を示す。図３に示す一連の処理は、上位プログラム４０をＰＵ１２がたとえば所定周期で繰り返し実行することによって実現される。
「ＩＴプラットフォーム１０の処理」
図３に、ＩＴプラットフォーム１０によって実行される、ＭＬＯｐｓのパイプラインの実行に関する処理の手順を示す。図３に示す一連の処理は、上位プログラム４０をＰＵ１２がたとえば所定周期で繰り返し実行することによって実現される。
【0046】
図３に示す一連の処理において、ＰＵ１２は、まず、第２リモートリポジトリＲＲ２にファイルがプッシュされたか否かを判定する（Ｓ３０）。ＰＵ１２は、プッシュされたと判定する場合（Ｓ３０：ＹＥＳ）、プッシュされたファイルが他のファイルと整合するか否かのチェックをする（Ｓ３２）。ＰＵ１２は、整合すると判定する場合（Ｓ３４：ＹＥＳ）、ＭＬＯｐｓの一連のパイプラインを実行する際に実行すべき項目をチェックすべく、設定ファイル３２を読み込む（Ｓ３６）。そしてＰＵ１２は、今回実行するパイプラインを設定する（Ｓ３８）。そして、ＰＵ１２は、Ｓ３８の処理において設定されたパイプラインを実行する（Ｓ４０）。なお、Ｓ３４の処理において肯定判定される場合にパイプラインを実行するのは、設定ファイル４２に、パイプラインの実行条件として、Ｓ４２の処理において肯定判定される旨の条件が設定されているためである。
【0047】
ＰＵ１２は、パイプラインの実行に伴って記憶装置１４にログを記憶する（Ｓ４２）。このログは、ユーザからの要求に応じてＰＵ１２によりユーザ端末６０に提供される。また、ＰＵ１２は、パイプラインの実行に伴って、進捗状況に関する情報を出力する（Ｓ４４）。ここで、ＰＵ１２は、たとえばユーザ端末６０に進捗状況に関する情報を出力する。
【0048】
なお、ＰＵ１２はＳ４４の処理を完了する場合と、Ｓ３０，Ｓ３４の処理において否定判定する場合と、には、図３に示す一連の処理を一旦終了する。
「パイプラインの詳細」
図４に、Ｓ４０の処理の詳細な手順を示す。
「パイプラインの詳細」
図４に、Ｓ４０の処理の詳細な手順を示す。
【0049】
図４に示す一連の処理においては、まずＰＵ１２は、コード品質チェックのうちの設定ファイル３２によって実行することが選択されている項目に該当するチェックを実行する（Ｓ５０）。そしてＰＵ１２は、コード品質チェックの結果を表示する（Ｓ５２）。Ｓ５２の処理は、ＰＵ１２が、コード品質チェックの結果を示すデータをユーザ端末６０に出力する処理とすればよい。これにより、ユーザ端末６０の表示装置にコード品質チェックの結果を表示できる。
【0050】
次にＰＵ１２は、ユニットテストのうちの設定ファイル３２によって実行することが選択されている項目に該当するテストを実行する（Ｓ５４）。そしてＰＵ１２は、ユニットテストの結果を表示する（Ｓ５６）。Ｓ５６の処理は、ＰＵ１２が、ユニットテストの結果を示すデータをユーザ端末６０に出力する処理とすればよい。これにより、ユーザ端末６０の表示装置にユニットテストの結果を表示できる。
【0051】
ＰＵ１２は、Ｓ５０，Ｓ５４の処理の結果が、ＯＫであるか否かを判定する（Ｓ５８）。ＰＵ１２は、ＯＫであると判定する場合（Ｓ５８：ＹＥＳ）、機械学習モデルの学習に用いるデータセットを準備する（Ｓ６０）。また、ＰＵ１２は、学習に用いる計算機を準備する（Ｓ６２）。なお、図１には、ＩＴプラットフォーム１０の計算機を簡易的にＰＵ１２と記載している。ただし実際には、ＰＵ１２は、複数であり得る。その場合、Ｓ６２の処理は、学習に用いるＰＵを準備する処理となる。
【0052】
次にＰＵ１２は、モデル学習を実行する（Ｓ６４）。すなわち、ＰＵ１２は、規定されたアーキテクチャに従ってパラメータと入力データとの合成演算を実行することによって、モデルの出力を算出する。そしてＰＵ１２は、モデルの出力と目標値との差を縮めるようにパラメータを更新する。なお、ＰＵ１２は、編集ファイル３０に定義されている終了条件を満たす場合、学習を終了する。
【0053】
次にＰＵ１２は、モデルを評価する（Ｓ６６）。すなわち、ＰＵ１２は、今回プッシュされたファイルによって規定されるモデルの性能と、それ以前に用いられていたモデルの性能とを比較する。
【0054】
そしてＰＵ１２は、Ｓ６６の処理において精度の高かったモデルを利用するモデルとして登録する（Ｓ６８）。
次にＰＵ１２は、モデル学習、モデル評価の処理がＯＫであるか否かを判定する（Ｓ７０）。ＰＵ１２は、たとえば、登録されたモデルが新しいモデルであることを条件にＯＫと判定する。
次にＰＵ１２は、モデル学習、モデル評価の処理がＯＫであるか否かを判定する（Ｓ７０）。ＰＵ１２は、たとえば、登録されたモデルが新しいモデルであることを条件にＯＫと判定する。
【0055】
そしてＰＵ１２は、登録したモデルをデプロイする（Ｓ７２）。なお、Ｓ６８の処理において従来のモデルが登録される場合には、すでにデプロイされていることから、Ｓ７０の処理において否定判定される。
【0056】
そして、ＰＵ１２は、モデル監視の工程を開始する（Ｓ７４）。
ＰＵ１２は、Ｓ７４の処理を完了する場合と、Ｓ５８，Ｓ７０の処理において否定判定する場合と、には、図３のＳ４０の処理を完了する。
ＰＵ１２は、Ｓ７４の処理を完了する場合と、Ｓ５８，Ｓ７０の処理において否定判定する場合と、には、図３のＳ４０の処理を完了する。
【0057】
「本実施形態の作用および効果」
機械学習モデルの開発者であるユーザは、ＩＴプラットフォーム１０にログインすると、第２リモートリポジトリＲＲ２に記憶されている編集ファイル３０を第２ローカルリポジトリＬＲ２にダウンロードする。そして、ユーザは、編集ファイル３０のコピーを編集することによって、たとえば、新たなモデルを開発する。また、ユーザは、編集ファイル３０のコピーを編集することによって、たとえば、モデルの学習の実行方法を定義する。ユーザは、編集ファイル３０を編集すると、編集したファイルを、第２リモートリポジトリＲＲ２にプッシュする。
機械学習モデルの開発者であるユーザは、ＩＴプラットフォーム１０にログインすると、第２リモートリポジトリＲＲ２に記憶されている編集ファイル３０を第２ローカルリポジトリＬＲ２にダウンロードする。そして、ユーザは、編集ファイル３０のコピーを編集することによって、たとえば、新たなモデルを開発する。また、ユーザは、編集ファイル３０のコピーを編集することによって、たとえば、モデルの学習の実行方法を定義する。ユーザは、編集ファイル３０を編集すると、編集したファイルを、第２リモートリポジトリＲＲ２にプッシュする。
【0058】
ＩＴプラットフォーム１０のＰＵ１２は、ファイルがプッシュされたことに応じて、ＭＬＯｐｓのパイプラインを実行する。すなわち、ＰＵ１２は、第１リモートリポジトリＲＲ１に記憶されたＭＬＯｐｓパイプライン定義ファイル２０に従ってパイプラインを実行する。ＭＬＯｐｓパイプライン定義ファイル２０は、ＭＬＯｐｓのパイプラインを定義するものである。ここで、モデル学習のパイプラインについては、編集ファイル３０の内容に従って学習をすることが規定されている。ＰＵ１２は、第１リモートリポジトリＲＲ１および第２リモートリポジトリＲＲ２の双方のファイルを参照しつつ、ＭＬＯｐｓのパイプラインを実行する。これにより、ＣＩパイプライン、モデル学習のパイプライン、モデル評価のパイプライン、ＣＤパイプライン等の一連のパイプラインを実行できる。
【0059】
この一連の流れにおいて、ユーザは、ＭＬＯｐｓパイプライン定義ファイル２０のソースコードを把握していない。にもかかわらず、ユーザは、機械学習モデルの開発、学習手法の設定等を行って且つ、それに従って一連のパイプラインを実行させることができる。したがって、ユーザが機械学習のライフサイクルの全ての工程を把握することなく、機械学習モデルを開発できる。したがって、ユーザは、機械学習モデルの開発に専念できる。
【0060】
さらに、ユーザが編集した機械学習モデルをアップロードすることにより、ＭＬＯｐｓの一連のパイプラインが実行される。したがって、ユーザが機械学習のライフサイクルの全ての工程を自動化するソースコードについては把握していなくても、ライフサイクルの全ての工程が実行されるときの状況を把握できる。換言すれば、機械学習モデルの開発者であるユーザは、ＭＬＯｐｓのパイプラインのユーザとなることができる。
【0061】
＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１，３］実行装置は、ＰＵ１２に対応する。記憶装置は、記憶装置１４に対応する。第１定義ファイルは、ＭＬＯｐｓパイプライン定義ファイル２０に対応する。第２定義ファイルは、編集ファイル３０に対応する。第１定義ファイルに含まれるソースコードは、ＭＬＯｐｓパイプラインを実行するためのソースコードに対応する。実行工程は、ＰＵ１２にＳ４０の処理を実行させる工程に対応する。［２］第２記憶装置は、記憶装置６４に対応する。複製工程は、Ｓ１２の処理を実行する工程に対応する。編集工程は、Ｓ１４の処理を実行する工程に対応する。アップロード工程は、Ｓ２０の処理を実行する工程に対応する。［４］検査工程は、Ｓ５０～Ｓ５６の処理を実行する工程に対応する。［５，１０］設定ファイルは、設定ファイル３２に対応する。「設定ファイルによって設定された項目に従って機械学習のパイプラインを実行する」ことは、Ｓ３８の処理に従ってＳ４０の処理を実行することに対応する。［６］ユーザが、第２リモートリポジトリＲＲ２をプルできるものの、第１リモートリポジトリＲＲ１にはプルできないことに対応する。［７］第１リモートリポジトリは、第１リモートリポジトリＲＲ１に対応する。第２リモートリポジトリは、第２リモートリポジトリＲＲ２に対応する。［８］Ｓ３０の処理において肯定判定されることに基づき、ＰＵ１２がＳ４０の処理を実行することに対応する。［９］デプロイ工程は、Ｓ７２の処理を実行する工程に対応する。［１１］Ｓ４４の処理に対応する。［１２］Ｓ４２の処理に対応する。［１３］実行装置は、ＰＵ１２に対応する。記憶装置は、記憶装置１４に対応する。第１定義ファイルは、ＭＬＯｐｓパイプライン定義ファイル２０に対応する。第２定義ファイルは、編集ファイル３０に対応する。第１定義ファイルに含まれるソースコードは、ＭＬＯｐｓパイプラインを実行するためのソースコードに対応する。実行処理は、Ｓ４０の処理に対応する。
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１，３］実行装置は、ＰＵ１２に対応する。記憶装置は、記憶装置１４に対応する。第１定義ファイルは、ＭＬＯｐｓパイプライン定義ファイル２０に対応する。第２定義ファイルは、編集ファイル３０に対応する。第１定義ファイルに含まれるソースコードは、ＭＬＯｐｓパイプラインを実行するためのソースコードに対応する。実行工程は、ＰＵ１２にＳ４０の処理を実行させる工程に対応する。［２］第２記憶装置は、記憶装置６４に対応する。複製工程は、Ｓ１２の処理を実行する工程に対応する。編集工程は、Ｓ１４の処理を実行する工程に対応する。アップロード工程は、Ｓ２０の処理を実行する工程に対応する。［４］検査工程は、Ｓ５０～Ｓ５６の処理を実行する工程に対応する。［５，１０］設定ファイルは、設定ファイル３２に対応する。「設定ファイルによって設定された項目に従って機械学習のパイプラインを実行する」ことは、Ｓ３８の処理に従ってＳ４０の処理を実行することに対応する。［６］ユーザが、第２リモートリポジトリＲＲ２をプルできるものの、第１リモートリポジトリＲＲ１にはプルできないことに対応する。［７］第１リモートリポジトリは、第１リモートリポジトリＲＲ１に対応する。第２リモートリポジトリは、第２リモートリポジトリＲＲ２に対応する。［８］Ｓ３０の処理において肯定判定されることに基づき、ＰＵ１２がＳ４０の処理を実行することに対応する。［９］デプロイ工程は、Ｓ７２の処理を実行する工程に対応する。［１１］Ｓ４４の処理に対応する。［１２］Ｓ４２の処理に対応する。［１３］実行装置は、ＰＵ１２に対応する。記憶装置は、記憶装置１４に対応する。第１定義ファイルは、ＭＬＯｐｓパイプライン定義ファイル２０に対応する。第２定義ファイルは、編集ファイル３０に対応する。第１定義ファイルに含まれるソースコードは、ＭＬＯｐｓパイプラインを実行するためのソースコードに対応する。実行処理は、Ｓ４０の処理に対応する。
【0062】
＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
【0063】
「定義ファイルについて」
・編集ファイル３０が、モデル学習工程、およびモデル評価工程を実行するためのソースコードを含むことは必須ではない。たとえば、編集ファイル３０が、モデル学習工程を実行するためのソースコードを含むものの、モデル評価工程を実行するためのソースコードを含まなくてもよい。またたとえば、編集ファイル３０が、モデル監視の工程を実行するためのパイプラインのソースコードを含んでもよい。
・編集ファイル３０が、モデル学習工程、およびモデル評価工程を実行するためのソースコードを含むことは必須ではない。たとえば、編集ファイル３０が、モデル学習工程を実行するためのソースコードを含むものの、モデル評価工程を実行するためのソースコードを含まなくてもよい。またたとえば、編集ファイル３０が、モデル監視の工程を実行するためのパイプラインのソースコードを含んでもよい。
【0064】
「機械学習のパイプラインの実行条件について」
・機械学習のパイプラインの実行条件は、第２リモートリポジトリＰＲ２にファイルがプッシュされて且つ、プッシュされたファイルが他のファイルと整合すると判定される旨の条件に限らない。たとえば、機械学習のパイプラインの実行条件は、第２リモートリポジトリＰＲ２にファイルがプッシュされる旨の条件であってもよい。またたとえば、機械学習のパイプラインの実行条件では、編集したファイルを第２リモートリポジトリＰＲ２の所定のブランチにマージさせた旨の条件であってもよい。またたとえば、機械学習のパイプラインの実行条件は、Ｓ１８の処理が実行された旨の条件であってもよい。要は、第２リモートリポジトリＰＲ２が更新される旨の条件であればよい。
・機械学習のパイプラインの実行条件は、第２リモートリポジトリＰＲ２にファイルがプッシュされて且つ、プッシュされたファイルが他のファイルと整合すると判定される旨の条件に限らない。たとえば、機械学習のパイプラインの実行条件は、第２リモートリポジトリＰＲ２にファイルがプッシュされる旨の条件であってもよい。またたとえば、機械学習のパイプラインの実行条件では、編集したファイルを第２リモートリポジトリＰＲ２の所定のブランチにマージさせた旨の条件であってもよい。またたとえば、機械学習のパイプラインの実行条件は、Ｓ１８の処理が実行された旨の条件であってもよい。要は、第２リモートリポジトリＰＲ２が更新される旨の条件であればよい。
【0065】
「リモートリポジトリ」
・ＭＬＯｐｓのパイプラインを実行するうえでの処理を定義する定義ファイルが記憶されているリモートリポジトリとしては、第１リモートリポジトリＲＲ１および第２リモートリポジトリＲＲ２の２つに限らない。たとえば３つ以上のリモートリポジトリを利用してもよい。これにより、機械学習のライフサイクルの工程を定義する定義ファイルの様々な部分について、局所的に編集可能なユーザを複数定義できる。
・ＭＬＯｐｓのパイプラインを実行するうえでの処理を定義する定義ファイルが記憶されているリモートリポジトリとしては、第１リモートリポジトリＲＲ１および第２リモートリポジトリＲＲ２の２つに限らない。たとえば３つ以上のリモートリポジトリを利用してもよい。これにより、機械学習のライフサイクルの工程を定義する定義ファイルの様々な部分について、局所的に編集可能なユーザを複数定義できる。
【0066】
「ログの提供について」
・上記実施形態では、パイプラインの実行に伴うログの記録およびユーザへの提供が上位プログラム４０によって規定されることとしたが、これに限らない。たとえばＭＬＯｐｓパイプライン定義ファイル２０によって規定してもよい。
・上記実施形態では、パイプラインの実行に伴うログの記録およびユーザへの提供が上位プログラム４０によって規定されることとしたが、これに限らない。たとえばＭＬＯｐｓパイプライン定義ファイル２０によって規定してもよい。
【0067】
「進捗状況の提供について」
・上記実施形態では、パイプラインの実行に伴う進捗状況のユーザへの提供が上位プログラム４０によって規定されることとしたが、これに限らない。たとえばＭＬＯｐｓパイプライン定義ファイル２０によって規定してもよい。
・上記実施形態では、パイプラインの実行に伴う進捗状況のユーザへの提供が上位プログラム４０によって規定されることとしたが、これに限らない。たとえばＭＬＯｐｓパイプライン定義ファイル２０によって規定してもよい。
【0068】
「第１記憶装置、第２記憶装置」
・編集ファイル３０を編集するときに利用する記憶装置と、パイプラインが実行されるときに同パイプラインを規定する定義ファイルが記憶されている記憶装置とが別であることは必須ではない。換言すれば、第１記憶装置および第２記憶装置を有することは必須ではない。たとえば、ユーザ端末６０から記憶装置１４に記憶された編集ファイル３０を編集するようにしてもよい。これは、リモートリポジトリとローカルリポジトリとを利用することなく編集ファイル３０を編集する手法でもある。
・編集ファイル３０を編集するときに利用する記憶装置と、パイプラインが実行されるときに同パイプラインを規定する定義ファイルが記憶されている記憶装置とが別であることは必須ではない。換言すれば、第１記憶装置および第２記憶装置を有することは必須ではない。たとえば、ユーザ端末６０から記憶装置１４に記憶された編集ファイル３０を編集するようにしてもよい。これは、リモートリポジトリとローカルリポジトリとを利用することなく編集ファイル３０を編集する手法でもある。
【0069】
「実行装置について」
・実行装置としては、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態において実行される処理の少なくとも一部を実行するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成を備える処理回路を含んでいればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶する記憶装置等のプログラム格納装置とを備える処理回路。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える処理回路。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える処理回路。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置は、複数であってもよい。また、専用のハードウェア回路は複数であってもよい。
・実行装置としては、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態において実行される処理の少なくとも一部を実行するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成を備える処理回路を含んでいればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶する記憶装置等のプログラム格納装置とを備える処理回路。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える処理回路。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える処理回路。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置は、複数であってもよい。また、専用のハードウェア回路は複数であってもよい。
【符号の説明】
【0070】
１０…ＩＴプラットフォーム
１４，５４，６４…記憶装置
５０…管理者端末
６０…ユーザ端末
１４，５４，６４…記憶装置
５０…管理者端末
６０…ユーザ端末
【図1】
【図2】
【図3】
【図4】