特開 2023-83728 システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023083728

(43)【公開日】2023-06-16

(54)【発明の名称】システムおよび方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230609BHJP

   G09B 19/00 20060101ALI20230609BHJP

   G09B 7/00 20060101ALI20230609BHJP

   G06F 11/34 20060101ALI20230609BHJP

   G06F 11/36 20060101ALI20230609BHJP

【ＦＩ】

G06N20/00

G09B19/00 H

G09B7/00

G06F11/34 109

G06F11/36 192

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021197586

(22)【出願日】2021-12-06

(71)【出願人】

【識別番号】518050920

【氏名又は名称】４４４株式会社

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100170209

【弁理士】

【氏名又は名称】林 陽和

(72)【発明者】

【氏名】薗田 正和

(72)【発明者】

【氏名】染葉 勇太

【テーマコード（参考）】

2C028

5B042

【Ｆターム（参考）】

2C028AA10

2C028BB04

2C028BC01

2C028BD01

5B042GA22

5B042HH11

5B042HH20

5B042MA14

(57)【要約】

【課題】学習モデルの性能の評価を適切に実行する。
【解決手段】本開示の一例としてのシステムは、入力データに対して所定の処理を実行する学習モデルと、学習モデルに所定の処理を実行させるためのテストコードと、を取得し、学習モデルが第１の入力データに対して所定の処理を実行するように第１の入力データに基づいてテストコードを実行する実行部と、第１の入力データに基づくテストコードの実行の結果に基づいて学習モデルの性能を評価する評価部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

入力データに対して所定の処理を実行する学習モデルと、前記学習モデルに前記所定の処理を実行させるためのテストコードと、を取得し、前記学習モデルが第１の入力データに対して前記所定の処理を実行するように前記第１の入力データに基づいて前記テストコードを実行する実行部と、
前記第１の入力データに基づく前記テストコードの実行の結果に基づいて前記学習モデルの性能を評価する評価部と、
を備える、システム。

【請求項2】

前記実行部は、前記第１の入力データに基づいて前記テストコードを実行することに先立って、前記第１の入力データとは異なる第２の入力データに基づいて前記テストコードを実行し、
前記評価部は、前記第１の入力データに基づく前記テストコードの実行の結果に基づいて前記学習モデルの性能を評価することに先立って、前記第２の入力データに基づく前記テストコードの実行の結果に基づいて前記テストコードの妥当性を評価する、
請求項１に記載のシステム。

【請求項3】

前記実行部は、前記第２の入力データに基づいて前記テストコードを実行した後、前記評価部により前記テストコードが妥当であると評価された場合に、前記第１の入力データに基づいて前記テストコードを実行する、
請求項２に記載のシステム。

【請求項4】

前記実行部は、仮想環境を構築した上で前記テストコードを実行し、前記テストコードの実行が完了するたびに前記仮想環境を削除する、
請求項１～３のうちいずれか１項に記載のシステム。

【請求項5】

ユーザに前記学習モデルおよび前記テストコードを作成させるように前記ユーザに問題を提示することと、前記問題に対する前記ユーザの解答としての前記学習モデルおよび前記テストコードの提出を受け付けることと、を管理する管理部をさらに備え、
前記実行部は、前記ユーザの解答としての前記学習モデルおよび前記テストコードの提出が受け付けられた場合に、前記第１の入力データに基づいて前記テストコードを実行する、
請求項１～４のうちいずれか１項に記載のシステム。

【請求項6】

前記評価部は、前記問題に応じて複数の評価関数を選択的に使用して、前記学習モデルの性能を評価する、
請求項５に記載のシステム。

【請求項7】

前記学習モデルの性能の評価の結果を前記ユーザに通知する通知部をさらに備える、
請求項５または６に記載のシステム。

【請求項8】

前記管理部は、前記第１の入力データが記憶されたクラウドストレージへの前記学習モデルおよび前記テストコードのアップロードを前記ユーザに要求し、前記アップロードが完了した旨の通知を前記ユーザから受け取ることで、前記問題に対する前記ユーザの解答としての前記学習モデルおよび前記テストコードの提出を受け付け、
前記実行部は、前記クラウドストレージから前記学習モデル、前記テストコード、および前記第１の入力データをダウンロードし、ダウンロードした前記学習モデル、前記テストコード、および前記第１の入力データを使用して、前記学習モデルが前記第１の入力データに対して前記所定の処理を実行するように前記第１の入力データに基づいて前記テストコードを実行する、
請求項５～７のうちいずれか１項に記載のシステム。

【請求項9】

入力データに対して所定の処理を実行する学習モデルと、前記学習モデルに前記所定の処理を実行させるためのテストコードと、を取得し、前記学習モデルが第１の入力データに対して前記所定の処理を実行するように前記第１の入力データに基づいて前記テストコードを実行し、
前記第１の入力データに基づく前記テストコードの実行の結果に基づいて前記学習モデルの性能を評価する、
方法。

【請求項10】

前記第１の入力データに基づいて前記テストコードを実行することに先立って、前記第１の入力データとは異なる第２の入力データに基づいて前記テストコードを実行し、
前記第１の入力データに基づく前記テストコードの実行の結果に基づいて前記学習モデルの性能を評価することに先立って、前記第２の入力データに基づく前記テストコードの実行の結果に基づいて前記テストコードの妥当性を評価する、
請求項９に記載の方法。

【請求項11】

前記第２の入力データに基づいて前記テストコードを実行した後、前記テストコードが妥当であると評価された場合に、前記第１の入力データに基づいて前記テストコードを実行する、
請求項１０に記載の方法。

【請求項12】

仮想環境を構築した上で前記テストコードを実行し、前記テストコードの実行が完了するたびに前記仮想環境を削除する、
請求項９～１１のうちいずれか１項に記載の方法。

【請求項13】

ユーザに前記学習モデルおよび前記テストコードを作成させるように前記ユーザに問題を提示することと、前記問題に対する前記ユーザの解答としての前記学習モデルおよび前記テストコードの提出を受け付けることと、を管理し、
前記ユーザの解答としての前記学習モデルおよび前記テストコードの提出が受け付けられた場合に、前記第１の入力データに基づいて前記テストコードを実行する、
請求項９～１２のうちいずれか１項に記載の方法。

【請求項14】

前記問題に応じて複数の評価関数を選択的に使用して、前記学習モデルの性能を評価する、
請求項１３のうちいずれか１項に記載の方法。

【請求項15】

前記学習モデルの性能の評価の結果を前記ユーザに通知する、
請求項１３または１４に記載の方法。

【請求項16】

前記第１の入力データが記憶されたクラウドストレージへの前記学習モデルおよび前記テストコードのアップロードを前記ユーザに要求し、前記アップロードが完了した旨の通知を前記ユーザから受け取ることで、前記問題に対する前記ユーザの解答としての前記学習モデルおよび前記テストコードの提出を受け付け、
前記クラウドストレージから前記学習モデル、前記テストコード、および前記第１の入力データをダウンロードし、ダウンロードした前記学習モデル、前記テストコード、および前記第１の入力データを使用して、前記学習モデルが前記第１の入力データに対して前記所定の処理を実行するように前記第１の入力データに基づいて前記テストコードを実行する、
請求項１３～１５のうちいずれか１項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、システムおよび方法に関する。

【背景技術】

【0002】

従来、ユーザのプログラミングスキルを評価する技術について検討されている。このような従来の技術では、ユーザにより作成されたプログラムのソースコードを評価対象のデータとして取得し、当該ソースコードの実行の結果に基づくソースコードの評価の結果に基づいて、ユーザのプログラミングスキルを評価する、という構成が採用されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５６４９１４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、近年、機械学習に関する技術について発展してきている。このため、機械学習によりトレーニングされた学習モデルの性能を適切に評価することが望まれている。

【0005】

しかしながら、評価対象のデータのみを取得することで評価を行う上記のような従来の技術は、学習モデルの性能の評価にはなじまない。たとえば、学習モデルは、入力データに対して所定の処理を実行するものであるが、その所定の処理を学習モデルに実行させるためのコードは、学習モデルの設計に応じて様々に異なり、必ずしも一律ではない。したがって、学習モデルの性能を評価する場合、上記のような従来の技術のように評価対象のデータとしての学習モデルのみを取得するだけでは、その学習モデルによる所定の処理の結果が適切に取得できず、適切な評価が実行できない場合がある。

【0006】

そこで、本開示が解決しようとする課題の一つは、学習モデルの性能の評価を適切に実行することが可能なシステムおよび方法を提供することである。

【課題を解決するための手段】

【0007】

本開示の一例としてのシステムは、入力データに対して所定の処理を実行する学習モデルと、学習モデルに所定の処理を実行させるためのテストコードと、を取得し、学習モデルが第１の入力データに対して所定の処理を実行するように第１の入力データに基づいてテストコードを実行する実行部と、第１の入力データに基づくテストコードの実行の結果に基づいて学習モデルの性能を評価する評価部と、を備える。

【0008】

また、本開示の他の一例としての方法は、入力データに対して所定の処理を実行する学習モデルと、学習モデルに所定の処理を実行させるためのテストコードと、を取得し、学習モデルが第１の入力データに対して所定の処理を実行するように第１の入力データに基づいてテストコードを実行し、第１の入力データに基づくテストコードの実行の結果に基づいて学習モデルの性能を評価する。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態にかかるシステムの概要を示した例示的かつ模式的な図である。

【図2】図２は、実施形態にかかる管理サーバおよび評価サーバの機能を示した例示的かつ模式的なブロック図である。

【図3】図３は、実施形態にかかるシステムにおいて実行される処理の流れを示した例示的かつ模式的なシーケンス図である。

【図4】図４は、実施形態にかかるシステムにおいて実行される処理の図３に続く流れを示した例示的かつ模式的なシーケンス図である。

【図5】図５は、実施形態にかかる管理サーバおよび評価サーバを構成するコンピュータのハードウェア構成を示した例示的かつ模式的なブロック図である。

【発明を実施するための形態】

【0010】

以下、本開示にかかるシステムおよび方法の実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に制限されるものではない。

【0011】

なお、本開示では、「第１」、「第２」などといった序数が必要に応じて使用されるが、これらの序数は、識別の便宜のために使用されるものであり、特定の優先順位を示すものではない。

【0012】

図１は、実施形態にかかるシステム１００の概要を示した例示的かつ模式的な図である。

【0013】

図１に示されるように、実施形態にかかるシステム１００は、管理サーバ１１０と、評価サーバ１２０と、を備える。管理サーバ１１０および評価サーバ１２０は、互いに協働することで、管理者Ｙにより作成された問題をユーザＸに提示し、当該問題に応じてユーザＸが作成した学習モデルの性能の評価を行い、当該評価の結果をユーザＸに通知するように構成される。

【0014】

実施形態において、ユーザＸは、端末１０１を使用して各種の作業を行い、管理者Ｙは、端末１０２を使用して各種の作業を行う。また、実施形態では、端末１０１、管理サーバ１１０、および評価サーバ１２０の間におけるデータの送受信には、ネットワーク上に設けられたクラウドストレージ１３０が使用されうる。

【0015】

なお、図１では、管理サーバ１１０および評価サーバ１２０がそれぞれ単一の装置として設けられた構成が例示されているが、これはあくまで一例である。実施形態では、管理サーバ１１０および評価サーバ１２０がそれぞれ２以上の装置の組み合わせとして構成されていてもよい。

【0016】

ここで、実施形態は、管理サーバ１１０および評価サーバ１２０に次の図２に示されるような機能を持たせることで、ユーザＸにより作成された学習モデルの性能の評価を適切に実行することを実現する。

【0017】

図２は、実施形態にかかる管理サーバ１１０および評価サーバ１２０の機能を示した例示的かつ模式的なブロック図である。

【0018】

図２に示されるように、管理サーバ１１０は、管理部２１１と、通知部２１２と、を備える。また、評価サーバ１２０は、実行部２２１と、評価部２２２と、を備える。

【0019】

なお、前述した通り、実施形態では、管理サーバ１１０および評価サーバ１２０がそれぞれ２以上の装置の組み合わせとして構成されていてもよい。このため、実施形態では、管理部２１１と通知部２１２とが物理的に独立していてもよいし、実行部２２１と評価部２２２とが物理的に独立していてもよい。

【0020】

管理サーバ１１０の管理部２１１は、ユーザＸに学習モデルおよびテストコードを作成させるようにユーザＸに問題を提示することと、問題に対するユーザＸの解答としての学習モデルおよびテストコードの提出を受け付けることと、を管理する。なお、テストコードとは、学習モデルにその機能を発揮させるためにユーザＸにより作成されるコードであり、提示された問題に応じた所定の処理（たとえば画像を識別または分類する処理など）を学習モデルに実行させるためのコードである。

【0021】

より具体的に、管理サーバ１１０の管理部２１１は、クラウドストレージ１３０への学習モデルおよびテストコードのアップロードをユーザＸに要求し、アップロードが完了した旨の通知をユーザＸから受け取ることで、管理者Ｙにより作成された問題に対するユーザＸの解答としての学習モデルおよびコードの提出を受け付ける。

【0022】

そして、評価サーバ１２０の実行部２２１は、ユーザＸにより提出された学習モデルとテストコードとを取得し、学習モデルがテストデータに対して所定の処理を実行するように、テストデータに基づいてテストコードを実行する。なお、テストデータとは、学習モデルの性能を評価する用の第１の入力データである。テストデータは、たとえばクラウドストレージ１３０に予めアップロードされている。

【0023】

そして、評価サーバ１２０の評価部２２２は、テストデータに基づく実行部２２１によるテストコードの実行の結果に基づいて、学習モデルの性能を評価する。評価の方法としては、たとえばクラウドストレージ１３０に予めアップロードされた正解データを使用する方法が考えられる。この場合、たとえば、テストコードの実行の結果と正解データとが完全に一致するか否か、または、テストコードの実行の結果と正解データとの間の誤差（絶対誤差または相対誤差）が許容範囲内にあるか否か、に基づいて学習モデルの性能を定量的に評価する評価関数が使用されうる。

【0024】

そして、管理サーバ１１０の通知部２１２は、評価サーバ１２０の評価部２２２により実行された学習モデルの性能の評価の結果をユーザＸに通知する。このとき、通知部２１２は、学習モデルの性能の評価の結果に基づいて評価されるユーザＸのスキルのレベルもあわせてＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを介してユーザＸに通知しうる。

【0025】

ところで、テストコードは、ユーザＸが端末１０１で作成したものであるため、環境が異なる評価サーバ１２０の実行部２２１がうまく実行できない場合がある。この場合、ユーザＸがテストコードを修正できるように、実行部２２１によるテストコードの実行時に発生したエラーに関する情報がユーザＸにフィードバックされうる。しかしながら、この場合、敢えてエラーを発生させることでテストデータの内容を盗み取るようなテストコードをユーザＸが作成すると、実際の評価に使用されるテストデータを踏まえて学習モデルが作成し直されるおそれがあるため、評価の信頼性が損なわれる。

【0026】

そこで、実施形態において、評価サーバ１２０の実行部２２１は、テストデータに基づいてテストコードを実行することに先立って、テストデータとは異なるサンプルデータに基づいてテストコードを実行する。なお、サンプルデータとは、テストコードの妥当性を確認する用の第２の入力データである。サンプルデータは、クラウドストレージ１３０に予めアップロードされる。

【0027】

そして、評価サーバ１２０の評価部２２２は、テストデータに基づくテストコードの実行の結果に基づいて学習モデルの性能を評価することに先立って、サンプルデータに基づくテストコードの実行の結果に基づいてテストコードの妥当性を評価する。

【0028】

そして、評価サーバ１２０の実行部２２１は、サンプルデータに基づいてテストコードを実行した後、評価サーバ１２０の評価部２２２によりテストコードが妥当であると評価された場合にのみ、テストデータに基づいてテストコードを実行する。これにより、テストコードがテストデータを盗み取るような不当なコードでないことを確認した上で、テストデータに基づく学習モデルの評価を実行することが可能になる。

【0029】

なお、上記の説明では、学習モデルの性能を評価する方法として、テストコードの実行の結果と正解データとが完全に一致するか否か、または、テストコードの実行の結果と正解データとの間の誤差が許容範囲内にあるか否か、に基づいて学習モデルの性能を定量的に評価する評価関数を使用する方法が例示されている。

【0030】

しかしながら、問題によっては、他の観点で作成された評価関数を使用することが適切な場合もありうる。そこで、実施形態において、評価サーバ１２０の評価部２２２は、問題に応じて複数の評価関数を選択的に使用して、学習モデルの性能を評価しうる。

【0031】

また、上記のように、実施形態では、テストコードの実行が複数回実行されうるが、各回のテストコードの実行は、まっさらな環境で行われることが望ましい。そこで、実施形態において、評価サーバ１２０の実行部２２１は、仮想環境を構築した上でテストコードを実行し、テストコードの実行が完了するたびに仮想環境を削除する。

【0032】

以上の構成に基づき、実施形態にかかるシステム１００では、ユーザＸにより作成された学習モデルの性能の評価が行われる場合に、以下の図３および図４に示されるような流れで処理が実行される。

【0033】

図３は、実施形態にかかるシステム１００において実行される処理の流れを示した例示的かつ模式的なシーケンス図であり、図４は、実施形態にかかるシステム１００において実行される処理の図３に続く流れを示した例示的かつ模式的なシーケンス図である。

【0034】

図３に示されるように、実施形態では、まず、Ｓ３０１において、管理者Ｙは、端末１０２を使用して、管理サーバ１１０に対して、ユーザＸに問題を提示して解答の提出を受け付けるという流れを複数回繰り返すためのセッションを作成する。

【0035】

そして、Ｓ３０２において、管理サーバ１１０（の管理部２１１）は、Ｓ３０１で作成されたセッションに参加するための情報を発行し、管理者Ｙの端末１０２に通知する。以下では、セッションに参加するための情報を、セッション参加情報と表現することがある。

【0036】

そして、Ｓ３０３において、管理者Ｙは、端末１０２を使用して、ユーザＸの端末１０１に対して、Ｓ３０２で発行されたセッション参加情報を通知する。

【0037】

そして、Ｓ３０４において、ユーザＸは、端末１０１を使用して、管理サーバ１１０に対して、Ｓ３０３で通知されたセッション参加情報に基づくセッションへの参加の要求を行う。

【0038】

そして、Ｓ３０５において、管理サーバ１１０（の管理部２１１）は、Ｓ３０４で行われた要求に応じて、ユーザＸの端末１０１に対して、たとえば参加の許可または不許可の応答を行う。以下では、Ｓ３０５で参加の許可の応答が行われたことを前提に説明を進める。

【0039】

そして、Ｓ３０６において、ユーザＸは、端末１０１を使用して、管理サーバ１１０に対して、問題の提示を要求する。

【0040】

そして、Ｓ３０７において、管理サーバ１１０（の管理部２１１）は、ユーザＸの端末１０１に対して問題を提示する。

【0041】

そして、Ｓ３０８において、ユーザＸは、端末１０１を使用して、Ｓ３０７で提示された問題に対する解答を作成する。このとき、ユーザＸは、端末１０１を使用して、解答に必要なデータをクラウドストレージ１３０から適宜取得しうる。

【0042】

そして、Ｓ３０９において、ユーザＸは、端末１０１を使用して、管理サーバ１１０に対して、Ｓ３０８で作成した解答を提出する旨を通知する。

【0043】

そして、Ｓ３１０において、管理サーバ１１０は、ユーザＸの解答をアップロードする場所（たとえばネットワーク上のアドレスで示されるアップロード場所）を発行するようクラウドストレージ１３０に依頼する。

【0044】

そして、Ｓ３１１において、クラウドストレージ１３０は、Ｓ３１０の依頼に応じて、アップロード場所を発行し、管理サーバ１１０に通知する。

【0045】

そして、Ｓ３１２において、管理サーバ１１０（の管理部２１１）は、Ｓ３１１で発行されたアップロード場所をユーザＸの端末１０１に通知し、当該アップロード場所への解答のアップロードを要求する。

【0046】

そして、Ｓ３１３において、ユーザＸは、端末１０１を使用して、Ｓ３１２で通知されたアップロード場所に、Ｓ３０８で作成した解答をアップロードする。

【0047】

Ｓ３１３のアップロードが完了すると、Ｓ３１４において、ユーザＸの端末１０１は、管理サーバ１１０に対して、アップロードが完了した旨を通知する。このとき、ユーザＸの端末１０１は、たとえばファイルパスなどのような、解答としてアップロードされたテストコードの実行に必要な情報を通知しうる。

【0048】

そして、Ｓ３１５において、管理サーバ１１０（の管理部２１１）は、評価サーバ１２０の実行部２２１に対して、解答としてアップロードされたテストコードの実行に必要な情報を送信する。このとき、管理サーバ１１０（の管理部２１１）は、評価サーバ１２０の実行部２２１に対して、たとえば問題の属性情報のような、評価関数の選択の根拠として使用されうる情報も送信しうる。

【0049】

そして、Ｓ３１６において、評価サーバ１２０の実行部２２１は、テストコードを実行するための（まっさらな）仮想環境を構築する。

【0050】

そして、Ｓ３１７において、評価サーバ１２０の実行部２２１は、クラウドストレージ１３０に対して、テストコードの妥当性を確認するためのサンプルデータを要求する。このとき、評価サーバ１２０の実行部２２１は、クラウドストレージ１３０に対して、サンプルデータだけでなく、ユーザＸが解答としてアップロードした学習モデルおよびテストコードも要求する。

【0051】

そして、Ｓ３１８において、クラウドストレージ１３０は、評価サーバ１２０の実行部２２１に対して、サンプルデータを送信する。このとき、クラウドストレージ１３０は、評価サーバ１２０の実行部２２１に対して、サンプルデータだけでなく、ユーザＸが解答としてアップロードした学習モデルおよびテストコードも送信する。

【0052】

そして、Ｓ３１９において、評価サーバ１２０の実行部２２１は、サンプルデータに基づいてテストコードを実行し、学習モデルにサンプルデータに対する所定の処理を実行させる。

【0053】

そして、Ｓ３２０において、評価サーバ１２０の実行部２２１は、たとえばＳ３１５で取得した問題の属性情報に基づいて、評価サーバ１２０の評価部２２２に使用させる評価関数を選択する。

【0054】

そして、Ｓ３２１において、評価サーバ１２０の実行部２２１は、評価サーバ１２０の評価部２２２に対して、Ｓ３１９におけるテストコードの実行結果を送信し、テストコードの妥当性の評価を依頼する。このとき、評価サーバ１２０の実行部２２１は、評価サーバ１２０の評価部２２２に対して、Ｓ３２０でどのような評価関数が選択されたかも通知する。

【0055】

Ｓ３２１の依頼が完了すると、Ｓ３２２において、評価サーバ１２０の実行部２２１は、Ｓ３１６で構築した仮想環境を削除する。

【0056】

一方、Ｓ３２１の依頼が完了すると、Ｓ３２３において、評価サーバ１２０の評価部２２２は、クラウドストレージ１３０に対して、サンプルデータに基づくテストコードの実行結果と比較すべき正解データを要求する。

【0057】

そして、Ｓ３２４において、クラウドストレージ１３０は、評価サーバ１２０の評価部２２２に対して、正解データを送信する。

【0058】

そして、Ｓ３２５において、評価サーバ１２０の評価部２２２は、Ｓ３２４で取得した正解データと、Ｓ３１９におけるテストコードの実行結果と、を比較し、テストコードの妥当性を評価する。

【0059】

そして、Ｓ３２６において、評価サーバ１２０の評価部２２２は、Ｓ３２５での評価の結果を管理サーバ１１０に通知する。

【0060】

なお、Ｓ３１５からＳ３２６までの処理ブロックＢ３０１は、学習モデルの性能の評価に先立って行われるテストコードの妥当性を評価するための仮評価処理と表現することができる。仮評価処理によりテストコードが不当であると判定された場合、管理サーバ１１０は、ユーザＸの端末１０１に対して処理のエラー通知を行い、テストコード（および必要に応じて学習モデル）を再作成するよう促しうる。

【0061】

ここで、仮評価処理によりテストコードが妥当であると判定された場合、図４に示されるＳ３２７からＳ３３８までの処理により、学習モデルの性能の評価が行われる。

【0062】

すなわち、この場合、図４に示されるように、Ｓ３２７において、管理サーバ１１０（の管理部２１１）は、評価サーバ１２０の実行部２２１に対して、テストコードの実行に必要な情報（および問題の属性情報）を送信する。このＳ３２７の処理は、図３に示されるＳ３１５の処理と実質的に同様である。

【0063】

そして、Ｓ３２８において、評価サーバ１２０の実行部２２１は、テストコードを実行するための（まっさらな）仮想環境を構築する。このＳ３２８の処理は、図３に示されるＳ３１６の処理と実質的に同様である。

【0064】

そして、Ｓ３２９において、評価サーバ１２０の実行部２２１は、クラウドストレージ１３０に対して、学習モデルの性能を評価するためのテストデータを要求する。このとき、評価サーバ１２０の実行部２２１は、クラウドストレージ１３０に対して、テストデータだけでなく、ユーザＸが解答としてアップロードした学習モデルおよびテストコードも要求する。

【0065】

そして、Ｓ３３０において、クラウドストレージ１３０は、評価サーバ１２０の実行部２２１に対して、テストデータを送信する。このとき、クラウドストレージ１３０は、評価サーバ１２０の実行部２２１に対して、テストデータだけでなく、ユーザＸが解答としてアップロードした学習モデルおよびテストコードも送信する。

【0066】

そして、Ｓ３３１において、評価サーバ１２０の実行部２２１は、テストデータに基づいてテストコードを実行し、学習モデルにテストデータに対する所定の処理を実行させる。

【0067】

そして、Ｓ３３２において、評価サーバ１２０の実行部２２１は、たとえばＳ３２７で取得した問題の属性情報に基づいて、評価サーバ１２０の評価部２２２に使用させる評価関数を選択する。

【0068】

そして、Ｓ３３３において、評価サーバ１２０の実行部２２１は、評価サーバ１２０の評価部２２２に対して、Ｓ３３１におけるテストコードの実行結果を送信し、学習モデルの性能の評価を依頼する。このとき、評価サーバ１２０の実行部２２１は、評価サーバ１２０の評価部２２２に対して、Ｓ３３２でどのような評価関数が選択されたかも通知する。

【0069】

Ｓ３３３の依頼が完了すると、Ｓ３３４において、評価サーバ１２０の実行部２２１は、Ｓ３２８で構築した仮想環境を削除する。

【0070】

一方、Ｓ３３３の依頼が完了すると、Ｓ３３５において、評価サーバ１２０の評価部２２２は、クラウドストレージ１３０に対して、テストデータに基づくテストコードの実行結果と比較すべき正解データを要求する。

【0071】

そして、Ｓ３３６において、クラウドストレージ１３０は、評価サーバ１２０の評価部２２２に対して、正解データを送信する。

【0072】

そして、Ｓ３３７において、評価サーバ１２０の評価部２２２は、Ｓ３３６で取得した正解データと、Ｓ３３１におけるテストコードの実行結果と、を比較し、学習モデルの性能を評価する。

【0073】

そして、Ｓ３３８において、評価サーバ１２０の評価部２２２は、Ｓ３３７での評価の結果を管理サーバ１１０に通知する。

【0074】

なお、図４に示されるＳ３２７からＳ３３８までの処理ブロックＢ３０２は、図３に示される処理ブロックＢ３０１としての仮評価処理の後に行われる本評価処理と表現することができる。

【0075】

そして、Ｓ３３９において、ユーザＸは、端末１０１を使用して、管理サーバ１１０（の通知部２１２）に対して、学習モデルの性能の評価の結果の通知を要求する。

【0076】

そして、Ｓ３４０において、管理サーバ１１０（の通知部２１２）は、ユーザＸの端末１０１に対して、学習モデルの性能の評価の結果を通知する。

【0077】

なお、実施形態において、ユーザＸは、Ｓ３４０で通知される評価の結果を踏まえて、同じ問題に対して新たな解答を作成してもよい。この場合、図３に示されるＳ３０８から図４に示されるＳ３４０までの処理ブロックＢ３０３が繰り返し実行されうる。

【0078】

また、実施形態において、ユーザＸは、１つのセッションに複数の問題が含まれる場合、複数の問題全てに対する解答を作成しうる。この場合、図３に示されるＳ３０６から図４に示されるＳ３４０までの処理ブロックＢ３０４が繰り返し実行されうる。なお、実施形態の技術が、セッション形式で複数の問題を提示する場合のみならず、１つの問題を単体で提示する場合にも適用可能であることは、言うまでもない。

【0079】

以上説明したように、実施形態にかかるシステム１００は、実行部２２１と、評価部２２２と、を含む。実行部２２１は、入力データに対して所定の処理を実行する学習モデルと、学習モデルに所定の処理を実行させるためのテストコードと、を取得し、学習モデルが第１の入力データとしてのテストデータに対して所定の処理を実行するようにテストデータに基づいてテストコードを実行する。評価部２２２は、テストデータに基づくテストコードの実行の結果に基づいて学習モデルの性能を評価する。

【0080】

上記の構成によれば、学習モデルの性能の評価にあたり、評価対象となる学習モデルだけでなく、学習モデルにその機能を発揮させるためのテストコードも取得される。テストコードを利用すれば、学習モデルによる処理の結果を適切に取得することができるので、学習モデルの性能の評価を適切に実行することができる。

【0081】

ところで、学習モデルの性能を評価するための他の方法として、学習モデルによる処理をサーバ（たとえば評価サーバ１２０）上では実行しない方法、つまり学習モデルによる処理をその学習モデルを作成したユーザのローカル環境（たとえば端末１０１）で実行し、その処理の結果のみをサーバに評価させる方法も考えられる。しかしながら、この方法では、サーバによる評価の対象が、真に学習モデルによる処理の結果として得られたデータであるか、学習モデルによる処理の結果を模してユーザが手入力で作成したデータであるかの区別がつかないため、不正が発生するおそれがある。

【0082】

これに対して、実施形態では、学習モデルおよびテストコードに基づいて評価サーバ１２０上で実行される処理の結果が評価の対象となるため、上記のような不正が発生しない。したがって、この点においても、実施形態によれば、学習モデルの性能の評価を適切に実行することができる。

【0083】

ここで、実施形態において、実行部２２１は、テストデータに基づいてテストコードを実行することに先立って、テストデータとは異なる第２の入力データとしてのサンプルデータに基づいてテストコードを実行する。そして、評価部２２２は、テストデータに基づくテストコードの実行の結果に基づいて学習モデルの性能を評価することに先立って、サンプルデータに基づくテストコードの実行の結果に基づいてテストコードの妥当性を評価する。

【0084】

上記の構成によれば、サンプルデータおよびテストデータといった異なるデータを用いて２回の評価を行うことにより、評価の信頼性を高めることができる。

【0085】

また、実施形態において、実行部２２１は、サンプルデータに基づいてテストコードを実行した後、評価部２２２によりテストコードが妥当であると評価された場合に、テストデータに基づいてテストコードを実行する。

【0086】

上記の構成によれば、テストデータに基づいてテストコードを実行する必要が無い場合、つまりテストコードが不当であると評価される場合にまで、テストデータに基づいてテストコードが実行されるのを回避することができる。

【0087】

また、実施形態において、実行部２２１は、仮想環境を構築した上でテストコードを実行し、テストコードの実行が完了するたびに仮想環境を削除する。

【0088】

上記の構成によれば、常にまっさらな仮想環境でテストコードを実行することができる。

【0089】

また、実施形態にかかるシステム１００は、管理部２１１を備える。管理部２１１は、ユーザに学習モデルおよびテストコードを作成させるようにユーザＸに問題を提示することと、問題に対するユーザＸの解答としての学習モデルおよびテストコードの提出を受け付けることと、を管理する。実行部２２１は、ユーザＸの解答としての学習モデルおよびテストコードの提出が受け付けられた場合に、テストデータに基づいてテストコードを実行する。

【0090】

上記の構成によれば、ユーザＸの解答の提出に応じたタイミングでテストデータに基づいてテストコードを実行し、学習モデルの性能を評価することができる。

【0091】

また、実施形態において、評価部２２２は、問題に応じて複数の評価関数を選択的に使用して、学習モデルの性能を評価する。

【0092】

上記の構成によれば、たとえば問題の趣旨に合った評価関数を使用して評価を行うことができるので、評価の信頼性を高めることができる。

【0093】

また、実施形態にかかるシステム１００は、通知部２１２を備える。通知部２１２は、学習モデルの性能の評価の結果をユーザＸに通知する。

【0094】

上記の構成によれば、たとえば学習モデルの作成に関するユーザＸのスキルのレベルをユーザＸに容易に通知することができる。

【0095】

また、実施形態において、管理部２１１は、テストデータが記憶されたクラウドストレージ１３０への学習モデルおよびテストコードのアップロードをユーザに要求し、アップロードが完了した旨の通知をユーザＸから受け取ることで、問題に対するユーザＸの解答としての学習モデルおよびテストコードの提出を受け付ける。そして、実行部２２１は、クラウドストレージ１３０から学習モデル、テストコード、およびテストデータをダウンロードし、ダウンロードした学習モデル、テストコード、およびテストデータを使用して、学習モデルがテストデータに対して所定の処理を実行するようにテストデータに基づいてテストコードを実行する。

【0096】

上記の構成によれば、クラウドストレージ１３０を利用して、学習モデル、テストコード、およびテストデータの受け渡しをスムーズに行うことができる。

【0097】

最後に、上述した実施形態にかかる管理サーバ１１０および評価サーバ１２０のハードウェア構成について説明する。実施形態にかかる管理サーバ１１０および評価サーバ１２０は、たとえば次の図５に示されるようなハードウェア構成を有するコンピュータ５００として構成される。

【0098】

実施形態にかかる管理サーバ１１０および評価サーバ１２０を構成するコンピュータ５００のハードウェア構成を示した例示的かつ模式的なブロック図である。

【0099】

図５に示されるように、コンピュータ５００は、プロセッサ５１０と、メモリ５２０と、ストレージ５３０と、入出力インターフェース（Ｉ／Ｆ）５４０と、通信インターフェース（Ｉ／Ｆ）５５０と、を備えている。これらのハードウェアは、バス５６０に接続されている。

【0100】

プロセッサ５１０は、たとえばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）として構成され、コンピュータ５００の各部の動作を統括的に制御する。

【0101】

メモリ５２０は、たとえばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含み、プロセッサ５１０により実行されるプログラムなどの各種のデータの揮発的または不揮発的な記憶、およびプロセッサ５１０がプログラムを実行するための作業領域の提供などを実現する。

【0102】

ストレージ５３０は、たとえばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を含み、各種のデータを不揮発的に記憶する。

【0103】

入出力インターフェース５４０は、たとえばキーボードおよびマウスなどのような入力装置（不図示）からコンピュータ５００へのデータの入力と、たとえばコンピュータ５００からディスプレイおよびスピーカなどのような出力装置（不図示）へのデータの出力と、を制御する。

【0104】

通信インターフェース５５０は、コンピュータ５００が他の装置と通信を実行することを可能にする。

【0105】

実施形態にかかる管理サーバ１１０および評価サーバ１２０が有する機能（図２参照）は、管理サーバ１１０および評価サーバ１２０を構成する各コンピュータ５００のプロセッサ５１０がメモリ５２０またはストレージ５３０に予め記憶された証プログラムを実行した結果として、ハードウェアとソフトウェアとの協働による機能モジュール群として実現される。ただし、実施形態では、図２に示される機能モジュール群のうち一部または全部が、専用に設計された回路のようなハードウェアのみによって実現されてもよい。

【0106】

なお、上述したプログラムは、必ずしもメモリ５２０またはストレージ５３０に予め記憶されている必要はない。たとえば、上述したプログラムは、フレキシブルディスク（ＦＤ）のような各種の磁気ディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）のような各種の光ディスクなどといった、コンピュータで読み取り可能な媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。

【0107】

また、上述したプログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、上述したプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。

【0108】

以上、本開示のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲とに含まれる。

【符号の説明】

【0109】

１００ システム
２１１ 管理部
２１２ 通知部
２２１ 実行部
２２２ 評価部

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2023-04-20

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

少なくとも１つのコンピュータにより構成された実行部、評価部、および管理部を備え、
前記実行部は、入力データに対して所定の処理を実行する学習モデルと、前記学習モデルに前記所定の処理を実行させるためのテストコードと、を取得し、前記学習モデルが第１の入力データに対して前記所定の処理を実行するように前記第１の入力データに基づいて前記テストコードを実行し、
前記評価部は、前記第１の入力データに基づく前記テストコードの実行の結果に基づいて前記学習モデルの性能を評価し、
前記実行部は、前記第１の入力データに基づいて前記テストコードを実行することに先立って、前記第１の入力データとは異なる第２の入力データに基づいて前記テストコードを実行し、
前記評価部は、前記第１の入力データに基づく前記テストコードの実行の結果に基づいて前記学習モデルの性能を評価することに先立って、前記第２の入力データに基づく前記テストコードの実行の結果に基づいて前記テストコードの妥当性を評価し、
ユーザに前記学習モデルおよび前記テストコードを作成させるように前記ユーザに問題を提示することと、前記問題に対する前記ユーザの解答としての前記学習モデルおよび前記テストコードの提出を受け付けることと、を管理する管理部をさらに備え、
前記実行部は、前記ユーザの解答としての前記学習モデルおよび前記テストコードの提出が受け付けられた場合に、前記第１の入力データに基づいて前記テストコードを実行し、
前記管理部は、前記第１の入力データが記憶されたクラウドストレージへの前記学習モデルおよび前記テストコードのアップロードを前記ユーザに要求し、前記アップロードが完了した旨の通知を前記ユーザから受け取り、
前記実行部は、前記クラウドストレージから前記学習モデル、前記テストコード、および前記第１の入力データをダウンロードし、ダウンロードした前記学習モデル、前記テストコード、および前記第１の入力データを使用して、前記学習モデルが前記第１の入力データに対して前記所定の処理を実行するように前記第１の入力データに基づいて前記テストコードを実行する、システム。

【請求項2】

前記実行部は、前記第２の入力データに基づいて前記テストコードを実行した後、前記評価部により前記テストコードが妥当であると評価された場合に、前記第１の入力データに基づいて前記テストコードを実行する、
請求項１に記載のシステム。

【請求項3】

前記実行部は、仮想環境を構築した上で前記テストコードを実行し、前記テストコードの実行が完了するたびに前記仮想環境を削除する、
請求項１または２に記載のシステム。

【請求項4】

前記評価部は、前記問題に応じて複数の評価関数を選択的に使用して、前記学習モデルの性能を評価する、
請求項１～３のうちいずれか１項に記載のシステム。

【請求項5】

前記少なくとも１つのコンピュータにより構成された通知部をさらに備え、
前記通知部は、前記学習モデルの性能の評価の結果を前記ユーザに通知する、
請求項１～４のうちいずれか１項に記載のシステム。

【請求項6】

少なくとも１つのコンピュータを用いて、
入力データに対して所定の処理を実行する学習モデルと、前記学習モデルに前記所定の処理を実行させるためのテストコードと、を取得し、前記学習モデルが第１の入力データに対して前記所定の処理を実行するように前記第１の入力データに基づいて前記テストコードを実行し、
前記第１の入力データに基づく前記テストコードの実行の結果に基づいて前記学習モデルの性能を評価し、
前記第１の入力データに基づいて前記テストコードを実行することに先立って、前記第１の入力データとは異なる第２の入力データに基づいて前記テストコードを実行し、
前記第１の入力データに基づく前記テストコードの実行の結果に基づいて前記学習モデルの性能を評価することに先立って、前記第２の入力データに基づく前記テストコードの実行の結果に基づいて前記テストコードの妥当性を評価し、
ユーザに前記学習モデルおよび前記テストコードを作成させるように前記ユーザに問題を提示することと、前記問題に対する前記ユーザの解答としての前記学習モデルおよび前記テストコードの提出を受け付けることと、を管理し、
前記ユーザの解答としての前記学習モデルおよび前記テストコードの提出が受け付けられた場合に、前記第１の入力データに基づいて前記テストコードを実行し、
前記第１の入力データが記憶されたクラウドストレージへの前記学習モデルおよび前記テストコードのアップロードを前記ユーザに要求し、前記アップロードが完了した旨の通知を前記ユーザから受け取り、
前記クラウドストレージから前記学習モデル、前記テストコード、および前記第１の入力データをダウンロードし、ダウンロードした前記学習モデル、前記テストコード、および前記第１の入力データを使用して、前記学習モデルが前記第１の入力データに対して前記所定の処理を実行するように前記第１の入力データに基づいて前記テストコードを実行する、
方法。

【請求項7】

前記少なくとも１つのコンピュータを用いて、
前記第２の入力データに基づいて前記テストコードを実行した後、前記テストコードが妥当であると評価された場合に、前記第１の入力データに基づいて前記テストコードを実行する、
請求項６に記載の方法。

【請求項8】

前記少なくとも１つのコンピュータを用いて、
仮想環境を構築した上で前記テストコードを実行し、前記テストコードの実行が完了するたびに前記仮想環境を削除する、
請求項６または７に記載の方法。

【請求項9】

前記少なくとも１つのコンピュータを用いて、
前記問題に応じて複数の評価関数を選択的に使用して、前記学習モデルの性能を評価する、
請求項６～８のうちいずれか１項に記載の方法。

【請求項10】

前記少なくとも１つのコンピュータを用いて、
前記学習モデルの性能の評価の結果を前記ユーザに通知する、
請求項６～９のうちいずれか１項に記載の方法。