特開 2024-180284 機械学習評価パイプラインについてのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024180284

(43)【公開日】2024-12-26

(54)【発明の名称】機械学習評価パイプラインについてのシステム及び方法

(51)【国際特許分類】

   G06F 18/2115 20230101AFI20241219BHJP

   G06F 11/36 20060101ALI20241219BHJP

   G06F 9/455 20180101ALI20241219BHJP

【ＦＩ】

G06F18/2115

G06F11/36 192

G06F9/455 100

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024066930

(22)【出願日】2024-04-17

(31)【優先権主張番号】18/335,450

(32)【優先日】2023-06-15

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】521042770

【氏名又は名称】ウーブン・バイ・トヨタ株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100120499

【弁理士】

【氏名又は名称】平山 淳

(72)【発明者】

【氏名】橋本 大輔

(72)【発明者】

【氏名】中津川 英治

(72)【発明者】

【氏名】小出 粋玄

【テーマコード（参考）】

5B042

5B081

【Ｆターム（参考）】

5B042HH13

5B042HH30

5B042HH49

5B081BB04

(57)【要約】

【課題】機械学習（ＭＬ）モデルを評価する方法、システム、及びデバイスの提供。
【解決手段】方法は、ストレージ層から取得される少なくとも１つの要件を要件管理層によって受信することと、少なくとも１つの要件を要件管理層によって解釈することと、解釈された要件に基づいてＭＬ評価プロセスを行うための命令を実行層に要件管理層によって送信することであって、実行層は、ＭＬ評価プロセスを完了すると、ＭＬ評価プロセスの結果を有する出力信号を送信する、ということと、を含み得る。
【選択図】図５

【特許請求の範囲】

【請求項1】

機械学習（ＭＬ）モデルを評価する方法であって、
前記方法は、
ストレージ層から取得される少なくとも１つの要件を要件管理層によって受信することと、
前記少なくとも１つの要件を前記要件管理層によって解釈することと、
前記解釈された要件に基づいてＭＬ評価プロセスを行うための命令を前記要件管理層によって実行層に送信することであって、前記実行層は、前記ＭＬ評価プロセスを完了すると、前記ＭＬ評価プロセスの結果を有する出力信号を送信する、ということと、
を含む、方法。

【請求項2】

前記少なくとも１つの要件は、要件コード（ＲａＣ）ファイルの形態である、請求項１に記載の方法。

【請求項3】

前記ストレージ層は、ユーザが前記少なくとも１つの要件を編集することを可能にするように構成された第１のユーザインターフェースと通信する、請求項１又は２に記載の方法。

【請求項4】

前記実行層は、前記ＭＬ評価プロセスの前記結果を表示するように構成された第２のユーザインターフェースに前記出力信号を送信するように構成されている、請求項３に記載の方法。

【請求項5】

前記実行層は、推論コンポーネントと、ユニットテストコンポーネントと、を備え、ＭＬ評価プロセスを行うための前記命令を受信すると、前記推論コンポーネントは、テストデータを受信して、前記テストデータ、及び前記ＭＬモデルから出力を取得するための命令に基づいて推論プロセスを行うように構成されており、前記ユニットテストコンポーネントは、前記ＭＬモデルからの前記出力、及び指標を取得するための前記命令に基づいて評価プロセスを行うように構成されている、請求項４に記載の方法。

【請求項6】

前記ＭＬモデルからの前記出力は、推論ログを備え、前記推論プロセスを完了すると、前記推論コンポーネントは、前記推論ログを前記ユニットテストコンポーネントに転送するように構成されており、前記評価プロセスは、前記推論ログからの指標を評価することを含み、前記評価された指標は、前記第２のユーザインターフェースに表示される、請求項５に記載の方法。

【請求項7】

前記方法は、前記ストレージ層において少なくとも１つの要件を追加又は更新するための命令を前記要件管理層によって受信することを更に含み、前記命令は、前記ＭＬ評価プロセスを完了すると、前記評価された指標に基づいて前記実行層から送信される、請求項６に記載の方法。

【請求項8】

機械学習（ＭＬ）モデルを評価する装置であって、
前記装置は、
コンピュータ実行可能命令を記憶する少なくとも１つのメモリと、
少なくとも１つのプロセッサと、
を備え、
前記少なくとも１つのプロセッサは、
ストレージ層から取得される少なくとも１つの要件を要件管理層によって受信することと、
前記少なくとも１つの要件を前記要件管理層によって解釈することと、
前記解釈された要件に基づいてＭＬ評価プロセスを行うための命令を前記要件管理層によって実行層に送信することであって、前記実行層は、前記ＭＬ評価プロセスを完了すると、前記ＭＬ評価プロセスの結果を有する出力信号を送信する、ということと、
を行うように、前記コンピュータ実行可能命令を実行するように構成されている、装置。

【請求項9】

前記少なくとも１つの要件は、要件コード（ＲａＣ）ファイルの形態である、請求項８に記載の装置。

【請求項10】

前記ストレージ層は、ユーザが前記少なくとも１つの要件を編集することを可能にするように構成された第１のユーザインターフェースと通信する、請求項８又は９に記載の装置。

【請求項11】

前記実行層は、前記ＭＬ評価プロセスの前記結果を表示するように構成された第２のユーザインターフェースに前記出力信号を送信するように構成されている、請求項１０に記載の装置。

【請求項12】

前記実行層は、推論コンポーネントと、ユニットテストコンポーネントと、を備え、ＭＬ評価プロセスを行うための前記命令を受信すると、前記推論コンポーネントは、テストデータを受信して、前記テストデータ、及び前記ＭＬモデルから出力を取得するための命令に基づいて推論プロセスを行うように構成されており、前記ユニットテストコンポーネントは、前記ＭＬモデルからの前記出力、及び指標を取得するための前記命令に基づいて評価プロセスを行うように構成されている、請求項１１に記載の装置。

【請求項13】

前記ＭＬモデルからの前記出力は、推論ログを備え、前記推論プロセスを完了すると、前記推論コンポーネントは、前記推論ログを前記ユニットテストコンポーネントに転送するように構成されており、前記評価プロセスは、前記推論ログからの指標を評価することを含み、前記評価された指標は、前記第２のユーザインターフェースに表示される、請求項１２に記載の装置。

【請求項14】

前記プロセッサは更に、前記ストレージ層において少なくとも１つの要件を追加又は更新するための命令を前記要件管理層によって受信するように、前記コンピュータ実行可能命令を実行するように構成されており、前記命令は、前記ＭＬ評価プロセスを完了すると、前記評価された指標に基づいて前記実行層から送信される、請求項１３に記載の装置。

【請求項15】

少なくとも１つのプロセッサによって実行可能な命令が記録されて前記プロセッサに方法を行わせる非一時的コンピュータ可読記録媒体であって、
前記方法は、
ストレージ層から取得される少なくとも１つの要件を要件管理層によって受信することと、
前記少なくとも１つの要件を前記要件管理層によって解釈することと、
前記解釈された要件に基づいてＭＬ評価プロセスを行うための命令を前記要件管理層によって実行層に送信することであって、前記実行層は、前記ＭＬ評価プロセスを完了すると、前記ＭＬ評価プロセスの結果を有する出力信号を送信する、ということと、
を含む、非一時的コンピュータ可読記録媒体。

【請求項16】

前記少なくとも１つの要件は、要件コード（ＲａＣ）ファイルの形態である、請求項１５に記載の非一時的コンピュータ可読記録媒体。

【請求項17】

前記ストレージ層は、ユーザが前記少なくとも１つの要件を編集することを可能にするように構成された第１のユーザインターフェースと通信する、請求項１５又は１６に記載の非一時的コンピュータ可読記録媒体。

【請求項18】

前記実行層は、前記ＭＬ評価プロセスの前記結果を表示するように構成された第２のユーザインターフェースに前記出力信号を送信するように構成されている、請求項１７に記載の非一時的コンピュータ可読記録媒体。

【請求項19】

前記実行層は、推論コンポーネントと、ユニットテストコンポーネントと、を備え、ＭＬ評価プロセスを行うための前記命令を受信すると、前記推論コンポーネントは、テストデータを受信して、前記テストデータ、及びＭＬモデルから出力を取得するための命令に基づいて推論プロセスを行うように構成されており、前記ユニットテストコンポーネントは、前記ＭＬモデルからの前記出力、及び指標を取得するための前記命令に基づいて評価プロセスを行うように構成されている、請求項１８に記載の非一時的コンピュータ可読記録媒体。

【請求項20】

前記ＭＬモデルからの前記出力は、推論ログを備え、前記推論プロセスを完了すると、前記推論コンポーネントは、前記推論ログを前記ユニットテストコンポーネントに転送するように構成されており、前記評価プロセスは、前記推論ログからの指標を評価することを含み、前記評価された指標は、前記第２のユーザインターフェースに表示される、請求項１９に記載の非一時的コンピュータ可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の例示的な実施形態と整合するシステム及び方法は、機械学習モデルを評価するパイプラインを提供することに関する。

【背景技術】

【0002】

機械学習（ＭＬ）モデルは、様々なタスクを自動化するために使用され得る。ＭＬモデルを開発する際、開発者は、ＭＬモデルによって満たされる必要がある特定の基準又はパラメータを有し得る。例えば、ＭＬモデルがセーフティクリティカルなタスクを自動化することを意図している場合、ＭＬモデルは、特定の信頼性評価を達成する必要があり得る。したがって、ＭＬモデルが規格を満たし得ることを保証するために、開発者は、ＭＬ評価を行うことによってＭＬモデルをテスト及び評価する必要があり得る。

【0003】

関連技術では、モデルが良いかどうかを自動的に決定するために単純な指標が使用され得る。例えば、平均適合率の平均（ｍＡＰ）は、ＭＬモデルが良いか、悪いか、又は優れているかどうかを示す単純な数として使用され得る。

【0004】

従来技術のシステム及び方法によって使用されるＭＬモデルを評価するプロセスは、限定的且つ低速であり得る。特に、通常、ＭＬ評価プロセスで使用される各コンポーネントは別々である。例えば、テストデータを取得する手段、ＭＬモデル自体、ＭＬ評価テストユニットは全て、別々のシステム内にあり得る。更に、関連技術では、評価プロセスでの各ステップは、人間のユーザがＭＬ評価の結果を解釈して、より最適なＭＬモデルを取得するために評価プロセスをどのように繰り返すかを考慮することを必要とし得る。

【0005】

したがって、ＭＬ評価を行うために、より合理化及び自動化された方法が必要である。

【発明の概要】

【0006】

１つ以上の例示的な実施形態によれば、機械学習（ＭＬ）モデルを評価する装置及び方法が提供される。特に、例示的な実施形態に係る装置及び方法は、ストレージ層から取得される少なくとも１つの要件を要件管理層において受信し、要件を要件管理層において解釈し、解釈されたテストパラメータに基づいてＭＬ評価プロセスを行うための命令を要件管理層によって実行層に送信する。ＭＬ評価プロセスを完了すると、実行により、ＭＬ評価プロセスの結果を有する出力信号を送信し得る。出力信号に基づいて、結果の情報は、ユーザインターフェース（ＵＩ）に表示され得る。したがって、ＭＬ評価プロセスを構成及び実行する全プロセスを、単一のパイプラインに合理化／カプセル化することができ、任意選択的に、パイプラインの層に接続されたユーザインターフェースを用いてユーザに提示できるため、評価プロセスの自動化を改善できる。

【0007】

実施形態によれば、ＭＬモデルを評価する方法が提供され得る。方法は、ストレージ層から取得される少なくとも１つの要件を要件管理層によって受信することと、少なくとも１つの要件を要件管理層によって解釈することと、解釈されたテストパラメータに基づいてＭＬ評価プロセスを行うための命令を要件管理層によって実行層に送信することであって、実行層は、ＭＬ評価プロセスを完了すると、ＭＬ評価プロセスの結果を有する出力信号を送信する、ということと、を含み得る。

【0008】

少なくとも１つのテストパラメータは、要件コード（ＲａＣ）ファイルの形態であり得る。

【0009】

ストレージ層は、ユーザが少なくとも１つのテストパラメータを編集することを可能にするように構成された第１のユーザインターフェースと通信し得る。

【0010】

実行層は、ＭＬ評価プロセスの結果を表示するように構成された第２のユーザインターフェースに出力信号を送信するように構成され得る。

【0011】

第１のユーザインターフェース及び第２のユーザインターフェースは、同時に表示され得る。

【0012】

実行層は、推論コンポーネントと、ユニットテストコンポーネントと、を含み得、ＭＬ評価プロセスを行うための命令を受信すると、推論コンポーネントは、テストデータを受信して、テストデータ、及びＭＬモデルから出力を取得するための命令に基づいて推論プロセスを行うように構成されており、ユニットテストコンポーネントは、ＭＬモデルからの出力、及び指標を取得するための命令に基づいて評価プロセスを行うように構成されている。

【0013】

推論コンポーネントは、テストデータストレージ層からテストデータを受信するように構成され得る。

【0014】

実施形態によれば、機械学習（ＭＬ）モデルを評価する装置が提供され得る。装置は、コンピュータ実行可能命令を記憶する少なくとも１つのメモリと、少なくとも１つのプロセッサと、を含み得、少なくとも１つのプロセッサは、ストレージ層から取得される少なくとも１つの要件を要件管理層によって受信することと、少なくとも１つの要件を要件管理層によって解釈することと、解釈された要件に基づいてＭＬ評価プロセスを行うための命令を要件管理層によって実行層に送信することであって、実行層は、ＭＬ評価プロセスを完了すると、ＭＬ評価プロセスの結果を有する出力信号を送信する、ということと、を行うように、コンピュータ実行可能命令を実行するように構成されている。

【0015】

追加の態様は、部分的に以下の説明で記載され、部分的に説明から明らかになるか、又は本開示の提示される実施形態の実施によって実現され得る。

【図面の簡単な説明】

【0016】

本開示の特定の好ましい実施形態の特徴、態様、及び利点は、添付図面を参照して以下に記載され、当該添付図面では、同様の参照番号は同様の要素を示す。

【図1】図１は、例示的な実施形態に係るデバイスの例示的なコンポーネントの図である。

【図2】図２は、１つ以上の例示的な実施形態に係る層及びコンポーネントを示すシステムアーキテクチャ図である。

【図3】図３は、１つ以上の例示的な実施形態に係るＭＬモデルを評価する方法を示すフローチャート図である。

【図4】図４は、１つ以上の例示的な実施形態に係る、推論コンポーネント及びユニットテストコンポーネントを使用してＭＬモデルを評価する方法を示すフローチャート図である。

【図5】図５は、１つ以上の例示的な実施形態に係る、要件を追加又は更新することを含むＭＬモデルを評価する方法を示すフローチャート図である。

【発明を実施するための形態】

【0017】

例示的な実施形態の以下の詳細な説明は、添付図面を参照する。本開示は、例示及び説明を提供するが、網羅的であることを意図したものでもなく、１つ以上の例示的な実施形態を、開示される正確な形態に限定することを意図したものでもない。修正及び変形は、本開示を鑑みて可能であるか、又は１つ以上の例示的な実施形態の実施から習得され得る。更に、例示的な一実施形態の１つ以上の特徴又はコンポーネントは、例示的な別の実施形態（若しくは例示的な別の実施形態の１つ以上の特徴）に組み込まれ得るか、又はそれと組み合わされ得る。更に、本明細書で提供される動作のフローチャート及び説明において、１つ以上の動作が省略されてもよく、１つ以上の動作が追加されてもよく、１つ以上の動作が（少なくとも部分的に）同時に行われてもよく、１つ以上の動作の順序が切り替えられてもよいことが理解される。

【0018】

本明細書に記載されるシステム及び／若しくは方法並びに／又は非一時的コンピュータ可読記憶媒体の例示的な実施形態は、ハードウェア、ファームウェア、又はハードウェア及びソフトウェアの組合せの様々な形態で実装され得ることが明らかであろう。当該システム及び／又は方法を実装するために使用される実際の専用の制御ハードウェア又はソフトウェアコードは、１つ以上の例示的な実施形態の限定ではない。したがって、システム及び／若しくは方法並びに／又は非一時的コンピュータ可読記憶媒体の動作及び挙動は、特定のソフトウェアコードを参照することなく本明細書に記載される。ソフトウェア及びハードウェアは、本明細書の説明に基づいてシステム及び／又は方法を実装するように設計され得ることが理解される。

【0019】

特徴の特定の組合せが特許請求の範囲で列挙され及び／又は本明細書に開示されていても、当該組合せは、可能性のある例示的な実施形態の開示を限定することを意図したものではない。実際、当該特徴の多くは、具体的に特許請求の範囲で列挙されていない方法及び／又は本明細書に開示されていない方法で組み合わされ得る。以下に列挙される各従属請求項は、１つの請求項のみに直接的に従属し得るが、可能性のある例示的な実施形態の開示は、請求項のセットにおける全ての他の請求項と組み合わされた各従属請求項を含む。

【0020】

本明細書で使用される要素、行為、又は命令は、特に明示的に記載されていない限り、重要又は必須であると解釈されるべきではない。また、本明細書で使用される冠詞「ａ」及び「ａｎ」は、１つ以上の事項を含むことを意図したものであり、「１つ以上」と交換可能に使用され得る。１つの事項のみを意図したものである場合、「１つ」という用語又は同様の用語が使用される。また、本明細書で使用される用語「有する（ｈａｓ）」、「有する（ｈａｖｅ）」、「有している（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｅ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、又は同種のものは、オープンエンドの用語であることを意図したものである。更に、「～に基づいて」というフレーズは、特に明示的に述べられていない限り、「～に少なくとも部分的に基づいて」を意味することを意図したものである。更に、「［Ａ］及び［Ｂ］のうちの少なくとも一方」又は「［Ａ］又は［Ｂ］のうちの少なくとも一方」などの表現は、Ａのみ、Ｂのみ、又はＡ及びＢの両方を含むものとして理解されるべきである。

【0021】

図１は、機械学習（ＭＬ）評価デバイス１００の例示的なコンポーネントの図である。図１に示されるように、ＭＬ評価デバイス１００は、バス１１０と、プロセッサ１２０と、メモリ１３０と、ストレージコンポーネント１４０と、入力コンポーネント１５０と、出力コンポーネント１６０と、通信インターフェース１７０と、を含み得る。

【0022】

バス１１０は、ＭＬ評価デバイス１００のコンポーネント間の通信を可能にするコンポーネントを含む。プロセッサ１２０は、ハードウェア、ファームウェア、又はハードウェア及びソフトウェアの組合せで実装され得る。プロセッサ１２０は、中央処理装置（ＣＰＵ）、画像処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は別のタイプの処理コンポーネントであり得る。１つ以上の例示的な実施形態では、プロセッサ１２０は、機能を行うようにプログラム可能な１つ以上のプロセッサを含む。メモリ１３０は、プロセッサ２２０による使用のために情報及び／又は命令を記憶するランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、並びに／又は別のタイプの動的若しくは静的ストレージデバイス（例えば、フラッシュメモリ、磁気メモリ、及び／若しくは光メモリ）を含む。

【0023】

ストレージコンポーネント１４０は、ＭＬ評価デバイス１００の動作及び使用に関連する情報及び／又はソフトウェアを記憶する。例えば、ストレージコンポーネント１４０は、対応するドライブと共に、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、及び／若しくはソリッドステートディスク）、コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、並びに／又は別のタイプの非一時的コンピュータ可読媒体を含み得る。入力コンポーネント１５０は、ユーザ入力などを介して情報をＭＬ評価デバイス１００が受信することを可能にするコンポーネント（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、及び／又はマイク）を含む。追加的に又は代替的に、入力コンポーネント１５０は、情報を検知するセンサ（例えば、グローバルポジショニングシステム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ、及び／又はアクチュエータ）を含み得る。出力コンポーネント１６０は、ＭＬ評価デバイス１００からの出力情報を提供するコンポーネント（例えば、ディスプレイ、スピーカ、及び／又は１つ以上の発光ダイオード（ＬＥＤ））を含む。

【0024】

通信インターフェース１７０は、有線接続、無線接続、又は有線及び無線接続の組合せなどを介してＭＬ評価デバイス１００が他のデバイスと通信することを可能にする送受信機状のコンポーネント（例えば、送受信機及び／又は別々の受信機及び送信機）を含む。通信インターフェース１７０は、ＭＬ評価デバイス１００が別のデバイスから情報を受信すること及び／又は情報を別のデバイスに提供することを可能にし得る。例えば、通信インターフェース１７０は、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（ＲＦ）インターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、Ｗｉ－Ｆｉインターフェース、セルラネットワークインターフェース、又は同種のものを含み得るが、これらに限定されない。

【0025】

ＭＬ評価デバイス１００は、本明細書に記載される１つ以上の例示的なプロセスを行い得る。１つ以上の例示的な実施形態によれば、ＭＬ評価デバイス１００は、メモリ１３０及び／又はストレージコンポーネント１４０などの非一時的コンピュータ可読媒体によって記憶されたソフトウェア命令をプロセッサ１２０が実行したことに応じて当該プロセスを行い得る。コンピュータ可読媒体は、本明細書において非一時的メモリデバイスとして定められる。メモリデバイスは、単一の物理ストレージデバイス内のメモリ空間、又は複数の物理ストレージデバイスに及ぶメモリ空間を含む。

【0026】

ソフトウェア命令は、通信インターフェース１７０を介して別のコンピュータ可読媒体から又は別のデバイスからメモリ１３０及び／又はストレージコンポーネント１４０に読み込まれ得る。メモリ１３０及び／又はストレージコンポーネント１４０に記憶されたソフトウェア命令は、実行されると、本明細書に記載される１つ以上のプロセスをプロセッサ１２０に行わせ得る。

【0027】

追加的に又は代替的に、ハードワイヤード回路は、本明細書に記載される１つ以上のプロセスを行うために、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わされて使用され得る。したがって、本明細書に記載される１つ以上の例示的な実施形態は、ハードウェア回路及びソフトウェアのどの特定の組合せにも限定されない。

【0028】

図１に示されるコンポーネントの数及び配置は、一例として提供される。実際、ＭＬ評価デバイス１００は、図１に示されるものと比べて、追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント、又は異なって配置されたコンポーネントを含み得る。追加的に又は代替的に、ＭＬ評価デバイス１００のコンポーネント（例えば、１つ以上のコンポーネント）のセットは、ＭＬ評価デバイス１００のコンポーネントの別のセットによって行われるものとして記載される１つ以上の機能を行い得る。

【0029】

図２は、１つ以上の例示的な実施形態に係る層及びコンポーネントを示すシステムアーキテクチャ図である。層（例えば、実行層２００、要件管理層２１０、及びストレージ層２２０）は、組み合わされて機械学習（ＭＬ）評価パイプラインと見なされ得る。

【0030】

実施形態によれば、実行層２００が提供され得る。実行層２００は、推論コンポーネント２０１と、ユニットテストコンポーネント２０２と、を含み得る。実行層２００は、ＭＬモデル２４０に対するＭＬ評価プロセスの実行を担い得る。実行層２００は、ＭＬ評価を実行する任意の適切な手段を実装し得ることを理解されたい。実行層２００は、要件管理層２１０から命令を受信するように構成され得る。実行層２００はまた、評価の結果を出力するために表示結果ＵＩ２６０とやり取りし得る。特に、実行層２００は、評価の完了時に評価の結果を含む出力信号を送信し得、一部の実施形態によれば、表示結果ＵＩ２６０は、出力信号を受信して評価の結果を表示し得る。表示結果ＵＩ２６０は、任意の適切なＵＩを用いて実装され得る。例えば、表示結果ＵＩ２６０は、評価テストの結果を列挙するために表形式を有してもよく、表示結果ＵＩ２６０は、評価テストが合格であるか不合格であるかに基づいてテスト結果の特定の部分を強調してもよい。それにも関わらず、表示ＵＩ２６０は、当業者によって決定されるように特定の実装態様に依存し得ることを理解されたい。

【0031】

実行層２００はまた、要件管理層２１０を介して、又はテストデータストレージ２２２から直接的に、テストデータストレージ２２２からテストデータを受信し得る。

【0032】

一部の実施形態によれば、推論コンポーネント２０１は、テストデータストレージ２２２からのデータの受信、及びＭＬモデル２４０を使用して出力を計算するためのＭＬモデル２４０へのデータの入力（すなわち、推論）を担い得る。

【0033】

一部の実施形態によれば、ユニットテストコンポーネント２０２は、ＭＬモデル２４０に対するユニットテストの実行を担い得る。具体的には、ユニットテストは、ＭＬモデル２４０に対して推論コンポーネント２０１を使用して行われる推論プロセス中に取得されるＭＬモデル２４０からの出力の結果を評価し得る。ＭＬモデル２４０の性能に関する指標は、ユニットテストコンポーネント２０２を使用して取得され得る。

【0034】

要件管理層２１０が提供され得る。要件管理層２１０は、ストレージ層に記憶されたファイル（例えば、要件コード（ＲＡＣ）ファイル１、２、．．．、Ｎ（２２１－１、２２１－２、２２１－Ｎ、．．．））又はテストデータストレージ２２２からのテストデータの解釈を担い得る。ＲＡＣファイルの解釈に基づいて、要件管理層２１０は、ＭＬ評価を実行するように実行層２００に命令を送信し得る。

【0035】

ストレージ層２２０は、実行層２００及び要件管理層２１０によって使用される全てのデータを含み得る。ストレージ層２２０は、任意の適切なストレージ手段（例えば、データベース、クラウドストレージなど）によって実装され得る。ストレージ層２２０は、任意の数のＲＡＣファイル２２１－１、２２１－２、２２１－Ｎと、テストデータストレージ２２２と、を含み得る。各ＲＡＣファイル及びテストデータストレージは、同じ記憶媒体又は異なる記憶媒体に記憶され得ることを理解されたい。

【0036】

要件コード（ＲＡＣ）ファイル２２１－１、２２１－２、２２１－Ｎは、ＭＬモデル２４０の期待される挙動の記憶を担い得る。期待される挙動は、（テストパラメータを含み得る）要件を備え得る。特に、ＲＡＣファイルは、例えば、達成される必要がある特定の指標基準、達成される必要がある規格、テストのタイプなどに基づいて、テストされる必要があるＭＬモデルの性能指標を指定する人間可読形式であり得る。ＲＡＣファイルは、実行層２００においてＭＬ評価プロセス中に使用される要件、合格基準、テスト目標、テストデータのファイルパス、テスト条件を含み得る。したがって、このような要件、合格基準、テスト目標、テストデータパス、及びテスト条件は、どのようにＭＬモデル２４０のＭＬテスト及び評価が実行層２００によって実行されるべきかを決定するために、要件管理層２１０によって容易に解釈され得る。

【0037】

一部の実施形態によれば、ＲＡＣファイル２２１－１、２２１－２、２２１－Ｎは、編集プロンプトＵＩ２５０によって編集可能であり得る。特に、編集プロンプトＵＩ２５０は、ソースファイルを編集するために使用される汎用コマンドラインインターフェースであり得るか、又は編集プロンプトＵＩ２５０は、ユーザが所定の構成をドラッグアンドドロップ又は選択することを可能にするようにやり取り可能な要素を有するグラフィカルユーザインターフェース（ＧＵＩ）であり得る。それにも関わらず、任意の適切なユーザインターフェースが編集プロンプトＵＩ２５０に対して実装され得ることを理解されたい。

【0038】

テストデータストレージ２２２は、推論コンポーネント２０１によって使用されてＭＬモデル２４０に入力されるデータを含み得る。一部の実施形態によれば、テストデータストレージ２２２は、ＲＡＣファイルと別々に記憶され得る。テストデータについてのデータファイルの特定の形式は、任意の適切な形式であり得る。

【0039】

編集プロンプトＵＩ２５０及び表示結果ＵＩ２６０は、任意の適切な環境、例えば、ウェブインターフェースにおいて、又はローカルユーザデバイス上でのみ実装され得ることを理解されたい。一部の実施形態によれば、編集プロンプトＵＩ２５０及び表示結果ＵＩ２６０は、別々に又は同時に表示され得ることも理解されたい。

【0040】

実施形態によれば、（編集プロンプトＵＩ２５０及び表示結果ＵＩ２６０の特徴を含み得る）ＵＩが提供されてもよく、これは、評価プロセスを合理化するための更なる特徴を含み得る。例えば、ユーザインターフェースは、ストレージ層２２０からのどのセットの要件が使用されるべきか、及びその順序付け、例えば、第１のセット及び第２のセットの要件が順次評価されるべきか又は並列で評価されるべきかをユーザが選択することを可能にするためのインターフェースと共に要件管理層２１０と通信し得る。上記ユーザインターフェースはまた、（例えば、テストデータストレージ２２２から）ユーザがテストデータセットを選択することを可能にし得る。ユーザは、異なる候補ＭＬモデルにわたって動作して、どの候補ＭＬモデルが最高の指標を有するかを自動的に示すように同じセットの要件を構成でき得ることも想定される。

【0041】

図３は、１つ以上の例示的な実施形態に係るＭＬモデルを評価する方法３００を示すフローチャート図である。

【0042】

図３を参照して、動作Ｓ３１０で、テストパラメータを含む要件は、ストレージ層２２０から要件管理層２１０によって受信される。一部の実施形態によれば、（テストパラメータなどの）要件は、ＲＡＣファイル２２１－１、２２１－２、２２１－Ｎのうちの１つ以上であり得る。

【0043】

ストレージ層２２０から要件を受信した後、動作Ｓ３２０で、要件は、ＭＬモデル２４０に対してＭＬ評価を行うように実行層２００にどのように命令するかを決定するために要件管理層２１０によって解釈され得る。これは、要件、合格基準、テスト目標、テストデータパス、信頼閾値などのモデル調整パラメータ、要件によるテスト条件を解釈することと、実行層２００を使用して行われるべき適切なテスト及びテストパラメータを決定することと、を含み得る。したがって、解釈される要件は、要件管理層２１０によって取得され得る。

【0044】

動作Ｓ３３０で、要件管理層２１０は、ＭＬモデル２４０に対してＭＬ評価を実行層２００に行わせるために、動作Ｓ３２０から解釈されたテストパラメータに基づいて実行層２００に命令を送信する。一部の実施形態によれば、実行層２００がＭＬ評価の実行を終了すると、実行層２００は、評価の結果を含む出力信号を送信し得る。一部の実施形態によれば、この出力信号は、表示結果ＵＩ２６０に送信され得る。

【0045】

図４は、１つ以上の例示的な実施形態に係る、推論コンポーネント及びユニットテストコンポーネントを使用してＭＬモデルを評価する方法４００を示すフローチャート図である。図２に示されるものと同様の層及びコンポーネントは、方法４００を実装するために使用され得、図３に示されるような方法３００と同様のステップの完全な説明は、読みやすくするために省略され得る。

【0046】

図４を参照して、動作Ｓ４１０で、ＭＬ評価を行うための命令は、要件管理層２１０から送信されて、ＭＬモデル２４０に対してＭＬ評価を実行層２００に行わせるために実行層２００によって受信され得る。動作Ｓ４１０で受信される命令は、図３で上述したような動作Ｓ３３０で送信されるものと同様であり得る。

【0047】

動作Ｓ４２０で、実行層２００は、テストデータ（例えば、テストデータストレージ２２２から取得されるテストデータ）と共に、ＭＬモデル２４０を使用して推論動作を実行するように推論コンポーネント２０１に命令を送信し得る。この動作の出力は、推論ログを含み得、当該推論ログは、テストデータを使用したＭＬモデル２４０に対する推論動作の実行からのデータを含み得る。

【0048】

動作Ｓ４３０で、実行層２００は、推論コンポーネント２０１からユニットテストコンポーネント２０２に推論ログを送信し得る。

【0049】

動作Ｓ４４０で、実行層２００は、（例えば、要件によるテスト基準に関して指標を計算及び比較することによって）指標を評価するようにユニットテストコンポーネント２０２に命令を送信し得る。

【0050】

動作Ｓ４５０で、実行層２００は、（比較結果を含み得る）評価された指標を出力し得る。一部の実施形態によれば、これは、表示結果ＵＩ２６０などのＵＩに指標及び比較結果を送信することを含み得る。

【0051】

図５は、１つ以上の例示的な実施形態に係る、要件を追加又は更新することを含むＭＬモデルを評価する方法を示すフローチャート図である。図２に示されるものと同様の層及びコンポーネントは、方法５００を実装するために使用され得、図３に示されるような方法３００及び上記の図４に示されるような方法４００と同様のステップの完全な説明は、読みやすくするために省略され得る。

【0052】

図５を参照して、動作Ｓ５１０で、テストパラメータを含む要件は、ストレージ層２２０から要件管理層２１０によって受信される。これは、図３で上述した動作Ｓ３１０と同様であり得る。

【0053】

ストレージ層２２０から要件を受信した後、動作Ｓ５２０で、要件は、ＭＬモデル２４０に対してＭＬ評価を行うように実行層２００にどのように命令するかを決定するために要件管理層２１０によって解釈され得る。これは、図３で上述した動作Ｓ３２０と同様であり得る。

【0054】

動作Ｓ５３０で、要件管理層２１０は、ＭＬモデル２４０に対してＭＬ評価を実行層２００に行わせるために、動作Ｓ５２０から解釈されたテストパラメータに基づいて実行層２００に命令を送信する。これは、図３で上述した動作Ｓ３３０と同様であり得る。

【0055】

動作Ｓ５４０で、ＭＬ評価を行うための命令は、ＭＬモデル２４０に対してＭＬ評価を実行層２００に行わせるために実行層２００によって受信され得る。これは、図４で上述した動作Ｓ４１０と同様であり得る。

【0056】

動作Ｓ５５０で、命令実行層２００は、（例えば、要件によるテスト基準に関して指標を計算及び比較することによって）指標を評価するようにユニットテストコンポーネント２０２に命令を送信し得る。これは、図４で上述した動作Ｓ４４０と同様であり得る。明示的に示されていないが、一部の実施形態によれば、Ｓ４２０～Ｓ４３０と同様の動作も動作Ｓ５５０の前に含まれ得ることを理解されたい。

【0057】

動作Ｓ５６０で、実行層２００は、（比較結果を含み得る）評価された指標を出力して、表示結果ＵＩ２６０などのＵＩに指標及び比較結果を送信し得る。これは、図４で上述した動作Ｓ４５０と同様であり得る。

【0058】

動作Ｓ５７０で、実行層２００は、（例えば、新しいＲＡＣファイルをストレージ層２２０に追加することによって）要件をストレージ層２２０に追加するように、又は（例えば、ストレージ層２２０内の既存のＲＡＣファイルを編集することによって）既存の要件を更新するように要件管理層２１０に命令を送信し得る。命令は、ＭＬモデル２４０を含むシステムの全体的な性能を最適化するための信頼閾値及びテストパラメータなどであるが、これらに限定されないＭＬモデル調整パラメータを更新するために送信され得る。

【0059】

動作Ｓ５８０で、要件管理層２１０は、動作Ｓ５７０で送信された命令を受信し、それに従って、ストレージ層２２０において要件を追加又は更新する。その後、ステップは、Ｓ５１０から繰り返され得る。本実施形態によれば、まだ発見されていない場合がある要件及びパラメータを探索する反復プロセスが実装され得る。

【0060】

上記実施形態に基づいて、ＭＬ評価プロセスを構成及び実行する全プロセスを、単一のパイプラインに合理化／カプセル化することができ、任意選択的に、パイプラインの層に接続されたユーザインターフェースを用いてユーザに提示できるため、評価プロセスの自動化を改善できることが理解され得る。

【0061】

以上の開示は、例示及び説明を提供するが、網羅的であることを意図したものでもなく、１つ以上の例示的な実施形態を、開示される正確な形態に限定することを意図したものでもない。修正及び変形は、本開示を鑑みて可能であるか、又は１つ以上の例示的な実施形態の実施から習得され得る。

【0062】

１つ以上の例示的な実施形態は、統合の任意の可能性のある技術的詳細レベルにおけるシステム、方法、及び／又はコンピュータ可読媒体に関し得る。更に、上述のコンポーネントのうちの１つ以上は、コンピュータ可読媒体において記憶され少なくとも１つのプロセッサによって実行可能な命令として実装され得る（及び／又は少なくとも１つのプロセッサを含み得る）。コンピュータ可読媒体は、プロセッサに動作を実行させるためにコンピュータ可読プログラム命令を有するコンピュータ可読非一時的記憶媒体（又は媒体（複数））を含み得る。

【0063】

コンピュータ可読記憶媒体は、命令実行デバイスによって使用される命令を保持及び記憶し得る有形デバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、又は以上の任意の好適な組合せであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより特定の例の非網羅的なリストは、以下、すなわち、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、命令が記録されたパンチカード又は溝内の隆起構造などの機械的に符号化されたデバイス、及び以上の任意の好適な組合せを含む。本明細書で使用されるコンピュータ可読記憶媒体は、電波若しくは他の自由に伝播する電磁波、導波路若しくは他の送信媒体を通じて伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、又はワイヤを通じて送信される電気信号などの、一時的な信号自体であると解釈されるべきではない。

【0064】

本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれの計算／処理デバイスにダウンロードされ得るか、又はネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／若しくは無線ネットワークを介して外部コンピュータ若しくは外部ストレージデバイスにダウンロードされ得る。ネットワークは、銅送信ケーブル、光送信ファイバ、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバを備え得る。各計算／処理デバイス内のネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれの計算／処理デバイス内のコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。

【0065】

動作を実行するコンピュータ可読プログラムコード／命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用の構成データ、又は１つ以上のプログラミング言語の任意の組合せで書かれたソースコード若しくはオブジェクトコードであり得、当該プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、又は同種のものなどのオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は同様のプログラミング言語などの手続き型プログラミング言語と、を含む。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に実行され得るか、ユーザのコンピュータ上で部分的に実行され得るか、スタンドアロンソフトウェアパッケージとして実行され得るか、ユーザのコンピュータ上で部分的に且つリモートコンピュータ上で部分的に実行され得るか、又はリモートコンピュータ若しくはサーバ上で完全に実行され得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）若しくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続され得るか、又は（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）外部コンピュータへの接続が行われ得る。１つ以上の例示的な実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、態様又は動作を行うために、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによってコンピュータ可読プログラム命令を実行し得る。

【0066】

当該コンピュータ可読プログラム命令は、マシンを生成するために汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供され得、その結果、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令は、フローチャート及び／又はブロック図のブロック若しくはブロック（複数）において指定される機能／行為を実装する手段を生成する。当該コンピュータ可読プログラム命令はまた、コンピュータ、プログラマブルデータ処理装置、及び／又は他のデバイスに特定の方法で機能するように指示し得るコンピュータ可読記憶媒体に記憶され得、その結果、命令が内部に記憶されたコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図のブロック若しくはブロック（複数）において指定される機能／行為の態様を実装する命令を含む製造物品を備える。

【0067】

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上にロードされて、コンピュータ、他のプログラマブル装置、又は他のデバイス上で一連の動作ステップを行わせて、コンピュータ実装プロセスを生成し得、その結果、コンピュータ、他のプログラマブル装置、又は他のデバイス上で実行される命令は、フローチャート及び／又はブロック図のブロック若しくはブロック（複数）において指定される機能／行為を実装する。

【0068】

図におけるフローチャート及びブロック図は、１つ以上の例示的な実施形態に係るシステム、方法、及びコンピュータ可読媒体の可能性のある例示的な実施形態のアーキテクチャ、機能、及び動作を示す。この点に関して、フローチャート又はブロック図における各ブロックは、指定された論理機能を実装する１つ以上の実行可能命令を備える命令のマイクロサービス、モジュール、セグメント、又は一部を表し得る。方法、コンピュータシステム、及びコンピュータ可読媒体は、図面で描写されるものと比べて、追加のブロック、より少ないブロック、異なるブロック、又は異なって配置されたブロックを含み得る。１つ以上の代替的な例示的実施形態では、ブロックに記される機能は、図に記される順序と関係なく生じ得る。例えば、連続して示される２つのブロックは実際、同時に若しくは実質的に同時に実行され得るか、又はブロックは、関連する機能に応じて、逆の順序で実行されることもあり得る。ブロック図及び／又はフローチャート図の各ブロック、並びにブロック図及び／又はフローチャート図のブロックの組合せは、指定された機能若しくは行為を行うか又は専用のハードウェア及びコンピュータ命令の組合せを実行する専用のハードウェアベースのシステムによって実装され得ることにも留意されたい。

【0069】

本明細書に記載されるシステム及び／又は方法は、ハードウェア、ファームウェア、又はハードウェア及びソフトウェアの組合せの様々な形態で実装され得ることが明らかであろう。当該システム及び／又は方法を実装するために使用される実際の専用の制御ハードウェア又はソフトウェアコードは、１つ以上の例示的な実施形態の限定ではない。したがって、システム及び／又は方法の動作及び挙動は、特定のソフトウェアコードを参照することなく本明細書に記載されており、ソフトウェア及びハードウェアは、本明細書の説明に基づいてシステム及び／又は方法を実装するように設計され得ることが理解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】