特許 7453466 機械学習アルゴリズムの挙動を評価するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-11

(45)【発行日】2024-03-19

(54)【発明の名称】機械学習アルゴリズムの挙動を評価するためのシステムおよび方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240312BHJP

【ＦＩ】

G06N20/00

【請求項の数】 15

(21)【出願番号】P 2023501502

(86)(22)【出願日】2021-05-28

(65)【公表番号】

(43)【公表日】2023-08-04

(86)【国際出願番号】 US2021034740

(87)【国際公開番号】W WO2022010591

(87)【国際公開日】2022-01-13

【審査請求日】2023-02-10

(31)【優先権主張番号】16/922,775

(32)【優先日】2020-07-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520128820

【氏名又は名称】ノースロップ グラマン システムズ コーポレーション

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】ラドゥリーニ、アーロン アール．

(72)【発明者】

【氏名】コム、アンドリュー ダブリュ．

(72)【発明者】

【氏名】ハワード、レベッカ エイ．

【審査官】青木 重徳

(56)【参考文献】

【文献】特開２０１９－２１９９５９（ＪＰ，Ａ）

【文献】国際公開第２０２０／１２１６６５（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０２１３０５６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／００９５８１９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

機械学習（以下、ＭＬとする）アルゴリズムの実行後評価のためのコンピュータが実施する方法であって、
複数の挙動状態を有する実行後バージョンの前記ＭＬアルゴリズムを含むＭＬ挙動データを受信するステップであって、前記複数の挙動状態は、前記ＭＬアルゴリズムの複数の異なる意思決定状態に対応している、前記ＭＬ挙動データを受信するステップと、
前記複数の挙動状態の各々を前記ＭＬアルゴリズムに関する承認された挙動状態のライブラリと比較することによって、前記複数の挙動状態を評価して、前記ＭＬアルゴリズムの前記複数の挙動状態から所与の挙動状態を識別するステップであって、前記所与の挙動状態は、前記ＭＬアルゴリズムに関する前記承認された挙動状態のライブラリの一部ではない前記ＭＬアルゴリズムの意思決定状態に対応している、前記所与の挙動状態を識別するステップと、
評価に基づいて挙動評価データを生成するステップであって、前記挙動評価データは、前記所与の挙動状態が前記ＭＬアルゴリズムの承認された挙動状態ではないことを指示する、前記挙動評価データを生成するステップと、
前記挙動評価データに基づいて、前記ＭＬアルゴリズムの学習された挙動状態を修正することによって、前記ＭＬアルゴリズムを更新して前記ＭＬアルゴリズムの学習プロセスを変更して、更新されたＭＬアルゴリズムを提供するステップと、を含む方法。

【請求項2】

前記ＭＬアルゴリズムは、システムの処理デバイス上に実装されるとともに、前記システムの挙動を制御するようにプログラムされ、前記処理デバイス上での前記ＭＬアルゴリズムの実行中に、前記ＭＬアルゴリズムは、前記実行後バージョンの前記ＭＬアルゴリズムを提供するために前記学習プロセスを更新し、前記学習プロセスに対する各更新は、前記ＭＬアルゴリズムの前記複数の挙動状態の個々の挙動状態に対応し、前記学習プロセスに対する各更新は、前記学習プロセスの少なくとも１つのパラメータを更新することを含む、請求項１に記載のコンピュータが実施する方法。

【請求項3】

評価することは、前記ＭＬアルゴリズムの前記複数の挙動状態の各々に関する前記学習プロセスの前記少なくとも１つのパラメータを、前記承認された挙動状態のライブラリの承認された挙動状態の対応するパラメータと比較して、前記所与の挙動状態を識別することを含む、請求項２に記載のコンピュータが実施する方法。

【請求項4】

評価に基づいて、前記ＭＬアルゴリズムの前記複数の挙動状態から他の挙動状態を識別する挙動識別データを生成するステップをさらに含み、前記他の挙動状態は、前記ＭＬアルゴリズムに関する前記承認された挙動状態のライブラリの一部ではない前記ＭＬアルゴリズムの別の意思決定状態に対応している、請求項３に記載のコンピュータが実施する方法。

【請求項5】

出力デバイス上に表示するための複数のグラフィカルオブジェクトを含むグラフィカルユーザインタフェース（ＧＵＩ）を生成するステップをさらに含み、前記複数のグラフィカルオブジェクトのうちの所与のグラフィカルオブジェクトは、挙動オブジェクトに対応するとともに、前記挙動識別データに基づいて生成され、前記挙動オブジェクトは、前記ＭＬアルゴリズムの前記他の挙動状態を特徴付ける、請求項４に記載のコンピュータが実施する方法。

【請求項6】

入力デバイスを介したユーザによる前記挙動オブジェクトとの対話に基づいて追加の挙動評価データを生成するステップをさらに含み、前記追加の挙動評価データは、前記ＭＬアルゴリズムの前記他の挙動状態が前記ＭＬアルゴリズムに関する承認された挙動状態であること、前記ＭＬアルゴリズムの前記他の挙動状態が前記ＭＬアルゴリズムに関する承認された挙動状態でないこと、前記ＭＬアルゴリズムの前記他の挙動状態に対する前記学習プロセスの更新のうちの１つを指示する、請求項５に記載のコンピュータが実施する方法。

【請求項7】

前記他の挙動状態が前記ＭＬアルゴリズムに関する承認された挙動状態であることを指示する前記追加の挙動評価データに基づいて、前記他の挙動状態を含むように前記承認された挙動状態のライブラリを更新するステップをさらに含む、請求項６に記載のコンピュータが実施する方法。

【請求項8】

前記ＭＬアルゴリズムの前記他の挙動状態が前記ＭＬアルゴリズムに関する前記承認された挙動状態ではないこと、および前記ＭＬアルゴリズムの前記他の挙動状態に対する前記学習プロセスの前記更新のうちの１つを指示する前記追加の挙動評価データに基づいて、前記ＭＬアルゴリズムの前記他の挙動状態を更新することによって、前記ＭＬアルゴリズムを更新して前記ＭＬアルゴリズムの前記学習プロセスをさらに変更するステップをさらに含む、請求項６に記載のコンピュータが実施する方法。

【請求項9】

前記学習プロセスに対する変更は、前記ＭＬアルゴリズムの前記他の挙動状態に対する前記学習プロセスの前記少なくとも１つのパラメータに関する更新されたパラメータ値に対応する、請求項８に記載のコンピュータが実施する方法。

【請求項10】

前記追加の挙動評価データに基づいて前記ＭＬアルゴリズムの前記他の挙動状態を更新することによって、前記ＭＬアルゴリズムを更新して前記ＭＬアルゴリズムの前記学習プロセスをさらに変更するステップをさらに含む、請求項９に記載のコンピュータが実施する方法。

【請求項11】

前記ＭＬアルゴリズムの前記他の挙動状態に対する前記学習プロセスの前記少なくとも１つのパラメータに関する前記更新されたパラメータ値に基づいて、更新されたバージョンの前記他の挙動状態を生成するステップと、
前記更新されたバージョンの前記他の挙動状態を含むように前記承認された挙動状態のライブラリを更新するステップと、を含む、請求項１０に記載のコンピュータが実施する方法。

【請求項12】

機械学習（以下、ＭＬとする）アルゴリズムの実行後評価のためのシステムであって、
機械可読命令およびデータを保存するためのメモリであって、前記データが、複数の挙動状態を有する実行後バージョンの前記ＭＬアルゴリズムを含み、前記複数の挙動状態が、前記ＭＬアルゴリズムの複数の異なる意思決定状態に対応している、前記メモリと、
前記メモリにアクセスして、前記機械可読命令を実行するための１つまたは複数のプロセッサと、を備え、前記機械可読命令は、
ＭＬ評価器モジュールであって、
前記ＭＬ評価器モジュールは、前記ＭＬアルゴリズムの前記複数の挙動状態から所与の挙動状態を識別する挙動識別データを生成するようにプログラムされており、前記所与の挙動状態は、前記ＭＬアルゴリズムの実行中に前記ＭＬアルゴリズムが学習した前記ＭＬアルゴリズムの意思決定状態に対応している、前記ＭＬ評価器モジュールと、
決定木モジュールであって、
前記決定木モジュールは、前記ＭＬアルゴリズムの前記所与の挙動状態を特徴付ける挙動オブジェクトを含む複数のグラフィカルオブジェクトを含むグラフィカルユーザインタフェース（ＧＵＩ）を生成し、前記挙動オブジェクトは、前記挙動識別データに基づいて生成され、
前記決定木モジュールは、入力デバイスを介したユーザによる前記挙動オブジェクトとの対話に基づいて挙動評価データを生成し、前記挙動評価データは、前記ＭＬアルゴリズムの前記所与の挙動状態が前記ＭＬアルゴリズムに関する承認された挙動状態であること、前記ＭＬアルゴリズムの前記所与の挙動状態が前記ＭＬアルゴリズムに関する承認された挙動状態でないこと、前記ＭＬアルゴリズムの前記所与の挙動状態に対する学習プロセスの更新のうちの１つを指示する、前記決定木モジュールと、
ＭＬ挙動調整モジュールであって、
前記挙動評価データに基づいて前記ＭＬアルゴリズムを更新して前記ＭＬアルゴリズムの前記学習プロセスを変更するように構成された前記ＭＬ挙動調整モジュールと、を備えるシステム。

【請求項13】

前記ＭＬアルゴリズムを更新して前記ＭＬアルゴリズムの前記学習プロセスを変更することは、
前記ＭＬアルゴリズムの前記所与の挙動状態が前記ＭＬアルゴリズムに関する承認された挙動状態ではないことを指示する前記挙動評価データに基づいて、前記ＭＬアルゴリズムから前記所与の挙動状態を削除して前記学習プロセスを変更すること、
前記ＭＬアルゴリズムの前記所与の挙動状態に関する学習プロセスに対する更新を指示する前記挙動評価データに基づいて、更新されたパラメータ値を用いて前記ＭＬアルゴリズムの前記所与の挙動状態に関する前記学習プロセスの少なくとも１つのパラメータを更新して前記ＭＬアルゴリズムの前記学習プロセスを変更すること、のうちの１つを含む、請求項１２に記載のシステム。

【請求項14】

前記挙動識別データを生成することは、前記ＭＬアルゴリズムに関する承認された挙動状態のライブラリに対して前記ＭＬアルゴリズムの前記複数の挙動状態を評価して、前記所与の挙動状態を識別することを含む、請求項１３に記載のシステム。

【請求項15】

前記ＭＬアルゴリズムは、無人車両（ＵＶ）の処理デバイス上で一定期間にわたって実行して、前記実行後バージョンのＭＬアルゴリズムを提供するようにプログラムされる、請求項１４に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習アルゴリズムの挙動（ｂｅｈａｖｉｏｒ）を評価するためのシステムおよび方法に関する。

【背景技術】

【0002】

機械学習は、データ内の新たなパターンを識別しながら「学習する」人工知能の一種である。機械学習アルゴリズムの種類は、それらのアプローチ、それらが入力および出力するデータの種類、ならびにそれらが解決しようとするタスクまたは問題の種類によって異なる。ＭＬアルゴリズムは、教師あり、半教師あり、教師なし、強化機械学習アルゴリズムの４種類に大きく分類され得る。

【発明の概要】

【0003】

一例では、機械学習（ＭＬ）アルゴリズムの実行後評価のためのコンピュータが実施する方法は、複数の挙動状態を有する実行後バージョンのＭＬアルゴリズムを含むＭＬ挙動データを受信することを含み得る。複数の挙動状態は、ＭＬアルゴリズムの実行中のＭＬアルゴリズムの複数の異なる意思決定状態に対応し得る。コンピュータが実施する方法は、複数の挙動状態の各々をＭＬアルゴリズムに関する承認された挙動状態のライブラリと比較することによって、複数の挙動状態を評価して、ＭＬアルゴリズムの複数の挙動状態から所与の挙動状態を識別することをさらに含み得る。所与の挙動状態は、ＭＬアルゴリズムに関する承認された挙動状態のライブラリの一部ではないＭＬアルゴリズムの意思決定状態に対応し得る。コンピュータが実施する方法は、評価に基づいて挙動評価データを生成することをさらに含み得る。挙動評価データは、所与の挙動状態がＭＬアルゴリズムに関する承認された挙動状態ではないことを指示し得る。コンピュータが実施する方法は、挙動評価データに基づいて、ＭＬアルゴリズムの学習された挙動状態を修正することによって、ＭＬアルゴリズムを更新してＭＬアルゴリズムの学習プロセスを変更して、更新されたＭＬアルゴリズムを提供することをさらに含み得る。

【0004】

別の例では、ＭＬアルゴリズムの実行後評価のためのシステムは、機械可読命令およびデータを保存するメモリを含む。データは、複数の挙動状態を有する実行後バージョンのＭＬアルゴリズムを含み得る。複数の挙動状態は、ＭＬアルゴリズムの実行中のＭＬアルゴリズムの複数の異なる意思決定状態に対応し得る。システムは、メモリにアクセスし、機械可読命令を実行するための１つまたは複数のプロセッサをさらに含む。機械可読命令は、ＭＬ評価器モジュール、決定木モジュール、およびＭＬ挙動調整モジュールを含み得る。ＭＬ評価器モジュールは、ＭＬアルゴリズムの複数の挙動状態から所与の挙動状態を識別する挙動識別データを生成するようにプログラムされ得る。所与の挙動状態は、ＭＬアルゴリズムの実行中にＭＬアルゴリズムが学習したＭＬアルゴリズムの意思決定状態に対応し得る。決定木モジュールは、ＭＬアルゴリズムの所与の挙動状態を特徴付ける挙動オブジェクトを含む複数のグラフィカルオブジェクトを含むグラフィカルユーザインタフェース（ＧＵＩ）を生成するようにプログラムされ得る。挙動オブジェクトは、挙動識別データに基づいて生成され得る。決定木モジュールは、入力デバイスを介したユーザによる挙動オブジェクトとの対話に基づいて、挙動評価データを生成するようにさらにプログラムされ得る。挙動評価データは、ＭＬアルゴリズムの所与の挙動状態がＭＬアルゴリズムに関する承認された挙動状態であること、ＭＬアルゴリズムの所与の挙動状態がＭＬアルゴリズムに関する承認された挙動状態ではないこと、およびＭＬアルゴリズムの所与の挙動状態に対する学習プロセスの更新のうちの１つを指示し得る。ＭＬ挙動調整モジュールは、挙動評価データに基づいてＭＬアルゴリズムを更新して、ＭＬアルゴリズムの学習プロセスを変更するようにプログラムされる。

【0005】

さらなる例では、プロセッサによって実行され得る命令を含む１つまたは複数の非一時的コンピュータ可読媒体が使用され得る。命令は、ミッションを実行するように構成された無人機（ＵＶ）のナビゲーションおよび制御システム（ＮＣＳ）上で実行するようにプログラムされたＭＬアルゴリズムの評価のための方法を実行するようにプログラムされ得る。方法は、複数の挙動状態を有する実行後バージョンのＭＬアルゴリズムを含むＭＬ挙動データを受信することを含み得る。複数の挙動状態は、ＭＬアルゴリズムの実行中のＭＬアルゴリズムの複数の異なる意思決定状態に対応し得る。ＭＬアルゴリズムの各意思決定状態は、ＵＶによって実行されるミッション中にＭＬアルゴリズムの学習プロセスに対する個々の変化を引き起こし得る。方法は、ＭＬアルゴリズムの複数の挙動状態から所与の挙動状態を識別する挙動識別データを生成することをさらに含み得る。所与の挙動状態は、ＵＶによって実行されるミッション中にＭＬアルゴリズムが展開したＭＬアルゴリズムの個々の意思決定状態に対応し得る。方法は、挙動オブジェクトを含む複数のグラフィカルオブジェクトを含むＧＵＩを生成することをさらに含み得る。挙動オブジェクトは、ＭＬアルゴリズムの所与の挙動状態を特徴付け得る。挙動オブジェクトは、挙動識別データに基づいて生成され得る。方法は、入力デバイスを介したユーザによる挙動オブジェクトとの対話に基づいて、挙動評価データを生成することをさらに含み得る。挙動評価データは、ＭＬアルゴリズムの所与の挙動状態がＭＬアルゴリズムに関する承認された挙動状態であること、ＭＬアルゴリズムの所与の挙動状態がＭＬアルゴリズムに関する承認された挙動状態でないこと、ＭＬアルゴリズムの所与の挙動状態に対する学習プロセスに対する更新のうちの１つを指示し得る。方法は、挙動評価データに基づいてＭＬアルゴリズムを更新してＭＬアルゴリズムの学習プロセスを変更して、ＵＶによって実行される後続のミッションに対して更新されたＭＬアルゴリズムを提供することをさらに含み得る。

【図面の簡単な説明】

【0006】

【図1】機械学習（ＭＬ）アルゴリズムの挙動評価を実施するための例示的な環境を示す図である。

【図2】ＭＬ分析システムの一例を示す図である。

【図3】決定木ユーザインタフェース（ＧＵＩ）の一例を示す図である。

【図4】別の決定木ＧＵＩの例を示す図である。

【図5】ＭＬアルゴリズムの挙動を検証するための方法の一例を示すフロー図である。

【図6】ＭＬアルゴリズムの挙動を検証するための方法の別の例を示すフロー図である。

【発明を実施するための形態】

【0007】

本発明は、機械学習（ＭＬ）アルゴリズムの挙動を評価するためのシステムおよび方法に関する。いくつかの例では、ＭＬアルゴリズムの性能を事後的に（例えば、ＭＬアルゴリズムの前回の使用から一定期間経過後に）に評価するためにＭＬ分析システムが使用され得る。評価は、ＭＬアルゴリズムの挙動が検証（例えば、承認、修正、または削除）され得るように、ＭＬアルゴリズムの挙動特性を決定することを含み得る。ＭＬアルゴリズムに関して本明細書で使用される「挙動」という用語は、ＭＬアルゴリズムの学習プロセス（例えば、意思決定プロセス）を意味する。ＭＬアルゴリズムの使用中に、学習プロセスの少なくとも１つのパラメータが更新されるように、学習プロセスの状態が変化し（例えば、更新され）得る。学習プロセスの各異なる状態は、本明細書では挙動状態と呼ばれ得る。従って、ＭＬアルゴリズムは、複数の挙動状態を有し得、各状態は、ＭＬアルゴリズムの学習プロセスの更新バージョンに対応し得る。従って、ＭＬアルゴリズムの学習プロセスが使用中に進化するにつれて、各進化（例えば、変化）により、ＭＬアルゴリズムが少なくとも１つのパラメータを新たな値に更新することが生じ得る。

【0008】

いくつかの例では、ＭＬ分析システムは、ＭＬ評価器モジュールを含む。ＭＬ評価器モジュールは、ＭＬアルゴリズムの各挙動状態を評価して、例えば、複数の挙動状態から学習された挙動状態（例えば、新たな機械コード）を識別することなどを行うように構成され得る。本明細書で使用される「学習された挙動状態」という用語は、ＭＬアルゴリズムが使用されてから展開されたＭＬアルゴリズムの学習プロセスの状態を意味する。ＭＬ評価器モジュールは、ＭＬアルゴリズムの挙動状態を評価して、学習された挙動状態が承認された挙動状態であるかどうかを判定するようにプログラムされ得る。本明細書で使用される「承認された挙動状態」という用語は、承認されたＭＬアルゴリズムの学習プロセスの状態を意味する。いくつかの例では、ＭＬ評価器モジュールは、各挙動状態をＭＬアルゴリズムに関する承認された挙動状態のライブラリと比較して、各挙動状態がＭＬアルゴリズムに関する承認された挙動状態であるかどうかを判定するようにプログラムされ得る。ＭＬ評価器モジュールは、比較に基づいて挙動評価データを出力するようにプログラムされ得る。挙動評価データは、学習された挙動が承認されたか、または承認されなかったかを指示し得る。いくつかの例では、挙動評価データは、本明細書で説明するように、ＭＬアルゴリズムの学習された挙動状態を更新するための情報を含み得る。例えば、挙動評価データは、学習された挙動状態の修正されたバージョンを提供するために学習された挙動状態を修正するなどのために、学習された挙動状態に関連付けられた少なくとも１つのパラメータの新たな値を指定し得る。

【0009】

いくつかの例では、ＭＬ分析システムは、ＭＬ挙動調整モジュールを含む。ＭＬ挙動調整モジュールは、挙動評価データを使用してＭＬアルゴリズムを更新してＭＬアルゴリズムの学習プロセスを変更して、更新されたＭＬアルゴリズムを提供するようにプログラムされ得る。更新されたＭＬアルゴリズムは、ＭＬアルゴリズムの少なくとも１つの挙動状態が変更されたバージョンのＭＬアルゴリズムに対応し得る。いくつかの例では、ＭＬ分析システムは、決定木モジュールを含む。決定木モジュールは、ＭＬアルゴリズムの学習された挙動状態の承認、修正、および削除のための対話型タイムラインを有する決定木グラフィカルユーザインタフェース（ＧＵＩ）を生成するようにプログラムされ得る。ＭＬ挙動調整モジュールは、本明細書に説明されるように、ユーザの決定木ＧＵＩとの対話に基づいて、ＭＬアルゴリズムを更新し、更新されたＭＬアルゴリズムを提供するようにプログラムされ得る。

【0010】

従って、本明細書で説明されるシステムおよび方法は、ＭＬアルゴリズムの学習された挙動状態が検証（例えば、承認、修正、または削除）され得るように、ＭＬアルゴリズムの事後分析を可能にする。検証は、ＭＬアルゴリズムに関する承認された挙動状態のライブラリ、またはユーザの決定木ＧＵＩとの対話に基づくものであり得る。決定木ＧＵＩは、ユーザが、アルゴリズム意思決定プロセスを分析し、ＭＬアルゴリズムが特定の結果を提供する原因となった状態（例えば、環境状態等の外部状態）を識別することを可能にする。ユーザは、決定木ＧＵＩを介してＭＬアルゴリズムを削除または修正することによって、学習プロセスを変更して、学習された挙動状態を除去し得る。ＭＬアルゴリズムを更新することは、ユーザが数千行のコードを検討してＭＬアルゴリズムの挙動学的変化を決定しなければならないという複雑な性質のために、時間がかかり、かつ高度な技術を必要とするプロセスである。本明細書で説明するように、ＭＬ分析システムを使用することによって、ユーザは、ＭＬアルゴリズムがどのように挙動しているかをより効率的に判定することができ、ＭＬアルゴリズムが作成されたネイティブコーディング言語をユーザが理解することを必要としない。

【0011】

図１は、機械学習（ＭＬ）アルゴリズムの挙動評価を実施するための例示的な環境１００を示す。いくつかの例では、ＭＬアルゴリズム１０２は、ＭＬアルゴリズム１０２の用途に応じて、教師なし学習アルゴリズム、教師あり学習アルゴリズム、半教師あり学習アルゴリズムとして、または強化学習アルゴリズムとして実施され得る。本明細書では、ＭＬアルゴリズム１０２が自律車両環境において実施される例が提示されるが、本明細書の例は、自律車両環境のみに解釈または限定されるべきではない。ＭＬアルゴリズム１０２は、ＭＬ入力データ１０４を受信し、ＭＬ入力データ１０４を処理して結果データを提供するようにプログラムされ得る。ＭＬアルゴリズム１０２は、コンピュータ（例えば、コンピュータの１つまたは複数のプロセッサ）、組み込みシステム、車両制御システム（例えば、コントローラ）等の処理デバイス１０６上の対応する用途環境において実行され得る命令のセットに対応するコード（例えば、機械コード）として実施され得る。処理デバイス１０６は、システム１０８上に実装され得る。処理デバイス１０６は、システム１０８の動作を制御するようにプログラムされた制御機能１１０（例えば、１つまたは複数のルーチンのセット）を含み得る。

【0012】

ＭＬアルゴリズム１０２は、制御機能１１０によって実施されるタスクの性能を制御するために使用し得る。例として、タスクは、飛行制御、照明制御、コンピュータリソースのスケジューリング、ロボット制御、化学反応の最適化、ニュース推奨などを含み得る。いくつかの例では、タスクの実行中に、ＭＬアルゴリズム１０２は、ＭＬ入力データ１０４を受信し、ＭＬ入力データ１０４に基づいて結果データを制御機能１１０に提供するようにプログラムされ得る。結果データは、予測値、分類値、推奨値、システムパラメータ値などを含み得る。従って、結果データの値は、ＭＬアルゴリズム１０２が使用される対応する用途環境に基づくものであり得る。ＭＬ入力データ１０４は、システム１０８の制御のために制御機能１１０に結果を提供するためにＭＬアルゴリズム１０２が処理し得る任意のタイプのデータに対応し得る。

【0013】

ＭＬアルゴリズム１０２は、システム１０８上で使用され、かつ処理デバイス１０６上で実行し得る。ＭＬアルゴリズム１０２は、ＭＬ入力データ１０４に基づいて結果データを提供するための内部学習プロセス（例えば、１つまたは複数のモデル）を更新し得る。内部意思決定プロセスの各更新は、意思決定プロセスの少なくとも１つのパラメータを更新することに対応し得る。学習プロセスの状態は、学習プロセスの少なくとも１つのパラメータが更新されるように、実行中に変化し（例えば、更新され）得る。学習プロセスの各異なる状態は、本明細書では挙動状態と呼ばれ得る。従って、ＭＬアルゴリズム１０２は、複数の挙動状態を有し得、各状態は、ＭＬアルゴリズム１０２の学習プロセスの更新バージョンに対応し得る。ＭＬアルゴリズム１０２の学習プロセスが使用中に進化するにつれて、各進化（例えば、変化）により、ＭＬアルゴリズム１０２が少なくとも１つのパラメータを新たな値に更新することが生じ得る。いくつかの例では、少なくとも１つのパラメータは、重み、ベクトル（例えば、サポートベクトル）、係数などを含む。本明細書で説明されるように、ＭＬアルゴリズム１０２の各挙動状態は、ＭＬアルゴリズム１０２の挙動状態が、システム１０８におけるＭＬアルゴリズム１０２の将来の使用のために検証（例えば、承認、削除、または修正）され得るように、（例えば、事後分析を介して）評価され得る。

【0014】

いくつかの例では、ＭＬ分析システム１１２は、ＭＬアルゴリズム１０２の挙動性能を評価して、例えば、ＭＬアルゴリズム１０２の挙動状態の中から学習された挙動状態を識別するなどのために使用され得る。ＭＬ分析システム１１２は、本明細書で説明されるように、学習された挙動状態を検証し得る。ＭＬ分析システム１０８は、プロセッサ１１４を含む。プロセッサ１１４は、ＭＬ分析システム１１２のメモリ１１６にアクセスし得る。メモリ１１６は、本明細書で説明するように、１つまたは複数の機能を実施するなどのために、プログラムを表すことができるとともに、プロセッサ１１４によって実行され得る機械可読命令を含み得る。

【0015】

プロセッサ１１４は、機械可読命令を実行して、ＭＬ評価器モジュール１１８を実装し得る。いくつかの例では、ＭＬ評価器モジュール１１８は、システム１０８に関するシステムデータ１２０を受信するようにプログラムされ得る。システムデータ１２０は、システム１０８によって実施される動作を特徴付け得る。システムデータ１２０は、制御機能１１０によって実施されるタスクを特徴付けるタスク情報を含み得る。いくつかの例では、システムデータ１２０は、イベントタイミングデータ１２２を含む。イベントタイミングデータ１２２は、システム１０８に関するイベントのタイミング情報を特徴付け得る。イベントは、ＭＬアルゴリズム１０２においてＭＬ入力データ１０４を受信し、結果データを制御機能１１０に提供する等のＭＬイベントを含むことができ、さらに、制御機能１１０において結果データを受信する等の制御機能イベントを含み得る。従って、イベントタイミングデータ１２２は、ＭＬアルゴリズム１０２および制御機能１１０に関して各イベントが発生した時間を識別し得る。いくつかの例では、イベントタイミングデータ１２２は、システム１０８によって実施された各動作の個々の時間などのシステムイベントを含む。いくつかの例では、システムはイベントロガーを含み、イベントロガーは、ＭＬアルゴリズム１０２および制御機能１１０によって実施される各イベントおよび各イベントの時間を監視および記録するように構成され得る。システムデータ１２０は、ＭＬアルゴリズム１０２の挙動状態を特徴付けるＭＬデータ１２４をさらに含み得る。従って、ＭＬデータ１２４は、ＭＬアルゴリズム１０２の挙動状態ごとに学習プロセスの少なくとも１つのパラメータを特徴付け得る。いくつかの例では、ＭＬデータ１２４はＭＬアルゴリズム１０２を含む。

【0016】

いくつかの例では、ＭＬ評価器モジュール１１８は、ＭＬアルゴリズム１０２の各挙動状態を評価して、各挙動状態がＭＬデータ１２４に基づいてＭＬアルゴリズム１０２に関する承認された挙動状態であるかどうかを判定するようにプログラムされる。いくつかの例では、ＭＬ評価器モジュール１１８は、学習された挙動状態を評価して、学習された挙動状態がＭＬアルゴリズム１０２の承認された挙動であるかどうかを判定する。いくつかの例では、ＭＬ評価器モジュール１１８は、学習された挙動状態を更新して、学習プロセスが、将来の使用において学習された挙動状態を削除することに対応して学習された挙動状態を使用することを許可しないようにプログラムされ得る。

【0017】

いくつかの例では、ＭＬ評価器モジュール１１８は、承認された挙動状態のライブラリを含み得る。承認された挙動状態のライブラリは、ＭＬアルゴリズム１０２に関する承認された挙動状態を含み得る。ＭＬ評価器モジュール１１８は、ＭＬデータ１２４によって特徴付けられたＭＬアルゴリズム１０２の各挙動状態を挙動状態のライブラリと比較して、各挙動がＭＬアルゴリズム１０２の承認された挙動であるかどうかを判定するようにプログラムされ得る。例えば、ＭＬ評価器モジュール１１８は、ＭＬアルゴリズム１０２に関する承認された挙動状態のパラメータに対して学習された挙動状態に関する少なくとも１つのパラメータを比較するようにプログラムされ得る。ＭＬ評価器モジュール１１８は、比較に基づいて挙動評価データ１２６を出力するようにプログラムされ得る。挙動評価データ１２６は、学習された挙動状態が承認されていないことを示し得る。

【0018】

いくつかの例では、メモリ１１６は、ＭＬ挙動調整モジュール１２８を使用する。ＭＬ挙動調整モジュール１２８は、挙動評価データ１２６を使用して、ＭＬアルゴリズム１０２の学習された挙動状態を更新し、更新されたＭＬアルゴリズム１３０を提供するようにプログラムされ得る。更新されたＭＬアルゴリズム１３０は、ＭＬアルゴリズムの挙動状態が変更された（例えば、修正された）バージョンのＭＬアルゴリズム１０２に対応し得る。ＭＬ挙動調整モジュール１２８は、ＭＬアルゴリズム１０２と通信するようにプログラムされ得る。ＭＬ挙動調整モジュール１２８は、ＭＬアルゴリズム１０２とインタフェースして、ＭＬアルゴリズム１０２の挙動状態を更新するようにプログラムされ得る。例えば、ＭＬ挙動調整モジュール１２８は、挙動評価データ１２６に基づいて（例えば、学習された挙動状態に関連付けられた少なくとも１つのパラメータを更新することによって）学習された挙動状態を削除して、更新されたＭＬアルゴリズム１３０を提供するようにプログラムされ得る。

【0019】

いくつかの例では、ＭＬ評価器モジュール１１８は、挙動識別データ１３２を出力するようにプログラムされる。挙動識別データ１３２は、ＭＬアルゴリズム１０２の挙動状態の中から学習された挙動状態を識別し得る。いくつかの例では、ＭＬ評価器モジュール１１８は、制御機能１１０の個々のタスクをシステム１０８によって実施される対応する動作に関連付け、さらに、システムデータ１２０に基づいて、個々のタスクをＭＬアルゴリズム１０２の対応する挙動状態に関連付けるようにプログラムされる。例えば、ＭＬ評価器モジュール１１８は、制御機能１１０およびＭＬアルゴリズム１０２の各イベントに関するイベントタイミングデータ１２２を使用して、一部のＭＬ入力データ１０４を識別するようにプログラムされる。ＭＬ評価器モジュール１１８は、イベントタイミングデータ１２２に基づいて、一部のＭＬ入力データ１０４を、ＭＬアルゴリズム１０２によって提供される結果データの個々の結果に関連付けるようにプログラムされ得る。

【0020】

ＭＬアルゴリズム１０２によって提供される個々の結果の時間は既知であり、制御機能１１０によって受信される個々の結果の時間は、イベントタイミングデータ１２２に基づいて既知であるので、ＭＬ評価器モジュール１１８は、一部のＭＬ入力データを、制御機能１１０によって実施される対応するタスクに関連付け得る。従って、ＭＬ評価器モジュール１１８は、制御機能１１０によって実施される個々のタスクを、イベントタイミングデータ１２２に基づいてＭＬアルゴリズムの個々の挙動状態および一部のＭＬ入力データ１０４に関連付けるようにプログラムされ得る。ＭＬ評価器モジュール１１８は、タスクと、ＭＬアルゴリズム１０２の挙動状態および対応する一部のＭＬ入力データ１０４との関連付けを特徴付けるタスク挙動データ１３４を提供するようにプログラムされ得る。

【0021】

いくつかの例では、メモリ１１６は、決定木モジュール１３６を含む。決定木モジュール１３６は、ＭＬアルゴリズム１０２の学習された挙動状態の検証のための対話型タイムラインを有する決定木ＧＵＩを提供するようにプログラムされ得る。決定木モジュール１３６は、決定木ＧＵＩを表示するために出力デバイス１３８に提供するようにプログラムされ得る。決定木モジュール１３６は、システムデータ１２０、挙動識別データ１３２、およびタスク挙動データ１３４に基づいて決定木ＧＵＩを生成するようにプログラムされ得る。ユーザは、対話型タイムラインと対話して、ＭＬアルゴリズム１０２の学習された挙動状態を検証し得る。対話型タイムラインは、ユーザが、システム１０６に関する制御情報、制御機能に関するタスク情報、およびＭＬアルゴリズム１０２の学習された挙動状態を視覚化することを可能にする。いくつかの例では、ユーザは、決定木ＧＵＩと対話して、ＭＬアルゴリズム１０２の学習された挙動状態を承認、修正、または削除し得る。ユーザは、入力デバイス１４０を使用して決定木ＧＵＩと対話し得る。

【0022】

いくつかの例では、グラフィカルタイムラインは、制御機能１１０の実行時間ウィンドウを設定するためにユーザが対話し得る対話型時間オブジェクトを含み得る。実行時間ウィンドウは、制御機能１１０の実行（例えば、ランタイム）中の期間に対応し得る。実行時間ウィンドウを設定することによって、決定木モジュール１３６は、決定木ＧＵＩを更新して、実行時間ウィンドウ内の時間にシステム１０８に１つまたは複数の動作を実施させる制御機能１１０によって実行される１つまたは複数のタスクに対応する１つまたは複数のタスクオブジェクトを表示するようにプログラムされ得る。いくつかの例では、決定木ＧＵＩは、システム１０８の状態を特徴付ける状態オブジェクトと、制御機能１１０によって実施されるタスクを特徴付けるタスクオブジェクトとを含む。決定木モジュール１３６は、システムデータ１２０を解析して、タスクオブジェクトおよび状態オブジェクトを追加する（ｐｏｐｕｌａｔｉｎｇ）ための関連情報を識別するようにプログラムされ得る。

【0023】

いくつかの例では、決定木モジュール１３６は、決定木ＧＵＩに挙動オブジェクトを提供するようにプログラムされ得る。挙動オブジェクトは、ＭＬアルゴリズム１０２の学習された挙動状態を特徴付け得る。挙動オブジェクトは、ＭＬアルゴリズム１０２の学習された挙動状態に関連付けられた個々のタスクに対応するタスクオブジェクトに関連付けられ得る。

【0024】

いくつかの例では、挙動オブジェクトは、承認オブジェクト、削除オブジェクト、および修正オブジェクトを含む。ユーザは、承認オブジェクトと対話して、将来の使用のためにＭＬアルゴリズム１０２の学習された挙動状態を承認し得る。決定木モジュール１３６は、学習された挙動状態を、ＭＬアルゴリズム１０２に関する承認された挙動状態のライブラリの一部として保存するようにプログラムされ得る。従って、ＭＬアルゴリズム１０２の将来の評価において、ＭＬ評価器モジュール１１８は、学習された挙動状態を承認された挙動状態として処理するようにプログラムされ得、従って、ユーザが決定木ＧＵＩを介してＭＬアルゴリズム１０２に関する挙動状態を承認することを必要としない。いくつかの例では、ユーザは、削除オブジェクトと対話して、学習された挙動状態をＭＬアルゴリズム１０２から削除し得る。決定木モジュール１３６は、学習された挙動が削除されるべきであることを示すために挙動評価データ１２６を生成するようにプログラムされ得る。ＭＬ挙動調整モジュール１２８は、本明細書で説明するように、ＭＬアルゴリズムに関する学習された挙動状態を更新して、ＭＬアルゴリズム１０２の学習された挙動状態を削除するようにプログラムされ得る。

【0025】

いくつかの例では、ユーザは、修正オブジェクトと対話し得る。決定木モジュール１３６は、ユーザに警告し、制御機能１１０によって実施される個々のタスクに関するＭＬアルゴリズムの学習された挙動状態に関する少なくとも１つのパラメータに関する更新情報を要求するようにプログラムされ得る。従って、ユーザは、将来の使用のためにＭＬアルゴリズム１０２に関する学習された挙動状態のパラメータを修正（例えば、更新）し得る。決定木モジュール１３６は、個々のタスクについてなど、ＭＬアルゴリズム１０２の学習された挙動に関する少なくとも１つのパラメータの修正を指示するために、挙動評価データ１２６を生成するようにプログラムされ得る。ＭＬ挙動調整モジュール１２８は、ＭＬアルゴリズム１０２の学習された挙動状態に関する少なくとも１つのパラメータを更新して、更新されたＭＬアルゴリズム１３０を提供するようにプログラムされ得る。

【0026】

従って、ＭＬ分析システム１１２は、ＭＬアルゴリズム１０２の学習された挙動状態が検証（例えば、承認、修正、または削除）され得るように、ＭＬアルゴリズム１０２の事後分析を可能にする。検証は、承認された挙動状態のライブラリ、または決定木ＧＵＩとのユーザの対話に基づくものであり得る。決定木ＧＵＩは、ユーザが、ＭＬアルゴリズム１０２を新たな方法で挙動する原因となったＭＬアルゴリズム１０２の意思決定プロセスのパラメータを選択し、調べることを可能にする。決定木ＧＵＩは、ユーザが、ＭＬアルゴリズム１０２の意思決定プロセスを分析し、ＭＬアルゴリズム１０２に特定の結果を提供する原因となった状態を識別することを可能にする。ユーザは、決定木ＧＵＩを介してＭＬアルゴリズム１０２の学習プロセスを変更して、ＭＬアルゴリズム１０２が将来所望されるものとなるように動作することを保証し得る。ＭＬアルゴリズムの更新は、ユーザが数千行のコードを検討してＭＬアルゴリズムの挙動学的変化を決定しなければならないというの複雑な性質のために、時間がかかり、かつ高度な技術を必要とするプロセスである。ＭＬ分析システム１１２を使用することによって、ユーザは、ＭＬアルゴリズムがどのように挙動しているかをより効率的に判定することができ、ＭＬアルゴリズムが作成されたネイティブコーディング言語をユーザが理解することを必要としない。

【0027】

図２は、ＭＬ分析システム２００の一例を示す。ＭＬアルゴリズム２０２の挙動を評価するためにＭＬ分析システム２００が使用され得る。ＭＬアルゴリズム２０２は、図１に示されるようなＭＬアルゴリズム１０２に対応し得る。従って、ＭＬ分析システム２００は、図１に示されるようなＭＬ分析システム１１２に対応し得る。従って、図２の例の以下の説明では、図１の例を参照する。ＭＬ分析システム２００は、ＭＬアルゴリズム２０２が実行中に展開したＭＬアルゴリズム２０２の学習された挙動状態を識別するために、ＭＬアルゴリズム２０２の実行後の評価のために使用され得る。

【0028】

ＭＬアルゴリズム２０２のランタイム中に、ＭＬアルゴリズム２０２の学習プロセスは、ベースライン学習プロセスから変化し得る。ベースライン学習プロセスは、ＭＬアルゴリズム２０２が実行前に有する意思決定プロセス状態（例えば、１セットのパラメータ）に対応し得る。いくつかの例では、ＭＬアルゴリズム２０２は、ＵＶのナビゲーションおよび制御システム（ＮＣＳ：ｎａｖｉｇａｔｉｏｎ ａｎｄ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ）上で実行するようにプログラムされる。ＵＶは、無人航空機（ＵＡＶ：ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ）または無人表面車両（ＵＳＶ：ｕｎｍａｎｎｅｄ ｓｕｒｆａｃｅ ｖｅｈｉｃｌｅ）（例えば、無人地上車両または無人水上車両）に対応し得る。いくつかの例では、ＵＶは、人間の介入なしに、または制限された人間の介入で動作するように構成され得る。動作中、ＵＶは、ミッション（例えば、割り当て、例えば、偵察割り当て）を実行するためにＮＣＳによって発行されたコマンドに基づいて車両移動を実施するように構成され得る。ＮＣＳは、ＭＬアルゴリズム１０２によって提供される結果データ２０４に基づいてＵＶの動作（例えば、車両移動）を制御するためのタスクを実施し、コマンドを発行するように構成され得る。

【0029】

ＭＬアルゴリズム２０２は、ＮＣＳに搭載して実行するようにプログラムされ得る。従って、ＭＬアルゴリズム２０２は、ＵＶの車両性能を制御するようにプログラムされ得る。例として、ＭＬアルゴリズム２０２は、ＵＶの軌道、車両の位置、車両の速度などを制御するようにプログラムされ得る。ＭＬアルゴリズム２０２は、ＵＶに用いられるセンサによって提供されるセンサデータ２０６に基づいて結果データ２０４を提供するようにプログラムされ得る。結果データ２０４は、予測値、分類値、推奨値、システムパラメータ値等を含み得る。一例として、結果データ２０４は、ＵＶのピッチ角値を含み得る。従って、ＵＶの動作は、ミッション中にセンサデータ２０６に基づいてＭＬアルゴリズム２０２によって制御され得る。

【0030】

さらなる例として、ミッション中に、ＵＶ上に実装された車両性能ロガー（例えば、レコーダ）は、イベントに関するタイムスタンプ付き情報を提供するようにプログラムされ得る。イベントは、ＭＬイベント、ＮＣＳイベント、およびＵＶイベントを含み得る。イベントは、対話型タイムラインの生成のためのタイムスタンプ付き情報に基づいて相関されて、ユーザがＭＬアルゴリズムがミッション中にどのように挙動したかを実行後（例えば、ミッション後）に評価（例えば、問い合わせ）することを可能にし得る。例えば、ミッションの後（例えば、ミッションが部分的に又は完全に完了すると）、ＭＬデータ２０８及び車両データ２１０がＵＶから取得され（例えば、ダウンロードされ）得る。ＭＬデータ２０８は、複数の挙動状態および結果データ２０４を含み得る実行後バージョンのＭＬアルゴリズム２０２を含み得る。複数の挙動状態は、ＭＬアルゴリズム２０２の複数の異なる意思決定状態に対応し得る。

【0031】

いくつかの例では、ミッション中に、ＭＬ状態ロガーは、実行中にＭＬアルゴリズム２０２の意思決定プロセスにおける変化を捕捉するようにプログラムされ得る。意思決定プロセスにおける各変化は、ある時間のインスタンスにおけるＭＬアルゴリズム２０２のパラメータの状態に対応し得る。ＭＬ状態ロガーは、パラメータの状態（例えば、重み値など、パラメータが有していた値）を捕捉（例えば、記録）し、従って、ＭＬアルゴリズム２０２の各バージョンの意思決定プロセスを捕捉するようにプログラムされ得る。捕捉されたパラメータ状態は、ＭＬアルゴリズム２０２の一部など、ＭＬデータ２０８の一部として記憶され得る。従って、実行後バージョンのＭＬアルゴリズム２０２は、ＭＬアルゴリズム２０２の捕捉されたパラメータ状態に対応し得る複数の挙動状態を含む。いくつかの例では、複数の挙動状態は、ミッション中（例えば、実行中）にＭＬアルゴリズム１０２が使用した新たな意思決定プロセスに対応する学習された挙動状態を含む。

【0032】

車両データ２１０は、センサデータ２０６およびタスクデータ２１２を含み得る。タスクデータ２１２は、ＵＶの動作（例えば、移動）を制御するためにＮＣＳによって実施されるタスク（例えば、飛行タスク）を特徴付け得る。一例として、タスクデータ２１２は、高度タスク（例えば、設定高度への上昇）、エンジン推力タスク（例えば、ＵＶのエンジン推力を第１の推力から第２の推力に増加させる）、ピッチ角タスク（例えば、ピッチ角を第１のピッチ角から第２のピッチ角に減少させる）、機首方位タスク（例えば、機首方位を第１の機首方位から第２の機首方位に変更する）などを特徴付け得る。上記のタスク情報は例示的なものであり、ＵＶの動作を制御するためにＮＣＳによって実施され得る全ての可能性のあるタスクを包含することを意図したものではない。いくつかの例では、車両データ２１０はミッションデータ２１４を含む。ミッションデータ２１４は、ＵＶによって実行されるミッションを特徴付け得る。従って、ミッションデータ２１４は、ミッション目標（例えば、ゴール）と、ミッションを実施するために実行されるサブミッションタスク（例えば、センサシステムのセンサの電源投入、目標検出のための検出ルーチンの開始、画像マッチングの実施、ターゲットロックの実行など）とを含み得る。いくつかの例では、ＭＬデータ２０８および車両データ２１０は、図１に示すように、システムデータ１２０に集合的に対応し得る。

【0033】

さらなる例では、車両データ２１０はイベントタイミングデータ２１６を含む。イベントタイミングデータ２１６は、図１に示されるようなイベントタイミングデータ１２２に対応し得る。イベントタイミングデータ２１６は、ＭＬ、ＮＣＳ、およびＵＶイベントの各々がミッション中に発生した時間を識別し得る。従って、イベントタイミングデータ２１６は、ミッション中にソフトウェアイベントが発生した時間を識別し得る。イベントタイミングデータ２１６は、本明細書で説明するように、対話型タイムラインの生成のために、センサデータ２０６、タスクデータ２１２、およびミッションデータ２１４を関連付ける（例えば、相関させる）ために使用され得る。いくつかの例では、イベントタイミングデータ２１６は、対話型タイムラインの生成のために、タスクデータ２１２に関してＭＬアルゴリズム１０２の学習された挙動状態を相関させるために使用され得る。

【0034】

一例として、センサデータ２０６は、車両が使用される環境、車両性能、およびミッション中の車両状態を特徴付けるセンサ情報を含み得る。従って、センサデータ２０６は、環境データ、車両性能データ、および車両状態データを含み得る。各セットのセンサデータは、ミッション中にＵＶ上で使用される対応するセンサによって提供され得る。例として、環境データは、風速、圧力、乱気流予測、天気予報、温度、降水確率、湿度など、ＵＶがミッション中に経験した環境状態を特徴付け得る。車両性能データは、ミッション中のＵＶの機首方位、ロール、ピッチ、及びヨーを含むミッション中のＵＶの姿勢、対地速度などのミッション中のＵＶの速度（例えば、水平速度及び垂直速度）、ミッション中のＵＶの位置情報（例えば、全地球測位座標（ＧＰＳ）位置）、ミッション中の高度上昇及び降下率などを特徴付け得る。車両状態データは、ミッション中のＵＶの燃料タンク内の燃料の量、ミッション中の燃料使用率などを特徴付け得る。センサデータ２０６の上記のセンサ情報は、例示的なものであり、車両データ２１０の一部としてＭＬ分析システム２００に提供され得る全ての可能性のあるセンサ情報を包含することを意図するものではない。

【0035】

いくつかの例では、ＭＬ分析システム２００は、ＭＬデータ２０８および車両データ２１０を保存するためのメモリ２１８を含む。ＭＬ分析システム２００のプロセッサ２２０は、メモリ２１８にアクセスして、プログラムを表し得る機械可読命令を実行し得る。プロセッサ２２０は、機械可読命令を実行して、ＭＬ評価器モジュール２２２を実施し得る。ＭＬ評価器モジュール２２２は、図１に示されるようなＭＬ評価器モジュール１１８に対応し得る。いくつかの例では、ＭＬ評価器モジュール２２２は、ＭＬアルゴリズム２０２の各挙動状態を評価して、各挙動状態がＭＬアルゴリズム２０２に関する承認された挙動状態であるかどうかを判定するようにプログラムされる。ＭＬ評価器モジュール２２２は、学習された挙動機能２２４を使用する。学習された挙動機能２２４は、ＭＬアルゴリズム２０２に関する承認された挙動状態２２６のライブラリに対してＭＬアルゴリズム２０２の各挙動状態を評価するようにプログラムされ得る。例えば、学習された挙動機能２２４は、学習された挙動状態を識別するために、ライブラリ２２６の承認された挙動状態のパラメータに対してＭＬアルゴリズム２０２の各学習された挙動状態の少なくとも１つのパラメータを比較するようにプログラムされ得る。学習された挙動機能２２４は、比較に基づいて挙動評価データ２２８を出力するようにプログラムされ得る。挙動評価データ２２８は、学習された挙動状態がＭＬアルゴリズム２０２に関する承認された挙動状態ではないことを示し得る。

【0036】

いくつかの例では、メモリ２１８は、ＭＬ挙動調整モジュール２３０を採用している。ＭＬ挙動調整モジュール２３０は、挙動評価データ２２８を使用して、ＭＬアルゴリズム２０２の学習された挙動状態に関する意思決定プロセスを更新して、更新されたＭＬアルゴリズム２３２を提供するようにプログラムされ得る。ＭＬ挙動調整モジュール２３０は、挙動評価データ２２８に基づいてＭＬアルゴリズム２０２の学習プロセスを変更するようにプログラムされ得る。更新されたＭＬアルゴリズム２３２は、ＭＬアルゴリズムの挙動状態が変更されている更新された実行後バージョンのＭＬアルゴリズム２０２に対応し得る。ＭＬ挙動調整モジュール２３０は、ＭＬアルゴリズムパラメータ機能２３４およびＭＬアルゴリズムインタフェース２３６を含む。ＭＬアルゴリズムパラメータ機能２３４は、ＭＬアルゴリズムインタフェース２３６を使用してＭＬアルゴリズム２０２とインタフェースして、挙動評価データ２２８に基づいてＭＬアルゴリズム２０２の学習された挙動状態に関する少なくとも１つのパラメータを更新し得る。

【0037】

例えば、挙動評価データ２２８がＭＬアルゴリズム２０２の学習された挙動状態が承認されないことを示す場合、ＭＬアルゴリズムパラメータ機能２３４は、ＭＬアルゴリズム２０２の学習された挙動状態を削除することに対応してＭＬアルゴリズム２０２の将来の実行において少なくとも１つのパラメータが考慮されない（例えば、０など、より低い値で重み付けされる）ように、ＭＬアルゴリズム２０２の学習された挙動状態に関する少なくとも１つのパラメータにアクセスし、それを更新するようにプログラムされ得る。従って、ＭＬアルゴリズムパラメータ機能２３４は、更新されたＭＬアルゴリズム２０２を提供するために、ＭＬアルゴリズム２０２の学習された挙動状態に関する少なくとも１つのパラメータを変更することによって、ＭＬアルゴリズム２３２を修正するようにプログラムされ得る。

【0038】

いくつかの例では、ＭＬ評価器モジュール２２２は、挙動識別データ２３８を出力するようにプログラムされ得る。挙動識別データ２３８は、本明細書で説明するように、ＭＬアルゴリズム２０２の複数の挙動状態の中から学習された挙動状態を識別し得る。いくつかの例では、ＭＬ評価器モジュール２２２は、ＭＬアルゴリズム２０２をベースラインＭＬアルゴリズムと比較して、学習された挙動状態を識別するようにプログラムされ得る。これらの例では、ベースラインＭＬアルゴリズムは、ＭＬアルゴリズム２０２に関する承認された挙動状態２２６のライブラリに対応し得る。従って、ＭＬ評価器モジュール２２２は、ＭＬアルゴリズム２０２のコードをベースラインＭＬアルゴリズムのコードと比較し、学習された挙動状態に対応する挙動差を識別して、挙動識別データ２３８を提供するようにプログラムされ得る。

【0039】

いくつかの例では、ＭＬ評価器モジュール２２２は、ＭＬアルゴリズム２０２がミッション（例えば、ＭＬアルゴリズム１０２の実行）中に有していた個々の挙動状態がタスクデータ２１２の少なくとも１つのタスクに関連付けられるように、イベントタイミングデータ２１６を使用して、タスクデータ２１２の個々のタスクを、ＵＶのミッション中に生成されたセンサデータ２０６の対応するセンサ情報に関連付けるようにプログラムされる。ＭＬ評価器モジュール２２２は、各タスクイベントに関する時間と、個々のセンサデータがＵＶのセンサによって生成され、かつＵＶの処理コンポーネント（例えば、ＮＣＳ、ＭＬアルゴリズム２０２など）によって受信された時間とに基づいて、ミッション中に発生した各タスク（例えば、タスクイベント）を、ミッション中に生成されたセンサデータ２０６の個々のセンサ情報に関連付けるようにプログラムされ得る。いくつかの例では、ＭＬ評価器モジュール２２２は、イベントタイミングデータ２１６を用いて、対応する結果の結果データ２０４をタスクデータ２１２の個々のタスクに関連付けるようにプログラムされ得る。例えば、ＭＬ評価器モジュール２２２は、イベントタイミングデータ２１６に基づいて、一部のセンサデータ２０６が受信された時間と、対応する結果の結果データ２０４が提供された時間とを決定するようにプログラムされ得る。ＭＬアルゴリズム２０２が一部のセンサデータ２０６を受信し、かつ一部のセンサデータ２０６に基づいて対応する結果を提供した時間を決定することによって、ＭＬ評価器モジュール２２２は、ＭＬアルゴリズム２０２の対応する挙動状態を識別するようにプログラムされ得る。

【0040】

一部のセンサデータ２０６がＭＬアルゴリズム２０２において受信された時間が既知であり、対応する結果がＭＬアルゴリズム２０２によって提供され、かつＮＣＳによって受信された時間が既知であるため、ＭＬ評価器モジュール２２２は、ミッション中にＮＣＳによって実施されたタスクデータ２１２の各個々のタスクを、ＭＬアルゴリズム２０２の対応する挙動状態および一部のセンサデータ２０６に関連付けるようにプログラムされ得る。ＭＬ評価器モジュール２２２は、タスクデータ２１２の各タスクと、学習された挙動状態などのＭＬアルゴリズム１０２の対応する挙動状態、およびセンサデータ２０６のセンサ情報との関連付けを特徴付けるタスク挙動データ２４０を提供するようにプログラムされ得る。いくつかの例では、ＭＬ評価器モジュール２２２は、ミッションデータ２１４の個々のミッション情報をタスクデータ２１２の対応するタスクに関連付け、この関連付けをタスク挙動データ２４０の一部として含むようにプログラムされ得る。

【0041】

いくつかの実施形態において、メモリ２１８は、決定木モジュール２４２を含む。いくつかの例では、決定木モジュール２４２は、図１に示されるような決定木モジュール１３６に対応し得る。決定木モジュール２４２は、ＭＬアルゴリズム２０２の学習された挙動状態の検証のための対話型タイムラインを有する決定木ＧＵＩを含むＧＵＩデータ２４４を提供するようにプログラムされ得る。決定木モジュール２４２は、ＭＬデータ２０８、車両データ２１０、挙動識別データ２３８、およびタスク挙動データ２４０に基づいてＧＵＩデータ２４４を生成するようにプログラムされ得る。決定木モジュール２４２は、決定木ＧＵＩを表示するためにＧＵＩデータ２４４を出力デバイス２４６に提供するようにプログラムされ得る。

【0042】

いくつかの例では、ユーザは、決定木ＧＵＩと対話して、ＭＬアルゴリズム２０２の学習された挙動状態を承認、修正、または削除し得る。ユーザは、入力デバイス２４８を使用して決定木ＧＵＩと対話し得る。入力デバイス２４８は、ＭＬ分析システム２００への通信インタフェースをサポートすることが可能な任意のタイプのデバイスであり得る。例示的な入力デバイス２４８は、サーバ、モバイルデバイス、モバイルコンピュータ、タブレットなどを含み得る。入力デバイス２４８は、有線ネットワークまたは無線ネットワーク等の提供されたネットワークを使用して（例えば、共通インターネットプロトコルを介して）、ＭＬ分析システム２００に接続され得る。いくつかの例では、出力デバイス２４６は入力デバイス２４８の一部とすることができ、他の例では、出力デバイス２４６は入力デバイス２４８とは別個である。さらなる例として、図１に示されるように、出力デバイス２４６は出力デバイス１３８に対応し得、入力デバイス２４８は入力デバイス１４０に対応し得る。

【0043】

いくつかの例では、決定木モジュール２４２は、ＧＵＩ生成器２５０を含む。ＧＵＩ生成器２５０は、対話型タイムラインに関する開始時間および終了時間を定義するようにプログラムされ得る。開始時間および終了時間は、イベントタイミングデータ２１６に基づいて定義され得る。従って、イベントタイミングデータ２１６は、ミッションのミッション開始時間およびミッション終了時間を特徴付け得る。ＮＣＳはミッション中に実行されるため、ミッションならびに開始および時間は、ミッション中のＮＣＳのランタイムに対応し、従ってＭＬアルゴリズム２０２のランタイムに対応し得る。いくつかの例では、決定木ＧＵＩの対話型タイムラインは、ＮＣＳの実行時間ウィンドウを設定するために、ユーザが対話し得る開始時間オブジェクトおよび終了時間オブジェクトを含む。実行時間ウィンドウは、ＮＣＳのランタイム中の一定期間に対応し得る。実行時間ウィンドウを設定することによって、決定木モジュール２４２は、車両データ２１０から対応する（例えば、関連する）タスクおよび車両性能情報を取得し、取得したタスクおよび車両性能情報をユーザに対して表示するために決定木ＧＵＩを更新するようにプログラムされ得る。いくつかの例では、決定木モジュール２４２は、ミッションデータ２１４から対応するミッション情報を取得し、取得されたタスクおよび車両性能情報と同時に取得されたミッション情報を表示するために決定木ＧＵＩを更新するようにプログラムされ得る。

【0044】

いくつかの例では、決定木モジュール２４２は、タスクオブジェクト生成器２５２、状態オブジェクト生成器２５４、ミッションオブジェクト生成器２５６、および挙動オブジェクト生成器２５８を含む。タスクオブジェクト生成器２５２は、タスクデータ２１２を解析（例えば、検索）して、設定された実行時間ウィンドウに基づいて対応するタスク情報を識別するようにプログラムされ得る。タスクオブジェクト生成器２５２は、対応するタスクを特徴付けるソースコードを人間可読フォーマット（例えば、フォーム）に変換するようにプログラムされ得る。タスクオブジェクト生成器２５２は、対応するタスク情報を人間可読フォーマットでＧＵＩ生成器２５０に提供するようにプログラムされ得る。ＧＵＩ生成器２５０は、決定木ＧＵＩの状態オブジェクトに、人間可読フォーマットの対応するタスク情報を追加するようにプログラムされ得る。

【0045】

いくつかの例では、状態オブジェクト生成器２５４は、センサデータ２０６を解析して、設定された実行時間ウィンドウに基づいて対応するセンサ情報を識別するようにプログラムされ得る。状態オブジェクト生成器２５４は、対応するセンサ情報（例えば、センサ値および対応するセンサラベル）をＧＵＩ生成器２５０に提供するようにプログラムされ得る。決定木ＧＵＩは、状態オブジェクトを含み得る。ＧＵＩ生成器２５０は、決定木ＧＵＩの状態オブジェクトに、対応するセンサを追加するようにプログラムされ得る。いくつかの例では、ミッションオブジェクト生成器２５６は、ミッションデータ２１４を解析して、設定された実行時間ウィンドウに基づいて対応するミッション情報を識別するようにプログラムされ得る。ミッションオブジェクト生成器２５６は、対応するミッション情報を特徴付けるソースコードを人間可読フォーマットに変換するようにプログラムされ得る。ミッションオブジェクト生成器２５６は、対応するミッション情報を人間可読フォーマットでＧＵＩ生成器２５０に提供するようにプログラムされ得る。ＧＵＩ生成器２５０は、決定木ＧＵＩのミッションオブジェクトに、人間可読フォーマットの対応するミッション情報を追加するようにプログラムされ得る。

【0046】

いくつかの例では、挙動オブジェクト生成器２５８は、タスクデータ２１２から取得された対応するタスク情報に対してＭＬアルゴリズム２０２を評価し、ＭＬアルゴリズム２０２の学習された挙動状態を特徴付けるソースコードを人間可読フォーマットに変換するようにプログラムされ得る。挙動オブジェクト生成器２５８は、学習された挙動状態を人間可読フォーマットでＧＵＩ生成器２５０に提供するようにプログラムされ得る。ＧＵＩ生成器２５０は、決定木ＧＵＩの挙動オブジェクトに、学習された挙動状態を人間可読フォーマットで追加するようにプログラムされ得る。

【0047】

例えば、ＵＡＶの飛行中に、ＵＡＶが方向転換点に接近すると、ＵＡＶは、ＵＡＶをコースから押し出す大きな突風を受ける可能性がある。（例えば、ミッションのために）設定された所要到着時間（ＲＴＡ：ｒｅｑｕｉｒｅｄ ｔｉｍｅ ｏｆ ａｒｒｉｖａｌ）を満たすためにＵＡＶをコース上に戻すことは、実質的なバンキングを必要とし得る。ＵＡＶは、大きな突風の影響を軽減するために、方向転換開始点、推力、およびバンク角を修正するように構成される。修正は、本明細書で説明するように、ＭＬアルゴリズム２０２に少なくとも部分的に基づくことができ、従って、ＭＬアルゴリズム２０２の学習された挙動状態を含み得る。車両データ２１０は、新たな挙動がＵＡＶによって実施された時間（例えば、新たな挙動が１３：４５に発生した）、新たな挙動に関するＵＡＶの位置（例えば、位置は、２７°５９’２０．２”Ｎ ８０°３２’３９．９”ＷなどのＧＰＳ座標に対応し得る）、ＵＡＶを新たな挙動を起こさせる検知された状態（例えば、東からの３５ノット（６４．８２ｋｍ／ｈ）の風が検知された）に対応するＵＡＶにおける新たな挙動の原因、およびＵＡＶによる新たな挙動の影響（例えば、西に１０００フィート（３０４．８メートル）のコース逸脱）を含み得る。ＵＡＶにおいて展開される（例えば、新たな）挙動に関するｉｆ／ｔｈｅｎステートメントは、因果関係情報と、ＵＡＶによって実施されているタスクとに基づいて生成され得る。例として、「方向転換点」における「予想風速」が「２５ノット（４６．３ｋｍ／ｈ）」を「超える」場合、ＵＡＶは方向転換開始点を修正する。挙動オブジェクト生成器２５８は、因果関係情報に基づいて、ＭＬアルゴリズム２０２の新たな挙動状態に関する人間可読コードに対応するｉｆ／ｔｈｅｎステートメントを提供するようにプログラムされ得る。

【0048】

いくつかの例では、ＵＡＶにおける新たな挙動の原因は、ＵＡＶ上の少なくとも１つのセンサデバイスまたはシステムによって生成されたデータに関連付けられ、従ってセンサデータ２０６の一部のデータに関連付けられ得る。従って、新たな挙動の原因は、ＵＡＶにおける挙動変化に対応するＵＡＶ動作におけるある種の補正を引き起こす感知された現象に対応し得る。感知される現象は、近隣の航空機、気象状態、気象セル、感知された風、鳥の群れなどの検出を含み得る。いくつかの例では、ＵＡＶによる新たな挙動の影響は、ＵＡＶの挙動の変化をもたらすＵＡＶ動作に影響を及ぼした原因因子、またはＵＡＶ動作を引き起こした原因因子に関連付けられ得る。新たな挙動の影響は、センサデータ２０６の一部のデータに関連付けられ得る。次いで、新たな挙動の原因および影響に関連付けられたセンサデータ２０６の一部のデータを使用して、ｉｆ／ｔｈｅｎステートメントが提供され得る。従って、ＵＡＶによって展開される挙動は、本明細書で説明されるように、挙動オブジェクト生成のための挙動オブジェクト生成器２５８によるｉｆ／ｔｈｅｎステートメントによって特徴付けられ得る。

【0049】

いくつかの例では、挙動オブジェクトは、承認オブジェクト、削除オブジェクト、および修正オブジェクトを含む。ユーザは、承認オブジェクトと対話して、ユーザ入力データ２６０を生成し得る。ユーザ入力データ２６０は、ユーザが将来の使用のためにＭＬアルゴリズム２０２の学習された挙動状態を承認することを示し得る。決定木モジュール２４２は、ユーザ入力データ２６０に基づいて、ＭＬアルゴリズム２０２に関する承認された挙動状態のライブラリ２２６の一部として、学習された挙動状態を保存するようにプログラムされ得る。従って、ＭＬアルゴリズム２０２の将来の評価において、ＭＬ評価器モジュール２２２は、学習された挙動状態を承認された挙動状態として処理するようにプログラムされ得、従って、ユーザが決定木ＧＵＩを介して学習された挙動状態を承認することを必要としない。

【0050】

いくつかの例では、ユーザは、削除オブジェクトと対話して、ＭＬアルゴリズム２０２から学習された挙動状態を更新し得る。ユーザは、削除オブジェクトと対話して、ＭＬアルゴリズム２０２から学習された挙動状態を削除することを指示するユーザ入力データ２６０を生成し得る。決定木モジュール２４２は、ＭＬアルゴリズム２０２の学習された挙動状態に関する少なくとも１つのパラメータを更新することに対応して、ＭＬアルゴリズム２０２の学習された挙動状態が削除されるべきであることを指示するために、挙動評価データ２２８を生成するようにプログラムされ得る。ＭＬ挙動調整モジュール２３０は、本明細書で説明するように、学習された挙動状態を除去（例えば、削除）して、更新されたＭＬアルゴリズム２３２を提供するようにプログラムされ得る。

【0051】

いくつかの例では、学習された挙動状態は、個々のタスク、例えば、ＵＶに関する機首方位変更タスクを実行する前に、センサデータ２０６の個々のセンサ情報（例えば、乱気流予測情報）を考慮することを含む。ユーザは、個々のタスクの将来の実行に関して、ＭＬアルゴリズム２０２が、学習された挙動状態をＭＬアルゴリズム２０２から削除することに対応して個々の情報（例えば、乱気流予測情報）を重視しないように、削除オブジェクトと対話し得る。従って、ＭＬ挙動調整モジュール２３０は、ＭＬアルゴリズム２０２が乱気流予測情報の重要性を減少して（例えば、より低い重み値を割り当てて）、その結果、乱気流情報が将来の機首方位の変更タスクにおいて考慮されないように、ＭＬアルゴリズム２０２の学習された挙動状態の少なくとも１つのパラメータを更新するようにプログラムされ得る。

【0052】

いくつかの例では、ユーザは、修正オブジェクトと対話し得る。ＭＬ決定木モジュール２４２は、ＭＬアルゴリズム２０２の学習された挙動状態に関する少なくとも１つのパラメータに対するＭＬ更新情報を要求するようにプログラムされ得る。ユーザは、修正オブジェクトと対話して、ＭＬ更新情報に対応するユーザ入力データ２６０を生成し得る。従って、ユーザは、ＭＬアルゴリズム２０２の学習された挙動状態に関する少なくとも１つのパラメータを修正（例えば、更新）し得る。決定木モジュール２４２は、ＭＬアルゴリズム２０２の学習された挙動状態に関する少なくとも１つのパラメータの修正を指示するために、挙動評価データ２２８を生成するようにプログラムされ得る。ＭＬ挙動調整モジュール２３０は、ＭＬアルゴリズム２０２の学習された挙動状態に関する少なくとも１つのパラメータを更新して、更新されたＭＬアルゴリズム２３２を提供するようにプログラムされ得る。いくつかの例では、ＧＵＩ生成器２５０は、挙動推奨エンジン２６２を採用する。挙動推奨エンジン２６２は、ＭＬ学習技法を使用して、ＭＬアルゴリズム２０２の学習された挙動状態を評価して挙動推奨を提供し得る。挙動推奨は、ＭＬアルゴリズム２０２の学習された挙動状態を修正または削除する推奨を含み得る。挙動推奨エンジン２６２は、挙動推奨オブジェクトを用いて決定木ＧＵＩを更新し、挙動推奨オブジェクトに挙動推奨を追加するようにプログラムされ得る。

【0053】

従って、ＭＬ分析システム２００は、ＭＬアルゴリズム２０２の学習された挙動状態が検証（例えば、承認、修正、または削除）され得るように、ＭＬアルゴリズム２０２の事後分析を可能にする。検証は、承認された挙動状態２２６のライブラリに基づくか、または決定木ＧＵＩとのユーザの対話に基づいて提供されるユーザ入力データ２６０に基づくものであり得る。決定木ＧＵＩは、ユーザが、ＭＬアルゴリズム２０２が学習された挙動状態を有する原因となったＭＬアルゴリズム２０２の意思決定プロセスのパラメータを選択し、かつ調べることを可能にする。ユーザが対話型時間オブジェクトを介して開始時間および終了時間を選択することによって、ユーザは、ＮＣＳ（ひいてはＭＬ挙動評価のためのＭＬアルゴリズム２０２）の動作タイムラインの特定の期間に絞り込み得る（例えば、ＭＬアルゴリズム２０２がどのように挙動したかを理解し得る）。ユーザは、決定木ＧＵＩを介してＭＬアルゴリズム２０２学習プロセスを変更して、ＭＬアルゴリズム２０２が将来所望されるように動作することを保証し得る。ＭＬアルゴリズムの更新は、ユーザが数千行のコードを検討してＭＬアルゴリズム２０２の挙動学的変化を決定しなければならないという複雑な性質のために、時間がかかり、かつ高度な技術を必要とするプロセスである。ＭＬ分析システム２００を使用することによって、ユーザは、ＭＬアルゴリズムがどのように挙動しているかをより効率的に判定することができ、ＭＬアルゴリズム２０２を作成したネイティブコーディング言語をユーザが理解することを必要としない。

【0054】

図３は、ＭＬアルゴリズムの挙動検証のための決定木ＧＵＩ３００の一例を示す。ＭＬアルゴリズムは、図１に示されるようなＭＬアルゴリズム１０２または図２に示されるようなＭＬアルゴリズム２０２に対応し得る。従って、図３の例の以下の説明では、図１および図２の例を参照する。決定木ＧＵＩ３００は、図１に示す決定木モジュール１３６、または図２に示す決定木モジュール２４２などの決定木モジュールによって提供され得る。決定木モジュールは、本明細書で説明されるように、決定木ＧＵＩ３００を含むＧＵＩデータ（例えば、図２に示されるようなＧＵＩデータ２４４）を提供するようにプログラムされ得る。決定木ＧＵＩ３００は、ＭＬアルゴリズムの学習された挙動状態が検証（例えば、承認、修正、または削除）され得るように、ＭＬアルゴリズムの事後分析中に使用され得る。決定木ＧＵＩ３００は、図１に示すように、処理デバイス１０６などの処理デバイスの動作に関連付けられ得る。いくつかの例では、処理デバイスは、本明細書で説明されるように、ＵＶのＮＣＳに対応する。決定木ＧＵＩ３００は、システム（例えば、図１に示されるようなシステム１０８）に動作を実施させる処理デバイスによって実施されるタスクを特徴付け、かつ対応するシステム状態（例えば、システムの性能）をさらに特徴付け得る。いくつかの例では、決定木ＧＵＩ３００は、システムの性能の変化を引き起こしたＭＬアルゴリズムの学習された挙動状態を特徴付け得る。

【0055】

決定木ＧＵＩ３００は、対話型タイムライン３０２、システム性能情報オブジェクト３０４、およびタスク情報オブジェクト３０６を含む。システム性能情報オブジェクト３０４は、システムの対応するシステム状態を特徴付け得る。タスク情報オブジェクト３０６は、処理デバイスによって実施されるタスクを特徴付け得る。対話型タイムライン３０２は、開始時間および終了時間を含む。開始時間及び終了時間は、処理デバイスに関するランタイムを定義（例えば、指定）し得る。従って、開始時間および終了時間は、処理デバイスによって実施されるタスクの実行の開始時間および終了時間に対応し得る。

【0056】

対話型タイムライン３０２は、挙動アラートオブジェクト３０８を含む。挙動アラートオブジェクト３０８は、ＭＬアルゴリズムの学習された挙動状態を示し得る。対話型時間オブジェクト３１０，３１２は、処理デバイスに関する実行時間ウィンドウを設定するために（例えば、図１に示されるような入力デバイス１４０などのユーザ入力に応答して）設定され得る。対話型時間オブジェクト３１０，３１２は、挙動アラートオブジェクト３０８を含むように設定され得る。決定木モジュールは、実行時間ウィンドウに基づいてシステム性能情報オブジェクト３０４およびタスク情報オブジェクト３０６を更新して、処理デバイスおよびシステムに関する関連するシステム性能およびタスク情報を出力デバイス（例えば、図１に示す出力デバイス１３８）上に表示するようにプログラムされ得る。

【0057】

システム性能オブジェクト３０４は、状態オブジェクト３１４、３１６、および３１８を含み得る。各状態オブジェクト３１４、３１６、および３１８は、開始時間と終了時間との間の時間インスタンスにおけるシステムの性能状態に関連付けられ得る。決定木モジュールは、各状態オブジェクト３１４、３１６、および３１８に、状態オブジェクト生成器（例えば、図２に示されるような状態オブジェクト生成器２５４）によって提供される対応するシステム状態情報を追加するようにプログラムされ得る。図３は、３つの状態オブジェクト３１４、３１６、および３１８を示しているが、他の例では、３つより多い状態オブジェクトまたは３つより少ない状態オブジェクトが存在し得る。各状態オブジェクト３１４、３１６、および３１８は、タスク情報オブジェクト３０６の少なくとも１つのタスクオブジェクト３２０、３２２、および３２４に関連付けられ得る。決定木モジュールは、各タスクオブジェクト３２０、３２２、および３２４に、タスクオブジェクト生成器（例えば、図２に示されるようなタスクオブジェクト生成器２５２）によって提供される対応するタスク情報を追加するようにプログラムされ得る。各状態オブジェクト３１４、３１６、および３１８と、対応するタスクオブジェクト３２０、３２２、および３２４との関連付けは、図３に破線で示されている。各タスクオブジェクト３２０、３２２、および３２４は、処理デバイスによって実施されるタスクを特徴付け（例えば、識別し）得る。いくつかの例では、システム性能情報オブジェクト３０４は挙動オブジェクト３２６を含む。決定木モジュールは、挙動オブジェクト３２６に、ＭＬアルゴリズムの学習された挙動状態を特徴付ける対応する学習された挙動状態情報を（例えば、人間可読フォーマットで）追加するようにプログラムされ得る。対応する学習された挙動状態は、挙動オブジェクト生成器（例えば、図２に示されるような挙動オブジェクト生成器２５８）によって提供され得る。

【0058】

いくつかの例では、決定木モジュールは、個々のタスクを特徴付ける対応するタスクオブジェクト３２４に近接して挙動オブジェクト３２６を配置するようにプログラムされ得る。いくつかの例では、挙動オブジェクト３２６は、図３に破線で示されているタスクオブジェクトに関連付けられ得る。挙動オブジェクト３２６を、対応する状態オブジェクト３１８に関連付けられたタスクオブジェクト３２４に関連付けることによって、ユーザは、ＭＬアルゴリズムの学習された挙動状態に関連付けられた対応するシステム状態を容易に決定（例えば、識別）し得る。

【0059】

いくつかの実施例では、挙動オブジェクト３２６は、承認オブジェクト３２８、削除オブジェクト３３０、および修正オブジェクト３３２を含む。ユーザは、本明細書で説明するように、将来の使用のためにＭＬアルゴリズム１０２の学習された挙動状態を承認するために、承認オブジェクト３２８と対話し得る。決定木モジュールは、学習された挙動状態を、承認された挙動状態のライブラリ（例えば、図２に示されるような承認された挙動状態のライブラリ２２６）の一部として保存するようにプログラムされ得る。ＭＬアルゴリズムの学習プロセスの少なくとも１つのパラメータを更新するなど、学習された挙動状態を修正するために、ユーザは、修正オブジェクト３３２と対話し得る。決定木モジュールは、修正オブジェクト３３４のアクティブ化に応答して、修正オブジェクト３３２を含むように決定木ＧＵＩを更新するようにプログラムされ得る。

【0060】

修正オブジェクト３３４は、処理デバイス１０６によって実施された個々のタスクに関する学習された挙動状態に対するＭＬアルゴリズムパラメータ更新情報（例えば、学習プロセスの少なくとも１つのパラメータに関する新たな値）を受信するための入力オブジェクト３３６を含み得る。修正ＧＵＩは、修正承認オブジェクト３３８および修正キャンセルオブジェクト３４０をさらに含み得る。ユーザは、修正承認オブジェクト３３８と対話して、ＭＬアルゴリズムのパラメータ更新情報を挙動評価データ（例えば、図１に示す挙動評価データ１２６または図２に示す挙動評価データ２２８）としてＭＬ挙動調整モジュールに伝達して、本明細書で説明するように、ＭＬアルゴリズムの学習された挙動状態を修正し得る。いくつかの例では、ユーザは、修正キャンセルオブジェクト３３８と対話し、決定木モジュールに、修正オブジェクト３３４を除去するように決定木ＧＵＩを更新させ得る。従って、ユーザは、決定木ＧＵＩ３００を使用して、ＭＬアルゴリズムの学習された挙動状態に関する少なくとも１つのパラメータを修正し得る。いくつかの例では、ユーザは、本明細書で説明されるように、削除オブジェクト３３０と対話して、学習された挙動状態をＭＬアルゴリズムから削除し得る。従って、決定木ＧＵＩ３００は、ユーザがＭＬアルゴリズムが処理デバイスのランタイム中にどのように挙動したかを理解し、従ってＭＬアルゴリズムを理解するように、ＭＬアルゴリズムの遡及的な問い合わせ（ｉｎｔｅｒｒｏｇａｔｉｏｎ）を可能にする。決定木ＧＵＩ３００は、決定木ＧＵＩ３００とのユーザの対話に基づいて、ＭＬアルゴリズムの学習された挙動状態を承認、削除、または修正するために使用され得る。

【0061】

図４は、ＭＬアルゴリズム挙動検証のための決定木ＧＵＩ４００の一例を示す。ＭＬアルゴリズムは、図１に示されるようなＭＬアルゴリズム１０２または図２に示されるようなＭＬアルゴリズム２０２に対応し得る。従って、図４の例の以下の説明では、図１および図２の例を参照する。決定木ＧＵＩ４００は、図１に示す決定木モジュール１３６、または図２に示す決定木モジュール２４２などの決定木モジュールによって提供され得る。決定木モジュールは、本明細書で説明されるように、決定木ＧＵＩ４００を含むＧＵＩデータ（例えば、図２に示されるようなＧＵＩデータ２４４）を提供するようにプログラムされ得る。決定木ＧＵＩ４００は、ＵＶミッション中のＭＬアルゴリズムの学習された挙動状態が検証（例えば、承認、修正、または削除）され得るように、ＭＬアルゴリズムの事後分析を実施するために使用され得る。決定木ＧＵＩ４００は、ＵＶのＮＣＳの動作に関連付けられ得る。決定木ＧＵＩ３００は、ＵＶによって実施されるミッション中にＮＣＳによって実施されるタスクを特徴付け、さらに、ＵＶの対応する車両性能状態を特徴付け得る。いくつかの例では、決定木ＧＵＩ４００は、ＵＶの性能の変化を引き起こしたＭＬアルゴリズムの学習された挙動状態を特徴付け得る。

【0062】

対話型タイムライン４０２は、ミッションに関するミッション開始時間およびミッション終了時間を含む。ＮＣＳはミッション中に実行されているので、ミッション開始時間およびミッション終了時間は、ＮＣＳに対する実行、従ってＭＬアルゴリズムの実行に関する開始時間および終了時間に対応し得る。例えば、ミッション開始時間１０：００は、ＮＣＳの実行の開始に対応することができ、ミッション停止時間１１：３０は、ＮＣＳの実行の終了に対応し得る。決定木モジュールは、挙動アラートオブジェクト４０８、４１０、４１２、および４１４を有する対話型タイムライン４０２を生成するようにプログラムされ得る。挙動アラートオブジェクト４０８、４１０、４１２、および４１４は、ＮＣＳがＵＶに個々の動作（例えば、移動）を実施させるために対応するタスクを実行したことに従って、ＭＬアルゴリズムの学習された挙動状態を示し得る。図４は４つのグラフィカル挙動アラートオブジェクトを示しているが、他の例では、より多くのまたはより少ないグラフィカルアラート挙動オブジェクトが決定木モジュールによって生成され得る。

【0063】

いくつかの例では、ユーザは、入力デバイス（例えば、図１に示される入力デバイス１４０）を介して対話型タイムライン４０２の対話型時間オブジェクト４１６，４１８と対話して、ＮＣＳに関する実行時間ウィンドウを指定し得る。対話型時間オブジェクト４１６，４１８は、図４に示すように、挙動アラートオブジェクト４０８を含むように設定され得る。決定木モジュールは、実行時間ウィンドウに基づいてミッション中に生成されたＵＶに関する対応する車両性能およびタスク情報ならびにミッション性能情報を用いて、車両性能およびタスク情報オブジェクト４０４ならびにミッション性能オブジェクト４０６を更新するようにプログラムされ得る。

【0064】

ミッション性能オブジェクト４０６は、対応するミッションタスク情報を特徴付け得るミッションオブジェクト４２０を含み得る。各ミッションオブジェクト４２０は、実行時間ウィンドウ中にＵＡＶに対する対応するミッション情報を特徴付け（例えば、識別し）得る。決定木モジュールは、各ミッションオブジェクト４２０に、ミッションオブジェクト生成器（例えば、図２に示すようなミッションオブジェクト生成器２５６）によって提供される対応するミッション情報を追加するようにプログラムされ得る。ミッションオブジェクト生成器は、ＭＬ分析システムのメモリに保存されたミッションデータ（例えば、図２に示すミッションデータ２１４）から対応するミッション情報を取得するようにプログラムされ得る。車両性能およびタスク情報オブジェクト４０４は、状態オブジェクト４２２およびタスクオブジェクト４２４を含む。決定木モジュールは、各状態オブジェクト４２２に、メモリに保存されたセンサデータ（例えば、図１に示されるようなセンサデータ２０６）からの対応するセンサ情報を追加するようにプログラムされ得る。対応するセンサ情報は、状態オブジェクト生成器（例えば、図２に示されるような状態オブジェクト生成器２５４）によって提供され得る。決定木モジュールは、各タスクオブジェクト４２４に、メモリに保存されたタスクデータ（例えば、図１に示されるようなタスクデータ２１２）からの対応するタスク情報を追加するようにプログラムされ得る。対応するタスク情報は、タスクオブジェクト生成器（例えば、図２に示されるようなタスクオブジェクト生成器２５２）によって提供され得る。

【0065】

いくつかの例では、ミッション中に個々のタスク（例えば、機首方位変更タスク）を実施している間に、ＵＡＶは、乱気流に対応するなどして、ロールおよび高度の低下を経験する。乱気流によって、ＭＬアルゴリズムは、学習された挙動状態に対応する意思決定プロセスを変更し得る。従って、車両性能およびタスク情報オブジェクト４０４は、挙動オブジェクト４２６を含み得る。挙動オブジェクト４２６は、個々のタスクを特徴付ける対応するタスクオブジェクト４２４に近接して決定木ＧＵＩ４００上に配置され得る。決定木モジュールは、挙動オブジェクト４２６に、ＭＬアルゴリズムの学習された挙動状態を特徴付ける対応する学習された挙動状態情報を（例えば、人間可読フォーマットで）追加するようにプログラムされ得る。対応する学習された挙動状態は、挙動オブジェクト生成器（例えば、図２に示されるような挙動オブジェクト生成器２５８）によって提供され得る。過度の乱気流の例では、挙動オブジェクト４２６は、ＭＬアルゴリズムの決定プロセスが、機首方位変更タスクを実行する前に乱気流予測を考慮する（例えば、重み付けする）ように修正されたことを指示し得る。

【0066】

いくつかの例では、ミッション性能オブジェクト４０６は、推奨オブジェクト４２８を含む。決定木モジュールは、ＭＬアルゴリズムの学習された挙動状態を評価し、ＭＬアルゴリズムの学習された挙動状態に対する挙動推奨（例えば、ソリューション）を提供するようにプログラムされ得る。例として、推奨オブジェクト４２８は、新たな挙動（例えば、ＭＬアルゴリズムの学習された挙動状態）を削除するための推奨を含む。ユーザは、学習された挙動状態の検証のために推奨オブジェクト４２８の推奨を使用し得る。

【0067】

例として、挙動オブジェクト４２６は、承認オブジェクト４３０、修正オブジェクト４３２、および削除オブジェクト４３４を含む。ユーザは、本明細書で説明するように、将来の使用のためにＭＬアルゴリズム１０２の学習された挙動状態を承認するために、承認オブジェクト４３２と対話し得る。決定木モジュールは、学習された挙動状態を、承認された挙動状態のライブラリ（例えば、図２に示されるような承認された挙動状態のライブラリ２２６）の一部として保存するようにプログラムされ得る。ＭＬアルゴリズムの学習プロセスの少なくとも１つのパラメータを更新するなど、学習された挙動状態を修正するために、ユーザは、修正オブジェクト３３２と対話して、（例えば、図３に関して本明細書で説明したように）学習された挙動状態を修正させ得る。いくつかの例では、ユーザは、削除オブジェクト４３４と対話して、学習された挙動状態をＭＬアルゴリズムから削除し得、その結果、本明細書で説明するように、学習された挙動状態が削除される。従って、決定木ＧＵＩ４００を使用して、決定木ＧＵＩ４００とのユーザの対話に基づいて、ＭＬアルゴリズムの学習された挙動状態を検証し得る。決定木ＧＵＩ４００は、ＵＶ環境において実施されているＭＬアルゴリズムの遡及的問い合わせを可能にする。ユーザは、決定木ＧＵＩ４００を使用して、環境状態の変化に対応してＵＶによって実施されているミッション中にＭＬアルゴリズムがどのように挙動したかを理解し得る。ユーザは、決定木ＧＵＩ４００を介してＭＬアルゴリズム学習プロセスを変更して、ＭＬアルゴリズムが将来のミッションにおいて所望通りに動作することを確実にし得る。

【0068】

上述の構造的及び機能的特徴を考慮して、例示的な方法は、図５～図６を参照することによって、より良く理解されるであろう。説明を簡単にするために、図５～図６の例示的な方法は、連続して実行されるものとして示され、説明されているが、他の例では、いくつかの動作が、本明細書で示されかつ説明されたものとは異なる順序で、複数回、および／または同時に行われ得るため、例示的な方法は、図示された順序によって限定されないことを理解および認識されたい。

【0069】

図５は、ＭＬアルゴリズムの挙動を検証するための方法５００の一例を示すフロー図である。ＭＬアルゴリズムは、図１に示されるようなＭＬアルゴリズム１０２または図２に示されるようなＭＬアルゴリズム２０２に対応し得る。従って、図５の例の以下の説明では、図１～図４の例を参照する。方法５００は、図１に示されるようなＭＬ分析システム１１２または図２に示されるようなＭＬ分析システム２００などのＭＬ分析システムによって実施され得る。５０２において、方法５００は、複数の挙動状態を有するＭＬアルゴリズムを受け取る。５０４において、方法５００は、複数の挙動状態の各々をＭＬアルゴリズムに関する承認された挙動状態（例えば、図２に示されるような承認された挙動状態のライブラリ２２６など）と比較することによって、複数の挙動状態の各々を評価して、学習された挙動状態を識別する。５０６において、方法５００は、評価に基づいて挙動評価データ（例えば、図１に示される挙動評価データ１２６または図１に示される挙動評価データ２２８）を生成する。挙動評価データは、学習された挙動状態がＭＬアルゴリズムから削除されるべきであることを指示し得る。５０８において、方法５００は、ＭＬアルゴリズムの学習された挙動状態を修正することによって、ＭＬアルゴリズムを更新してＭＬアルゴリズムの学習プロセスを変更して、更新されたＭＬアルゴリズムを提供する。

【0070】

図６は、ＭＬアルゴリズムの挙動を検証するための方法６００の別の例を示すフロー図である。ＭＬアルゴリズムは、図１に示されるようなＭＬアルゴリズム１０２または図２に示されるようなＭＬアルゴリズム２０２に対応し得る。従って、図６の例の以下の説明では、図１～図４の例を参照する。方法６００は、図１に示されるようなＭＬ分析システム１１２または図２に示されるようなＭＬ分析システム２００などのＭＬ分析システムによって実施され得る。６０２において、方法６００は、複数の挙動状態を有するＭＬアルゴリズムを受け取る。６０４において、方法６００は、複数の挙動状態の各々をＭＬアルゴリズムに関する承認された挙動状態（例えば、図２に示されるような承認された挙動状態のライブラリ２２６など）と比較することによって、複数の挙動状態を評価して、複数の挙動状態の中から学習された挙動状態を識別する。６０６において、方法６００は、ＭＬアルゴリズムの学習された挙動状態を特徴付ける挙動オブジェクトを含む決定木ＧＵＩを（例えば、図１に示されるような決定木モジュール１３６または図２に示されるような決定木モジュール２４２により）生成する。６０８において、方法６００は、ユーザによる挙動オブジェクトとの対話に基づいて、ＭＬアルゴリズムの学習された挙動状態の修正または削除のうちの１つを特徴付ける挙動評価データを生成する。挙動評価データは、学習された挙動状態がＭＬアルゴリズムに対して承認されていないことを指示する非承認情報、およびＭＬアルゴリズムの学習された挙動状態に対する学習プロセスの変更を特徴付けるアルゴリズム更新情報のうちの１つを含み得る。いくつかの例では、変更は、学習された挙動状態に対する学習プロセスの少なくとも１つのパラメータ値を更新することに対応し得る。６１０において、方法６００は、ＭＬアルゴリズムを更新してＭＬアルゴリズムの学習プロセスを変更して、更新されたＭＬアルゴリズムを提供する。

【0071】

上記した説明は一例である。もちろん、構成要素または方法の考えられる全ての組み合わせを説明することは不可能であるが、当業者は、さらに多くの組み合わせおよび置換が可能であることを認識するであろう。従って、本開示は、添付の特許請求の範囲を含む本出願の範囲内にあるそのような全ての変更、修正、および変形を包含することを意図している。本明細書で使用される場合、「含む」という用語は、限定することなく含むことを意味する。「に基づく」という用語は、少なくとも部分的に基づくことを意味する。さらに、開示または請求項が「１つの」、「第１の」、または「別の」要素、またはそれらの同等物を記載する場合、１つまたは複数のそのような要素を含むと解釈されるべきであり、２つ以上のそのような要素の要求も除外もされない。
以下に、上記実施形態から把握できる技術思想を付記として記載する。
［付記１］
機械学習（以下、ＭＬとする）アルゴリズムの実行後評価のためのコンピュータが実施する方法であって、
複数の挙動状態を有する実行後バージョンの前記ＭＬアルゴリズムを含むＭＬ挙動データを受信するステップであって、前記複数の挙動状態は、前記ＭＬアルゴリズムの複数の異なる意思決定状態に対応している、前記ＭＬ挙動データを受信するステップと、
前記複数の挙動状態の各々を前記ＭＬアルゴリズムに関する承認された挙動状態のライブラリと比較することによって、前記複数の挙動状態を評価して、前記ＭＬアルゴリズムの前記複数の挙動状態から所与の挙動状態を識別するステップであって、前記所与の挙動状態は、前記ＭＬアルゴリズムに関する前記承認された挙動状態のライブラリの一部ではない前記ＭＬアルゴリズムの意思決定状態に対応している、前記所与の挙動状態を識別するステップと、
評価に基づいて挙動評価データを生成するステップであって、前記挙動評価データは、前記所与の挙動状態が前記ＭＬアルゴリズムの承認された挙動状態ではないことを指示する、前記挙動評価データを生成するステップと、
前記挙動評価データに基づいて、前記ＭＬアルゴリズムの学習された挙動状態を修正することによって、前記ＭＬアルゴリズムを更新して前記ＭＬアルゴリズムの学習プロセスを変更して、更新されたＭＬアルゴリズムを提供するステップと、を含む方法。
［付記２］
前記ＭＬアルゴリズムは、システムの処理デバイス上に実装されるとともに、前記システムの挙動を制御するようにプログラムされ、前記処理デバイス上での前記ＭＬアルゴリズムの実行中に、前記ＭＬアルゴリズムは、前記実行後バージョンの前記ＭＬアルゴリズムを提供するために前記学習プロセスを更新し、前記学習プロセスに対する各更新は、前記ＭＬアルゴリズムの前記複数の挙動状態の個々の挙動状態に対応し、前記学習プロセスに対する各更新は、前記学習プロセスの少なくとも１つのパラメータを更新することを含む、付記１に記載のコンピュータが実施する方法。
［付記３］
評価することは、前記ＭＬアルゴリズムの前記複数の挙動状態の各々に関する前記学習プロセスの前記少なくとも１つのパラメータを、前記承認された挙動状態のライブラリの承認された挙動状態の対応するパラメータと比較して、前記所与の挙動状態を識別することを含む、付記２に記載のコンピュータが実施する方法。
［付記４］
評価に基づいて、前記ＭＬアルゴリズムの前記複数の挙動状態から他の挙動状態を識別する挙動識別データを生成するステップをさらに含み、前記他の挙動状態は、前記ＭＬアルゴリズムに関する前記承認された挙動状態のライブラリの一部ではない前記ＭＬアルゴリズムの別の意思決定状態に対応している、付記３に記載のコンピュータが実施する方法。
［付記５］
出力デバイス上に表示するための複数のグラフィカルオブジェクトを含むグラフィカルユーザインタフェース（ＧＵＩ）を生成するステップをさらに含み、前記複数のグラフィカルオブジェクトのうちの所与のグラフィカルオブジェクトは、挙動オブジェクトに対応するとともに、前記挙動識別データに基づいて生成され、前記挙動オブジェクトは、前記ＭＬアルゴリズムの前記他の挙動状態を特徴付ける、付記４に記載のコンピュータが実施する方法。
［付記６］
入力デバイスを介したユーザによる前記挙動オブジェクトとの対話に基づいて追加の挙動評価データを生成するステップをさらに含み、前記追加の挙動評価データは、前記ＭＬアルゴリズムの前記他の挙動状態が前記ＭＬアルゴリズムに関する承認された挙動状態であること、前記ＭＬアルゴリズムの前記他の挙動状態が前記ＭＬアルゴリズムに関する承認された挙動状態でないこと、前記ＭＬアルゴリズムの前記他の挙動状態に対する前記学習プロセスの更新のうちの１つを指示する、付記５に記載のコンピュータが実施する方法。
［付記７］
前記他の挙動状態が前記ＭＬアルゴリズムに関する承認された挙動状態であることを指示する前記追加の挙動評価データに基づいて、前記他の挙動状態を含むように前記承認された挙動状態のライブラリを更新するステップをさらに含む、付記６に記載のコンピュータが実施する方法。
［付記８］
前記ＭＬアルゴリズムの前記他の挙動状態が前記ＭＬアルゴリズムに関する前記承認された挙動状態ではないこと、および前記ＭＬアルゴリズムの前記他の挙動状態に対する前記学習プロセスの前記更新のうちの１つを指示する前記追加の挙動評価データに基づいて、前記ＭＬアルゴリズムの前記他の挙動状態を更新することによって、前記ＭＬアルゴリズムを更新して前記ＭＬアルゴリズムの前記学習プロセスをさらに変更するステップをさらに含む、付記６に記載のコンピュータが実施する方法。
［付記９］
前記学習プロセスに対する変更は、前記ＭＬアルゴリズムの前記他の挙動状態に対する前記学習プロセスの前記少なくとも１つのパラメータに関する更新されたパラメータ値に対応する、付記８に記載のコンピュータが実施する方法。
［付記１０］
前記追加の挙動評価データに基づいて前記ＭＬアルゴリズムの前記他の挙動状態を更新することによって、前記ＭＬアルゴリズムを更新して前記ＭＬアルゴリズムの前記学習プロセスをさらに変更するステップをさらに含む、付記９に記載のコンピュータが実施する方法。
［付記１１］
前記ＭＬアルゴリズムの前記他の挙動状態に対する前記学習プロセスの前記少なくとも１つのパラメータに関する前記更新されたパラメータ値に基づいて、更新されたバージョンの前記他の挙動状態を生成するステップと、
前記更新されたバージョンの前記他の挙動状態を含むように前記承認された挙動状態のライブラリを更新するステップと、を含む、付記１０に記載のコンピュータが実施する方法。
［付記１２］
前記システムは、無人航空機（以下、ＵＡＶとする）、無人地上車両（ＵＧＶ）、及び無人表面車両（ＵＳＶ）のうちの１つを含む無人車両（以下、ＵＶとする）に対応し、前記処理デバイスは、前記ＵＶのナビゲーション及び制御システム（以下、ＮＣＳとする）に対応し、前記ＭＬアルゴリズムは、前記ＵＡＶの挙動を制御するために前記ＮＣＳの性能を制御するようにプログラムされる、付記１１に記載のコンピュータが実施する方法。
［付記１３］
機械学習（以下、ＭＬとする）アルゴリズムの実行後評価のためのシステムであって、
機械可読命令およびデータを保存するためのメモリであって、前記データが、複数の挙動状態を有する実行後バージョンの前記ＭＬアルゴリズムを含み、前記複数の挙動状態が、前記ＭＬアルゴリズムの複数の異なる意思決定状態に対応している、前記メモリと、
前記メモリにアクセスして、前記機械可読命令を実行するための１つまたは複数のプロセッサと、を備え、前記機械可読命令は、
ＭＬ評価器モジュールであって、
前記ＭＬ評価器モジュールは、前記ＭＬアルゴリズムの前記複数の挙動状態から所与の挙動状態を識別する挙動識別データを生成するようにプログラムされており、前記所与の挙動状態は、前記ＭＬアルゴリズムの実行中に前記ＭＬアルゴリズムが学習した前記ＭＬアルゴリズムの意思決定状態に対応している、前記ＭＬ評価器モジュールと、
決定木モジュールであって、
前記決定木モジュールは、前記ＭＬアルゴリズムの前記所与の挙動状態を特徴付ける挙動オブジェクトを含む複数のグラフィカルオブジェクトを含むグラフィカルユーザインタフェース（ＧＵＩ）を生成し、前記挙動オブジェクトは、前記挙動識別データに基づいて生成され、
前記決定木モジュールは、入力デバイスを介したユーザによる前記挙動オブジェクトとの対話に基づいて挙動評価データを生成し、前記挙動評価データは、前記ＭＬアルゴリズムの前記所与の挙動状態が前記ＭＬアルゴリズムに関する承認された挙動状態であること、前記ＭＬアルゴリズムの前記所与の挙動状態が前記ＭＬアルゴリズムに関する承認された挙動状態でないこと、前記ＭＬアルゴリズムの前記所与の挙動状態に対する学習プロセスの更新のうちの１つを指示する、前記決定木モジュールと、
ＭＬ挙動調整モジュールであって、
前記挙動評価データに基づいて前記ＭＬアルゴリズムを更新して前記ＭＬアルゴリズムの前記学習プロセスを変更するように構成された前記ＭＬ挙動調整モジュールと、を備えるシステム。
［付記１４］
前記ＭＬアルゴリズムを更新して前記ＭＬアルゴリズムの前記学習プロセスを変更することは、
前記ＭＬアルゴリズムの前記所与の挙動状態が前記ＭＬアルゴリズムに関する承認された挙動状態ではないことを指示する前記挙動評価データに基づいて、前記ＭＬアルゴリズムから前記所与の挙動状態を削除して前記学習プロセスを変更すること、
前記ＭＬアルゴリズムの前記所与の挙動状態に関する学習プロセスに対する更新を指示する前記挙動評価データに基づいて、更新されたパラメータ値を用いて前記ＭＬアルゴリズムの前記所与の挙動状態に関する前記学習プロセスの少なくとも１つのパラメータを更新して前記ＭＬアルゴリズムの前記学習プロセスを変更すること、のうちの１つを含む、付記１３に記載のシステム。
［付記１５］
前記挙動識別データを生成することは、前記ＭＬアルゴリズムに関する承認された挙動状態のライブラリに対して前記ＭＬアルゴリズムの前記複数の挙動状態を評価して、前記所与の挙動状態を識別することを含む、付記１４に記載のシステム。
［付記１６］
前記ＭＬアルゴリズムは、無人車両（ＵＶ）の処理デバイス上で一定期間にわたって実行して、前記実行後バージョンのＭＬアルゴリズムを提供するようにプログラムされる、付記１５に記載のシステム。
［付記１７］
プロセッサによって実行可能な命令を有する１つまたは複数の非一時的コンピュータ可読媒体であって、前記命令は、機械学習（以下、ＭＬとする）アルゴリズムの評価のための方法を実行するようにプログラムされており、前記ＭＬアルゴリズムは、ミッションを実行するように構成された無人機（以下、ＵＶとする）のナビゲーションおよび制御システム（ＮＣＳ）上で実行するようにプログラムされており、前記方法は、
複数の挙動状態を有する実行後バージョンの前記ＭＬアルゴリズムを含むＭＬ挙動データを受信するステップであって、前記複数の挙動状態は、前記ＭＬアルゴリズムの複数の異なる意思決定状態に対応しており、前記ＭＬアルゴリズムの各意思決定状態は、前記ＵＶによって実行される前記ミッション中に前記ＭＬアルゴリズムの学習プロセスに対する個々の変化を引き起こす、前記ＭＬ挙動データを受信するステップと、
前記ＭＬアルゴリズムの前記複数の挙動状態から所与の挙動状態を識別する挙動識別データを生成するステップであって、前記所与の挙動状態は、前記ＵＶによって実行される前記ミッション中に前記ＭＬアルゴリズムが学習した前記ＭＬアルゴリズムの個々の意思決定状態に対応している、前記挙動識別データを生成するステップと、
挙動オブジェクトを含む複数のグラフィカルオブジェクトを含むグラフィカルユーザインタフェース（以下、ＧＵＩとする）を生成するステップであって、前記挙動オブジェクトは、前記ＭＬアルゴリズムの前記所与の挙動状態を特徴付けるものであり、前記挙動オブジェクトは、前記挙動識別データに基づいて生成される、前記ＧＵＩを生成するステップと、
入力デバイスを介したユーザによる前記挙動オブジェクトとの対話に基づいて挙動評価データを生成するステップであって、前記挙動評価データは、前記ＭＬアルゴリズムの前記所与の挙動状態が前記ＭＬアルゴリズムに関する承認された挙動状態であること、前記ＭＬアルゴリズムの前記所与の挙動状態が前記ＭＬアルゴリズムに関する承認された挙動状態でないこと、前記ＭＬアルゴリズムの前記所与の挙動状態に関する前記学習プロセスに対する更新のうちの１つを指示する、前記挙動評価データを生成するステップと、
前記挙動評価データに基づいて前記ＭＬアルゴリズムを更新して前記ＭＬアルゴリズムの前記学習プロセスを変更して、前記ＵＶによって実行される後続のミッションに対して更新されたＭＬアルゴリズムを提供するステップと、を含む、媒体。
［付記１８］
前記挙動識別データを生成するステップは、前記ＭＬアルゴリズムに関する承認された挙動状態のライブラリに対して前記複数の挙動状態を評価して、前記所与の挙動状態を識別することを含む、付記１７に記載の媒体。
［付記１９］
前記ＭＬアルゴリズムを更新して前記ＭＬアルゴリズムの前記学習プロセスを変更することは、前記ＭＬアルゴリズムの前記所与の挙動状態に関する前記学習プロセスに対する更新を指示する前記挙動評価データに基づいて、前記ＭＬアルゴリズムの前記所与の挙動状態に関する前記学習プロセスの少なくとも１つのパラメータを更新されたパラメータ値で更新して、前記ＭＬアルゴリズムの前記学習プロセスを変更することを含み、前記学習プロセスに対する更新は、前記ＭＬアルゴリズムの学習された挙動状態に関する少なくとも１つのパラメータに対する新たな値に対応している、付記１８に記載の媒体。
［付記２０］
前記ＭＬアルゴリズムを更新して前記ＭＬアルゴリズムの前記学習プロセスを変更することは、前記ＭＬアルゴリズムの前記所与の挙動状態が前記ＭＬアルゴリズムに関する承認された挙動状態ではないことを指示する前記挙動評価データに基づいて、前記ＭＬアルゴリズムから前記所与の挙動状態を更新して前記学習プロセスを変更することを含む、付記１８に記載の媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】