特表 2024-538950 人工知能モデル学習のイントロスペクション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-28

(54)【発明の名称】人工知能モデル学習のイントロスペクション

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241018BHJP

   G06N 3/082 20230101ALI20241018BHJP

【ＦＩ】

G06N20/00

G06N3/082

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024519748

(86)(22)【出願日】2022-10-18

(85)【翻訳文提出日】2024-03-29

(86)【国際出願番号】 CN2022125878

(87)【国際公開番号】W WO2023066237

(87)【国際公開日】2023-04-27

(31)【優先権主張番号】17/506,753

(32)【優先日】2021-10-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(74)【復代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】スネジャ、サヒル

(72)【発明者】

【氏名】ジュアン、ユファン

(72)【発明者】

【氏名】ジェン、ユンフイ

(72)【発明者】

【氏名】モラリ、アレッサンドロ

(72)【発明者】

【氏名】ラレド、ジム アライン

(57)【要約】

ＡＩモデルイントロスペクションに関する技術が提供される。例えば、本明細書に記載の１つ又は複数の実施形態は、コンピュータ実行可能コンポーネントを格納し得るメモリを含むことが可能なシステムを有することができる。システムはまた、メモリに動作可能に結合され、メモリに格納されたコンピュータ実行可能コンポーネントを実行することが可能なプロセッサを備えることができる。コンピュータ実行可能コンポーネントは、コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに関して人工知能モデルの出力を比較することにより解析することが可能なモデルイントロスペクションコンポーネントを備えることができる。

【特許請求の範囲】

【請求項1】

コンピュータ実行可能コンポーネントを格納したメモリ；及び
前記メモリに動作可能に結合され、前記メモリに格納された前記コンピュータ実行可能コンポーネントを実行するプロセッサ
を備え、前記コンピュータ実行可能コンポーネントが、
コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに関して人工知能モデルの出力を比較することにより解析するモデルイントロスペクションコンポーネントを有する、システム。

【請求項2】

テストデータセットに含まれた複数のコードサンプルについて、コード複雑度メトリックを抽出する抽出コンポーネント；及び
前記人工知能モデルの前記出力を評価する性能メトリックに基づき前記複数のコードサンプルをグループ分けすることにより、前記複数のテストデータサブセットを生成するテストデータサブセットコンポーネント
をさらに備える、請求項１に記載のシステム。

【請求項3】

前記複数のコードサンプルが、ソースコードサンプルである、請求項２に記載のシステム。

【請求項4】

前記コード複雑度メトリックに基づき、前記複数のテストデータサブセット内の前記複数のコードサンプルの分布を判断する分布コンポーネント
をさらに備える、請求項２に記載のシステム。

【請求項5】

前記複数のテストデータサブセットからの第１のテストデータサブセットに関連付けられたコードサンプルの第１の分布を、前記複数のテストデータサブセットからの第２のテストデータサブセットに関連付けられたコードサンプルの第２の分布と比較する比較コンポーネント
をさらに備える、請求項４に記載のシステム。

【請求項6】

コンピュータ実行可能コンポーネントを格納したメモリ；及び
前記メモリに動作可能に結合され、前記メモリに格納された前記コンピュータ実行可能コンポーネントを実行するプロセッサ
を備え、前記コンピュータ実行可能コンポーネントが
コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに対する前記人工知能モデルの性能に基づき推論するモデルイントロスペクションコンポーネントを有する、システム。

【請求項7】

テストデータセットに含まれた複数のコードサンプルについて、コード複雑度メトリックを抽出する抽出コンポーネント；及び
前記人工知能モデルの前記性能を評価する性能メトリックに基づき前記複数のコードサンプルをグループ分けすることにより、前記複数のテストデータサブセットを生成するテストデータサブセットコンポーネント
をさらに備える、請求項６に記載のシステム。

【請求項8】

前記複数のコードサンプルが、ソースコードサンプルである、請求項７に記載のシステム。

【請求項9】

前記コード複雑度メトリックに基づき、前記複数のテストデータサブセット内の前記複数のコードサンプルの分布を判断する分布コンポーネント
をさらに備える、請求項７に記載のシステム。

【請求項10】

前記複数のテストデータサブセットからの第１のテストデータサブセットに関連付けられたコードサンプルの第１の分布を、前記複数のテストデータサブセットからの第２のテストデータサブセットに関連付けられたコードサンプルの第２の分布と比較する比較コンポーネント
をさらに備える、請求項９に記載のシステム。

【請求項11】

プロセッサに動作可能に結合されたシステムによって、コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに関して人工知能モデルの出力を比較することにより解析する段階
を備える、コンピュータ実装方法。

【請求項12】

テストデータセットに含まれた複数のコードサンプルついて、コード複雑度メトリックを前記システムによって抽出する段階；及び
前記人工知能モデルの前記出力を評価する性能メトリックに基づき前記複数のコードサンプルをグループ分けすることにより、前記複数のテストデータサブセットを前記システムによって生成する段階
をさらに備える、請求項１１に記載のコンピュータ実装方法。

【請求項13】

前記複数のコードサンプルが、ソースコードサンプルである、請求項１２に記載のコンピュータ実装方法。

【請求項14】

前記コード複雑度メトリックに基づき、前記複数のテストデータサブセット内の前記複数のコードサンプルの分布を、前記システムによって判断する段階
をさらに備える、請求項１２に記載のコンピュータ実装方法。

【請求項15】

前記複数のテストデータサブセットからの第１のテストデータサブセットに関連付けられたコードサンプルの第１の分布を、前記複数のテストデータサブセットからの第２のテストデータサブセットに関連付けられたコードサンプルの第２の分布と、前記システムによって比較する段階
をさらに備える、請求項１４に記載のコンピュータ実装方法。

【請求項16】

プロセッサに動作可能に結合されたシステムによって、コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに対する前記人工知能モデルの性能に基づき推論する段階
を備える、コンピュータ実装方法。

【請求項17】

テストデータセットに含まれた複数のコードサンプルついて、コード複雑度メトリックを前記システムによって抽出する段階；及び
前記人工知能モデルの前記性能を評価する性能メトリックに基づき前記複数のコードサンプルをグループ分けすることにより、前記複数のテストデータサブセットを前記システムによって生成する段階
をさらに備える、請求項１６に記載のコンピュータ実装方法。

【請求項18】

前記複数のコードサンプルが、ソースコードサンプルである、請求項１７に記載のコンピュータ実装方法。

【請求項19】

前記コード複雑度メトリックに基づき、前記複数のテストデータサブセット内の前記複数のコードサンプルの分布を、前記システムによって判断する段階
をさらに備える、請求項１７に記載のコンピュータ実装方法。

【請求項20】

前記複数のテストデータサブセットからの第１のテストデータサブセットに関連付けられたコードサンプルの第１の分布を、前記複数のテストデータサブセットからの第２のテストデータサブセットに関連付けられたコードサンプルの第２の分布と、前記システムによって比較する段階
をさらに備える、請求項１９に記載のコンピュータ実装方法。

【請求項21】

コード複雑度駆動型のモデルイントロスペクションのためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、それにより具現化されるプログラム命令を有するコンピュータ可読記憶媒体を備え、前記プログラム命令は、プロセッサに
コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに関して人工知能モデルの出力を比較することにより、前記プロセッサによって解析させる
ように、前記プロセッサによって実行可能である、コンピュータプログラム製品。

【請求項22】

前記プログラム命令は、前記プロセッサにさらに、
テストデータセットに含まれた複数のコードサンプルついて、コード複雑度メトリックを前記プロセッサによって抽出させ；
前記人工知能モデルの前記出力を評価する性能メトリックに基づき前記複数のコードサンプルをグループ分けすることにより、前記複数のテストデータサブセットを前記プロセッサによって生成させる
請求項２１に記載のコンピュータプログラム製品。

【請求項23】

前記複数のコードサンプルが、ソースコードサンプルである、請求項２２に記載のコンピュータプログラム製品。

【請求項24】

前記プログラム命令は、前記プロセッサにさらに、
前記コード複雑度メトリックに基づき、前記複数のテストデータサブセット内の前記複数のコードサンプルの分布を、前記プロセッサによって判断させる、請求項２３に記載のコンピュータプログラム製品。

【請求項25】

前記プログラム命令は、前記プロセッサにさらに、
前記複数のテストデータサブセットからの第１のテストデータサブセットに関連付けられたコードサンプルの第１の分布を、前記複数のテストデータサブセットからの第２のテストデータサブセットに関連付けられたコードサンプルの第２の分布と、前記プロセッサによって比較させる、請求項２４に記載のコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人工知能モデルの学習挙動のイントロスペクション、及びより具体的には、訓練済み人工知能（「ＡＩ」）モデルの出力を、異なるコード複雑度のサンプルを有するテストデータと比較することにより、そのＡＩモデルの学習挙動を解析することに関する。

【0002】

ＡＩモデルは、様々なソースコード理解タスク、例えば、欠陥検出、コード要約、コード完了、バグ修正、関数及び変数のネーミング、コード推奨、ソフトウェア開発ワークフローなどにおいて利用される。しかしながら、ソースコード理解タスクのためにＡＩモデルを訓練することは、データ重複バイアス、ラベリング品質、低ロバストネス及び／又は汎化、（例えば、データセットサイズの制限に起因する）モデルの過剰適合、（例えば、異なるクラスに属するサンプル計数同士のミスマッチに起因する）クラスの不均衡などを含め、様々な信頼性の懸念に直面することがある。例えば、ＡＩモデルの性能品質は、ソースコードのタスク関連の側面をモデルが学習しているかどうかによって影響されることがある。さらに、ＡＩモデルの学習挙動の理解は、典型的には、モデルのソフトウェアアーキテクチャを解析することに焦点を当てることがある。そうして、典型的な手法は、モデルの内部動作へのアクセス、及び／又はモデルの内部動作の深い主題知識を必要とすることがある。さらに、典型的なイントロスペクションの手法は、ＡＩモデルの学習挙動における信号認識の解析を無視することがある。また、既存のモデル性能メトリックは、ＡＩモデルが訓練される基となるデータセットの側面を考慮することを無視することがある。

【発明の概要】

【0003】

以下では、本発明の１つ又は複数の実施形態の基本的な理解を提供するために概要が提示される。この概要は、重要な又は必須の要素を特定すること、又は特定の実施形態のいかなる範囲又は特許請求の範囲のいかなる範囲も定めることを意図するものではない。その唯一の目的は、後に提示されるより詳細な説明への前置きとして簡略化された形態で概念を提示することである。本明細書に記載の１つ又は複数の実施形態において、ＡＩモデルの学習挙動に関する１つ又は複数のインサイトを推論することができるシステム、コンピュータ実装方法、装置、及び／又はコンピュータプログラム製品が説明される。

【0004】

一実施形態によれば、システムが提供される。システムは、コンピュータ実行可能コンポーネントを格納することができるメモリを備えることができる。システムは、メモリに動作可能に結合され、メモリに格納されたコンピュータ実行可能コンポーネントを実行するプロセッサも備えることができる。コンピュータ実行可能コンポーネントは、コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに関して人工知能モデルの出力を比較することにより解析することが可能なモデルイントロスペクションコンポーネントを備えることができる。そのようなシステムの利点は、ＡＩモデルによって解析されるサンプルのコード複雑度が、ＡＩモデルの性能にどのように影響し得るかを特定することであり得る。

【0005】

いくつかの例において、システムは、テストデータセットに含まれた複数のコードサンプルのコード複雑度メトリックを抽出することが可能な抽出コンポーネントも備えることができる。そのようなシステムの利点は、サンプルにおいてコード複雑度の１つ又は複数の側面を特徴付けるために、様々なコード複雑度メトリックを用いることであり得る。

【0006】

別の実施形態によれば、システムが提供される。システムは、コンピュータ実行可能コンポーネントを格納することができるメモリを備えることができる。システムは、メモリに動作可能に結合され、メモリに格納されたコンピュータ実行可能コンポーネントを実行するプロセッサも備えることができる。コンピュータ実行可能コンポーネントは、コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに対する人工知能モデルの性能に基づき推論することが可能なモデルイントロスペクションコンポーネントを備えることができる。そのようなシステムの利点は、データセット駆動型の観点で、ＡＩモデルをイントロスペクトできることであり得る。

【0007】

いくつかの例において、システムは、前記人工知能モデルの前記性能を評価する性能メトリックに基づき複数のコードサンプルをグループ分けすることにより、前記複数のテストデータサブセットを生成することが可能なテストデータサブセットコンポーネントも備えることができる。そのようなシステムの利点は、１つ又は複数の標的とする性能メトリックに基づく、ＡＩモデルイントロスペクションの調整とすることができる。

【0008】

一実施形態によれば、コンピュータ実装方法が提供される。
コンピュータ実装方法は、プロセッサに動作可能に結合されたシステムによって、コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに関して人工知能モデルの出力を比較することにより解析する段階を備えることができる。そのようなコンピュータ実装方法の利点は、ＡＩモデルが訓練中にタスク関連信号を学習したかどうかの解析とすることができる。

【0009】

いくつかの例において、コンピュータ実装方法は、コード複雑度メトリックに基づき、複数のテストデータサブセット内の複数のコードサンプルの分布を、前記システムによって判断する段階を備えることができる。そのようなコンピュータ実装方法の利点は、ＡＩモデルの複数の性能結果にわたるコード複雑度に関するサンプル母集団の解析とすることができる。

【0010】

別の実施形態によれば、コンピュータ実装方法が提供される。コンピュータ実装方法は、プロセッサに動作可能に結合されたシステムによって、コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに対する前記人工知能モデルの性能に基づき推論する段階を備えることができる。そのようなコンピュータ実装方法の利点は、例えば、学習済みモデル論理の解読、モデル進化の促進、モデル設計空間の評価、及び／又はデータセットセグメント化に関するインサイトの発展とすることができる。

【0011】

いくつかの例において、コンピュータ実装方法は、複数のテストデータサブセットからの第１のテストデータサブセットに関連付けられたコードサンプルの第１の分布を、複数のテストデータサブセットからの第２のテストデータサブセットに関連付けられたコードサンプルの第２の分布と、前記システムによって比較する段階を備えることができる。そのようなコンピュータ実装方法の利点は、テストデータサブセット間でサンプルの分布に影響し得るサンプル側面の特定とすることができ、ここでそれぞれのテストデータサブセットは、定義されたＡＩモデル性能条件に関連付けられることが可能である。

【0012】

一実施形態によれば、コード複雑度駆動型のモデルイントロスペクションのためのコンピュータプログラム製品が提供される。コンピュータプログラム製品は、具現化されるプログラム命令を有するコンピュータ可読記憶媒体を含み得る。前記プログラム命令は、プロセッサに
コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに関して人工知能モデルの出力を比較することにより、前記プロセッサによって解析させるように、前記プロセッサによって実行可能であり得る。そのようなコンピュータプログラム製品の利点は、ＡＩモデルのタイプ及び／又はソースコード理解タスクに依存しないイントロスペクション手法とすることができる。

【0013】

いくつかの例において、前記プログラム命令は、前記プロセッサにさらに、テストデータセットに含まれた複数のコードサンプルついて、コード複雑度メトリックを前記プロセッサによって抽出させることができる。また、前記プログラム命令は、前記プロセッサにさらに、前記人工知能モデルの前記出力を評価する性能メトリックに基づき前記複数のコードサンプルをグループ分けすることにより、前記複数のテストデータサブセットを前記プロセッサによって生成させることができる。さらに、前記プログラム命令は、前記プロセッサにさらに、前記コード複雑度メトリックに基づき、前記複数のテストデータサブセット内の前記複数のコードサンプルの分布を、前記プロセッサによって判断させることができる。また、前記プログラム命令は、前記プロセッサにさらに、前記複数のテストデータサブセットからの第１のテストデータサブセットに関連付けられたコードサンプルの第１の分布を、前記複数のテストデータサブセットからの第２のテストデータサブセットに関連付けられたコードサンプルの第２の分布と、前記プロセッサによって比較させることができる。そのようなコンピュータプログラム製品の利点は、サンプルを予測正解率によりグループ分けして、ＡＩモデルによって容易に理解可能なコードの側面に関してＡＩモデルの学習挙動を判断するための、コード複雑度メトリックの使用とすることができる。

【図面の簡単な説明】

【0014】

【図1】本明細書に記載の１つ又は複数の実施形態による１つ又は複数のＡＩモデルの学習挙動をイントロスペクトすることが可能な、例示的な非限定的システムのブロック図を示す。

【0015】

【図2】本明細書に記載の１つ又は複数の実施形態による、異なるコード複雑度を有する１つ又は複数のテストデータセットを生成することが可能な、例示的な非限定的システムのブロック図を示す。

【0016】

【図3】本明細書に記載の１つ又は複数の実施形態による、１つ又は複数のコード複雑度メトリックに関する、テストデータサブセット内のソースコードサンプルの分布を判断することが可能な、例示的な非限定的システムのブロック図を示す。

【0017】

【図4】本明細書に記載の１つ又は複数の実施形態による、テストデータのコード複雑度及びＡＩモデル予測の正解率の１つ又は複数の関係を実証することが可能な、例示的な非限定的グラフの図を示す。

【0018】

【図5】本明細書に記載の１つ又は複数の実施形態による、ソースコードサンプルの分布を有するテストデータサブセットを、異なる量及び／又はタイプのコード複雑度と比較及び／又は対比することが可能な、例示的な非限定的システムのブロック図を示す。

【0019】

【図6】本明細書に記載の１つ又は複数の実施形態による、１つ又は複数の訓練済みＡＩモデルの学習挙動に関する１つ又は複数のインサイトを推論するために実装されることが可能な、例示的な非限定的イントロスペクションスキームの図を示す。

【0020】

【図7】本明細書に記載の１つ又は複数の実施形態による、システム、コンピュータ実装方法、及び／又はコンピュータプログラム製品が、訓練済みＡＩモデルの学習挙動に関する１つ又は複数のインサイトを、複数のテストデータサブセットからどのように推論できるかを実証することが可能な、例示的な非限定的グラフチェーンの図を示す。

【0021】

【図8】本明細書に記載の１つ又は複数の実施形態による、訓練済みＡＩモデルの学習挙動及び／又は訓練の進化を解析するために、訓練済みＡＩモデルをイントロスペクトすることを容易にすることが可能な、例示的な非限定的コンピュータ実装方法のフロー図を示す。

【0022】

【図9】本明細書に記載の１つ又は複数の実施形態による、訓練済みＡＩモデルの学習挙動及び／又は訓練の進化を解析するために、訓練済みＡＩモデルをイントロスペクトすることを容易にすることが可能な、例示的な非限定的コンピュータ実装方法のフロー図を示す。

【0023】

【図10】本明細書に記載の１つ又は複数の実施形態による、クラウドコンピューティング環境を示す。

【0024】

【図11】本明細書に記載の１つ又は複数の実施形態による、抽象化モデル層を示す。

【0025】

【図12】本明細書に記載の１つ又は複数の実施形態を容易にすることが可能な、例示的な非限定的動作環境のブロック図を示す。

【発明を実施するための形態】

【0026】

以下の詳細な説明は、例示に過ぎず、実施形態、もしくは実施形態の応用形態もしくは使用、又はその組み合わせを限定することを意図するものではない。さらに、上記の背景技術セクション又は発明の概要セクション、又は発明を実施するための形態セクションにおいて提示されるいかなる表現又は示唆された情報によって制約されることも意図するものではない。

【0027】

ここで、１つ又は複数の実施形態が、図面を参照して説明されるが、図面において、同様の参照符号は、全体を通して同様の要素を指すために使用される。以下の説明では、説明の目的で、多くの特定の詳細が、１つ又は複数の実施形態のより完全な理解を提供すべく記載される。しかしながら、様々な場合では、１つ又は複数の実施形態は、これらの特定の詳細なしに実施され得ることが明らかである。

【0028】

訓練済みＡＩモデルのイントロスペクションの他の実装形態による問題を考慮し、本開示は、コード複雑度に基づく手法を介して、１つ又は複数のＡＩモデル学習挙動のイントロスペクションを可能にすることにより、これらの問題のうちの１つ又は複数に対する解決手段を作り出すために実装されることが可能である。有利には、本明細書に記載の１つ又は複数の実施形態は、データセットの観点から、訓練済みＡＩモデルの学習挙動をイントロスペクトして、統計的な品質測定にまさるインサイトを提供することができる。さらに、本明細書に記載の様々なイントロスペクション技術は、ＡＩモデルのタイプ及び／又はソース理解タスクに依存しないことが可能である。

【0029】

本発明の様々な実施形態は、効率的、効果的、及び自律的な（例えば、直接的な人間の指導なしに）、１つ又は複数の訓練済みＡＩモデルのイントロスペクションを容易にするコンピュータ処理システム、コンピュータ実装方法、装置、及び／又はコンピュータプログラム製品を対象とすることができる。例えば、本明細書に記載の１つ又は複数の実施形態は、１つ又は複数のコードメトリック、例えば１つ又は複数のコード複雑度メトリックに基づき、訓練済みＡＩモデルの進化に関する１つ又は複数のインサイトを判断することができる。例えば、１つ又は複数の実施形態は、予測正解率などの性能メトリックによりグループ化されたテストデータサブセット間で、コードメトリック分布を比較することにより、１つ又は複数の訓練済みＡＩモデルの学習挙動インサイトを推論することができる。本明細書に記載の様々な実施形態を介して判断されることが可能なインサイトは、例えば、データセットセグメント化、学習モデル論理の解読、ＡＩモデルの信号認識、訓練中のＡＩモデルの進化、及び／又はＡＩモデル設計空間の評価に関し得る。例えば、本明細書に記載の１つ又は複数の実施形態は、訓練済みＡＩモデルが正しく予測したテストデータサンプルの共通の特性と、ＡＩモデルが誤って予測したテストデータサンプルの特性とを比較して、ＡＩモデルが良好に学習したソースコードサンプルの側面と、改善学習の標的となり得る側面とを判断することができる。

【0030】

本明細書に記載の様々な実施形態は、ソースコード理解タスクに関して例示されている；しかしながら、アーキテクチャはそのように限定されない。例えば、本明細書に記載の１つ又は複数の実施形態は、コード理解を含む機械学習タスクを概して実行するために利用されるＡＩモデルを、イントロスペクトすることができる。さらに、本明細書に記載の様々な実施形態は、テストデータとしてのソースコードサンプルの使用に関して例示される；しかしながら、アーキテクチャはそのように限定されない。例えば、本明細書に記載の１つ又は複数の実施形態は、訓練済みＡＩモデルのイントロスペクションにおいて、バイナリコードサンプル及び／又はアセンブリコードサンプルをテストデータとして利用することができる。

【0031】

コンピュータ処理システム、コンピュータ実装方法、装置、及び／又はコンピュータプログラム製品は、高度に技術的な性質の、抽象的ではなく人間による精神活動のセットとして実行され得ない問題（例えば、１つ又は複数のＡＩモデルのイントロスペクション）を解決するために、ハードウェア及び／又はソフトウェアを利用する。例えば、個人又は複数の個人は、異なるコード複雑度のサンプル分布を有するテストデータサブセットの比較に基づき、訓練によるＡＩモデルの進化に関するインサイトを推論することはできない。また、本明細書に記載の１つ又は複数の実施形態は、実行すべき機械学習タスクに関連する信号を訓練済みＡＩモデルが学習したかどうかに対する１つ又は複数のインサイトを推論することにより、従来のＡＩモデルイントロスペクションにまさる技術的改善点を構成することができる。さらに、本明細書に記載の様々な実施形態は、１つ又は複数の訓練バリエーションが、訓練済みＡＩモデルの学習挙動にどのように影響を及ぼし得るかを特定することにより、従来のＡＩモデルイントロスペクションにまさる技術的改善点を実証することができる。

【0032】

さらに、本明細書に記載の１つ又は複数の実施形態は、１つ又は複数のＡＩモデルにとって、サンプルを正確に予測しやすいもの、又は正確に予測しにくいものにする訓練データサンプルの１つ又は複数の特性を特定することにより、実用的な応用形態を有することができる。別の例において、本明細書に記載の様々な実施形態は、コードサンプルのどの側面が訓練済みＡＩモデルによって学習されているか、又は無視されているかを解読することができる。さらに、本明細書に記載の１つ又は複数の実施形態は、１つ又は複数のＡＩモデルの誤予測に共通し得る１つ又は複数のサンプル特性（例えばコードの側面）を標的とすることにより、実用的な応用形態を有することができる。本明細書に記載の１つ又は複数の実施形態は、ＡＩモデル理解の改善を追跡し、及び／又は本明細書に記載の例示的なインサイトのうちの１つ又は複数を導き出すために、複数のハイパーパラメータチューニング反復を制御することができる。

【0033】

図１は、１つ又は複数の訓練済みＡＩモデル１２４の学習挙動を解析することが可能な、例示的な非限定的システム１００のブロック図を示す。本明細書に記載の他の実施形態において利用される同様の要素の繰り返しの説明は、簡潔性のために省略される。本発明の様々な実施形態におけるシステム（例えば、システム１００など）、装置、又はプロセスの態様は、１つ又は複数の機械内で具現化された、例えば、１つ又は複数の機械と関連付けられた１つ又は複数のコンピュータ可読媒体において具現化された、１つ又は複数の機械実行可能コンポーネントを構成し得る。１つ又は複数の機械（例えば、コンピュータ、コンピューティングデバイス、仮想機械、これらの組み合わせなど）によって実行されると、そのようなコンポーネントは、説明される動作を機械に実行させることができる。

【0034】

図１に示してあるように、システム１００は、１つ又は複数のサーバ１０２、１つ又は複数のネットワーク１０４、及び／又は１つ又は複数の入力デバイス１０６を備えることができる。サーバ１０２は、モデルイントロスペクションコンポーネント１１０を備えることができる。モデルイントロスペクションコンポーネント１１０は、通信コンポーネント１１２及び／又は抽出コンポーネント１１４をさらに備えることができる。また、サーバ１０２は、少なくとも１つのメモリ１１６を備えることが可能であるか、又は別様に関連付けられることが可能である。サーバ１０２は、モデルイントロスペクションコンポーネント１１０、及び関連コンポーネント、メモリ１１６、及び／又はプロセッサ１２０などであるが、これらに限定されない様々なコンポーネントに結合可能なシステムバス１１８をさらに備えることができる。図１においてはサーバ１０２が示されているが、他の実施形態においては、様々なタイプの複数のデバイスが、図１において示されている特徴に関連付けられるか、又はその特徴を含むことが可能である。さらに、サーバ１０２は、１つ又は複数のクラウドコンピューティング環境と通信することができる。

【0035】

１つ又は複数のネットワーク１０４は、限定されるものではないが、セルラネットワーク、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）、又はローカルエリアネットワーク（ＬＡＮ）を含む有線及び無線ネットワークを備えることができる。例えば、サーバ１０２は、限定されるものではないが、例えばセルラ、ＷＡＮ、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ（登録商標））、Ｗｉ－Ｍａｘ、ＷＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）技術、及び／又はこれらの組み合わせなどを含む任意の所望の有線又は無線技術を仮想的に使用して、１つ又は複数の入力デバイス１０６と通信することができる（逆の場合も同じ）。さらに、示してある実施形態では、モデルイントロスペクションコンポーネント１１０は１つ又は複数のサーバ１０２上に提供され得るが、システム１００のアーキテクチャはそのように限定されないことが理解されるべきである。例えば、モデルイントロスペクションコンポーネント１１０、又はモデルイントロスペクションコンポーネント１１０の１つ又は複数のコンポーネントは、別のコンピュータデバイス、例えば別のサーバデバイス、及び／又はクライアントデバイスなどに位置付けられることが可能である。

【0036】

１つ又は複数の入力デバイス１０６は、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、携帯電話（例えば、スマートフォン）、（例えば、プロセッサを含む）コンピュータ化されたタブレット、スマートウォッチ、キーボード、タッチスクリーン、マウス、及び／又はこれらの組み合わせなどを含むことができるが、これらに限定されるものではない１つ又は複数のコンピュータ化されたデバイスを含むことができる。１つ又は複数の入力デバイス１０６は、１つ又は複数のテストデータセット１２２、及び／又は訓練済みＡＩモデル１２４をシステム１００に入力するために利用されることが可能であり、それにより上記データを（例えば直接接続を介して、及び／又は１つ又は複数のネットワーク１０４を介して）サーバ１０２と共有することができる。例えば、１つ又は複数の入力デバイス１０６は、データを（例えば、直接接続を介して及び／又は１つ又は複数のネットワーク１０４を介して）通信コンポーネント１１２に送信することができる。さらに、１つ又は複数の入力デバイス１０６は、システム１００によって生成された１つ又は複数の出力をユーザに提示することが可能な１つ又は複数のディスプレイを備えることができる。例えば、１つ又は複数のディスプレイは、ブラウン管ディスプレイ（「ＣＲＴ」）、発光ダイオードディスプレイ（「ＬＥＤ」）、電子発光ディスプレイ（「ＥＬＤ」）、プラズマディスプレイパネル（「ＰＤＰ」）、液晶ディスプレイ（「ＬＣＤ」）、有機発光ダイオードディスプレイ（「ＯＬＥＤ」）、及び／又はこれらの組み合わせなどを含むことができるが、これらに限定されるものではない。

【0037】

様々な実施形態において、１つ又は複数の入力デバイス１０６及び／又は１つ又は複数のネットワーク１０４は、１つ又は複数の設定及び／又はコマンドをシステム１００に入力するために利用されることが可能である。例えば、本明細書に記載の様々な実施形態において、１つ又は複数の入力デバイス１０６は、サーバ１０２及び／又は関連コンポーネントを動作及び／又は操作するために利用されることが可能である。さらに、１つ又は複数の入力デバイス１０６は、サーバ１０２及び／又は関連コンポーネントによって生成された１つ又は複数の出力（例えば、ディスプレイ、データ、視覚化など）を表示するために利用されることが可能である。さらに、１つ又は複数の実施形態において、１つ又は複数の入力デバイス１０６は、クラウドコンピューティング環境内に備えられることが可能であり、及び／又はそのクラウドコンピューティング環境に動作可能に結合されることが可能である。

【0038】

例えば、１つ又は複数の実施形態において、１つ又は複数のテストデータセット１２２をシステム１００に入力するために１つ又は複数の入力デバイス１０６が利用されることが可能であり、その１つ又は複数のテストデータセット１２２は、１つ又は複数のメモリ１１６に格納されることが可能である。さらに、モデルイントロスペクションコンポーネント１１０は、（例えば１つ又は複数のコード理解タスクのための）１つ又は複数の訓練済みＡＩモデル１２４の学習挙動に関する１つ又は複数のインサイトを判断するために、１つ又は複数のテストデータセット１２２を用いることができる。１つ又は複数の実施形態において、１つ又は複数のテストデータセット１２２は、ソースコードサンプル１２６などの１つ又は複数のコードサンプルを備えることができる。さらに、１つ又は複数のテストデータセット１２２は、バイナリコードサンプル及び／又はアセンブリコードサンプルなど、他のタイプのコードサンプルを備えることができる。さらに、テストデータセット１２２の１つ又は複数のサンプル（例えば、ソースコードサンプル１２６）は、例えば、元のコードデータセットから拡張されたサンプル、ランク付けされたサンプル、ランダム化されたサンプル、及び／又はそれらの組み合わせなどを含むことができる。

【0039】

１つ又は複数の実施形態において、１つ又は複数の入力デバイス１０６は、１つ又は複数の訓練済みＡＩモデル１２４をシステム１００に入力するためも利用されることが可能であり、それらの訓練済みＡＩモデル１２４は、１つ又は複数のメモリ１１６に格納され、及び／又はモデルイントロスペクションコンポーネント１１０によって解析されることが可能である。さらに、様々な実施形態において、１つ又は複数の入力デバイス１０６は、訓練済みＡＩモデル１２４イントロスペクションの１つ又は複数の設定及び／又はパラメータを定義するために利用されることが可能である。例えば、１つ又は複数の入力デバイス１０６は、本明細書に記載の１つ又は複数の実施形態による１つ又は複数のコード複雑度メトリックを定義するために利用されることが可能である。様々な実施形態において、通信コンポーネント１１２は、（例えば１つ又は複数の入力デバイス１０６を介してシステム１００に入力された）１つ又は複数の入力を、本明細書に記載の１つ又は複数の実施形態によるモデルイントロスペクションコンポーネント１１０の関連コンポーネントと共有することができる。

【0040】

様々な実施形態において、１つ又は複数の訓練済みＡＩモデル１２４は、１つ又は複数の機械学習タスク（例えば、ソースコード理解タスクなどのコード理解タスク）を容易にするために使用されることが可能である。１つ又は複数の実施形態において、訓練済みＡＩモデル１２４は、ニューロンの抽象バージョンに似ていることがある多数の相互接続された処理ユニットをシミュレートすることができる。例えば、処理ユニットは、（例えば、当技術分野内では一般的に「重み」と呼ばれ得る）異なる接続強さで接続された複数の層（例えば、１つ又は複数の入力層、１つ又は複数の隠れ層、及び／又は１つ又は複数の出力層）に配置されることが可能である。訓練済みＡＩモデル１２４は、１つ又は複数の訓練スキームを通して学習することができ、既知の結果を有するデータがコンピュータモデルに入力され、そのデータに関する出力が、既知の結果と比較され、及び／又はその比較に基づき、既知の結果を複製するようにコンピュータモデルの重みが自律的に調整される。モデルが訓練されるにつれ、コンピュータモデルはどんどん正確になることができる；そうして、訓練済みＡＩモデル１２４は、訓練データから学習したレッスンに基づき、未知の結果を有するデータを正確に解析して、１つ又は複数の機械学習タスクを容易にすることができる。例示的な訓練済みＡＩモデル１２４は、限定されるものではないが、パーセプトロン（「ｐｅｒｃｅｐｔｒｏｎ：Ｐ」）、フィードフォワード（「ｆｅｅｄ ｆｏｒｗａｒｄ：ＦＦ」）、放射基底ネットワーク（「ｒａｄｉａｌ ｂａｓｉｓ ｎｅｔｗｏｒｋ：ＲＢＦ」）、ディープフィードフォワード（「ｄｅｅｐ ｆｅｅｄ ｆｏｒｗａｒｄ：ＤＦＦ」）、再帰型ニューラルネットワーク（「ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＲＮＮ」）、長短期記憶ネットワーク（「ｌｏｎｇ／ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ：ＬＳＴＭ」）、ゲート付き再帰ユニット（「ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔ：ＧＲＵ」）、オートエンコーダ（「ａｕｔｏ ｅｎｃｏｄｅｒ：ＡＥ」）、変分ＡＥ（「ｖａｒｉａｔｉｏｎａｌ ＡＥ：ＶＡＥ」）、デノイジングＡＥ（「ｄｅｎｏｉｓｉｎｇ ＡＥ：ＤＡＥ」）、スパースＡＥ（「ｓｐａｒｓｅ ＡＥ：ＳＡＥ」）、マルコフ連鎖（「ｍａｒｋｏｖ ｃｈａｉｎ：ＭＣ」）、ホップフィールドネットワーク（「Ｈｏｐｆｉｅｌｄ ｎｅｔｗｏｒｋ：ＨＮ」）、ボルツマンマシン（「Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ：ＢＭ」）、ディープビリーフネットワーク（「ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ：ＤＢＮ」）、ディープ畳み込みネットワーク（「ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ：ＤＣＮ」）、逆畳み込みネットワーク（「ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ：ＤＮ」）、ディープ畳み込み逆グラフィックスネットワーク（「ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｉｎｖｅｒｓｅ ｇｒａｐｈｉｃｓ ｎｅｔｗｏｒｋ：ＤＣＩＧＮ」）、敵対的生成ネットワーク（「ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ：ＧＡＮ」）、液状状態マシン（「ｌｉｑｕｉｄ ｓｔａｔｅ ｍａｃｈｉｎｅ：ＬＳＭ」）、極端学習マシン（「ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ：ＥＬＭ」）、エコーステートネットワーク（「ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋ：ＥＳＮ」）、ディープ残差ネットワーク（「ｄｅｅｐ ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋ：ＤＲＮ」）、コーホーネンネットワーク（「ｋｏｈｏｎｅｎ ｎｅｔｗｏｒｋ：ＫＮ」）、サポートベクターマシン（「ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ：ＳＶＭ」）、及び／又はニューラルチューリングマシン（「ｎｅｕｒａｌ ｔｕｒｉｎｇ ｍａｃｈｉｎｅ：ＮＴＭ」）を含むことができる。さらに、本明細書に記載の様々な実施形態は、クラシカルな機械学習モデルにも適用可能である。

【0041】

１つ又は複数の実施形態において、モデルイントロスペクションコンポーネント１１０は、１つ又は複数のテストデータセット１２２を利用して、１つ又は複数の性能メトリックに関するコード特性を（例えば正しく及び誤って予測されたソースコードサンプル１２６にわたって）比較することにより、１つ又は複数の訓練済みＡＩモデル１２４の学習挙動に関する１つ又は複数のインサイトを推論することができる。１つ又は複数のコード特性を特徴付けることが可能な例示的なメトリックは、コード複雑度メトリック１２８を含むことができる。本明細書において言及されるとき、「コード複雑度」という用語は、所与のコンピュータアプリケーションソースコードに固有の複雑度を指すことができる。コード複雑度は、コンピュータソフトウェアの効率に影響を及ぼし得る。例えば、コード複雑度が増大するにつれ、ソースコードサンプルが欠陥を含む確率も増大し得る。さらに、コード複雑度は、１つ又は複数のコード複雑度メトリック１２８によって特徴付け及び／又は数値化されることが可能である。

【0042】

様々な実施形態において、抽出コンポーネント１１４は、１つ又は複数のテストデータセット１２２の１つ又は複数の訓練データセット１２２から（例えば、ソースコードサンプル１２６から）、１つ又は複数のコード複雑度メトリック１２８を抽出することができる。１つ又は複数の実施形態において、コード複雑度は、１つ又は複数のコード複雑度メトリック１２８、及び／又は複数のコード複雑度メトリック１２８の関数を介して、サイクロマティック複雑度及び／又はハルステッド複雑度に関して測定されることが可能である。例えば、１つ又は複数のコード複雑度メトリック１２８は、限定されるものではないが、サイクロマティック複雑度メトリック、ソースコードの行数（「ｓｏｕｒｃｅ ｌｉｎｅｓ ｏｆ ｃｏｄｅ：ＳＬＯＣ」）（例えば、ソースコード及び／又は実行可能コードの行数）、ハルステッドボリューム、保守容易性指数、結合／継承の深さ、認知的複雑度、手直し率、プログラムボリューム、プログラムの難しさの計算（例えば、ソースコードを記述又は理解する難しさ）、労力計算（例えば、コーディング時間の程度）、プログラム長さの程度、プログラム語彙の程度、クラスの数、コメント行の数、コメント行の密度、ディレクトリの数、ファイルの数、関数の数、ビュー内のプロジェクトの数、文の数、及び／又はこれらの組み合わせなどの程度とすることができる。１つ又は複数の実施形態において、１つ又は複数のコード複雑度メトリック１２８は、１つ又は複数のテストデータサンプル（例えば、ソースコードサンプル１２６）に含まれた１つ又は複数の意味的アーチファクトの関数とすることができる。アーチファクトの例は、限定されるものではないが、決定点、ｉｆ条件、反復ループ、線形独立パスの数、所与のソースコードを修正するコミットの数、所与のソースコードに寄与する開発者の数、所与のソースコードに関連付けられた会話の数、及び／又はこれらの組み合わせなどを含むことができる。例えば、コード複雑度は、ソースコードサンプル１２６を通るパスの数に基づいて計算されることが可能である。関数の制御フローが分裂する場合、コード複雑度は増大し得る（例えば、複雑度カウンタが、分裂ごとにインクリメンタルに増大し得る）。

【0043】

様々な実施形態において、抽出コンポーネント１１４は、１つ又は複数のテストデータセット１２２に含まれたそれぞれのサンプル（例えば、ソースコードサンプル１２６）を解析し、サンプル（例えば、ソースコードサンプル１２６）から１つ又は複数のコード複雑度メトリック１２８を抽出して、サンプル（例えば、ソースコードサンプル１２６）のコード複雑度を判断することができる。例えば、抽出コンポーネント１１４は、ソースコードサンプル１２６のそれぞれから１つのタイプのコード複雑度メトリック１２８を抽出して、ソースコードサンプル１２６のコード複雑度を特徴付けることができる。別の例において、抽出コンポーネント１１４は、それぞれのソースコードサンプル１２６から複数のタイプのコード複雑度メトリック１２８を抽出して（例えば、ソースコードサンプル１２６当たり２つ又はそれより多くのコード複雑度メトリック１２８を抽出して）、ソースコードサンプル１２６のコード複雑度を特徴付けることができる。様々な実施形態において、抽出コンポーネント１１４は、ソースコードサンプル１２６から抽出された複数のコード複雑度メトリック１２８の関数として、ソースコードサンプル１２６のコード複雑度を特徴付けることができる。

【0044】

１つ又は複数のコード複雑度メトリック１２８を抽出するために抽出コンポーネント１１４によって利用される抽出方法は、抽出されるコード複雑度メトリック１２８に応じて異なることがある。例えば、抽出コンポーネント１１４は、１つ又は複数のコード複雑度メトリック１２８を抽出するために、Ｆｒａｍａ－Ｃを利用することができる。例えば、１つ又は複数のコード複雑度メトリック１２８は、ソースコードサンプル１２６の１つ又は複数の関連アーチファクトをカウントする（例えば、コードの行数をカウントする）ことにより、抽出されることが可能である。別の事例において、抽出コンポーネント１１４は、限定されるものではないが、サイクロマティック複雑度アナライザ（例えば、Ｌｉｚａｒｄアナライザツール）、ＭｃＣａｂｅ複雑度アナライザ（例えば、ｍｃｃａｂｅアナライザツール）、ｐｙｃｏｄｅｑｕａｌアナライザツール、ｘｅｎｏｎアナライザツール、ｃｙｃｌｏｃｏｍｐアナライザツール、ｓａｉｋｕｒｏアナライザツール、ｃｍｅｔｒｉｃｓアナライザ、ｃｓｃｏｕｔアナライザツール、及び／又はこれらの組み合わせなどを含む１つ又は複数のアナライザツールを利用して、１つ又は複数のコード複雑度メトリック１２８を抽出することができる。

【0045】

１つ又は複数の実施形態において、抽出コンポーネント１１４は、１つ又は複数の抽出されたコード複雑度メトリック１２８を、１つ又は複数の複雑度データベース１３０内の関連ソースコードサンプル１２６の識別情報とともに、１つ又は複数のメモリ１１６に格納することができる。例えば、１つ又は複数の複雑度データベース１３０は、解析されたソースコードサンプル１２６、及び解析されたそれぞれのソースコードサンプル１２６に関連付けられた、抽出されたコード複雑度メトリック１２８を列挙した１つ又は複数のチャート、表、及び／又はログなどを備えることができる。

【0046】

図２は、本明細書に記載の１つ又は複数の実施形態による、テストデータサブセットコンポーネント２０２をさらに備える例示的な非限定的システム１００の図を示す。本明細書に記載の他の実施形態において利用される同様の要素の繰り返しの説明は、簡潔性のために省略される。１つ又は複数の実施形態において、モデルイントロスペクションコンポーネント１１０は、１つ又は複数の訓練済みＡＩモデル１２４上で、（例えば１つ又は複数の入力デバイス１０６を介して定義された）１つ又は複数のソースコード理解タスクを実行することができる。それにより、１つ又は複数の訓練済みＡＩモデル１２４は、ソースコード理解タスクを完了する際に、１つ又は複数の出力（例えば、予測）を生成することができる。１つ又は複数の実施形態において、訓練済みＡＩモデル１２４の出力は、１つ又は複数の入力デバイス１０６を介してシステム１００に入力されることが可能である。

【0047】

様々な実施形態において、テストデータサブセットコンポーネント２０２は、訓練済みＡＩモデル１２４の１つ又は複数の出力を、例えば正解率、適合率、及び／又は再現率などの１つ又は複数の性能メトリックに関して解析することができる。例えば、テストデータサブセットコンポーネント２０２は、定義されたソースコード理解タスクを１つ又は複数のテストデータセット１２２に対して実行する際に、訓練済みＡＩモデル１２４によって生成された１つ又は複数の予測の正解率を判断することができる。例えば、それぞれのソースコードサンプル１２６に関連付けられた正しい出力（例えば予測）が、テストデータサブセットコンポーネント２０２にとって既知であることが可能であり（例えば１つ又は複数の入力デバイス１０６を介してシステム１００に入力されることが可能であり）、ここでテストデータサブセットコンポーネント２０２は、既知の正しい出力を、訓練済みＡＩモデル１２４の出力と比較して、訓練済みＡＩモデル１２４の正解率をテストすることができる。

【0048】

さらに、テストデータサブセットコンポーネント２０２は、１つ又は複数の訓練済みＡＩモデル１２４の性能に基づき（例えば、正解率、適合率、再現率、信号認識再現率、及び／又はこれらの組み合わせなどに基づき）、テストサンプル（例えば１つ又は複数のソースコードサンプル１２６）を１つ又は複数のテストデータサブセット２０４にグループ分けすることができる。例えば、テストデータサブセットコンポーネント２０２は、１つ又は複数のソースコードサンプル１２６をグループ分けして、１つ又は複数のメモリ１１６に格納されることが可能な１つ又は複数のテストデータサブセット２０４を生成することができる。訓練済みＡＩモデル１２４の性能を正解率に関して評価するときに生成される例示的なテストデータサブセット２０４は、限定されるものではないが、真陽性（「ｔｒｕｅ ｐｏｓｉｔｉｖｅ：ＴＰ」）サブセット、偽陰性（「ｆａｌｓｅ ｎｅｇａｔｉｖｅ：ＦＮ」）サブセット、真陰性（「ｔｒｕｅ ｎｅｇａｔｉｖｅ：ＴＮ」）、偽陽性（「ｆａｌｓｅ ｐｏｓｉｔｉｖｅ：ＦＰ」）、及び／又はこれらの組み合わせなどを含むことができる。例えば、テストデータサブセットコンポーネント２０２は、１つ又は複数の訓練済みＡＩモデル１２４によって陽性であると正しく解析されたソースコードサンプル１２６を、ＴＰテストデータサブセット２０４にグループ分けすることができる。また、テストデータサブセットコンポーネント２０２は、１つ又は複数の訓練済みＡＩモデル１２４によって陰性であると誤って解析されたソースコードサンプル１２６を、ＦＮテストデータサブセット２０４にグループ分けすることができる。様々な実施形態において、テストデータサブセットコンポーネント２０２は、テストサンプル（例えばソースコードサンプル１２６）を、２つ、３つ、又はそれより多くのテストデータサブセット２０４にグループ分けすることができる。１つ又は複数の実施形態において、１つ又は複数の訓練済みＡＩモデル１２４を評価するためにテストデータサブセットコンポーネント２０２によって用いられる性能メトリックは、１つ又は複数の入力デバイス１０６を介して定義されることが可能であり、及び／又はソースコード理解タスクに基づくことが可能である。また、１つ又は複数の実施形態において、ソースコードサンプル１２６をグループ分けするためにテストデータサブセットコンポーネント２０２によって使用されるテストデータサブセット２０４の数及び／又はタイプは、１つ又は複数の入力デバイス１０６を介して定義されることが可能であり、及び／又はソースコード理解タスクに基づくことが可能である。

【0049】

図３は、本明細書に記載の１つ又は複数の実施形態による、分布コンポーネント３０２をさらに備える例示的な非限定的システム１００の図を示す。本明細書に記載の他の実施形態において利用される同様の要素の繰り返しの説明は、簡潔性のために省略される。１つ又は複数の実施形態において、分布コンポーネント３０２は、抽出されたコード複雑度メトリック１２８のうちの１つ又は複数に関して、テストデータサブセット２０４内に含まれたテストサンプル（例えば、ソースコードサンプル１２６）の分布を判断することができる。

【0050】

例えば、分布コンポーネント３０２は、テストデータサブセット２０４内に含まれたソースコードサンプル１２６のそれぞれに関連付けられた、抽出されたコード複雑度メトリック１２８を特定することができる。例えば、分布コンポーネント３０２は、所与のテストデータサブセット２０４内のどのくらい多くのソースコードサンプル１２６が（例えば、テストデータセット１２２の総母集団の、及び／又はテストデータサブセット２０４の母集団のパーセントとして）、所与のコード複雑度メトリック１２８の値を有するかを判断することができる。別の事例において、分布コンポーネント３０２は、所与のテストデータサブセット２０４のソースコードサンプル１２６を特徴付けるコード複雑度メトリック１２８の値範囲を判断することができる。さらなる事例において、分布コンポーネント３０２は、所与のテストデータサブセット２０４の条件が、所与のコード複雑度メトリック１２８の値を有するソースコードサンプル１２６によって満たされる頻度を判断することができる。

【0051】

１つ又は複数の実施形態において、分布コンポーネント３０２は、ソースコードサンプル１２６の分布を表すために１つ又は複数の表示を生成することができる。例えば、１つ又は複数の表示は、限定されるものではないが、１つ又は複数のグラフ、チャート、表、テキスト、画像、動画、及び／又はこれらの組み合わせなどを含むことができる。さらに、分布コンポーネント３０２は、１つ又は複数の表示を、（例えば、１つ又は複数のネットワーク１０４を介して）１つ又は複数の入力デバイス１０６と共有することができる。

【0052】

図４は、テストデータサブセットコンポーネント２０２によって生成されたテストデータサブセット２０４のそれぞれのソースコードサンプル１２６内のコード複雑度の分布を表すために、分布コンポーネント３０２によって生成されることが可能な、例示的な非限定的グラフ４０２及び／又は４０４の図を示す。本明細書に記載の他の実施形態において利用される同様の要素の繰り返しの説明は、簡潔性のために省略される。図４は、１つ又は複数のコード複雑度メトリック１２８に関するソースコードサンプル１２６の分布を表すための１つ又は複数の棒グラフを示す；しかしながら、モデルイントロスペクションコンポーネント１１０のアーキテクチャはそのように限定されない。例えば、図４に示した棒グラフの形式は例示的であり、分布コンポーネント３０２は、コード複雑度メトリック１２８の分布を様々な表示形式を介して表すことができる。

【0053】

本明細書に記載の様々な実施形態の有効性を実証するために、システム１００は、複数のデータセットに対する脆弱性検出のユースケースに関して利用された；しかしながら、様々な実施形態は、他のソースコード理解タスクに適用可能である。システム１００の有効性を実証するために利用される例示的なテストデータセット１２２は、ｓ－ｂＡｂＩ合成データセット（「ｓ－ｂＡｂＩ」）を含む。ｓ－ｂＡｂＩテストデータセット１２２は、本明細書に記載の様々な実施形態の有効性を実証するために利用されることが可能である；その一方で、モデルイントロスペクションコンポーネント１１０の特徴は、例示的なｓ－ｂＡｂＩテストデータセット１２２に限定されず、むしろ他のソースコードデータセットが解析されることが可能である。ｓ－ｂＡｂＩテストデータセット１２２は、非自明な制御フローを有する構文的に有効なＣプログラムを含有しており、バッファオーバーフローの脆弱性に焦点を当てている。脆弱性検出タスクを目的として、データセットを作成するためにｓ－ｂＡｂＩ生成器を使用することができ、ここで「アンセーフ」タグを有するサンプルは１とラベル付けされることが可能であり、「セーフ」タグを有するサンプルは、０とラベル付けされることが可能である。さらに、１つ又は複数の実施形態において、システム１００の有効性を実証するために、訓練済みグラフニューラルネットワーク（「ｇｒａｐｈ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＧＮＮ」）ＡＩモデル１２４を利用することができる。しかしながら、モデルイントロスペクションコンポーネント１１０の様々な特徴は、訓練済みＧＮＮのＡＩモデル１２４のタイプに限定されない。

【0054】

グラフ４０２及び／又は４０４は、ｓ－ｂＡｂＩテストデータセット１２２に対する訓練済みＧＮＮのＡＩモデル１２４の実行から生成された２つのテストデータサブセット２０４にわたるソースコードサンプル１２６の分布に関する。例えば、訓練済みＡＩモデル１２４からのＴＰ出力をもたらすソースコードサンプル１２６は、第１のテストデータサブセット２０４ａにグループ分けされることが可能である。また、訓練済みＡＩモデル１２４からのＦＮ出力をもたらすソースコードサンプル１２６は、第２のテストデータサブセット２０４ｂにグループ分けされることが可能である。グラフ４０２は、コード複雑度メトリック１２８のうちの１つ又は複数に関する第１のテストデータサブセット２０４ａにおけるソースコードサンプル１２６の分布を示す。グラフ４０４は、同じ１つ又は複数のコード複雑度メトリック１２８に関する第２のテストデータサブセット２０４ｂにおけるソースコードサンプル１２６の分布を示す。例えば、グラフ４０２は、訓練済みＡＩモデル１２４によって達成されたＴＰ発生数のうちの５８．２パーセントが、難しさのコード複雑度メトリック１２８の値１２を有すると判断されたソースコードサンプル１２６に関連付けられていることを示す。別の事例において、グラフ４０４は、訓練済みＡＩモデル１２４によって達成されたＦＮ発生数のうちの５４．７パーセントが、難しさのコード複雑度メトリック１２８の値１６を有すると判断されたソースコードサンプル１２６に関連付けられていることを示す。

【0055】

図５は、本明細書に記載の１つ又は複数の実施形態による、比較コンポーネント５０２をさらに備える例示的な非限定的システム１００の図を示す。本明細書に記載の他の実施形態において利用される同様の要素の繰り返しの説明は、簡潔性のために省略される。様々な実施形態において、比較コンポーネント５０２は、分布コンポーネント３０２によって生成されたテストサンプル（例えば、ソースコードサンプル１２６）の分布を、複数のテストデータサブセット２０４にわたって比較及び／又は対比することができる。

【0056】

１つ又は複数の実施形態において、比較コンポーネント５０２は、１つのテストデータサブセット２０４のソースコードサンプル１２６の分布を、１つ又は複数の他のテストデータサブセット２０４のソースコードサンプル１２６の分布と比較して、分布間の１つ又は複数の類似点及び／又は相違点の特定を容易にすることができる。例えば、比較コンポーネント５０２は、グラフ４０２に表された第１のテストデータサブセット２０４ａのソースコードサンプル１２６の分布を、グラフ４０４によって表された第２のテストデータサブセット２０４ｂのソースコードサンプル１２６の分布と比較することができる。例えば、比較コンポーネント５０２は、ソースコードサンプル１２６の分布に関連付けられたコード複雑度メトリック１２８の値範囲を、テストデータサブセット２０４にわたって比較することができる。別の事例において、比較コンポーネント５０２は、定義済みのコード複雑度メトリック１２８を有するソースコードサンプル１２６の母集団を、テストデータサブセット２０４にわたって比較することができる。さらなる事例において、比較コンポーネント５０２は、ソースコードサンプル１２６の母集団を、テストデータサブセット２０４にわたって比較することができる。１つ又は複数の実施形態において、比較コンポーネント５０２によって実行される比較及び／又は対比は、１つ又は複数の入力デバイス１０６によって定義された１つ又は複数のパラメータ及び／又は目的に応じたものであり得る。

【0057】

様々な実施形態において、モデルイントロスペクションコンポーネント１１０は、１つ又は複数の訓練済みＡＩモデル１２４の学習挙動及び／又は訓練の進化に関する１つ又は複数のインサイトを、比較コンポーネント５０２によって実行される比較及び／又は対比に基づき生成することができる。例えば、図４に示す例示的なソースコードサンプル１２６の分布に関して、比較コンポーネント５０２は、分布によって具現化されたコード複雑度メトリック１２８の値範囲を比較して、第１のテストデータサブセット２０４ａ（例えば、ＴＰ結果）に含まれたソースコードサンプル１２６の大部分が、１４に等しいか又はそれより小さいコード複雑度メトリック１２８の値を有し、第２のテストデータサブセット２０４ｂ（例えば、ＦＮ結果）に含まれたソースコードサンプル１２６の大部分が、１６に等しいか又はそれより大きいコード複雑度メトリック１２８の値を有することを判断することができる。この比較に基づき、モデルイントロスペクションコンポーネント１１０は、訓練済みＡＩモデル１２４の正解率は、ソースコードサンプル１２６のコード複雑度に依存し得るというインサイトを判断することができる；ここで訓練済みＡＩモデル１２４は、１４又はそれより小さいコード複雑度メトリック１２８の値を有するソースコードサンプル１２６に関して正確な予測を行うことができるが、１６又はそれより高いコード複雑度メトリック１２８の値を有するソースコードサンプル１２６に関しては、正確さが著しく下がり得る。

【0058】

そうして、テストデータサブセット２０４のソースコードサンプル１２６の分布と組み合わされた、ソースコードサンプル１２６をテストデータサブセット２０４に分類するために使用される評価メトリックは、モデルイントロスペクションコンポーネント１１０によってなされた１つ又は複数の判断を通知することができる。１つ又は複数の実施形態において、モデルイントロスペクションコンポーネント１１０は、（例えば、分布コンポーネント３０２によって生成された）テストデータサブセット２０４の分布、及び／又は（例えば、比較コンポーネント５０２によって生成された）比較を解析して、例えばデータセットのセグメント化及びイントロスペクション、学習済みモデル論理の解読、信号認識の導出、コード中心モデルの進化、データセットの観点からの設計空間評価、コード中心モデルの比較、及び／又はこれらの組み合わせなどに関する多数のインサイトを判断することができる。

【0059】

例えば、テストデータサブセット２０４が、訓練済みＡＩモデル１２４の出力の正解率に基づき生成される場合、モデルイントロスペクションコンポーネント１１０は、訓練済みＡＩモデル１２４にとってどのソースコードサンプル１２６がより予測しやすい又はより予測しにくいかを、テストデータサブセット２０４の母集団に基づき判断することができる。さらに、モデルイントロスペクションコンポーネント１１０は、ソースコードサンプル１２６をより予測しやすく又は予測しにくくし得る１つ又は複数の特性を、それぞれのテストデータサブセット２０４内のソースコードサンプル１２６の分布に基づき特定することができる。例えば、イントロスペクションコンポーネント１１０は、比較コンポーネント５０２によって実行された比較に基づき、ソースコードサンプル１２６の分布間の１つ又は複数の共通点を特定することができる。

【0060】

別の例において、モデルイントロスペクションコンポーネント１１０は、訓練済みＡＩモデル１２４によって学習された信号が、所与の機械学習タスクに関連しているかどうか、又は訓練済みＡＩモデル１２４によって学習された信号が、ノイズ及び／又はデータセットバイアスを含むかどうかを判断することができる。例えば、モデルイントロスペクションコンポーネント１１０は、正確な結果に関連付けられたテストデータサブセット２０４においてソースコードサンプル１２６の母集団が小さいこと、及び／又は不正確な結果に関連付けられたテストデータサブセット２０４が、より大きいコード複雑度を有するソースコードサンプル１２６を含むことに基づき、訓練済みＡＩモデル１２４が、所与のタスクに関連しない信号について学習したと判断することができる。さらなる例において、モデルイントロスペクションコンポーネント１１０は、訓練済みＡＩモデル１２４による誤予測に共通のコード特性を特定することができる。

【0061】

さらなる例において、訓練済みＡＩモデル１２４は、異なるハイパーパラメータ設定を用いた、訓練済みＡＩモデル１２４の実行の複数回の反復にわたって、解析されることが可能である。それにより、モデルイントロスペクションコンポーネント１１０は、テストデータサブセット２０４及び実行反復にわたって、ソースコードサンプル１２６の分布を解析して、ハイパーパラメータ設定に関連したモデル理解を追跡することができる。さらなる例において、訓練済みＡＩモデル１２４は、ソースコードサンプル１２６の組成に対してそれぞれの操作及び／又は拡張をそれぞれが含む複数のテストデータセット１２２にわたって、モデルイントロスペクションコンポーネント１１０によって解析されることが可能である。さらに、訓練済みＡＩモデル１２４は、複数のテストデータセット１２２にわたって、モデルイントロスペクションコンポーネント１１０によって解析されることが可能であり、ソースコードサンプル１２６が訓練済みＡＩモデル１２４に導入される順序は異なる。さらなる例において、モデルイントロスペクションコンポーネント１１０は、同じテストデータセット１２２に関して複数の訓練済みＡＩモデル１２４を解析することができ、それぞれの訓練済みＡＩモデル１２４は、異なる態様で訓練されることが可能である。それにより、モデルイントロスペクションコンポーネント１１０は、テストデータサブセット２０４、テストデータセット１２２、様々なモデル設定、及び／又は様々なモデル訓練スキームにわたってソースコードサンプル１２６の分布を解析して、例えばデータ拡張、カリキュラム学習、能動的学習、敵対的訓練、及び／又はこれらの組み合わせなどのモデル改善技術を追跡することができ、及び／又はモデルにわたるタスク適性を見極めることができる。

【0062】

図６は、本明細書に記載の１つ又は複数の実施形態による、モデルイントロスペクションコンポーネント１１０によって実装されることが可能な、例示的な非限定的イントロスペクションスキーム６００の図を示す。本明細書に記載の他の実施形態において利用される同様の要素の繰り返しの説明は、簡潔性のために省略される。図６は、例示的なイントロスペクションスキーム６００を示す；しかしながら、システム１００のアーキテクチャは、図６に示した事象の順序又は特徴の個数に限定されない。例えば、イントロスペクションスキーム６００の１つ又は複数の特徴は、代替的な順序で実施されることが可能である（例えば、コード複雑度メトリック１２８は、テストデータサブセット２０４を生成する前に、又は後に、ソースコードサンプル１２６から抽出されることが可能である）。別の例において、２つのテストデータサブセット２０４が図６に明確に示してあるが、（例えば、図６の「・・・」によって示すように）追加のテストデータサブセット２０４を生成することが可能である。

【0063】

図６に示すように、１つ又は複数の訓練済みＡＩモデル１２４は、１つ又は複数のテストデータセット１２２を用いて、１つ又は複数の機械学習タスク（例えば、ソースコード理解タスク）を実行することができる。様々な実施形態によれば、訓練済みＡＩモデル１２４の実行は、モデルイントロスペクションコンポーネント１１０によって行われることが可能であり、及び／又は独立して行われることが可能であり、ここで実行の結果は、１つ又は複数の入力デバイス１０６を介してモデルイントロスペクションコンポーネント１１０に供給されることが可能である。１つ又は複数の訓練済みＡＩモデル１２４の出力に基づき、テストデータサブセットコンポーネント２０２は、それぞれのテストデータサブセット２０４に関連付けられる１つ又は複数の条件に基づき、テストデータセット１２２のソースコードサンプル１２６を複数のテストデータサブセット２０４にグループ分けすることができる。例えば、第１のテストデータサブセット２０４ａに関連付けられる条件は、１つ又は複数の訓練済みＡＩモデル１２４からのＴＰ結果に関連付けられたソースコードサンプル１２６を、第１のテストデータサブセット２０４が含むこととすることができる。別の例において、第２のテストデータサブセット２０４ｂに関連付けられる条件は、１つ又は複数の訓練済みＡＩモデル１２４からのＦＮ結果に関連付けられたソースコードサンプル１２６を、第２のテストデータサブセット２０４が含むこととすることができる。１つ又は複数の実施形態において、複数のテストデータサブセット２０４に関連付けられる条件は、１つ又は複数の訓練済みＡＩモデル１２４によって実行された所与のタスクに基づき事前定義される、及び／又はテストデータサブセットコンポーネント２０２によって定義されることが可能である。１つ又は複数の実施形態において、複数のテストデータサブセット２０４に関連付けられる１つ又は複数の条件は、１つ又は複数の入力デバイス１０６を介して定義されることが可能である。

【0064】

さらに、抽出コンポーネント１１４は、複数のテストデータサブセット２０４に含まれたソースコードサンプル１２６のそれぞれから、１つ又は複数のコード複雑度メトリック１２８を抽出することができる。それにより、分布コンポーネント３０２は、抽出されたコード複雑度メトリック１２８のうちの１つ又は複数に関して、テストデータサブセット２０４内のソースコードサンプル１２６の１つ又は複数の分布を判断することができる。本明細書に記載の様々な実施形態によれば、分布コンポーネント３０２は、（例えば図４に例示した）グラフなどの１つ又は複数の表示を生成して、ソースコードサンプル１２６の分布を表すことができる。さらに、比較コンポーネント５０２は、複数のテストデータサブセット２０４にわたるソースコードサンプル１２６の分布を比較及び／又は対比することができる。本明細書に記載の様々な実施形態によれば、モデルイントロスペクションコンポーネント１１０は、比較コンポーネント５０２によって生成された１つ又は複数の比較に基づき、１つ又は複数の訓練済みＡＩモデル１２４の学習挙動に関する１つ又は複数のインサイトを判断することができる。

【0065】

図７は、本明細書に記載の１つ又は複数の実施形態による例示的なイントロスペクションスキーム６００の複数回の反復を利用することにより、モデルイントロスペクションコンポーネント１１０によって判断されることが可能な、１つ又は複数のインサイトを示すことができる例示的な非限定的グラフチェーン７０２、７０４の図を示す。本明細書に記載の他の実施形態において利用される同様の要素の繰り返しの説明は、簡潔性のために省略される。１つ又は複数の実施形態において、モデルイントロスペクションコンポーネント１１０は、異なるパラメータ設定、訓練済みＡＩモデル１２４、及び／又はテストデータセット１２２にわたって、イントロスペクションスキーム６００の複数回の反復を実行することができる。例えば、図７は、異なる量の拡張を有する訓練データセットでそれぞれ訓練された複数の訓練済みＡＩモデル１２４にわたって、例示的なイントロスペクションスキーム６００の複数回の反復を実行したときに、モデルイントロスペクションコンポーネント１１０によって生成されることが可能な１つ又は複数の比較及び／又はインサイトを示す。

【0066】

例えば、モデルイントロスペクションコンポーネント１１０は、（例えば、予測正解率に基づき定義された）テストデータサブセット２０４のソースコードサンプル１２６の分布を、同じアーキテクチャ及び／又は設定を有するが、ベースデータセットと比較して異なる量の拡張を有するデータセットで訓練された複数の訓練済みＡＩモデル１２４にわたるコード複雑度に関して比較することにより、訓練済みＡＩモデル１２４の学習挙動を推論することができる。図７に示してあるように、第１のイントロスペクション反復７０６ａにおいて、モデルイントロスペクションコンポーネント１１０は、ベースデータセット（例えば、０％の拡張を含む）で訓練された訓練済みＡＩモデル１２４を解析することができる。その後、モデルイントロスペクションコンポーネント１１０は、イントロスペクションスキーム６００の複数回の反復を実行することができる。例えば、モデルイントロスペクションコンポーネント１１０は、１％の拡張、２％の拡張、２０％の拡張をそれぞれ含むデータセットで訓練された訓練済みＡＩモデル１２４に関して、第２のイントロスペクション反復７０６ｂ、第３のイントロスペクション反復７０６ｃ、及び／又は第４のイントロスペクション反復７０６ｄを実行することができる。図７は、イントロスペクションスキーム６００の４回の反復を示しているが、システム１００のアーキテクチャはそのように限定されない。例えば、モデルイントロスペクションコンポーネント１１０は、４回の反復より多く又はより少なく実行されることが可能である。

【0067】

イントロスペクションスキーム６００のそれぞれのイントロスペクション反復７０６（例えば、第１のイントロスペクション反復７０６ａ、第２のイントロスペクション反復７０６ｂ、第３のイントロスペクション反復７０６ｃ、及び／又は第４のイントロスペクション反復７０６ｄ）について、モデルイントロスペクションコンポーネント１１０は、ソースコードサンプル１２６を含む第１のテストデータサブセット２０４ａに関して、（例えば、グラフチェーン７０２に表された）再現率（信号認識）のＴＰ結果に基づき、訓練済みＡＩモデル１２４を解析することができる。さらに、イントロスペクションスキーム６００のそれぞれのイントロスペクション反復７０６（例えば、第１のイントロスペクション反復７０６ａ、第２のイントロスペクション反復７０６ｂ、第３のイントロスペクション反復７０６ｃ、及び／又は第４のイントロスペクション反復７０６ｄ）について、モデルイントロスペクションコンポーネント１１０は、ソースコードサンプル１２６を含む第２のテストデータサブセット２０４ｂに関して、（例えば、グラフチェーン７０４に表された）再現率（信号認識）のＦＮ結果に基づき、訓練済みＡＩモデル１２４を解析することができる。

【0068】

信号認識再現率メトリックは、モデル性能の改善を実証するために使用されることが可能である。信号認識再現率メトリックは、コード用ＡＩモデルの信号認識を測定するために使用されることが可能である。例えば、脆弱性検出タスクの文脈において、再現率測定は、モデルが正しく予測する脆弱なサンプルの割合を測定できるが、信号認識再現率メトリックは、予測に到達するために、モデルが、これらの事例のうちのどのくらい多くについて正しい信号を捕捉するかを測定することができる。例えば、脆弱性検出の文脈において、信号認識再現率メトリックは、訓練済みＡＩモデル１２４が（例えば、タスク関連の信号を使用して）正しく予測する脆弱なサンプルの割合を測定できる。

【0069】

さらに、モデルイントロスペクションコンポーネント１１０は、テストデータサブセット２０４内のソースコードサンプル１２６の分布を、ＳＬＯＣコード複雑度メトリック１２８に関して解析することができる。しかしながら、モデルイントロスペクションコンポーネント１１０のアーキテクチャは、図７に示す例示的テストデータサブセット２０４及び／又はコード複雑度メトリック１２８に限定されない。例えば、モデルイントロスペクションコンポーネント１１０は、他の（例えば、正解率以外の評価メトリックに基づく）テストデータサブセット２０４、及び／又は他のコード複雑度メトリック１２８に関して、例示的なイントロスペクションスキーム６００を実行することができる。

【0070】

複数回のイントロスペクション反復に基づき、モデルイントロスペクションコンポーネント１１０は、ベースデータセットで訓練された訓練済みＡＩモデル１２４が、大きいソースコードサンプル１２６（例えば、大きいＳＬＯＣ値を有するソースコードサンプル１２６）を理解する際に最も大きい問題に直面し得ると判断することができる。しかしながら、モデルイントロスペクションコンポーネント１１０は、訓練済みＡＩモデル１２４のアーキテクチャ及び／又は設定の学習挙動の改善に、所与の拡張スキームが効果的であり得ると判断することができる。例えば、点線７０８及び７１０の比較に示してあるように、訓練済みＡＩモデル１２４のアーキテクチャ及び／又は設定を訓練するために使用される拡張の量が増大するにつれ、訓練済みＡＩモデル１２４によって正しく予測された（例えば、ＳＬＯＣコード複雑度メトリック１２８によって定義されたように）大きいソースコードサンプル１２６の数が増大し、訓練済みＡＩモデル１２４によって誤予測された（例えば、ＳＬＯＣコード複雑度メトリック１２８によって定義されたように）大きいソースコードサンプル１２６の数が、減少している。複数回のイントロスペクション反復７０６にわたって点線７０８及び／又は７１０によって表された傾向を特定することにより、モデルイントロスペクションコンポーネント１１０は、訓練済みＡＩモデル１２４のアーキテクチャ及び／又は設定の複数の複製の間でテストされた拡張スキームが、大きい（例えば、ＳＬＯＣによって定義された）ソースコードサンプル１２６のモデル理解の改善をもたらし得るというインサイトを判断することができる。

【0071】

図８は、本明細書に記載の１つ又は複数の実施形態による、１つ又は複数の訓練済みＡＩモデル１２４のイントロスペクションを容易にすることが可能な、例示的な非限定的コンピュータ実装方法８００の図を示す。本明細書に記載の他の実施形態において利用される同様の要素の繰り返しの説明は、簡潔性のために省略される。

【0072】

８０２において、コンピュータ実装方法８００は、１つ又は複数のテストデータセット１２２に含まれた複数のコードサンプル（例えば、ソースコードサンプル１２６）について、１つ又は複数のコード複雑度メトリック１２８を、プロセッサ１２０に動作可能に結合されたシステム１００により（例えば、抽出コンポーネント１１４を介して）抽出する段階を備えることができる。本明細書に記載の様々な実施形態によれば、コード複雑度メトリック１２８は、複数のコードサンプル（例えば、ソースコードサンプル１２６）のコード複雑度を特徴付けることができ、及び／又はシステム１００によるその後の解析のために、１つ又は複数のメモリ１１６に格納されることが可能である。

【0073】

８０４において、コンピュータ実装方法８００は、複数のコードサンプル（例えば、ソースコードサンプル１２６）を、訓練済みＡＩモデル１２４の出力を評価する１つ又は複数の性能メトリック（例えば、正解率メトリック）に基づきグループ分けすることにより、複数のテストデータサブセット２０４をシステム１００により（例えば、テストデータサブセットコンポーネント２０２を介して）生成する段階を備えることができる。例えば、訓練済みＡＩモデル１２４は、１つ又は複数のテストデータセット１２２を使用して、１つ又は複数のソースコード理解タスクを完了させることができ、ここで８０４におけるグループ分けは、そのタスクの実行における訓練済みＡＩモデル１２４の性能に基づくことが可能である。１つ又は複数の実施形態において、タスクの実行は、システム１００によって実行されることが可能であり、及び／又は訓練済みＡＩモデル１２４は独立して動作することができ、結果的に得られた出力及び／又は性能メトリックが、（例えば、１つ又は複数のネットワーク１０４及び／又は入力デバイス１０６を介して）システム１００と共有されることが可能である。８０６において、コンピュータ実装方法８００は、８０２において抽出されたコード複雑度メトリック１２８に基づき、複数のテストデータサブセット２０４内の複数のコードサンプル（例えば、ソースコードサンプル１２６）の分布を、システム１００により（例えば、分布コンポーネント３０２を介して）判断する段階を備えることができる。例えば、図４及び／又は図６～図７は、８０６において生成されることが可能な、例示的なソースコードサンプル１２６の分布を示す。

【0074】

８０８において、コンピュータ実装方法８００は、８０６において生成されたコードサンプル（例えばソースコードサンプル１２６）の複数の分布を、システム１００により（例えば、比較コンポーネント５０２を介して）比較する段階を備えることができる。例えば、８０８における比較は、異なるテストデータサブセット２０４、コンピュータ実装方法８００の異なる反復（例えば、異なるイントロスペクション反復７０６）、異なる訓練済みＡＩモデル１２４、及び／又は異なるテストデータセット１２２に関連付けられた分布間のものであり得る。８１０において、コンピュータ実装方法８００は、８１０における比較に基づき、１つ又は複数の訓練済みＡＩモデル１２４の学習挙動の１つ又は複数のインサイトを、システム１００により（例えば、モデルイントロスペクションコンポーネント１１０を介して）推論する段階を備えることができる。

【0075】

図９は、本明細書に記載の１つ又は複数の実施形態による、１つ又は複数の訓練済みＡＩモデル１２４のイントロスペクションを、データセットの観点から容易にすることが可能な、例示的な非限定的コンピュータ実装方法９００のフロー図を示す。本明細書に記載の他の実施形態において利用される同様の要素の繰り返しの説明は、簡潔性のために省略される。

【0076】

９０２において、コンピュータ実装方法９００は、１つ又は複数のテストデータセット１２２に含まれた複数のコードサンプル（例えば、ソースコードサンプル１２６）について、１つ又は複数のコード複雑度メトリック１２８を、プロセッサ１２０に動作可能に結合されたシステム１００により（例えば、抽出コンポーネント１１４を介して）抽出する段階を備えることができる。本明細書に記載の様々な実施形態によれば、コード複雑度メトリック１２８は、複数のコードサンプル（例えば、ソースコードサンプル１２６）のコード複雑度を特徴付けることができ、及び／又はシステム１００によるその後の解析のために、１つ又は複数のメモリ１１６に格納されることが可能である。

【0077】

９０４において、コンピュータ実装方法９００は、１つ又は複数のテストデータセット１２２に対する訓練済みＡＩモデル１２４による１つ又は複数のコード理解タスクの実行に関する出力データを、システムにより（例えば、モデルイントロスペクションコンポーネント１１０及び／又は通信コンポーネント１１２を介して）収集する段階を備えることができる。１つ又は複数の実施形態において、タスクの実行は、システム１００によって実行されることが可能であり、及び／又は訓練済みＡＩモデル１２４は独立して動作することができ、結果的に得られた出力及び／又は性能メトリックが、（例えば、１つ又は複数のネットワーク１０４及び／又は入力デバイス１０６を介して）システム１００と共有されることが可能である。９０６において、コンピュータ実装方法９００は、複数のコードサンプル（例えば、ソースコードサンプル１２６）を、９０４において収集された出力データに基づきグループ分けすることにより、複数のテストデータサブセット２０４をシステム１００により（例えば、テストデータサブセットコンポーネント２０２を介して）生成する段階を備えることができる。例えば、９０６におけるグループ分けは、タスクを実行する際の訓練済みＡＩモデル１２４の性能に基づくことが可能である。

【0078】

９０８において、コンピュータ実装方法９００は、９０２において抽出されたコード複雑度メトリック１２８に基づき、複数のテストデータサブセット２０４内の複数のコードサンプル（例えば、ソースコードサンプル１２６）の分布を、システム１００により（例えば、分布コンポーネント３０２を介して）判断する段階を備えることができる。例えば、図４及び／又は図６～図７は、９０６において生成されることが可能な、例示的なソースコードサンプル１２６の分布を示す。９１０において、コンピュータ実装方法９００は、第１のテストデータサブセット２０４ａに関連付けられたコードサンプル（例えば、ソースコードサンプル１２６）の第１の分布と、第２のテストデータサブセット２０４ｂに関連付けられたコードサンプル（例えば、ソースコードサンプル１２６）の第２の分布とを、システム１００により（例えば、比較コンポーネント５０２を介して）比較する段階を備えることができる。

【0079】

９１２において、コンピュータ実装方法９００は、イントロスペクションのために追加の訓練済みＡＩモデル１２４が利用可能かどうかを、システム１００により（例えば、モデルイントロスペクションコンポーネント１１０を介して）判断する段階を備えることができる。追加の訓練済みＡＩモデル１２４が利用可能な場合、コンピュータ実装方法９００は、９１４に進むことができる。追加の訓練済みＡＩモデル１２４が利用可能でない場合、コンピュータ実装方法９００は、９１６に進むことができる。９１４において、コンピュータ実装方法９００は、１つ又は複数のテストデータセット１２２に対する別の訓練済みＡＩモデル１２４によるコード理解タスクの実行に関する出力データを、システム１００により（例えば、モデルイントロスペクションコンポーネント１１０及び／又は通信コンポーネント１１２を介して）収集する段階を備えることができる。その後、コンピュータ実装方法９００は、９０６に進むことができる。それにより、コンピュータ実装方法９００は、１つ又は複数の構造的バリエーション、訓練バリエーション、及び／又は設定バリエーションをそれぞれ含み得る（例えば、図７に例示した）複数の訓練済みＡＩモデル１２４に関して、複数回のイントロスペクション反復７０６を実行することができる。９１６において、コンピュータ実装方法９００は、少なくとも９１０においてなされた比較に基づき、モデル学習に関する１つ又は複数のインサイトを、システム１００により（例えば、モデルイントロスペクションコンポーネント１１０を介して）生成する段階を備えることができる。例えば、９１６における生成は、テストデータサブセット２０４間のコードサンプル（例えば、ソースコードサンプル１２６）の分布、及び／又はイントロスペクション反復７０６間のコードサンプル（例えば、ソースコードサンプル１２６）の傾向の１つ又は複数の特性を特定する段階を備えることができる。

【0080】

本開示は、クラウドコンピューティングに関する詳細な説明を含むが、本明細書に記載される教示内容の実装形態は、クラウドコンピューティング環境に限定されないことを理解されたい。むしろ、本発明の実施形態は、現在既知又は今後開発される任意の他のタイプのコンピューティング環境と併せて実装されることが可能である。

【0081】

クラウドコンピューティングは、管理の労力又はサービスのプロバイダとの対話を最小限に抑えながら迅速にプロビジョニングおよびリリースされ得る構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想機械、およびサービス）の共有プールに対する便利なオンデマンドのネットワークアクセスを可能にするためのサービス提供のモデルである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル及び少なくとも４つの展開モデルを含み得る。

【0082】

特性は以下の通りである。

【0083】

オンデマンドセルフサービス：クラウドコンシューマは、サービスプロバイダとの人的対話を要することなく、必要に応じて自動的に、サーバ時間およびネットワークストレージなどのコンピューティング能力を一方的にプロビジョニングすることができる。

【0084】

幅広いネットワークアクセス：能力は、ネットワークを介して利用可能であり、また、異種混交のシンクライアントプラットフォーム又はシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、およびＰＤＡ（登録商標））による使用を促進する標準的なメカニズムを通じてアクセスされる。

【0085】

リソースプーリング：プロバイダのコンピューティングリソースは、マルチテナントモデルを使用して複数のコンシューマにサービス提供するようにプールされており、様々な物理リソースおよび仮想リソースが需要に沿って動的に割り当ておよび再割り当てされる。コンシューマは、概して、提供されるリソースの正確な位置に対する制御又は知識を有しないが、より高い抽象化レベル（例えば、国、州、又はデータセンタ）では位置を指定することが可能であり得るという点において、ある種の位置独立性がある。

【0086】

迅速な弾力性：能力は迅速に且つ伸縮自在に、場合によっては自動的にプロビジョニングされ、素早くスケールアウトすることも、迅速にリリースして素早くスケールインすることもできる。コンシューマにとって、多くの場合、プロビジョニングに利用可能な能力は無制限に見え、任意の時点において任意の量で購入することができる。

【0087】

計測サービス：クラウドシステムは、ある抽象化レベルでサービスのタイプ（例えば、ストレージ、処理、帯域幅、およびアクティブなユーザアカウント）に適した計測能力を活用することにより、リソースの使用を自動的に制御および最適化する。リソース使用率は、モニタリング、制御、及び、報告され、こうすることで、用いられるサービスのプロバイダ及びコンシューマの両方に透明性を提供することができる。

【0088】

サービスモデルは以下の通りである。

【0089】

サービスとしてのソフトウェア（ＳａａＳ）：コンシューマに提供される能力は、クラウドインフラストラクチャ上で実行しているプロバイダのアプリケーションを使用することである。アプリケーションには、ウェブブラウザ（例えば、ウェブベースの電子メール）などのシンクライアントインタフェースを介して、様々なクライアントデバイスからアクセス可能である。コンシューマは、ネットワーク、サーバ、オペレーティングシステム、ストレージ、又は、個々のアプリケーション能力さえも含む基礎となるクラウドインフラストラクチャを管理又は制御しないが、限定的なユーザ固有のアプリケーション構成設定は例外となる場合がある。

【0090】

サービスとしてのプラットフォーム（ＰａａＳ）：コンシューマに提供される能力は、プロバイダによってサポートされるプログラミング言語およびツールを使用して作成された、コンシューマが作成又は取得したアプリケーションをクラウドインフラストラクチャ上に展開することである。コンシューマは、ネットワーク、サーバ、オペレーティングシステム、又はストレージを含む基礎となるクラウドインフラストラクチャを管理又は制御しないが、展開されたアプリケーション及び、場合によっては、アプリケーションホスティング環境の構成を制御する。

【0091】

サービスとしてのインフラストラクチャ（ＩａａＳ）：コンシューマに提供される能力は、処理、ストレージ、ネットワーク、および他の基本的なコンピューティングリソースをプロビジョニングすることであり、コンシューマは、オペレーティングシステムおよびアプリケーションを含み得る任意のソフトウェアを展開し、実行させることが可能である。コンシューマは、基礎となるクラウドインフラストラクチャを管理又は制御しないが、オペレーティングシステム、ストレージ、展開されたアプリケーションを制御し、場合によっては、選択されたネットワーキングコンポーネント（例えば、ホストファイアウォール）を限定的に制御する。

【0092】

展開モデルは以下の通りである。

【0093】

プライベートクラウド：クラウドインフラストラクチャは、組織のためだけに運用される。それは組織又はサードパーティによって管理されてよく、オンプレミス又はオフプレミスに存在してよい。

【0094】

コミュニティクラウド：クラウドインフラストラクチャは、複数の組織により共有されており、共有の関心事（例えば、ミッション、セキュリティ要件、ポリシ、および法令順守に関わる考慮事項）を有する特定のコミュニティをサポートする。コミュニティクラウドは、それらの組織又はサードパーティによって管理されてよく、オンプレミス又はオフプレミスで存在してよい。

【0095】

パブリッククラウド：クラウドインフラストラクチャは、一般大衆又は大規模な業界団体にとって利用可能になり、クラウドサービスを販売する組織により所有される。

【0096】

ハイブリッドクラウド：このクラウドインフラストラクチャは、２又はそれより多くのクラウド（プライベート、コミュニティ、又はパブリック）の複合体であり、これは、一意的なエンティティのままであるが、データおよびアプリケーションのポータビリティ（例えば、クラウド間の負荷分布のためのクラウドバースト）を可能にする標準化された技術又は独自技術によって共に結合される。

【0097】

クラウドコンピューティング環境は、ステートレス性、低結合性、モジュール性、および意味的相互運用性に焦点を当てたサービス指向型である。クラウドコンピューティングの中核には、相互接続されたノードからなるネットワークを含むインフラストラクチャが存在する。

【0098】

ここで図１０を参照すると、例示的なクラウドコンピューティング環境１０００が示されている。図示してあるように、クラウドコンピューティング環境１０００は、１つ又は複数のクラウドコンピューティングノード１００２を備え、例えば、パーソナルデジタルアシスタント（ＰＤＡ）又は携帯電話１００４、デスクトップコンピュータ１００６、ラップトップコンピュータ１００８、及び／又は自動車コンピュータシステム１０１０などの、クラウドコンシューマに使用されるローカルコンピューティングデバイスが、クラウドコンピューティングノード１００２を用いて通信してもよい。ノード１００２は、互いに通信し得る。それらは、本明細書の上記で説明されたようなプライベートクラウド、コミュニティクラウド、パブリッククラウド、又はハイブリッドクラウド、又はこれらの組み合わせなど、１つ又は複数のネットワーク内で物理的に又は仮想的にグループ化され得る（図示しない）。これにより、クラウドコンピューティング環境１０００は、インフラストラクチャ、プラットフォーム、若しくはソフトウェア、及び／又はを、クラウドコンシューマがそのためにローカルコンピューティングデバイス上にリソースを維持する必要がないサービスとして提供することが可能になる。図１０において示されているコンピューティングデバイス１００４～１０１０のタイプは、単に例示を意図し、コンピューティングノード１００２及びクラウドコンピューティング環境１０００は、任意のタイプのネットワーク及び／又はネットワークアドレス指定可能接続を介して（例えば、ウェブブラウザを使用して）、任意のタイプのコンピュータ化デバイスと通信することができることが理解される。

【0099】

ここで図１１を参照すると、クラウドコンピューティング環境１０００（図１０）によって提供される機能抽象化層のセットが示されている。本明細書に記載の他の実施形態において利用される同様の要素の繰り返しの説明は、簡潔性のために省略される。図１１に示されているコンポーネント、層、及び機能が例示のみを意図したものであり、本発明の実施形態がそれらに限定されないことを事前に理解されるべきである。図示のように、以下の層及び対応する機能が提供される。

【0100】

ハードウェア及びソフトウェア層１１０２は、ハードウェアコンポーネント及びソフトウェアコンポーネントを備える。ハードウェアコンポーネントの例は、メインフレーム１１０４；ＲＩＳＣ（縮小命令セットコンピュータ）アーキテクチャベースのサーバ１１０６；サーバ１１０８；ブレードサーバ１１１０；ストレージデバイス１１１２；及び、ネットワーク及びネットワーキングコンポーネント１１１４を含む。いくつかの実施形態において、ソフトウェアコンポーネントは、ネットワークアプリケーションサーバソフトウェア１１１６及びデータベースソフトウェア１１１８を備える。

【0101】

仮想化層１１２０は、仮想エンティティの次の例、すなわち、仮想サーバ１１２２、仮想ストレージ１１２４、仮想プライベートネットワークを含む仮想ネットワーク１１２６、仮想アプリケーション及びオペレーティングシステム１１２８並びに仮想クライアント１１３０が提供され得る抽象化層を提供する。

【0102】

１つの例において、管理層１１３２は、以下で説明される機能を提供してよい。リソースプロビジョニング１１３４は、クラウドコンピューティング環境内でタスクを実行するために用いられるコンピューティングリソース及び他のリソースの動的な調達を提供する。計測およびプライス設定１１３６は、クラウドコンピューティング環境内でリソースが用いられる際のコスト追跡、およびこれらのリソースの消費に対する請求又はインボイス作成を提供する。１つの例において、これらのリソースは、アプリケーションソフトウェアライセンスを含んでよい。セキュリティは、クラウドコンシューマ及びタスクについての識別情報検証、並びに、データ及び他のリソースの保護を提供する。ユーザポータル１１３８は、コンシューマおよびシステム管理者のために、クラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理１１４０は、要求されるサービスレベルが満たされるように、クラウドコンピューティングリソース割り当て及び管理を提供する。サービスレベル合意（ＳＬＡ）計画及び履行１１４２は、ＳＬＡに従って将来の要件が予測されるクラウドコンピューティングリソースの事前手配及び調達を提供する。

【0103】

ワークロード層１１４４は、クラウドコンピューティング環境が用いられ得る機能の例を提供する。この層から提供され得るワークロード及び機能の例は、マッピング及びナビゲーション１１４６、ソフトウェア開発及びライフサイクル管理１１４８、仮想教室教育配信１１５０、データ解析処理１１５２、取引処理１１５４、及びＡＩモデルイントロスペクション１１５６を含む。本発明の様々な実施形態は、図１０及び図１１を参照して説明したクラウドコンピューティング環境を用いて、本明細書に記載の１つ又は複数の実施形態による１つ又は複数の訓練済みＡＩモデル１２４をイントロスペクトし、及び／又は１つ又は複数の訓練済みＡＩモデル１２４の学習挙動に関するインサイトを推論することができる。

【0104】

本発明は、任意の可能な技術的詳細レベルで統合化されたシステム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（又は複数のコンピュータ可読記憶媒体）を含み得る。コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持及び格納し得る有形デバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、又はこれらの任意の好適な組み合わせであってよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストは下記を含む：ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ：ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）、メモリスティック、フロッピディスク、命令が記録されているパンチカード又は溝の中の隆起構などの機械的にエンコードされるデバイス、及びこれらの任意の好適な組み合わせ。コンピュータ可読記憶媒体は、本明細書において使用される場合、電波又は他の自由に伝搬する電磁波、導波路又は他の伝送媒体を通じて伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、又は電線を通じて伝送される電気信号といった、一時的な信号それ自体と解釈されるべきではない。

【0105】

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から、それぞれのコンピューティング／処理デバイスに、又は、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークを介して、外部コンピュータ又は外部ストレージデバイスに、ダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを有し得る。各コンピューティング／処理デバイス内のネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、当該コンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に格納するために転送する。

【0106】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、又は、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋又はそれらに類するオブジェクト指向プログラミング言語など、及び、「Ｃ」プログラミング言語などの手続き型プログラミング言語又は同様のプログラミング言語を含む、１つ又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかであり得る。コンピュータ可読プログラム命令は、スタンドアロンのソフトウェアパッケージとして、ユーザのコンピュータ上で全体を実行すること、ユーザのコンピュータ上で一部分を実行することができ、ユーザのコンピュータ上で一部分を、リモートコンピュータ上で一部分を実行すること、又は、リモートコンピュータ又はサーバ上で全体を実行することができる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてよく、又はその接続が、（例えば、インターネットサービスプロバイダを使用したインターネットを介して）外部コンピュータに対して行われてよい。いくつかの実施形態において、本発明の態様を実施するために、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は、プログラマブルロジックアレイ（ＰＬＡ）を含む電子回路が、コンピュータ可読プログラム命令の状態情報を用いて電子回路をパーソナライズすることで、コンピュータ可読プログラム命令を実行することができる。

【0107】

本発明の態様は、本明細書において、本発明の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して説明されている。フローチャート図もしくはブロック図又はその組み合わせの各ブロックと、フローチャート図もしくはブロック図又はその組み合わせのブロックの組み合わせとは、コンピュータ可読プログラム命令により実装され得ることが解るであろう。

【0108】

これらのコンピュータ可読プログラム命令は、機械を作り出すために汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供され得、その結果コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令は、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作を実装するための手段を作成する。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラマブルデータ処理装置及び／又は他のデバイスに特定の方式で機能するように指示できるコンピュータ可読記憶媒体内に格納され得、その結果、その中に格納された命令を有するコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図の１つ又は複数のブロックで指定された機能／動作の態様を実装する命令を含む製品を備える。

【0109】

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上へロードされて、一連の動作段階をコンピュータ、他のプログラマブル装置、又は他のデバイス上で実行させ、コンピュータ実装プロセスを作り出してもよく、その結果、コンピュータ、他のプログラマブル装置、又は他のデバイス上で実行される命令は、フローチャート及び／又はブロック図の１つ又は複数のブロックで指定された機能／動作を実装する。

【0110】

図におけるフローチャート及びブロック図は、本発明の様々な実施形態による、システム、方法、及びコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、及び動作を図示する。これに関して、フローチャート又はブロック図における各ブロックは、指定された論理機能を実装するための１つ又は複数の実行可能命令を含む命令のモジュール、セグメント、又は一部を表し得る。いくつかの代替的な実装形態において、ブロックに記されている機能は、図面に記されている順序と異なる順序で行われ得る。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行され得るか、又は、関連する機能に応じてブロックが逆の順序で実行されることもあり得る。ブロック図もしくはフローチャート図の各ブロック又はその両方、およびブロック図もしくはフローチャート図におけるブロック又はその両方の組み合わせが、指定された機能もしくは動作を実行する、又は、専用ハードウェアおよびコンピュータ命令の組み合わせを実行する専用ハードウェアベースのシステムによって実装され得ることにも留意されたい。

【0111】

本明細書に記載の様々な実施形態のための追加の文脈を提供すべく、図１２および以下の説明は、本明細書に記載の実施形態の様々な実施形態が実装され得る好適なコンピューティング環境１２００の一般的な説明を提供することを意図している。１つ又は複数のコンピュータ上で実行され得るコンピュータ実行可能命令の一般的な文脈において実施形態が上で説明されてきたが、当業者は、実施形態がまた、他のプログラムモジュールとの組み合わせで、若しくはハードウェア及びソフトウェアの組み合わせとして、又はその両方で実装され得ることを認識するであろう。

【0112】

概して、プログラムモジュールは、特定のタスクを実行する、又は、特定の抽象データタイプを実装するルーチン、プログラム、コンポーネント、若しくはデータ構造、及び／又はなどを含む。また、当業者は、発明の方法は、これらの各々が１つ又は複数の関連付けたデバイスに動作可能に結合され得るシングルプロセッサもしくはマルチプロセッサコンピュータシステム、ミニコンピュータ、メインフレームコンピュータ、モノのインターネット（「ＩｏＴ」）デバイス、分散型コンピューティングシステム、ならびに、パーソナルコンピュータ、ハンドヘルドコンピューティングデバイス、又はマイクロプロセッサベース電子機器もしくはプログラマブルコンシューマ向け電子機器などを含む他のコンピュータシステム構成を用いて実施され得ることを理解するだろう。

【0113】

本明細書における実施形態の示された実施形態は、特定のタスクが通信ネットワークを通してリンクされたリモート処理デバイスによって実行される分散型コンピューティング環境においても実施され得る。分散型コンピューティング環境では、プログラムモジュールは、ローカルおよびリモート両方のメモリストレージデバイスに位置し得る。例えば、１つ又は複数の実施形態において、コンピュータ実行可能コンポーネントは、１つ又は複数の分散型メモリユニットを含み、もしくは１つ又は複数の分散型メモリユニットで構成され、又はその両方が可能であるメモリから実行され得る。本明細書において使用される場合、「メモリ」および「メモリユニット」という用語は、置き替え可能である。さらに、本明細書に記載の１つ又は複数の実施形態は、分布された方式で、コンピュータ実行可能コンポーネントのコードを実行し得、例えば、複数のプロセッサが組み合わせて又は共同で動作して、１つ又は複数の分散型メモリユニットからコードを実行する。本明細書において使用される場合、「メモリ」という用語は、１つの位置、又は複数のメモリ、又は１つ又は複数の位置でのメモリユニットでの単一のメモリ又はメモリユニットを包含し得る。

【0114】

コンピューティングデバイスは典型的には、その２つの用語が以下のように互いに異なるように本明細書で使用される、コンピュータ可読記憶媒体、機械可読記憶媒体、及び／又は通信媒体を含み得る様々な媒体を以下の通り含む。コンピュータ可読記憶媒体又は機械可読記憶媒体は、コンピュータによってアクセスされ得、揮発性媒体および不揮発性媒体の両方、取り外し可能媒体および取り外し不能な媒体の両方を含む任意の利用可能な記憶媒体であり得る。例として、限定されないが、コンピュータ可読記憶媒体又は機械可読記憶媒体は、コンピュータ可読命令又は機械可読命令、プログラムモジュール、構造化データ又は非構造化データなどの情報の格納のための任意の方法又は技術に関連して実装され得る。

【0115】

コンピュータ可読記憶媒体は、これらに限定されるものではないが、ランダムアクセスメモリ（「ＲＡＭ」）、リードオンリメモリ（「ＲＯＭ」）、電気的消去可能プログラマブルリードオンリメモリ（「ＥＥＰＲＯＭ」）、フラッシュメモリ又は他のメモリ技術、コンパクトディスクリードオンリメモリ（「ＣＤ－ＲＯＭ」）、デジタル多用途ディスク（「ＤＶＤ」）、ブルーレイディスク（「ＢＤ」）もしくは他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、ソリッドステートドライブもしくは他のソリッドステートストレージデバイス、又は所望の情報を格納するために使用され得る他の有形媒体もしくは非一時的媒体、又はその組み合わせを含み得る。これに関して、ストレージ、メモリ、又はコンピュータ可読媒体に適用される本明細書での「有形」又は「非一時的」という用語は、修飾子としてそれ自体で伝搬する一時的な信号のみを排除するものとして理解されるべきであり、それ自体で伝搬するだけの一時的な信号ではない全ての標準的なストレージ、メモリ、又はコンピュータ可読媒体に対する権利を放棄しない。

【0116】

コンピュータ可読記憶媒体は、媒体によって格納された情報に関する様々な操作のために、例えば、アクセス要求、クエリ、又は他のデータ取得プロトコルを介して、１つ又は複数のローカルコンピューティングデバイスもしくはリモートコンピューティングデバイスによってアクセスされ得る。

【0117】

通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、又は他の構造化又は非構造化データを、変調されたデータ信号、例えば、搬送波又は他の輸送機構などのデータ信号において具現化し、任意の情報送達又は輸送媒体を含む。「変調されたデータ信号」という用語又は信号は、その特性セットのうちの１つ又は複数を有する信号、あるいは１つ又は複数の信号内の情報をエンコードするような方式で変更された信号を指す。例として、限定されないが、通信媒体には、有線ネットワーク又は直接有線接続などの有線媒体、ならびに音波、ＲＦ、赤外線、および他の無線媒体などの無線媒体が含まれる。

【0118】

再び図１２を参照して、本明細書に記載の態様の様々な実施形態を実装するための例示的な環境１２００は、コンピュータ１２０２、処理ユニット１２０４を含むコンピュータ１２０２、システムメモリ１２０６、及びシステムバス１２０８を含む。システムバス１２０８は、システムメモリ１２０６を含むがそれに限定されるものではないシステムコンポーネントを処理ユニット１２０４に結合する。処理ユニット１２０４は、様々な市販のプロセッサのいずれかであり得る。デュアルマイクロプロセッサおよび他のマルチプロセッサアーキテクチャはまた、処理ユニット１２０４として利用されることが可能である。

【0119】

システムバス１２０８は、様々な市販のバスアーキテクチャのいずれかを使用する（メモリコントローラを有すか、又は、有さない）メモリバス、ペリフェラルバス、及びローカルバスにさらに相互接続し得るいくつかのタイプのバス構造のうちのいずれかであり得る。システムメモリ１２０６は、ＲＯＭ１２１０及びＲＡＭ１２１２を含む。基本入出力システム（「ＢＩＯＳ」）は、ＢＩＯＳが、スタートアップの間などにコンピュータ１２０２内の要素同士の間で情報を転送するのに役立つ基本ルーチンを含むＲＯＭ、消去可能プログラマブルリードオンリメモリ（「ＥＰＲＯＭ」）、ＥＥＰＲＯＭのような不揮発性メモリに格納され得る。ＲＡＭ１２１２はまた、データをキャッシュするための静的ＲＡＭなどの高速ＲＡＭを含み得る。

【0120】

コンピュータ１２０２は、内部ハードディスクドライブ（「ＨＤＤ」）１２１４（例えば、ＥＩＤＥ、ＳＡＴＡ）、１つ又は複数の外部ストレージデバイス１２１６（例えば、磁気フロッピディスクドライブ（「ＦＤＤ」）１２１６、メモリスティック又はフラッシュドライブリーダ、メモリカードリーダ、及び／又はそれらの組み合わせなど）、及び（例えば、ＣＤ－ＲＯＭディスク、ＤＶＤ、ＢＤ、及び／又はそれらの組み合わせなどの読み取り及び書き込みをし得る）光ディスクドライブ１２２０をさらに含む。内部ＨＤＤ１２１４がコンピュータ１２０２内に位置するように示されているが、内部ＨＤＤ１２１４はまた、好適なシャシ（図示されていない）における外部使用のために構成され得る。加えて、環境１２００には図示していないが、ソリッドステートドライブ（「ＳＳＤ」）が、ＨＤＤ１２１４に加えて、又は、その代わりに使用され得る。ＨＤＤ１２１４、外部ストレージデバイス１２１６、および光ディスクドライブ１２２０は、それぞれＨＤＤインタフェース１２２４、外部ストレージインタフェース１２２６、および光学式ドライブインタフェース１２２８によって、システムバス１２０８に接続され得る。外部ドライブ実装形態のためのインタフェース１２２４は、ユニバーサルシリアルバス（「ＵＳＢ」）、および米国電気電子学会（「ＩＥＥＥ」）１３９４インタフェース技術の少なくとも１つ又は両方を含み得る。他の外部ドライブ接続技術は、本明細書に記載の実施形態の意図の中に含まれる。

【0121】

ドライブ及びその関連するコンピュータ可読記憶媒体は、データ、データ構造、コンピュータ実行可能命令などの不揮発性ストレージを提供する。コンピュータ１２０２のために、ドライブおよび記憶媒体は、好適なデジタルフォーマットで任意のデータの格納に対応する。上記のコンピュータ可読記憶媒体の説明はそれぞれのタイプのストレージデバイスを参照するが、現在存在しているものでも又は将来開発されるものでもコンピュータによって可読である他のタイプの記憶媒体も例示的な動作環境において使用し得ること、およびさらに任意のそのような記憶媒体が本明細書に記載の方法を実行するためのコンピュータ実行可能命令を含み得ることが当業者によって理解されるべきである。

【0122】

オペレーティングシステム１２３０、１つ又は複数のアプリケーションプログラム１２３２、他のプログラムモジュール１２３４、及びプログラムデータ１２３６を含む、いくつかのプログラムモジュールは、ドライブ及びＲＡＭ１２１２に格納され得る。オペレーティングシステム、アプリケーション、モジュール、及び／又はデータの全て又は一部は、ＲＡＭ１２１２にもキャッシュされ得る。本明細書に記載のシステムおよび方法は、様々な市販のオペレーティングシステム、又はオペレーティングシステムの組み合わせを用いて実装され得る。

【0123】

コンピュータ１２０２は任意選択的に、エミュレーション技術を備え得る。例えば、ハイパーバイザ（図示せず）又は他の仲介するものは、オペレーティングシステム１２３０のためのハードウェア環境をエミュレートでき、エミュレートされたハードウェアは、図１２に示すハードウェアとは任意選択的に異なり得る。そのような一実施形態では、オペレーティングシステム１２３０は、コンピュータ１２０２でホストされた複数の仮想機械（「ＶＭ」）の１つのＶＭを含み得る。さらに、オペレーティングシステム１２３０は、アプリケーション１２３２のための、Ｊａｖａ（登録商標）ランタイム環境又は．ＮＥＴ Ｆｒａｍｅｗｏｒｋなどのランタイム環境を提供し得る。ランタイム環境は、アプリケーション１２３２が、ランタイム環境を含む任意のオペレーティングシステム上で実行されることを可能にする一貫性のある実行環境である。同様に、オペレーティングシステム１２３０は、コンテナをサポートし得、例えば、コード、ランタイム、システムツール、システムライブラリ、及びアプリケーションのための設定を含むソフトウェアの軽量、スタンドアロン、かつ実行可能なパッケージ、アプリケーション１２３２は、コンテナの形態であり得る。

【0124】

さらに、コンピュータ１２０２は、信頼できる処理モジュール（「ＴＰＭ」）などのセキュリティモジュールを用いて有効にすることができる。例えば、ＴＰＭを用いると、ブートコンポーネントは、次のブートコンポーネントをロードする前に、時間的に次に来るブートコンポーネントをハッシュし、保護された値への結果の一致するのを待つ。このプロセスは、コンピュータ１２０２のコード実行スタックにおける任意の層で生じ得、例えば、アプリケーション実行レベル又はオペレーティングシステム（「ＯＳ」）カーネルレベルで適用され、それによって、コード実行の任意のレベルでのセキュリティを可能にし得る。

【0125】

ユーザは、１つ又は複数の有線／無線入力デバイス、例えば、キーボード１２３８、タッチスクリーン１２４０、及びマウス１２４２のようなポインティングデバイスを通じてコンピュータ１２０２にコマンド及び情報を入力し得る。他の入力デバイス（図示せず）は、マイクロフォン、赤外線（「ＩＲ」）リモコン、無線周波数（「ＲＦ」）リモコン、もしくは他のリモコン、ジョイスティック、バーチャルリアリティコントローラもしくはバーチャルリアリティヘッドセット又はその組み合わせ、ゲームパッド、スタイラスペン、カメラ、ジェスチャセンサ入力デバイス、ビジョンムーブメントセンサ入力デバイス、感情検出デバイスもしくは顔検出デバイスのような画像入力デバイス、又は指紋スキャナもしくは虹彩スキャナのような生体認証入力デバイスなどを含み得る。これら及び他の入力デバイスは、多くの場合、システムバス１２０８に結合することができる入力デバイスインタフェース１２４４を通して処理ユニット１２０４に接続されるが、例えばパラレルポート、ＩＥＥＥ１３９４シリアルポート、ゲームポート、ＵＳＢポート、ＩＲインタフェース、ＢＬＵＥＴＯＯＴＨ（登録商標）インタフェースなどの他のインタフェースによって接続され得る。

【0126】

モニタ１２４６又は他のタイプのディスプレイデバイスはまた、ビデオアダプタ１２４８のようなインタフェースを介してシステムバス１２０８に接続され得る。モニタ１２４６に加えて、コンピュータは典型的には、例えばスピーカ、プリンタ、及び／又はそれらの組み合わせなどの他の周辺出力デバイス（図示せず）を含む。

【0127】

コンピュータ１２０２は、リモートコンピュータ１２５０など、１つ又は複数のリモートコンピュータに対する有線通信及び／又は無線通信を介した論理接続を使用して、ネットワーク化された環境において動作し得る。リモートコンピュータ１２５０は、ワークステーション、サーバコンピュータ、ルータ、パーソナルコンピュータ、ポータブルコンピュータ、マイクロプロセッサベースエンタテインメント機器、ピアデバイス、又は他の一般的なネットワークノードであり得、典型的には、簡潔さのためにメモリ／ストレージデバイス１２５２のみが示されているが、コンピュータ１２０２に関して説明された多くの又は全ての要素を含む。示された論理接続は、ローカルエリアネットワーク（「ＬＡＮ」）１２５４、もしくはより大きなネットワーク、例えば、ワイドエリアネットワーク（「ＷＡＮ」）１２５６、又はその組み合わせへの有線／無線接続を含む。そのようなＬＡＮネットワーキング環境およびＷＡＮネットワーキング環境は、オフィスおよび企業でよく見られ、イントラネットのような企業規模のコンピュータネットワークを容易にし、これらの全ては、グローバル通信ネットワーク、例えば、インターネットに接続し得る。

【0128】

ＬＡＮネットワーキング環境において使用されるとき、コンピュータ１２０２は、有線及び／又は無線の通信ネットワークインタフェース又はアダプタ１２５８を通じてローカルネットワーク１２５４に接続され得る。アダプタ１２５８は、無線モードでアダプタ１２５８と通信するためにそこに配設された無線アクセスポイント（「ＡＰ」）も含み得る、ＬＡＮ１２５４への有線通信もしくは無線通信を容易にし得る。

【0129】

ＷＡＮネットワーキング環境において使用されるとき、コンピュータ１２０２は、モデム１２６０を含み得るか、又はインターネットによってのような、ＷＡＮ１２５６上の通信を確立するための他の手段を介してＷＡＮ１２５６上の通信サーバに接続され得る。内部又は外部であり得、有線デバイス又は無線デバイスであり得るモデム１２６０は、入力デバイスインタフェース１２４４を介してシステムバス１２０８に接続され得る。ネットワーク化された環境では、コンピュータ１２０２又はその一部に関して示されたプログラムモジュールは、リモートメモリ／ストレージデバイス１２５２に格納され得る。示されたネットワーク接続は例示的であり、コンピュータ同士の間の通信リンクを確立する他の手段が使用され得ることが理解されるだろう。

【0130】

ＬＡＮネットワーキング環境又はＷＡＮネットワーキング環境のいずれかにおいて使用されるとき、コンピュータ１２０２は、上記のように、外部ストレージデバイス１２１６に加えて、又はその代わりに、クラウドストレージシステム又は他のネットワークベースストレージシステムにアクセスし得る。概して、コンピュータ１２０２とクラウドストレージシステムとの間の接続は、ＬＡＮ１２５４又はＷＡＮ１２５６上で、例えば、それぞれアダプタ１２５８又はモデム１２６０によって確立され得る。コンピュータ１２０２を関連付けられたクラウドストレージシステムに接続すると、外部ストレージインタフェース１２２６は、アダプタ１２５８及び／又はモデム１２６０の補助を用いて、外部ストレージの他のタイプを管理するように、クラウドストレージシステムによって提供されたストレージを管理し得る。例えば、外部ストレージインタフェース１２２６は、それらのソースがコンピュータ１２０２に物理的に接続しているかのように、クラウドストレージソースへのアクセスを提供するように構成され得る。

【0131】

コンピュータ１２０２は、無線通信において動作可能に配置された任意の無線デバイス又はエンティティ、例えば、プリンタ、スキャナ、デスクトップ及び／又はポータブルコンピュータ、携帯情報端末、通信衛星、無線で検出可能なタグに関連付けられた任意の機器又はロケーション（例えば、キオスク、ニューススタンド、店舗の棚など）、及び電話と通信するように動作可能であり得る。これは、ワイヤレスフィデリティ（「Ｗｉ－Ｆｉ（登録商標）」）およびＢＬＵＥＴＯＯＴＨ（登録商標）無線技術を含み得る。したがって、通信は、従来のネットワークと同じく事前定義された構造であってもよいし、又は単に、少なくとも２つのデバイス間のその場限りの通信であってもよい。

【0132】

上で説明されてきたものは、システム、コンピュータプログラム製品、およびコンピュータ実装方法の単なる例を含む。もちろん、本開示を説明する目的のために、コンポーネント、製品、もしくはコンピュータ実装方法、又はその組み合わせのあらゆる考えられる組み合わせを説明することは可能ではないが、当業者は、本開示のさらに多くの組み合わせおよび置換が可能であることを認識し得る。さらに、詳細な説明、特許請求の範囲、付録および図面において、「含む（ｉｎｃｌｕｄｅｓ）」、「有する（ｈａｓ）」、および、「所有する（ｐｏｓｓｅｓｓｅ）」などの用語が使用される範囲で、そのような用語は、「備える（ｃｏｍｐｒｉｓｉｎｇ）」が特許請求の範囲の移行語として利用されるときに解釈されるのと同様に、「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語と同様の方法で包括的であることを意図している。様々な実施形態の説明は、例示のために提示されてきたが、包括的あるか、又は開示された実施形態に限定されることを意図するものではない。説明される実施形態の範囲から逸脱することなく、当業者には多くの修正及び変形が明らかとなるであろう。本明細書において使用される専門用語は、実施形態の原理、実用的な適用又は市場で見られる技術に対する技術的改善点を最適に説明し、又は、本明細書において開示される実施形態を当技術分野の他の当業者が理解することを可能にするように選択された。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2024-05-01

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータ実行可能コンポーネントを格納したメモリ；及び
前記メモリに動作可能に結合され、前記メモリに格納された前記コンピュータ実行可能コンポーネントを実行するプロセッサ
を備え、前記コンピュータ実行可能コンポーネントが、
コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに関して人工知能モデルの出力を比較することにより解析するモデルイントロスペクションコンポーネントを有する、システム。

【請求項2】

テストデータセットに含まれた複数のコードサンプルについて、コード複雑度メトリックを抽出する抽出コンポーネント；及び
前記人工知能モデルの前記出力を評価する性能メトリックに基づき前記複数のコードサンプルをグループ分けすることにより、前記複数のテストデータサブセットを生成するテストデータサブセットコンポーネント
をさらに備える、請求項１に記載のシステム。

【請求項3】

前記複数のコードサンプルが、ソースコードサンプルである、請求項２に記載のシステム。

【請求項4】

前記コード複雑度メトリックに基づき、前記複数のテストデータサブセット内の前記複数のコードサンプルの分布を判断する分布コンポーネント
をさらに備える、請求項２に記載のシステム。

【請求項5】

前記複数のテストデータサブセットからの第１のテストデータサブセットに関連付けられたコードサンプルの第１の分布を、前記複数のテストデータサブセットからの第２のテストデータサブセットに関連付けられたコードサンプルの第２の分布と比較する比較コンポーネント
をさらに備える、請求項４に記載のシステム。

【請求項6】

コンピュータ実行可能コンポーネントを格納したメモリ；及び
前記メモリに動作可能に結合され、前記メモリに格納された前記コンピュータ実行可能コンポーネントを実行するプロセッサ
を備え、前記コンピュータ実行可能コンポーネントが
コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに対する前記人工知能モデルの性能に基づき推論するモデルイントロスペクションコンポーネントを有する、システム。

【請求項7】

テストデータセットに含まれた複数のコードサンプルについて、コード複雑度メトリックを抽出する抽出コンポーネント；及び
前記人工知能モデルの前記性能を評価する性能メトリックに基づき前記複数のコードサンプルをグループ分けすることにより、前記複数のテストデータサブセットを生成するテストデータサブセットコンポーネント
をさらに備える、請求項６に記載のシステム。

【請求項8】

前記複数のコードサンプルが、ソースコードサンプルである、請求項７に記載のシステム。

【請求項9】

前記コード複雑度メトリックに基づき、前記複数のテストデータサブセット内の前記複数のコードサンプルの分布を判断する分布コンポーネント
をさらに備える、請求項７に記載のシステム。

【請求項10】

前記複数のテストデータサブセットからの第１のテストデータサブセットに関連付けられたコードサンプルの第１の分布を、前記複数のテストデータサブセットからの第２のテストデータサブセットに関連付けられたコードサンプルの第２の分布と比較する比較コンポーネント
をさらに備える、請求項９に記載のシステム。

【請求項11】

プロセッサに動作可能に結合されたシステムによって、コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに関して人工知能モデルの出力を比較することにより解析する段階
を備える、コンピュータ実装方法。

【請求項12】

テストデータセットに含まれた複数のコードサンプルついて、コード複雑度メトリックを前記システムによって抽出する段階；及び
前記人工知能モデルの前記出力を評価する性能メトリックに基づき前記複数のコードサンプルをグループ分けすることにより、前記複数のテストデータサブセットを前記システムによって生成する段階
をさらに備える、請求項１１に記載のコンピュータ実装方法。

【請求項13】

前記複数のコードサンプルが、ソースコードサンプルである、請求項１２に記載のコンピュータ実装方法。

【請求項14】

前記コード複雑度メトリックに基づき、前記複数のテストデータサブセット内の前記複数のコードサンプルの分布を、前記システムによって判断する段階
をさらに備える、請求項１２に記載のコンピュータ実装方法。

【請求項15】

前記複数のテストデータサブセットからの第１のテストデータサブセットに関連付けられたコードサンプルの第１の分布を、前記複数のテストデータサブセットからの第２のテストデータサブセットに関連付けられたコードサンプルの第２の分布と、前記システムによって比較する段階
をさらに備える、請求項１４に記載のコンピュータ実装方法。

【請求項16】

プロセッサに動作可能に結合されたシステムによって、コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに対する前記人工知能モデルの性能に基づき推論する段階
を備える、コンピュータ実装方法。

【請求項17】

テストデータセットに含まれた複数のコードサンプルついて、コード複雑度メトリックを前記システムによって抽出する段階；及び
前記人工知能モデルの前記性能を評価する性能メトリックに基づき前記複数のコードサンプルをグループ分けすることにより、前記複数のテストデータサブセットを前記システムによって生成する段階
をさらに備える、請求項１６に記載のコンピュータ実装方法。

【請求項18】

前記複数のコードサンプルが、ソースコードサンプルである、請求項１７に記載のコンピュータ実装方法。

【請求項19】

前記コード複雑度メトリックに基づき、前記複数のテストデータサブセット内の前記複数のコードサンプルの分布を、前記システムによって判断する段階
をさらに備える、請求項１７に記載のコンピュータ実装方法。

【請求項20】

前記複数のテストデータサブセットからの第１のテストデータサブセットに関連付けられたコードサンプルの第１の分布を、前記複数のテストデータサブセットからの第２のテストデータサブセットに関連付けられたコードサンプルの第２の分布と、前記システムによって比較する段階
をさらに備える、請求項１９に記載のコンピュータ実装方法。

【請求項21】

コード複雑度駆動型のモデルイントロスペクションのためのコンピュータプログラムであって、前記コンピュータプログラムは、プログラム命令を備え、前記プログラム命令は、プロセッサに
コード理解タスクのための人工知能モデルの学習挙動を、異なるコード複雑度分布を有する複数のテストデータサブセットに関して人工知能モデルの出力を比較することにより、前記プロセッサによって解析させる
ように、前記プロセッサによって実行可能である、コンピュータプログラム。

【請求項22】

前記プログラム命令は、前記プロセッサにさらに、
テストデータセットに含まれた複数のコードサンプルついて、コード複雑度メトリックを前記プロセッサによって抽出させ；
前記人工知能モデルの前記出力を評価する性能メトリックに基づき前記複数のコードサンプルをグループ分けすることにより、前記複数のテストデータサブセットを前記プロセッサによって生成させる
請求項２１に記載のコンピュータプログラム。

【請求項23】

前記複数のコードサンプルが、ソースコードサンプルである、請求項２２に記載のコンピュータプログラム。

【請求項24】

前記プログラム命令は、前記プロセッサにさらに、
前記コード複雑度メトリックに基づき、前記複数のテストデータサブセット内の前記複数のコードサンプルの分布を、前記プロセッサによって判断させる、請求項２３に記載のコンピュータプログラム。

【請求項25】

前記プログラム命令は、前記プロセッサにさらに、
前記複数のテストデータサブセットからの第１のテストデータサブセットに関連付けられたコードサンプルの第１の分布を、前記複数のテストデータサブセットからの第２のテストデータサブセットに関連付けられたコードサンプルの第２の分布と、前記プロセッサによって比較させる、請求項２４に記載のコンピュータプログラム。

【国際調査報告】