特許 7562011 プログラムコード欠陥及び使用の許容可能性の判定のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-26

(45)【発行日】2024-10-04

(54)【発明の名称】プログラムコード欠陥及び使用の許容可能性の判定のためのシステム及び方法

(51)【国際特許分類】

   G06F 11/36 20060101AFI20240927BHJP

   G06F 8/30 20180101ALI20240927BHJP

【ＦＩ】

G06F11/36

G06F8/30

【請求項の数】 15

(21)【出願番号】P 2023550274

(86)(22)【出願日】2022-01-17

(65)【公表番号】

(43)【公表日】2024-02-20

(86)【国際出願番号】 US2022012663

(87)【国際公開番号】W WO2022182440

(87)【国際公開日】2022-09-01

【審査請求日】2023-09-05

(31)【優先権主張番号】17/183,956

(32)【優先日】2021-02-24

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520128820

【氏名又は名称】ノースロップ グラマン システムズ コーポレーション

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(72)【発明者】

【氏名】ダニエル ダブリュ プラウェッキー

【審査官】松平 英

(56)【参考文献】

【文献】国際公開第２０１９／１４２２６６（ＷＯ，Ａ１）

【文献】特開２０１８－１６３４３２（ＪＰ，Ａ）

【文献】特開２０１１－８１４９６（ＪＰ，Ａ）

【文献】特開２０１５－２６３６５（ＪＰ，Ａ）

【文献】Verification of Airborne Software in Compliance with DO-178C，[online]，LDRA Software Technology，2017年，pp. 1-21，https://ldra.com/wp-content/uploads/2023/09/LDRA_tool_suite_and_DO-178C_white_paper_V2.0.pdf

【文献】Complete Verification and Validation for DO-178C，[online]，Vector，2019年10月，pp.1-20，https://cdn.vector.com/cms/content/know-how/aerospace/Document/Complete_Verification_and_Validation_for_DO-178C.pdf

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ９／４５５－９／５４

１１／０７

１１／２８－１１／３６

１８／００－１８／４０

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

システムであって、
機械可読命令とデータとを記憶するためのメモリであって、前記データが、ある段階におけるプログラムコードを表すビルドコードを含む、メモリと、
前記メモリにアクセスし、前記機械可読命令を実行するための１つ以上のプロセッサと、を備え、前記機械可読命令が、
前記ビルドコードを評価して、前記ビルドコードが前記プログラムコードのためのプログラムコード開発標準に準拠するかどうかを判定して、前記ビルドコード内のコーディングエラーを識別するようにプログラムされたコード開発エンジンであって、前記コーディングエラーについて前記ビルドコードを訂正するためのエラー訂正ソリューションを推奨するようにプログラムされている、コード開発エンジンと、
前記プログラムコードのためのモデル化されたプログラムコード環境において前記ビルドコードをシミュレーションして、前記ビルドコード内のコーディング失敗を識別するようにプログラムされたコードランタイムシミュレーションエンジンであって、前記コーディング失敗について前記ビルドコードを訂正するための失敗訂正ソリューションを推奨するようにプログラムされている、コードランタイムシミュレーションエンジンと、
前記コーディングエラー及び／又はコーディング失敗が前記ビルドコードにおいて訂正されることに応答して、前記ビルドコードについての許容可能リスクのレベルに基づいて、前記ビルドコードを評価して、前記ビルドコードがプログラムコード環境での使用に許容可能であるかどうかを判定するようにプログラムされている、ビルドコード出力モジュールと、を備える、システム。

【請求項2】

コーディング開発エンジンが、
前記プログラムコードのソフトウェア開発のためのルール及び／又は制約を特徴付ける学習されたコーディング開発標準のライブラリに基づいて、前記ビルドコード内の前記コーディングエラーを識別するようにプログラムされた、機械学習開発標準（ＭＬ－ＤＬ）アルゴリズムと、
プログラムコード及び／又はビルドコード内のコーディングエラーに対する前のエラー訂正ソリューションを特徴付ける学習されたコーディングエラーソリューションのライブラリに基づいて、前記コーディングエラーを訂正するための前記エラー訂正ソリューションを推奨するようにプログラムされた、ＭＬコードエラー訂正（ＭＬ－ＣＥＣ）アルゴリズムと、
前記エラー訂正ソリューションに基づいて前記ビルドコード内の前記コーディングエラーを訂正するようにプログラムされた、コード更新訂正（ＣＵＣ）モジュールと、を備える、請求項１に記載のシステム。

【請求項3】

前記コーディング開発エンジンが、静的解析手法を適用して前記ビルドコードを評価して、前記ビルドコードが第２のコーディングエラーを含むかどうかを判定するようにプログラムされた静的コードテストモジュールを更に備え、前記コーディングエラーが、第１のコーディングエラーであり、前記ＭＬ－ＣＥＣアルゴリズムが、前記第２のコーディングエラーの評価及び前記学習されたコーディングエラーソリューションのライブラリに基づいて前記第２のコーディングエラーを訂正するための第２のエラー訂正ソリューションを推奨するようにプログラムされており、前記ＣＵＣモジュールが、前記第２のエラー訂正ソリューションに基づいて前記ビルドコード内の前記第２のコーディングエラーを訂正するようにプログラムされている、請求項２に記載のシステム。

【請求項4】

前記コーディング開発エンジンが、
コードカバレッジ解析手法を適用して、テストケースに基づいて前記ビルドコードを評価して、前記ビルドコードの実行中に行使された又は行使されなかった前記ビルドコードの量を決定して、コードカバレッジレポートデータを提供するようにプログラムされた、コードカバレッジテストモジュールと、
前記コードカバレッジレポートデータに基づいて前記ビルドコード内の異常を識別するようにプログラムされており、前記識別された異常の評価とエラー異常データベースとに基づいて前記ビルドコード内の第３のコーディングエラーを識別するように更にプログラムされた、コード評価モジュールと、を更に備える、請求項３に記載のシステム。

【請求項5】

前記ＭＬ－ＣＥＣアルゴリズムが、前記学習されたコーディングエラーソリューションのライブラリに基づいて前記第３のコーディングエラーを訂正するための第３のエラー訂正ソリューションを推奨するようにプログラムされており、前記ＣＵＣモジュールが、前記第３のエラー訂正ソリューションに基づいて前記ビルドコード内の前記第３のコーディングエラーを訂正するようにプログラムされている、請求項４に記載のシステム。

【請求項6】

前記コーディング開発エンジンが、前のプログラムコード及び／又はビルドコードの挙動をテストするために採用された以前のテストケースを特徴付けるテストケーストレーニングデータに基づいてトレーニングされたＭＬテストケース生成器を更に備え、前記ＭＬテストケース生成器が、前記テストケースを提供するようにプログラムされている、請求項５に記載のシステム。

【請求項7】

前記コードランタイムシミュレーションエンジンが、少なくとも１つのシミュレーションモジュールを備え、前記少なくとも１つのシミュレーションモジュールが、
シミュレーションパラメータに基づいて、前記プログラムコードのための前記プログラムコード環境のモデル化されたプログラムコード環境を生成し、
前記モデル化されたプログラムコード環境において前記ビルドコードをシミュレーションし、かつ
前記モデル化されたプログラムコード環境における前記ビルドコードの前記シミュレーションに基づいて、前記ビルドコードの挙動及び／又は性能を特徴付けるシミュレーション結果データを出力するようにプログラムされている、請求項６に記載のシステム。

【請求項8】

前記コードランタイムシミュレーションエンジンが、学習されたシミュレーションパラメータのライブラリに基づいて、シミュレーションのために前記モデル化されたプログラムコード環境を構成するために前記少なくとも１つのシミュレーションモジュールのための前記シミュレーションパラメータを推奨するようにプログラムされたＭＬシミュレーションパラメータアルゴリズムを備え、前記学習されたシミュレーションパラメータのライブラリが、モデル化されたプログラムコード環境を構成するための前のシミュレーションパラメータを特徴付け、
前記コードランタイムシミュレーションエンジンが、前記ビルドコード内の前記コーディング失敗を識別するために、前記少なくとも１つのシミュレーションモジュールによって生成されたシミュレーション結果データを評価するようにプログラムされた、コードランタイムプロセス及び制御モジュールを更に備える、請求項７に記載のシステム。

【請求項9】

前記コードランタイムシミュレーションエンジンが、
前記プログラムコード及び／又はビルドコード内のコーディング失敗に対する前の失敗訂正ソリューションを特徴付ける学習されたコーディング失敗ソリューションのライブラリに基づいて、前記コーディング失敗を訂正するための前記失敗訂正ソリューションを推奨するようにプログラムされたＭＬコード失敗訂正（ＭＬ－ＣＦＣ）アルゴリズムと、
前記失敗訂正ソリューションに基づいて前記ビルドコード内の前記コーディング失敗を訂正するようにプログラムされたコード失敗更新（ＣＦＵ）モジュールと、を更に備える、請求項８に記載のシステム。

【請求項10】

前記コードランタイムプロセス及び制御モジュール並びに前記コード評価モジュールのうちの１つが、前記ビルドコードにおいて訂正され、かつ／又は訂正されていないコーディング欠陥のタイプと数値コーディング欠陥とを示すコード欠陥訂正結果データを生成するようにプログラムされており、前記ビルドコード出力モジュールが、前記ビルドコードが前記プログラムコード環境での使用に許容可能であるかどうかを判定するために、前記ビルドコードの前記許容可能リスクのレベルに基づいて、前記コード欠陥訂正結果データを評価するようにプログラムされた許容可能性判定モジュールを備える、請求項９に記載のシステム。

【請求項11】

前記ビルドコードが、前記プログラムコードが開発されているときに、前記コーディング開発エンジンによる評価、及び前記コードランタイムシミュレーションエンジンによるシミュレーション、のうちの１つが行われる、
前記ビルドコードが、前記プログラムコードに対するユーザ定義の変更に基づいて、前記コーディング開発エンジンによる評価、及び前記コードランタイムシミュレーションエンジンによるシミュレーション、のうちの１つが行われる、並びに
前記プログラムコードが、レガシープログラムコードに対応する、のうちの１つである、請求項１０に記載のシステム。

【請求項12】

前記機械可読命令が、前記ビルドコードの許容可能バージョンに対応するリリースされたプログラムコードを受信又は取り出すようにプログラムされた環境インターフェースモジュールを更に含み、前記コードランタイムシミュレーションエンジンが、前記モデル化されたプログラムコード環境において前記リリースされたプログラムコードをシミュレーションして、前記ビルドコード内の更なるコーディング失敗を識別するようにプログラムされており、前記コードランタイムシミュレーションエンジンが、他のコーディング失敗について前記リリースされたプログラムコードを訂正するための別の失敗訂正ソリューションを推奨するようにプログラムされており、かつ前記ビルドコード出力モジュールが、前記リリースされたプログラムコードを評価して、前記リリースされたプログラムコードが前記プログラムコード環境での使用に許容可能であるかどうかを判定するようにプログラムされている、請求項１１に記載のシステム。

【請求項13】

コンピュータ実装方法であって、
プログラムコードのソフトウェア開発中のある段階における、又は前記ソフトウェア開発後の前記プログラムコードを表すビルドコードを受信することと、
前記プログラムコードのためのプログラムコード環境のモデル化されたプログラムコード環境において前記ビルドコードをシミュレーションして、前記ビルドコードの挙動及び／又は性能を決定することと、
前記ビルドコードの前記挙動及び／又は性能を評価して、前記ビルドコード内のコーディング失敗を識別することと、
前記コーディング失敗の評価と、プログラムコード及び／又はビルドコードにおけるコーディング失敗についての前の失敗訂正ソリューションを特徴付ける学習されたコーディング失敗ソリューションのライブラリとに基づいて、前記コーディング失敗を訂正するための失敗訂正ソリューションを識別することと、
前記ビルドコード内の前記コーディング失敗を訂正することに応答して、前記ビルドコードについての許容可能リスクのレベルに基づいて、前記ビルドコードが前記プログラムコード環境での使用に許容可能であるかどうかを判定することと、を含む、コンピュータ実装方法。

【請求項14】

前記モデル化されたプログラムコード環境が、ＭＬシミュレーションパラメータアルゴリズムによって推奨されるシミュレーションパラメータに基づいて生成され、前記ＭＬシミュレーションパラメータアルゴリズムが、学習されたシミュレーションパラメータのライブラリに基づいて前記シミュレーションパラメータを推奨するようにプログラムされており、前記学習されたシミュレーションパラメータのライブラリが、モデル化されたプログラムコード環境を構成するための前のシミュレーションパラメータを特徴付ける、請求項１３に記載のコンピュータ実装方法。

【請求項15】

前記ビルドコードが、前記プログラムコード環境での使用に許容可能であるかどうかを判定することが、前記ビルドコードが前記プログラムコード環境での使用に許容可能であるかどうかを判定するために、前記ビルドコードについての前記許容可能リスクのレベルに基づいてコード失敗訂正結果データを評価することを含み、前記コード失敗訂正結果データが、前記ビルドコードにおいて訂正され、かつ／又は訂正されていないコーディング失敗のタイプと数値コーディング失敗とを示す、請求項１３に記載のコンピュータ実装方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願）
本出願は、２０２１年２月２４日に出願された米国特許出願第１７／１８３９５６号の優先権を主張し、その全体は、本明細書に組み込まれる。

【0002】

（発明の分野）
本開示は、システム及び方法のプログラムコード欠陥及び使用の許容可能性の判定に関する。

【背景技術】

【0003】

ソフトウェア開発は、アプリケーション、フレームワーク、プログラマブルロジックデバイスマイクロコード）、又は他のソフトウェア構成要素の作成及び維持に関与する、考案、仕様化、設計、プログラミング、文書化、テスト、及びバグ修正のプロセスである。ソフトウェア開発は、時には計画され構造化されたプロセスにおける、所望のソフトウェアの着想からソフトウェアの最終的な明示までの間に関与し得る全てのものを含むことができる。ソフトウェア開発は、研究、新規開発、プロトタイピング、修正、再利用、再設計、保守、又はソフトウェア製品をもたらす任意の他の活動を含むことができる。場合によっては、ソフトウェア開発には、ソフトウェアへの新しい特徴又は機能の追加、及び発見された問題の訂正を含むことができる。

【0004】

プログラム解析は、正確性、堅牢性、安全性、活性などの特性に関して、開発中などにコンピュータコードの挙動を解析するプロセスであり、場合によっては、対象ソフトウェアが許容可能な安全性リスクハザードに対して開発されることである。プログラム解析は、プログラムの最適化及びプログラムの正確性（例えば、プログラムがセーフティクリティカルシステムで動作できることを保証すること）に焦点を当てる。前者は、リソース使用量を削減しながらプログラムの性能を向上させることに焦点を当てる一方で、後者は、プログラムが行うべきことを確実に行うことに焦点を当てる。

【0005】

機械学習（Machine learning、ＭＬ）は、人工知能（artificial intelligence、ＡＩ）のサブセットであり、コンピュータがアルゴリズム及び統計モデルを使用して、学習又はトレーニングデータセットを分析した後、明示的にコード化された命令を使用せずにタスクを正確に実行し、事実上、過去の経験から一般化するためにパターン及び推論に依拠する。ＭＬベースのシステムは、これまで見られなかった、又は考慮されていなかった、個々のケースごとにコード化することが不可能であろう問題を解決することができる。ＭＬアルゴリズムのタイプには、とりわけ、教師あり学習、教師なし学習、及び特徴学習が含まれる。トレーニングデータでトレーニングできるＭＬモデルのタイプには、人工ニューラルネットワーク、決定木、サポートベクターマシン、回帰分析モデル、ベイジアンネットワーク、遺伝的アルゴリズム、主構成要素分析、及びクラスター分析が含まれる。

【発明の概要】

【0006】

本開示は、プログラムコード欠陥及び使用の許容可能性の判定のためのシステム及び方法に関する。

【0007】

一例では、システムは、機械可読命令とデータとを記憶するためのメモリを含むことができる。データは、ある段階におけるプログラムコードを表すことができるビルドコードを含むことができる。システムは、メモリにアクセスし、機械可読命令を実行することができる１つ以上のプロセッサを含むことができる。機械可読命令は、コード開発エンジン、コードランタイムシミュレーションエンジン、及びビルドコード出力モジュールを含むことができる。コード開発エンジンは、ビルドコードを評価して、ビルドコードがプログラムコードのためのプログラムコード開発標準に準拠するかどうかを判定して、ビルドコード内のコーディングエラーを識別するようにプログラムすることができる。コード開発エンジンは、コーディングエラーについてビルドコードを訂正するためのエラー訂正ソリューションを推奨するようにプログラムすることができる。コードランタイムシミュレーションエンジンは、プログラムコードのためのモデル化されたプログラムコード環境においてビルドコードをシミュレーションして、ビルドコード内のコーディング失敗を識別するようにプログラムすることができる。コードランタイムシミュレーションエンジンは、コーディング失敗についてビルドコードを訂正するための失敗訂正ソリューションを推奨するようにプログラムすることができる。ビルドコード出力モジュールは、コーディングエラー及び／又はコーディング失敗がビルドコードにおいて訂正されることに応答して、ビルドコードについての許容可能リスクのレベルに基づいて、ビルドコードを評価して、ビルドコードがプログラムコード環境での使用に許容可能であるかどうかを判定するようにプログラムすることができる。

【0008】

別の例では、コンピュータ実装方法は、プログラムコードのソフトウェア開発中のある段階におけるプログラムコードを表し得るビルドコードを提供することと、プログラムコードのソフトウェア開発のためのルール及び／又は制約を特徴付ける学習されたコーディング開発標準のライブラリに基づいて、ビルドコードを評価して、ビルドコード内のコーディングエラーを識別することと、コーディングエラーの評価と、プログラムコード及び／又はビルドコードにおけるコーディングエラーについての前のエラー訂正ソリューションを特徴付ける学習されたコーディングエラーソリューションのライブラリとに基づいて、コーディングエラーを訂正するためのエラー訂正ソリューションを推奨することと、エラー訂正ソリューションに基づいて、ビルドコードを更新して、ビルドコード内のコーディングエラーを訂正することと、ビルドコード内のコーディングエラーを訂正することに応答して、ビルドコードについての許容可能リスクのレベルに基づいて、ビルドコードがプログラムコードのためのプログラムコード環境での使用に許容可能であるかどうかを判定することと、を含むことができる。

【0009】

更なる例では、コンピュータ実装方法は、プログラムコードのソフトウェア開発中のある段階における、又はソフトウェア開発後のプログラムコードを表すものであり得るビルドコードを受信することと、プログラムコードのためのプログラムコード環境のモデル化されたプログラムコード環境においてビルドコードをシミュレーションして、ビルドコードの挙動及び／又は性能を決定することと、ビルドコードの挙動及び／又は性能を評価して、ビルドコード内のコーディング失敗を識別することと、コーディング失敗の評価と、プログラムコード及び／又はビルドコードにおけるコーディング失敗についての前の失敗訂正ソリューションを特徴付ける学習されたコーディング失敗ソリューションのライブラリとに基づいて、コーディング失敗を訂正するための失敗訂正ソリューションを識別することと、ビルドコード内のコーディング失敗を訂正することに応答して、ビルドコードについての許容可能リスクのレベルに基づいて、ビルドコードがプログラムコード環境での使用に許容可能であるかどうかを判定することと、を含むことができる。

【図面の簡単な説明】

【0010】

【図1】プログラムコード欠陥及び使用の許容可能性の判定のためのシステムの一例を示す。

【図2】コードランタイムシミュレーションエンジンの一例を示す。

【図3】コード開発エンジンの一例を示す。

【図4】ビルドコード出力モジュールの一例を示す。

【図5】プログラムエラー訂正及び許容可能性判定のための方法の一例を示す。

【図6】プログラムエラー訂正及び許容可能性判定のための方法の一例を示す。

【発明を実施するための形態】

【0011】

本開示は、プログラムコード欠陥及び使用の許容可能性の判定のためのシステム及び方法に関する。プログラムコード検証（又は証明）のための既存の手法は、プログラムコードが意図されたシステム（例えば、セーフティクリティカルシステム、ミッションクリティカルシステム、セキュリティクリティカルシステムなど）での使用に許容可能であるかどうかを判定するために、ソフトウェア開発根拠の人間の主観的評価に依拠する。プログラムコード検証は、プログラムコードの許容可能性を判定するために、１つ以上の実践、テスト、及び／又は標準を使用することを伴う。場合によっては、プログラムコード検証は、プログラムコードについてのアーチファクト（又は根拠）（例えば、リスクアセスメント（例えば、プログラムコードによってもたらされるリスク）、プログラムが実行されるべきコンピューティングシステムのタイプ、使用事例、統一モデリング言語（unified modeling language、ＵＭＬ）図、分類図、プログラムコードを開発する際に使用される画像、ソフトウェア文書（例えば、プログラムコードの特性又は属性を記述する文書）、会議メモ、プロトタイプなど）を評価することを含むことができる。

【0012】

プログラムコードが使用されるべきプログラムのタイプ及び／又は対応するコンピューティング環境に応じて、プログラムコードが許容可能であるかどうかの判定を行うためのプログラムコード許容可能性評価のための異なるプログラムコード検証方法が開発されている。許容可能であると識別された（又はフラグ付けされた）プログラムコードは、プログラムコードテスト基準（例えば、所与のレベルの正確性、コーディングエラー、安全性、及び／又は信頼性など）及び／又は規定のソフトウェア開発標準に準拠すると判定されたプログラムコードに対応することができる。場合によっては、プログラムコード検証は、ソフトウェアテストツール及び／又はソフトウェアメトリックを使用して、プログラムコードが使用に許容可能であるかどうかを判定することを伴う。例えば、航空機用途では、プログラムコードの許容可能性を評価するためにＤＯ－１７８（例えば、ＤＯ－１７８Ｂ又はＤＯ－１７８Ｃ）が採用される。連邦航空局（Federal Aviation Administration、ＦＡＡ）は、セーフティクリティカルプログラムコードが航空環境で安全に機能するかどうかを検証及び判定するための基礎となるベースライン及びガイダンス（例えば、標準）としてＤＯ－１７８を適用する。

【0013】

しかしながら、プログラムコードの開発とプログラムコードが許容可能であるかどうかを判定することと併せて、大量の根拠を評価するために人間を使用することは、表面的で不完全な、かつ／又は許容できないほど長期にわたる評価をもたらす可能性がある。更にまた、評価のために人間を使用することは、時間がかかり、主観的である。その結果、ソフトウェア及び／又はプログラマブルロジックデバイスマイクロコード）を許容可能なものとして証明することは、時間がかかり、分析集約的であり、テスト集約的であり、文書化集約的であり、人手集約的であり、評価者の意見に主観的であり、プログラムコードが許容可能であるかどうか（例えば、安全であるか否か）に関して不確実性をもたらす可能性がある。

【0014】

更にまた、現在の評価方法は、より新しいプログラムコード開発標準のために設計されているので、既存のプログラムコード検証方法は、レガシープログラムコードに容易には適用できない。例えば、プログラムコードを許容可能なものとして確立するために使用される既存のプログラムコード検証方法は、「関与段階（stage-of-involvement）」アプローチ（又はプロセス）に基づく。これは、一定の保証タスクがソフトウェア開発サイクル内の非常に特定の時点で実行されなければならないことを意味する。しかしながら、これは、「関与段階」プロセスによって、レガシーコードを書き直すか又はレガシーコードを「そのまま」受け入れるよう強制するかのいずれかの必要が生じるため、レガシーコードにとって問題である。加えて、既存のレガシーコードは文書化が不十分であり、したがって、レガシーコードを再設計することは、通常、実行可能な選択肢ではない。

【0015】

更に、ＭＬ及び／又はＡＩを採用するセーフティクリティカルプログラムコードを評価するために使用される既存のプログラムコード検証方法は、静的ソフトウェアイメージング手法（例えば、決定論的プログラムコードテスト手法）に基づく。したがって、これらの方法では、監視あり環境及び監視なし環境で見られる自己修正コードの新たな方向が、エピックがプログラムコードの初期リリースであるコード形態を変更するため、許容可能な範囲で安全に使用できるという保証を提供することはできない。加えて、既存のプログラムコード検証方法は、プログラムコードが許容可能であるかどうかを判定する前に、プログラムコードが完了している（例えば、完全に開発され、検証の準備ができている）こと、及び／又は根拠に基づくプロセスが完了している（例えば、検証が十分なレベルまで完全に完了している）ことを必要とする。

【0016】

開発の異なるステージ（例えば、計画段階、解析段階、設計段階、実装段階、並びに／又はテスト及び統合段階）の間にプログラムコードを評価して、プログラムコードが許容可能であり、ひいては使用するのに安全であるかどうかを判定するためのシステム及び方法が、本明細書に記載される。本明細書に記載されるシステム及び方法は、プログラムコードのソフトウェア開発ライフサイクルを監視し、プログラムコードの現在の状態又はバージョンが使用に許容可能である（例えば、使用するのに安全である）かどうかを判定（例えば、計算）することができる。コンピュータプログラムが開発されている（例えば、１つ以上のモジュールが更新されている、改善されている、などの）ときに、本明細書に記載されるシステム及び方法は、プログラムコードの開発を（例えば、連続的に）監視して、プログラムコード内の欠陥（例えば、障害、エラー、及び失敗）を識別し、プログラムコードの安全性のレベルを示す値に対応するプログラムコードの許容可能性を定量化することができる。いくつかの例では、本明細書に記載されるシステム及び方法は、ユーザ（例えば、開発者）を識別するか若しくはユーザに推奨を提供するようにプログラムすることができ、又はいくつかの例では、識別された欠陥を訂正するための提案を提供するようにプログラムすることができる。したがって、ユーザがプログラムコードを開発しているときに、本明細書に記載されるシステム及び方法は、コーディング欠陥をユーザに通知することができ、かついくつかの例では、コーディング欠陥を訂正するためのソリューションを提供することができる。

【0017】

いくつかの例では、コード開発エンジンは、ビルドコード内のコーディングエラーを識別及び訂正するために、プログラムコードのソフトウェア開発中のある段階における、又はソフトウェア開発後のプログラムコードを表すことができるビルドコードを評価するようにプログラムすることができる。コード開発エンジンは、ビルドコードを評価し、コーディングエラーを訂正するための推奨を提供するか、又はプログラムコードのためのコード開発標準に準拠するようにビルドコードを更新するようにプログラムすることができる。コード開発エンジンは、ビルドコード出力モジュールと通信するようにプログラムすることができ、ビルドコード出力モジュールは、コーディングエラーがビルドコードにおいて訂正されることに応答して、ビルドコードについての許容可能リスクのレベルに基づいて、ビルドコードを評価して、ビルドコードがプログラムコード環境での使用に許容可能であるかどうかを判定するようにプログラムすることができる。

【0018】

いくつかの例では、コードランタイムシミュレーションエンジンは、プログラムコードのためのモデル化されたプログラムコード環境においてビルドコードをシミュレーションして、ビルドコード内のコーディング失敗を識別及び訂正するようにプログラムすることができる。コードランタイムシミュレーションエンジンは、プログラムコードのソフトウェア開発中及び／又はソフトウェア開発後にビルドコードを受信し、ビルドコードを処理して、ビルドコード内のコーディング失敗を識別するために、公称条件、公称外条件、及びストレス条件に基づいてビルドコードの性能をシミュレーションするようにプログラムすることができる。コードランタイムシミュレーションエンジンは、プログラムコードのそれぞれのビルドが許容可能である（例えば、使用するのに安全である）かどうかに関して、ビルドコード出力モジュールによって判定するためにビルドコードを評価するようにプログラムすることができる。更なる例として、コードランタイムシミュレーションエンジンは、（例えば、プログラムコードが使用される）プログラムコードのためのプログラムコード環境をモデル化し、モデル化されたプログラムコード環境においてビルドコードをシミュレーションして、ビルドコードの挙動及び／又は性能を確認する（例えば、システム障害及び／又は人の損失につながり得るビルドコードのアクションに対応する潜在的な安全でない挙動を識別する）ようにプログラムすることができる。コード開発エンジンは、ビルドコード出力モジュールと通信するようにプログラムすることができ、ビルドコード出力モジュールは、失敗エラーがビルドコードにおいて訂正されることに応答して、ビルドコードについての許容可能リスクのレベルに基づいて、ビルドコードを評価して、ビルドコードがプログラムコード環境での使用に許容可能であるかどうかを判定するようにプログラムすることができる。

【0019】

したがって、記載されるシステム及び方法は、プログラムコード検証のための大量の根拠の主観的評価のために人間を使用することを排除し、改善された（例えば、より高速な）プログラムコードの展開を可能にするプログラムコード検証のための決定論的アプローチを提供する。更に、本明細書に記載されるシステム及び方法は、レガシープログラムコードが許容可能であるかどうかを判定するために、レガシープログラムコードが検証されることを可能にする。更にまた、本明細書に記載されるシステム及び方法は、プログラムコードが対応するプログラムアプリケーション環境で使用するのに安全であることを確実にするために、ＭＬ及び／又はＡＩアルゴリズムを採用してそのようなプログラムコードを証明するために使用され得る。本明細書に記載されるシステム及び方法は、プログラムコードが開発されているときにプログラムコードを評価することができるため、プログラムコードの許容可能性は、プログラムコード開発と同調して評価することができ、したがって、プログラムコードが許容可能であるかどうかを判定する前にプログラムコードが（例えば、現在は必要とされるように）完全に開発される必要はない。

【0020】

図１は、プログラムコード欠陥及び使用の許容可能性の判定のためのシステム１００の一例を示す。システム１００は、サーバ、クラウド環境、コンピュータ、例えばラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、ワークステーション、サーバなどの上に実装することができる。システム１００は、１つ以上のプロセッサ１０２とメモリ１０４とを含むことができる。メモリ１０４は、機械可読命令を記憶することができ、機械可読命令は、プログラムコード環境での許容可能な使用のためのプログラムコード評価及び修正のために、１つ以上のプロセッサ１０２によって取り出され実行されることができる。プログラムコード環境は、プログラムコードが採用されるべきコンピューティング環境に対応することができる。例として、コンピューティング環境は、航空機で採用されるようなコンピューティングシステムに対応することができる。したがって、いくつかの例では、システム１００は、プログラムコード１０６が、ＤＯ－１７８によって定義されるような安全性重視アプリケーションガイドラインに準拠し、したがって使用に許容可能である（例えば、使用するのに安全である）かどうかを判定するために使用することができる。

【0021】

例として、メモリ１０４は、例えば、揮発性メモリ（例えば、ランダムアクセスメモリ）、不揮発性メモリ（例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリフラッシュメモリなど）、又はそれらの組み合わせなどの非一時的コンピュータ記憶媒体として実装することができる。１つ以上のプロセッサ１０２は、例えば、１つ以上のプロセッサコアとして実装され得る。本例では、システム１００の構成要素は、同じシステム上に実装されるものとして示されているが、他の例では、構成要素は、異なるシステム（例えば、コンピュータ、デバイスなど）にわたって分散され得、例えば、ネットワーク（例えば、無線及び／又は有線ネットワーク）を介して通信する。いくつかの例では、システム１００は、プラグインとして実装し、コンピュータプログラムに（例えば、ソフトウェアアプリケーションに）組み込むことができる。一例として、コンピュータプログラムは、統合開発環境（integrated development environment、ＩＤＥ）に対応することができる。他の例では、システム１００は、開発者又は開発者のグループがプログラムコード１０６を開発するために協働するときに、１つ以上のＩＤＥ（例えば、ソフトウェアアプリケーション）及び／又は他のソフトウェア開発ツールを監視するようにプログラムすることができる。

【0022】

図１の例では、メモリ１０４は、コード入力モジュール１０８を含むことができる。いくつかの例では、コード入力モジュール１０８は、プログラムコード１０６が開発されているときに、プログラムコード１０６（例えば、モジュール、ソフトウェアユニット、コンピュータソフトウェア構成アイテム（computer software configuration item、ＣＳＣＩ）、マイクロコード及び／又は同様のもの）を受信するようにプログラムすることができるか又はそれを受信する。他の例では、プログラムコード１０６が開発されているとき、プログラムコード１０６は、プログラムコードモデル１１０によって、又はプログラムコードモデル１１０として表すことができる。例えば、ソフトウェアモデリングツールを採用してプログラムコードモデル１１０を生成することができる。コード入力モジュール１０８は、プログラムコードモデル１１０を取り出すか又は受信するようにプログラムすることができる。いくつかの例では、コード入力モジュール１０８は、プログラムコードモデル１１０に基づいてビルドコード１１２を提供するようにプログラムすることができる。他の例では、ビルドコード１１２は、プログラムコード１０６に対応することができる。いくつかの例では、プログラムコード１０６は、レガシープログラムコードを含むか、又はそれに対応することができる。更なる例として、プログラムコード１０６は、ＭＬ及び／又はＡＩアルゴリズムを含むことができる。いくつかの例では、システム１００を採用して、プログラムコード１０６がプログラムコード環境での早期使用のために展開することができるように、ソフトウェア開発中にプログラムコード１０６のそれぞれのビルドを評価することができる。

【0023】

いくつかの例では、ビルドコード１１２は、プログラムコード１０６が１人以上のユーザによって開発されているときに、そのプログラムコード１０６のバージョンに対応することができる。したがって、いくつかの例では、プログラムコードモデル１１０は、プログラムコード１０６の開発中にプログラムコード１０６に対する変更又は更新を反映することができる。プログラムコード１０６が、初期プログラムコードビルドから、最終プログラムコードビルド（例えば、使用又は証明の準備ができている）に開発されているときに、したがって場合によっては、製品品質コード（例えば、対応するプログラムコードアプリケーションにおいて使用するための要件を満たすか又は満足させるプログラムコードであって、いくつかの例では、リリースされたプログラムコードと称される）に開発されているときに、プログラムコードモデル１１０は、対応するプログラムコードビルドを反映するように更新することができる。したがって、プログラムコード１０６がそのソフトウェア開発ライフを通して遷移及び変化するときに、プログラムコードモデル１１０は、遷移及び／又は変化を捕捉し、したがってプログラムコード１０６の現在のバージョンを記述するように更新することができる。したがって、いくつかの例では、プログラムコード１０６が更新されているときに、プログラムコード１０６のプログラムコードモデル１１０も更新することができ、コード入力モジュール１０８は、これを使用してビルドコード１１２を更新することができる。ビルドコード１１２は、プログラムコード１０６又はプログラムコードモデル１１０に対する更新を反映するために、コード入力モジュール１０８によって継続的に更新することができる。したがって、ビルドコード１１２は、ソフトウェア開発サイクル中のある段階におけるプログラムコード１０６又はプログラムコードモデル１１０のバージョンを表すものであることができる。

【0024】

いくつかの例では、メモリ１０４は、プログラムコード１０６がプログラムコード１０６のためのコード開発標準を満たすかどうかを判定するためにビルドコード１１２を評価するようにプログラムすることができるコード開発エンジン１１４を含むことができる。コード開発エンジン１１４は、コーディング開発標準に対するビルドコード１１２の評価に基づいて、プログラムコード１０６内のコーディングエラー及び障害（本明細書ではまとめて「コーディングエラー」と呼ばれる）を発見するようにプログラムすることができる。コード開発エンジン１１４は、ビルドコード１１２を評価し、コーディングエラーを訂正するための推奨を提供するか、又はプログラムコード１０６のコード開発標準に準拠するようにビルドコード１１２を更新するようにプログラムすることができる。

【0025】

例えば、コード開発エンジン１１４は、プログラムコード１０６がコーディングエラーを含むことを出力デバイス１１６上（例えば、ディスプレイ上）でユーザに警告し、そのコーディングエラーを訂正するための推奨を提供するようにプログラムすることができる。更なる例として、コーディングエラーが、（例えば、プログラムコード１０６に取り組むある開発者が所与のグローバル変数値を使用し、プログラムコード１０６に取り組む異なる開発者が同じグローバル変数値を使用する）グローバル変数競合に対応する場合、警告は、グローバル変数競合、及びグローバル変数競合を訂正するためのソリューション（例えば、異なるグローバル変数値を使用することを推奨する）を識別することができる。

【0026】

他の例では、コード開発エンジン１１４は、ビルドコード１１２を更新してコーディングエラーを訂正して、更新されたビルドコード１１８を提供し、それによってビルドコード１１２を自動的に訂正するようにプログラムすることができる。更新されたビルドコード１１８は、プログラムコードモデル１１０又はプログラムコード１０６を更新するために、メモリ１０４に記憶されたビルドコード出力モジュール１２０によって採用することができる。したがって、１つ以上のコーディングエラーがコード開発エンジン１１４によって訂正されるときに、ビルドコード出力モジュール１２０は、プログラムコード１０６内の対応するコーディングエラーを訂正するためにプログラムコードモデル１１０又はプログラムコード１０６を更新するようにプログラムすることができる。

【0027】

いくつかの例では、ビルドコード出力モジュール１２０は、更新されたビルドコード１１８を評価して、プログラムコード１０６のそれぞれのビルドが許容可能であるかどうかを判定するようにプログラムすることができる。許容可能リスクのレベルは、プログラムコード１０６のユーザ及び／又はエンティティによって定義することができる。いくつかの例では、許容可能リスクのレベルは、プログラムコード１０６の安全性リスクに対応することができる。ビルドコード出力モジュール１２０は、コード使用要件に関して、更新されたビルドコード１１８のリスク確率を計算する（例えば、信頼性を提供する）ようにプログラムすることができる。例えば、対応する標準によって定義される安全コード使用要件を、リスク確率を計算するために採用することができる。例として、安全コード使用要件は、ＭＩＬ－ＳＴＤ－８８２Ｅ規格（例えば、完了済みの該当する厳密さレベルのタスクの完了の程度に関するＭＩＬ－ＳＴＤ－８８２Ｅ規格の表ＶＩのソフトウェアハザードリスク）に基づいて提供され得る。いくつかの例では、コード使用要件は、プログラムコード１０６の安全要件又は目的に対応することができる。安全要件又は目的は、１人以上のユーザ、エンティティ、及び／又は組織によって指定することができる。いくつかの例では、安全要件又は目的は、コードがフェイルセーフであるように設計されなければならない、コードの全ての機能障害が検出可能でなければならない、かつ／又は調停されたアクティブ／アクティブ冗長処理経路を使用してセーフティクリティカル機能が実装されなければならないという目的を含むことができる。

【0028】

ビルドコード出力モジュール１２０は、更新されたビルドコードが許容可能であるかどうかを判定するために、ユーザ及び／又はエンティティによって定義された許容可能リスクのレベルに対してリスク確率を評価するようにプログラムすることができる。いくつかの例では、ビルドコード出力モジュール１２０は、更新されたビルドコード１１８が許容可能であることを出力デバイス１１６上でユーザに警告するようにプログラムすることができる。いくつかの例では、ビルドコード出力モジュール１２０は、プログラムコード１０６のそれぞれのビルドの安全性リスクをユーザに示すリスク確率を出力デバイス１１６上に提供するようにプログラムすることができる。例えば、安全性リスクは、更新されたビルドコード１１８が、許容可能リスクのレベルに基づいて更新されたビルドコード１１８が十分な信頼性があるという保証状態を達成したことを示すことができる。いくつかの例では、更新されたビルドコード１１８の許容可能性は、アプリケーション固有であることができ、したがって安全性リスクは、アプリケーション主導であることができる。例として、（例えば、複数のシミュレーションを実行することによって）ビルドコード１１２をシミュレーションし、機能的異常が検出されなかった後、安全性リスクは、更新されたビルドコード１１８が保証状態を達成したことを示すことができる。

【0029】

いくつかの例では、メモリは、コードランタイムシミュレーションエンジン１２２を含むことができる。コードランタイムシミュレーションエンジン１２２は、コード開発エンジン１１４と同時に、又はプログラムコード開発後に実行することができる。コードランタイムシミュレーションエンジン１２２は、ビルドコード１１２をシミュレーションして、ビルドコード１１２内のコーディング失敗（例えば、弱点、異常、欠陥及び／又は同様のもの）を発見するようにプログラムすることができる。コードランタイムシミュレーションエンジン１２２は、プログラムコード１０６の開発ライフサイクル中にビルドコード１１２を受信し、ビルドコード１１２を処理して、ビルドコード１１２内のコーディング失敗を識別するために、公称条件、公称外条件、及びストレス条件に基づいてビルドコード１１２の性能をシミュレーションするようにプログラムすることができる。コードランタイムシミュレーションエンジン１２２は、プログラムコード１０６のそれぞれのビルドが許容可能である（例えば、使用するのに安全である）かどうかに関して、ビルドコード出力モジュール１２０によって判定するためにビルドコード１１２を評価するようにプログラムすることができる。更なる例として、コードランタイムシミュレーションエンジン１２２は、（例えば、プログラムコード１０６が使用される）プログラムコード１０６のためのプログラムコード環境をモデル化し、モデル化されたプログラムコード環境においてビルドコード１１２をシミュレーションして、ビルドコード１１２の挙動及び／又は性能を確認する（例えば、システム障害及び／又は人の損失につながり得るビルドコード１１２のアクションに対応する潜在的な安全でない挙動を識別する）ようにプログラムすることができる。いくつかの例では、モデル化されたプログラムコード環境は、オペレーティングシステム、アプリケーション層、及びボードサポートパッケージを含むことができる。

【0030】

いくつかの例では、コードランタイムシミュレーションエンジン１２２は、ビルドコード１１２の所与の数のシミュレーションに応答してビルドコード出力モジュール１２０と通信するようにプログラムすることができる。いくつかの例では、ビルドコード１１２の各シミュレーションの後、コードランタイムシミュレーションエンジン１２２は、更新されたビルドコード１１８を提供するために、各シミュレーション中に識別されたコーディング失敗を訂正することによってビルドコード１１２を更新するようにプログラムすることができる。更なる例では、ビルドコード出力モジュール１２０は、更新されたビルドコード１１８を採用してプログラムコード１０６及び／又はプログラムコードモデル１１０を更新して、プログラムコード１０６内の失敗を訂正するようにプログラムすることができる。いくつかの例では、コードランタイムシミュレーションエンジン１２２は、ビルドコード出力モジュール１２０に、本明細書に記載される更新されたビルドコード１１８のリスク確率を計算させるようにプログラムすることができる。いくつかの例では、更新されたビルドコード１１８のリスク確率は、ビルドコード１１２の各シミュレーション後に計算され、出力デバイス１１６上に表示されて、プログラムコード１０６のそれぞれのビルドに対応する更新されたビルドコード１１８によってもたらされる安全性リスクに関する連続的な更新をユーザに提供することができる。

【0031】

いくつかの例では、コード開発エンジン１１４及びコードランタイムシミュレーションエンジン１２２は、更新されたビルドコード１１８を提供するために協働するように構成することができる。例えば、コード開発エンジン１１４は、コーディングエラーを訂正するためにビルドコード１１２を更新するようにプログラムすることができ、コードランタイムシミュレーションエンジン１２２は、コーディング失敗を訂正するためにビルドコード１１２を更新するようにプログラムすることができる。システム１００は、コーディングエラー及び／又はコーディング失敗（例えば、失敗、エラー条件、望ましくない挙動など）が訂正された、更新されたビルドコード１１８を提供するように構成することができる。

【0032】

いくつかの例では、更新されたプログラムコード又は更新されたビルドコード１１８は、プログラムコード環境で採用することができる。例として、プログラムコード環境は、航空機などのより大きなシステムの一部であり得るコンピューティングシステムなどのシステムに対応することができる。プログラムコード環境に展開されると、システム１００は、環境インターフェースモジュール１２４を採用して、更新されたプログラムコード又は更新されたビルドコード１１８の実行されたバージョンを受信することができる。いくつかの例では、更新されたプログラムコード又は更新されたビルドコード１１８の性能（例えば、挙動）は、更新されたプログラムコードがＭＬ又はＡＩアルゴリズムを採用する例などにおいて、変化し得る。更新されたプログラムコードの性能は、更新されたプログラムコード又は更新されたビルドコード１１８が実行されているときに変化し得るので、更新されたプログラムコード又は更新されたビルドコード１１８の安全性リスクは変化し得る。

【0033】

環境インターフェースモジュール１２４は、リリースされたプログラムコード１２６に対応する更新されたプログラムコード又は更新されたビルドコード１１８の実行されたバージョンを、受信又は取り出すようにプログラムすることができる。環境インターフェースモジュール１２４は、リリースされたプログラムコード１２６がコーディング失敗（例えば、プログラムコード１２６のリリース後バージョンの許容可能性を低下させる失敗）を含むかどうかを判定するシミュレーションのために、リリースされたプログラムコード１２６をコードランタイムシミュレーションエンジン１２２に提供するようにプログラムすることができる。いくつかの例では、環境インターフェースモジュール１２４は、コードランタイムシミュレーションエンジン１２２による処理のために、リリースされたプログラムコード１２６を機械コードからプログラミング言語コードに変換するための逆コンパイラを含むことができる。

【0034】

いくつかの例では、リリースされたプログラムコード１２６のコーディング失敗は、ビルドコード１１２に関して本明細書に記載されるのと同じ又は同様の方法で更新されたリリースされたプログラムコードを提供するために、コードランタイムシミュレーションエンジン１２２によって訂正することができる。ビルドコード出力モジュール１２０は、更新されたリリースされたプログラムコードが（例えば、プログラムコード環境での）使用に許容可能であるかどうかを判定するために、更新されたビルドコード１１８に関して本明細書に記載されるものと同じ又は類似して更新されたリリースされたプログラムコードを評価するようにプログラムすることができる。

【0035】

ビルドコード出力モジュール１２０は、更新されたリリースされたプログラムコードが許容可能であるかどうかを出力デバイス１１６上でユーザに警告するようにプログラムすることができる。ビルドコード出力モジュール１２０は、例えば、更新されたフィールドプログラムコードが使用に許容可能であるという判定に応答して、プログラムコードモデル１１０及び／又はプログラムコード１０６を更新して、コードランタイムシミュレーションエンジン１２２によって行われたリリースされたプログラムコード１２６の１つ以上のコーディング失敗の訂正を反映するために、更新されたリリースされたプログラムコードを採用するようにプログラムすることができる。いくつかの例では、ビルドコード出力モジュール１２０は、リリースプログラムコード１２６が実行のために記憶されているコンピューティングシステムと通信し、リリースされたプログラムコード１２６を更新するようにプログラムすることができる。したがって、いくつかの例では、システム１００は、リリースされたプログラムコード１２６が（例えば、航空機の）コンピューティングシステム上に存在するときに、リリースされたプログラムコード１２６を更新して、コードランタイムシミュレーションエンジン１２２によって識別された失敗を訂正することができる。

【0036】

いくつかの例では、ビルドコード出力モジュール１２０は、更新されたビルドコード１１８が許容可能リスクで許容可能に安全なＣＳＣＩを達成することができるリスク確率に対応する現在の信頼性レベルを計算及び表示するために集約され得る性能パラメータを、出力デバイス１１６上に表示するためのグラフィカルユーザインターフェース（graphical user interface、ＧＵＩ）データを生成するようにプログラムすることができる。性能パラメータは、コード開発エンジン１１４及び／又はコードランタイムシミュレーションエンジン１２２の各々によって、これらのエンジンが実行されているときに提供される性能データに基づくなど、システム１００によって計算することができる。

【0037】

出力デバイス１１６上に表示される性能パラメータのタイプは、対応するビルド若しくはプログラムコード、及び／又はそのようなコードが採用されるアプリケーションに基づくことができる。例えば、性能パラメータは、成功したシミュレーション（例えば、コードランタイムシミュレーションエンジン１２２によって実装される）の数、公称シミュレーション及び公称外シミュレーションの分布、ビルドコード１１２内で発見された欠陥の数、ビルドコード１１２内の欠陥のタイプ、ビルドコード１１２に関して（例えば、デッドコードを排除するため、又はデコードを保持するがデッドコードへのジャンプがないことを証明するために）ユーザ入力を必要とする決定点、ビルドコード１１２が指定通りに実行されるリスクのアセスメント、ビルドコード１１２が指定通りに実行されないか、又は有害若しくは危険な状況を生成するリスクのアセスメント、ユーザ定義のリスクレベルを達成するために必要とされ得る時間量の推定、及び／又はハザードリスクドライバ（例えば、メモリ制約、スループット、過剰デッドコード、過剰コード標準違反など）を含むことができる。加えて、ビルドコード出力モジュール１２０は、ユニットレベル、コンピュータソフトウェアユニットレベル、及びコンピュータソフトウェア構成ユニット（computer software configuration unit、ＣＳＣＵ）を含む、コード開発の異なるレベルにおける保証コンプライアンスメトリックを出力デバイス１１６上に表示するようにプログラムすることができる。したがって、個々のユーザ又はチームは、個人又はチームが開発するように割り当てられた任意の特定のコードにおける信頼性を示す安全性能メトリックを視覚化することができる。

【0038】

これに応じて、システム１００を採用して、開発の異なるステージ（例えば、計画段階、解析段階、設計段階、実装段階、並びに／又はテスト及び統合段階）の間にプログラムコード１０６を評価して、プログラムコード１０６が許容可能である（例えば、使用するのに安全である）ことを確認又は証明することができる。システム１００は、コーディングエラーについてプログラムコード１０６を評価し、コーディングエラーを訂正するか、又はコーディングエラーに関して出力デバイス１１６上でユーザに警告し、いくつかの例ではコーディングエラーを訂正するためのソリューションを提供するように構成することができる。いくつかの例では、システム１００は、プログラムコード１０６内のコーディング失敗を識別するために、プログラムコード開発中又はプログラムコード開発後にプログラムコード１０６をシミュレーションするように構成することができる。システム１００は、コーディング失敗を訂正するか、又はコーディング失敗に関して出力デバイス１１６上でユーザに警告するように構成することができ、いくつかの例では、コーディング失敗を訂正するためのソリューションを提供するように構成することができる。

【0039】

したがって、システム１００は、ユーザが、プログラムコード１０６の開発中にいつでも許容可能性（例えば、安全性リスク）について評価することを可能にする。したがって、ユーザはいつでも、開発中にサブジェクトターゲットコンピュータソフトウェア構成アイテム（ＣＳＣＩ）をフィールドすることができる。したがって、システム１００は、リアルタイムプログラムコードの増分定量的アセスメントを可能にする。したがって、システム１００は、ソフトウェア証明時間（例えば、コードが安全な方法で意図されたように実行される信頼性を決定論的に定量化するため）及びコストを削減し、プログラムコードが許容可能である精度及び信頼性を改善し、変更及び／又は修正後のプログラムコードの再証明のための時間量を削減し、レガシーコードを許容可能であると証明し、ＭＬ／ＡＩ技術を採用するプログラムコードを証明することができる。

【0040】

図２は、コードランタイムシミュレーションエンジン２００の一例を示す。いくつかの例では、コードランタイムシミュレーションエンジン２００は、システム１００内で採用することができ、したがって、図１に示すようなコードランタイムシミュレーションエンジン１２２に対応することができる。したがって、いくつかの例では、図２の例の以下の説明において、図１の例を参照することができる。コードランタイムシミュレーションエンジン１２２は、ビルドコード２０２（例えば、図１に示すようなビルドコード１１２）をシミュレーションして、プログラムコード１０６のそれぞれのビルドに対応するビルドコード２０２内のコード失敗（例えば、弱点、異常、欠陥及び／又は同様のもの）を発見するようにプログラムすることができる。コードランタイムシミュレーションエンジン２００は、プログラムコードの開発ライフサイクルの間又はその後にビルドコード２０２を受信し、プログラムコード１０６の許容可能性を判定するために、ビルドコード２０２を処理して、公称条件、公称外条件、及びストレス条件に基づいてビルドコード２０２の性能をシミュレーションするようにプログラムすることができる。

【0041】

場合によっては、プログラムコード１０６が使用のために容易に利用可能であることが望ましいが、プログラムコード１０６は、（例えば、プログラムコード証明のための既存の根拠に基づくプロセスを介して）正式に証明されていない場合があり、したがって、プログラムコードがそれぞれのプログラムコード環境での使用にどのように許容可能であり、ひいてはどのように安全であるかが不明である。ユーザ、エンティティ、及び／又は組織は、そのようなプログラムコードがユーザ及び／若しくはエンティティにもたらし得る法的リスクに起因して、又は非証明プログラムコードが使用に安全であるという保証の欠如に起因して、あるコンピューティングシステムにおいて非証明プログラムコードを採用することを望まない場合がある。例えば、いくつかの商用及び軍事飛行用途では、プログラムコード１０６が許容可能であり、したがってセーフティクリティカルシステムでの使用に安全であると正式に証明される前に、プログラムコード１０６を使用することが望ましい場合がある。しかしながら、ユーザ又はエンティティは、プログラムコード１０６が既存のプログラムコード証明規格に従って正式に証明されるまでプログラムコード１０６が許容可能であるという保証のレベルを有さないので、これは時間がかかり、主観的なプロセスであり、正式な証明プロセスが完了するまで、対応する飛行用途において（例えば、戦闘機において）プログラムコード１０６を採用することはできない。

【0042】

これらの課題を克服するために、コードランタイムシミュレーションエンジン２００を採用して、プログラムコード１０６のそれぞれのビルドが許容可能であるかどうかを判定するために、正式な証明プロセスの前及び／又はその間にプログラムコード１０６を評価することができる。コードランタイムシミュレーションエンジン２００は、プログラムコード１０６のそれぞれのビルドが、プログラムコード１０６に対して定義された許容可能リスクのレベルに準拠するかどうかを判定するために、ビルドコード２０２をシミュレーションするようにプログラムすることができる。したがって、コードランタイムシミュレーションエンジン２００は、ユーザ及び／又はエンティティが許可されると判定したリスクの量にプログラムコード１０６が準拠するという保証のレベルを提供するようにプログラムすることができる。これに応じて、ユーザ及び／又はエンティティは、プログラムコード１０６のそれぞれのビルドが許容可能であり、したがって使用するのに安全である（例えば、財産及び／又は人間の生活に害をもたらす失敗を引き起こさない）ことを保証しながら、航空用途などのプログラムコードアプリケーションにおいてプログラムコード１０６のそれぞれのビルドを容易に採用することができる。

【0043】

いくつかの例では、コードランタイムシミュレーションエンジン２００は、コードランタイムプロセス及び制御（code run-time process and control、ＣＲＣ）モジュール２０４を含むことができる。ＣＲＣモジュール２０４は、公称シミュレーションモジュール２０６、ストレスシミュレーションモジュール２０８、及び非公称シミュレーションモジュール２１０を制御して、ビルドコード２０２の性能を（例えば、リアルタイムで）シミュレーションするようにプログラムすることができる。各モジュール２０６、２０８、及び２０８は、ビルドコード２０２の挙動及び／又は性能を評価するためにビルドコード２０２をシミュレーションするためのそれぞれのプログラムコード環境をモデル化するようにプログラムすることができる。いくつかの例では、モジュール２０６、２０８、及び２１０の各々についてのシミュレーションの数は、（例えば、入力デバイスにおけるユーザ入力情報に基づいて）ＣＲＣモジュール２０４によって決定することができる。更なる例では、ビルドコード２０２のシミュレーションのタイプは、ＣＲＣモジュール２０４によって決定することができる。

【0044】

例として、ＣＲＣモジュール２０４は、ビルドコード２０２のシミュレーション、したがってプログラムコード１０６のそれぞれのビルドのために、ビルドコード２０２をシミュレーションモジュール２０６、２０８、及び２１０の各々に提供するようにプログラムすることができる。各シミュレーションモジュール２０６、２０８、及び２１０は、それぞれのシミュレーション環境（例えば、プログラムコード１０６が使用される、又は使用されているモデル化されたプログラムコード環境）においてビルドコード２０２をシミュレーションして、ビルドコード２０２におけるコーディング失敗を判定又は識別するようにプログラムすることができる。各シミュレーションモジュール２０６、２０８、及び２１０によってモデル化されるそれぞれのシミュレーション環境は、それぞれのシミュレーションパラメータデータ２１２、２１４、及び２１６に基づくことができる。それぞれのシミュレーション環境は、プログラムコード１０６が採用されるべき、ターゲット又は意図された環境に対応することができる。例えば、プログラムコード１０６がセーフティクリティカルシステム（例えば、航空機、車、兵器システム、医療デバイス、原子力発電所など）で使用される場合、シミュレーションモジュール２０６、２０８、及び２１０は、セーフティクリティカルシステムをモデル化し、モデル化されたセーフティクリティカルシステムにおいてビルドコード２０２をシミュレーションすることができる。シミュレーションモジュール２０６、２０８、及び２１０の各々は、シミュレーション結果データ２１８、２２０、及び２２２を生成するようにプログラムすることができる。

【0045】

例として、シミュレーション結果データ２１８、２２０、及び２２は、成功したシミュレーションの数、公称及び公称外シミュレーションの分布、発見された欠陥の数、欠陥のタイプ、ビルドコード２０２に関して（例えば、デッドコードを排除するため、又はデコードを保持するがデッドコードへのジャンプがないことを証明するために）ユーザ入力を必要とする決定点、ビルドコード２０２が指定通りに実行されるリスクのアセスメント、ビルドコード２０２が指定通りに実行されないか、又は有害若しくは危険な状況を生成するリスクのアセスメント、ユーザ定義のリスクレベルを達成するために必要とされ得る時間量の推定、及び／又はハザードリスクドライバ（例えば、メモリ制約、スループット、過剰デッドコード、過剰コード標準違反などを含むことができる。シミュレーション結果データ２１８、２２０、及び２２２は、ＣＲＣモジュール２０４に提供することができる。

【0046】

ＣＲＣモジュール２０４は、シミュレーション結果データ２１８、２２０、及び２２２を評価して、ビルドコード２０２内のコーディング失敗を識別し、それによって、プログラムコード１０６のそれぞれのビルドを識別するようにプログラムすることができる。例えば、ビルドコード３０２が（例えば、モジュール２０６、２０８、及び／又は２１０によってシミュレーションされる）ランタイム条件にさらされるとき、ＣＲＣモジュール２０４は、ランタイム条件を監視し、シミュレーション結果データ２１８、２２０、及び２２に基づいて潜在的な異常を予測するようにプログラムすることができる。例として、ランタイム中に、変数更新が遅い又は古いことが発見された場合、ＣＲＣモジュール２０４は、コーディング失敗に対応する異常及び異常の原因（例えば、遅い又は古い変数更新）を識別するようにプログラムすることができる。いくつかの例では、ＣＲＣモジュール２０４は、識別された異常を自動的に訂正するか、又はユーザが識別された異常を訂正することを要求するかのうちの１つを行うようにプログラムすることができる。いくつかの例では、変数更新が遅い又は古い理由が、更新タスクが低い優先度に設定されているためである場合、ＣＲＣモジュール２０２は、（例えば、人間と同様に学習された履歴に基づいて）プログラムすることができ、本明細書に記載される、コーディング失敗更新モジュール２３０からの推奨などに基づいて、更新タスクに対してより高い優先度を推奨することができる。

【0047】

いくつかの例では、モデリング解像度は、モデリング特異性データ２２４に基づいて指定することができる。モデリング特異性データ２２４は、ＣＲＣモジュール２０４によって識別された１つ以上のコーディング失敗を引き起こす可能性のある、それぞれのシミュレーション環境をモデリングするためのモデリング詳細のレベルを識別することができる。したがって、いくつかの例では、モデル化されたシミュレーション環境の解像度レベルは、モデリング特異性データ２２４に基づくことができる。例として、モデリング特異性データ２２４が、航空機環境においてビルドコード２０２を検証する際に航空機の環境制御システム（environment control system、ＥＣＳ）がモデリングされないことを示す場合、少なくとも１つのシミュレーションモジュール２０６、２０８、及び２１０は、ＥＣＳなしでプログラムコードを実行するためのセーフティクリティカルシステムを用いて航空機環境をモデリングするようにプログラムすることができる。いくつかの例では、シミュレーションモジュール２０６、２０８、及び２１０の各々は、モデリング特異性データ２２４に基づく異なる特異性の程度に従って、そのそれぞれのシミュレーション環境をモデリングするようにプログラムすることができる。

【0048】

いくつかの例では、ＣＲＣモジュール２０４は、シミュレーションモジュール２０６、２０８、及び２１０に、順次構成又はループ構成でビルドコード２０２をシミュレーションさせ、各モジュールシミュレーションに続いて、後続のモジュールシミュレーションの前にそれぞれのシミュレーションモジュールによって識別された１つ以上のコーディング失敗を訂正させるようにプログラムすることができる。例えば、ＣＲＣモジュール２０４が、公称シミュレーションモジュール２０６によって提供されたシミュレーション結果データ２１８に基づいて、ビルドコード２０２内のコーディング失敗の第１のセットを識別した場合、ビルドコード２０２内のコーディング失敗のこの第１のセットは、ストレスシミュレーションモジュール２０８によるビルドコード２０２のシミュレーションの前に訂正することができる。いくつかの例では、ＣＲＣモジュール２０４が、ストレスシミュレーションモジュール２０８によって提供されたシミュレーション結果データ２２０に基づいて、ビルドコード２０２内の失敗の第２のセットを識別した場合、ビルドコード２０２内の失敗のこの第２のセットは、ストレスシミュレーションモジュール２０６によるビルドコード２０２のシミュレーションの前に訂正することができる。更なる例では、ＣＲＣモジュール２０４が、非公称シミュレーションモジュール２１０によって提供されたシミュレーション結果データ２２２に基づいてビルドコード２０２内の失敗の第３のセットを識別した場合、ビルドコード２０２内の失敗のこの第３のセットは、本明細書に記載されるのと同じ又は同様の方法で、公称シミュレーションモジュール２０６によるビルドコード２０２のシミュレーションの前に訂正することができる。

【0049】

例として、公称シミュレーションモジュール２０６は、公称シミュレーションパラメータデータ２１２に基づいてそれぞれのモデル化された環境においてビルドコード２０２をシミュレーションするようにプログラムすることができる。公称シミュレーションパラメータデータ２１２は、ＭＬシミュレーションパラメータアルゴリズム２２６によって提供することができる。ＭＬシミュレーションパラメータアルゴリズム２２６は、ビルドコード２０２のシミュレーションのためのそれぞれのシミュレーション環境を構成するために、各モジュール２０６、２０８、及び２１０のシミュレーションパラメータを提供する（例えば、推奨する）ようにプログラムすることができる。ＭＬシミュレーションパラメータアルゴリズム２２６は、シミュレーションパラメータトレーニングデータに基づいてトレーニングすることができる。

【0050】

いくつかの例では、公称シミュレーションパラメータデータ２１２は、プログラムコードがシミュレーションされるべき公称条件（例えば、プログラムコードの通常動作条件）に従ってそれぞれの環境をモデル化するための、公称条件データ及び／又はパラメータを含むことができる。いくつかの例では、公称シミュレーションパラメータデータ２１２は、システムの要素が設計通りに動作し、動作及び環境要因が計画及び予測通りになるように、それぞれの環境（例えば、航空機用途）の要素を特徴付けることができる。

【0051】

いくつかの例では、ＭＬシミュレーションパラメータアルゴリズム２２６は、学習されたシミュレーションパラメータ２２８のライブラリに基づいて公称シミュレーションパラメータデータ２１２を決定するようにプログラムすることができる。学習されたシミュレーションパラメータのライブラリ２２８は、以前のシミュレーション結果に基づいて開発されたシミュレーションパラメータ知識のライブラリに対応することができる。したがって、学習されたシミュレーションパラメータのライブラリは、モデル化されたプログラムコード環境のパラメータ及びシミュレーション結果データ（例えば、ＭＬシミュレーションパラメータアルゴリズム２２６によって推奨された以前のシミュレーションパラメータが、シミュレーションされたプログラムコードにおけるコーディング失敗をもたらしたかどうか）を構成するために、前のシミュレーションパラメータ（例えば、以前の公称、ストレス、及び／又は非公称シミュレーションパラメータ）を特徴付けることができる。

【0052】

公称シミュレーションパラメータデータ２１２に基づく公称シミュレーションモジュール２０６による各シミュレーション（例えば、エピック）に続いて、ＣＲＣモジュール２０４は、シミュレーション結果データ２１８及び公称シミュレーションパラメータデータ２１２を、学習されたシミュレーションパラメータ２２８のライブラリの一部として記憶するようにプログラムすることができ、その結果、後続のシミュレーションのために、ＭＬシミュレーションパラメータアルゴリズム２２６は、更新された公称シミュレーションパラメータデータを提供することができる。したがって、各シミュレーションに続いて、ＣＲＣモジュール２０４は、ＭＬシミュレーションパラメータアルゴリズム２２６が教師なし学習を介して再実施され得るように、各識別された失敗を公称シミュレーションパラメータデータ２１２と関連付け、その関連付けを、学習されたシミュレーションパラメータ２２８のライブラリ内に又はその一部として記憶するようにプログラムすることができる。

【0053】

ＭＬシミュレーションパラメータアルゴリズム２２６は、ＣＲＣモジュール２０４によって、更新された公称シミュレーションパラメータデータとして公称シミュレーションモジュール２０６に提供され得るシミュレーションパラメータの後続の決定（例えば、推奨）のために、学習されたシミュレーションパラメータの再実施されたライブラリを採用するようにプログラムすることができる。公称シミュレーションモジュール２０６は、更新された公称シミュレーションパラメータデータに基づいてそれぞれの環境をモデル化してビルドコード２０２をシミュレーションし、ビルドコード２０２内に追加のコーディング失敗が存在するかどうかを判定するようにプログラムすることができる。追加の失敗は、（例えば、ＣＲＣモジュール２０４によって）発見された場合、本明細書に記載されるのと同じ又は同様の方法で処理することができる。したがって、公称シミュレーションモジュール２０６における後続のシミュレーションは、ＭＬシミュレーションパラメータアルゴリズム２２６が、公称シミュレーションモジュール２０６におけるビルドコード２０２内の更なるコーディング失敗につながる可能性がより高い公称シミュレーションパラメータを識別するようにプログラムすることができるように、以前に学習されたイベントに基づいて修正することができる。

【0054】

更なる例として、ストレスシミュレーションモジュール２０８は、ストレスシミュレーションパラメータデータ２１４に基づいてそれぞれのモデル化された環境においてビルドコード２０２をシミュレーションするようにプログラムすることができる。ストレスシミュレーションパラメータデータ２１４は、ＭＬシミュレーションパラメータアルゴリズム２２６によって提供することができる。ストレスシミュレーションパラメータデータ２１４は、ビルドコード２０２がシミュレーションされるべきストレス影響条件に従ってそれぞれの環境をモデル化するための、ストレス条件データ及び／又はパラメータ（例えば、それぞれのコードについてタイミング要件が依然として保存されることを保証するために増加及び監視され得る異なるシナリオを作成するためのストレステスト）に対応することができる。いくつかの例では、ストレスシミュレーションパラメータデータ２１４は、それぞれの環境において作用し得るストレス条件を特徴付けることができ、そのうちのいくつかは、ビルドコード２０２の性能又は挙動に影響を及ぼし得る。

【0055】

いくつかの例では、ＭＬシミュレーションパラメータアルゴリズム２２６は、学習されたシミュレーションパラメータ２２８のライブラリに基づいてストレスシミュレーションパラメータデータ２１４を決定するようにプログラムすることができる。ストレスシミュレーションパラメータデータ２１４に基づくストレスシミュレーションモジュール２０８による各シミュレーション（例えば、エピック）に続いて、ＣＲＣモジュール２０４は、学習されたシミュレーションパラメータ２２８のライブラリの一部としてシミュレーション結果データ２２０を記憶するようにプログラムすることができ、その結果、後続のシミュレーションのために、ＭＬシミュレーションパラメータアルゴリズム２２６は、更新されたストレスシミュレーションパラメータデータを提供することができる。したがって、各シミュレーションに続いて、ＣＲＣモジュール２０４は、ＭＬシミュレーションパラメータアルゴリズム２２６が教師なし学習を介して再実施されるように、各識別された失敗をストレスシミュレーションパラメータデータ２１４と関連付け、その関連付けを、学習されたシミュレーションパラメータ２２８のライブラリ内に又はその一部として記憶するようにプログラムすることができる。

【0056】

ＭＬシミュレーションパラメータアルゴリズム２２６は、ＣＲＣモジュール２０４によって、更新されたストレスシミュレーションパラメータデータとしてストレスシミュレーションモジュール２０８に提供され得るストレスシミュレーションパラメータの後続の決定（例えば、推奨）のために、学習されたシミュレーションパラメータの再実施されたライブラリを採用するようにプログラムすることができる。ストレスシミュレーションモジュール２０８は、更新されたストレスシミュレーションパラメータデータに基づいてそれぞれの環境をモデル化してビルドコード２０２をシミュレーションし、ビルドコード２０２内に追加のコーディング失敗が存在するかどうかを判定するようにプログラムすることができる。追加のコーディング失敗は、（例えば、ＣＲＣモジュール２０４によって）発見された場合、本明細書に記載されるのと同じ又は同様の方法で処理され得る。したがって、ストレスシミュレーションモジュール２０８における後続のシミュレーションは、ＭＬシミュレーションパラメータアルゴリズム２２６が、ビルドコード２０２における更なる失敗につながる可能性がより高いストレスシミュレーションパラメータを選択又は識別するようにプログラムすることができるように、以前に学習されたイベントに基づいて修正することができる。

【0057】

更なる例として、非公称シミュレーションモジュール２１０は、非公称シミュレーションパラメータデータ２１６に基づいてそれぞれのモデル化された環境においてビルドコード２０２をシミュレーションするようにプログラムすることができる。非公称シミュレーションパラメータデータ２１６は、ＭＬシミュレーションパラメータアルゴリズム２２６によって提供することができる。非公称シミュレーションパラメータデータ２１６は、シミュレーション中にビルドコード２０２に影響を与え得るランダム条件に従ってそれぞれの環境をモデル化するための、公称外データ及び／又はパラメータに対応することができる。いくつかの例では、非公称シミュレーションパラメータデータ２１６は、システムの要素が設計通りに動作しているが、動作及び環境要因が計画又は予測通りではないように、それぞれの環境（例えば、航空機用途）の要素を特徴付けることができる。例えば、公称外データ及び／又はパラメータは、負の姿勢に対応することができ、シミュレーションの結果として負の姿勢が発見された場合、コードランタイムシミュレーションエンジン２００は、これを公称外条件としてフラグを立てることができる。何が公称外又は非公称であるかについての初期ルールは、学習されたシミュレーションパラメータ２２８のライブラリに基づいて生成することができる。しかしながら、コードランタイムシミュレーションエンジン２００が、レポートがユーザに提供されるますます多くのシミュレーションにさらされるにつれて、ユーザが追加の公称外条件を定義するにつれて、コードランタイムシミュレーションエンジン２００は、この経験から学習することができる。したがって、コードランタイムシミュレーションエンジン２００は、負の高度が異常である場合、負の対気速度も異常であるはずであり、負のコンパス方位も公称外の異常であるはずであると結論付けることができる。

【0058】

いくつかの例では、ＭＬシミュレーションパラメータアルゴリズム２２６は、学習されたシミュレーションパラメータ２２８のライブラリに基づいて非公称シミュレーションパラメータデータ２１６を決定するようにプログラムすることができる。非公称シミュレーションパラメータデータ２１６に基づく非公称シミュレーションモジュール２１０による各シミュレーション（例えば、エピック）に続いて、ＣＲＣモジュール２０４は、学習されたシミュレーションパラメータ２２８のライブラリの一部としてシミュレーション結果データ２２２を記憶するようにプログラムすることができ、その結果、後続のシミュレーションのために、ＭＬシミュレーションパラメータアルゴリズム２２６は、更新された非公称シミュレーションパラメータデータを提供するようにプログラムすることができる。したがって、各シミュレーションに続いて、ＣＲＣモジュール２０４は、ＭＬシミュレーションパラメータアルゴリズム２２６が教師なし学習を介して再実施されるように、各識別された失敗を非公称シミュレーションパラメータデータ２１６と関連付け、その関連付けを、学習されたシミュレーションパラメータ２２８のライブラリ内に又はその一部として記憶するようにプログラムすることができる。

【0059】

いくつかの例では、ＭＬシミュレーションパラメータアルゴリズム２２６は、ＣＲＣモジュール２０４によって、更新された非公称シミュレーションパラメータデータとして非公称シミュレーションモジュール２１０に提供され得る非公称シミュレーションパラメータの後続の決定（例えば、推奨）のために、学習されたシミュレーションパラメータの再実施されたライブラリを採用するようにプログラムすることができる。非公称シミュレーションモジュール２１０は、更新された非公称シミュレーションパラメータデータに基づいてそれぞれの環境をモデル化してビルドコード２０２をシミュレーションし、ビルドコード２０２内に追加のコーディング失敗が存在するかどうかを判定するようにプログラムすることができる。追加の失敗は、（例えば、ＣＲＣモジュール２０４によって）発見された場合、本明細書に記載されるのと同じ又は同様の方法で処理することができる。したがって、非公称シミュレーションモジュール２１０における後続のシミュレーションは、ＭＬシミュレーションパラメータアルゴリズム２２６が、非公称シミュレーションモジュール２１０におけるビルドコード２０２内の更なるコーディング失敗につながる可能性がより高い非公称シミュレーションパラメータを選択又は識別するようにプログラムすることができるように、以前に学習されたイベントに基づいて修正することができる。

【0060】

本明細書に記載される例では、単一のＭＬシミュレーションパラメータアルゴリズム及び学習されたシミュレーションパラメータの対応するライブラリが、シミュレーションパラメータ推奨のために採用されるが、他の例では、それぞれのＭＬシミュレーションパラメータアルゴリズム及びライブラリが、各シミュレーションモジュール２０６、２０８、及び２１０のために採用されることができる。したがって、いくつかの例では、第１のＭＬシミュレーションパラメータアルゴリズム及び学習されたシミュレーションパラメータの第１のライブラリを採用して、公称シミュレーションモジュール２０６のための公称シミュレーションパラメータデータ２１２を提供することができ、第２のＭＬシミュレーションパラメータアルゴリズム及び学習されたシミュレーションパラメータの第２のライブラリを採用して、ストレスシミュレーションモジュール２０８のためのストレスシミュレーションパラメータデータ２１４を提供することができ、第３のＭＬシミュレーションパラメータアルゴリズム及び学習されたシミュレーションパラメータの第３のライブラリを採用して、非公称シミュレーションモジュール２１０のための非公称シミュレーションパラメータデータ２１６を提供することができる。

【0061】

いくつかの例では、少なくとも１つの失敗が、それぞれのシミュレーション結果データ２１８、２２０、又は２２２に基づいてＣＲＣモジュール２０４によって発見された場合、ＣＲＣモジュール２０４は、コード失敗更新（code failure update、ＣＦＵ）モジュール２３０と通信するようにプログラムすることができる。いくつかの例では、ＣＦＵモジュール２３０は、学習されたコーディング失敗ソリューションのライブラリ２３２と通信するようにプログラムすることができる。学習されたコーディング失敗ソリューションのライブラリ２３２は、開発されたコード更新知識のライブラリに対応することができる。したがって、学習されたコーディング失敗ソリューションのライブラリ２３２は、ＣＦＵモジュール２３０によって実装された以前のコード失敗ソリューション（例えば、訂正、変更、修正など）を特徴付けることができる。学習されたコーディング失敗ソリューションのライブラリ２３２は、（例えば、プログラムコード１０６又は他のプログラムコード、ビルドコード２０２、及び／他のビルドコードに関連付けられた）１つ以上の以前のビルドコード内の１つ以上の以前のコーディング失敗と、発見された失敗を訂正するために実装するための関連付けられた更新（例えば、ソリューション）とを識別することができる。

【0062】

ＣＦＵモジュール２３０は、発見された失敗を訂正するための失敗訂正ソリューションを識別するために、発見された失敗に基づいて、学習されたコーディング失敗ソリューションのライブラリ２３２に問い合わせるようにプログラムすることができる。ＣＦＵモジュール２３０は、失敗訂正ソリューションに基づいて、ビルドコード２０２を更新して、発見された失敗を訂正し、更新されたビルドコード２３４を提供するようにプログラムすることができる。したがって、いくつかの例では、ビルドコード２０２内の発見された失敗は、学習されたコーディング失敗ソリューションのライブラリ２３２に基づいてＣＦＵモジュール２３０によって更新することができる。いくつかの例では、発見された失敗が新しい失敗であり、したがって、学習されたコーディング失敗ソリューションのライブラリ２３２によって識別されなかった場合、ＣＦＵモジュール２３０は、発見された失敗の手動訂正のために出力デバイス１１６上で（例えば、ユーザがアクセスすることができるディスプレイ上で）ユーザに警告するようにプログラムすることができる。

【0063】

更なる例として、学習されたコーディング失敗ソリューションのライブラリ２３２は、ＭＬコード失敗訂正（ML code failure correction、ＭＬ－ＣＦＣ）アルゴリズム２３６と通信することができる。いくつかの例では、ＭＬ－ＣＦＣアルゴリズム２３６は、学習されたコーディング失敗ソリューションのライブラリ２３２を含むことができる。ＭＬ－ＣＦＣアルゴリズム２３６は、学習されたコーディング失敗ソリューションのライブラリ２３２に基づいて、ビルドコード２０２内のコーディング失敗の訂正（例えば、ソリューション）を識別するようにプログラムすることができる。いくつかの例では、ＭＬ－ＣＦＣアルゴリズム２３６は、更新されたビルドコード２３４を提供するために、学習されたコーディング失敗ソリューションのライブラリ２３２に基づいて、発見された失敗を訂正するための失敗訂正ソリューションを識別するようにプログラムすることができる。

【0064】

いくつかの例では、対応するシミュレーションモジュール２０６、２０８、及び２１０によるそれぞれのシミュレーションに続いて、ＣＦＵモジュール２３０は、対応するシミュレーションモジュール２０６、２０８、及び２１０又は異なるシミュレーションモジュール２０６、２０８、及び２１０による後続のシミュレーションのために、更新されたビルドコード２３４をＣＲＣモジュール２０４に提供するようにプログラムすることができる。いくつかの例では、ＣＲＣモジュール２０４は、コーディング失敗が訂正されたかどうかを判定するために、対応するシミュレーション結果データ２１８、２２０、及び２２２を評価するようにプログラムすることができる。ＣＦＵモジュール２３０は、失敗訂正ソリューションに基づいて失敗が訂正されたかどうかの評価に基づいて、教師なし学習を介してＭＬ－ＣＦＣアルゴリズム２３６を再実施するために、学習されたコーディング失敗ソリューションのライブラリ２３２を更新するようにプログラムすることができる。いくつかの例では、対応するシミュレーションモジュール２０６、２０８、及び２１０によるそれぞれのシミュレーションに続いて、ＣＦＵモジュール２３０は、対応するシミュレーションモジュール２０６、２０８、及び２１０又は異なるシミュレーションモジュール２０６、２０８、及び２１０による後続のシミュレーションのために、更新されたビルドコード２３４をＣＲＣモジュール２０４に提供するようにプログラムすることができる。したがって、ビルドコード２０２は、コーディング失敗を訂正するために更新することができ、更新されたビルドコード２３４は、ＭＬシミュレーションパラメータアルゴリズム２２６によって提供される更新されたシミュレーションパラメータに基づいて、追加のコーディング失敗について、対応するシミュレーションモジュール２０６、２０８、及び２１０によってシミュレーションすることができる。

【0065】

いくつかの例では、ＣＦＵモジュール２３０は、コード更新要求２３８を生成するようにプログラムすることができる。コード更新要求２３８は、発見された失敗を識別することができる。コード更新要求２３８は、更新されたビルドコード２３４を提供するためのビルドコード２０２の手動更新（例えば、訂正）のために、ユーザに（例えば、出力デバイス１１６上で）提供することができる。例えば、ＣＦＵモジュール２３０は、出力デバイス１１６上でコード更新要求２３８とともにＧＵＩ出力データを提供するようにプログラムすることができるＧＵＩ生成器を含むことができる。ＧＵＩ出力データは、発見された失敗を訂正するためにユーザが対話することができる要素を含むことができる。

【0066】

いくつかの例では、ＣＲＣモジュール２０４は、コード失敗訂正結果データ２４０を生成するようにプログラムすることができる。コード失敗訂正結果データ２４０は、ビルドコード２０２において訂正され、かつ／又は訂正されていないコーディング失敗のタイプと数値コーディング失敗とを示すことができる。ＣＲＣモジュール２０４は、更新されたビルドコード２３４、したがってプログラムコード１０６の許容可能性を判定するなどの更なる処理のために、コード失敗訂正結果データ２４０をビルドコード出力モジュール１２０に通信するようにプログラムすることができる。したがって、コードランタイムシミュレーションエンジン２００は、プログラムコード１０６のソフトウェア開発中又はソフトウェア開発後にプログラムコード１０６内のコーディング失敗を訂正するようにプログラムすることができる。

【0067】

図３は、コード開発エンジン３００の一例を示す。いくつかの例では、コード開発エンジン３００は、システム１００内で採用することができ、したがって、図１に示すコード開発エンジン１１４に対応することができる。したがって、図３の例の以下の説明において、図１～図２の例を参照することができる。コード開発エンジン３００は、開発中にプログラムコード１０６を評価して、プログラムコード１０６がプログラムコード１０６に対して定義された開発標準を満たすかどうかを判定するようにプログラムすることができる。したがって、プログラムコードアプリケーション（例えば、プログラムコード１０６が、航空機などのセーフティクリティカル環境、銀行システムなどのセキュリティクリティカル環境などで使用されるかどうか）に基づいて、コード開発エンジン３００は、開発中にプログラムコード１０６を評価し、１人以上のユーザに推奨を提供するように、又は、いくつかの例では、開発標準に準拠するようにプログラムコード１０６を更新するようにプログラムすることができる。

【0068】

いくつかの例では、コード開発エンジン３００は、プログラムコード１０６のそれぞれのビルドのビルドコード３０２を受信するようにプログラムすることができる。コード開発エンジン３００は、コード評価モジュール３０４を採用することができる。コード評価モジュール３０４は、ＭＬ開発標準（ML development standard、ＭＬ－ＤＳ）アルゴリズム３０６と通信するようにプログラムすることができる。ＭＬ－ＤＳアルゴリズム３０６は、ビルドコード３０２がビルドコード開発標準に準拠するかどうかを判定するために、開発標準トレーニングデータに基づいてトレーニングすることができる。いくつかの例では、ＭＬ－ＤＳアルゴリズム３０６は、エンティティ、ユーザ（例えば、開発者）のグループ、ビルドコード環境（例えば、航空機用途）のためのビルドコード標準に基づいてトレーニングされる。ＭＬ－ＤＳアルゴリズム３０６は、学習されたコード開発標準のライブラリ３０８に基づいて、ビルドコード３０２がビルドコード開発標準に準拠するかどうかを判定するようにプログラムすることができる。学習されたコード開発標準のライブラリ３０８は、ビルドコード開発標準を特徴付けることができる。いくつかの例では、学習されたコード開発標準のライブラリ３０８は、プログラムコード１０６の開発のためのルールのセットを含み得る最良のコーディング実践を特徴付けることができる。したがって、いくつかの例では、学習されたコード開発標準のライブラリ３０６によって定義されるビルドコード開発標準は、プログラムコード１０６の仕様、プログラムコード１０６を開発するための１つ以上の実践、テスト、及び／又は標準を含むことができる。追加の例では、学習されたコード開発標準のライブラリ３０６によって定義されるビルドコード開発標準は、プログラムコード１０６の信頼性、堅牢性、セキュリティ、及び／又は安全性に関する正しい、好ましい、及び／又はソフトウェア開発実践を含むことができる。

【0069】

ＭＬ－ＤＳアルゴリズム３０６は、学習されたコード開発標準のライブラリ３０６に基づいて、ビルドコード３０２内のコーディングエラーについてビルドコード３０２を評価するようにプログラムすることができる。コーディングエラーとして、シンタックスエラー、ランタイムエラー、ロジックエラー、合併エラー、算術エラー、リソースエラー、インターフェースエラー、機能エラー、衝突、競合状態、変数割り当てエラー、バッファオーバーランなどを挙げることができる。いくつかの例では、コーディングエラーとして、ビルドコード３０２、したがってプログラムコード１０６の安全性に影響を及ぼし得る他のソフトウェアエラーを挙げることができる。ＭＬ－ＤＳアルゴリズム３０６は、学習されたコード開発標準のライブラリ３０８に基づいて、既知の履歴エラー及び／又は望ましくない特性についてビルドコード３０２を評価するようにプログラムすることができる。例えば、学習が増加するにつれて、望ましくない特性についての知識は増加されることができる。ビルドコード３０２は、ＣＰＵ利用に関して可能な限り多くの追加の帯域幅を可能にするように最適化することができる。例として、２つ以上の入力及び／又は出力を有するコードモジュールは、望ましくない可能性がある。いくつかの例では、セーフティクリティカル機能に関連するユーザ修正された構成可能パラメータは、権限制限が確立されていない限り許可されるべきではなく、望ましくない可能性がある。ＭＬ－ＤＳアルゴリズム３０６は、各識別された（例えば、発見された）コーディングエラーを、訂正のためにコード評価モジュール３０４に通信するようにプログラムすることができる。

【0070】

いくつかの例では、コード評価モジュール３０４は、コード更新訂正（code update correction、ＣＵＣ）モジュール３１０と通信するようにプログラムすることができる。ＣＵＣモジュール３１０は、ビルドコード３０２内の各発見されたコーディングエラーを識別するコーディングエラー情報を受信するようにプログラムすることができる。ＣＵＣモジュール３１０は、ＭＬコードエラー訂正（ML code error correction、ＭＬ－ＣＥＣ）アルゴリズム３１６と通信するようにプログラムすることができる。いくつかの例では、ＭＬ－ＣＥＣアルゴリズム３１６は、学習されたコーディングエラーソリューションのライブラリ３１２と通信することができる。学習されたコーディングエラーソリューションのライブラリ３１２は、開発されたコード訂正知識のライブラリに対応することができる。したがって、学習されたコーディングエラーソリューションのライブラリ３１２は、プログラムコード及び／又はビルドコード内のコーディングエラーのための前のエラー訂正ソリューション（例えば、更新、変更、修正など）を特徴付けることができる。

【0071】

いくつかの例では、ＭＬ－ＣＥＣアルゴリズム３１６は、更新されたビルドコード３１４を提供するために、学習されたコーディング訂正のライブラリ３１２に基づいて、ビルドコード３０２内の各発見されたコーディングエラーを訂正するためのエラー訂正ソリューションを識別する（例えば、推奨する）ようにプログラムすることができる。ＣＵＣモジュール３１０は、ビルドコード３０２を更新して各発見されたエラーを訂正し、識別されたエラー訂正ソリューションに基づいて、更新されたビルドコード３１４を提供するようにプログラムすることができる。したがって、ビルドコード３０２内の発見されたコーディングエラーは、ＭＬ－ＣＥＣアルゴリズム３１６によって推奨されるエラー訂正ソリューションに基づいて、ＣＵＣモジュール３１０によって更新することができる。

【0072】

いくつかの例では、発見されたコードエラーが新しいコーディングエラーであり、したがって、学習されたコーディングエラーソリューションのライブラリ３１２によって識別されない場合、ＣＵＣモジュール３１０は、新しいコーディングエラーの手動訂正のために（例えば、出力デバイス１１６上で）ユーザに警告するようにプログラムすることができる。いくつかの例では、ＣＵＣモジュール３１０は、発見されたエラーに対するエラー訂正ソリューションについて出力デバイス１１６上でユーザに警告するようにプログラムすることができ、ユーザは、エラー訂正ソリューションを評価して、発見されたエラーを訂正するためにエラー訂正ソリューションを使用すべきか、又は代替のエラー訂正ソリューションを採用すべきかを判定することができる。いくつかの例では、コード評価モジュール３０４は、更新されたビルドコード３１４をＭＬ－ＤＳアルゴリズム３０６に提供するようにプログラムすることができる。ＭＬ－ＤＳアルゴリズム３０６は、追加のコーディングエラーについて更新されたビルドコード３１４を評価するようにプログラムすることができる。いくつかの例では、訂正された発見されたエラーは、更新されたビルドコード３１４に、追加のコーディングエラーを提示させる可能性がある。ＭＬ－ＤＳアルゴリズム３０６は、本明細書に記載されるのと同じ又は同様の方法で、追加のコーディングエラーを、訂正のために発見するようにプログラムすることができる。

【0073】

いくつかの例では、コード評価モジュール３０４は、発見されたコーディングエラーが訂正されたかどうかの表示をＣＵＣモジュール３１０に提供するようにプログラムすることができる。例えば、ＭＬ－ＤＳアルゴリズム３０６が、追加のコーディングエラーに対する更新されたビルドコード３１４の評価において発見されたエラーを識別しない場合、ＣＵＣモジュール３１０は、将来のコーディングエラー訂正に対するＭＬ－ＣＥＣアルゴリズム３１６の学習を強化するようにプログラムすることができる。ＣＵＣモジュール３１０は、ＭＬ－ＣＥＣアルゴリズム３１６が教師なし学習を介して再実施されるように、学習されたコーディングエラーソリューションのライブラリ３１２を更新して、発見されたコーディングエラーに対するエラー訂正ソリューションを含むようにプログラムすることができる。

【0074】

いくつかの例では、コード評価モジュール３０４は、ビルドコード３０２を静的コードテストモジュール３１８に通信するようにプログラムすることができる。静的コードテストモジュール３１８は、静的解析手法を適用して（例えば、ビルドコード３０２を実行することなく）ビルドコード３０２を検査するようにプログラムすることができる。静的コードテストモジュール３１８は、ビルドコード３０２を評価して、ビルドコード３０２が、プログラミングエラーを含むかどうか、コーディング標準に違反するかどうか（例えば、ビルドコード３０２が、様々なコンストラクトにおけるインデント数、スペース／タブの使用及び／又は同様のものなどの、ビルドコード３０２のために定義されたコーディングフォーマットに違反するかどうか）、未定義の値、シンタックス違反、セキュリティ脆弱性及び／若しくは同様のものを有するかどうか、を判定するようにプログラムすることができる。

【0075】

静的コードテストモジュール３１８は、静的コード解析に基づいて識別されたビルドコード３０２内のコーディングエラーを特徴付ける静的コード評価コーディングエラー情報を、コード評価モジュール３０４に通信するようにプログラムすることができる。静的コード解析に基づいて識別されたビルドコード３０２内のコーディングエラーは、静的識別コーディングエラーと呼ぶことができる。コード評価モジュール３０４は、学習されたコード開発標準のライブラリ３０８が、教師なし学習を介して再実施されるように、静的コード評価コーディングエラー情報に基づいて、学習されたコード開発標準のライブラリ３０８を更新するようにプログラムすることができる。したがって、学習されたコード開発標準のライブラリ３０８は、ＭＬ－ＤＳアルゴリズム３０６が、後続のビルドコード標準開発評価において静的に識別されたコーディングエラーを識別する（例えば、発見する）ようにプログラムすることができるように、静的に識別されたコーディングエラーに基づく静的コードテストルールを含むように更新することができる。

【0076】

いくつかの例では、コード評価モジュール３０４は、静的に識別されたコーディングエラーを、ＣＵＣモジュール３１０に通信するようにプログラムすることができる。ＣＵＣモジュール３１０は、更新されたビルドコード３１４を提供するために、ＭＬ－ＣＥＣアルゴリズム３１６を採用して、学習されたコーディングエラーソリューションのライブラリ３１２に基づいてエラー訂正ソリューションを識別するようにプログラムすることができる。ＣＵＣモジュール３１０は、エラー訂正ソリューションに基づいて、ビルドコード３０２を更新してビルドコード３０２内の静的に識別されたコーディングエラーを訂正し、更新されたビルドコード３１４を提供するようにプログラムすることができる。いくつかの例では、ＣＵＣモジュール３１０は、静的に識別されたコーディングエラーに関して出力デバイス１１６上でユーザに警告し、静的に識別されたコーディングエラーを訂正するためにユーザがビルドコード３０２を訂正することを可能にするようにプログラムすることができ、したがって、更新されたビルドコード３１４が提供されるようにすることができる。更なる例では、ＣＵＣモジュール３１０は、静的に識別されたコーディングエラーを訂正する際にユーザを支援するために、エラー訂正ソリューションを出力デバイス上に出力するようにプログラムすることができる。

【0077】

いくつかの例では、コード評価モジュール３０４は、ビルドコード３０２内の静的に識別されたコーディングエラーが訂正されたかどうかの表示をＣＵＣモジュール３１０に提供するようにプログラムすることができる。例えば、ＭＬ－ＤＳアルゴリズム３０６が、（例えば、コーディングエラーについて）更新されたビルドコード３１４の後続の評価において、静的に識別されたコーディングエラーを識別しない場合、ＣＵＣモジュール３１０は、ＭＬ－ＣＥＣアルゴリズム３１６の学習を強化するようにプログラムすることができる。ＣＵＣモジュール３１０は、ＭＬ－ＣＥＣアルゴリズム３１６の学習が教師なし学習を介して再実施されるように、学習されたコーディングエラーソリューションのライブラリ３１２を更新して、静的に識別されたコーディングエラーを含むようにプログラムすることができる。

【0078】

いくつかの例では、コード評価モジュール３０４は、ビルドコード３０２をコードカバレッジテストモジュール３２０に通信するようにプログラムすることができる。コードカバレッジテストモジュール３２０は、コードカバレッジ解析手法を適用して、テストケースに基づいてビルドコード３０２を検査し、ビルドコード３０２の実行中に行使された又は行使されなかったビルドコード３０２の量を決定するようにプログラムすることができる。各テストケースは、学習されたテストケースのライブラリ３２２に記憶することができる。学習されたテストケースのライブラリ３２２に記憶された各テストケースは、テスト目的（例えば、特定のプログラムパスを行使するため、又は仕様要件への準拠を検証するため）を達成するためのビルドコード３０２に対する入力、実行条件、テスト手順、及び／又は予想される結果の仕様を識別することができる。いくつかの例では、学習されたテストケースのライブラリは、ビルドコード３０２の要件が満たされていることを検証するための正式に定義されたテストケース、及び／又はビルドコード３０２が同様のクラスのビルドコードとして期待通りに動作していることを検証するための非公式に定義されたテストケースを含むことができる。

【0079】

コードカバレッジテストモジュール３２０は、学習されたテストケースのライブラリ３２２からのそれぞれのテストケースに従って実行中にビルドコード３０２を評価する（例えば、監視する）ようにプログラムすることができる。コードカバレッジテストモジュール３２０は、コードカバレッジレポートデータを提供するようにプログラムすることができる。コードカバレッジレポートデータは、関数カバレッジ情報（例えば、ビルドコード３０２内のいくつの関数が実行されたか）、ステートメントカバレッジ情報（例えば、ビルドコード３０２内のいくつのステートメントが実行されたかの情報）、分岐カバレッジ情報（例えば、ビルドコード３０２内のいくつの分岐が実行されたか）、条件カバレッジ情報（例えば、ビルドコード３０２内のいくつのブール式が真及び偽の値についてテストされたか）、ラインカバレッジ情報（例えば、ビルドコード３０２のコードのいくつのラインがテストされたか）、修正条件／決定カバレッジ（modified condition/decision coverage、ＭＣＤＣ）、エッジカバレッジ（例えば、制御フローグラフのいくつのエッジが実行されたか）などを含むことができる。

【0080】

コードカバレッジテストモジュール３２０は、コードカバレッジレポートデータをコード評価モジュール３０４に通信するようにプログラムすることができる。コード評価モジュール３０４は、コードカバレッジレポートデータに基づいてビルドコード３０２内の異常の第１のセット（例えば、１つ以上の異常）を識別するようにプログラムすることができる。異常の第１のセットは、ビルドコード３０２内の異常を引き起こすコーディングエラーを識別するために、エラー異常データベースに対してコード評価モジュール３０４によって評価され得る。ビルド３０２内の異常を引き起こすコーディングエラーは、コードカバレッジ識別されたコーディングエラーと呼ぶことができる。

【0081】

例として、コード評価モジュール３２０は、開発中に、又はユーザがリスクアセスメントのためにシステムに要求を行う評価プロセスの任意の時点で、ビルドコード３０２の「ステートメントカバレッジ」アセスメントを連続的に行うようにプログラムすることができる。コード評価モジュール３２０がビルドコード３２０の連続的な「ステートメントカバレッジ」アセスメントを実行すると、デッドコードが発見され得る。ＣＵＣモジュール３１０は、機能的影響がないことを保証するためのシミュレーションが後に続くデッドコードを除去するようにプログラムすることができる。いくつかの例では、コード評価モジュール３２０は、デッドコードへのジャンプがないことを保証することを選択するようにプログラムすることができる。コード評価モジュール３２０は、デッドコードへの全てのジャンプが排除されたという信頼性に基づいて、デッドコードを除去するか又はデッドコードを保持するかのいずれかの選択肢を、出力デバイス１１６を介してユーザに報告するようにプログラムすることができる。コード評価モジュール３２０は、ユーザ決定を覚え、これを学習されたコーディングエラーソリューションのライブラリ３１２に記憶するようにプログラムすることができる。ステートメントカバレッジを介して将来のデッドコード評価を評価するとき、コード評価モジュール３２０は、ジャンプが除去されたという信頼性を持ってコードを保持するのではなく、デッドコードを除去することをユーザが好むことを学習する。したがって、コード評価モジュール３２０は、ここで、プログラムコード１０６が変化する（例えば、進化する）につれて、デッドコードを検出及び排除することを知る。

【0082】

コーディング異常データベースは、異常と、識別された異常を引き起こし得るそれぞれのコーディングエラーとを識別することができる。コード評価モジュール↓３０４は、学習されたコード開発標準のライブラリ３０８が教師なし学習を介して再実施されるように、コードカバレッジ識別されたコーディングエラーに基づいて、コードカバーカバレッジテストルールを含むように、学習されたコード開発標準のライブラリ３０８を更新するようにプログラムすることができる。したがって、ＭＬ－ＤＳアルゴリズム３０６は、カバーカバレッジテストルールに基づいて、（例えば、プログラムコード又は異なるプログラムコードの）ビルドコード内のコードカバレッジ識別されたコーディングエラーを識別する（例えば、発見する）ようにプログラムすることができる。

【0083】

いくつかの例では、コード評価モジュール３０４は、コードカバレッジ識別されたコーディングエラーをＣＵＣモジュール３１０に通信するようにプログラムすることができる。ＣＵＣモジュール３１０は、更新されたビルドコード３１４を提供するために、学習されたコーディング訂正のライブラリ３１２に基づいて、コードカバレッジ識別されたコーディングエラーに対するエラー訂正ソリューションを識別するために、ＭＬ－ＣＥＣアルゴリズム３１６を採用するようにプログラムすることができる。いくつかの例では、ＣＵＣモジュール３１０は、コードカバレッジ識別されたコーディングエラーに関して出力デバイス１１６上でユーザに警告し、コードカバレッジ識別されたコーディングエラーを訂正するためにユーザがビルドコード３０２を訂正することを可能にするようにプログラムすることができ、したがって、更新されたビルドコード３１４が提供されるようにすることができる。更なる例では、ＣＵＣモジュール３１０は、コードカバレッジ識別されたコーディングエラーを訂正する際にユーザを支援するために、エラー訂正ソリューションを出力デバイス１１６上に出力するようにプログラムすることができる。

【0084】

いくつかの例では、コード評価モジュール３０４は、ビルドコード３０２内のコードカバレッジ識別されたコーディングエラーが訂正されたかどうかの表示をＣＵＣモジュール３１０に提供するようにプログラムすることができる。例えば、ＭＬ－ＤＳアルゴリズム３０６が、（例えば、コーディングエラーについて）更新されたビルドコード３１４の後続の評価において、コードカバレッジ識別されたコーディングエラーを識別しない場合、ＣＵＣモジュール３１０は、ＭＬ－ＣＥＣアルゴリズム３１６の学習を強化するようにプログラムすることができる。ＣＵＣモジュール３１０は、ＭＬ－ＣＥＣアルゴリズム３１６の学習が教師なし学習を介して再実施されるように、学習されたコーディングエラーソリューションのライブラリ３１２を更新して、コードカバレッジ識別されたコーディングエラーを含むようにプログラムすることができる。

【0085】

いくつかの例では、コード評価モジュール３０４は、ビルドコード３０２の挙動をテストしてビルドコード３０２内のコーディング異常を識別する（例えば、発見する）ようにプログラムすることができる。例えば、コード評価が例えばセーフティクリティカルコードであった場合、コード評価モジュール３０４によって、出力の決定論及びタイミングを考慮することができる。結果として、コード評価モジュール３０４は、コード出力の決定論的側面が保証されることを保証するために、テストを適用し、各テストの結果を評価するようにプログラムすることができる。別の例では、コードの目的がターゲット捕捉であった場合、コード評価モジュール３０４によって精度を考慮することができる。その結果、コード評価モジュール３０４は、ターゲット捕捉が低レベルの曖昧さを有し、かつ正確なターゲットの信頼性が許容可能なレベルであることを保証するようにプログラムすることができる。

【0086】

いくつかの例では、ビルドコード３０２の挙動は、学習されたテストケースのライブラリ３２２からのテストケースに基づいて、コード評価モジュール３０４によってテストすることができる。ＭＬに基づいて、コード評価モジュール３０４は、ＳＷが許容可能に安全であるという信頼性をユーザに提供するために、どのテストが実行されなければならないかを理解するようにプログラムすることができる。ターゲット捕捉に関連付けられた、評価されている新しいコードが提示されると、コード評価モジュール３０４は、ＭＬ履歴（例えば、学習されたテストケースのライブラリ３２２）に基づいて、ターゲット捕捉システムが典型的にテストのセットにさらされることを知る。コード評価モジュール３０４は、要求される信頼性レベルを得るために追加のテストが必要であると判定し、次いでこれらの追加のテストを学習されたテストケースのライブラリ３２２に追加するようにプログラムすることができる。

【0087】

コード評価モジュール３０４は、少なくとも１つのテストケースに従ってビルドコード３０２の挙動を特徴付けるテストケース結果データを生成するようにプログラムすることができる。コード評価モジュール３０４は、テストケース結果データに基づいてビルドコード３０２内の異常の第２のセット（例えば、１つ以上の異常）を識別するために、テストケース結果データを評価するようにプログラムすることができる。異常の第２のセットは、ビルドコード３０２内の異常を引き起こすコーディングエラーを識別するために、エラー異常データベースに対してコード評価モジュール３０４によって評価され得る。異常の第２のセットによって引き起こされるコーディングエラーは、テストケース識別されたコーディングエラーと呼ぶことができる。

【0088】

例えば、テストが導入され実行されると、コード評価モジュール３０４によってテストの有効性を判定するために、後続のシミュレーションが行われる。テストの進化によりいくつかの検出物が成功裏に排除された場合、コード評価モジュール３０４は、テストの有効性を知ることができ、それを学習されたエピックとして適用し、それを学習されたテストケースのライブラリ３２２に追加することができる。他のテストが全く又はほとんど利益をもたらさない場合、コード評価モジュール３０４は、これらのテストを低い優先順位に置くようにプログラムすることができる。結果として、コード評価モジュール３０４は、特定のテストが大きな利益を提供し、テストが低い利益をもたらすよりも高い優先度で実行されるべきであることを学習するようにプログラムすることができる。いくつかの例では、コード評価３０４がプログラムされているのは、リスクを可能な限り低減するために最も優先度の高いテストを最初に実行して、結果を出力デバイス１１６上でユーザに報告することである。いくつかの例では、ユーザが更に多くの保証信頼性を望む場合、より低い優先順位のテストを実行して、コーナーケース異常を排除することができる。

【0089】

コード評価モジュール３０４は、学習されたコード開発標準のライブラリ３０８が、教師なし学習を介して再実施されるように、テストケース識別されたコーディングエラー情報に基づいて、学習されたコード開発標準のライブラリ３０８を更新するようにプログラムすることができる。したがって、学習されたコード開発標準のライブラリ３０８は、ＭＬ－ＤＳアルゴリズム３０６が、後続のビルドコード標準開発評価においてテストケース識別されたコーディングエラーを識別する（例えば、発見する）ようにプログラムすることができるように、テストケース識別されたコーディングエラーに基づくテストケースルールを含むように更新することができる。

【0090】

いくつかの例では、コード評価モジュール３０４は、テストケース識別されたコーディングエラーをＣＵＣモジュール３１０に通信するようにプログラムすることができる。ＣＵＣモジュール３１０は、更新されたビルドコード３１４を提供するために、学習されたコーディング訂正のライブラリ３１２に基づいて、テストケース識別されたコーディングエラーに対するエラー訂正ソリューションを識別するために、ＭＬ－ＣＥＣアルゴリズム３１６を採用するようにプログラムすることができる。いくつかの例では、ＣＵＣモジュール３１０は、テストケース識別されたコーディングエラーに関して出力デバイス１１６上でユーザに警告し、テストケース識別されたコーディングエラーを訂正するためにユーザがビルドコード３０２を訂正することを可能にするようにプログラムすることができ、したがって、更新されたビルドコード３１４が提供されるようにすることができる。更なる例では、ＣＵＣモジュール３１０は、テストケース識別されたコーディングエラーを訂正する際にユーザを支援するために、エラー訂正ソリューションを出力デバイス１１６上に出力するようにプログラムすることができる。

【0091】

いくつかの例では、コード評価モジュール３０４は、ビルドコード３０２内のテストケース識別されたコーディングエラーが訂正されたかどうかの表示をＣＵＣモジュール３１０に提供するようにプログラムすることができる。例えば、ＭＬ－ＤＳアルゴリズム３０６が、（例えば、コーディングエラーについて）更新されたビルドコード３１４の後続の評価において、テストケース識別されたコーディングエラーを識別しない場合、ＣＵＣモジュール３１０は、ＭＬ－ＣＥＣアルゴリズム３１６の学習を強化するようにプログラムすることができる。ＣＵＣモジュール３１０は、ＭＬ－ＣＥＣアルゴリズム３１６の学習が教師なし学習を介して再実施されるように、学習されたコーディングエラーソリューションのライブラリ３１２を更新して、テストケース識別されたコーディングエラーを含むようにプログラムすることができる。

【0092】

いくつかの例では、コード評価モジュール３０４は、ＭＬテストケース生成器３２４と通信するようにプログラムすることができる。ＭＬテストケース生成器３２４は、学習されたテストケースのライブラリ３２２に基づいて、ビルドコード３０２の挙動をテストするためのテストケースを推奨するようにプログラムすることができる。ＭＬテストケース生成器３２４は、本明細書に記載されるように、ビルドコード３０２の挙動をテストするために、テストケースをコード評価モジュール３０４に提供するようにプログラムすることができる。したがって、コード評価モジュール３０４は、ＭＬテストケース生成器３２４によって推奨されるそれぞれのテストケースに従って、ビルドコードデータ３０２の挙動を特徴付けるテストケースデータを生成するようにプログラムすることができる。ＭＬテストケース生成器３２４によって識別されたテストケースは、本明細書に記載されるように、ビルドコード３０２内のコーディング異常を発見するために、ビルドコード３０２の挙動をテストするために採用することができる。ＭＬテストケース生成器３２４は、ビルドコード３０２内の更なる異常につながる可能性がより高いテストを識別するように強化することができる。したがって、ＭＬテストケース生成器３２４のテスト推奨品質は、ビルドコード３０２内の異常につながる可能性がより高いテストをより効果的に識別するために、各テスト推奨に従って改善することができ、それによって、プログラムコードの許容可能性のレベルを増加させる。

【0093】

更なる例として、コード評価モジュール３０４は、コードエラー訂正結果データ３２６を生成するようにプログラムすることができる。コードエラー訂正結果データ３２６は、ビルドコード３０２において訂正され、かつ／又は訂正されていないコーディングエラーのタイプと数値コーディングエラーとを示すことができる。コード評価モジュール３０４は、本明細書に記載されるように、更新されたビルドコード３１４、したがってプログラムコード１０６の許容可能性を判定するなどの更なる処理のために、コードエラー訂正データ３２６をビルドコード出力モジュール１２０に通信するようにプログラムすることができる。

【0094】

したがって、コード開発エンジン３００は、プログラムコード１０６の開発中にコーディングエラーを訂正するようにプログラムすることができる。いくつかの例では、コード開発エンジン３００は、コーディングエラーに関して出力デバイス１１６上でユーザに警告し、プログラムコード１０６内のコーディングエラーを訂正するためのエラー訂正ソリューションを提供することができる。コーディング開発エンジン３００は、プログラムコード１０６がプログラムコード１０６に対して定義された開発標準に準拠し、それによってプログラムコード１０６のコーディング品質を改善するように、プログラムコード１０６のユーザ（例えば、開発者）を支援するように構成することができる。更に、開発中にプログラムコード１０６のコーディングエラーを訂正することにより、プログラムコード１０６の早期展開が可能となる。

【0095】

図４は、ビルドコード出力モジュール４００の一例を示す。いくつかの例では、ビルドコード出力モジュール４００は、図１に示すようなビルドコード出力モジュール１２０に対応することができる。したがって、図４の例の以下の説明において、図１～図３の例を参照することができる。ビルドコード出力モジュール４００は、許容可能性判定モジュール４０２及びプログラムコード更新モジュール４０４を含むことができる。許容可能性判定モジュール４０２は、コード失敗訂正結果データ４０６及びコードエラー訂正結果データ４０８を受信するようにプログラムすることができる。コード失敗訂正結果データ４０６は、図２に示したコード失敗訂正結果データ２４０に対応することができる。コードエラー訂正結果データ４０８は、図３に示したコード失敗エラー結果データ３２６に対応することができる。

【0096】

許容可能性判定モジュール４０２は、更新されたビルドコード４１０を評価して、更新されたビルドコード４１０が展開のために許容可能である（例えば、使用のためにより安全である）かどうかを判定するようにプログラムすることができる。更新されたビルドコード４１０は、図１に示すように、更新されたビルドコード１１８に対応することができる。したがって、いくつかの例では、更新されたビルドコード４１０は、図１に示すように、コード開発エンジン１１４及び／又はコードランタイムシミュレーションエンジン１２２によって行われたビルドコード１１２への変更を含むことができる。いくつかの例では、更新されたビルドコード４１０は、図２に示されるような更新されたビルドコード２３４、又は図３に示されるような更新されたビルドコード３１４に対応することができる。許容可能性判定モジュール４０２は、許容可能リスクデータ４１２を受信するようにプログラムすることができる。許容可能リスクデータ４１２は、更新されたビルドコード４１０に対して許容可能であるとユーザが判定したリスクのレベルを示すことができる。例えば、リスクレベルは、更新されたビルドコード４１０に対して許容可能であるとユーザがみなした値又は確率に対応することができる。

【0097】

いくつかの例では、許容可能性判定モジュール４０２は、発見されたコーディング欠陥のタイプ（例えば、失敗及び／又はエラー）と、ビルドコード２０２内の識別されたコーディング欠陥がコード失敗訂正データ４０６及び／又はコードエラー訂正データ４０８に基づいて訂正されたかどうかとに基づいて、コード許容可能性基準閾値を更新するようにプログラムすることができる。許容可能性判定モジュール４０２は、コーディング欠陥条件リスト４１４に対してコーディング欠陥のタイプを評価して、それぞれのコーディング欠陥値を識別するようにプログラムすることができる。許容可能性判定モジュール４０２は、それぞれのコード欠陥値に基づいてコード許容可能性基準閾値を更新するようにプログラムすることができる。いくつかの例では、コーディング欠陥条件リスト４１４は、コーディング欠陥のタイプに関するカテゴリを含み、各カテゴリコーディング欠陥をコーディング欠陥値に関連付けることができる。

【0098】

例として、コーディング欠陥条件リスト４１４は、破局的故障カテゴリ、危険故障カテゴリ、重故障カテゴリ、軽故障カテゴリ、及び／又は無影響故障カテゴリを含むことができる。破局的故障カテゴリは、クラッシュ又は人命の喪失を引き起こす可能性があるそれぞれのビルドコードにおける破局的故障に対応することができる。危険故障カテゴリは、システム（例えば、航空機）又はシステムのオペレータが適切に動作する能力を低下させる可能性があり、したがってシステムの安全性又は少なくとも性能に影響を与える、それぞれのビルドコードにおける危険故障に対応することができる。重故障カテゴリは、危険故障よりも影響が少ない可能性があるが、本質的に重大であるか、又は少なくともシステムの機能性を著しく低下させる可能性がある、それぞれのビルドコード内の重故障に対応することができる。軽故障カテゴリは、システムに対する影響が重故障よりも少ない可能性があるが、システムの性能において顕著である、対応するビルドコードにおける軽故障に対応することができる。無影響故障カテゴリは、システムの安全性、システムの動作、又はシステムオペレータの作業負荷に影響を及ぼさない無影響故障に対応することができる。

【0099】

上述したように、各カテゴリ故障タイプは、コーディング欠陥値に関連付けられる。システム（例えば、航空機）の安全性に対してより大きい影響を有する故障カテゴリは、システムの安全性に対して低減された影響を有する故障カテゴリよりも大きい故障値を有することができる。例えば、破局的故障カテゴリのコーディング欠陥値は、重故障カテゴリのコーディング欠陥値よりも大きい可能性があり、危険故障カテゴリのコーディング欠陥値は、重故障カテゴリのコーディング欠陥値よりも大きい可能性がある。重故障カテゴリは、軽カテゴリ故障よりも大きいコーディング欠陥値を有する可能性があり、軽カテゴリ故障は、無影響故障カテゴリよりも大きいコーディング欠陥値を有する。いくつかの例では、コーディング欠陥条件リスト４１４は、論理エラー失敗カテゴリ、シンタックス失敗カテゴリ、セマンティックエラーカテゴリ、ランタイム失敗カテゴリ、及び／又は同様のエラーコーディングカテゴリを含むことができ、これらのカテゴリの各々は、それぞれのコーディング欠陥値に関連付けられ得る。

【0100】

いくつかの例では、許容可能性判定モジュール４０２は、コーディング欠陥条件リスト４１４からのコーディング欠陥値に基づいて、コード許容可能性基準閾値を新しい値に更新するようにプログラムすることができる。コード許容可能性基準閾値のこの更新は、更新されたコード許容可能性基準閾値を提供するための、コード許容可能性基準閾値に対するコーディング欠陥値の乗算、除算、減算、又は加算することを含むことができる。例えば、更新されたビルドコード４１０を提供するためにビルドコード１１２における破壊的故障、危険故障、及び／又は重故障が訂正されると、コード許容可能性基準閾値は、更新されたビルドコード４１０の許容可能性を反映するように更新することができる。いくつかの例では、コード許容可能性基準閾値は、許容可能リスクデータ４１２によって定義される更新されたビルドコード４１０に対して許容可能であるとユーザが判定したリスクのレベル以上であることができる。許容可能性判定モジュール４０２は、更新されたビルドコード４１０がセーフティクリティカル用途などのプログラムコード環境での使用に許容可能であることを示す、許容可能性表示データ４１６を提供するようにプログラムすることができる。許容可能性判定モジュール４０２は、プログラムコード１０６のそれぞれのビルドに対応する更新されたビルドコード４１０が使用のために許容可能である（例えば、使用のためにより安全である）ことをユーザに警告するために、許容可能性表示データ４１６を出力デバイス１１６に通信するようにプログラムすることができる。

【0101】

いくつかの例では、許容可能性判定モジュール４０２は、安全目標データ４１８を受信するようにプログラムすることができる。許容可能性判定モジュール４０２は、安全目標データ４１８に基づいて、更新されたビルドコード４１０がプログラムコード１０６の安全要件又は安全目標に準拠するリスク確率を計算するようにプログラムすることができる。いくつかの例では、許容可能性判定モジュール４０２は、安全目標データ４１８に基づいて、プログラムコード１０６に対する安全性又は目標の遵守について、更新されたビルドコード４１０を評価するようにプログラムすることができる。許容可能性判定モジュール４０２は、更新されたビルドコード４１０が許容可能であるかどうかを判定するために、ユーザ及び／又はエンティティによって定義された許容可能リスクのレベルに対してリスク確率を評価するようにプログラムすることができる。いくつかの例では、許容可能性判定モジュール４０２は、更新されたビルドコード４１０がプログラムコード１０６のそれぞれのビルドに対応して許容可能であることを出力デバイス１１６上でユーザに警告するようにプログラムすることができる。いくつかの例では、許容可能性判定モジュール４０２は、更新されたビルドコード４１０の安全性リスクの表示をユーザに提供するために、許容可能性表示データ４１６としてリスク確率を出力デバイス１１６上に提供するようにプログラムすることができる。

【0102】

いくつかの例では、許容可能性判定モジュール４０２は、プログラムコード更新モジュール４０４と通信してプログラムコード１０６を修正して、更新されたプログラムコード４１０を提供するようにプログラムすることができる。プログラムコード更新モジュール４０４は、更新されたビルドコード４１０を採用してプログラムコードモデル１１０又はプログラムコード１０６を更新するようにプログラムすることができる。したがって、コード開発エンジン１１４によってコーディングエラーが訂正されて、更新されたビルドコード４１０が提供されると、プログラムコード更新モジュール４０４は、プログラムコードモデル１１０又はプログラムコード１０６を更新して、プログラムコード１０６内のこれらのコーディングエラーを訂正するようにプログラムすることができる。いくつかの例では、コードランタイムシミュレーションエンジン１２２によってコーディング失敗が訂正されて、更新されたビルドコード４１０が提供されると、プログラムコード更新モジュール４０４は、プログラムコードモデル１１０又はプログラムコード１０６を更新して、プログラムコード１０６内のこれらのコーディング失敗についてプログラムコード１０６を訂正するようにプログラムすることができる。いくつかの例では、プログラムコード更新モジュール４０４は、更新されたビルドコード４１０を更新されたプログラムコード４１０として（例えば、ユーザに）提供するようにプログラムすることができる。したがって、プログラムコード更新モジュール４０４は、更新されたプログラムコード４１０を提供するために開発システムとインターフェースするようにプログラムすることができる。

【0103】

これに応じて、ビルドコード出力モジュール４００は、更新されたビルドコード４１０が許容可能であるかどうか、したがっていくつかの例では、セーフティクリティカル用途での使用のためにより安全であるかどうかを判定するようにプログラムすることができる。いくつかの例では、ビルドコード出力モジュール４００は、コード開発エンジン１１４及び／又はコードランタイムシミュレーションエンジン１２２によって識別されたプログラムコード１０６内の欠陥（例えば、失敗及び／又はエラー）を訂正するために、１人以上のユーザがプログラムコード１０６を開発しているときにプログラムコード１０６を更新し、それによってプログラムコード品質（例えば、プログラムコード１０６の機能及び構造的品質）を改善するようにプログラムすることができる。

【0104】

前述の構造的及び機能的特徴を考慮して、例示的な方法は、図５～図６を参照してより良好に認識されるであろう。説明を簡単にする目的で、図５～図６の例示的な方法は、連続的に実行されるように示され、説明されているが、いくつかの動作は、他の例では、異なる順序で、複数回、及び／又は本明細書に示され記載されているものと並行して起こり得るので、本例示的な方法は、図示されている順序によって制限されないことを理解及び認識されたい。

【0105】

図５は、プログラムエラー訂正及び許容可能性判定のための方法５００の一例を示す。方法５００は、図１に示すようなシステム１００によって実装することができる。したがって、図５の例の以下の説明において、図１～図３の例を参照することができる。方法５００は、５０２において、プログラムコードのソフトウェア開発中のある段階におけるプログラムコード（例えば、図１に示されるようなプログラムコード１０６）を表すことができるビルドコード（例えば、図１に示されるようなビルドコード１１２）を提供することによって開始することができる。５０４において、学習されたコーディング開発標準のライブラリ（例えば、図３に示すような学習されたコーディング開発標準のライブラリ３０８）に基づいて、ビルドコードを（例えば、図１に示すようなコーディング開発エンジン１１４によって）評価して、ビルドコード内のコーディングエラーを識別することができる。学習されたコーディング開発標準のライブラリは、プログラムコードのソフトウェア開発のためのルール及び／又は制約を特徴付けることができる。

【0106】

５０６において、コーディングエラーを訂正するためのエラー訂正ソリューションを、コーディングエラーの評価と、学習されたコーディングエラーソリューションのライブラリ（例えば、図３に示されるような学習されたコーディングエラーソリューションのライブラリ３１２）とに基づいて、（例えば、図３に示されるようなＭＬ－ＣＥＣアルゴリズム３１６によって）推奨することができる。学習されたコーディングエラーソリューションのライブラリは、プログラムコード及び／又はビルドコード内のコーディングエラーのための前のエラー訂正ソリューションを特徴付けることができる。５０８において、エラー訂正ソリューションに基づいて、ビルドコードを（例えば、図３に示すようなＣＵＣモジュール３１０によって）更新して、ビルドコード内のコーディングエラーを訂正することができる。５１０において、ビルドコード内のコーディングエラーを訂正することに応答して、（例えば、図４に示されるような許容可能リスクデータ４１２によって定義されるような）ビルドコードについての許容可能リスクのレベルに基づいて、ビルドコードがプログラムコードのためのプログラムコード環境での使用に許容可能であるかどうかについての判定を（例えば、図４に示されるような許容可能性判定モジュール４０２によって）行うことができる。

【0107】

図６は、プログラムエラー訂正及び許容可能性判定のための方法６００の一例を示す。方法６００は、図１に示すようなシステム１００によって実装することができる。したがって、図６の例の以下の説明において、図１～図４の例を参照することができる。方法６００は、６０２において、プログラムコードのソフトウェア開発中のある段階における、又はソフトウェア開発後のプログラムコード（例えば、図１に示されるようなプログラムコード１０６）を表すことができるビルドコードを（例えば、図１に示されるようなコードランタイムシミュレーションエンジン１２２において）受信することによって開始することができる。ビルドコードは、図１に示されるようなビルドコード１１２に対応することができる。６０４において、ビルドコードを、プログラムコードのためのプログラムコード環境のモデル化されたプログラムコード環境において（例えば、公称シミュレーションモジュール２０６、ストレスシミュレーションモジュール２０８、及び／又は非公称シミュレーションモジュール２１０のうちの少なくとも１つによって）シミュレーションして、ビルドコードの挙動及び／又は性能を決定することができる。

【0108】

６０６において、ビルドコードの挙動及び／又は性能を（例えば、図１に示されるようなＣＲＣモジュール２０４によって）評価して、ビルドコード内のコーディング失敗を識別することができる。６０８において、コーディング失敗の評価と、プログラムコード及び／又はビルドコードにおけるコーディング失敗についての前の失敗訂正ソリューションを特徴付ける学習されたコーディング失敗ソリューションのライブラリとに基づいて、コーディング失敗を訂正するための失敗訂正ソリューションを（例えば、図２に示されるようなＭＬ－ＣＦＣアルゴリズム２３６によって）識別することができる。学習されたコーディング失敗ソリューションのライブラリは、図２に示すような学習されたコーディング失敗ソリューションのライブラリ２３２に対応することができる。６１０において、方法６００は、ビルドコード内のコーディング失敗を訂正することに応答して、（例えば、図４に示されるような許容可能リスクデータ４１２によって定義されるような）ビルドコードについての許容可能リスクのレベルに基づいて、ビルドコードがプログラムコード環境での使用に許容可能であるかどうかについて（例えば、図４に示されるような許容可能性判定モジュール４０２を介して）判定することを含むことができる。

【0109】

上で説明したものは、例である。もちろん、構成要素又は手法の考えられる全ての組み合わせを説明することは不可能であるが、当業者は、多くの更なる組み合わせ及び順列が可能であることを認識するであろう。したがって、本開示は、添付の特許請求の範囲を含め、本出願の範囲内にあるそのような全ての変更、修正、及び変形を包含することを意図している。本明細書で使用される際、「含む」という用語は、含むが、それに限定されないことを意味し、「含んでいる」という用語は、含んでいるが、それに限定されないことを意味する。「に基づく」という用語は、少なくとも部分的に基づくことを意味する。更に、本開示又は特許請求の範囲で、「ａ」、「ａｎ」、「第１」、又は「別の」要素、又はそれらと同等のものが挙げられる場合、それは、１つ又は２つ以上のそのような要素を含むと解釈されるべきであり、２つ以上のそのような要素を必要とするものでも、排除するものでもない。
本明細書に開示される発明は以下を含む。
［態様１］
システムであって、
機械可読命令とデータとを記憶するためのメモリであって、前記データが、ある段階におけるプログラムコードを表すビルドコードを含む、メモリと、
前記メモリにアクセスし、前記機械可読命令を実行するための１つ以上のプロセッサと、を備え、前記機械可読命令が、
前記ビルドコードを評価して、前記ビルドコードが前記プログラムコードのためのプログラムコード開発標準に準拠するかどうかを判定して、前記ビルドコード内のコーディングエラーを識別するようにプログラムされたコード開発エンジンであって、前記コーディングエラーについて前記ビルドコードを訂正するためのエラー訂正ソリューションを推奨するようにプログラムされている、コード開発エンジンと、
前記プログラムコードのためのモデル化されたプログラムコード環境において前記ビルドコードをシミュレーションして、前記ビルドコード内のコーディング失敗を識別するようにプログラムされたコードランタイムシミュレーションエンジンであって、前記コーディング失敗について前記ビルドコードを訂正するための失敗訂正ソリューションを推奨するようにプログラムされている、コードランタイムシミュレーションエンジンと、
前記コーディングエラー及び／又はコーディング失敗が前記ビルドコードにおいて訂正されることに応答して、前記ビルドコードについての許容可能リスクのレベルに基づいて、前記ビルドコードを評価して、前記ビルドコードがプログラムコード環境での使用に許容可能であるかどうかを判定するようにプログラムされている、ビルドコード出力モジュールと、を備える、システム。
［態様２］
コーディング開発エンジンが、
前記プログラムコードのソフトウェア開発のためのルール及び／又は制約を特徴付ける学習されたコーディング開発標準のライブラリに基づいて、前記ビルドコード内の前記コーディングエラーを識別するようにプログラムされた、機械学習開発標準（ＭＬ－ＤＬ）アルゴリズムと、
プログラムコード及び／又はビルドコード内のコーディングエラーに対する前のエラー訂正ソリューションを特徴付ける学習されたコーディングエラーソリューションのライブラリに基づいて、前記コーディングエラーを訂正するための前記エラー訂正ソリューションを推奨するようにプログラムされた、ＭＬコードエラー訂正（ＭＬ－ＣＥＣ）アルゴリズムと、
前記エラー訂正ソリューションに基づいて前記ビルドコード内の前記コーディングエラーを訂正するようにプログラムされた、コード更新訂正（ＣＵＣ）モジュールと、を備える、態様１に記載のシステム。
［態様３］
前記コーディング開発エンジンが、静的解析手法を適用して前記ビルドコードを評価して、前記ビルドコードが第２のコーディングエラーを含むかどうかを判定するようにプログラムされた静的コードテストモジュールを更に備え、前記コーディングエラーが、第１のコーディングエラーであり、前記ＭＬ－ＣＥＣアルゴリズムが、前記第２のコーディングエラーの評価及び前記学習されたコーディングエラーソリューションのライブラリに基づいて前記第２のコーディングエラーを訂正するための第２のエラー訂正ソリューションを推奨するようにプログラムされており、前記ＣＵＣモジュールが、前記第２のエラー訂正ソリューションに基づいて前記ビルドコード内の前記第２のコーディングエラーを訂正するようにプログラムされている、態様２に記載のシステム。
［態様４］
前記コーディング開発エンジンが、
コードカバレッジ解析手法を適用して、テストケースに基づいて前記ビルドコードを評価して、前記ビルドコードの実行中に行使された又は行使されなかった前記ビルドコードの量を決定して、コードカバレッジレポートデータを提供するようにプログラムされた、コードカバレッジテストモジュールと、
前記コードカバレッジレポートデータに基づいて前記ビルドコード内の異常を識別するようにプログラムされており、前記識別された異常の評価とエラー異常データベースとに基づいて前記ビルドコード内の第３のコーディングエラーを識別するように更にプログラムされた、コード評価モジュールと、を更に備える、態様３に記載のシステム。
［態様５］
前記ＭＬ－ＣＥＣアルゴリズムが、前記学習されたコーディングエラーソリューションのライブラリに基づいて前記第３のコーディングエラーを訂正するための第３のエラー訂正ソリューションを推奨するようにプログラムされており、前記ＣＵＣモジュールが、前記第３のエラー訂正ソリューションに基づいて前記ビルドコード内の前記第３のコーディングエラーを訂正するようにプログラムされている、態様４に記載のシステム。
［態様６］
前記コーディング開発エンジンが、前のプログラムコード及び／又はビルドコードの挙動をテストするために採用された以前のテストケースを特徴付けるテストケーストレーニングデータに基づいてトレーニングされたＭＬテストケース生成器を更に備え、前記ＭＬテストケース生成器が、前記テストケースを提供するようにプログラムされている、態様５に記載のシステム。
［態様７］
前記コードランタイムシミュレーションエンジンが、少なくとも１つのシミュレーションモジュールを備え、前記少なくとも１つのシミュレーションモジュールが、
シミュレーションパラメータに基づいて、前記プログラムコードのための前記プログラムコード環境のモデル化されたプログラムコード環境を生成し、
前記モデル化されたプログラムコード環境において前記ビルドコードをシミュレーションし、かつ
前記モデル化されたプログラムコード環境における前記ビルドコードの前記シミュレーションに基づいて、前記ビルドコードの挙動及び／又は性能を特徴付けるシミュレーション結果データを出力するようにプログラムされている、態様６に記載のシステム。
［態様８］
前記コードランタイムシミュレーションエンジンが、学習されたシミュレーションパラメータのライブラリに基づいて、シミュレーションのために前記モデル化されたプログラムコード環境を構成するために前記少なくとも１つのシミュレーションモジュールのための前記シミュレーションパラメータを推奨するようにプログラムされたＭＬシミュレーションパラメータアルゴリズムを備え、前記学習されたシミュレーションパラメータのライブラリが、モデル化されたプログラムコード環境を構成するための前のシミュレーションパラメータを特徴付け、
前記コードランタイムシミュレーションエンジンが、前記ビルドコード内の前記コーディング失敗を識別するために、前記少なくとも１つのシミュレーションモジュールによって生成されたシミュレーション結果データを評価するようにプログラムされた、コードランタイムプロセス及び制御モジュールを更に備える、態様７に記載のシステム。
［態様９］
前記コードランタイムシミュレーションエンジンが、
前記プログラムコード及び／又はビルドコード内のコーディング失敗に対する前の失敗訂正ソリューションを特徴付ける学習されたコーディング失敗ソリューションのライブラリに基づいて、前記コーディング失敗を訂正するための前記失敗訂正ソリューションを推奨するようにプログラムされたＭＬコード失敗訂正（ＭＬ－ＣＦＣ）アルゴリズムと、
前記失敗訂正ソリューションに基づいて前記ビルドコード内の前記コーディング失敗を訂正するようにプログラムされたコード失敗更新（ＣＦＵ）モジュールと、を更に備える、態様８に記載のシステム。
［態様１０］
前記コードランタイムプロセス及び制御モジュール並びに前記コード評価モジュールのうちの１つが、前記ビルドコードにおいて訂正され、かつ／又は訂正されていないコーディング欠陥のタイプと数値コーディング欠陥とを示すコード欠陥訂正結果データを生成するようにプログラムされており、前記ビルドコード出力モジュールが、前記ビルドコードが前記プログラムコード環境での使用に許容可能であるかどうかを判定するために、前記ビルドコードの前記許容可能リスクのレベルに基づいて、前記コード欠陥訂正結果データを評価するようにプログラムされた許容可能性判定モジュールを備える、態様９に記載のシステム。
［態様１１］
前記ビルドコードが、前記プログラムコードが開発されているときに、前記コーディング開発エンジンによる評価、及び前記コードランタイムシミュレーションエンジンによるシミュレーション、のうちの１つが行われる、
前記ビルドコードが、前記プログラムコードに対するユーザ定義の変更に基づいて、前記コーディング開発エンジンによる評価、及び前記コードランタイムシミュレーションエンジンによるシミュレーション、のうちの１つが行われる、並びに
前記プログラムコードが、レガシープログラムコードに対応する、のうちの１つである、態様１０に記載のシステム。
［態様１２］
前記機械可読命令が、前記ビルドコードの許容可能バージョンに対応するリリースされたプログラムコードを受信又は取り出すようにプログラムされた環境インターフェースモジュールを更に含み、前記コードランタイムシミュレーションエンジンが、前記モデル化されたプログラムコード環境において前記リリースされたプログラムコードをシミュレーションして、前記ビルドコード内の更なるコーディング失敗を識別するようにプログラムされており、前記コードランタイムシミュレーションエンジンが、他のコーディング失敗について前記リリースされたプログラムコードを訂正するための別の失敗訂正ソリューションを推奨するようにプログラムされており、かつ前記ビルドコード出力モジュールが、前記リリースされたプログラムコードを評価して、前記リリースされたプログラムコードが前記プログラムコード環境での使用に許容可能であるかどうかを判定するようにプログラムされている、態様１１に記載のシステム。
［態様１３］
コンピュータ実装方法であって、
プログラムコードのソフトウェア開発中のある段階における前記プログラムコードを表すビルドコードを提供することと、
前記プログラムコードの前記ソフトウェア開発のためのルール及び／又は制約を特徴付ける学習されたコーディング開発標準のライブラリに基づいて、前記ビルドコードを評価して、前記ビルドコード内のコーディングエラーを識別することと、
前記コーディングエラーの評価と、プログラムコード及び／又はビルドコードにおけるコーディングエラーについての前のエラー訂正ソリューションを特徴付ける学習されたコーディングエラーソリューションのライブラリとに基づいて、前記コーディングエラーを訂正するためのエラー訂正ソリューションを推奨することと、
前記エラー訂正ソリューションに基づいて、前記ビルドコードを更新して、前記ビルドコード内の前記コーディングエラーを訂正することと、
前記ビルドコード内の前記コーディングエラーを訂正することに応答して、前記ビルドコードについての許容可能リスクのレベルに基づいて、前記ビルドコードが前記プログラムコードのためのプログラムコード環境での使用に許容可能であるかどうかを判定することと、を含む、コンピュータ実装方法。
［態様１４］
前記ビルドコードが、前記プログラムコード環境での使用に許容可能であるかどうかを判定することが、前記ビルドコードが前記プログラムコード環境での使用に許容可能であるかどうかを判定するために、前記ビルドコードについての前記許容可能リスクのレベルに基づいてコードエラー訂正結果データを評価することを含み、前記コードエラー訂正結果データが、前記ビルドコードにおいて訂正され、たかつ／又は訂正されていないコーディングエラーのタイプと数値コーディングエラーとを示す、態様１３に記載のコンピュータ実装方法。
［態様１５］
静的解析手法を適用して前記ビルドコードを評価して、前記ビルドコードが第２のコーディングエラーを含むかどうかを判定することであって、前記コーディングエラーが、第１のコーディングエラーである、判定することと、
第２のコーディングの評価と前記学習されたコーディングエラーソリューションのライブラリとに基づいて、前記第２のコーディングエラーを訂正するための第２のエラー訂正ソリューションを推奨することであって、前記エラー訂正ソリューションが、第１のエラー訂正ソリューションである、推奨することと、
前記第２のエラー訂正ソリューションに基づいて、前記ビルドコードを更新して、前記ビルドコード内の前記第２のコーディングエラーを訂正することと、を更に含む、態様１４に記載のコンピュータ実装方法。
［態様１６］
コードカバレッジ解析手法を適用して、テストケースに基づいて前記ビルドコードを評価して、前記ビルドコードの実行中に行使された又は行使されなかった前記ビルドコードの量を決定してコードカバレッジレポートデータを提供することと、
前記コードカバレッジレポートデータに基づいて、前記ビルドコード内の異常を識別することと、
識別された前記異常の評価とエラー異常データベースとに基づいて、前記ビルドコード内の第３のコーディングエラーを識別することと、
前記第３のコーディングエラーの評価と前記学習されたコーディングエラーソリューションのライブラリとに基づいて、前記第３のコーディングエラーを訂正するための第３のエラー訂正ソリューションを推奨することと、
前記第３のエラー訂正ソリューションに基づいて、前記ビルドコードを更新して、前記ビルドコード内の前記第３のコーディングエラーを訂正することと、を更に含む、態様１５に記載のコンピュータ実装方法。
［態様１７］
シミュレーションパラメータに基づいて、前記プログラムコードのためのモデル化されたプログラムコード環境において前記ビルドコードをシミュレーションすることであって、前記シミュレーションパラメータが、学習されたシミュレーションパラメータのライブラリに基づいてＭＬシミュレーションパラメータアルゴリズムによって推奨され、前記学習されたシミュレーションパラメータのライブラリが、モデル化されたプログラムコード環境のパラメータを構成するための前のシミュレーションパラメータを特徴付ける、シミュレーションすることと、
前記モデル化されたプログラムコード環境における前記ビルドコードの前記シミュレーションに基づいて、前記ビルドコードの挙動及び／又は性能を特徴付けるシミュレーション結果データを出力することと、
前記シミュレーション結果データを評価して、前記ビルドコード内のコーディング失敗を識別することと、
前記ＭＬ手法を使用して、前記コーディング失敗の評価と、前記プログラムコード及び／又はビルドコード内のコーディング失敗のための前の失敗訂正ソリューションを特徴付ける学習されたコーディング失敗ソリューションのライブラリとに基づいて、前記コーディング失敗を訂正するための失敗訂正ソリューションを識別することであって、前記ビルドコードが前記プログラムコード環境での使用に許容可能であるかどうかの前記判定が、前記ビルドコード内の前記コーディングエラー及びコーディング失敗を訂正することに応答してのものである、識別することと、を更に含む、態様１６に記載のコンピュータ実装方法。
［態様１８］
コンピュータ実装方法であって、
プログラムコードのソフトウェア開発中のある段階における、又は前記ソフトウェア開発後の前記プログラムコードを表すビルドコードを受信することと、
前記プログラムコードのためのプログラムコード環境のモデル化されたプログラムコード環境において前記ビルドコードをシミュレーションして、前記ビルドコードの挙動及び／又は性能を決定することと、
前記ビルドコードの前記挙動及び／又は性能を評価して、前記ビルドコード内のコーディング失敗を識別することと、
前記コーディング失敗の評価と、プログラムコード及び／又はビルドコードにおけるコーディング失敗についての前の失敗訂正ソリューションを特徴付ける学習されたコーディング失敗ソリューションのライブラリとに基づいて、前記コーディング失敗を訂正するための失敗訂正ソリューションを識別することと、
前記ビルドコード内の前記コーディング失敗を訂正することに応答して、前記ビルドコードについての許容可能リスクのレベルに基づいて、前記ビルドコードが前記プログラムコード環境での使用に許容可能であるかどうかを判定することと、を含む、コンピュータ実装方法。
［態様１９］
前記モデル化されたプログラムコード環境が、ＭＬシミュレーションパラメータアルゴリズムによって推奨されるシミュレーションパラメータに基づいて生成され、前記ＭＬシミュレーションパラメータアルゴリズムが、学習されたシミュレーションパラメータのライブラリに基づいて前記シミュレーションパラメータを推奨するようにプログラムされており、前記学習されたシミュレーションパラメータのライブラリが、モデル化されたプログラムコード環境を構成するための前のシミュレーションパラメータを特徴付ける、態様１８に記載のコンピュータ実装方法。
［態様２０］
前記ビルドコードが、前記プログラムコード環境での使用に許容可能であるかどうかを判定することが、前記ビルドコードが前記プログラムコード環境での使用に許容可能であるかどうかを判定するために、前記ビルドコードについての前記許容可能リスクのレベルに基づいてコード失敗訂正結果データを評価することを含み、前記コード失敗訂正結果データが、前記ビルドコードにおいて訂正され、かつ／又は訂正されていないコーディング失敗のタイプと数値コーディング失敗とを示す、態様１８に記載のコンピュータ実装方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】