特開 2023-58425 コプロセッサのためのメモリ利用を調整するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023058425

(43)【公開日】2023-04-25

(54)【発明の名称】コプロセッサのためのメモリ利用を調整するためのシステム及び方法

(51)【国際特許分類】

   G06F 9/50 20060101AFI20230418BHJP

【ＦＩ】

G06F9/50 120A

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022122762

(22)【出願日】2022-08-01

(31)【優先権主張番号】17/500,552

(32)【優先日】2021-10-13

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】522306893

【氏名又は名称】ハネウェル インターナショナル エス．アール．オー．

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100147991

【弁理士】

【氏名又は名称】鳥居 健一

(72)【発明者】

【氏名】ザイコフ・パヴェル

(72)【発明者】

【氏名】カルヴァーリョ・ウンベルト

(72)【発明者】

【氏名】ミラー・ラリー ジェイムズ

(57)【要約】      （修正有）

【課題】コプロセッサのメモリ利用を調整するためのシステム及び方法を提供する。
【解決手段】コンピューティングシステムは、プロセッサと、１つ以上のカーネルを実行するように構成された計算プロセッサと、プロセッサ及び計算プロセッサに結合されたメモリと、を備える。プロセッサの第１のコア上で実行される第１のタスクのセットにタスクメモリトランザクションクォータを割り当て、計算プロセッサ上でカーネルを実行するための計算プロセッサメモリトランザクションクォータを割り当て、第１のタイミングウィンドウ反復内で、第１のタスクのセットと、カーネルが、計算メモリトランザクションクォータが使い果たされるまで第１のタイミングウィンドウ反復中に実行されるカーネルとを実行し、第１のタスクのセットがプロセッサ上で実行されているときの１つ以上のカーネルによるメモリへのメモリトランザクションアクセスのレートを調整する。
【選択図】図３

【特許請求の範囲】

【請求項1】

コンピューティングシステム（１１０）であって、前記システム（１１０）が、
少なくとも１つのコアを備えるプロセッサ（１２０）と、
１つ以上のカーネル（１５４）を実行するように構成された計算プロセッサ（１５０）と、
前記プロセッサ（１２０）及び前記計算プロセッサ（１５０）に結合されたメモリ（１２２）と、を備え、
前記コンピューティングシステム（１１０）が、
前記プロセッサ（１２０）の第１のコア（ＣＰＵ０）上で実行される少なくとも第１のタスクのセット（１２７）に少なくとも１つのタスクメモリトランザクションクォータを割り当て、
計算プロセッサ上（１５０）で１つ以上のカーネル（１５４）を実行するための少なくとも１つの計算プロセッサメモリトランザクションクォータを割り当て、
第１のタイミングウィンドウ反復内で、前記第１のタスクのセット（１２７）と、前記１つ以上のカーネル（１５４）であって、前記１つ以上のカーネル（１５４）が、前記計算プロセッサ上（１５０）で前記１つ以上のカーネル（１５４）を実行するための前記少なくとも１つの計算メモリトランザクションクォータが使い果たされるまで、前記第１のタイミングウィンドウ反復中に実行される前記１つ以上のカーネルとを実行し、
前記第１のタスクのセット（１２７）が前記プロセッサ（１２０）上で実行されているときの前記１つ以上のカーネル（１５４）による前記メモリ（１２２）へのメモリトランザクションアクセスのレートを調整するように構成された、コンピューティングシステム。

【請求項2】

前記少なくとも第１のタスクのセット（１２７）が、前記プロセッサ（１２０）の第１のコア（ＣＰＵ０）上で実行される第１のタスクのセット（１２７）と、前記プロセッサ（１２０）の第２のコア（ＣＰＵ１）上で実行される第２のタスクのセット（１２７）とを含み、
前記少なくとも１つのタスクメモリトランザクションクォータを割り当てるために、前記コンピューティングシステム（１１０）が、
前記プロセッサ（１２０）の前記第１のコア（ＣＰＵ０）上で実行される前記第１のタスクのセット（１２７）に第１のメモリトランザクションクォータを割り当て、前記プロセッサ（１２０）の第２のコア（ＣＰＵ１）上で実行される前記第２のタスクのセット（１２７）に第２のメモリトランザクションクォータを割り当てるように構成された、請求項１に記載のシステム（１１０）。

【請求項3】

前記少なくとも第１のタスクのセット（１２７）のうちの１つ以上のタスク（１２７）の実行が前記第１のタイミングウィンドウ反復の終了前に第１のコア（ＣＰＵ０）上で完了すると、前記コンピューティングシステム（１１０）が、前記第１のコア（ＣＰＵ０）に割り当てられた前記少なくとも１つのタスクメモリトランザクションクォータの任意の残りの残高の少なくとも一部を前記少なくとも１つの計算プロセッサメモリトランザクションクォータに転送し、
前記第１のタイミングウィンドウの終了前に前記少なくとも前記第１のタスクのセット（１２７）の全ての前記実行の完了に基づいて、前記コンピューティングシステム（１１０）が、前記１つ以上のカーネル（１５４）による前記メモリトランザクションアクセスの前記レートの調整を中断し、前記計算エンジンによる前記メモリ（１２２）への無制限のアクセスを可能にするために、前記計算プロセッサメモリトランザクションクォータの前記１つ以上のカーネル（１５４）への適用を無効にする、請求項１に記載のコンピューティングシステム（１１０）。

【発明の詳細な説明】

【技術分野】

【0001】

（連邦政府支援研究開発に関する記載）
本発明は、クリーンスカイ２合弁事業によって授与された契約番号：９４５５３５の下で政府の支援を受けてなされた。政府は、本発明に一定の権利を有する。本出願につながるプロジェクトは、欧州連合のホライゾン２０２０研究革新プログラムに基づくクリーンスカイ２合弁事業から、付与された契約第９４５５３５号に基づき資金提供を受けている。

【背景技術】

【0002】

アビオニクス用途に使用されるようなセーフティクリティカルコンピューティングシステムは、多くの場合、リアルタイムオペレーティングシステム（ＲＴＯＳ）と併せて使用される空間及び時間パーティションスキームを使用する。アビオニクスアプリケーション標準ソフトウェアインターフェースであるＡＲＩＮＣ ６５３は、そのような一例である。ＡＲＩＮＣ ６５３システムでは、パーティションは、周期的ウィンドウ（「時間スライス」又は単に「スライス」と呼ばれることが多い）において実行されるように優先プリエンプティブスケジューラによってスケジュールされる。これらの時間スライス内で、１つ以上のプロセス（「タスク」と呼ばれることが多い）が実行される。タスクは、周期的又は非周期的とすることができる。各スケジューリングポイントにおいて、オペレーティングシステムは、実行する準備ができている最も高い優先度のタスクを決定し、それをスケジューリングする。タスクが始まると、タスクは、そのプロセスを完了するまで、より高い優先度のタスクによって先取りされるまで、又はパーティションの時間スライスが終了するまで実行し続けることができる。

【0003】

人工知能（ＡＩ）を利用するシステムコンポーネントもまた、ＡＩコプロセッサ推論エンジンの形態でこれらのセーフティクリティカルコンピューティングシステムに沿って、又はそれに統合されており、ＡＩコプロセッサ上で実行されるカーネルは、タスクによって使用されるメモリリソースを共有する。これらのカーネルによって実行される深層ニューラルネットワーク（ＤＮＮ）は、入力データ、ＤＮＮ重み、及び他のデータなどの情報をロード及び記憶するために、非常に高いメモリスループットを生成する多数の行列演算を含む。したがって、そのようなコンピューティングシステムでは、ＡＩコプロセッサは、共有ＤＤＲメモリバスを著しく利用し、したがって、メインプロセッサによって実行されるアプリケーションからの並列メモリ動作を遅延させる可能性があり、最悪ケース実行時間（ＷＣＥＴ）の増加につながるレイテンシをもたらす。したがって、カーネルは、ＤＮＮ推論において使用されるものなどの高度に計算集約的な行列演算を実行するカーネルから構成されてもよく、及び／又は点ごとの数学演算子などの非集約的な計算演算を含んでもよい。

【0004】

上記の理由のために、及び本明細書を読んで理解すると当業者にとって明らかになる以下に述べる他の理由のために、人工知能コプロセッサのメモリ利用を調整するためのシステム及び方法が当該技術分野において必要とされている。

【発明の概要】

【0005】

本開示の実施形態は、コプロセッサのメモリ利用を調整するための方法及びシステムを提供し、以下の明細書を読んで検討することによって理解される。

【0006】

一実施形態では、コンピューティングシステムは、少なくとも１つのコアを備えるプロセッサと、１つ以上のカーネルを実行するように構成された計算プロセッサと、プロセッサ及び計算プロセッサに結合されたメモリと、を備え、コンピューティングシステムが、プロセッサの第１のコア上で実行される少なくとも第１のタスクのセットに少なくとも１つのタスクメモリトランザクションクォータを割り当てるように構成され、計算プロセッサ上で１つ以上のカーネルを実行するための少なくとも１つの計算プロセッサメモリトランザクションクォータを割り当て、第１のタイミングウィンドウ反復内で、第１のタスクのセットと、１つ以上のカーネルであって、１つ以上のカーネルが、計算プロセッサ上で１つ以上のカーネルを実行するための少なくとも１つの計算メモリトランザクションクォータが使い果たされるまで、第１のタイミングウィンドウ反復中に実行される１つ以上のカーネルとを実行し、第１のタスクのセットがプロセッサ上で実行されているときの１つ以上のカーネルによるメモリへのメモリトランザクションアクセスのレートを調整するように構成されている。

【図面の簡単な説明】

【0007】

本開示の実施形態は、好ましい実施形態及び以下の図の説明を考慮して考慮すると、より容易に理解されることができ、更なる利点及びその使用がより容易に明らかになる。

【図1】は、メモリトランザクションクォータ及びＡＩコプロセッサレート制限を実装する例示的なコンピューティングシステムの実施形態の図である。

【図2】は、タイミングウィンドウ反復中にプロセスが実行され、メモリトランザクションクォータに基づいて管理される実施形態の例示的なタイムラインを示している。

【図3】は、共通メモリを共有するプロセッサ及び計算プロセッサを備えるシステムにおいてＡＩ推論エンジンのメモリ利用率を管理するための方法を示すフローチャートである。

【図4】は、プロセッサと共通メモリを共有するＡＩ推論エンジン上でカーネルの実行を管理するための方法を示すフローチャートである。

【図4A】は、プロセッサと共通メモリを共有するＡＩ推論エンジン上でカーネルの実行を管理するための方法を示すフローチャートである。

【0008】

慣例にしたがって、記載された様々な特徴は一定の縮尺で描かれているのではなく、本開示に関連する特徴を強調するように描かれている。参照文字は、図及び本文を通して同様の要素を示す。

【発明を実施するための形態】

【0009】

以下の詳細な説明では、本明細書の一部を形成する添付の図面を参照し、図面には、本実施形態が実施され得る特定の例示的な実施形態の例として示される。これらの実施形態は、当業者が本実施形態を実施することを可能にするために十分に詳細に説明されており、他の実施形態を利用することができ、本開示の範囲から逸脱することなく、論理的、機械的、及び電気的変化がなされ得ることを理解されたい。したがって、以下の詳細な説明は、限定的な意味で解釈されるべきではない。

【0010】

本開示の実施形態は、共通メモリを共有するシングルコアプロセッサ又はマルチコアプロセッサ及び人工知能（ＡＩ）コプロセッサを備えるコンピュータシステム上のメモリトランザクションを調整するためのメモリトランザクションクォータ及びレート制限の実装を提供する。ここに存在する実施形態は、ＡＲＩＮＣ ６５３システムに有用であり、ＡＲＩＮＣ ６５３関連の例の文脈で説明されることができるが、これらの実施形態は、そのように限定されないことを理解されたい。実際に、これらの実施形態は、優先プリエンプティブスケジューリング又はプリエンプティブマルチタスキングを実装しておらず、航空機又は他の車両以外のコンピューティング環境において使用されるものを含む他のコンピューティングシステムに適用可能であり、それらによって実装されることができる。

【0011】

図１には、メモリ１２２に結合されたプロセッサ１２０を含むコンピューティングシステム１１０が示されている。コンピューティングシステム１１０は、この実施形態では、タスクのセット１２７の優先プリエンプティブスケジューリングを実装するオペレーティングシステム１２４及びスケジューラ１２６を含む。これらのタスクは、プロセッサ１２０によって実行されるべき周期的タスク１２８及び／又は非周期的タスク１３０の任意の組み合わせを含むことができる。プロセッサ１２０は、これを介してメモリ１２２に結合されるラスト・レベルキャッシュ（ＬＬＣ）１３４を備えることができるか、そうでなければこれに結合される。メモリ１２２は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）又は他の形態のメモリを備えることができる。本明細書で説明される例では、プロセッサ１２０は、ＣＰＵ０及びＣＰＵ１として描写される２つの処理コアを有するマルチコアプロセッサであることに関して説明される。しかしながら、代替の実施形態では、プロセッサ１２０は、任意の数の１つ以上の処理コア（すなわち、シングルコア又はマルチコアプロセッサのいずれか）を有することができ、本明細書に記載の実施形態は、ＣＰＵ０及び／又はＣＰＵ１について本明細書に開示されたのと同じ方法で存在する処理コアの数に適用されることを理解されたい。ＡＩコプロセッサは、ＣＰＵコアを有するシリコンに統合されることができ、又はそれ自体のメモリを有する個別の部品とすることができることを理解されたい。本明細書に記載の戦略は、システムメモリ又はＡＩコプロセッサのローカルメモリのいずれかに適用されることができる。

【0012】

いくつかの実施形態では、オペレーティングシステム１２４は、多くの場合デッドラインと呼ばれる指定された時間制約内に入るときにデータを処理するためにリアルタイムアプリケーションの実行を容易にするリアルタイムオペレーティングシステム（ＲＴＯＳ）である。本明細書で「タスク」と呼ばれる実行されたプロセスは、プロセッサ１２０によって実行されるアプリケーションを含み、スケジューラ１２６による実行のための時間が割り当てられ、優先度も割り当てられることができる。タスクが実行を開始すると、タスクは、以下に特に説明する場合を除いて、そのプロセスが完了するまで、オペレーティングシステム１２４によって停止されるまで、又はパーティションの時間フレームが満了するまで継続する。任意の１つのパーティションには、所与の主時間フレーム内に２つ以上の副時間フレームが割り当てられることができることを理解されたい。主時間フレームは、各パーティションが少なくとも１回実行される時間ウィンドウである。副時間フレームは、主時間フレーム内の各パーティションに割り当てられる時間ウィンドウインスタンス又はスライスである。副時間フレームは、順次結合されて主時間フレームを形成する。すなわち、各パーティションは、主時間フレーム内の１つ以上の時間スライスを占有する。

【0013】

パーティションは、周期的タスクのセット及び／又は非周期的タスクのセットを実行するために含むことができる。パーティションに関連付けられた周期的タスク１２８は、副時間フレームがパーティションを開始するたびに実行される。非周期的タスク１３０は、時間に敏感でないイベントを処理するために使用され、それらの実行は、複数の副時間フレームにわたって分散されることができる。結果として、周期的タスク１２８には、通常、非周期的タスクよりも高い優先度が割り当てられる。時間ウィンドウインスタンスの実行ウィンドウが終了すると、パーティションの実行が先取りされ、主時間フレーム内の次のパーティションの実行が開始される。以前に先取りされたパーティションは、それらが発生するようにスケジュールされている次の副時間フレームにおいて実行を継続し、それらのパーティション内のタスクは、優先度の順に再実行される。

【0014】

システム１１０はまた、ユーザがオペレーティングシステム１２４又はタスク１２７のうちの１つ以上と対話することができるヒューマンマシンインターフェース（ＨＭＩ）１４２を有する端末１４０を含むことができる。端末１４０は、限定されないが、コンピュータ、ラップトップ若しくはタブレットコンピュータ、又は他の機器などの様々な手段によって実装されることができる。アビオニクス実装の文脈では、端末１４０は、コックピット多機能ディスプレイデバイス、又は電子フライトバッグなどであるがこれに限定されない携帯端末を備えてもよい。端末１４０は、インターフェース１３２を介してコンピュータシステム１１０に結合されることができる。様々な異なる実施形態では、インターフェース１３２は、有線若しくは無線インターフェース及び／又はネットワークインターフェースであってもよい。端末１４０は、直接的に、又は専用ネットワーク、車載データネットワーク、若しくは公衆ネットワーク（例えば、インターネットなど）などを介して間接的に、又はこれらの代替形態のいくつかの組み合わせを介して、インターフェース１３２に結合されることができる。いくつかの実施形態では、端末１４０及び／又はＨＭＩ１４２に起因する本明細書で説明される特徴は、個別のデバイスではなく、コンピューティングシステム１１０自体に統合されてもよい。

【0015】

前述したように、コンピューティングシステム１１０は、ＡＩ関連のアプリケーション及び計算を実行するために、本明細書では同等に「推論エンジン」、「計算プロセッサ」又は「計算エンジン」とも呼ばれる人工知能（ＡＩ）コプロセッサ１５０を更に備える。異なる実施形態では、ＡＩコプロセッサ１５０は、限定されないが、グラフィック処理ユニット（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、ＣＰＵ（例えばＣＰＵ０又はＣＰＵ１など）、又はそれらの任意の組み合わせなどの複数の並列コンピューティングパスにわたって数学的演算を繰り返し実行するように構成された専用プロセッサ又は計算エンジンによって実装されてもよい。いくつかの実施形態では、プロセッサ１２０及びＡＩコプロセッサ１５０は、ハードウェアに独立して実装される別個のハードウェア構成要素であってもよいことを理解されたい。他の実施形態では、プロセッサ１２０及びＡＩコプロセッサ１５０は、それらが双方とも同じ処理チップ又は同じ処理ユニットの別個の処理コアに実装される場合など、統合されたハードウェア構成要素の一部である。ＡＩコプロセッサ１５０がＧＰＵによって実装される場合、ＤＮＮの行列計算、及び／又はＨＭＩ１４２上に表示するためのグラフィックスの準備及びレンダリングなどの表示関連機能のためにカーネルが構成されることができる。ＡＩコプロセッサ１５０は、これを介してメモリ１２２にも結合されるラスト・レベルキャッシュ（ＬＬＣ）１５２を備えることができるか、そうでなければ結合される。いくつかの実施形態では、ＬＬＣ１３４及びＬＬＣ１５２は、共通キャッシュとして一体に実装されてもよい。

【0016】

ＡＩコプロセッサ１５０によって実行されるＡＩ関連プロセスは、本明細書では１５４に示すように「カーネル」と呼ばれる。カーネルは、グラフィックス処理アプリケーションにおいて「シェーダ」としても知られることがある。これらのカーネル１５４は、いくつかの実施形態では、プロセッサ１２０のタスクを実行するために実装されたものと同時にタイミングウィンドウ反復において実行されてもよい。例として、ＡＩコプロセッサ１５０によって実行されるカーネルは、ディープニューラルネットワーク（ＤＮＮ）を実装するためのプロセス、グラフィック処理、ディープラーニング（ＤＬ）プロセス、推論計算、又は他の機械学習若しくはＡＩ関連のモデル若しくはタスクを含むことができる。いくつかの実施形態では、ＡＩコプロセッサ１５０は、各々がそれ自体のＤＮＮを実行する複数のカーネル１５４を同時ホストすることができる。

【0017】

カーネル１５４はまた、スケジューラ１２６によってＡＩコプロセッサ１５０上での実行のためにスケジュールされる。いくつかの実施形態では、プロセッサ１２０及びＡＩコプロセッサ１５０は、プロセッサ１２０がＡＩコプロセッサ１５０の動作の態様を構成及び制御することができる信号経路１５６によってリンクされる。すなわち、ＡＩコプロセッサ１５０は、プライマリプロセッサ（すなわち、プロセッサ１２０）の権限下でセカンダリプロセッサとして構成されてもよい。いくつかの実施形態では、カーネル１５４は、タスク１２７のうちの１つ以上に直接関連付けられてもよく、タスク１２７は、特殊な処理を実行するためにデータをカーネル１５４にハンドオフする。他の実施形態では、カーネル１５４のうちの１つ以上は、タスク１２７とは独立したプロセスを実行することができる。

【0018】

プロセッサ１２０及びＡＩコプロセッサ１５０は、いくつかの実施形態では、メモリバス１２３を介してメモリ１２２にアクセスするように構成される。いくつかの実施形態では、メモリ１２２へのＡＩコプロセッサ１５０のアクセスは、周辺構成要素相互接続エクスプレス（ＰＣＩｅ）インターフェースを介して実行される。プロセッサ１２０及びＡＩコプロセッサ１５０は、各々、メモリバス１２３への読み出し及び書き込みメモリ呼び出し又はトランザクションを実行して、メモリ１２２からデータを各々取得し、メモリ１２２にデータを記憶する。メモリ１２２へのトランザクションを調整するために、コンピューティングシステム１１０は、プロセッサバスモニタ（ＢＭ）１６０、ＡＩコプロセッサバスモニタ（ＢＭ）１６２、ＡＩコプロセッサレートリミッタ（ＲＬ）１６４、及びいくつかの実施形態では、プロセッサレートリミッタ（ＲＬ）１６５を更に含み、これらは、各々、メモリバス１２３に結合されるか、そうでなければインターフェースする。プロセッサバスモニタ１６０及びＡＩコプロセッサバスモニタ１６２は、各々、以下に更に詳細に説明するように、メモリトランザクションクォータを実施する目的で、メモリバス１２３へのメモリトランザクションの数を監視及びカウントする。ＡＩコプロセッサレートリミッタ１６４は、以下に更に詳細に説明するように、ＡＩコプロセッサ１５０がメモリバス１２３へのメモリトランザクションを実行することができるレートを選択的に調整するように更に動作する。任意のプロセッサレートリミッタ１６５は、プロセッサ１２０がメモリバス１２３へのメモリトランザクションを実行することができるレートを選択的に調整するために使用されてもよい。例えば、任意のプロセッサレートリミッタ１６５は、ＡＩコプロセッサ１５０上で実行されているプロセスがＤＡＬ Ａ、ＤＡＬ Ｂ、又はＤＡＬ Ｃなどの高いセーフティクリティカル設計保証レベル（ＤＡＬ）を有するが、ＣＰＵ上のタスクは、ＤＡＬ Ｄ又はＤＡＬ Ｅなどの比較的低いＤＡＬであるアビオニクスアプリケーションシナリオに利用されることができる。

【0019】

本開示の実施形態では、タイミングウィンドウ反復のために、プロセッサ１２０及びＡＩコプロセッサ１５０の各コア上でプロセスを実行するためにメモリトランザクションクォータが割り当てられる。これらのメモリトランザクションクォータは、本質的に、プロセスがメモリに対して実行することができるメモリコール又はトランザクションの数を定義するバジェットとして機能し、各トランザクションは、各々のバジェットをカウントして使い果たす。例えば、ＣＰＵ０及びＣＰＵ１には、各々、タスク１２７を実行するための各々のタスクメモリトランザクションクォータが割り当てられ、ＡＩコプロセッサ１５０には、カーネル１５４を実行するための各々の計算プロセッサメモリトランザクションクォータが割り当てられる。いくつかの実施形態では、これらのメモリトランザクションクォータは、各タイミングウィンドウ反復の開始時にスケジューラ１２６によって最初に割り当てられてもよい。一般に、プロセスがタイミングウィンドウ反復のためにそのメモリトランザクションクォータを使い果たした場合、次のタイミングウィンドウ反復のための補充バジェットを受信するまで、その実行は限られた期間にわたって延期される。プロセッサ１２０のコアのうちの１つにおいて実行されているプロセスが現在のタイミングウィンドウ反復の終了よりも早く実行を完了する場合、そのコアの残りのメモリトランザクションクォータの少なくとも一部は、メモリ１２２にアクセスする別のコンピューティングリソースによる使用のために転送されることができる。

【0020】

ＣＰＵ０及びＣＰＵ１は、典型的には、リアルタイムの、セーフティクリティカルな、又は同様の重要性のタスクを実行していることから、ＣＰＵ０及びＣＰＵ１に割り当てられたメモリトランザクションクォータは、実行されたタスクがそれらのトランザクションバジェットを完全に使い果たすことなくタイミングウィンドウ反復中にそれらの実行を実行するのに十分であるように調整される。すなわち、スケジュールされたタスクに関連する最悪ケース実行時間（ＷＣＥＴ）を超えない非異常動作を想定して、現在のタイミングウィンドウ反復中に取ることが予想されることができるメモリトランザクションの数を考慮に入れるメモリトランザクションクォータ割り当てが提供される。

【0021】

対照的に、ＡＩコプロセッサ１５０は、タスク１２７のいくつかによって実行されるセーフティクリティカル機能よりも少ない時間重視機能をサポートするカーネル１５４を実行する。例えば、カーネル１５４は、依然として重要であるが、リアルタイム未満の処理レイテンシが導入された場合に車両の不安定性（例えば）又は他の悪影響をもたらさない画像又はセンサ処理又はグラフィカルディスプレイ生成機能をサポートすることができる。したがって、ＡＩコプロセッサ１５０には、プロセッサ１２０のアプリケーション（例えば、ＷＣＥＴの増加につながる可能性がある）からの並列メモリ動作に大幅な遅延を引き起こすことなく、タイミングウィンドウ反復中に合理的に実行されることができる残りのメモリトランザクション数に基づいて、カーネル１５４のためのメモリトランザクションクォータが割り当てられることができる。とは言え、いくつかの実装形態では、１つ以上のカーネルは、航空機の視覚的自動着陸機能などのアビオニクス機能をサポートすることができる。したがって、ＡＩコプロセッサ１５０上で実行される処理が、実行を完了するのに十分なバジェットが提供されるプロセッサ１２０上で実行されるものと同等又はより高い優先度を有するシナリオが存在してもよい。ＡＩコプロセッサ１５０がそのメモリトランザクションクォータを使い果たすと、カーネルの実行は、限られた期間だけ一時停止される。プロセッサ１２０上での実行を完了した別のプロセスから残りのメモリトランザクションクォータ残高を継承する場合、カーネルは、そのメモリトランザクションクォータを再び使い果たすまで（又は現在の時間ウィンドウ反復が終了するまで）、ＡＩコプロセッサ１５０上でのその実行を継続することができる。いくつかの実施形態では、信号経路１５６は、カーネル１５４の実行を制御（スケジュール、一時停止、再開）するためにＡＩコプロセッサ１５０に割り込みを発行するためにスケジューラ１２６によって利用される。

【0022】

いくつかの実施形態では、プロセッサバスモニタ（ＢＭ）１６０は、プロセッサ１２０によって実行されるタスク１２７によってメモリ１２２に対して行われるメモリトランザクションを監視及びカウントする要素である。同様に、ＡＩコプロセッサバスモニタ（ＢＭ）１６２は、ＡＩコプロセッサ１５０によって実行されるカーネル１５４によってメモリ１２２に対して行われるメモリトランザクションを監視及びカウントする要素である。いくつかの実施形態では、スケジューラ１２６は、上述したようにメモリトランザクションクォータを割り当て、クォータをバスモニタ１６０、１６２に伝達し、次に、タスク及びカーネルが本明細書で説明するようにメモリトランザクションを実行するときに残りのクォータ残高を追跡する。

【0023】

バスモニタ１６０、１６２は、いくつかの実施形態では、各々のクォータ残高が使い果たされると、タスク及び／又はカーネルによる更なるメモリトランザクションを抑制するように機能する要素としても機能することができる。例えば、バスモニタ１６０、１６２は、使い果たされたクォータ残高をスケジューラ１２６に通信することができ、スケジューラは、関連するタスク及び／又はカーネルの実行を中断（一時停止）することによって応答する。いくつかの実施形態では、バスモニタ１６０は、タスク１２７がそのメモリトランザクションクォータ内の残りの残高でタイミングウィンドウインスタンス中に実行を完了するときを認識し、ＡＩコプロセッサ１５０上での１つ以上のカーネルの更なる実行を可能にするために、その残りの残高の少なくとも一部のバスモニタ１６２への転送を開始することができる。いくつかの実施形態では、残りのクォータ残高のそのような転送は、スケジューラ１２６によって制御されることができる。代替の実施形態では、バスモニタ１６０、１６２の機能は、ハードウェア要素として、又はソフトウェアで、又はそれらの組み合わせによって実装されてもよいことを理解されたい。いくつかの実施形態では、プロセッサ１２０又はＡＩコプロセッサ１５０上で実行されるソフトウェアは、バスモニタ１６０、１６２を定期的に読み取り、それに応じてＡＩコプロセッサ１５０を調整して、割り当てられたメモリトランザクションクォータを決して超えないようにする。

【0024】

上述したように、ＡＩコプロセッサレートリミッタ（ＲＬ）１６４は、ＡＩコプロセッサ１５０によって実行されるカーネル１５４がメモリ１２２にアクセスする（すなわち、メモリトランザクションを実行する）ことができるレートを選択的に調整又はスロットル調整するように動作する。カーネル１５４が自由にメモリトランザクションを実行することを許可する代わりに、ＲＬ１６４は、ＡＩコプロセッサ１５０とメモリバス１２３との間でメモリトランザクションが実行されるレートを制限又は限定する。例えば、ＲＬ１６４は、メモリトランザクションを１Ｇバイト／秒の可能なレートから１００Ｍバイト／秒のレートに制限するように調整することができる。ＲＬ１６４は、バスモニタ１６２と連携して、又はバスモニタから独立して機能することができる。

【0025】

いくつかの実施形態では、ＡＩコプロセッサ１５０上で実行されているカーネル１５４がタイミングウィンドウ反復中に現在実行されている唯一のアクティブプロセスである場合、レートリミッタ並びにＡＩコプロセッサ１５０のメモリトランザクションクォータがバイパスされる（例えば、無効にされる）ことができ、カーネル１５４は、制限なくメモリトランザクションを実行することが可能にされる。同様に、いくつかの実施形態では、カーネル１５４がＡＩコプロセッサ１５０上で実行されており、セーフティクリティカル（例えば非周期的タスク１３０など）に分類されないタスク１２７のみがプロセッサ１２０上で実行されている場合、レートリミッタ１６４並びにＡＩコプロセッサ１５０のメモリトランザクションクォータもまたバイパスされる（例えば、無効にされる）ことができ、カーネル１５４は、制限なくメモリトランザクションを実行することが可能にされる。いくつかの実施形態では、メモリトランザクションクォータ及びレートリミッタ機能がバイパスされることができるかどうかを確認するために定期的なチェックが実行される。

【0026】

図２は、タイミングウィンドウ反復中にプロセスが実行され、メモリトランザクションクォータに基づいて管理される実施形態の例示的なタイムラインを２００で示している。図２では、ＣＰＵ０、ＣＰＵ１、及びＡＩコプロセッサは、各々、メモリトランザクションクォータの影響を受ける各々のプロセス（Ｐ０、Ｐ１、Ｐ２）を実行するものとして示されている。しかしながら、メモリトランザクションクォータは、ＣＰＵ０、ＣＰＵ１、及びその上でプロセスを実行するためのＡＩコプロセッサのいずれかに割り当てられることができ、又はＣＰＵ及び／又はＡＩコプロセッサクォータは、プロセス自体に直接割り当てられることができることを理解されたい。例えば、プロセスＰ０、Ｐ１又はＰ２は、いくつかの実装形態では、各々が実際にメモリトランザクションクォータを割り当てられた個々のプロセスのセットを表すことができる。とは言え、メモリトランザクションクォータをカウントして実施すること、及び／又はレートリミッタによって制限すること、又はそれにかかわらず同じ方法で実行される。

【0027】

２１１に示すように、ＣＰＵ０上でプロセスＰ０が実行され、ＣＰＵ１上でプロセスＰ１が実行され、ＡＩコプロセッサ上でプロセスＰ２が実行されるタイミングウィンドウの最初の反復を含むタイミングウィンドウインスタンス２１０が開始する。プロセスＰ０は、２３０に示される初期メモリトランザクションクォータによってタイミングウィンドウインスタンス２１０を開始し、プロセスＰ１は、２４０に示される初期メモリトランザクションクォータによってタイミングウィンドウインスタンス２１０を開始し、プロセスＰ２は、２５０に示される初期メモリトランザクションクォータによってタイミングウィンドウインスタンス２１０を開始する。ＣＰＵ０及びＣＰＵ１上でプロセスが能動的に実行されているため、プロセスＰ２は、レートリミッタ１６４がイネーブルされ、Ｐ２がメモリ１２２に対してメモリトランザクションを実行することができるレートを制限することによって開始する。

【0028】

プロセスＰ０、Ｐ１、及びＰ２は、全て、実行を開始し、メモリトランザクションを実行するときに各々のメモリトランザクションクォータの使い果たしを開始する。２１２において、Ｐ２の実行は、Ｐ２がその初期メモリトランザクションクォータを使い果たした時点（２５２に示す）に到達すると一時停止される。２１３において、ＣＰＵ１は、その初期メモリトランザクションクォータに残高が残っている状態で実行プロセスＰ１を完了する（２４２に示す）。この残りのメモリトランザクションクォータ残高は、ＡＩプロセッサ上のＰ２による使用のために転送され（２４６に示す）、Ｐ２のメモリトランザクションクォータを部分的に補充する（２５６に示す）。したがって、プロセスＰ２は、２１４においてそのメモリトランザクションクォータが再び使い果たされるまで（２５８に示す）ＡＩコプロセッサユニット上での実行を再開し、Ｐ２の実行は再び中断される。

【0029】

２１５において、プロセスＰ０は、その実行を完了するが、Ｐ２に供与するための残りのメモリトランザクションクォータ（２３２に示す）を有しない。とは言え、Ｐ０及びＰ１は、双方とも、他のタスクがＣＰＵ０又はＣＰＵ１上で実行されていない（又は少なくとも重要タスクとして指定されたタスクがない）状態で、タイミングウィンドウインスタンス２１０内に残っている時間によってそれらの実行を完了している。したがって、ＡＩコプロセッサは、ＣＰＵ０又はＣＰＵ１によるタスクの実行にレイテンシを引き起こす懸念なしに、タイミングウィンドウインスタンス２１０の終了まで（２１６に示す）、２１５においてＰ２の実行を再開することができる。したがって、Ｐ２のレート制限は、２１５から開始して中止されることができる。更に、Ｐ２によるメモリトランザクションクォータの使用の追跡も無効にされることができる。いくつかの実施形態では、メモリトランザクションクォータの無効化は、メモリトランザクションの更なるカウントを無効にすること、メモリトランザクションクォータを無限又は他の不釣り合いに高い値に設定すること、メモリトランザクションクォータが使い果たされたときを無視すること、及び／又は他のアクションなどのアクションによって効果的に実装されることができる。

【0030】

２１６の後、他のタイミングウィンドウのための１つ以上の他のタイミングウィンドウインスタンスがスケジュールされ、タイミングウィンドウインスタンス２１０について上述したのと同じ方法でメモリトランザクションを調整するように動作することができる。２１７において、タイミングウィンドウ２１０の次の反復が開始され、処理されたＰ０、Ｐ１及びＰ２は、２３０’、２４０’及び２５０’に示される補充されたメモリトランザクションクォータによって再び実行を開始することができる。場合によっては、スケジューラ１２６は、タイミングウィンドウの前のインスタンスの間にメモリトランザクションクォータ２３０及び２５０に割り当てられたのと同じ初期バジェットで、メモリトランザクションクォータ２３０、２４０’、２４０’及び２５０’に割り当てられてもよい。他の実施形態では、異なる初期メモリトランザクションクォータが割り当てられてもよい。

【0031】

図３は、ＡＩコプロセッサメモリトランザクション調整のための例示的な方法３００を実装するフローチャート図である。図３の方法に関して本明細書で説明される特徴及び要素は、本明細書で説明される他の実施形態のいずれかの要素と共に、それと組み合わせて、又はそれと置換して使用されることができ、その逆も可能であることを理解されたい。更に、図３に記載されている実施形態の要素の機能、構造、及び他の説明は、本明細書に記載されている図及び／又は実施形態のいずれかにわたって同様又は同様に命名又は説明された要素に適用されることができ、その逆も可能であることを理解されたい。

【0032】

一実施形態では、方法３００は、共通メモリを共有するプロセッサ及び計算プロセッサを備えるシステムにおいてＡＩ推論エンジンのメモリ利用率を管理するための方法である。計算プロセッサは、ディープニューラルネットワーク（ＤＮＮ）プロセスを含む少なくとも１つのカーネルを実行するように構成される。プロセッサ及び計算プロセッサは、各々、同時タイミングウィンドウ反復中にプロセス（各々、タスク及びカーネル）を実行する。方法３００は、マルチコアプロセッサの実施態様であるという観点で説明されているが、シングルコアの場合、追加コアのためのシングルコア実装ステップは省略されるか、又はシングルコアに適合される。

【0033】

本方法は、３１０において、第１のタイミングウィンドウ割り当てのために、第１のタイミングウィンドウ反復のためにマルチコアプロセッサの第１のコア（例えば、ＣＰＵ０）上で第１のセットのタスクを実行するために使用される第１のメモリトランザクションクォータを割り当てることと、第１のタイミングウィンドウ反復中にマルチコアプロセッサの第２のコア（例えばＣＰＵ１）上で第２のセットのタスクを実行するために使用される第２のメモリトランザクションクォータを割り当てることと、計算エンジン上で１つ以上のカーネルを実行するために使用される第３のメモリトランザクションクォータを割り当てることとから開始する。

【0034】

本方法は、３１２に進み、第１のタイミングウィンドウ反復内で、第１のセットのタスク及び第２のセットのタスク並びに１つ以上のカーネルを実行し、１つ以上のカーネルは、第３のメモリトランザクションクォータが使い果たされるまで第１のタイミングウィンドウ反復中に実行される（すなわち、第３のメモリトランザクションクォータが使い果たされていない限り）。上述したように、メモリバスモニタは、タスク及びカーネルによって実行されるメモリトランザクションを監視及びカウントし、それらのメモリトランザクションクォータを使い果たすプロセスの中断を開始するために利用されることができる。いくつかの実施形態では、マルチコアプロセッサ上で実行される周期的タスクには、それらのＷＣＥＴ設計ベースの範囲内で動作するときにそれらを使い果たすことが期待されない十分に大きなメモリトランザクションクォータが割り当てられてもよい。

【0035】

本方法はまた、第１のコア又は第２のコアのいずれかがマルチコアプロセッサ上でタスクを実行しているときに１つ以上のカーネルによるメモリへのレート制限アクセスによって３１４に進む。いくつかの実施形態では、これは、第１のコア又は第２のコアのいずれかがマルチコアプロセッサ上で周期的タスクを実行しているときに、又は第１のコア又は第２のコアのいずれかが指定された重要なタスクを実行しているときに、１つ以上のカーネルによるメモリへのアクセスをレート制限することにより制限されることができる。

【0036】

３１６において、第１のタイミングウィンドウ反復の終了前に第１のセットのタスクの実行が第１のコア上で完了すると、第１のメモリトランザクションクォータの任意の残りの残高を第３のメモリトランザクションクォータに転送し、第２のタスクのセットの実行が第１のタイミングウィンドウ反復の終了の前に第２のコア上で完了すると、第２のメモリトランザクションクォータの任意の残りの残高を第３のメモリトランザクションクォータに転送する。上述したように、第１のタスクのセット及び第２のタスクのセットは、各々、１つ以上のタスクを含むことができる。

【0037】

３１８において、第１のタイミングウィンドウの終了前に第１のタスクのセット及び第２のタスクのセットの実行が完了すると、１つ以上のカーネルのレート制限を中断し、計算エンジンによるメモリへの無制限のアクセスを可能にするために、１つ以上のカーネルへの第３のメモリトランザクションクォータの適用を無効にする。いくつかの実施形態では、メモリトランザクションクォータの無効化は、メモリトランザクションの更なるカウントを無効にすること、メモリトランザクションクォータを無限又は他の不釣り合いに高い値に設定すること、メモリトランザクションクォータが使い果たされたときを無視すること、及び／又は他のアクションなどのアクションによって効果的に実装される。同様に、いくつかの実施形態では、マルチコアプロセッサ上で実行されている唯一のタスクがセーフティクリティカルとして分類されないタスク（例えば、非周期的タスク１３０など）である場合にカーネルが制限なくメモリトランザクションを実行し続けることができるように、レート制限並びに計算エンジンメモリトランザクションクォータもまたバイパス（中断又は無効化）されることができる。

【0038】

個別のＡＩコプロセッサの場合、メモリアーキテクチャは、一般に、個別のＡＩコプロセッサがそれ自体のローカル高速メモリ（ＧＰＵによって実装されるＡＩコプロセッサの場合、そのようなメモリは、グラフィックスダブルデータレート（ＧＤＤＲ）として知られている）を備えることができるという点で、統合ＡＩコプロセッサの場合とは異なることができることを理解されたい。個別のＡＩコプロセッサによる直接メモリアクセス（ＤＭＡ）は、メモリのプロセスと競合し、干渉を引き起こす計算プロセッサの方法であり得る。更に、ＡＩコプロセッサ上で実行されているカーネルもまた、ローカル高速メモリにアクセスするために互いに競合し得ることを理解されたい。

【0039】

図４及び図４Ａは、ＡＩコプロセッサメモリトランザクション調整のための別の例示的な方法４００を実装するフローチャート図である。図３の方法に関して本明細書で説明される特徴及び要素は、本明細書で説明される他の実施形態のいずれかの要素と共に、それと組み合わせて、又はそれと置換して使用されることができ、その逆も可能であることを理解されたい。更に、図３に記載されている実施形態の要素の機能、構造、及び他の説明は、本明細書に記載されている図及び／又は実施形態のいずれかにわたって同様又は同様に命名又は説明された要素に適用されることができ、その逆も可能であることを理解されたい。

【0040】

一実施形態では、方法４００は、ＡＩ推論コプロセッサ（例えば、計算エンジン）上でのカーネルの実行に関するプロセスである。いくつかの実施形態では、方法４００の１つ以上の要素は、カーネル自体内のコードとして実装されてもよい。本方法は、ＡＩコプロセッサ上で１つ以上のカーネルを実行するためのメモリトランザクションクォータをマルチコアプロセッサから取得する４１０から始まる。本方法は、４２０に進み、タイミングウィンドウ反復中にＡＩコプロセッサ上で１つ以上のカーネルを実行する。カーネルは、それらのメモリトランザクションクォータが完了しない限り、ウィンドウ中に実行される。したがって、本方法は、１つ以上のカーネルによってメモリトランザクションを監視及びカウントすることと、メモリトランザクションが発生するとメモリトランザクションクォータを更新することとを含むことができる。したがって、方法は、４３０に進み、１つ以上のカーネルを実行するためのメモリトランザクションクォータが使い果たされているかどうかを判定する。４３０における判定が「いいえ」であり、カーネルがまだ完了するために処理を必要とする（４３１においてチェックされる）場合、本方法は、４２０に戻り、カーネルの実行を継続する。そうである場合、本方法は、４４０に進み、１つ以上のカーネルの実行を中断する。カーネルは、それらのメモリトランザクションクォータが補充されるか、又はカーネルのメモリトランザクションクォータの適用が無効にされない限り、タイミングウィンドウ反復の終了まで保留されたままである。例えば、メモリトランザクションクォータは、マルチコアプロセッサ上で動作しているタスクがそのメモリトランザクションクォータのいくらかの残高が残っている状態で実行を完了し、その残りの残高がカーネルのメモリトランザクションクォータに転送されるときに補充されてもよい。メモリトランザクションクォータが有効であるが使い果たされた状態にある場合、本方法は、４４０に戻り、ここで、１つ以上のカーネルの実行は中断されたままである。メモリトランザクションクォータが無効化又は補充されている場合、本方法は、４２０に戻り、カーネルの実行を継続する。

【0041】

図４Ａは、４２０における１つ以上のカーネルの実行中のレート制限の実装形態を示している。４２１において、本方法は、メモリバスに対して行われるメモリトランザクション実行のレートを選択的に調整する。上述したように、レート制限は、ＡＩコプロセッサによって実行されるカーネルがメモリにアクセスする（すなわち、メモリトランザクションを実行する）ことができるレートを選択的に調整又はスロットル調整するように動作する。カーネルが自発的にメモリトランザクションを実行することを許可する代わりに、レート制限は、ＡＩコプロセッサとメモリバス及び／又はメモリとの間でメモリトランザクションが実行されるレートを制限又は限定する。例えば、レート制限は、メモリトランザクションを１Ｇバイト／秒の可能なレートから下げて１００Ｍバイト／秒のレートに制限するように調整することができる。レート制限は、バスモニタと連動して、又はバスモニタから独立して機能することができる。４２２において、本方法は、レート制限がバイパスされることができるか否かを判定する。そうでない場合、本方法は、４２１に戻り、レート制限を継続する。そうではなく、例えば上述したように、ＡＩコプロセッサ上で実行されているカーネルがタイミングウィンドウ反復中に現在実行されている唯一のアクティブプロセスである場合、プロセスは、４２３に進むことができ、そこでレート制限がバイパスされる（例えば、無効にされる）ことができ、カーネルは、制限なくメモリトランザクションを実行することが可能にされる。同様に、いくつかの実施形態では、カーネルがＡＩコプロセッサ上で実行されており、セーフティクリティカルとして分類されていないタスク（例えば、非周期的タスク１３０又は低ＤＡＬタスクなど）のみがプロセッサ上で実行されている場合、レート制限もまたバイパスされることができ、カーネルは、制限なくメモリトランザクションを実行することが可能にされる。また、上述したように、レート制限はまた、任意にプロセッサ上で実装されてもよい。すなわち、図４Ａのプロセスは、プロセッサによって実装されるタスクによってメモリトランザクションをレート制限するために適用するように一般化されることができる。そのような方法は、ＡＩコプロセッサ上で実行されているプロセスがＤＡＬ Ａ、ＤＡＬ Ｂ、又はＤＡＬ Ｃなどの高いセーフティクリティカルなＤＡＬを有するが、プロセッサ上で実行されているタスクがＤＡＬ Ｄ又はＤＡＬ Ｅなどの比較的低いＤＡＬであるアビオニクスアプリケーションに利用されることができる。

【0042】

例示的な実施形態
実施例１は、コンピューティングシステムであって、少なくとも１つのコアを備えるプロセッサと、１つ以上のカーネルを実行するように構成された計算プロセッサと、プロセッサ及び計算プロセッサに結合されたメモリと、を備え、コンピューティングシステムが、プロセッサの第１のコア上で実行される少なくとも第１のタスクのセットに少なくとも１つのタスクメモリトランザクションクォータを割り当てるように構成され、計算プロセッサ上で１つ以上のカーネルを実行するための少なくとも１つの計算プロセッサメモリトランザクションクォータを割り当て、第１のタイミングウィンドウ反復内で、第１のタスクのセットと、１つ以上のカーネルであって、１つ以上のカーネルが、計算プロセッサ上で１つ以上のカーネルを実行するための少なくとも１つの計算メモリトランザクションクォータが使い果たされるまで、第１のタイミングウィンドウ反復中に実行される１つ以上のカーネルとを実行し、第１のタスクのセットがプロセッサ上で実行されているときの１つ以上のカーネルによるメモリへのメモリトランザクションアクセスのレートを調整するように構成された、コンピューティングシステムを含む。

【0043】

実施例２は、少なくとも第１のタスクのセットが、プロセッサの第１のコアで実行される第１のタスクのセットと、プロセッサの第２のコアで実行される第２のタスクのセットとを含み、少なくとも１つのタスクメモリトランザクションクォータを割り当てるために、コンピューティングシステムが、プロセッサの第１のコア上で実行される第１のタスクのセットに第１のメモリトランザクションクォータを割り当て、プロセッサの第２のコア上で実行される第２のタスクのセットに第２のメモリトランザクションクォータを割り当てるように構成された、実施例１のシステムを含む。

【0044】

実施例３は、少なくとも第１のタスクのセットのうちの１つ以上のタスクの実行が第１のタイミングウィンドウ反復の終了前に第１のコア上で完了すると、コンピューティングシステムが、第１のコアに割り当てられた少なくとも１つのタスクメモリトランザクションクォータの任意の残りの残高の少なくとも一部を少なくとも１つの計算プロセッサメモリトランザクションクォータに転送し、第１のタイミングウィンドウの終了前の少なくとも第１のタスクのセットの全ての実行の完了に基づいて、コンピューティングシステムが、１つ以上のカーネルによるメモリトランザクションアクセスのレートの調整を中断し、計算エンジンによるメモリへの無制限のアクセスを可能にするために、１つ以上のカーネルへの計算プロセッサメモリトランザクションクォータの適用を無効にする、実施例１～２のいずれかのコンピューティングシステムを含む。

【0045】

実施例４は、プロセッサ及び計算プロセッサに結合されたメモリバスを更に備え、メモリが、メモリバスによってプロセッサ及び計算プロセッサに結合される、実施例１～３のいずれかのコンピューティングシステムを含む。

【0046】

実施例５は、プロセッサによって実行されるスケジューラを更に備え、スケジューラが、少なくとも１つのタスクメモリトランザクションクォータ及び少なくとも１つの計算プロセッサメモリトランザクションクォータの割り当てを実行する、実施例１～４のいずれかのコンピューティングシステムを含む。

【0047】

実施例６は、スケジューラが、プロセッサによって実行されるオペレーティングシステムの構成要素である、実施例５のコンピューティングシステムを含む。

【0048】

実施例７は、計算プロセッサが、人工知能（ＡＩ）コプロセッサを実装するように構成され、１つ以上のカーネルが、少なくとも１つのディープニューラルネットワーク（ＤＮＮ）プロセス、１つ以上の行列演算、又は点ごとの数学的演算子を含む、実施例１～６のいずれかのコンピューティングシステムを含む。

【0049】

実施例８は、少なくとも１つのカーネルが、ヒューマンマシンインターフェース（ＨＭＩ）上に表示するためのグラフィックスを準備及び／又はレンダリングするように構成された、実施例１～７のいずれかのコンピューティングシステムを含む。

【0050】

実施例９は、第１のタスクのセット及び第２のタスクのセットが、周期的タスク又は非周期的タスクのうちの少なくとも１つを含む、実施例１～８のいずれかのコンピューティングシステムを含む。

【0051】

実施例１０は、メモリトランザクションを監視及びカウントするように構成された１つ以上のバスモニタを備え、コンピューティングシステムが、１つ以上のバスモニタによって監視されるメモリトランザクションに基づいて、少なくとも１つのタスクメモリトランザクションクォータ及び計算プロセッサを選択的に減少させる、実施例１～９のいずれかのシステムを含む。

【0052】

実施例１１は、プロセッサ及び計算プロセッサが、各々、同じタイミングウィンドウの間に並行プロセスを実行する、実施例１～１０のいずれかの方法を含む。

【0053】

実施例１２は、共通メモリを共有するプロセッサ及び計算プロセッサを備えるシステムにおいてメモリ利用を管理するための方法であって、少なくとも１つのタスクメモリトランザクションクォータを、プロセッサの第１のコア上で実行される少なくとも第１のタスクのセットに割り当てることと、計算プロセッサ上で１つ以上のカーネルを実行するための少なくとも１つの計算プロセッサメモリトランザクションクォータを割り当てることと、第１のタイミングウィンドウ反復内で、第１のタスクのセットと、１つ以上のカーネルであって、１つ以上のカーネルが、計算プロセッサ上で１つ以上のカーネルを実行するための少なくとも１つの計算プロセッサメモリトランザクションクォータが使い果たされるまで、第１のタイミングウィンドウ反復中に実行される１つ以上のカーネルとを実行することと、第１のタスクのセットがプロセッサ上で実行されているときの１つ以上のカーネルによるメモリへのメモリトランザクションアクセスのレートを調整することと、を含む、方法を含む。

【0054】

実施例１３は、少なくとも第１のセットのタスクが、プロセッサの第１のコア上で実行される第１のセットのタスクと、プロセッサの第２のコア上で実行される第２のセットのタスクとを含み、方法が、プロセッサの第１のコア上で実行される第１のセットのタスクに第１のメモリトランザクションクォータを割り当て、プロセッサの第２のコア上で実行される第２のセットのタスクに第２のメモリトランザクションクォータを割り当てることを更に含む、実施例１２の方法を含む。

【0055】

実施例１４は、第１のタイミングウィンドウ反復の終了前に少なくとも第１のタスクのセットのうちの１つ以上のタスクの実行が第１のコア上で完了すると、少なくとも１つのタスクメモリトランザクションクォータの任意の残りの残高の少なくとも一部を計算プロセスメモリトランザクションクォータに転送することと、第１のタイミングウィンドウの終了前に少なくとも第１のタスクのセットの全ての実行が完了したことに基づいて、１つ以上のカーネルのメモリトランザクションアクセスのレートの調整を中止し、計算エンジンによるメモリへの無制限のアクセスを可能にするために、１つ以上のカーネルへの計算プロセッサメモリトランザクションクォータの適用を無効にすることと、を更に含む、実施例１１～１３のいずれかの方法を含む。

【0056】

実施例１５は、プロセッサ及び計算プロセッサが、各々、同時タイミングウィンドウ反復中にプロセスを実行する、実施例１２～１４のいずれかの方法を含む。

【0057】

実施例１６は、プロセッサによってスケジューラを実行することを更に含み、スケジューラが、少なくとも１つのタスクメモリトランザクションクォータ及び計算プロセッサメモリトランザクションクォータの割り当てを実行する、実施例１２～１５のいずれかの方法を含む。

【0058】

実施例１７は、スケジューラが、プロセッサによって実行されるオペレーティングシステムの構成要素である、実施例１６の方法を含む。

【0059】

実施例１８は、計算プロセッサが、人工知能（ＡＩ）コプロセッサを実装するように構成され、１つ以上のカーネルが、少なくとも１つのディープニューラルネットワーク（ＤＮＮ）プロセス、１つ以上の行列演算、又は点ごとの数学演算子を含む、実施例１２～１７のいずれかの方法を含む。

【0060】

実施例１９は、少なくとも第１のタスクのセット及び１つ以上のカーネルによって実行されるメモリトランザクションを監視及びカウントすることと、メモリトランザクションを監視及びカウントすることに基づいて、少なくとも１つのタスクメモリトランザクション及び計算プロセッサメモリトランザクションクォータを選択的に減少させることと、を更に含む、実施例１２～１８のいずれかの方法を含む。

【0061】

実施例２０は、メモリが、メモリバスによってプロセッサ及び計算プロセッサに結合される、実施例１２～１９のいずれかの方法を含む。

【0062】

様々な代替の実施形態では、本開示を通して説明されるシステム及び／又はデバイス要素、方法ステップ、又は例示的な実装形態（例えば、そのようなコンピューティングシステム、端末、ＨＭＩ、シングルコアプロセッサ、マルチコアプロセッサ、ＣＰＵ、処理コア、ＡＩコプロセッサ、推論エンジン、計算エンジン、メモリ、キャッシュ、オペレーティングシステム、スケジューラ、インターフェース、メモリバス、バスモニタ、レートリミッタ、又はこれらの任意のコントローラ、プロセッサ、回路、若しくはサブ部品）は、メモリに結合され、それらの要素、プロセス、又は実施例を実現するためにコードを実行するプロセッサを備える１つ以上のコンピュータシステム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は同様のデバイスを使用して少なくとも部分的に実装されてもよく、当該コードは、非一時的ハードウェアデータ記憶デバイスに記憶される。ＡＩコプロセッサは、ＣＰＵコアを有するシリコンに統合されることができ、又はそれ自体のメモリを有する個別の部品とすることができる。本明細書に記載の戦略は、システムメモリ又はＡＩコプロセッサのローカルメモリのいずれかに適用されることができる。したがって、本開示の他の実施形態は、そのようなコンピュータシステムによって実装されると、それらが本明細書に記載の実施形態を実装することを可能にするコンピュータ可読媒体に常駐するプログラム命令を備える要素を含むことができる。本明細書で使用される場合、「コンピュータ可読媒体」という用語は、非一時的な物理的形態を有する有形のメモリ記憶デバイスを指す。そのような非一時的な物理的形態は、パンチカード、磁気ディスク又はテープ、任意の光学データ記憶システム、フラッシュ読み出し専用メモリ（ＲＯＭ）、不揮発性ＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能プログラマブルＲＯＭ（Ｅ－ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、又は物理的、有形の形態を有する永続的、半永続的、若しくは一時的なメモリ記憶システム若しくはデバイスの任意の他の形態などのコンピュータメモリデバイスを含むことができるが、これらに限定されない。プログラム命令は、コンピュータシステムプロセッサ及び超高速集積回路（ＶＨＳＩＣ）ハードウェア記述言語（ＶＨＤＬ）などのハードウェア記述言語によって実行されるコンピュータ実行可能命令を含むが、これらに限定されない。

【0063】

本明細書で使用される場合、コンピューティングシステム、端末、ＨＭＩ、シングルコアプロセッサ、マルチコアプロセッサ、ＣＰＵ、処理コア、ＡＩコプロセッサ、推論エンジン、計算エンジン、メモリ、キャッシュ、オペレーティングシステム、スケジューラ、インターフェース、メモリバス、バスモニタ、レートリミッタなどの用語は、アビオニクス及び輸送産業の当業者によって理解されるであろう要素の名称を指し、米国特許法第１１２条（ｆ）を行使する目的でノンス語又はノンス用語として本明細書では使用されない。

【0064】

本明細書では特定の実施形態が示され、記載されているが、当業者には、示される特定の実施形態の代わりに、同一の目的を達成することが予測される任意の構成が用いられ得ることが理解されよう。本出願は、提示された実施形態の任意の改変又は変形物を包含することを意図している。したがって、実施形態は、特許請求の範囲及びその均等物によってのみ限定されることが明らかに意図されている。

【図1】

【図2】

【図3】

【図4】

【図4A】

【外国語明細書】