特表 2024-523990 ハードウェアアクセラレータサービスアグリゲーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-05

(54)【発明の名称】ハードウェアアクセラレータサービスアグリゲーション

(51)【国際特許分類】

   G06F 9/50 20060101AFI20240628BHJP

【ＦＩ】

G06F9/50 150A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023572177

(86)(22)【出願日】2022-10-27

(85)【翻訳文提出日】2023-11-21

(86)【国際出願番号】 US2022047988

(87)【国際公開番号】W WO2023086210

(87)【国際公開日】2023-05-19

(31)【優先権主張番号】17/525,300

(32)【優先日】2021-11-12

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】ケルカー，シュリカント

(72)【発明者】

【氏名】アダブ，ガールギー

(72)【発明者】

【氏名】シャーマ，ラクシュミ

(72)【発明者】

【氏名】ジャヤデバン，マノジ

(72)【発明者】

【氏名】パテル，パルビーン

(72)【発明者】

【氏名】ランガナサン，パルササラシー

(57)【要約】

本開示は、ローカルハードウェア（ＨＷ）アクセラレータカードおよびリモートＨＷアクセラレータカードの能力を発見するためのシステム、方法、およびコンピュータ可読媒体を含む。ローカルハードウェア（ＨＷ）アクセラレータカードは、通信インタフェースを介して、ローカルＨＷアクセラレータカードからアクセラレーションサービスのリスティングを提供することができる。アクセラレーションサービスのリスティングは、ローカルＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供された第１組のアクセラレーションサービスとリモートＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供された第２組のアクセラレーションサービスとを含むことができる。第２組のアクセラレーションサービスのアクセラレーションサービスのうちの少なくとも１つにより処理するためのワークロードを定義するワークロード命令が、計算装置のプロセッサから受信され得る。ワークロード命令は、リモートＨＷアクセラレータカードに転送され得る。

【特許請求の範囲】

【請求項1】

ローカルハードウェア（ＨＷ）アクセラレータカードの１つまたは複数のプロセッサにより、通信インタフェースを介して、前記ローカルＨＷアクセラレータカードからアクセラレーションサービスのリスティングを提供するステップであって、アクセラレーションサービスの前記リスティングが、前記ローカルＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第１組のアクセラレーションサービスとリモートＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第２組のアクセラレーションサービスとを含む、ステップと、
前記１つまたは複数のプロセッサにより、計算装置のプロセッサからワークロード命令を受信するステップであって、前記ワークロード命令が、前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの少なくとも１つにより処理するためのワークロードを定義する、ステップと、
前記１つまたは複数のプロセッサにより、前記ワークロード命令を前記リモートＨＷアクセラレータカードに転送するステップと
を含む、方法。

【請求項2】

前記１つまたは複数のプロセッサにより、前記リモートＨＷアクセラレータカードから処理済みワークロードを受信するステップであって、前記処理済みワークロードが、前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの前記少なくとも１つにより処理した後の前記ワークロードである、ステップ
をさらに含む、請求項１に記載の方法。

【請求項3】

前記１つまたは複数のプロセッサにより、前記処理済みワークロードを前記計算装置の前記プロセッサに転送するステップ
をさらに含む、請求項２に記載の方法。

【請求項4】

アクセラレーションサービスの前記リスティングが、前記１つまたは複数のプロセッサ上で実行するアクセラレーテッドサービスマネージャ（ＡＳＭ）によって生成される、請求項１に記載の方法。

【請求項5】

前記１つまたは複数のプロセッサ上で実行する前記ＡＳＭが、前記リモートＨＷアクセラレータカード上で実行する別のＡＳＭと通信する、請求項４に記載の方法。

【請求項6】

前記通信が、前記ＡＳＭが前記ワークロード命令を前記別のＡＳＭに転送することを含む、請求項５に記載の方法。

【請求項7】

前記通信が、前記ＡＳＭが前記別のＡＳＭに前記第２組のアクセラレーションサービスのリスティングを要求することを含む、請求項５に記載の方法。

【請求項8】

前記ＡＳＭが、アクセラレーションサービスの前記リスティングから不健全なアクセラレーションサービスを識別し、取り除く、請求項５に記載の方法。

【請求項9】

前記不健全なアクセラレーションサービスを識別することが、前記ＡＳＭにより、前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの前記少なくとも１つによる前記ワークロード命令の処理の失敗を決定することを含む、請求項８に記載の方法。

【請求項10】

前記不健全なアクセラレーションサービスを取り除くことが、
前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの前記少なくとも１つを不健全としてマーキングすること、または
前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの前記少なくとも１つをアクセラレーションサービスの前記リスティングから除去すること
を含む、請求項９に記載の方法。

【請求項11】

前記ワークロード命令の処理の前記失敗を決定した後で、前記ＡＳＭにより、更新済みワークロード命令を、前記異なるＨＷアクセラレータの前記アクセラレーションサービスのうちの少なくとも１つにより処理するための異なるＨＷアクセラレータカードに送信するステップ
をさらに含む、請求項１０に記載の方法。

【請求項12】

前記ワークロード命令が、少なくとも１つの他のリモートＨＷアクセラレータカードの少なくとも１つのアクセラレーションサービスにより処理することをさらに定義する、請求項１に記載の方法。

【請求項13】

通信インタフェースと、
１つまたは複数のプロセッサと１つまたは複数のアクセラレータとを含むローカルハードウェア（ＨＷ）アクセラレータカードであって、前記１つまたは複数のプロセッサが、
前記通信インタフェースを介して、前記ローカルＨＷアクセラレータカードからアクセラレーションサービスのリスティングを受信することであって、アクセラレーションサービスの前記リスティングが、前記ローカルＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第１組のアクセラレーションサービスとリモートＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第２組のアクセラレーションサービスとを含む、受信することと、
計算装置のプロセッサからワークロード命令を受信することであって、前記ワークロード命令が、前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの少なくとも１つにより処理するためのワークロードを定義する、受信することと
前記ワークロード命令を前記リモートＨＷアクセラレータカードに転送することと
を行うように構成される、ローカルハードウェア（ＨＷ）アクセラレータカードと
を備えるシステム。

【請求項14】

前記１つまたは複数のプロセッサが、
前記リモートＨＷアクセラレータカードから処理済みワークロードを受信することであって、前記処理済みワークロードが、前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの前記少なくとも１つにより処理した後の前記ワークロードである、受信すること
を行うようにさらに構成される、請求項１３に記載のシステム。

【請求項15】

前記１つまたは複数のプロセッサが、前記処理済みワークロードを前記計算装置の前記プロセッサに転送すること
を行うようにさらに構成される、請求項１４に記載のシステム。

【請求項16】

アクセラレーションサービスの前記リスティングが、前記１つまたは複数のプロセッサ上で実行するアクセラレーテッドサービスマネージャ（ＡＳＭ）によって生成される、請求項１３に記載のシステム。

【請求項17】

前記１つまたは複数のプロセッサ上で実行する前記ＡＳＭが、前記リモートＨＷアクセラレータカード上で実行する別のＡＳＭと通信する、請求項１６に記載のシステム。

【請求項18】

前記通信が、前記ＡＳＭが前記ワークロード命令を前記別のＡＳＭに転送することを含む、請求項１７に記載のシステム。

【請求項19】

前記通信が、前記ＡＳＭが前記別のＡＳＭに前記第２組のアクセラレーションサービスのリスティングを要求することを含む、請求項１７に記載のシステム。

【請求項20】

前記ＡＳＭが、アクセラレーションサービスの前記リスティングから不健全なアクセラレーションサービスを識別し、取り除く、請求項１８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年１１月１２日に出願された米国特許出願第１７／５２５，３００号の継続出願であり、その開示は、参照することにより本明細書に組み込まれる。

【背景技術】

【0002】

背景
ほとんどのシステムにおいて、計算装置（ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ）のコンポーネントを含む計算装置および／またはオペレーティングシステムを含む、計算装置上で実行するソフトウェアが、ＰＣＩｅバスなどの通信インタフェースによって計算装置に接続されたハードウェアアクセラレータカード（ｈａｒｄｗａｒｅ ａｃｃｅｌｅｒａｔｏｒ ｃａｒｄ）によって提供される機能性および能力を発見することは困難である。これらの問題を回避するには、プロセッサが、特定のハードウェアアクセラレータカードと通信するために、ドライバなどのソフトウェアでハードコード化され得る。しかしながら、特定のハードウェアアクセラレータカードと通信するためにプロセッサを必要なソフトウェアでハードコード化すると、プロセッサはそうした特定のハードウェアアクセラレータカードのみに限定される。したがって、プロセッサは、他のハードウェアアクセラレータカード、またはプロセッサが生産された後で開発されたハードウェアアクセラレータカードの機能性および能力を活用することができない。

【0003】

さらに、いくつかのハードウェアアクセラレータカードは、これらのカードの機能性および能力を計算装置のオペレーティングシステム内の別々の装置として公表することがある。これに関して、ハードウェアアクセラレータカードが、ＰＣＩｅバスなどの通信インタフェースによって計算装置に接続されるときに、オペレーティングシステムは、接続を検出するか、または他の方法で接続を通知され、ハードウェアアクセラレータカードの各機能性および能力のリストを、予め定義されたクラスおよびサブクラスに従ってオペレーティングシステム内の個別装置として作ることができる。オペレーティングシステム内にリストを作られた装置に基づいて、計算装置は、ハードウェアアクセラレータカードの能力および機能性を使用することができる。

【0004】

ハードウェアアクセラレータカードの能力および機能性は向上しておりかつより専門化してきているので、これらの新しい能力および機能性は、現在のオペレーティングシステムによって提供されるクラスおよびサブクラスによって明瞭には識別されない。したがって、いくつかのオペレーティングシステムは、ハードウェアアクセラレータカードによって提供される能力および機能性を示すことができるが、ハードウェアアクセラレータカードの能力および機能性のすべてを識別することはできないことがある。さらに、ハードウェアアクセラレータカードの能力および機能性のうちのいくつかは、オペレーティングシステム内で認識されないかつ／または明瞭に識別されないことがある。したがって、計算装置は、利用可能なハードウェアアクセラレータカードの特徴および能力のすべてを活用することができないことがあり、認識すらできないこともある。

【0005】

システムには、通常、通信インタフェースへの限られた数の接続部が設けられる。例えば、ＰＣＩｅバスを含むシステムは、ハードウェアアクセラレータカードをＰＣＩｅバスに接続するＰＣＩｅスロットを少数しか有することができない。限られた数の接続部は、費用制約条件によるものであり得る。これに関して、システムに付加される各追加接続部は、物理的ハードウェアの費用を増大させ、全製造コストを増すことがある。加えて、電力可用性などの技術的な限界もまた、システムに接続され得る装置の数を制限し得る。例えば、あるシステムは、ハードウェアアクセラレータカード用の５つの接続部を含むことができるが、電源は、電力を２つのハードウェアアクセラレータカードにしか同時に供給することができないことがある。したがって、システムは、システムに接続され得るハードウェアアクセラレータカードの数が限られているために、ハードウェアアクセラレータカードによって提供されるアクセラレーションサービス（ａｃｃｅｌｅｒａｔｉｏｎ ｓｅｒｖｉｃｅ）にアクセスするシステムの能力が制限され得る。

【発明の概要】

【0006】

概要
本明細書に記載の技術は、ハードウェアアクセラレータカードのアクセラレータによって提供されるアクセラレーションサービスを集め、公表するサービスアグリゲーション（ｓｅｒｖｉｃｅ ａｇｇｒｅｇａｔｉｏｎ）のためのシステムおよび方法に関する。サービスアグリゲーションを用いて、ハードウェアアクセラレータカードは、他のハードウェアアクセラレータカードと通信して、ローカルまたはリモートで接続され得るこれらの他のハードウェアアクセラレータカードのアクセラレータによって提供されるアクセラレーションサービスを集め、公表することができる。集められ、公表されたアクセラレーションサービスは、ハードウェアアクセラレータカードのアクセラレータがサービスアグリゲーションを実行することによって提供されるアクセラレーションサービスも含むことができる。次いで、ハードウェアアクセラレータカード、ならびに他のローカルまたはリモートで接続されたハードウェアアクセラレータカードによって提供されるアクセラレーションサービスは、システムによって活用され得る。

【0007】

本開示の一態様は方法に関する。本方法は、ローカルハードウェア（ＨＷ）アクセラレータカードの１つまたは複数のプロセッサにより、通信インタフェースを介して、ローカルＨＷアクセラレータカードからアクセラレーションサービスのリスティングを提供するステップであって、アクセラレーションサービスのリスティングが、ローカルＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第１組のアクセラレーションサービスとリモートＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第２組のアクセラレーションサービスとを含む、ステップと、１つまたは複数のプロセッサにより、計算装置のプロセッサからワークロード命令を受信するステップであって、ワークロード命令が、第２組のアクセラレーションサービスのアクセラレーションサービスのうちの少なくとも１つにより処理するためのワークロードを定義する、ステップと、１つまたは複数のプロセッサにより、ワークロード命令をリモートＨＷアクセラレータカードに転送するステップと、を含むことができる。

【0008】

本開示の別の態様は、通信インタフェースと、１つまたは複数のプロセッサと１つまたは複数のアクセラレータとを含むローカルハードウェア（ＨＷ）アクセラレータカードと、を備えるシステムに関する。１つまたは複数のプロセッサは、通信インタフェースを介して、ローカルＨＷアクセラレータカードからアクセラレーションサービスのリスティングを受信することであって、アクセラレーションサービスのリスティングが、ローカルＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第１組のアクセラレーションサービスとリモートＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第２組のアクセラレーションサービスとを含む、受信することと、計算装置のプロセッサからワークロード命令を受信することであって、ワークロード命令が、第２組のアクセラレーションサービスのアクセラレーションサービスのうちの少なくとも１つにより処理するためのワークロードを定義する、受信することと、ワークロード命令をリモートＨＷアクセラレータカードに転送することと、を行うように構成され得る。

【0009】

本開示の別の態様は、プログラムのコンピュータ可読命令が保存される非一時的有形コンピュータ可読記憶媒体に関し、命令は、１つまたは複数の計算装置によって実行されるときに、１つまたは複数の計算装置にある方法を実行させる。本方法は、ローカルハードウェア（ＨＷ）アクセラレータカードの１つまたは複数のプロセッサにより、通信インタフェースを介して、ローカルＨＷアクセラレータカードからアクセラレーションサービスのリスティングを提供するステップであって、アクセラレーションサービスのリスティングが、ローカルＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第１組のアクセラレーションサービスとリモートＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第２組のアクセラレーションサービスとを含む、ステップと、１つまたは複数のプロセッサにより、計算装置のプロセッサからワークロード命令を受信するステップであって、ワークロード命令が、第２組のアクセラレーションサービスのアクセラレーションサービスのうちの少なくとも１つにより処理するためのワークロードを定義する、ステップと、１つまたは複数のプロセッサにより、ワークロード命令をリモートＨＷアクセラレータカードに転送するステップと、を含むことができる。

【0010】

いくつかの例では、処理済みワークロードがリモートＨＷアクセラレータカードから受信されてもよく、処理済みワークロードは、第２組のアクセラレーションサービスのアクセラレーションサービスのうちの少なくとも１つにより処理した後のワークロードである。

【0011】

場合により、処理済みワークロードは計算装置のプロセッサに転送され得る。
いくつかの例では、アクセラレーションサービスのリスティングは、１つまたは複数のプロセッサ上で実行するアクセラレーテッドサービスマネージャ（ＡＳＭ）によって生成される。

【0012】

場合により、１つまたは複数のプロセッサ上で実行するＡＳＭは、リモートＨＷアクセラレータカード上で実行する別のＡＳＭと通信する。

【0013】

場合により、ＡＳＭはワークロード命令を別のＡＳＭに転送する。
場合により、ＡＳＭは別のＡＳＭに第２組のアクセラレーションサービスのリスティングを要求する。

【0014】

場合により、ＡＳＭは、アクセラレーションサービスのリスティングから不健全なアクセラレーションサービスを識別し、取り除く。

【0015】

いくつかの例では、不健全なアクセラレーションサービスを識別することは、ＡＳＭにより、第２組のアクセラレーションサービスのアクセラレーションサービスのうちの少なくとも１つによるワークロード命令の処理の失敗を決定することを含む。

【0016】

いくつかの例では、不健全なアクセラレーションサービスを取り除くことは、第２組のアクセラレーションサービスのアクセラレーションサービスのうちの少なくとも１つを不健全としてマーキングすること、または、第２組のアクセラレーションサービスのアクセラレーションサービスのうちの少なくとも１つをアクセラレーションサービスのリスティングから除去することを含む。

【0017】

場合により、ワークロード命令の処理の失敗を決定した後で、ＡＳＭにより、更新済みワークロード命令を、異なるＨＷアクセラレータのアクセラレーションサービスのうちの少なくとも１つによって処理するための異なるＨＷアクセラレータカードに送信すること。

【0018】

場合により、ワークロード命令は、少なくとも１つの他のリモートＨＷアクセラレータカードの少なくとも１つのアクセラレーションサービスにより処理することをさらに定義する。

【図面の簡単な説明】

【0019】

【図1】本開示の諸態様によるシステム例の説明図である。

【図2】本開示の諸態様によるシステム例の別の説明図である。

【図3】本開示の諸態様によるアクセラレーションサービスのリスティング例の説明図である。

【図4】本開示の諸態様によるネットワーク化システム例の説明図である。

【図5】本開示の諸態様によるアクセラレーションサービスのリスティング例の別の説明図である。

【図6】本開示の諸態様によるハードウェアアクセラレータカードにアクセラレーションサービスを要求するためのプロセス例の流れ図である。

【図7】本開示の諸態様による、ハードウェアアクセラレータカードにアクセラレーションサービスを要求し、アクセラレーションサービスを活用するワークロードを提供するためのプロセス例の別の流れ図である。

【図8】本開示の諸態様によるリモートハードウェアアクセラレータカードおよびローカルハードウェアアクセラレータカードにアクセラレーションサービスを要求するためのプロセス例の流れ図である。

【発明を実施するための形態】

【0020】

詳細な説明
本明細書に記載の技術は、ハードウェア（ＨＷ）アクセラレータカードのアクセラレータによって提供されるアクセラレーションサービスを集め、公表するサービスアグリゲーションのためのシステムおよび方法に関する。サービスアグリゲーションを用いて、コンピュータ装置に装着されたＨＷアクセラレータカードは、アクセラレーションサービスをローカルおよびリモートで接続されたＨＷアクセラレータカードから計算装置に供給および公表し得る。本明細書にさらに記述されるように、計算装置内のＨＷアクセラレータカードの計算コア上で実行するソフトウェアは、通信インタフェースを介して計算装置にローカルで接続された他のＨＷアクセラレータカードおよび／または計算装置にリモートでネットワーク接続される他のＨＷアクセラレータカードと通信するために、プレコンフィギュレーションファイルを発見または使用することができる。次いで、計算装置は、計算装置に装着されたＨＷアクセラレータカードを通じて他のＨＷアクセラレータカードと通信することができる。したがって、計算装置は、任意の数のローカルまたはリモートで接続されたＨＷアクセラレータカードのアクセラレーションサービスをうまく利用することができる。

【0021】

アクセラレーションサービスを発見することの不足を克服するために、本明細書に記載の技術は、ＨＷアクセラレータカード上のアクセラレータによって提供され得るアクセラレーションサービスに対応する識別子の標準化リスティングを使用する。これに関して、各ＨＷアクセラレータカードは、カード上のアクセラレータによって提供されるアクセラレーションサービスに対応する識別子のリスティングを保存することができる。識別子は現在使用されている装置のクラスおよびサブクラスよりも細かい粒度を提供することができるので、ＨＷアクセラレータカードからリスティングを取得するプロセッサは、ＨＷアクセラレータカード上のアクセラレータによって提供されるより多くのアクセラレータサービスを決定し、活用することができるようになる。

【0022】

本明細書で使用される場合、「アクセラレーションサービス」という用語は、ＨＷアクセラレータカードのアクセラレータによって提供される能力および機能性を指す。ＨＷアクセラレータカードの「アクセラレーションサービス」への言及は、そのＨＷアクセラレータカード上のアクセラレータのアクセラレーションサービスを指す。アクセラレーションサービスは、アクセラレータがデータの処理を制御するために活用できる能力および機能性を含み得、これを本明細書では制御プレーンアクセラレーションサービスと呼ぶ。アクセラレーションサービスはまた、アクセラレータがデータを処理するために活用できる能力および機能性を含み得、これを本明細書ではデータプレーンアクセラレーションサービスと呼ぶ。例えば、アクセラレータは、ホスト（計算装置）上のメモリとアクセラレータとの間でメモリを共有するための制御および／または方針を提供するアクセラレーションサービスを支援することができる。この制御プレーンアクセラレーションサービスは、アクセラレーションサービスとして識別および通信することができる。

【0023】

各ＨＷアクセラレータカードは多くのアクセラレータを有することができるので、各ＨＷアクセラレータは、同じ能力および機能性ならびに／あるいは異なる能力および機能性を有する多くのアクセラレーションサービスを提供することができる。さらに、各アクセラレータは、複数の機能および能力を含むことができる。

【0024】

システムの例
図１は、本明細書に記載の特徴が実装され得る計算装置１１０のアーキテクチャの例を示す。この例は、本明細書に記載の特徴の開示または有用性の範囲を限定すると見なされるべきではない。計算装置１１０は、サーバ、パーソナルコンピュータ、または他のそのようなシステムとすることができる。計算装置１１０のアーキテクチャは、プロセッサ１１２、メモリ１１４、およびハードウェアアクセラレータカード１１８を含む。

【0025】

プロセッサ１１２は、１つまたは複数の汎用プロセッサ、例えば中央処理装置（ＣＰＵ）など、ならびに／あるいは１つまたは複数の専用プロセッサ、例えば特定用途向け集積回路（ＡＳＩＣ）やフィールドプログラマブルゲートアレイ（ＦＰＧＡ）など、を含むことができる。プロセッサ１１２は、１つまたは複数のマイクロプロセッサ（ｕＰ）、１つまたは複数のマイクロコントローラ（ｕＣ）、１つまたは複数のデジタル信号プロセッサ、あるいはこれらの任意の組合せを含むが、これらに限定されるものではない任意のタイプのものとすることができる。プロセッサは、１つまたは複数のレベルのキャッシング、１つまたは複数のプロセッサコア、および１つまたは複数のレジスタを含むことができる。各プロセッサコアは、演算論理ユニット（ＡＬＵ）、浮動小数点演算ユニット（ＦＰＵ）、デジタル信号処理コア（ＤＳＰコア）、またはこれらの任意の組合せを含むことができる。プロセッサ１１２は、データ記憶装置に含まれ得るコンピュータ可読プログラム命令、例えば、メモリ１１４に保存された命令１１７、および／または本明細書に記載の他の命令などを実行するように構成され得る。

【0026】

メモリ１１４は、プロセッサ１１２によって実行され得る命令１１７を含む、プロセッサ１１２によりアクセス可能な情報を保存することができる。メモリは、プロセッサ１１２によって取得、操作、または保存され得るデータ１１６も含むことができる。メモリ１１４は、プロセッサ１１２によりアクセス可能な情報を保存することができる一種の非一時的コンピュータ可読媒体、例えば、ハードドライブ、ソリッドステートドライブ、テープドライブ、光学式記憶装置、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ－ＲＯＭ、書込み可能メモリ、読出し専用メモリなどであり得る。

【0027】

命令１１７は、プロセッサ１１２によって直接実行される機械コードなどの命令集合、またはプロセッサ１１２によって間接的に実行されるスクリプトなどの命令集合とすることができる。これに関して、「命令」、「ステップ」、および「プログラム」という用語は、本明細書では交換可能に使用することができる。命令１１７は、プロセッサ１１２で直接処理するためのオブジェクトコード形式で、あるいは、オンデマンドで解釈されるかまたは予めコンパイルされる独立したソースコードモジュールのスクリプトまたはコレクションを含む他種のコンピュータ言語で保存することができる。

【0028】

データ１１６は、命令１１７または他のそのような命令に従ってプロセッサ１１２によって取得、保存、または修正され得る。例えば、システムおよび方法は特定のデータ構造によって限定されるものではないが、データ１１６は、分散ストレージシステム内のコンピュータレジスタに、複数の異なるフィールドおよびレコード、またはドキュメントを有する構造、あるいはバッファとして保存され得る。データ１１６は、以下に限定されるものではないが、２進値、ＡＳＣＩＩまたはＵｎｉｃｏｄｅなどのコンピュータ可読形式でフォーマットすることもできる。さらに、データ１１６は、数字、記述テキスト、独自のコード、ポインタ、他のネットワーク場所を含む、他のメモリに保存されたデータへの参照などの関連情報、または関連データを計算する機能によって使用される情報、を識別するのに十分な情報を含むことができる。

【0029】

計算装置は、ハードウェア（ＨＷ）アクセラレータカード１１８をさらに含むことができる。ハードウェアアクセラレータカード１１８は、特定の種類のタスクを効率的に処理するように構成された任意の装置とすることができる。ＨＷアクセラレータカードのいくつかの例としては、ネットワークアクセラレータカード、ビデオトランスコーディングアクセラレータカード、セキュリティ機能アクセラレータカード、暗号作成アクセラレータカード、音響処理アクセラレータカード、人工知能アクセラレータカード、などがある。これらのＨＷアクセラレータカードはそれぞれ、圧縮、暗号化、コード変換、ハッシュ生成、グラフィック処理、シミュレーション、などの特定のアクセラレーションサービスを提供するように構成され得る。いくつかのＨＷアクセラレータカードは、圧縮や暗号化などの複数のアクセラレーションサービス、またはアクセラレーションサービスの任意の他の組合せを提供するように構成され得る。

【0030】

計算装置１１０は、ネットワークインタフェースカード１１９も含むことができる。ネットワークインタフェースカードは、図４を参照して本明細書に記述されるネットワーク４７０などのネットワークの他のノードと直接かつ間接的に通信することができる任意の装置とすることができる。

【0031】

図１は、プロセッサ１１２、メモリ１１４、ＨＷアクセラレータカード１１８、およびネットワークインタフェース１１９を同じブロック内にあるものとして機能的に説明しているが、プロセッサ１１２、メモリ１１４、ＨＷアクセラレータカード１１８、およびネットワークインタフェース１１９は、同じ物理的ハウジング内に保管されてもよいし、そうでなくてもよい。例えば、命令１１７およびデータ１１６の一部は、取外し可能なＣＤ－ＲＯＭ、および読出し専用ＤＲＡＭチップ内のその他に保存され得る。命令およびデータの一部または全部が、プロセッサ１１２から物理的に遠く離れているが、依然としてプロセッサ１１２によりアクセス可能な場所に保存され得る。さらに、図１は、計算装置１１０を、ただ１つのプロセッサ１１２、メモリ１１４、ネットワークインタフェース１１９、およびＨＷアクセラレータカード１１８を含むものとして説明しているが、計算装置１１０は、任意の数のプロセッサ、メモリ、ネットワークインタフェース、およびＨＷアクセラレータカードを含むことができる。同様に、プロセッサ１２０は、実際にはプロセッサの集合体を含むことができ、これらのプロセッサは、並列に動作してもよく、そうでなくてもよい。

【0032】

図２を参照すると、ＨＷアクセラレータカード１１８は、計算コンプレックス２１２、メモリ２１４、ならびにアクセラレータ２２８ａ、２２８ｂ、および２２８ｃを含むことができる。計算コンプレックスは、１つまたは複数の計算ユニット２１３を含むことができる。計算コンプレックスは、例えば、処理タスクをアクセラレータ２２８ａ～２２８ｃに分配すること、プロセッサ１１２などの計算装置１１０内の他の装置と通信すること、などにより、ハードウェアアクセラレータの他のコンポーネントの一般動作を制御することができる。場合により、計算コンプレックスは、本明細書に記載されているように、サービスアグリゲーションを調整するか、または他の方法で支援することができる。

【0033】

計算コンプレックス２１２の１つまたは複数の計算ユニットは、１つまたは複数の汎用プロセッサおよび／または専用プロセッサを備えることができる。典型的には、ハードウェアアクセラレータカードの計算ユニット２１３は、ＡＲＭまたはＭＩＰＳベースの命令セットを実行することができる、特定用途向け集積回路（ＡＳＩＣ）やフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの１つまたは複数の専用プロセッサとすることができるが、他の命令セットが使用されてもよい。場合により、計算ユニット２１３は市販のプロセッサでもよい。

【0034】

アクセラレータ２２８ａ～２２８ｃはそれぞれ、特定のアクセラレーションサービスを提供することができる１つまたは複数のプロセッサから構成され得る。例えば、各アクセラレータは、圧縮、暗号化、コード変換、ハッシュ生成、グラフィック処理、シミュレーションなどの特定のアクセラレーションサービスを提供するように構成され得る。いくつかのＨＷアクセラレータカードは、圧縮や暗号化などの複数のアクセラレーションサービス、またはアクセラレーションサービスの任意の他の組合せを提供するように構成され得る。アクセラレータの１つまたは複数のプロセッサは、使用される１つまたは複数の専用プロセッサ、例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用のプロセッサなどとすることができる。アクセラレータ２２８ａ～２２８ｃを含む３つのアクセラレータが図２に示されているが、ＨＷアクセラレータカードは任意の数のアクセラレータを含むことができる。先に説明したように、各個々のアクセラレータは、複数のアクセラレーションサービス（例えば、複数の機能および／または能力）を提供するように構成され得る。

【0035】

再び図２を参照すると、ＨＷアクセラレータカードはメモリ２１４を含む。メモリ２１４は、メモリ２１４が、プロセッサ１２０によりアクセス可能な情報を保存することができる任意の種類の非一時的コンピュータ可読媒体、例えば、ハードドライブ、ソリッドステートドライブ、テープドライブ、光学式記憶装置、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ－ＲＯＭ、書込み可能メモリ、読出し専用メモリなどであり得るという点で、メモリ１１４と比較することができる。メモリ２１４は、計算コンプレックス２１２および／またはアクセラレータ２２８ａ～２２８ｃの計算ユニット２１３によって実行され得る命令２１７を含む、計算コンプレックス２１２および／またはアクセラレータ２２８ａ～２２８ｃによりアクセス可能な情報を保存することができる。図示されていないが、各アクセラレータ２２８～２２８ｃは、それ自体のメモリ、ならびに／あるいは計算コンプレックス２１２によって割り当てられたタスクを実行するためのデータおよび命令を保存するための共有メモリのプールを有することができる。

【0036】

命令２１７は、アクセラレーテッドサービスマネージャ（ＡＳＭ）プログラム２１９を含むことができる。本明細書にさらに記載されているように、ＡＳＭ２１９は、ＨＷアクセラレータカード１１８のサービスアグリゲーションを制御するか、または他の方法で支援するために、計算コンプレックスの１つまたは複数の計算ユニット２１３によって実行され得る。

【0037】

メモリ２１４内のデータ２１６は、命令２１７または他のそのような命令に従って計算コンプレックス２１２および／またはアクセラレータ２２８ａ～２２８ｃによって取得、保存、または修正され得る。図２にさらに示すように、データ２１６は、１つまたは複数のアクセラレーションサービスリスティング２１８を含むことができる。アクセラレーションサービスリスティング２１８は、各アクセラレータ２２８ａ～２２８ｃによって提供されたアクセラレーションサービスのリストを含むことができる。アクセラレーションサービスリスティング２１８は、標準化された形をとることができる。これに関して、各特定のアクセラレーションサービスには、特定の一意の識別子が割り当てられ得る。あるアクセラレーションサービスを有するすべてのアクセラレータが、アクセラレーションサービスのリスティング内に、そのあるアクセラレーションサービスに関連する一意の識別子を含むことになる。

【0038】

図３は、メモリ２１４に保存されているものとしてのリスティング例３２８ａ～３２８ｃを示し、リスティング例３２８ａ～３２８ｃはアクセラレータ２２８ａ～２２８ｃにそれぞれ対応する。これに関して、メモリ２１４は、ＨＷアクセラレータカード１１８上の各アクセラレータのためのリスティングを含む。図示のように、リスティング３２８ａは、機能１、能力１、機能３、および機能５を含む一意の識別子によって識別された通り、アクセラレータ２２８ａによって提供されたアクセラレーションサービスを識別する。同様に、アクセラレータ２２８ｂは、３つのアクセラレーションサービスを提供することができ、各アクセラレーションサービスは、リスティング３２８ｂ内で、機能１、機能５、および能力９を含む、リスティング３２８ｂの一意の識別子によって識別される。アクセラレータ２２８ｃは、２つのアクセラレーションサービスを提供することができる。これら２つのアクセラレーションサービスはそれぞれ、リスティング３２８ｃにおいて、能力９および機能５を含む一意の識別子によって識別される。

【0039】

図３にさらに示すように、共通のアクセラレーションサービスを提供するアクセラレータは、アクセラレータのそれぞれのリスティング内の同じ一意の識別子に関連することができる。例えば、機能１は、アクセラレータ２２８ａおよび２２８ｂが実行することができる特定の機能に関連する一意の識別子である。したがって、リスティング３２８ａおよび３２８ｂは、同じ一意の識別子の機能１を含む。同様に、能力９は、アクセラレータ２２８ｂおよび２２８ｃの特定の能力に関連する一意の識別子である。したがって、リスティング３２８ｂおよび３２ｃは、能力９の同じ一意の識別子を含む。図３における一意の識別子は、可能な識別子の例にすぎない。識別子は、数字、文字、シンボルなどを含む任意の値または他のそのようなインジケータを含むことができる。

【0040】

リスティング３２８ａ～３２８ｃは、ＨＷアクセラレータカード１１８のアクセラレータに関連する一意の識別子のリストを作るための可能な形式の例である。いくつかの例では、アクセラレータのリスティングは、スプレッドシートまたはデータベースなどの複合リスティングに保存され得る。例えば、複合リスティングは、各アクセラレータとそのアクセラレータによって提供されるアクセラレーションサービスに関連する一意の識別子とを識別することができる。同様に、リスティングは、アクセラレータに従って分類され得る。例えば、第１のリスティングは、第１組のアクセラレータ用の複合リスティングを含むことができ、第２のリスティングは、第２組のアクセラレータ用の複合リスティングを含むことができる。他のデータがリスティングに含められてもよい。図２および図３は、リスティングをメモリ２１６に保存されるものとして示しているが、リスティングは、１つまたは複数のアクセラレータのメモリに保存されてもよい。

【0041】

図示されていないが、管理者が、アクセラレーションサービスおよびアクセラレーションサービス用の関連する一意の識別子のリポジトリを維持することができる。管理者は、個人（複数可）、会社、会社の集合体、標準的な組織（複数可）などとすることができる。リポジトリを維持することに加えて、管理者は、一意の識別子を各アクセラレーションサービスに割り当て、開発されるか、受信されるか、または他の方法で要求されるときに、追加のアクセラレーションサービスおよび対応する一意の識別子を追加することもできる。アクセラレーションサービスおよび関連する一意の識別子のリポジトリを提供することにより、アクセラレーションサービスを示すために使用される識別子は、ＨＷアクセラレータカードが異なる供給業者によって製造されるときにも、複数のＨＷアクセラレータカードにわたって一貫することができる。

【0042】

再び図２を参照すると、プロセッサ１１２は、通信インタフェースおよびプロトコルを使用してハードウェアアクセラレータカード１１８と直接通信することができる。例えば、プロセッサ（複数可）１１２は、ＰＣＩｅインタフェース２６０を使用してハードウェアアクセラレータカード（複数可）と通信することができる。図２はＰＣＩｅインタフェース２６０を示しているが、他の通信インタフェースおよびプロトコルが使用されてもよい。例えば、プロセッサ（複数可）１１２は、ＣＡＮインタフェースおよびプロトコル、ＳＰＩインタフェースおよびプロトコル、ＵＳＢインタフェースおよびプロトコル、ｅＳＰＩインタフェースおよびプロトコル、イーサネットインタフェースおよびプロトコル、ＩＤＥインタフェースおよびプロトコル、あるいは他のそのようなインタフェースおよびプロトコルのうちの１つまたは複数を使用して、ＨＷアクセラレータカード（複数可）１１８と通信することができる。

【0043】

ＰＣＩｅインタフェース２６０を経由するプロセッサ１１２とＨＷアクセラレータカード１１８との間の通信など、通信インタフェースを経由する装置相互間の通信は、計算装置１１０上で実行するオペレーティングシステムを介して制御され得る。これに関して、オペレーティングシステムは、ＰＣＩｅインタフェース２６０に装着された装置相互間に通信チャネルを設けるためにハンドルをセットアップすることができる。場合により、オペレーティングシステムは、ＰＣＩｅインタフェース２６０に接続された異なる装置の間の通信チャネルを閉じることもできる。

【0044】

図１または図２には示されていないが、計算装置１１０は、表示装置などの、パーソナルコンピュータおよび／またはサーバ内に通常見られる他のコンポーネント、例えば、スクリーン、プロジェクタ、タッチスクリーン、小型ＬＣＤスクリーン、テレビジョン、またはプロセッサ１１２によって処理された情報を表示するように動作可能であり得る電気装置などの別の装置を有するモニタを含むことができる。計算装置１１０はスピーカも含むことができる。計算装置１１０は、１つまたは複数のユーザ入力装置、例えばマウス、キーボード、タッチスクリーン、マイクロフォンなども含むことができる。計算装置１１０は、前述したコンポーネントのいくつかまたはすべてを共に互いに接続するためのハードウェアも含むことができる。

【0045】

図４は、ネットワーク３７０を介して互いに接続された計算装置４１０、４２０、４３０、４４０を含むネットワーク化計算システム４００を示す。計算装置３１０～３４０はそれぞれ、計算装置１１０と比較され得る。明瞭にするために、図４は、計算装置４１０～４４０を、それぞれＨＷアクセラレータカード４１８、４２８、４３８、４４８およびネットワークインタフェースカード４１９、４２９、４３９、４４９を含むものとして示す。しかしながら、各計算装置４１０～４４０は、計算装置１１０と同じまたは異なるコンポーネント、例えば、１つまたは複数のプロセッサ、メモリ、ＨＷアクセラレータカード、および／またはネットワークインタフェースなど、ならびに、通常はコンピュータ内に見られるか、または他の方法でコンピュータに接続された他のコンポーネントを含むことができる。

【0046】

ネットワーク４７０は、ネットワークがインターネット、ワールドワイドウェブ、特定のイントラネット、ワイドエリアネットワーク、またはローカルネットワークの一部となり得るように、様々なプロトコルおよびシステムを含むことができる。ネットワークは、イーサネット、ＷｉＦｉおよびＨＴＴＰなどの標準通信プロトコル、１つまたは複数の会社に所有権があるプロトコル、ならびに前述のプロトコルの様々な組合せを利用することができる。情報が上述のように送信または受信されるときにいくつかの利点が得られるが、本明細書に記載の主題の他の態様は、情報の送信のいかなる特定の態様にも限定されない。各計算装置４１０～４４０は、ネットワーク４７０を介して他の計算装置と通信することができる。場合により、ネットワーク４７０は、計算装置のサブセット相互間でのみ通信が可能になるように構成され得る。例えば、計算装置４１０は、ネットワーク４７０を経由して計算装置４２０および４３０と通信できるが、計算装置４４０とは通信できないことがある。さらに、図４は、ネットワーク４７０を介して接続された４つの計算装置だけを示しているが、ネットワーク化計算システムは、任意の数の計算装置およびネットワークを含むことができる。

【0047】

図５は、計算装置４１０～４４０内のＨＷアクセラレータによってそれぞれ提供されるアクセラレーションサービスのアクセラレーションサービスリスティング例５１０～５４０を示す。計算装置１１０のアクセラレータによって提供されるアクセラレーションサービスを識別する図３のリスティング３２８ａ～３２８ｃのように、アクセラレーションサービスリスティング５１０～５４０は、計算装置４１０～４４０内のＨＷアクセラレータカード４１８～４４８のアクセラレータによってそれぞれ提供される能力および機能性を含む。計算装置の通信インタフェースに装着されたＨＷアクセラレータカードのアクセラレータによって提供される各アクセラレーションサービスは、「（ローカル）」ラベルで識別される。例えば、計算装置４１０内のＨＷアクセラレータカード４１８は、ネットワーキングおよび圧縮のアクセラレーションサービスを提供することができる。同様に、計算装置４２０内のＨＷアクセラレータカード４２８は、ネットワーキングおよび符号化のアクセラレーションサービスを提供することができ、計算装置４３０内のＨＷアクセラレータカード４３８は、ネットワーキングおよびハッシングのアクセラレーションサービスを提供することができ、計算装置４４０内のＨＷアクセラレータカード４４８は、ネットワーキングおよび暗号化のサービスを提供することができる。

【0048】

リスティング５１０～５４０は、サービスアグリゲーションを介して識別されたネットワーク４７０上の他の計算装置のアクセラレーションサービスも含む。これらの遠隔で利用可能なアクセラレーションサービスは、図５において「（リモート）」ラベルで識別される。例えば、リスティング５１０は、計算装置３２０内のＨＷアクセラレータカードによって提供された符号化、計算装置３３０内のＨＷアクセラレータカードによって提供されたハッシング、および計算装置３４０内のＨＷアクセラレータカードによって提供された暗号化を、計算装置３１０が利用できる集められたアクセラレーションサービスとして識別する。図５は、各計算装置を、接続されたすべての計算装置によって提供されるすべてのアクセラレーションサービスを使用できるものとして示しているが、場合により、遠隔装置によって提供されるアクセラレーションサービスは遠隔アクセスからブロックされてもよい。例えば、計算装置３４０は、ローカル暗号化アクセラレーションサービスがサービスアグリゲーションによって利用可能にされるのを妨げることができる。

【0049】

各計算装置のアクセラレーションサービスリスティングは、１つまたは複数のＨＷアクセラレータカード上で走るＡＳＭソフトウェアによって生成され得る。例えば、計算装置４１０のＨＷアクセラレータカード４１８などのＨＷアクセラレータカードの初期化中に、ＨＷアクセラレータカードの計算コンプレックスはＡＳＭを実行することができる。ＡＳＭは、ローカルアクセラレーションサービスおよびリモートアクセラレーションサービスを含む、ＨＷアクセラレータカードを通して供給され得るアクセラレーションサービスのリスティングを準備することができる。このアクセラレーションサービスリスティングは、計算装置４１０上で実行するオペレーティングシステムによって、またはＨＷアクセラレータカード４１８、コンピュータ装置４１０、もしくは他の場所上のメモリに保存されたコンフィギュレーションファイルから提供され得る。

【0050】

場合により、アクセラレーションサービスリスティングは動的に発見され得る。例えば、ＨＷアクセラレータカード４１８上で実行するＡＳＭは、計算装置４１０にローカルで装着されたＨＷアクセラレータカードおよび／またはネットワーク４７０に接続された計算装置の他のＨＷアクセラレータカードと通信することができる。通信中、ＨＷアクセラレータカード４１８は、他のローカルまたはリモートで接続されたＨＷアクセラレータによって提供されるアクセラレーションサービスのリスティングを要求することができる。ＨＷアクセラレータカード４１８は、これらその他のアクセラレーションサービスを集めてアクセラレーションリスティング５１０にすることができる。場合により、ＨＷアクセラレータカードは、それぞれの他のローカルまたはリモートで接続されたＨＷアクセラレータカードのための別々のアクセラレーションリスティングを維持することができる。例えば、図５は、計算装置４１０用の単一のリスティング５１０だけを示しているが、計算装置４１０は、ＨＷアクセラレータカード４１８によって提供されるアクセラレーションサービス用のリスティングと、他のリモートで接続されたＨＷアクセラレータカードによって提供されるアクセラレーションサービス用の別個のリスティングとを有することができる。前述の例は、ＨＷアクセラレータカード４１８上で実行するＡＳＭプログラムによってアクセラレーションサービスを発見し、集めることを説明しているが、他のＨＷアクセラレータカード、例えばアクセラレータカード４２８、４３８、および／または４４８は、これらのアクセラレータカードのそれぞれの計算装置４２０～４４０が利用できるアクセラレーションサービスのリスティングを準備することもできる。

【0051】

ＨＷアクセラレータカード４１８上で実行するＡＳＭは、アクセラレーションサービスリスティングを管理することができる。これに関して、ＡＳＭは、どのアクセラレーションサービスが健全である（例えば、動作可能である、ワークロードを処理するために利用可能である、ワークロードのための十分な処理能力を有する、など）かを決定することができる。ＡＳＭは、アクセラレーションサービスの状態（例えば、健全、不健全／ビジー、利用不可など）を決定するために、アクセラレーションサービスリスティング内のアクセラレーションサービスの動作を監視することができる。例えば、ＡＳＭは、他のＨＷアクセラレータカードによって提供されたアクセラレーションサービスの状態を決定するために、それらの他のＡＳＭにステータスアップデートを要求することができる。ＡＳＭは、他のＡＳＭによって利用不可（例えば、到達不可能）と識別されたアクセラレーションサービスを除去するために、アクセラレーションサービスリスティングを取り除くことができる。別の例では、ＡＳＭは、不健全である（例えば、動作が非効率である／遅い）またはビジーである（例えば、他のワークロードを処理している、他のワークロードのために予約されている、など）と識別されたアクセラレーションサービスをマーキングして、ＡＳＭがワークロードをこれらのビジー／不健全なアクセラレーションサービスに送信しないようにすることができる。

【0052】

別の例では、ＡＳＭは、完了のために送信されるワークロードまたは応答インジケータを監視することができる。応答が受信されないか、またはワークロード完了がＡＳＭによって識別されない場合、ＡＳＭは、ワークロードがリモートＨＷアクセラレータによって受信されなかった、かつ／またはリモートＨＷアクセラレータによって提供された所期のアクセラレーションサービスによって処理されなかったと決定することができる。このような場合、ＡＳＭは、別のアクセラレーションサービスにワークロードを実行するよう要求することができる。

【0053】

場合により、ＡＳＭは、ロードバランシング、障害処理、パフォーマンスまたは他のそのような検討事項のために、ワークロードを複数のアクセラレーションサービスに分配することができる。例えば、ワークロードは大きくてもよく、ＡＳＭは、ワークロードを効率的に処理するために多くのＨＷアクセラレータカードのアクセラレーションサービスを活用することができる。別の例では、ＡＳＭは、いくつかのリモートＨＷアクセラレータカードに優先順位をつけることができる。例えば、ＡＳＭは、第１のリモートＨＷアクセラレータによって処理されるべきワークロードを指示することができる。第１のリモートＨＷアクセラレータがワークロードを処理することができない場合、第２のリモートＨＷアクセラレータがそのワークロードを処理することができる。このプロセスは、追加のフォールバックＨＷアクセラレータがワークロードを処理するよう指示されている状態で、ワークロードが処理されるまで繰り返すことができる。

【0054】

ＨＷアクセラレータカードの初期化の一部として、計算コンプレックス上で実行するＡＳＭは、サービスの呼び出しをローカルとリモートの両方で送受信するためのサービスを準備することができる。これに関して、ＡＳＭは、エンドサービスコードがローカルサービスコール（例えば、ＡＳＭがその上で実行しているＨＷアクセラレータカードのアクセラレータにより処理するためのコール）を処理するためにイネーブルになることを初期化および／または確認することができる。

【0055】

ＡＳＭは、リモートサービス用のそのプロキシコードがイネーブルになることを初期化および／または確認することもできる。プロキシコードは、リモートサービスを呼び掛けるための媒介（例えば、別のＨＷアクセラレータカードのアクセラレータにより処理するためにＡＳＭから別のＡＳＭへ送信されるコール）がイネーブルになるときに使用され得る。これに関して、プロキシコードは、ＡＳＭからＡＳＭへの通信をイネーブルにするコードを指す。プロキシコードは、そのために走っているＡＳＭがない可能性がある他のリモートＨＷアクセラレータカード上のアクセラレータからアクセラレーションサービスを呼び出すために、ローカルＨＷアクセラレータカードのＡＳＭをイネーブルにするコードを指すこともある。すなわち、ローカルＨＷアクセラレータカードの、プロキシコードによるＡＳＭは、リモートＨＷアクセラレータカードがＡＳＭを含んでいないときに、アクセラレーションサービスに対する要求の、ローカル計算装置からリモートＨＷアクセラレータカードへの経路を定めるように構成され得る。

【0056】

ＡＳＭは、アクセラレーションサービスリスティングを計算装置のプロセッサに公表することができる。例えば、ＨＷアクセラレータカード４１８上で実行するＡＳＭは、リスティング５１０を計算装置４１０の１つまたは複数のプロセッサに提供することができる。場合により、計算装置上で実行するオペレーティングシステムが、ＡＳＭにリスティングを要求することができる。例えば、計算装置４１０上で実行するオペレーティングシステムが、ＨＷアクセラレータカード４１８にアクセラレーションサービスのリスティング５１０を要求することができる。

【0057】

方法の例
図６は、ＰＣＩｅバス２６０などの通信インタフェースを介してプロセッサ１１２などのプロセッサに接続されたＨＷアクセラレータカード１１８などのＨＷアクセラレータカードによって提供されるアクセラレーションサービスを発見するプロセスを示す流れ図である。プロセッサ１１２は、ＰＣＩｅインタフェースを介してＨＷアクセラレータカード１１８（破線で示す）と通信するよう要求することができる。計算装置上で実行するオペレーティングシステムは、ＨＷアクセラレータカードとプロセッサ１１２との間のＰＣＩｅバスを経由して通信チャネルを提供することができる。

【0058】

通信チャネルを使用すると、プロセッサ１１２は、ライン６２３で示すように、ＨＷアクセラレータカード１１８上のアクセラレータによって提供されるアクセラレーションサービスのリスティングに対する要求を送信することができる。プロセッサ１１８から要求を受信したことに応答して、ＨＷアクセラレータカード１１８の計算コンプレックス２１２は、矢印６２５および６２７によってそれぞれ示されているように、ＨＷアクセラレータカードのメモリ２１４（またはアクセラレータのメモリ）からアクセラレーションサービスのリスティングに照会し、これを受信することができる。これに関して、ＨＷアクセラレータカードは、すべてのアクセラレータのアクセラレーションサービスを集めることができる。場合によっては、ＨＷアクセラレータカード１１８は、いくつかのアクセラレータにのみ照会することができる。

【0059】

場合により、ＨＷアクセラレータカード１１８は、アクセラレータのアクセラレーションサービスを階層的な態様で集めることができる。これに関して、アクセラレーションサービスは、１つのアクセラレーションサービスが別のアクセラレーションサービスに頼るかまたは依存することができるという点で階層的であり得る。アクセラレーションサービス相互間のこの階層的関係は、このリスティングにおいて識別され、保存され得る。場合により、階層的関係における各レベルは、下のレベルの能力および機能性を識別することができる。

【0060】

計算コンプレックス２１２は、アクセラレーションサービスのリスティングを、ライン６２９で示すようにＰＣＩｅバス２６０を介してプロセッサ１１２に提供することができる。プロセッサがアクセラレーションサービスのリスティングを受信すると、通信チャネルは閉じることができる。

【0061】

プロセッサが１つまたは複数のアクセラレーションサービスを活用することができる場合には、プロセッサ１１２は、ＨＷアクセラレータカードに、ＨＷアクセラレータカード１１８上のアクセラレータによって提供される提供済みアクセラレーションサービスのうちの１つを使用して１つまたは複数のタスクを完了するよう要求することができる。図７は、プロセッサ１１２がＰＣＩｅバス２６０を介して接続されたＨＷアクセラレータカード１１８のアクセラレーションサービスに関する情報を要求するのを示している。これに関して、ステップ７２３～７２９は、上述したステップ６２３～６２９に対応する。

【0062】

矢印７２９によって示されているように、ＨＷアクセラレータは、ＨＷアクセラレータが圧縮サービスを提供できることを示している。アクセラレーションサービスを受信すると、プロセッサ１１２は、矢印７３１で示されているように、データを圧縮するために、データおよび命令を保存する場所の指示を含むワークロード命令をＨＷアクセラレータカード１１８に提供することができる。次いで、ＨＷアクセラレータカードの計算コンプレックス２１２は、矢印７３３によって示されているように、命令を確認することができ、プロセッサ１１２が通信することができるＩＤを提供して、ＨＷアクセラレータカード１１８による圧縮についての状態更新情報を得る。次いで、プロセッサ１１２は、矢印７３５および７３７によってそれぞれ示されているように、圧縮の状態を要求し、受信することができる。圧縮が完了したことをポーリング要求が示すと、プロセッサ１１２とＨＷアクセラレータカード１１８との間の通信が終わることができる、または、さらなるタスクがプロセッサ１１２からＨＷアクセラレータカードへ送信され得る。図７は圧縮サービスを示しているが、ＨＷアクセラレータによって行われる処理は、任意の種類の動作または動作の組合せとすることができる。

【0063】

図８は、サービスアグリゲーション動作の流れ図を示す。計算装置のプロセッサ８１２上で走るソフトウェアが、ワークロードを処理するためにＨＷアクセラレーションカード８１８に１つまたは複数のアクセラレーションサービスを要求することができる。ライン８２３で示されている要求は、プロセッサ８１２により、ＰＣＥインタフェース８６０などの通信インタフェースによって確立された通信リンクを経由してローカルＨＷアクセラレータカード８１８に送信され得る。説明のために、アクセラレーションサービスがプロセッサ８１２によって要求されることは、ワークロードを処理するための「圧縮」サービスである。しかしながら、任意の他のアクセラレーションサービスが要求されてもよい。

【0064】

要求８２３を送る前に、プロセッサ８１２上で実行するソフトウェアには、ＨＷアクセラレータカード８１８からローカルで（すなわち、ＨＷアクセラレータカード８１８のアクセラレータにより）またはリモートで（すなわち、ネットワークを介して接続されたＨＷアクセラレータの他のリモートアクセラレータにより）利用可能なアクセラレーションサービスのリスティングを設けることができる。例えば、このリスティングは、ＨＷアクセラレータカード８１８の初期化中に設けることができる。別の例では、計算装置上で実行する、オペレーティングシステムなどのソフトウェアまたは別のプログラムがリスティングを要求することができる。さらに別の例では、アクセラレーションサービスのリスティングは、ＨＷアクセラレータカード１１８との通信なしにコンフィギュレーションシステムからソフトウェアによって受信され得る。コンフィギュレーションシステムは、集中型リスティングであり得、計算装置上で実行するソフトウェアは、そこからリスティングを取得することができる。例えば、コンフィギュレーションシステムは、ネットワークまたは他の接続を介してアクセス可能な記憶装置と共に、遠隔に配置され得る。

【0065】

要求８２３は、要求されているアクセラレーションサービスの名称（例えば、一意の識別子）、インラインパラメータ、および要求されたアクセラレーションサービス（複数可）のための入力（例えば、ワークロードを処理するためのデータ）が見られるピン留めされたメモリ場所（複数可）を含むことができる。

【0066】

リクエストを受信した後、ＨＷアクセラレータカード８１８のＡＳＭは、ライン８２５で示されているように、要求されたアクセラレーションサービスがローカルであるかどうかを決定することができる。アクセラレーションサービスがローカルである場合には、ＡＳＭは、インラインパラメータを使用して要求にサービスを提供し、ＤＭＡ（直接メモリアクセス）を使用して渡されたメモリアドレスにアクセスすることができる。次いで、要求されたアクセラレーションサービスを実行することができるローカルアクセラレータは、入力（例えばデータ）を処理することができる。再び図８を参照すると、要求された圧縮アクセラレーションサービスは、ＨＷアクセラレータカード８１８のアクセラレータによって行われ得る。次いで、完了した圧縮要求の結果（例えば出力）は、ライン８２７で示されているように、ＨＷアクセラレータカード８１８からプロセッサ８１２に渡され得る。

【0067】

要求されたアクセラレーションサービスがローカルで利用できない場合には、ＡＳＭは、リモートサービスＨＷアクセラレータカードへの要求元のクライアントとして働くことができる。これに関して、ＨＷアクセラレータカードのＡＳＭは、要求を、要求されたアクセラレーションサービスを提供するリモートＨＷアクセラレータカードに渡すことができる。ＨＷアクセラレータカードは、ピン留めされたメモリを、リモート直接メモリアクセス（ＲＤＭＡ）を経由してリモートＨＷアクセラレータカードに渡すこともできる。

【0068】

図８は、リモートサービスアグリゲーション動作の流れをさらに示す。例えば、プロセッサ８１２は、ライン８２９で示されているように、リモートＨＷアクセラレータカード８３８によって提供された暗号化アクセラレーションサービスをローカルＨＷアクセラレータカード８１８に要求することができる。要求を受信した後、ローカルＨＷアクセラレータカード８１８は、ライン８３１で示されているように、暗号化が、このカードが提供するアクセラレーションサービスではないと決定することができる。

【0069】

ローカルＨＷアクセラレータカードがアクセラレーションサービスを完了することができないとき、ローカルＨＷアクセラレータカード８１８のＡＳＭは、どのリモートＨＷアクセラレータカードがサービスを提供することができ得るかを決定することができる。図８を参照すると、ローカルＨＷアクセラレータ８１８のＡＳＭは、リモートＨＷアクセラレータカード８３８が暗号化アクセラレーションサービスを提供することができると決定することができる。ＡＳＭは、ライン８３３で示されているように、要求を転送することができる。

【0070】

場合により、要求は、アクセラレーションサービスを提供することができるＨＷアクセラレータカードの識別子を含むことができる。そのような場合、ローカルＨＷアクセラレータカード８１８は、このカードが要求されたアクセラレーションサービスを行うかどうかを決定することをスキップし、要求を識別されたリモートＨＷアクセラレータカードに転送するのを続行することができる。

【0071】

次いで、リモートＨＷアクセラレータカード８３８は、図８にライン８３５で示されている、暗号化のアクセラレーションサービスを行うことができる。次いで、完了した暗号化の結果（例えば出力）は、ライン８３７で示されているように、リモートＨＷアクセラレータカード８３８からローカルＨＷアクセラレータカード８１８に渡され、ライン８３９で示されているように、ローカルＨＷアクセラレータカード８１８からプロセッサ８１２に渡され得る。

【0072】

ＨＷアクセラレータカード相互間の通信は、各ＨＷアクセラレータカード上で実行するＡＳＭプログラムによって行うことができる。これに関して、各ＡＳＭは直接通信することができる。あるいは、ＡＳＭは、通信データ（例えば、要求、出力など）を、パケットのリモートルータブル宛先までの経路を定めることができる外ヘッダ内のデータパケットにカプセル化することができ、リモートルータブル宛先のアドレスは、レギュラルーティングを介して発見することができる。パケットが所期のＡＳＭに到達すると、ＡＳＭは、パケットのカプセル開放を行い、パケットを、パケットヘッダ内に識別された通り、そのＨＷアクセラレータカード上の正しいアクセラレータへ誘導することができる。

【0073】

特に明記しない限り、前述の代替例は、相互に排他的ではなく、むしろ独自の利点を達成するために様々な組合せで実施され得る。上述の特徴のこれらおよびその他の変形形態および組合せは、特許請求の範囲によって定義された主題から逸脱することなく利用され得るので、実施形態の前述の説明は、特許請求の範囲によって定義された主題の限定としてではなく、例証として受け取られるべきである。加えて、本明細書に記載の例を提供すること、ならびに「～など（ｓｕｃｈ ａｓ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」などと表現される節は、特許請求の範囲の主題を特定の例に限定するものと解釈されるべきではなく、むしろ、例は、多くの考えられる実施形態のうちの１つだけを説明するためのものである。さらに、異なる図面内の同じ参照番号は、同じまたは類似の要素を明確にすることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2023-11-27

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ローカルハードウェア（ＨＷ）アクセラレータカードの１つまたは複数のプロセッサにより、通信インタフェースを介して、前記ローカルＨＷアクセラレータカードからアクセラレーションサービスのリスティングを提供するステップであって、アクセラレーションサービスの前記リスティングが、前記ローカルＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第１組のアクセラレーションサービスとリモートＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第２組のアクセラレーションサービスとを含む、ステップと、
前記１つまたは複数のプロセッサにより、計算装置のプロセッサからワークロード命令を受信するステップであって、前記ワークロード命令が、前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの少なくとも１つにより処理するためのワークロードを定義する、ステップと、
前記１つまたは複数のプロセッサにより、前記ワークロード命令を前記リモートＨＷアクセラレータカードに転送するステップと
を含む、方法。

【請求項2】

前記１つまたは複数のプロセッサにより、前記リモートＨＷアクセラレータカードから処理済みワークロードを受信するステップであって、前記処理済みワークロードが、前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの前記少なくとも１つにより処理した後の前記ワークロードである、ステップ
をさらに含む、請求項１に記載の方法。

【請求項3】

前記１つまたは複数のプロセッサにより、前記処理済みワークロードを前記計算装置の前記プロセッサに転送するステップ
をさらに含む、請求項２に記載の方法。

【請求項4】

アクセラレーションサービスの前記リスティングが、前記１つまたは複数のプロセッサ上で実行するアクセラレーテッドサービスマネージャ（ＡＳＭ）によって生成される、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記１つまたは複数のプロセッサ上で実行する前記ＡＳＭが、前記リモートＨＷアクセラレータカード上で実行する別のＡＳＭと通信する、請求項４に記載の方法。

【請求項6】

前記通信が、前記ＡＳＭが前記ワークロード命令を前記別のＡＳＭに転送することを含む、請求項５に記載の方法。

【請求項7】

前記通信が、前記ＡＳＭが前記別のＡＳＭに前記第２組のアクセラレーションサービスのリスティングを要求することを含む、請求項５に記載の方法。

【請求項8】

前記ＡＳＭが、アクセラレーションサービスの前記リスティングから不健全なアクセラレーションサービスを識別し、取り除く、請求項５に記載の方法。

【請求項9】

前記不健全なアクセラレーションサービスを識別することが、前記ＡＳＭにより、前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの前記少なくとも１つによる前記ワークロード命令の処理の失敗を決定することを含む、請求項８に記載の方法。

【請求項10】

前記不健全なアクセラレーションサービスを取り除くことが、
前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの前記少なくとも１つを不健全としてマーキングすること、または
前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの前記少なくとも１つをアクセラレーションサービスの前記リスティングから除去することを含む、請求項９に記載の方法。

【請求項11】

前記ワークロード命令の処理の前記失敗を決定した後で、前記ＡＳＭにより、更新済みワークロード命令を、前記異なるＨＷアクセラレータの前記アクセラレーションサービスのうちの少なくとも１つにより処理するための異なるＨＷアクセラレータカードに送信するステップ
をさらに含む、請求項１０に記載の方法。

【請求項12】

前記ワークロード命令が、少なくとも１つの他のリモートＨＷアクセラレータカードの少なくとも１つのアクセラレーションサービスにより処理することをさらに定義する、請求項１に記載の方法。

【請求項13】

通信インタフェースと、
１つまたは複数のプロセッサと１つまたは複数のアクセラレータとを含むローカルハードウェア（ＨＷ）アクセラレータカードであって、前記１つまたは複数のプロセッサが、
前記通信インタフェースを介して、前記ローカルＨＷアクセラレータカードからアクセラレーションサービスのリスティングを受信することであって、アクセラレーションサービスの前記リスティングが、前記ローカルＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第１組のアクセラレーションサービスとリモートＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第２組のアクセラレーションサービスとを含む、受信することと、
計算装置のプロセッサからワークロード命令を受信することであって、前記ワークロード命令が、前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの少なくとも１つにより処理するためのワークロードを定義する、受信することと
前記ワークロード命令を前記リモートＨＷアクセラレータカードに転送することとを行うように構成される、ローカルハードウェア（ＨＷ）アクセラレータカードと
を備えるシステム。

【請求項14】

前記１つまたは複数のプロセッサが、
前記リモートＨＷアクセラレータカードから処理済みワークロードを受信することであって、前記処理済みワークロードが、前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの前記少なくとも１つにより処理した後の前記ワークロードである、受信すること
を行うようにさらに構成される、請求項１３に記載のシステム。

【請求項15】

前記１つまたは複数のプロセッサが、前記処理済みワークロードを前記計算装置の前記プロセッサに転送すること
を行うようにさらに構成される、請求項１４に記載のシステム。

【請求項16】

アクセラレーションサービスの前記リスティングが、前記１つまたは複数のプロセッサ上で実行するアクセラレーテッドサービスマネージャ（ＡＳＭ）によって生成される、請求項１３～１５のいずれか１項に記載のシステム。

【請求項17】

前記１つまたは複数のプロセッサ上で実行する前記ＡＳＭが、前記リモートＨＷアクセラレータカード上で実行する別のＡＳＭと通信する、請求項１６に記載のシステム。

【請求項18】

前記通信が、前記ＡＳＭが前記ワークロード命令を前記別のＡＳＭに転送することを含む、請求項１７に記載のシステム。

【請求項19】

前記通信が、前記ＡＳＭが前記別のＡＳＭに前記第２組のアクセラレーションサービスのリスティングを要求することを含む、請求項１７に記載のシステム。

【請求項20】

前記ＡＳＭが、アクセラレーションサービスの前記リスティングから不健全なアクセラレーションサービスを識別し、取り除く、請求項１８に記載のシステム。

【請求項21】

ローカルハードウェア（ＨＷ）アクセラレータカードの１つまたは複数のプロセッサに、請求項１～１２のいずれか１項に記載の方法を実行させる、プログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００１７

【補正方法】変更

【補正の内容】

【0017】

場合により、方法は、ワークロード命令の処理の失敗を決定した後で、ＡＳＭにより、更新済みワークロード命令を、異なるＨＷアクセラレータのアクセラレーションサービスのうちの少なくとも１つによって処理するための異なるＨＷアクセラレータカードに送信することを含む。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００２０

【補正方法】変更

【補正の内容】

【0020】

詳細な説明
本明細書に記載の技術は、ハードウェア（ＨＷ）アクセラレータカードのアクセラレータによって提供されるアクセラレーションサービスを集め、公表するサービスアグリゲーションのためのシステムおよび方法に関する。サービスアグリゲーションを用いて、計算装置に装着されたＨＷアクセラレータカードは、アクセラレーションサービスをローカルおよびリモートで接続されたＨＷアクセラレータカードから計算装置に供給および公表し得る。本明細書にさらに記述されるように、計算装置内のＨＷアクセラレータカードの計算コア上で実行するソフトウェアは、通信インタフェースを介して計算装置にローカルで接続された他のＨＷアクセラレータカードおよび／または計算装置にリモートでネットワーク接続される他のＨＷアクセラレータカードと通信するために、プレコンフィギュレーションファイルを発見または使用することができる。次いで、計算装置は、計算装置に装着されたＨＷアクセラレータカードを通じて他のＨＷアクセラレータカードと通信することができる。したがって、計算装置は、任意の数のローカルまたはリモートで接続されたＨＷアクセラレータカードのアクセラレーションサービスをうまく利用することができる。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００２１

【補正方法】変更

【補正の内容】

【0021】

アクセラレーションサービスを発見することの不足を克服するために、本明細書に記載の技術は、ＨＷアクセラレータカード上のアクセラレータによって提供され得るアクセラレーションサービスに対応する識別子の標準化リスティングを使用する。これに関して、各ＨＷアクセラレータカードは、カード上のアクセラレータによって提供されるアクセラレーションサービスに対応する識別子のリスティングを保存することができる。識別子は現在使用されている装置のクラスおよびサブクラスよりも細かい粒度を提供することができるので、ＨＷアクセラレータカードからリスティングを取得するプロセッサは、ＨＷアクセラレータカード上のアクセラレータによって提供されるより多くのアクセラレーションサービスを決定し、活用することができるようになる。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００３１

【補正方法】変更

【補正の内容】

【0031】

図１は、プロセッサ１１２、メモリ１１４、ＨＷアクセラレータカード１１８、およびネットワークインタフェース１１９を同じブロック内にあるものとして機能的に説明しているが、プロセッサ１１２、メモリ１１４、ＨＷアクセラレータカード１１８、およびネットワークインタフェース１１９は、同じ物理的ハウジング内に保管されてもよいし、そうでなくてもよい。例えば、命令１１７およびデータ１１６の一部は、取外し可能なＣＤ－ＲＯＭ、および読出し専用ＤＲＡＭチップ内のその他に保存され得る。命令およびデータの一部または全部が、プロセッサ１１２から物理的に遠く離れているが、依然としてプロセッサ１１２によりアクセス可能な場所に保存され得る。さらに、図１は、計算装置１１０を、ただ１つのプロセッサ１１２、メモリ１１４、ネットワークインタフェース１１９、およびＨＷアクセラレータカード１１８を含むものとして説明しているが、計算装置１１０は、任意の数のプロセッサ、メモリ、ネットワークインタフェース、およびＨＷアクセラレータカードを含むことができる。同様に、プロセッサ１１２は、実際にはプロセッサの集合体を含むことができ、これらのプロセッサは、並列に動作してもよく、そうでなくてもよい。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００３５

【補正方法】変更

【補正の内容】

【0035】

再び図２を参照すると、ＨＷアクセラレータカードはメモリ２１４を含む。メモリ２１４は、メモリ２１４が、プロセッサ１１２によりアクセス可能な情報を保存することができる任意の種類の非一時的コンピュータ可読媒体、例えば、ハードドライブ、ソリッドステートドライブ、テープドライブ、光学式記憶装置、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ－ＲＯＭ、書込み可能メモリ、読出し専用メモリなどであり得るという点で、メモリ１１４と比較することができる。メモリ２１４は、計算コンプレックス２１２および／またはアクセラレータ２２８ａ～２２８ｃの計算ユニット２１３によって実行され得る命令２１７を含む、計算コンプレックス２１２および／またはアクセラレータ２２８ａ～２２８ｃによりアクセス可能な情報を保存することができる。図示されていないが、各アクセラレータ２２８～２２８ｃは、それ自体のメモリ、ならびに／あるいは計算コンプレックス２１２によって割り当てられたタスクを実行するためのデータおよび命令を保存するための共有メモリのプールを有することができる。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００３９

【補正方法】変更

【補正の内容】

【0039】

図３にさらに示すように、共通のアクセラレーションサービスを提供するアクセラレータは、アクセラレータのそれぞれのリスティング内の同じ一意の識別子に関連することができる。例えば、機能１は、アクセラレータ２２８ａおよび２２８ｂが実行することができる特定の機能に関連する一意の識別子である。したがって、リスティング３２８ａおよび３２８ｂは、同じ一意の識別子の機能１を含む。同様に、能力９は、アクセラレータ２２８ｂおよび２２８ｃの特定の能力に関連する一意の識別子である。したがって、リスティング３２８ｂおよび３２８ｃは、能力９の同じ一意の識別子を含む。図３における一意の識別子は、可能な識別子の例にすぎない。識別子は、数字、文字、シンボルなどを含む任意の値または他のそのようなインジケータを含むことができる。

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】００４０

【補正方法】変更

【補正の内容】

【0040】

リスティング３２８ａ～３２８ｃは、ＨＷアクセラレータカード１１８のアクセラレータに関連する一意の識別子のリストを作るための可能な形式の例である。いくつかの例では、アクセラレータのリスティングは、スプレッドシートまたはデータベースなどの複合リスティングに保存され得る。例えば、複合リスティングは、各アクセラレータとそのアクセラレータによって提供されるアクセラレーションサービスに関連する一意の識別子とを識別することができる。同様に、リスティングは、アクセラレータに従って分類され得る。例えば、第１のリスティングは、第１組のアクセラレータ用の複合リスティングを含むことができ、第２のリスティングは、第２組のアクセラレータ用の複合リスティングを含むことができる。他のデータがリスティングに含められてもよい。図２および図３は、リスティングをメモリ２１４に保存されるものとして示しているが、リスティングは、１つまたは複数のアクセラレータのメモリに保存されてもよい。

【手続補正9】

【補正対象書類名】明細書

【補正対象項目名】００４５

【補正方法】変更

【補正の内容】

【0045】

図４は、ネットワーク４７０を介して互いに接続された計算装置４１０、４２０、４３０、４４０を含むネットワーク化計算システム４００を示す。計算装置４１０～４４０はそれぞれ、計算装置１１０と比較され得る。明瞭にするために、図４は、計算装置４１０～４４０を、それぞれＨＷアクセラレータカード４１８、４２８、４３８、４４８およびネットワークインタフェースカード４１９、４２９、４３９、４４９を含むものとして示す。しかしながら、各計算装置４１０～４４０は、計算装置１１０と同じまたは異なるコンポーネント、例えば、１つまたは複数のプロセッサ、メモリ、ＨＷアクセラレータカード、および／またはネットワークインタフェースなど、ならびに、通常はコンピュータ内に見られるか、または他の方法でコンピュータに接続された他のコンポーネントを含むことができる。

【手続補正10】

【補正対象書類名】明細書

【補正対象項目名】００４７

【補正方法】変更

【補正の内容】

【0047】

図５は、計算装置４１０～４４０内のＨＷアクセラレータカードによってそれぞれ提供されるアクセラレーションサービスのアクセラレーションサービスリスティング例５１０～５４０を示す。計算装置１１０のアクセラレータによって提供されるアクセラレーションサービスを識別する図３のリスティング３２８ａ～３２８ｃのように、アクセラレーションサービスリスティング５１０～５４０は、計算装置４１０～４４０内のＨＷアクセラレータカード４１８～４４８のアクセラレータによってそれぞれ提供される能力および機能性を含む。計算装置の通信インタフェースに装着されたＨＷアクセラレータカードのアクセラレータによって提供される各アクセラレーションサービスは、「（ローカル）」ラベルで識別される。例えば、計算装置４１０内のＨＷアクセラレータカード４１８は、ネットワーキングおよび圧縮のアクセラレーションサービスを提供することができる。同様に、計算装置４２０内のＨＷアクセラレータカード４２８は、ネットワーキングおよび符号化のアクセラレーションサービスを提供することができ、計算装置４３０内のＨＷアクセラレータカード４３８は、ネットワーキングおよびハッシングのアクセラレーションサービスを提供することができ、計算装置４４０内のＨＷアクセラレータカード４４８は、ネットワーキングおよび暗号化のサービスを提供することができる。

【手続補正11】

【補正対象書類名】明細書

【補正対象項目名】００４８

【補正方法】変更

【補正の内容】

【0048】

リスティング５１０～５４０は、サービスアグリゲーションを介して識別されたネットワーク４７０上の他の計算装置のアクセラレーションサービスも含む。これらの遠隔で利用可能なアクセラレーションサービスは、図５において「（リモート）」ラベルで識別される。例えば、リスティング５１０は、計算装置４２０内のＨＷアクセラレータカードによって提供された符号化、計算装置４３０内のＨＷアクセラレータカードによって提供されたハッシング、および計算装置４４０内のＨＷアクセラレータカードによって提供された暗号化を、計算装置４１０が利用できる集められたアクセラレーションサービスとして識別する。図５は、各計算装置を、接続されたすべての計算装置によって提供されるすべてのアクセラレーションサービスを使用できるものとして示しているが、場合により、遠隔装置によって提供されるアクセラレーションサービスは遠隔アクセスからブロックされてもよい。例えば、計算装置３４０は、ローカル暗号化アクセラレーションサービスがサービスアグリゲーションによって利用可能にされるのを妨げることができる。

【手続補正12】

【補正対象書類名】明細書

【補正対象項目名】００４９

【補正方法】変更

【補正の内容】

【0049】

各計算装置のアクセラレーションサービスリスティングは、１つまたは複数のＨＷアクセラレータカード上で走るＡＳＭソフトウェアによって生成され得る。例えば、計算装置４１０のＨＷアクセラレータカード４１８などのＨＷアクセラレータカードの初期化中に、ＨＷアクセラレータカードの計算コンプレックスはＡＳＭを実行することができる。ＡＳＭは、ローカルアクセラレーションサービスおよびリモートアクセラレーションサービスを含む、ＨＷアクセラレータカードを通して供給され得るアクセラレーションサービスのリスティングを準備することができる。このアクセラレーションサービスリスティングは、計算装置４１０上で実行するオペレーティングシステムによって、またはＨＷアクセラレータカード４１８、計算装置４１０、もしくは他の場所上のメモリに保存されたコンフィギュレーションファイルから提供され得る。

【手続補正13】

【補正対象書類名】明細書

【補正対象項目名】００６３

【補正方法】変更

【補正の内容】

【0063】

図８は、サービスアグリゲーション動作の流れ図を示す。計算装置のプロセッサ８１２上で走るソフトウェアが、ワークロードを処理するためにＨＷアクセラレータカード８１８に１つまたは複数のアクセラレーションサービスを要求することができる。ライン８２３で示されている要求は、プロセッサ８１２により、ＰＣＥインタフェース８６０などの通信インタフェースによって確立された通信リンクを経由してローカルＨＷアクセラレータカード８１８に送信され得る。説明のために、アクセラレーションサービスがプロセッサ８１２によって要求されることは、ワークロードを処理するための「圧縮」サービスである。しかしながら、任意の他のアクセラレーションサービスが要求されてもよい。

【手続補正14】

【補正対象書類名】明細書

【補正対象項目名】００６９

【補正方法】変更

【補正の内容】

【0069】

ローカルＨＷアクセラレータカードがアクセラレーションサービスを完了することができないとき、ローカルＨＷアクセラレータカード８１８のＡＳＭは、どのリモートＨＷアクセラレータカードがサービスを提供することができ得るかを決定することができる。図８を参照すると、ローカルＨＷアクセラレータカード８１８のＡＳＭは、リモートＨＷアクセラレータカード８３８が暗号化アクセラレーションサービスを提供することができると決定することができる。ＡＳＭは、ライン８３３で示されているように、要求を転送することができる。

【手続補正書】

【提出日】2024-01-17

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ローカルハードウェア（ＨＷ）アクセラレータカードの１つまたは複数のプロセッサにより、通信インタフェースを介して、前記ローカルＨＷアクセラレータカードからアクセラレーションサービスのリスティングを提供するステップであって、アクセラレーションサービスの前記リスティングが、前記ローカルＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第１組のアクセラレーションサービスとリモートＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第２組のアクセラレーションサービスとを含む、ステップと、
前記１つまたは複数のプロセッサにより、計算装置のプロセッサからワークロード命令を受信するステップであって、前記ワークロード命令が、前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの少なくとも１つにより処理するためのワークロードを定義する、ステップと、
前記１つまたは複数のプロセッサにより、前記ワークロード命令を前記リモートＨＷアクセラレータカードに転送するステップと
を含む、方法。

【請求項2】

前記１つまたは複数のプロセッサにより、前記リモートＨＷアクセラレータカードから処理済みワークロードを受信するステップであって、前記処理済みワークロードが、前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの前記少なくとも１つにより処理した後の前記ワークロードである、ステップ
をさらに含む、請求項１に記載の方法。

【請求項3】

前記１つまたは複数のプロセッサにより、前記処理済みワークロードを前記計算装置の前記プロセッサに転送するステップ
をさらに含む、請求項２に記載の方法。

【請求項4】

アクセラレーションサービスの前記リスティングが、前記１つまたは複数のプロセッサ上で実行するアクセラレーテッドサービスマネージャ（ＡＳＭ）によって生成される、請求項１に記載の方法。

【請求項5】

前記１つまたは複数のプロセッサ上で実行する前記ＡＳＭが、前記リモートＨＷアクセラレータカード上で実行する別のＡＳＭと通信する、請求項４に記載の方法。

【請求項6】

前記通信が、前記ＡＳＭが前記ワークロード命令を前記別のＡＳＭに転送することを含む、請求項５に記載の方法。

【請求項7】

前記通信が、前記ＡＳＭが前記別のＡＳＭに前記第２組のアクセラレーションサービスのリスティングを要求することを含む、請求項５に記載の方法。

【請求項8】

前記ＡＳＭが、アクセラレーションサービスの前記リスティングから不健全なアクセラレーションサービスを識別し、取り除く、請求項５に記載の方法。

【請求項9】

前記不健全なアクセラレーションサービスを識別することが、前記ＡＳＭにより、前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの前記少なくとも１つによる前記ワークロード命令の処理の失敗を決定することを含む、請求項８に記載の方法。

【請求項10】

前記不健全なアクセラレーションサービスを取り除くことが、
前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの前記少なくとも１つを不健全としてマーキングすること、または
前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの前記少なくとも１つをアクセラレーションサービスの前記リスティングから除去することを含む、請求項９に記載の方法。

【請求項11】

前記ワークロード命令の処理の前記失敗を決定した後で、前記ＡＳＭにより、更新済みワークロード命令を、前記異なるＨＷアクセラレータの前記アクセラレーションサービスのうちの少なくとも１つにより処理するための異なるＨＷアクセラレータカードに送信するステップ
をさらに含む、請求項１０に記載の方法。

【請求項12】

前記ワークロード命令が、少なくとも１つの他のリモートＨＷアクセラレータカードの少なくとも１つのアクセラレーションサービスにより処理することをさらに定義する、請求項１に記載の方法。

【請求項13】

通信インタフェースと、
１つまたは複数のプロセッサと１つまたは複数のアクセラレータとを含むローカルハードウェア（ＨＷ）アクセラレータカードであって、前記１つまたは複数のプロセッサが、
前記通信インタフェースを介して、前記ローカルＨＷアクセラレータカードからアクセラレーションサービスのリスティングを受信することであって、アクセラレーションサービスの前記リスティングが、前記ローカルＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第１組のアクセラレーションサービスとリモートＨＷアクセラレータカードの１つまたは複数のアクセラレータによって提供される第２組のアクセラレーションサービスとを含む、受信することと、
計算装置のプロセッサからワークロード命令を受信することであって、前記ワークロード命令が、前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの少なくとも１つにより処理するためのワークロードを定義する、受信することと
前記ワークロード命令を前記リモートＨＷアクセラレータカードに転送することとを行うように構成される、ローカルハードウェア（ＨＷ）アクセラレータカードと
を備えるシステム。

【請求項14】

前記１つまたは複数のプロセッサが、
前記リモートＨＷアクセラレータカードから処理済みワークロードを受信することであって、前記処理済みワークロードが、前記第２組のアクセラレーションサービスの前記アクセラレーションサービスのうちの前記少なくとも１つにより処理した後の前記ワークロードである、受信すること
を行うようにさらに構成される、請求項１３に記載のシステム。

【請求項15】

前記１つまたは複数のプロセッサが、前記処理済みワークロードを前記計算装置の前記プロセッサに転送すること
を行うようにさらに構成される、請求項１４に記載のシステム。

【請求項16】

アクセラレーションサービスの前記リスティングが、前記１つまたは複数のプロセッサ上で実行するアクセラレーテッドサービスマネージャ（ＡＳＭ）によって生成される、請求項１３～１５のいずれか１項に記載のシステム。

【請求項17】

前記１つまたは複数のプロセッサ上で実行する前記ＡＳＭが、前記リモートＨＷアクセラレータカード上で実行する別のＡＳＭと通信する、請求項１６に記載のシステム。

【請求項18】

前記通信が、前記ＡＳＭが前記ワークロード命令を前記別のＡＳＭに転送することを含む、請求項１７に記載のシステム。

【請求項19】

前記通信が、前記ＡＳＭが前記別のＡＳＭに前記第２組のアクセラレーションサービスのリスティングを要求することを含む、請求項１７に記載のシステム。

【請求項20】

前記ＡＳＭが、アクセラレーションサービスの前記リスティングから不健全なアクセラレーションサービスを識別し、取り除く、請求項１８に記載のシステム。

【請求項21】

ローカルハードウェア（ＨＷ）アクセラレータカードの１つまたは複数のプロセッサに、請求項１～１２のいずれか１項に記載の方法を実行させる、プログラム。

【国際調査報告】