▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022127619
(43)【公開日】2022-08-31
(54)【発明の名称】ハードウェアアクセラレートされた命令の使用
(51)【国際特許分類】
G06F 15/82 20060101AFI20220824BHJP
G06N 99/00 20190101ALI20220824BHJP
【ＦＩ】
G06F15/82 620Z
G06N99/00 180
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022023568
(22)【出願日】2022-02-18
(31)【優先権主張番号】10 2021 201 597.2
(32)【優先日】2021-02-19
(33)【優先権主張国・地域又は機関】DE
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＺＩＧＢＥＥ
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】デニス ゼバスティアン リーバー
(57)【要約】
【課題】本発明は、制約充足問題を解くことによって、プロセッサシステムのハードウェアアクセラレートされた命令を使用して計算を実施するコンピュータ実施方法（６００）に関する。
【解決手段】制約充足問題に対する解は、計算におけるハードウェアアクセラレートされた命令の可能な呼出しを表す。制約充足問題は、計算データフローグラフのノードを命令データフローグラフのノードに割り当てる。制約充足問題は、計算データフローグラフの割り当てられたノードが、命令データフローグラフと同等のデータフローを有することを強制する制約と、計算データフローグラフのどのノードを、ハードウェアアクセラレートされた命令の入力に割り当てることができるかを制限する制約とを含み、制限は、ハードウェアアクセラレートされた命令及び／又はそのプログラミングインタフェースによって課される。
【選択図】図３
【解決手段】制約充足問題に対する解は、計算におけるハードウェアアクセラレートされた命令の可能な呼出しを表す。制約充足問題は、計算データフローグラフのノードを命令データフローグラフのノードに割り当てる。制約充足問題は、計算データフローグラフの割り当てられたノードが、命令データフローグラフと同等のデータフローを有することを強制する制約と、計算データフローグラフのどのノードを、ハードウェアアクセラレートされた命令の入力に割り当てることができるかを制限する制約とを含み、制限は、ハードウェアアクセラレートされた命令及び／又はそのプログラミングインタフェースによって課される。
【選択図】図３
【特許請求の範囲】
【請求項1】
プロセッサシステムのハードウェアアクセラレートされた命令を使用して計算を実施するコンピュータ実施方法（６００）であって、
・当該方法（６００）は、計算データを取得すること（６１０）を含み、前記計算データは、計算を表す計算データフローグラフを定義し、前記計算データフローグラフのノードは、前記計算の入力又は演算を表し、
・当該方法（６００）は、命令データを取得すること（６２０）を含み、前記命令データは、ハードウェアアクセラレートされた命令を表す命令データフローグラフを定義し、前記命令データフローグラフのノードは、前記ハードウェアアクセラレートされた命令の入力又は演算を表し、
・当該方法（６００）は、前記計算データ及び前記命令データに基づいて制約充足問題を定義すること（６３０）を含み、前記制約充足問題に対する解は、前記計算における前記ハードウェアアクセラレートされた命令の可能な呼出しを表し、前記制約充足問題は、前記計算データフローグラフのノードを前記命令データフローグラフのノードに割り当て、前記制約充足問題は、少なくとも、
・前記計算データフローグラフの割り当てられた前記ノードが、前記命令データフローグラフと同等のデータフローを有することを強制する１つ又は複数の制約、
・前記計算データフローグラフのどのノードを、前記ハードウェアアクセラレートされた命令の入力に割り当てることができるかを制限する１つ又は複数の制約を含み、前記制限は、前記ハードウェアアクセラレートされた命令及び／又はそのプログラミングインタフェースによって課され、
・当該方法（６００）は、前記計算における前記ハードウェアアクセラレートされた命令の可能な呼出しを決定するために前記制約充足問題を解くこと（６４０）と、前記可能な呼出しを定義するデータを出力すること（６５０）とを含む、
方法（６００）。
・当該方法（６００）は、計算データを取得すること（６１０）を含み、前記計算データは、計算を表す計算データフローグラフを定義し、前記計算データフローグラフのノードは、前記計算の入力又は演算を表し、
・当該方法（６００）は、命令データを取得すること（６２０）を含み、前記命令データは、ハードウェアアクセラレートされた命令を表す命令データフローグラフを定義し、前記命令データフローグラフのノードは、前記ハードウェアアクセラレートされた命令の入力又は演算を表し、
・当該方法（６００）は、前記計算データ及び前記命令データに基づいて制約充足問題を定義すること（６３０）を含み、前記制約充足問題に対する解は、前記計算における前記ハードウェアアクセラレートされた命令の可能な呼出しを表し、前記制約充足問題は、前記計算データフローグラフのノードを前記命令データフローグラフのノードに割り当て、前記制約充足問題は、少なくとも、
・前記計算データフローグラフの割り当てられた前記ノードが、前記命令データフローグラフと同等のデータフローを有することを強制する１つ又は複数の制約、
・前記計算データフローグラフのどのノードを、前記ハードウェアアクセラレートされた命令の入力に割り当てることができるかを制限する１つ又は複数の制約を含み、前記制限は、前記ハードウェアアクセラレートされた命令及び／又はそのプログラミングインタフェースによって課され、
・当該方法（６００）は、前記計算における前記ハードウェアアクセラレートされた命令の可能な呼出しを決定するために前記制約充足問題を解くこと（６４０）と、前記可能な呼出しを定義するデータを出力すること（６５０）とを含む、
方法（６００）。
【請求項2】
当該方法（６００）は、前記計算を実施する機械実行可能命令を生成することをさらに含み、
前記命令は、前記決定された可能な呼出しに従って前記ハードウェアアクセラレートされた命令を呼び出す、
請求項１に記載の方法（６００）。
前記命令は、前記決定された可能な呼出しに従って前記ハードウェアアクセラレートされた命令を呼び出す、
請求項１に記載の方法（６００）。
【請求項3】
前記計算の演算、及び／又は、前記ハードウェアアクセラレートされた命令の演算は、スカラ演算である、
請求項１又は２に記載の方法（６００）。
請求項１又は２に記載の方法（６００）。
【請求項4】
前記ハードウェアアクセラレートされた命令は、行列乗算、畳み込み、ドット積、行列ベクトル積、累積和、プーリング、及び、アダマール積のうちの１つ又は複数を実施する、
請求項３に記載の方法（６００）。
請求項３に記載の方法（６００）。
【請求項5】
前記計算は、ニューラルネットワーク層の畳み込み、行列乗算、及び、プーリング演算のうちの１つ又は複数を適用することを含む、
請求項４に記載の方法（６００）。
請求項４に記載の方法（６００）。
【請求項6】
前記命令データフローグラフは、前記ハードウェアアクセラレートされた命令の出力の部分集合のみに関するノードを含み、
当該方法は、前記可能な呼出しから、前記ハードウェアアクセラレートされた命令のさらなる出力の、前記計算の演算へのマッピングを推論することさらに含む、
請求項１乃至５のいずれか一項に記載の方法（６００）。
当該方法は、前記可能な呼出しから、前記ハードウェアアクセラレートされた命令のさらなる出力の、前記計算の演算へのマッピングを推論することさらに含む、
請求項１乃至５のいずれか一項に記載の方法（６００）。
【請求項7】
前記計算データは、前記計算データフローグラフのノードの集合をシンボル的に定義する多面体表現を含み、
前記制約充足問題を解くことは、
前記ノードの集合のうちの１つのノードを取得するために前記多面体表現をインスタンス化することと、
取得した前記ノードに、前記命令データフローグラフのノードをマッピングすることと
を含む、請求項１乃至６のいずれか一項に記載の方法（６００）。
前記制約充足問題を解くことは、
前記ノードの集合のうちの１つのノードを取得するために前記多面体表現をインスタンス化することと、
取得した前記ノードに、前記命令データフローグラフのノードをマッピングすることと
を含む、請求項１乃至６のいずれか一項に記載の方法（６００）。
【請求項8】
当該方法は、前記ハードウェアアクセラレートされた命令の入力が、許可されたメモリレイアウト及び／又は許可されたメモリアクセスパターンを有することを強制するための１つ又は複数の制約を定義することを含む、
請求項１乃至７のいずれか一項に記載の方法（６００）。
請求項１乃至７のいずれか一項に記載の方法（６００）。
【請求項9】
当該方法は、前記ハードウェアアクセラレートされた命令の相互並列化可能な演算のペアが、前記計算の相互並列化可能な演算のペアにマッピングされることを強制するための１つ又は複数の制約を定義することを含む、
請求項１乃至８のいずれか一項に記載の方法（６００）。
請求項１乃至８のいずれか一項に記載の方法（６００）。
【請求項10】
前記命令データフローグラフのノードは、可換縮約演算を表し、
当該方法は、前記ノードが前記計算データフローグラフの対応するノードにマッピングされることを強制するための１つ又は複数の制約を定義することを含む、
請求項１乃至９のいずれか一項に記載の方法（６００）。
当該方法は、前記ノードが前記計算データフローグラフの対応するノードにマッピングされることを強制するための１つ又は複数の制約を定義することを含む、
請求項１乃至９のいずれか一項に記載の方法（６００）。
【請求項11】
当該方法は、前記ハードウェアアクセラレートされた命令の演算を、前記計算に影響を与えないダミー演算にマッピングすることを許可するために、前記制約充足問題を定義することを含む、
請求項１乃至１０のいずれか一項に記載の方法（６００）。
請求項１乃至１０のいずれか一項に記載の方法（６００）。
【請求項12】
当該方法は、前記ハードウェアアクセラレートされた命令の入力が超直方体を形成することを強制する１つ又は複数の制約を、前記制約充足問題に含めることを含む、
請求項１乃至１１のいずれか一項に記載の方法（６００）。
請求項１乃至１１のいずれか一項に記載の方法（６００）。
【請求項13】
当該方法は、
前記制約充足問題に対する複数の解を決定することと、
前記複数の解の性能を評価することと、
前記性能の評価に基づいて前記複数の解から１つの解を選択することと
を含む、請求項１乃至１２のいずれか一項に記載の方法（６００）。
前記制約充足問題に対する複数の解を決定することと、
前記複数の解の性能を評価することと、
前記性能の評価に基づいて前記複数の解から１つの解を選択することと
を含む、請求項１乃至１２のいずれか一項に記載の方法（６００）。
【請求項14】
プロセッサシステムのハードウェアアクセラレートされた命令を使用して計算を実施するためのシステム（１００）であって、
・当該システムは、計算データ（０３０）及び命令データ（０４０）にアクセスするためのデータインタフェース（１２０）を含み、
前記計算データは、計算を表す計算データフローグラフを定義し、前記計算データフローグラフのノードは、前記計算の入力又は演算を表し、
前記命令データは、ハードウェアアクセラレートされた命令を表す命令データフローグラフを定義し、前記命令データフローグラフのノードは、前記ハードウェアアクセラレートされた命令の入力又は演算を表し、
・当該システムは、プロセッサシステム（１４０）を含み、
・前記プロセッサシステム（１４０）は、前記計算データ及び前記命令データを取得するように構成されており、
・前記プロセッサシステム（１４０）は、前記計算データ及び前記命令データに基づいて制約充足問題を定義するように構成されており、前記制約充足問題に対する解は、前記計算における前記ハードウェアアクセラレートされた命令の可能な呼出しを表し、前記制約充足問題は、前記計算データフローグラフのノードを前記命令データフローグラフのノードに割り当て、前記制約充足問題は、少なくとも、
・前記計算データフローグラフの割り当てられた前記ノードが、前記命令データフローグラフと同等のデータフローを有することを強制する１つ又は複数の制約、
・前記計算データフローグラフのどのノードを、前記ハードウェアアクセラレートされた命令の入力に割り当てることができるかを制限する１つ又は複数の制約を含み、前記制限は、前記ハードウェアアクセラレートされた命令及び／又はそのプログラミングインタフェースによって課され、
・前記プロセッサシステム（１４０）は、前記計算における前記ハードウェアアクセラレートされた命令の可能な呼出しを決定するために前記制約充足問題を解くように、かつ、前記可能な呼出しを定義するデータを出力するように構成されている、
システム（１００）。
・当該システムは、計算データ（０３０）及び命令データ（０４０）にアクセスするためのデータインタフェース（１２０）を含み、
前記計算データは、計算を表す計算データフローグラフを定義し、前記計算データフローグラフのノードは、前記計算の入力又は演算を表し、
前記命令データは、ハードウェアアクセラレートされた命令を表す命令データフローグラフを定義し、前記命令データフローグラフのノードは、前記ハードウェアアクセラレートされた命令の入力又は演算を表し、
・当該システムは、プロセッサシステム（１４０）を含み、
・前記プロセッサシステム（１４０）は、前記計算データ及び前記命令データを取得するように構成されており、
・前記プロセッサシステム（１４０）は、前記計算データ及び前記命令データに基づいて制約充足問題を定義するように構成されており、前記制約充足問題に対する解は、前記計算における前記ハードウェアアクセラレートされた命令の可能な呼出しを表し、前記制約充足問題は、前記計算データフローグラフのノードを前記命令データフローグラフのノードに割り当て、前記制約充足問題は、少なくとも、
・前記計算データフローグラフの割り当てられた前記ノードが、前記命令データフローグラフと同等のデータフローを有することを強制する１つ又は複数の制約、
・前記計算データフローグラフのどのノードを、前記ハードウェアアクセラレートされた命令の入力に割り当てることができるかを制限する１つ又は複数の制約を含み、前記制限は、前記ハードウェアアクセラレートされた命令及び／又はそのプログラミングインタフェースによって課され、
・前記プロセッサシステム（１４０）は、前記計算における前記ハードウェアアクセラレートされた命令の可能な呼出しを決定するために前記制約充足問題を解くように、かつ、前記可能な呼出しを定義するデータを出力するように構成されている、
システム（１００）。
【請求項15】
一時的又は非一時的なデータ（７１０）を含むコンピュータ可読媒体（７００）であって、
・前記一時的又は非一時的なデータ（７１０）は、プロセッサシステムによって実行された場合に、前記プロセッサシステムに請求項１乃至１３のいずれか一項に記載のコンピュータ実施方法を実施させるための命令を表し、及び／又は、
・前記一時的又は非一時的なデータ（７１０）は、ハードウェアアクセラレートされた命令を支援するプロセッサシステムによって実行された場合に、前記プロセッサシステムに計算を実施させるための命令を表し、前記命令は、請求項１乃至１３のいずれか一項に記載のコンピュータ実施方法を使用して決定された可能な呼出しに従って前記ハードウェアアクセラレートされた命令を呼び出すためのものである、
コンピュータ可読媒体（７００）。
・前記一時的又は非一時的なデータ（７１０）は、プロセッサシステムによって実行された場合に、前記プロセッサシステムに請求項１乃至１３のいずれか一項に記載のコンピュータ実施方法を実施させるための命令を表し、及び／又は、
・前記一時的又は非一時的なデータ（７１０）は、ハードウェアアクセラレートされた命令を支援するプロセッサシステムによって実行された場合に、前記プロセッサシステムに計算を実施させるための命令を表し、前記命令は、請求項１乃至１３のいずれか一項に記載のコンピュータ実施方法を使用して決定された可能な呼出しに従って前記ハードウェアアクセラレートされた命令を呼び出すためのものである、
コンピュータ可読媒体（７００）。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プロセッサシステムのハードウェアアクセラレートされた命令を使用して計算を実施するコンピュータ実施方法と、対応するシステムとに関する。本発明はさらに、上記の方法を実施するための命令を含む、及び／又は、ハードウェアアクセラレートされた命令を使用して計算を実施するための命令を含む、コンピュータ可読媒体に関する。
【背景技術】
【0002】
発明の背景
収集及び処理されるデータの量が増えるにつれて、大型の計算を効率的に実施することがますます重要になってきている。大量のデータを処理する必要性が特に普及している１つの分野は、機械学習である。例えば、ディープニューラルネットワーク（ＤＮＮ）のようなニューラルネットワークの評価だけでなく、特に、訓練もまた、多数の行列乗算、畳み込み、ドット積、及び、類似の演算の評価を含む。特定の用途に適合させられた大規模かつ継続的に進化する種々のＤＮＮアーキテクチャが存在する。
収集及び処理されるデータの量が増えるにつれて、大型の計算を効率的に実施することがますます重要になってきている。大量のデータを処理する必要性が特に普及している１つの分野は、機械学習である。例えば、ディープニューラルネットワーク（ＤＮＮ）のようなニューラルネットワークの評価だけでなく、特に、訓練もまた、多数の行列乗算、畳み込み、ドット積、及び、類似の演算の評価を含む。特定の用途に適合させられた大規模かつ継続的に進化する種々のＤＮＮアーキテクチャが存在する。
【0003】
このような計算を高速化するために、ますます多くの専用化されたハードウェアが利用可能になりつつある。そのようなハードウェアは、行列乗算又は畳み込みのような特定の命令を効率的に実施するように最適化されたハードウェアアクセラレータを含む。従って、そのようなハードウェアアクセラレートされた命令を使用することにより、特に、リソース制約された設定において計算をより効率的に実施することが可能となる。
【0004】
ハードウェアアクセラレートされた命令を利用するためには、高級プログラミング言語におけるコードを、ハードウェアアクセラレートされた命令を呼び出す機械実行可能命令に変換するコンパイラ技術を提供することが重要である。実施されるべき計算と、これらの計算を実施するハードウェアアーキテクチャとの両方が継続的に進化しているので、このことが特に重要である。しかしながら、ハードウェアアクセラレートされた命令が最も効果的に利用されるように、ニューラルネットワーク層の評価に関連する計算などの計算をどのように実施すべきかを自動的に決定することは、複雑なタスクである。このタスクが非常に複雑である理由の１つは、ハードウェアアクセラレートされた命令が、多次元の入力配列及び出力配列にわたって数百又は数千の並列及びシーケンシャルな演算を含むことがある複雑なデータフローを有する可能性があることである。
【0005】
M. Sotoudehら著の文献“ISA Mapper: A Compute and Hardware Agnostic Deep Learning Compiler”（https://arxiv.org/abs/1810.09958から入手可能であり、参照により本明細書に援用される）においては、行列乗算命令を含む命令集合に対してコード生成を実施するための技術が提示されている。深層学習計算のカーネル及びハードウェアの能力は、演算子のループレベル表現で機能する中間表現によって記述される。ハードウェアシステム上において計算を実施することができる可能な手法を決定するために、命令マッピングが適用される。この命令マッピングにおいては、多数の「ＩＲ変換」が計算に適用され、その後、「決定論的マッパ（deterministic mapper）」が、この変換された計算をループレベルでハードウェア命令にマッピングすることを試みる。スケジューラは、特定のマッピングを選択する。マッピング及びスケジュールの大規模な検索空間を管理するために、ヒューリスティクス、コストモデル、及び、場合によっては機械学習が使用される。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】“ISA Mapper: A Compute and Hardware Agnostic Deep Learning Compiler”、M. Sotoudehら著（https://arxiv.org/abs/1810.09958から入手可能）
【発明の概要】
【発明が解決しようとする課題】
【0007】
発明の概要
ハードウェアアクセラレートされた命令を使用して計算を実施するための既存の技術の１つの欠点は、演算子のループレベル表現を使用することにより、ループ及びテンソルの順序付け又はアクセス関数表記のような暗示的な実装決定が導入されることである。例えば、演算子におけるステンシルに関するテンソルアクセス関数は、ｘ＊ｓｔｒｉｄｅ＋ｗであるものとしてよく、その一方で、アクセラレータは、アクセス関数ｉ＋ｋを有する命令を提供することができる。ストライド＝１である場合には、整合が可能であるが、一般的に、例えばパターン整合法によってこのような整合を自動的に確立することは困難である。従って、可能な実装を見逃す可能性がある。
ハードウェアアクセラレートされた命令を使用して計算を実施するための既存の技術の１つの欠点は、演算子のループレベル表現を使用することにより、ループ及びテンソルの順序付け又はアクセス関数表記のような暗示的な実装決定が導入されることである。例えば、演算子におけるステンシルに関するテンソルアクセス関数は、ｘ＊ｓｔｒｉｄｅ＋ｗであるものとしてよく、その一方で、アクセラレータは、アクセス関数ｉ＋ｋを有する命令を提供することができる。ストライド＝１である場合には、整合が可能であるが、一般的に、例えばパターン整合法によってこのような整合を自動的に確立することは困難である。従って、可能な実装を見逃す可能性がある。
【0008】
また、既存の技術が、ＩＲ変換の明示的に指定された集合に依存することも不利である。埋め込みにつながる変換の特定のシーケンスを直接的に検出することは困難である。最終的に、このことは、多くの異なる実装候補を生成しなければならない非決定論的な検索プロセスにつながる可能性がある。また、より多くの変換が追加されるほど、検索空間がより大きくなり、解の数に関するリターンが減少する。従って、最適な実装を発見するために必要とされる探索と、合理的な時間量で解を発見するために必要とされる検索空間の制限との間に対立関係が存在する。さらに、変換の大規模な集合が使用される場合であっても、実装のサブクラスが、利用することができない変換の背後に隠されている可能性が残る。
【0009】
これらの欠点に起因して、既存の技術は、ハードウェアアクセラレートされた命令を最も効果的に利用する計算の実装を発見することができない可能性がある。いくつかの場合には、既存の技術は、ハードウェアアクセラレートされた命令を計算においてどのように使用することができるかを全く発見することができない可能性さえある。従って、ハードウェアアクセラレートされた命令を使用した計算の、より可能な実装を発見することができる技術を有することが望ましい。また、そのような実装をより効率的に発見することができる技術を有することも望ましい。
【課題を解決するための手段】
【0010】
本発明の第１の態様によれば、請求項１及び１４によってそれぞれ規定されているように、プロセッサシステムのハードウェアアクセラレートされた命令を使用して計算を実施するためのコンピュータ実施方法及び対応するシステムが提供される。本発明の他の態様によれば、請求項１５によって規定されているように、コンピュータ可読媒体が提供される。
【0011】
種々の手段は、プロセッサシステムのハードウェアアクセラレートされた命令を使用して計算を実施することに向けられている。ハードウェアアクセラレートされた命令を使用して計算を実施することとは、計算における命令の可能な呼出しを発見することを意味し、即ち、計算のうちの、命令の呼出しによって実施することができる部分を発見することを意味する。計算を実施し、例えば、計算を実行可能コードにコンパイルするために、決定された可能な呼出しに従ってハードウェアアクセラレートされた命令を呼び出すような機械実行可能命令を、決定された呼出しを使用して自動的に生成することができるが、このことは、必須ではない。例えば、計算を手動で実施する際に使用するために、このような実装がそもそも可能であるかどうかを判定するために、又は、実際のコンパイルを実施する他のシステムによって使用するために、可能な呼出しを発見すること自体が既に有用である。
【0012】
計算と、ハードウェアアクセラレートされた命令とを、それぞれのデータフローグラフによって表すことができる。データフローグラフのノードは、計算又は命令の入力及び演算を表すことができ、エッジは、ノード間のデータフロー関係を表し、例えば、演算の着信エッジは、演算が作用する値を表すために使用可能である。ハードウェアアクセラレートされた命令は、典型的には、固定のデータフローを有する所定の演算を実施し、例えば、命令データフローグラフは、固定可能である。演算とは、典型的には、スカラ演算、例えば個々の数値要素又は非数値要素に適用される演算である。
【0013】
興味深いことに、本発明者らは、計算におけるハードウェアアクセラレートされた命令の可能な呼出しを決定するという問題が、計算データフローグラフのノードを命令データフローグラフのノードに割り当てる制約充足問題として表現可能であることを認識した。従って、制約充足問題の解は、計算データフローグラフのノード、例えば計算の演算又は入力を命令データフローグラフのノード、例えばハードウェアアクセラレートされた命令の演算又は入力に割り当てることができる。このような割り当ては、本明細書においては、計算データフローグラフへの命令データフローグラフの「マッピング」とも称される。効果的には、計算を変換して、その後、その計算をハードウェア命令にマッピングすることによるトップダウンのアプローチで可能な呼出しを発見するのではなく、制約充足問題の解を発見することによって命令から計算へのマッピングを漸進的に構築することができるボトムアップのアプローチが提案される。
【0014】
制約充足問題は、この制約充足問題に対する解が、計算におけるハードウェアアクセラレートされた命令の可能な呼出しを表すように定義可能である。このために、制約充足問題は、データフロー制約及び入力制約と称される少なくとも２つの種類の制約を含み得る。
【0015】
データフロー制約は、計算データフローグラフのうちの、命令データフローグラフのノードに割り当てられたノードが、命令データフローグラフと同等のデータフローを有することを強制することができる。例えば、ハードウェアアクセラレートされた命令は、計算のうちの、ハードウェアアクセラレートされた命令の機能に対応する部分にマッピングされる。特に、命令データフローグラフによって示されるデータフロー関係に従って、命令データフローグラフの入力がマッピングされた計算の値に基づいて、命令データフローグラフの演算を実施することにより、これらの演算がマッピングされた計算データフローの演算を実施するのと同等の計算結果をもたらすことができる。これを強制する１つの手法は、命令データフローグラフがマッピングされる計算データフローグラフのサブグラフが、命令データフローグラフ自体と同型であることを強制することであるが、ただし、この要求を緩和することが可能である。
【0016】
しかしながら、本発明者らが認識したように、命令データフローグラフから計算データフローグラフへのマッピングが、ハードウェアアクセラレートされた命令の可能な呼出しを表すようにするためには、多くの場合、データフロー制約を使用するだけでは十分ではない。なぜなら、ハードウェアアクセラレートされた命令及び／又はそのプログラミングインタフェースは、通常、命令を適用することができる計算の値に関して追加的な制限を課しているからである。例えば、ハードウェアアクセラレートされた命令は、この命令の入力が、特定のメモリレイアウトに従って編成されること、及び／又は、特定のアクセスパターンに従ってアクセスされることを要求することがある。そのような要求を表すために、制約充足問題は、計算データフローグラフのどのノードを、ハードウェアアクセラレートされた命令の入力に割り当てることができるかを制限する１つ又は複数の入力制約も含み得る。これにより、可能な呼出しを、ハードウェアアクセラレートされた命令、及び／又は、そのプログラミングインタフェースによって課される制限に適合した呼出しにすることができる。
【0017】
興味深いことに、可能な呼出しを制約充足問題に関して定義することにより、可能な呼出しを、制約充足問題を解くことによって決定することが可能となる。これに関する技術自体は、公知である。データフロー及び入力制約は、呼出しが可能であることを保証することができる。最初に、完全な計算に変換を適用して、その後、変換された計算がハードウェアアクセラレートされた命令を使用して実施可能である場合には、それを試す必要はない。これは、非効率であり得る。その代わりに、ハードウェアアクセラレートされた命令の呼出しを表すマッピングを、制約ソルバによって漸進的に構築することができ、制約は、解が可能な呼出しであることを保証する。また、完了することが非常に困難又は不可能であろう、コード変換の明示的な集合を定義する必要もなくなる。
【0018】
マッピングは、例えばループレベルとは対照的に演算レベルで実施され、制約を充足するあらゆるマッピングを制約ソルバによって発見することができるので、ループ順序付け、メモリレイアウト及びメモリアクセス関数のような暗示的な実装決定を回避することができる。特に、呼出しは、所定の変換の集合に基づいて公知のアプローチによって提供されるものよりもフレキシブルなメモリレイアウトによって決定可能である。ベンチマークにおける実験は、このようなフレキシビリティの実際の増加により、公知の技術よりも良好な性能を有する呼出しを発見することができることを示している。従って、ハードウェアアクセラレートされた命令の広範囲の可能な呼出しを発見することが可能となり、このことをより効率的な、例えば計算的により低労力の手法によって実行することが可能となる。ハードウェアアクセラレートされた命令のこれらのさらに効果的な呼出しを発見することが可能となり、又は、これまでは実行可能ではなかった計算に対しても呼出しを発見することさえ可能となる。
【0019】
可能な呼出しを発見するために制約ソルバを使用するさらなる利点は、可能な呼出しが充足しなければならない要求を、有益であると考えられる選好から分離することができることである。特に、制約ソルバによって適用される変数選択戦略及び／又は値選択戦略を適合させることによって、制約の解決中に、解が有効であるということが何を意味するのかに影響を与えることなく、解空間にわたる制御を行うことができる。制約ソルバを制御することにより、最初に特定の解を発見するように制約ソルバをガイドすることができる。従って、決定される可能な呼出しの品質を改善することができ、解空間の一部を廃棄することなく、潜在的な解の一部を試すために効果的に提案することによって、制約ソルバの効率をさらに改善することができる。即ち、提案が解につながらなかった場合にも、制約ソルバは、他の可能な解を考慮し続けることができる。
【0020】
任意選択的に、計算を実施する機械実行可能命令を生成することができる。これらの命令は、決定された可能な呼出しに従ってハードウェアアクセラレートされた命令を呼び出すことができる。このようにして、ハードウェアアクセラレートされた命令を利用した計算の効率的な実装を得ることができる。従って、計算を機械実行可能命令にコンパイルする方法を提供することができる。
【0021】
任意選択的に、計算データフローグラフ及び命令データフローグラフは、スカラ演算を表すノードを含み得る。例えば、スカラ演算は、固定数の１つ又は複数の別個の値（通常は１つ又は２つ）に作用して、固定数の１つ又は複数の別個の値（通常は１つ）を出力することができる。従って、制約充足問題は、ループレベルにおける動作とは対照的に、スカラ演算をスカラ演算にマッピングすることができる。いくつかの実施形態によれば、グラフのそれぞれのノードは、スカラ演算を表すことができるが、ただし、他の箇所で説明される可換縮約演算は例外であり得る。他の箇所においても説明されるように、スカラレベルでマッピングを実施することにより、そうでなければどの呼出しを発見することができるかを制限する可能性のあった暗示的なモデル化仮定が最小化され、より良好な性能を有する呼出しを識別することが可能となる。
【0022】
任意選択的に、ハードウェアアクセラレートされた命令は、行列乗算、畳み込み、ドット積、行列ベクトル積、累積和、プーリング、及び、アダマール積のうちの１つ又は複数を実施することができる。これらは、大型の計算において繰り返し実行される一般的な演算であり、そのためにハードウェアアクセラレーションを利用することができるので、これらの演算を最適化することが特に重要である。
【0023】
一般的に、計算とは、ハードウェアアクセラレートされた命令によって実施可能であることが期待される演算を含む計算である。例えば、計算は、ハードウェアアクセラレートされた命令の適用に対して潜在的に適しているとして手動で選択される、ニューラルネットワーク評価における畳み込み演算子の適用のような、比較的大型の計算のうちのサブ計算であるものとしてよい。データフローに関して、計算において命令を呼び出すことができる多くの異なる手法が存在するものとしてよいが、これらの手法の一部だけが、ハードウェアアクセラレートされた命令、及び／又は、そのプログラミングインタフェースによって課される制限を遵守することができ、これらの可能な呼出しは、性能に関して大幅に異なる可能性がある。従って、可能な呼出しを自動的に発見及び／又は列挙することが可能であることが重要である。
【0024】
任意選択的に、命令データフローグラフは、ハードウェアアクセラレートされた命令の出力の部分集合のみに関するノードを含み得る。ハードウェアアクセラレートされた命令の他の出力も、これらの他の出力を計算するために使用される演算も除外することができ、これにより、制約充足問題を解くのがより効率的になる。次いで、決定された可能な呼出しに基づいて、この決定された可能な呼出しを、命令によって実施される完全な計算まで一般化することができる。例えば、行列乗算命令の場合には、完全な行列乗算の入力及び出力に外挿するために、単一の出力要素の計算のデータフローグラフで十分であり得る。出力のうちの、ハードウェアアクセラレートされた命令の全ての入力を使用する部分集合を選択することができ、これにより、可能な呼出しが全ての入力をマッピングするようになり、これによって、外挿が容易になり、又は、計算への命令入力のマッピングを外挿することもできる。
【0025】
任意選択的に、計算は、ニューラルネットワーク評価に適用される計算であるものとしてよい。例えば計算は、例えば、ニューラルネットワーク層の入力に適用される畳み込み、行列乗算、及び／又は、プーリング演算を含み得る。計算は、ニューラルネットワーク層の入力のそれぞれのノードに接触することができる。ニューラルネットワーク評価は、ニューラルネットワークの訓練中及び使用中の両方において行われる演算であり、行列乗算のようなハードウェアアクセラレーションに適した演算を繰り返し適用することを含み、従って、特に重要な最適化ターゲットである。さらに、データフローに関して、これらの演算を適用することができる多くの手法が存在する。特に、ニューラルネットワークの訓練が効果的であるためには、典型的には、大規模なデータ集合に対してニューラルネットワークを訓練する必要があるが、その一方で、ニューラルネットワークの評価は、リソース制約された環境において行われることが多い。どちらのケースにおいても、最適化が特に重要である。さらに、ニューラルネットワーク層及びアクセラレーションハードウェアの多種多様で継続的な開発を考慮すると、新しい種類のニューラルネットワーク層の及び／又は新しいハードウェアターゲットのための実装が得られることが特に重要である。
【0026】
任意選択的に、計算の少なくとも一部を多面体表現によって指定することができる。多面体表現は、計算データフローグラフのノードの集合をシンボル的に定義することができる。制約充足問題を解く際には、このノードの集合のうちの具体的なノードを取得するために多面体表現をインスタンス化することができ、次いで、この取得したノードに、命令データフローグラフのノードをマッピングすることができる。
【0027】
多面体表現自体は、ループに基づくプログラムをコンパクトに表す手法として公知である。興味深いことに、発明者らは、ループに基づくプログラムのループをモデル化することに加えて、多面体表現を使用して、データフローをモデル化することもできることを認識した。多面体表現を相互に直接的に変換することによって呼出しを決定することは望ましくない。なぜなら、例えば、表現は、ループ又はテンソル次元の順序付けのようなモデル化仮定を表しているからであり、そのようにするためには、表現の明示的な変換を定義することが必要になる場合があり、他の箇所で説明される関連する欠点が伴うからである。興味深いことに、命令データフローグラフがマッピングされるべき計算データフローグラフの多面体表現を使用することにより、これらの欠点が回避される。
【0028】
本技術と組み合わせて、多面体表現を使用して、計算データフローグラフの多面体の集合をシンボル的に定義することができる。しかしながら、興味深いことに、命令データフローグラフと計算データフローグラフとの間のマッピングは、ノードの集合、例えば演算の集合に関して実施されるのではなく、依然として個々のノード、例えば個々の演算に関して実施可能である。多面体表記（polyhedral notation）によって、完全な計算データフローグラフが格納される必要性を回避することができる。即ち、命令データフローグラフからマッピングされる個々の要素のみをインスタンス化すればよい。多くの場合、これによって、計算及びメモリの複雑性が大幅に低減される。
【0029】
多面体表現（polyhedral representation）は、典型的には、計算データフローグラフを表すためには使用されず、又は、少なくとも、計算データフローグラフの多面体表現は、制約解決中には使用されない。計算データフローグラフの多面体ノードは、典型的には、制約充足問題の変数として個々に格納される。
【0030】
任意選択的に、ハードウェアアクセラレートされた命令の入力が、許可されたメモリレイアウト及び／又はメモリアクセスパターンを有することを強制するための１つ又は複数の入力制約を定義することができる。一般的に、ハードウェアアクセラレートされた命令及び／又はそのプログラミングインタフェースは、命令が適用される入力が、特定の配列に従ってメモリに格納されることを強制することができ、例えば、入力がメモリの連続ブロックを形成すること、メモリアドレスが特定の手法により整列されること等を強制することができる。これらは、どの入力にハードウェアアクセラレートされた命令を適用することができるかを制限するメモリレイアウト要求の例である。これらの要求を、それらが遵守されていることを保証するための入力制約として表すことができる。同様に、ハードウェアアクセラレートされた命令は、どの命令を適用することができるかに従って、例えば、入力が所与のストライド、所与のステンシルパターン等に従ってアクセスされるかどうかに従って、アクセスパターンの所与の集合を支援することができる。このようにして、ハードウェアアクセラレートされた命令をどの入力に適用することができるかをさらに制限することができる。
【0031】
例えば、命令及び／又はそのプログラミングインタフェースによって課される命令を表すために、ハードウェアアクセラレートされた命令の中間結果及び出力に関連するメモリレイアウト及び／又はメモリアクセスパターンの制限を、制約の集合に含めることも可能である。
【0032】
任意選択的に、ハードウェアアクセラレートされた命令の相互並列化可能な演算のペアが、計算の相互並列化可能な演算のペアにマッピングされることを強制するための１つ又は複数の制約を定義することができる。例えば、データフローグラフに対する並列化可能性を示すための特別な種類のエッジを含めることによって、ペアを相互並列化可能であるとしてマーキングすることができる。演算のペアを相互並列化可能であるとして明示的にマーキングすること、及び、このことをマッピングにおいて強制することは必須ではないが、そのようにすることは、制約解決の性能にとって有益である。なぜなら、相互並列化可能な演算が相互並列化可能な演算にマッピングされないような潜在的な割り当てを、解決プロセスが直接的に排除することを可能にするからである。
【0033】
興味深いことに、発明者らは、全てが相互並列化可能であるような命令データフローグラフの演算の集合に関して、それぞれの別個のペアに対して並列化可能性制約を含める必要がないことを認識した。ペアの部分集合のみに対して制約を含めることにより、ソルバの性能が改善される。なぜなら、ソルバの効率は、一般的に制約の数にスケーリングされ、また、部分集合は、ソルバが割り当てを排除するのを支援するからである。さらに、推移性によって、命令データフローグラフのペアの集合に対して並列化可能性制約を強制することは、推移閉包におけるそれぞれのペアに対する並列化可能性制約も充足されることを暗示することができる。計算データフローグラフにおいて、相互並列可能な演算の集合におけるそれぞれの演算のペアごとに並列化可能性を示すことができ、これにより、どの割り当てを行うことができるかを不必要に制限しないようにすることができる。計算データフローグラフにおいては、特に、例えば多面体表現の使用に起因してこのグラフが解決中に完全にインスタンス化されない場合、このことによって性能の低下をより少なくすることができる。
【0034】
任意選択的に、命令データフローグラフのノードは、可換縮約演算を表すことができる。例えば、可換縮約演算のためのノード、例えば和又は積は、この演算がノードの全ての着信エッジに適用されることを表すことができる。このようなノードを使用することにより、行列乗算又は畳み込みのような一般的なハードウェアアクセラレーション演算を指定するために必要とされるノード及びエッジの数を、計算又は命令の表現としてのデータフローグラフの正確性に影響を与えることなく大幅に低減することができる。これにより、よりフレキシブルなマッピングも可能となる。なぜなら、グラフは、要素を低減する必要がある特定の順序を指定しないからである。可換縮約演算は、例えば３つ以上の着信エッジを有するノードによって暗示的に定義可能であるが、可換縮約演算を表すものとしてノードを明示的にマーキングすることが好ましい。例えば、このマーキングは、グラフ内に自己エッジを含めることによって実施可能である。このような明示的なマーキングによって、可換縮約演算のためのマッピングを制約ソルバが決定することを、より効率的にすることができる。
【0035】
データフロー制約は、命令データフローグラフの可換縮約演算を表すノードが、計算データフローグラフの対応するノードにマッピングされることを強制することができる。対応するノードは、計算の可換縮約演算を表すノード、例えば、可換縮約演算が作用するそれぞれの要素のための着信エッジを有するノードであるものとしてよい。しかしながら、このことは、必須ではない。また、命令データフローグラフにおいて、縮約演算全体のうちの個々の縮約を別個に表すことも可能である。そのような場合には、命令データフローグラフのノードを、個々の縮約を表すノードにマッピングすることができる。これにより、可換縮約演算のための別個のモデル化労力が必要とされなくなるので、計算のモデル化をより簡単にすることができる。
【0036】
任意選択的に、制約充足問題を解く際には、命令データフローグラフを通して後方に伝播する変数選択戦略を使用することができる。実際には、データフロー及び入力制約によって定義される制約充足問題の種類に関して、この変数選択戦略を使用することが最も伝播する可能性を有しており、従って、解の発見において一般的に最も効率的であることが観察された。このことは、特に、ニューラルネットワーク層評価の計算に当てはまることが判明した。
【0037】
任意選択的に、ハードウェアアクセラレートされた命令の演算を、計算に影響を与えないダミー演算、例えば、同等の計算結果をもたらすダミー演算にマッピングすることを許可するために、制約充足問題を定義することができる。制約充足問題を解くことは、ノードをダミー演算にマッピングすることを含み得るものであり、例えば、ノードを、計算データフローグラフに含まれていない演算にマッピングすることができ、又は、複数のノードを、計算データフローグラフの同一のノードにマッピングすることができる。ダミー演算を許可することによって、可能な呼出しを発見する際におけるフレキシビリティが増加する。特に、ハードウェアアクセラレート命令を、そうでなければこの命令によって実行することができなかったワークロードに対して適用することが可能となる。例えば、計算の関連する部分を、ハードウェアアクセラレートされた命令よりも小さくすることができ、例えば、命令データフローグラフのノードの部分集合だけを、計算データフローグラフのノードにマッピングすることができる。例えば、命令は、４つの要素の和を計算することができ、その一方で、計算は、３つの要素の和しか必要としない。計算に影響を与えないダミー演算を含めることによって、例えば、命令によって実施される演算のための中立元、例えば加算の場合には０であり、又は、乗算の場合には１を追加することによって、計算の関連する部分を、依然としてハードウェアアクセラレートされた命令によって実行することができる。
【0038】
任意選択的に、ハードウェアアクセラレートされた命令の入力が超直方体を形成することを強制する１つ又は複数の制約を、制約充足問題に含めることができる。この制約によって、制約ソルバは、例えば、命令データフローノードへのほんのわずかな回数の割り当ての後には既に、検索空間の大部分を迅速に除外することが可能となる。これによって、検索の効率が大幅に改善され、しかも、残余の計算のための呼出しを取得するためにより簡単に一般化することができる規則的な解が提供されることが保証される。多くの実際の用途においては、ハードウェアアクセラレートされた命令の典型的な呼出しは、超直方体形状の入力を有するので、そのような場合におけるこれらの制限により、良好な性能を有する呼出しが見逃されるという結果が生じることはなくなる。
【0039】
任意選択的に、制約充足問題に対する複数の解を決定することができる。次いで、これらの複数の解の性能を評価することができ、この性能の評価に基づいて複数の解から１つの解を選択することができる。制約ソルバは、制約を充足する可能な呼出しを発見することができるが、典型的には、発見された解を性能に関して最適化するわけではない（ただし、本明細書においても説明されるように、特定の解を優先するように制約ソルバを構成することができる）。しかしながら、制約充足問題に対する複数の解を出力するように又は全ての可能な解を列挙するように、制約ソルバを構成するものとしてもよい。これらの複数の解の性能を評価することにより、所望の性能を有する解を選択することができる。種々の戦略を採用することができ、例えば、固定数の解を決定することが可能であり、又は、解を発見するために固定の時間量を使用することが可能であり、その後、発見された解を評価することが可能であり、又は、望ましい性能を有する解が発見されるまで若しくはさらなる改善が特定の期間内に見出せなくなるまで、解を繰り返し決定及び評価することなどが可能である。
【0040】
本発明の上述した実施形態、実装、及び／又は、任意選択肢の態様のうちの２つ以上を、有用であると思われる任意の手法により組み合わせてもよいことは、当業者によって理解されるであろう。
【0041】
対応するコンピュータ実施方法の説明された修正形態及び変形形態に対応する、任意のシステム及び／又は任意のコンピュータ可読媒体の修正形態及び変形形態を、当業者によって本明細書に基づいて実施することができる。
【0042】
本発明のこれらの態様及びその他の態様は、以下の説明において例として説明される実施形態と、添付の図面とから明らかになるであろうし、また、これらを参照しながら解明されるであろう。
【図面の簡単な説明】
【0043】
【図1】計算を実施するためのシステムを示す図である。
【図2】ハードウェアアクセラレートされた命令を使用して計算を実施するためのシステムを示す図である。
【図3】計算をどのように実施すべきかについての詳細な例を示す図である。
【図4a】データフローグラフの詳細な例を示す図である。
【図4b】データフローグラフを定義する多面体表現の詳細な例を示す図である。
【図5a】超直方体制約を適用する詳細な例を示す図である。
【図5b】超直方体制約を適用する詳細な例を示す図である。
【図5c】超直方体制約を適用する詳細な例を示す図である。
【図5d】超直方体制約を適用する詳細な例を示す図である。
【図6】計算を実施するコンピュータ実施方法を示す図である。
【図7】データを含むコンピュータ可読媒体を示す図である。
【0044】
各図面は、純粋に概略的なものであり、縮尺通りに図示されているわけではないことに留意すべきである。図面において既に説明済みの要素に対応する要素は、同一の参照符号を有する場合がある。
【発明を実施するための形態】
【0045】
実施形態の詳細な説明
図１は、プロセッサシステムのハードウェアアクセラレートされた命令を使用して計算を実施するためのシステム１００を示す。例えば、計算は、図２のシステム２００のプロセッサシステム２４０を使用して実施可能であり、例えば、システム１００は、プロセッサシステム２４０によって実行可能な命令を生成することができ、又は、少なくとも、プロセッサシステム２４０上において計算を実施するために使用可能な、プロセッサシステム２４０によって支援されるハードウェアアクセラレートされた命令の呼出しを決定することができる。システム１００とシステム２００とを組み合わせることができ、例えば、システム１００のプロセッサシステム１４０（後述する）は、ハードウェアアクセラレートされた命令を支援することができる。
図１は、プロセッサシステムのハードウェアアクセラレートされた命令を使用して計算を実施するためのシステム１００を示す。例えば、計算は、図２のシステム２００のプロセッサシステム２４０を使用して実施可能であり、例えば、システム１００は、プロセッサシステム２４０によって実行可能な命令を生成することができ、又は、少なくとも、プロセッサシステム２４０上において計算を実施するために使用可能な、プロセッサシステム２４０によって支援されるハードウェアアクセラレートされた命令の呼出しを決定することができる。システム１００とシステム２００とを組み合わせることができ、例えば、システム１００のプロセッサシステム１４０（後述する）は、ハードウェアアクセラレートされた命令を支援することができる。
【0046】
システム１００は、計算データ０３０及び命令データ０４０にアクセスするためのデータインタフェースを含み得る。計算データ０３０は、計算を表す計算データフローグラフを定義することができる。計算データフローグラフのノードは、計算の入力又は演算を表すことができる。命令データ０４０は、ハードウェアアクセラレートされた命令を表す命令データフローグラフを定義することができる。命令データフローグラフのノードは、ハードウェアアクセラレートされた命令の入力又は演算を表すことができる。
【0047】
命令データフローグラフは、少なくとも１６個、少なくとも３２個又は少なくとも１２８個のノードを有することができる。ノードの数は、最大で２０４８個又は最大で４０９６個であるものとしてよい。計算データフローグラフは、典型的には命令データフローグラフよりも、例えば、２６＝６４倍、２１０＝１０２４倍、又は、２１２＝４０９６倍、より多数のノードを有する。命令データフローグラフのノードの数は、例えば、少なくとも２１６＝６５５３６個、２３２＝４２９４９６７２９６個、又は、２４８個であるものとしてよい。
【0048】
例えば、図１にも図示されているように、データインタフェースは、データストレージ０２１からのデータ０３０，０４０にアクセスすることができるデータストレージインタフェース１２０によって構成可能である。例えば、データストレージインタフェース１２０は、メモリインタフェース、又は、永続的なストレージインタフェース、例えばハードディスク又はＳＳＤインタフェースであるものとしてよいが、Ｂｌｕｅｔｏｏｔｈ、Ｚｉｇｂｅｅ若しくはＷｉ－Ｆｉインタフェースのようなパーソナルの、ローカルの若しくはワイドエリアのネットワークインタフェース、又は、イーサネット、又は、光ファイバインタフェースであるものとしてもよい。データストレージ０２１は、ハードドライブ又はＳＳＤのようなシステム１００の内部データストレージであるものとしてよいが、外部データストレージ、例えばネットワークアクセス可能なデータストレージであるものとしてもよい。いくつかの実施形態においては、データ０３０，０４０には、種々のデータストレージから、例えばデータストレージインタフェース１２０の種々のサブシステムを介してそれぞれアクセスすることができる。それぞれのサブシステムは、データストレージインタフェース１２０に関して上述したような種類のものであってよい。
【0049】
データインタフェース、例えばデータストレージインタフェース１２０は、ハードウェアアクセラレートされた命令の決定された可能な呼出しにアクセスするためのものであってもよいし、又は、図面に示されているように、機械実行可能命令０５０にアクセスするためのものであってもよく、機械実行可能命令０５０は、決定された可能な呼出しに従ってハードウェアアクセラレートされた命令を呼び出すことにより、計算を実施する。これらの命令０５０は、計算を実施するプロセッサシステム、例えば図２のプロセッサシステム２４０によって使用するためのものであってよい。
【0050】
システム１００は、プロセッササブシステム１４０をさらに含み得るものであり、プロセッササブシステム１４０は、システム１００の動作中に、計算データ０３０及び命令データ０４０を取得するように構成可能である。
【0051】
プロセッササブシステム１４０は、計算データ及び命令データに基づいて制約充足問題を定義するようにさらに構成可能である。制約充足問題は、変数の集合と、ドメインの集合と、制約の集合とによって定義可能である。制約充足問題を「定義する」とは、制約充足問題に関する情報を、この制約充足問題が制約ソルバによって解かれることを可能にする形態で提供することを意味する。例えば、変数の集合、ドメインの集合、及び／又は、制約の集合を明示的かつ個別に格納する必要はなく、例えば、これらの集合を暗示的に定義することができ、及び／又は、公知のように遅延評価する（evaluated lazily）ことができる。さらに、制約充足問題の一部又は全部を、計算データ０３０及び／又は命令データ０４０の形態で提供することができ、例えば、命令データ０４０は、命令データフローグラフのノードの集合と、それによって制約充足問題の変数の集合とを含み得るものであり、又は、そうでなければ定義し得るものである。
【0052】
制約充足問題に対する解は、計算におけるハードウェアアクセラレートされた命令の可能な呼出しを表すことができる。制約充足問題は、計算データフローグラフのノードを命令データフローグラフのノードに割り当てることができる。制約充足問題は、計算データフローグラフの割り当てられたノードが、命令データフローグラフと同等のデータフローを有することを強制する１つ又は複数のデータフロー制約を含み得る。制約充足問題は、計算データフローグラフのどのノードを、ハードウェアアクセラレートされた命令の入力に割り当てることができるかを制限する１つ又は複数の入力制約をさらに含み得る。後者の制限は、ハードウェアアクセラレートされた命令及び／又はそのプログラミングインタフェースによって課されることができる。制約の定義は、例えば、計算データ０３０及び／又は命令データ０４０に基づいて自動的に制約を定義することによって行われるものとしてもよいし、手動における制約の定義を受信することによって行われるものとしてもよいし、又は、上記の２つの組合せによって行われるものとしてもよい。
【0053】
プロセッササブシステム１４０は、計算におけるハードウェアアクセラレートされた命令の可能な呼出しを決定するために制約充足問題を解くようにさらに構成可能である。プロセッササブシステムは、可能な呼出しを定義するデータを出力するようにさらに構成可能である。
【0054】
システム１００は、可能な呼出しを定義するデータ、例えば、制約充足問題に対する解、又は、解から導出される機械実行可能命令０５０を定義するデータを出力するための出力インタフェースをさらに含み得るものである。例えば、図１にも図示されているように、出力インタフェースは、データインタフェース１２０によって構成可能であり、前述のインタフェースは、これらの実施形態においては入力／出力（「ＩＯ」）インタフェースであり、この入力／出力（「ＩＯ」）インタフェースを介してデータストレージ０２１にデータを格納することができる。いくつかの実施形態によれば、出力インタフェースは、データストレージインタフェース１２０とは別個のものであってよいが、一般的に、データストレージインタフェース１２０に関して上述したような種類のものであってもよい。出力インタフェースは、任意の他の種類の出力インタフェースであるものとしてもよく、例えばネットワークインタフェースであるものとしてもよい。
【0055】
図２は、ハードウェアアクセラレートされた命令を使用して計算を実施するためのシステム２００を示す。
【0056】
システム２００は、計算を実施するための命令０５０にアクセスするためのデータインタフェース２２０を含み得る。例えば、命令０５０は、図１のシステム１００によって生成可能であり、又は、システム１００によって決定された可能な呼出しに基づいて生成可能である。例えば、図２にも図示されているように、データインタフェースは、データストレージ０２２からの命令０５０にアクセスすることができるデータストレージインタフェース２２０によって構成可能である。一般的に、データインタフェース２２０及びデータストレージ０２２は、データインタフェース１２０及びデータストレージ２０１に関して図１を参照しながら説明したものと同様の種類のものであってよい。
【0057】
システム２００は、プロセッササブシステム２４０をさらに含み得る。プロセッササブシステム２４０は、ハードウェアアクセラレートされた命令を支援することができる。一般的に、ハードウェアアクセラレートされた命令とは、専用タスクを実施するプロセッササブシステム２４０によって支援される命令のことである。専用タスクは、スカラ加算、スカラ乗算、ビット演算等のような基本ＣＰＵ命令ではない。その代わりに、ハードウェアアクセラレートされた命令の単一の呼出しは、これらの基本命令のいくつかを実行することに対応することができるが、ハードウェアアクセラレートされた命令の実行は、典型的にはより高速である。ハードウェアアクセラレートされた命令を実行することにより、計算の性能を改善することができ、例えば、その結果、レイテンシの低減及び／又はスループットの増加をもたらすことができる。
【0058】
ハードウェアアクセラレートされた命令は、典型的には複数の、例えば、少なくとも４個、少なくとも１６個又は少なくとも６４個のスカラ入力（例えば、整数又は浮動小数点のような数値）を有する。ハードウェアアクセラレートされた命令は、単一の出力（例えば、整数又は浮動小数点のような数値）を有することができるが、複数の、例えば、少なくとも４個、少なくとも１６個又は少なくとも６４個のこのような出力を有することもできる。ハードウェアアクセラレートされた命令は、所定数Ｎの基本ＣＰＵ命令に対応することができる。例えば、基本ＣＰＵ命令は、命令データフローグラフのノードに対応することができる。従って、Ｎを、命令データフローグラフのノードの数と等しくすることができ、又は、命令データフローグラフが命令の一部だけをモデル化している場合には、Ｎをより大きくすることができる。例えば、Ｎは、少なくとも２１２＝４０９６、少なくとも２１６＝６５５３６、又は、少なくとも２２４＝１６７７７２１６であるものとしてよい。
【0059】
一般的に、プロセッササブシステム２４０は、単一の中央処理ユニット（ＣＰＵ）によって具現化可能であるが、このようなＣＰＵ及び／又は他の種類の処理ユニットの組合せ又はシステムによっても具現化可能である。ハードウェアアクセラレートされた命令を、プロセッサシステム２４０によって種々の手法により支援することができる。いくつかの実施形態においては、ハードウェアアクセラレートされた命令は、プロセッササブシステム２４０のＣＰＵの命令であり、例えば、ハードウェアアクセラレートされた命令は、オンチップで実装可能である。いくつかの実施形態においては、図面に示されているように、ハードウェアアクセラレートされた命令を、ＣＰＵとは別個のハードウェアアクセラレータ２４１、例えば専用化された処理ユニットによって実行することができる。ハードウェアアクセラレータ２４１は、例えば、コプロセッサ、特定用途向け命令セットプロセッサ（ＡＳＩＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、複合プログラマブルロジック装置（ＣＰＬＤ）、又は、任意の他の種類のプログラマブルロジックであるものとしてよい。例えば、ハードウェアアクセラレータ２４１は、T. Moreauら著の“A Hardware-Software Blueprint for Flexible Deep Learning Specialization”（https://arxiv.org/abs/1807.04188において入手可能であり、参照により本明細書に援用される）において論じられるようなＶＴＡアクセラレータであるものとしてよい。
【0060】
命令０５０は、ハードウェアアクセラレートされた命令を呼び出すことができる。プロセッササブシステム２４０は、例えばハードウェアアクセラレータ２４１を呼び出すことにより、命令０５０に従ってハードウェアアクセラレートされた命令を呼び出すことを含む計算を実施するように構成可能である。決定された可能な呼出しが使用されるので、計算の効率を改善することができる。
【0061】
任意選択的に、計算は、訓練された機械学習モデル、例えば深層ニューラルネットワークの適用の一部であるものとしてよい。プロセッササブシステム２４０は、例えば、画像センサ、ライダセンサ、レーダセンサ、圧力センサ及び封じ込め温度センサ等のようなセンサからセンサインタフェースを介して機械学習モデルへの入力を取得するように構成可能である。プロセッササブシステム２４０は、機械学習モデルを入力に適用して出力を取得するように構成可能である。出力に基づいて制御データを導出し、アクチュエータインタフェースを介して、例えば、電気的、液圧的、空圧的、熱的、磁気的、及び／又は、機械的なアクチュエータのようなアクチュエータに供給することができる。例えば、システム２００は、ロボット、自動運転車等を制御するために使用可能である。
【0062】
一般的に、限定するものではないが図１のシステム１００及び図２のシステム２００を含む、本明細書に記載されているそれぞれのシステムは、ワークステーション又はサーバのような単一の装置若しくは機器として、又は、単一の装置若しくは機器の形態において具現化可能である。装置は、組込装置であるものとしてよい。装置又は機器は、適当なソフトウェアを実行する１つ又は複数のマイクロプロセッサを含み得る。図２のプロセッサシステム２４０に関して挙げられた例は、図１のプロセッサシステム１４０にも適用される。プロセッサシステムによって実行されるソフトウェアは、対応するメモリに、例えば、ＲＡＭのような揮発性メモリに、又は、フラッシュのような不揮発性メモリに、ダウンロード及び／又は格納しておくことができる。一般的に、それぞれのシステム１００，２００のそれぞれの機能ユニットは、回路の形態で実装可能である。別段の記載がない限り、一般的に、図１のシステム１００に関するものと同様の考察及び実装の任意選択肢をシステム２００に適用するものとしてよいことが理解されるであろう。
【0063】
図４ａは、データフローグラフの詳細であるが非限定的な例を示す。データフローは、計算を細分して得られる演算と、これらの演算の間のデータフロー関係とに鑑みて計算を表現したものである。特に、グラフは、ノード及びエッジを含み得る。ノードは、計算の入力及び演算を表すことができる。エッジは、ノード間のデータフロー関係を表すことができる。このエッジは、（本明細書においてはシーケンシャル型のエッジと称される）入力／出力の関係を含むが、任意選択的に、他の種類の関係を含むものとしてもよい。グラフには、これらのノード及びエッジとは別に、他のノード及びエッジを設けるものとしてもよい。データフローグラフは、典型的には有向であり、例えば少なくとも１つの有向エッジを含む。データフローグラフは、接続されたグラフであるものとしてよいが、このことは、厳密には必要ではない。
【0064】
例示する目的で、図面は、以下の計算
のデータフローグラフを示す。例えば、この計算は、４×４行列乗算の１つの出力要素の計算として実施される。この例は、例えば、計算データフローグラフ若しくは命令データフローグラフとして又はそれらの一部として使用可能である。円は、グラフのノードを表す。矢印は、グラフのエッジを表す。
【数1】
【0065】
データフローグラフの１つ又は複数のノードは、計算の入力を表すことができる。これらのノードは、本明細書においてはデータノードとも称される。典型的には、データノードは、シーケンシャル型の発信エッジ（outgoing edge）のみを有し、例えば、如何なる種類の着信エッジ（incoming edge）も、他の種類の発信エッジも有さない。図面は、グラフによって表される計算のそれぞれの入力ｘ１，ｘ２，ｘ３，及びｘ４に対応するデータノード４１１，４１２，４１３，及び４１４と、それぞれの入力ｙ１，ｙ２，ｙ３，ｙ４に対応するデータノード４２１，４２２，４２３，及び４２４とを示す。図面は、定数値０に対応するさらなる入力ノード４６１を示す。
【0066】
データフローグラフの１つ又は複数のノードは、計算の演算を表すことができる。これらのノードは、本明細書においては演算ノードとも称される。演算ノードは、この演算ノードがどの演算を実施するかに従ってラベル付け可能である。データフローグラフは、任意の種類の演算を表すために使用可能ではあるが、本明細書における演算は、典型的にはスカラ演算であり、例えば、固定数の数値（例えば、スカラ加算、スカラ乗算、スカラ除算、否定）、又は、固定数の非数値（例えば、ビット単位のＡＮＤ、ビット単位のＸＯＲ、ビット単位のＮＯＴ等）に対して実施される演算である。例えばスカラ値は、例えば、最大２５６ビット、最大１２８ビット、最大６４ビット又は最大３２ビットの、メモリにおける固定されたサイズの表現を有する値であるものとしてよい。
【0067】
典型的には、演算ノードは、演算によって消費されるデータに対応する１つ又は複数のシーケンシャルな着信エッジを有する。例えば、図面は、入力ｘ１，４１１と入力ｙ１，４２１とのスカラ乗算を表す演算ノード４３１、入力ｘ２，４１２と入力ｙ２，４２２とのスカラ乗算を表す演算ノード４３２、入力ｘ３，４１３と入力ｙ３，４２３とのスカラ乗算を表す演算ノード４３３、及び、入力ｘ４，４１４と入力ｙ４，４２４とのスカラ乗算を表す演算ノード４３４を示す。この例のように、演算は、可換演算であるものとしてよく、この場合には、演算の入力の順序は、典型的には明示的に表されない。ただし、例えば、非可換演算の場合には、シーケンシャルな着信エッジをラベル付けすることによって入力の順序を表すことも可能である。
【0068】
興味深いことに、加算又は乗算のような可換縮約演算を表すために演算ノードを使用することができる。例えば、ノード４４１は、ノード４４１の着信ノードと、演算ノード４３１～４３４と、演算の初期化値を表すノード４６１との加算を表す。初期化値のためのノードの追加は、任意選択肢であり、例えば、演算の中立元、例えばゼロ又は１に等しいことが明示的に指定されていない限り、初期化値を仮定することができる。演算の初期化値を、等しい計算の初期化値にマッピングすることができる。この演算を表すために単一のノード４４１を使用することは、いくつかの利点を有する。例えば、値４３１，４３２を加算する、この結果に値４３３を加算する、及び、この結果に値４３４を加算するといった演算を別個にペアごとに適用するために別個のノードを含む必要性が、これによって軽減される。これによって効率が向上し、また、例えば、最初に値４３３及び４３４を加算し、次いで値４３２を加算し、次いで値４３１を加算することによって合計を決定することを禁じることにより、特定の順序で加算を実施することをデータフローグラフが強制することも阻止される。可換縮約演算を表すノードは、命令データフローグラフ、計算データフローグラフ、又は、その両方において使用可能である。
【0069】
この例において示されているように、グラフにおいて、可換縮約演算を表すものとしてノードを明示的にマーキングすることができる。この例においては、このマーキングは、ノード４４１に自己エッジ４５１を追加することによって実施される。例えば、可換縮約演算を表すものとしてノードをラベル付けすることによる、他のマーキング手法も可能である。このようなマーキングは、例えば、どのノードに可換縮約演算をマッピングすべきかを選択する際に、制約ソルバが可換縮約演算のためのマッピングを決定することをより効率的にし、制約ソルバが、例えば演算の入力のマッピングを試みる場合よりも簡単に、自己エッジを有していないノードを放棄することが可能となり得るという利点を有する。
【0070】
可換縮約ノードが、命令データフローグラフでは使用されるが、計算データフローグラフでは使用されない場合には、可換縮約演算をマーキングするために自己エッジを使用することが特に便利である。例えば、命令データフローグラフの可換縮約ノードＡを、計算データフローグラフの対応するノードＢにマッピングする場合には、縮約演算の後続する適用の間にある計算データフローグラフの対応するエッジに、自己エッジをマッピングすることができる。このような対応するエッジの存在を強制することにより、２つのグラフ間のマッピングを検出することがより簡単になる。
【0071】
演算ノードは、演算の結果を使用する他の演算への１つ又は複数のシーケンシャルな発信エッジを生成することができる。他の演算へのシーケンシャルな発信エッジを有していないノード（ただし、自身へと発信する自己エッジは可能である）は、グラフによって表される計算の出力を表すことができる。例えば、ノード４４１は、出力を表すことができる。このようにして、データフローグラフにおいて出力を、結果的に生じる演算と等しくすることができる。例えばラベル付けによって、出力を明示的にマーキングすることも可能である。出力ノードに、例えば、出力の形状及び／又はデータ型を表す追加的な情報をラベル付けすることができ、この追加的な情報を、計算と命令との間の整合のために使用することができる。
【0072】
任意選択的に、データフローグラフの演算のペアを、相互並列化可能であるとしてマーキングすることができる。このマーキングは、例えば、ノードのペア（この図面には図示せず）の間にエッジを追加することによって実施可能である。そのようなエッジは、本明細書においては空間エッジと称される。特に、計算のそれぞれ異なる部分において、例えば、それぞれ異なる出力要素のためにそれぞれ同様の演算を実行するノード間に、空間エッジを追加することができる。本明細書において説明されるように、制約ソルバが相互並列化可能な演算を相互並列化可能な演算にマッピングすることを支援するために、空間エッジを再度使用することができる。
【0073】
相互並列化可能な演算の集合に対して、エッジの集合のうちの部分集合のみを含むことによって空間エッジの数の低減、ひいては効率の改善を達成することができる。例えば、空間エッジによって完全に接続されたｋ個のノードの集合を有する代わりに、同様に接続されたコンポーネントを維持しながら接続をプルーニングすることによって、エッジの数を低減することができる。例えば、１つの内部ノードが空間エッジによってｋ－１枚の葉に接続されているようなスター型の構成を選択することができる。推移性によって、並列化可能性情報を維持することができる。
【0074】
数学的には、本明細書において使用されるようなデータフローグラフは、例えば、Ｇ＝（Ｎ，Ｅ，ｌ）として定義されるラベル付けされた有向グラフとして定式化可能であり、ここで、Ｎは、ノードの集合であり、有向エッジの集合は、Ｅ⊆Ｎ×Ｎであり、ｌ（）は、集合ＬＮ∪ＬＥからラベルを割り当てる関数である。ＬＮ＝｛｛Ｏｐｅｒａｔｉｏｎ｝，｛Ｄａｔａ｝｝は、例えば、テンソル形状、データ型及び／又は算術演算を保持する、ノードラベルクラスの集合である。ＬＥ＝｛Ｓｐａｔｉａｌ，Ｓｅｑｕｅｎｔｉａｌ｝は、エッジラベルの集合である。
【0075】
種々の態様において、計算を表すために、計算データフローグラフと称されるデータフローグラフを使用することができる。命令を表すために、命令データフローグラフと称されるデータフローグラフを使用することができる。これらのデータフローグラフは、例えば、計算又は命令の全ての入力及び出力と、どのようにして出力が入力に後続するかをモデル化するノードとを含む、計算又は命令の完全な入力挙動／出力挙動を表すことができる。場合によっては、計算及び／又は命令の部分集合のみをモデル化することも可能である。例えば、命令データフローグラフは、この命令データフローグラフの出力の部分集合の計算のために使用される演算及び／又は入力のみを表すことができ、残余の入力、演算及び／又は出力は、他の箇所においても説明されるように外挿によって決定される。
【0076】
グラフの演算を、計算又はハードウェアアクセラレートされた命令によって明示的に実施する必要もなく、例えば、加算及び乗算は、命令データフローグラフにおいて別個にモデル化可能であるが、その一方で、これらは、乗算及び加算の組合せによってハードウェアによって実施される。従って、命令又は計算の中間結果を表すノードは、必ずしも、命令中又は計算中におけるある時点において明示的に計算又は格納されている値に対応するとは限らない。しかしながら、入力及び出力は、典型的には実装において明示的に計算される。
【0077】
種々の態様において、データフローグラフ、例えば計算データフローグラフ又は命令データフローグラフを定義するデータが使用される。データフローグラフを「定義する」とは、ノード及びエッジの集合がデータから導出可能であることを意味し、又は、少なくとも、ノード又はエッジが与えられた場合にそのノード又はエッジがグラフに属するかどうかを特定することが可能であることを意味する。特に、データ自体が、個々のノード及びエッジに対応する明示的なデータ項目を含む必要はない。例えば、図４ｂに関しても論じられるように、ノード及びエッジの集合をシンボル的に定義することも可能であり、又は、エッジを暗示的に定義するものとしてもよく、例えば、ある特定の種類のエッジの存在を、そのエッジを有していないノードのペアを与えることにより、データによって定義することなどが可能である。種々の選択肢が可能である。
【0078】
図３は、ハードウェアアクセラレートされた命令を使用して計算をどのように実施すべきかについての詳細であるが非限定的な例を示す。
【0079】
図面には、ハードウェアアクセラレートされた命令、換言すればハードウェアアクセラレートされた命令が実行する機能又は計算を表す、命令データフローグラフ（ＤＦＧ）ＩＤＧ，３３０が示されている。例えば、命令ＤＦＧ ＩＤＧは、図４ａに関して説明したものであってよい。特に、グラフＩＤＧのノードは、ハードウェアアクセラレートされた命令の入力及び演算を表すことができる。
【0080】
図面には、例えば図４ａのようなハードウェアアクセラレートされた命令を使用して実施されるべき計算を表す、計算ＤＦＧ ＣＤＧ，３４０も示されている。グラフＣＤＧのノードは、計算の入力及び演算を表すことができる。命令データフローグラフＩＤＧと、計算データフローグラフＣＤＧとは、それぞれ異なっており、例えば共通のノード又はエッジを有していない。
【0081】
命令ＤＦＧ及び計算ＤＦＧは、それぞれ命令データ及び計算データ（図示せず）によって表すことができる２つの別個のグラフである。上述したように、このデータは、グラフのノード及びエッジを暗示的又は明示的に定義することができ、例えば、ノード及びエッジを列挙することを可能にし、又は、少なくとも、ノード及びエッジの集合の帰属関係をテストすることを可能にする。グラフＩＤＧ，ＣＤＧは、一般的に、演算の同様の集合にわたって定義されており、例えば、同等の粒度を有する。これにより、２つのグラフの演算同士を相互にマッピングすることがより簡単かつ効率的になる。
【0082】
定義演算Ｄｅｆ，３５５において、命令ＤＦＧ ＩＤＧと計算ＤＦＧ ＣＤＧとを使用して、制約充足問題ＣＳＰ，３６０を定義することができる。この問題ＣＳＰに対する解は、計算におけるハードウェアアクセラレートされた命令の可能な呼出しを表すことができる。
【0083】
公知のように、制約充足問題ＣＳＰは、典型的には、変数ＶＡＲＳの集合３６１と、それぞれの変数に対するそれぞれのドメインＤＯＭＳの集合３６２と、制約ＣＯＮＳの集合３６３とによって定義される。数学的には、制約満足問題ＣＳＰを、トリプル（Ｘ，Ｄ，Ｃ）によって表すことができ、ここで、
・Ｘ＝｛ｘｊ｜０≦ｊ≦ｎ｝は、変数の集合であり、この変数の集合に関して値を発見することが問題である。
・Ｄ＝｛ｄｊ｜０≦ｊ≦ｎ｝は、値ドメインの集合であり、この値ドメインからそれぞれの変数に値を割り当てることができる。割り当てＡｓｎ（ｄｊ，ｘｊ）：ｘｊ＝ｖは、ｘｊがとるべき値ｖ∈ｄｊを選択することができる。これにより、ドメインｄｊからのみ値を取得するように、変数ｘｊを制限することができる。
・Ｃ＝｛ｃｉ｜０≦ｉ≦ｍ｝は、制約の集合である。制約ｃｉは、変数の部分集合ｇｘ⊂Ｘにわたって形成可能であり、ｇｄ⊂Ｄを有する全ての割り当てＡｓｎ（ｇｄ，ｇｘ）が有効であるかどうかを評価する。制約充足問題ＣＳＰに対する解は、全ての変数に値を割り当てる割り当てであるものとしてよく、この場合、制約Ｃの連言に違反する割り当ては存在しない。
・Ｘ＝｛ｘｊ｜０≦ｊ≦ｎ｝は、変数の集合であり、この変数の集合に関して値を発見することが問題である。
・Ｄ＝｛ｄｊ｜０≦ｊ≦ｎ｝は、値ドメインの集合であり、この値ドメインからそれぞれの変数に値を割り当てることができる。割り当てＡｓｎ（ｄｊ，ｘｊ）：ｘｊ＝ｖは、ｘｊがとるべき値ｖ∈ｄｊを選択することができる。これにより、ドメインｄｊからのみ値を取得するように、変数ｘｊを制限することができる。
・Ｃ＝｛ｃｉ｜０≦ｉ≦ｍ｝は、制約の集合である。制約ｃｉは、変数の部分集合ｇｘ⊂Ｘにわたって形成可能であり、ｇｄ⊂Ｄを有する全ての割り当てＡｓｎ（ｇｄ，ｇｘ）が有効であるかどうかを評価する。制約充足問題ＣＳＰに対する解は、全ての変数に値を割り当てる割り当てであるものとしてよく、この場合、制約Ｃの連言に違反する割り当ては存在しない。
【0084】
制約充足問題ＣＳＰは、計算データフローグラフＣＤＧのノードを命令データフローグラフＩＤＧのノードにマッピングすることによって、計算におけるハードウェアアクセラレートされた命令の可能な呼出しを発見するという問題を表すことができる。変数ＶＡＲＳの集合は、命令データフローグラフのそれぞれのノードのための変数を含み得る。計算データフローグラフのそれぞれのノードは、変数のうちの少なくとも１つに関するドメインＤＯＭに含まれるものとしてよい。制約ＣＯＮＳの集合は、データフロー制約及び入力制約を含み得る。制約の数は、例えば、命令データフローグラフのノードの数の少なくとも１０倍、少なくとも１００倍、又は、少なくとも１倍、２倍若しくは５倍であるものとしてよい。
【0085】
このようにして、計算への命令の埋め込みを、スカラレベルで効果的に記述することができる。興味深いことに、命令におけるノードと計算におけるノードとの間の全ての潜在的な割り当てを、グラフのノード間のマッピングとして表すことができ、従って、この定式化を使用して、埋め込み問題に対する全ての可能な解を捕捉することができる。整合問題自体は、テンソルのループ順序付け若しくはメモリレイアウト、又は、アクセス関数のような暗示的な実装の決定には拘束されない。これにより、こうした決定を説明するために検索において変換を行う必要性が排除される。その代わりに、そのような変換は、埋め込みの結果から導出可能である。
【0086】
特に、命令ＤＦＧ ＩＤＧのそれぞれのノードに関する変数ＶＡＲＳの集合に、変数を含めることができ、例えば、Ｘ＝｛ｘ｜∀ｘ∈Ｎｉ｝である。従って、ハードウェアアクセラレートされた命令における全てのスカラ演算及びデータ要素を、変数によって表すことができる。ドメインＤＯＭＳの集合は、Ｄ＝｛ｄ｜ｄ⊆Ｓｄ｝として定義可能である。ここで、Ｓｄは、計算ＤＦＧ ＣＤＧの全てのノードを含み得るものであり、又は、全てのノードの集合のうちの部分集合を含み得るものであり、例えば、ノードｄと同様の演算を有する全てのノードの部分集合等を含み得るものである。しかしながら、この後者の制限を、制約によって課すことも可能である。ドメインは、例えば、ダミー演算又はダミー入力に対応する追加的な値を含み得るものである。
【0087】
変数ＶＡＲＳ及びドメインＤＯＭＳが与えられると、制約ＣＯＮＳの集合を使用して、ハードウェアアクセラレートされた命令の可能な呼出しを表すために割り当てが充足することのできる条件を表すことができる。
【0088】
制約ＣＯＮＳによって強制することができる重要な態様は、命令データフローグラフＩＤＧのノードのデータフローが、これらに割り当てられた計算データフローグラフＣＤＧのノードのデータフローと同等であるということである。例えば、計算データフローグラフのうちの、割り当てられたノードによって与えられた部分を取得して、この部分を命令データフローグラフのノードによって置き換えることにより、結果的に、同等の出力を有する計算のデータフローグラフをもたらすことができる。この同等性を強制する制約を、データフロー制約と称することができる。
【0089】
特に、データフロー制約は、命令データフローグラフＩＤＧが、制約充足問題ＣＳＰに対する解によって誘導される計算データフローグラフＣＤＧのサブグラフと同型であることを強制することができる。この場合には、計算データフローグラフのうちのマッピングされたサブグラフを命令データフローグラフによって置き換えることにより、結果的に、ノード間の接続と、ノードのラベル付けとに関して同一となっているグラフをもたらすことができる。しかしながら、厳密な同型性は、本明細書に記載されるいくつかの手法によって緩和可能である。
【0090】
同等性を強制するために、命令データフローグラフのエッジに関して、そのデータフローを表す１つ又は複数の制約をデータフロー制約に含めることができる。数学的な表記では、命令ＤＦＧ Ｇｉ＝（Ｎｉ，Ｅｉ，ｌｉ）と、計算ＤＦＧ Ｇｏ＝（Ｎｏ，Ｅｏ，ｌｏ）とが与えられると、制約充足問題ＣＳＰに対する解が、例えば、∀（ｓ，ｔ）∈Ｅｉ⇒（ｆ（ｓ），ｆ（ｔ））∈ＥｏのようにＧｉに整合していて、かつ、例えば、∀ｓ∈Ｎｉ：ｌｉ（ｓ）≡ｌｏ（ｆ（ｓ））のようにラベル付けを維持するような、Ｇｏにおけるノード及びエッジの別個の部分集合を記述する単射関数ｆ：Ｇｉ→Ｇｏを表すことを、データフロー制約によって要求することができる。計算データフローグラフのそれぞれのノードが解の中に１回しか存在しないことを要求することによって、単射性を強制することができる。このことを強制する大域的な“ＡｌｌＤｉｆｆ”制約を、データフロー制約に含めることができる。
【0091】
例えば、データフローをモデル化するために、以下の擬似コードを使用することができる：
【表1】
【0092】
データフロー制約は、ハードウェアアクセラレートされた命令の相互並列化可能な演算のペアが、計算の相互並列化可能な演算のペアにマッピングされることを強制することができる。この例においては、このことは、それぞれのデータフローグラフＩＤＧ，ＣＤＧに空間型のエッジを含めることと、命令データフローの空間エッジが計算データフローグラフの空間エッジにマッピングされることを強制することとによって行われる。上述したように、それぞれのペアに対する制約を相互並列化可能な演算の集合に含めることにより、結果的に、多数の制約がもたらされる可能性がある。これを回避するために、ペアワイズ制約の推移性の特性を活用することができる。相互並列化性を、集合内のそれぞれのペアに対して強制する代わりに、ペアの部分集合に対してのみ強制することができる。特に、部分集合が依然として推移閉包として全体集合を有する場合には、その全体集合に関して並列化可能性を暗示することができる。例えば、命令ＤＦＧにおける任意の第１のノードを選択することができ、この第１のノードが有する全ての並列ノードに制約を追加することができる。第１のノードに対して並列な全てのノードに値が割り当てられると、割り当てられたものに対して並列なノードのみを含むように、第１のノードのドメインをプルーニングすることができる。このことは、第１のノードに対して並列な全ての他のノードに伝播することができる。従って、同数の値を効率的にプルーニングすることができる。
【0093】
制約充足問題ＣＳＰを解く際には、変数ＶＡＲＳに、各自のそれぞれのドメインＤＯＭＳからの値を割り当てることができる。解く間に、計算データフローグラフＣＤＧのノードを、命令データフローグラフＩＤＧのノードのための可能な値として選択することができる。制約ソルバは、いわゆる伝播アルゴリズムを適用することができ、この伝播アルゴリズムは、変数に値を割り当てることを試み、この割り当てが制約ＣＯＮＳによって許可されるかどうか、及び／又は、この割り当てが制約に従って他の変数ＶＡＲＳへの割り当てを強制するかどうかをチェックする。以下に、データフロー制約を強制するための伝播アルゴリズムの例を示す。値が割り当てられていて、かつ、他のノードｔへのエッジを有するノードｓが与えられると、この例のアルゴリズムは、ｓへの割り当てが正しいかどうか、及び、他方のノードｔにどのような正しい値を割り当てることができるかをチェックする：
【表2】
【0094】
この例においては、伝播関数は、Ｔにおけるノード間の関係に基づいて値を直接的にフィルタリングする。伝播関数は、関係を評価し（“evaluate_relation”）、接続が存在しない相手側ノードのドメインから値を削除する（“t.intersect”）。ペア間の関係が機能的である場合、伝播関数は、解を直接的に割り当てることができる（“if t.size==1”）。これが当てはまらない場合においても、提示された伝播は、ドメインを包含するために十分に強力であり、このことは、即ち、この制約に対する有効な解のみがドメインに残存し、さらなる伝播は不要であることを意味する。残余のドメイン値は、各自の変数にわたる他の制約に関して評価される。伝播によって空のドメインがもたらされた場合には、割り当てが失敗する。
【0095】
命令データフローグラフＩＤＧのノードｓ及びｔの両方に値が割り当てられると、制約は、計算データフローグラフＣＤＧにおいてペアを接続しているエッジが存在することを検証することによって正しさをチェックすることができ、例えば、Ａｓｎ（（ｓ，ｔ），（ｄ＿ｓ，ｄ＿ｔ））∈Ｅｏである。特に、このことは、可換縮約演算を表す命令データフローグラフＩＤＧの自己エッジが、計算データフローグラフＣＤＧの自己エッジにマッピングされることを強制することを含み得る。
【0096】
データフロー制約が厳密な同型性を強制する必要はない。種々の緩和を採用することができる。例えば、命令データフローグラフＩＤＧのソース演算を、計算データフローグラフＣＤＧの同一のターゲット演算にマッピングすることを要求する代わりに、ソース演算が、ターゲット演算の一般化であること、例えば、少なくともターゲット演算によって要求される精度を有する演算、又は、ソース演算によってインスタンス化することができる演算の一般化であることを要求するだけで十分であり得る。他の箇所においても説明されるように、命令データフローグラフの可換縮約演算を、この可換縮約演算の単一の縮約を表す計算データフローグラフのノードにマッピングすることを可能にするために、緩和を採用することができる。厳密な同型性を強制しない他の例は、他の箇所においても説明されるように、ダミー演算を使用することである。
【0097】
本発明者らが認識したように、計算におけるハードウェアアクセラレートされた命令の可能な呼出しを構成するものは何であるかを定義するために、多くの場合、データフロー制約によってデータフローの同等性を定義するだけでは不十分である。即ち、図面に示されているように、ハードウェアアクセラレートされた命令及び／又はそのプログラミングインタフェースは、可能な呼出しに対してハードウェア制限ＨＷＲの集合３２０を課すことができる。制約充足問題ＣＳＰを定義することＤｅｆは、これらのハードウェア制限を表す１つ又は複数の制約ＣＯＮＳを定義することを含み得る。ハードウェア制限ＨＷＲを、種々の手法により表すことができ、例えば、制約として表すこと、制約充足問題を定義する際における制約がインスタンス化される元となるテンプレートとして表すこと、命令データフローグラフ及び／又は計算データフローグラフに基づいて制約を暗示的に定義するコードとして表すことなどが可能である。
【0098】
特に、ハードウェア制限は、計算データフローグラフＣＤＧのどのノードをハードウェアアクセラレートされた命令の入力に、例えば、命令データフローグラフＩＤＧの入力ノードに割り当てることができるかを制限する１つ又は複数の入力制約を課すことができる。そのような制約は、例えば、入力が、許可されたメモリレイアウト及び／又は許可されたアクセスパターンを有することを強制することができる。例えば、出力が、他の計算において使用されるべき場合、又は、現在の計算のうちの、特定のメモリレイアウトを要求する他の部分において使用されるべき場合には、ハードウェアアクセラレートされた命令の出力に対しても、同様の制約を加えることができる。命令によって課される制限とは別に、他の所望の特徴を有する呼出し、例えば、入力配列の第１の要素を使用する呼出しなどを取得するための制限を含むことも可能である。これにより、完全な計算のためのコードを生成するために、発見された呼出しを一般化することがより簡単になり得る。一般的に、制約ＣＯＮＳの適当な集合は、少なくともハードウェアターゲットと、利用可能なコード生成方法とに依存することができる。
【0099】
例えば、制約ＣＯＮＳは、以下のうちの１つ又は複数を含み得る：
・許可されたメモリアクセスパターンへの入力を制限すること。例えば、入力アクセスパターンを、ステンシル計算に制限することができ、又は、規則的なストライド及び／又はオフセットを有するアクセスパターンに制限することができる。伝播は、このような次元における値をゼロに拘束することができ、これにより、これらのアクセスパターンが存在する計算において検索空間の大部分を除去することができる。
・マッピング命令入力を、計算における特定の軸に制限すること。
・適用されるべき命令を、計算における特定の値に制限すること。例えば、命令における第１の出力を、計算における第１の出力要素に制限することにより、それらの点の周囲の値に検索を固定することができる。
・許可されたメモリアクセスパターンへの入力を制限すること。例えば、入力アクセスパターンを、ステンシル計算に制限することができ、又は、規則的なストライド及び／又はオフセットを有するアクセスパターンに制限することができる。伝播は、このような次元における値をゼロに拘束することができ、これにより、これらのアクセスパターンが存在する計算において検索空間の大部分を除去することができる。
・マッピング命令入力を、計算における特定の軸に制限すること。
・適用されるべき命令を、計算における特定の値に制限すること。例えば、命令における第１の出力を、計算における第１の出力要素に制限することにより、それらの点の周囲の値に検索を固定することができる。
【0100】
興味深いことに、追加的な制約を含めることにより、解空間をさらに特定的にすることができ、その一方で、制約を緩和することは、実装戦略を探索するためのツールとして機能することができる。制約解決は、プログラムの定式化における表現力を提供し、カスタマイズ可能な伝播及び検索アルゴリズムを有するので有益である。
【0101】
ハードウェアアクセラレートされた命令の演算を、計算に影響を与えないダミー演算にマッピングすることが可能となるように、制約充足問題ＣＳＰを定義することができる。効果的には、計算への命令の「不完全な」（例えば、非同型の）埋め込みを取得することができる。これにより、そうでなければ不可能であった呼出しを発見することが可能となる。例えば、命令によって計算される計算を、より小さいサブ問題に均等に分割することができない場合がある。ダミー演算を許可することによって、そのような状況においても、ハードウェアアクセラレートされた命令を使用することが可能となる。例えば、１６×１６行列乗算のためにハードウェアアクセラレートされた命令を用いて８×８行列乗算を実行することができる。この命令は、入力テンソル及び出力テンソルをパディングすることによって使用可能である。即ち、その場合、形状を命令に整合させることができ、命令を使用することができる。制約充足問題において、重複する／複製された計算を許可又は制約すること、重複する／複製されたメモリアクセスを許可又は制約すること、及び、計算へのダミー値の挿入を許可又は制約すること、の任意の組合せによってダミー演算を許可することができる。典型的には、ダミーの値として、計算の結果に影響が与えられないように、演算の中立元、例えば０（例えば、加算の場合）又は１（例えば、乗算の場合）が含まれている。これらの値を、それぞれの変数のドメインＤＯＭに加えることができる。
【0102】
制約充足問題ＣＳＰをより容易にし、それによって、より効率的に解けるようにするために、制約条件ＣＯＮＳの集合に制約条件を含めることも可能である。例えば、命令データフローグラフＩＤＧのうちの同一のドメインを有する変数のグループ、例えば命令の出力演算を記述する全ての変数のグループにプルーニング制約を適用することによって、変数のグループのドメインサイズを低減することができる。例えば、ドメインｄｍの範囲は、ベクトル（ｅ０，・・・，ｅｍ）によって記述可能であり、例えば、ｄｍ＝（４，４，４）は、辺長４の立方体を表すことができる。従って、立方体における座標を、０≦ｉ＜４、０≦ｊ＜４、０≦ｋ＜４を有する（ｉ，ｊ，ｋ）として記述することができる。従って、上限ｅ＊を設定することによって、例えばｅｉ＝２を設定することによって、ドメインの範囲を制御することができる。例えば、以下の単項プルーニング制約を使用して、ｇにおける全ての変数に対して、ｍ次元のドメインｄｍ＝（ｅ０，・・・，ｅｍ）⊂Ｓ内の全ての次元のサイズを、
によって閾値設定することができ、ここで、＃ｇは、このグループに割り当てられた変数の数であり、ｅｉは、１つの次元のサイズである。変数のグループに対するドメインの座標を、任意の他の閾値に、例えば命令の次元の長さに制限することも可能である。プルーニング制約は、検索空間を低減させる低オーバヘッド制約である。
【数2】
【0103】
従って、制約充足問題ＣＳＰは、計算データフローグラフのノードを命令データフローグラフのノードに割り当てることができる。いくつかの実施形態においては、計算ＤＦＧのノードが、命令ＤＦＧのそれぞれのノードに割り当てられる。いくつかの実施形態においては、命令データフローグラフのそれぞれのノードに、計算データフローグラフのノード、又は、ダミー入力若しくはダミー演算を表すノードのいずれかが割り当てられる。いくつかの実施形態においては、命令ＤＦＧのそれぞれのノードに、それぞれ異なる値が割り当てられ、例えば、計算ＤＦＧのそれぞれのノードを、最大１回だけ割り当てることができる。
【0104】
図面には、演算Ｓｏｌｖｅ，３６５も示されており、この演算Ｓｏｌｖｅ，３６５は、制約充足問題ＣＳＰを取得し、この制約充足問題ＣＳＰを解いて、存在する場合には、計算におけるハードウェアアクセラレートされた命令の可能な呼出しＩＮＶ，３７０を決定する。呼出しＩＮＶは、計算データフローグラフＣＤＧのノードを、計算データフローグラフＣＤＧのノードにマッピングすることができ、このことは、命令データフローグラフＩＤＧのノードｂ，ｃ，ｄから計算データフローグラフＣＤＧのノードＢ，Ｃ，Ｄに向かう破線の矢印によって図面に示されている。呼出しＩＮＶのいくつかの望ましい特性が、この例によって示されている。図示のように、命令データフローグラフＩＤＧのそれぞれのノードを、計算データフローグラフＣＤＧのノードにマッピングすることができる。しかしながら、計算データフローグラフは、典型的には、追加的なノード、この例においてはノードＡ及びＥを有している。命令データフローグラフＩＤＧのそれぞれのノード間のエッジの存在は、それらのノードがマッピングされている計算データフローグラフＣＤＧのそれぞれのノード間のエッジの存在を暗示することができるが、追加的なエッジ、例えばこの例においては、ノードＡとノードＣとの間のエッジ、及び、ノードＤとノードＥとの間のエッジが存在するものとしてよい。しかしながら、命令データフローグラフの非入力ノード、例えばノードｄは、典型的には、計算データフローグラフのうちの、同数及び／又は同種の着信エッジを有するノード、例えばノードＤにマッピングされる。
【0105】
解決演算Ｓｏｌｖｅを実行するために、種々の制約プログラミング技術が文献において公知であり、本明細書に適用することができる。興味深いことに、問題に対する解を発見するために制約ソルバによって使用されるアルゴリズムは、多くの場合、カスタマイズ可能である。これによって、解が有効であるかどうかを何が意味するかを変更することなく、解空間の制御、例えば特定の解の優先順位付けの制御が可能となる。特に、多くの既存の制約ソルバＳｏｌｖｅは、伝播アルゴリズム、変数選択戦略、及び／又は、値選択戦略のカスタマイズを可能にする。
【0106】
伝播関数を使用して、有効な解の一部になることができないドメインＤＯＭＳからの値を削除することができる。伝播関数は、ドメインから値を削除するが追加しないという意味で、単調フィルタリングアルゴリズムであるものとしてよい。伝播関数は、典型的には、それぞれの制約ＣＯＮＳごとに特有である。伝播関数は、ドメインＤＯＭＳと、同様の制約下における他の変数の割り当てとに基づいて、ドメインからどの値を削除すべきかを推論することができる。解を発見するために、ソルバＳｏｌｖｅは、検索アルゴリズムを使用して、系統的に割り当てを実行し、それらの割り当てを、ドメインＤＯＭＳを通して伝播させることができる。データフロー制約を強制するための伝播アルゴリズムの例は、本明細書の他の箇所に記載されている。
【0107】
ソルバＳｏｌｖｅは、多くの場合、所与の問題における全ての可能な解を発見するために、バックトラッキングに基づく検索アルゴリズムを使用する。このことは、変数ＶＡＲＳの集合からのどの変数ｘ∈Ｘに次に値が割り当てられるかを決定する変数選択戦略を含み得る。値選択戦略は、どのような順序で変数のドメインを検索すべきかを決定することができ、例えば、Ａｓｎ（ｄ，ｘ）の特定の実装としてみなすことができる。変数選択及び値選択は、解までの時間に影響を与え、解が出力される順序にも影響を与える。従って、値選択戦略及び変数選択戦略を最適化することによって、解決の効率と、決定された解の品質との両方に影響を与えることができる。
【0108】
変数選択戦略においては、命令データフローグラフを通して後方に伝播する戦略を使用することが好ましい。最初に出力を選択することができ、次いで、解決は、グラフを逆向きに通って進行することができる。この戦略は、例えばニューラルネットワーク層評価の関連する計算にとって最も伝播する可能性を有することが判明した。
【0109】
値戦略のための１つの例は、辞書式検索を使用することである。多くの場合、ハードウェアアクセラレートされた命令の入力データの構造に関する追加的な情報に基づいて、値選択戦略を最適化することができる。例えば、多くの場合、ハードウェアアクセラレートされた命令は、多次元入力を有することができ、命令を適用することができる値も、多次元を有することができる。このような場合には、値選択戦略としてポートフォリオ検索戦略を使用することができる。このような検索においては、値が変数に割り当てられる順序をそれぞれ提供する複数のいわゆる資産が並行して検索される。それぞれ異なる資産は、ハードウェアアクセラレートされた命令の次元と、可能な入力値の次元との間のそれぞれ異なるマッピングに対応することができる。資産は、各自のそれぞれの次元マッピングに従って割り当てを優先順位付けすることができる。これらの複数の異なる資産を並行して検索することができ、結果的に、広範囲の計算にわたって検索期間が安定化することとなる。
【0110】
興味深いことに、ポートフォリオ検索戦略を使用する場合には、命令のどの次元を計算のどの次元にマッピングすることができるかを制限することによって、可能な資産の数を制限することができる。このことは、手元の命令及び計算に依存しており、例えば、手動における注釈付けによって実行可能である。例えば、命令及び演算の次元は、例えば行列乗算の場合、縮約次元と非縮約次元とに区分可能である。ポートフォリオ検索戦略においては、その場合、演算の縮約次元を計算の縮約次元のみにマッピングすることができ、非縮約次元についても同様である。このようにして、資産の数を顕著に制限することができ、これによって、性能を改善することができる。例えば、（Ｉ，Ｊ，Ｋ）にわたる行列乗算は、２つの空間次元（Ｉ，Ｊ）と１つの縮約次元（Ｋ）とを有する。値選択戦略は、計算における次元と、行列乗算の次元との間に直接的に埋め込むことを試みることができる。資産においては、検索により、選択された３つの次元を優先順位付けすることができる。ｎｓが空間次元の数であり、ｎｋが計算における縮約の数である場合、資産の数は、｛（ｎｓ！）／（ｎｓ－２）！｝・｛（ｎｋ！）／（ｎｋ－１）！｝であり得る。このことは、そうでなければ生じる可能性があった（ｎｓ＋ｎｋ＋１）！の可能なドメイン順列と比較して、顕著な縮約である。資産内においては、例えば値選択戦略として辞書式検索を適用することができる。
【0111】
ソルバＳｏｌｖｅがこれらの初期ポートフォリオにおいて解を発見することに失敗した場合には、検索空間に対する制約を緩和することができ、より広範囲の解空間によって検索を繰り返すことができる。
【0112】
一般的に（かつ、上述したようにポートフォリオ検索を使用する場合に、検索を繰り返すことに代えて又はこれに加えて）、ソルバＳｏｌｖｅが制約充足問題ＣＳＰに対する解を発見することに失敗した場合には、例えば、解が発見されるまで、又は、これ以上適当な緩和を利用することができなくなるまで、制約充足問題ＣＳＰを緩和して、解決Ｓｏｌｖｅを繰り返すことができる。例えば、ダミー演算を許可するために制約充足問題を緩和すること、特定の入力が使用されることを強制する制約を緩和することなどが可能である。そのような緩和は、さほど最適でない解をもたらす可能性があり、例えば、ハードウェアアクセラレートされた命令によって処理することができる正しい形状のデータを取得するために、演算のうちの最適化される演算が少なくなり又はより多くの前処理が必要とされることとなるが、これらの緩和を実施することにより、ハードウェアアクセラレートされた命令を、そのような理想的とは言えない状況にも適用可能にすることが可能となる。
【0113】
図面には、任意選択肢のコンパイル演算Ｃｏｍｐ，３４５も示されており、このコンパイル演算Ｃｏｍｐ，３４５は、決定された呼出しＩＮＶを使用して、計算を実施する機械実行可能命令ＩＮＳＴＲ，３５０を生成することができる。命令ＩＮＳＴＲは、決定された可能な呼出しＩＮＶに従ってハードウェアアクセラレートされた命令を呼び出すことができる。例えば、呼出しＩＮＶを使用して、コンパイル可能なコードを生成することができ、このコンパイル可能なコードは、その後、命令ＩＮＳＴＲを取得するためにコンパイルされる。特定のハードウェアアクセラレートされた命令に対して呼出しコンパイルＩＮＶからコードを生成するために使用される規則は、典型的には、提供されているコード生成インタフェースに依存している。一般的に、プログラミングインタフェースがどのようにしてハードウェアアクセラレータ命令が呼び出されることを可能にするかに従って、十分な入力制約を制約充足問題ＣＳＰに含めることにより、命令ＩＮＳＴＲへの呼出しＩＮＶの変換を、比較的率直に実施することができる。
【0114】
いくつかの実施形態によれば、命令データフローグラフは、ハードウェアアクセラレートされた命令の出力の部分集合のみに関するノードを含み得る。機械実行可能命令ＩＮＳＴＲを生成するために、呼出しＩＮＶを使用して、ハードウェアアクセラレートされた命令の残余の出力の一部又は全部の、計算の演算へのマッピングを推論することができる。従って、可能な呼出しＩＮＶのマッピングによって示されるものよりも大きい計算の部分に、ハードウェアアクセラレートされた命令を適用することができる。例えば、行列乗算においては、出力要素の計算は、入力ノードの集合をその近隣と共有するが、中間結果は共有しない。従って、呼出しＩＮＶは、１つの出力要素のみに関してマッピングを提供することができ、その後、このマッピングを、計算の完全な行列乗算を実施するために使用することによって一般化することができる。
【0115】
興味深いことに、命令ＩＮＳＴＲを生成することは、ハードウェアアクセラレートされた命令のさらなる呼出しを取得するために、決定された呼出しＩＮＶを一般化することも含み得る。畳み込みのようなニューラルネットワークのワークロードを含む多くの実際の計算においては、決定された単一の呼出しＩＮＶから複数の呼出しによる計算の実施を外挿することが可能である。このために、決定された可能な呼出しＩＮＶから１つ又は複数の特徴を抽出することができ、これらの特徴に基づいて、決定された呼出しＩＮＶを一般化することができる。例えば、このようにして、ハードウェアアクセラレートされた命令の呼出しによって計算Ｃｏｍｐを完全に実施することができる。
【0116】
例えば、畳み込みの場合には、命令データフローグラフＩＤＧの入力値及び出力値に関連する計算データフローグラフＣＤＧの変数を評価して、命令のどの次元がワークロード内のどの次元に整合するか、及び、タイリング係数が何であるかを計算することができる。このことから、完全な畳み込みを実施するための命令ＩＮＳＴＲを実施することができる。例えば、整合された次元を、発見された係数によってタイリングして、最も内側の次元になるように移動させることができる。これらのタイリング及び並べ替えは、埋め込みのために固定可能である。他のループ及びテンソル次元は、さらなる性能最適化のために依然として変換可能であるものとしてよく、例えば、ループのタイリング、並べ替え、融合等を適用することができる。このようなさらなる性能最適化は、ＡｕｔｏＴＶＭ又は同様のツールを使用して自動的に決定可能である。ハードウェアアクセラレートされた命令の呼出しが埋め込まれた命令ＩＮＳＴＲを、例えば、ＴＶＭのＶＴＡプログラミングツールフローによって生成することができる。
【0117】
任意選択肢の評価演算Ｅｖａｌ，３５５も示されている。多くの場合、制約ソルバＳｏｌｖｅは、制約充足問題ＣＳＰを解く複数の呼出しＩＮＶを決定することができ、例えば、制約充足問題ＣＳＰに対する全ての可能な解を列挙することができる。評価演算Ｅｖａｌにおいては、複数のそのような呼出しの性能を評価することができ、この性能の評価に基づいて複数の解から１つの解を選択することができる。評価は、決定された機械実行可能命令ＩＮＳＴＲに基づいて、例えば、命令を実行又はシミュレートして性能を測定することによって実行可能であり、又は、（典型的にはハードウェア特有である）コスト関数を、最初に命令ＩＮＳＴＲを決定することなく呼出しＩＮＶに対して直接的に計算することによって実行可能である。
【0118】
一般的に、本明細書において説明される技術は、種々の種類の計算と、種々の種類のハードウェアアクセラレートされた命令とに適用可能である。ハードウェアアクセラレートされた命令は、行列乗算、畳み込み、ドット積、行列ベクトル積、累積和、プーリング、及び、アダマール積のうちの１つ又は複数を実施することができる。計算は、例えば、ニューラルネットワーク層の畳み込み演算子、乗算、又は、プーリング演算の評価を含み得る。
【0119】
典型的には、少なくともハードウェア制限ＨＷＲは、ターゲットハードウェアに依存しており、その一方で、計算データフローグラフＣＤＧは、実施されるべき計算に依存している。従って、例えば、同一の命令データフローグラフＩＤＧと、同一のハードウェア制限ＨＷＲとを使用して、提示されたアプローチを複数の異なる計算データフローグラフＣＤＧに適用することにより、複数の計算のための実装形態を画定することが可能であり、同一の計算データフローグラフＣＤＧと、複数の異なるハードウェア制限ＨＷＲ及び／又は命令データフローグラフＩＤＧとを使用して、提示されたアプローチを適用することにより、同等の計算の複数の実装形態を画定することが可能である。
【0120】
図４ｂは、データフローグラフを定義する多面体表現の詳細であるが非限定的な例を示す。種々の実施形態において、計算データフローグラフ又はその一部を、多面体表現によって表すことができる。
【0121】
例えば、図３に関連して論じられるように、計算データフローグラフのノードが命令データフローグラフのノードに割り当てられる制約充足問題を解くことによって、計算におけるハードウェアアクセラレートされた命令の可能な呼出しを決定することができる。多くの実際の場合、計算データフローグラフのノードの数は、極めて多数であるものとしてよく、例えば、少なくとも１０２４個、少なくとも４０９６個又は少なくとも１０４８７６個のノードである。しかしながら、興味深いことに、本発明者らは、計算データフローグラフ又はその少なくとも一部を格納するために多面体表現を使用することによって、計算データフローグラフの全てのノード及び／又はエッジのリストを明示的に決定及び格納することを回避することができることを認識した。これにより、制約ソルバの性能が改善される。
【0122】
一般的に、多面体表現においては、データフローグラフのノードの集合がシンボル的に表され、例えば、どのノードが集合内にあるかを明示的に列挙することなく記述する表現が使用される。エッジの集合、例えばノードの集合の着信エッジ及び／又は発信エッジをシンボル的に表すこともできる。制約充足問題を解く際には、多面体表現をインスタンス化することによって、例えば、本明細書において説明される値選択戦略に従ってノードを選択することによって、ノードの集合からの特定のノードを取得することができる。次いで、命令データフローグラフのノードを、このインスタンス化されたノードにマッピングすることができる。
【0123】
一例として、図面は、多面体表現を使用してデータフローグラフをグラフィカルに表す。図４ａの場合のように、４×４行列乗算は、例えば、テンソル式Ｔ：Ａｉ，ｊ＝ΣｋＸｉ，ｋ・Ｙｋ，ｊにより表される。この計算を、ループネストとして表すことができ、即ち、Ｉにｉを入れ、Ｊにｊを入れ、又は、Ｋにｋを入れると、Ａ［ｉ］［ｊ］＋＝Ｘ［ｉ］［ｋ］＊Ｙ［ｋ］［ｊ］となる。
【0124】
入力テンソルを、これらの入力テンソルの形状の集合によって記述することができる。例えば、図面には、データフローグラフの入力ノードの集合の多面体表現ｘ，４１０が示されている。この集合は、例えば、図４ａのノード４１１～４１４を含む集合に対応しており、以下の集合
Ｘ＝｛（ｉ，ｋ）｜０≦ｉ＜Ｉ，０≦ｋ＜Ｋ｝
によって記述可能である。図４ａのノード４２１～４２４を含む、データフローグラフの入力ノードのさらなる集合の多面体表現ｙ，４２０も示されている。この集合は、
Ｙ＝｛（ｋ，ｊ）｜０≦ｋ＜Ｋ，０≦ｊ＜Ｊ｝
のように記述可能である。
Ｘ＝｛（ｉ，ｋ）｜０≦ｉ＜Ｉ，０≦ｋ＜Ｋ｝
によって記述可能である。図４ａのノード４２１～４２４を含む、データフローグラフの入力ノードのさらなる集合の多面体表現ｙ，４２０も示されている。この集合は、
Ｙ＝｛（ｋ，ｊ）｜０≦ｋ＜Ｋ，０≦ｊ＜Ｊ｝
のように記述可能である。
【0125】
行列乗算計算のスカラ乗算演算を、例えば、図４ａの乗算４３１～４３４を含む多面体表現＊，４３０によって表すことができる。行列乗算計算のスカラ加算演算を、例えば図４ａの加算４４１を含む多面体表現＋，４４０によって表すことができる。スカラ乗算とスカラ加算とを、共に１つの集合
Ｓ＝｛（ｉ，ｊ，ｋ，ｎ）│０≦ｉ＜Ｉ，０≦ｊ＜Ｊ，０≦ｋ＜Ｋ，０≦ｎ＜＃Ｔ｝
によって表すことができる。Ｉ，Ｊ，Ｋは、ドメイン境界である。Ｓは、オリジナルのテンソル表現Ｔのうちのどの要素が選択されるか、例えば、この場合には、ノードが加算を表しているのか乗算を表しているのかを記述する追加的な次元も含む。
Ｓ＝｛（ｉ，ｊ，ｋ，ｎ）│０≦ｉ＜Ｉ，０≦ｊ＜Ｊ，０≦ｋ＜Ｋ，０≦ｎ＜＃Ｔ｝
によって表すことができる。Ｉ，Ｊ，Ｋは、ドメイン境界である。Ｓは、オリジナルのテンソル表現Ｔのうちのどの要素が選択されるか、例えば、この場合には、ノードが加算を表しているのか乗算を表しているのかを記述する追加的な次元も含む。
【0126】
データフローグラフのノードの集合は、多面体表現によって定義される集合の和集合、例えば、Ｎｏ≡Ｓ∪Ｘ∪Ｙとして形成可能である。
【0127】
データフローグラフのノード間のエッジの集合も、多面体表現によって定義可能である。多面体表現は、２つのドメイン間の二項関係に対応することができる。
の関係が存在する場合には、２つのインスタンス（ｓ１，ｓ２）∈Ｓの間にエッジ、例えばデータフローが存在する。
【数3】
【0128】
例えば、図４ｂにおいては、ノード４１０，４２０，４３０，４４０のそれぞれの集合の間のエッジを、以下の関係：
Ｒ１：＊→＋＝｛ｉ，ｊ，ｋ，ｎ→ｉ’，ｊ’，ｋ’，ｎ’│ｉ’＝ｉ，ｊ’＝ｊ’，ｋ’＝ｋ，ｎ＝ｎ＊，ｎ’＝ｎ＋｝；
Ｒ２：＋→＋’＝｛ｉ，ｊ，ｋ，ｎ→ｉ’，ｊ’，ｋ’，ｎ’│ｉ’＝ｉ’，ｊ’＝ｊ，ｋ’＝ｋ＋１，ｎ’＝ｎ＝ｎ＋｝；
ＡＸ：Ｘ→＊＝｛ｉ，ｋ→ｉ’，ｊ’，ｋ’，ｎ’│ｉ’＝ｉ，ｋ’＝ｋ，ｎ’＝ｎ＊｝；
ＡＹ：Ｙ→＊＝｛ｊ，ｋ→ｋ’，ｊ’，ｉ’，ｎ’｜ｊ’＝ｊ，ｋ’＝ｋ，ｎ’＝ｎ＊｝
によって定義することができる。
Ｒ１：＊→＋＝｛ｉ，ｊ，ｋ，ｎ→ｉ’，ｊ’，ｋ’，ｎ’│ｉ’＝ｉ，ｊ’＝ｊ’，ｋ’＝ｋ，ｎ＝ｎ＊，ｎ’＝ｎ＋｝；
Ｒ２：＋→＋’＝｛ｉ，ｊ，ｋ，ｎ→ｉ’，ｊ’，ｋ’，ｎ’│ｉ’＝ｉ’，ｊ’＝ｊ，ｋ’＝ｋ＋１，ｎ’＝ｎ＝ｎ＋｝；
ＡＸ：Ｘ→＊＝｛ｉ，ｋ→ｉ’，ｊ’，ｋ’，ｎ’│ｉ’＝ｉ，ｋ’＝ｋ，ｎ’＝ｎ＊｝；
ＡＹ：Ｙ→＊＝｛ｊ，ｋ→ｋ’，ｊ’，ｉ’，ｎ’｜ｊ’＝ｊ，ｋ’＝ｋ，ｎ’＝ｎ＊｝
によって定義することができる。
【0129】
上述の例においては、関係Ｒ１は、乗算と加算とが同一のループ反復内において行われるが、テンソル式Ｔにおける乗算及び加算の位置によって順序付けられるということを指定する。Ｒ２は、反復次元ｋにおいてシーケンシャルに行われる２つの加算演算として解釈可能である。ＡＸ及びＡＹは、アクセス関数自体を符号化し、かつ、どのノードによってアクセスが実施されるかを、この場合にはＴにおける乗算を符号化する。全ての関係の和集合は、データフローグラフＧｏのエッジを記述することができ、具体的には例えば、Ｅｏ≡Ｒ１∪Ｒ２∪ＡＸ∪ＡＹである。
【0130】
この例においては、ノード４４０の集合と、対応する関係Ｒ２とを使用して可換縮約演算、この例においては加算が表される。図４ａに関して論じられるように、命令データフローグラフにおいては、そのような可換縮約演算を、単一のノード、例えば図４ａのノード４４１によって表すことができる。このような場合には、命令データフローグラフのノード４４１は、計算データフローグラフのノード４４０の集合に効果的に対応することができる。効果的には、関係Ｒ１は、ノード４４１の着信する非自己エッジに対応することができ、その一方で、関係Ｒ２は、自己エッジに対応することができる。この場合には、ノード４４１がノード４４０の集合内の任意のノードにマッピングされることを許可するために、制約充足問題を構成することができる。ノード４４０の集合のノードへの可換縮約演算のマッピングに対処するために、縮約の順序を制御する項を緩和することができ、例えば、縮約の如何なる順序付けをも決定しないように、Ｒ１及びＲ２におけるｋ’に関する項を緩和することができる。この緩和により、効果的には、集合４４０のそれぞれのノードを、可換縮約ノードとみなすことができる。興味深いことに、この緩和によってグラフ内のエッジの数が大幅に増加するが、計算データフローグラフを完全にインスタンス化する必要がないので、多面体表現を使用して効率的にグラフを実装することが可能となる。あるいは、多面体表現を使用した場合にも、可換縮約演算を単一のノードとして表すことが可能となる。
【0131】
データフローグラフのノード及び／又はエッジのラベルを、例えば、集合に対する共通のラベルとして、又は、シンボル的に定義された別個のラベルとして、設けることができる。ラベルは、入力又は出力の種類、演算の種類等を示すことができる。例えば、ノード４１０は、“ＯｕｔＴｙｐｅ：ｉｎｔ８”としてラベル付け可能であり、ノード４２０は、“ＯｕｔＴｙｐｅ：ｉｎｔ８”としてラベル付け可能であり、ノード４３０は、“ＩｎＴｙｐｅ：ｉｎｔ８；ＯｕｔＴｙｐｅ：ｆ３２；Ｏｐ：ｍｕｌ”としてラベル付け可能であり、ノード４４０は、“ＩｎＴｙｐｅ：ｆ３２；ＯｕｔＴｙｐｅ：ｆ３２；Ｏｐ：ａｄｄ”としてラベル付け可能である。
【0132】
相互並列化可能な演算のペアを、多面体表記（polyhedral notation）の形態により示すこともできる。例えば、図４ａに関しても論じられるように、相互並列化可能な演算のペアを、空間エッジによって示すことができる。このようなエッジの集合も、多面体表現（polyhedral representation）の形態により表すことができる。
【0133】
エッジの集合を記述する関係に関して、いくつかのケースが生じる可能性がある。関係の一部又は全部が、対称でない場合がある。この例における関係＊→Ｘのような１つ又は複数の関係は、全射的かつ機能的であるものとしてよく、例えば、乗算は、Ｘにおいて自身が消費する厳密に１つのテンソル要素にマッピングすることができる。例えば、関係Ｘ→＊のような１つ又は複数の逆関係は、非機能的であるものとしてよく、例えば、Ｘにおける入力要素は、複数の乗算によって使用可能であるが、それらの全てではない。このことは、ＡＸ及びＡＹの関係によって観察可能である。なぜなら、ＡＸ及びＡＹの関係は、それぞれｉ’又はｊ’に関する特性を有する項を含まないからである。Ｘにおける１つの特定の入力値に対し、この関係は、この値を使用する全ての乗算の部分集合を記述することができる。
【0134】
一般的に、多面体表現によって定義されるデータフローグラフの演算の集合Ｓを、インスタンス集合と称することができ、要素は、動的実行インスタンスと称される。集合Ｓは、整数タプルの集合によって記述可能であり、整数タプルは、動的実行インスタンス、例えばノードを記述する。例えば、整数タプルの集合を記述するために、以下の表記：
｛（ｅ０，・・・，ｅｎ）｜τ０，・・・，τｎ｝
を使用することができる。
｛（ｅ０，・・・，ｅｎ）｜τ０，・・・，τｎ｝
を使用することができる。
【0135】
例えば、それぞれの項τｊは、それぞれのタプルメンバｅｊの固定された下限及び／又は上限を提供することができる。従って、全てのτ項の連言によって完全な集合を定義することができる。制約充足問題のドメインは、例えばノードの種類によって定義された、整数タプルの集合のうちの部分集合として定義可能である。入力ノードの場合には、ドメインを、それぞれのテンソルの形状におけるタプルの集合によって記述することができる。演算ノードの場合には、ドメインは、演算を表すタプルの集合又はそれらの部分集合であるものとしてよい。
【0136】
インスタンスのペア間の二項関係の和集合、例えばグラフのシーケンシャルなエッジは、データ依存関係Ｄと称されることもある。ソース集合からターゲット集合への要素間の関係を、
ｓｓｏｕｒｃｅ→ｓｔａｒｇｅｔ＝｛（ｅ０，・・・，ｅｎ）→（ｅ’０，・・・，ｅ’ｎ）｜Φ０，・・・，Φｍ｝
のように表記することができ、ここで、項Φｋは、関係における条件を記述している。ターゲットタプル内の要素は、ｅ’と表記可能である。関係条件Φｋは、ターゲット集合内の要素ｅ’にマッピングされるソース要素ｅを記述するために使用可能である。全てのΦ項の連言により、関係ドメイン全体を記述することができる。
ｓｓｏｕｒｃｅ→ｓｔａｒｇｅｔ＝｛（ｅ０，・・・，ｅｎ）→（ｅ’０，・・・，ｅ’ｎ）｜Φ０，・・・，Φｍ｝
のように表記することができ、ここで、項Φｋは、関係における条件を記述している。ターゲットタプル内の要素は、ｅ’と表記可能である。関係条件Φｋは、ターゲット集合内の要素ｅ’にマッピングされるソース要素ｅを記述するために使用可能である。全てのΦ項の連言により、関係ドメイン全体を記述することができる。
【0137】
多面体表現の使用は、畳み込み、行列乗算又はプーリング演算のようなニューラルネットワーク層評価の一部である計算にとって特に有益である。このような計算は、典型的には、コンパイル時において既知である境界を有するテンソル、例えばｎ次元の配列にわたって演算する。典型的には、種々の出力要素は、同様の手法により計算されるが、入力値のスライスは異なっている。計算は、典型的には、条件文を有さない深いループネストも含み、高度に構造化されている。これにより、特に、多面体表現を使用して計算を表すことが効率的になる。
【0138】
興味深いことに、本明細書において説明されるような制約充足問題において多面体表現を使用しても、一般性の損失は生じない。計算への命令のマッピングは、依然として個々のノードのレベルで、例えばスカラレベルで行われる。制約ソルバは、集合がどのように記述されるかに関係なく、例えば次元の順序に関係なく、記述されたノードの集合からの任意の計算データフローグラフノードを命令データフローグラフノードに割り当てることができる。このことは、多面体表現に明示的な変換が適用され、集合の記述方法に克服困難なモデル化仮定が含まれるような、他のアプローチとは異なっている。
【0139】
図５ａ乃至図５ｄは、超直方体制約を適用することについての詳細であるが非限定的な例を示す。種々の設定において、規則的な形状を形成するために、ハードウェアアクセラレートされた命令の入力を制限することが有益である。これにより、より効率的なメモリアクセスを有する実装をもたらすことが可能となり、及び／又は、そのために、ハードウェアアクセラレートされた命令が入力に対して呼び出されることを可能にするための、効率的なメモリレイアウト変換を利用することが可能となる。特に、この例は、入力が超直方体を形成することを強制するために、超直方体制約をどのように使用することができるかを示している。
【0140】
本明細書においては、超直方体（hyper-rectangle）という用語は、一般的に、任意の数の次元ｎ＞０、例えば、ｎ＝１，ｎ＝２，ｎ＝３，又はｎ≧４を有する長方形を指すために使用される。例えば、０≦δｉ≦Δｉの場合に、点の集合（ｘ１＋・・・＋ｘｎ）＋δ１・（ｓ１，０，・・・，０）＋δ２・（０，ｓ２，０，・・・，０）＋・・・を形成する正方格子として、超直方体上に点を配置することができ、ここで、ｓｉは、それぞれ別個に１に固定することができる、例えば、設定することができる又は動的に決定することができるストライドである。
【0141】
例えば、ニューラルネットワーク評価において生じる計算のためには、超直方体の使用が適している。なぜなら、このような計算は、典型的には（しばしば大きい）テンソル、例えばｎ次元の配列を含むからである。効率的なメモリアクセスのために、かつ、例えば、テンソル次元の転置又はタイリングのようなメモリレイアウトの変換の使用によって、ハードウェアアクセラレートされた命令を効率的に呼び出すことを可能にするために、超直方体の形状は、特に有益である。解の入力値に割り当てられた変数が超直方体を形成すること、例えば、テンソル空間のベクトル基底に整列された超直方体を形成することを保証するために、制約を使用することができる。他の利点は、超直方体を形成することに入力を制約することにより、命令データフローグラフの入力ノードへの潜在的な割り当てを、制約ソルバによって比較的簡単に除去することが可能になり、これにより、制約解決の効率を大幅に改善することができることにある。
【0142】
超直方体制約は、例えばハードウェアアクセラレートされた命令の入力に対応する、点Ｖ＝（ｖ０，・・・，ｖｎ）の順序付けられたタプルから、多数の次元ｎ＞０を有する超直方体の形状を整合して伝播させるように構成可能である。制約は、これまでに計算の値が割り当てられた入力点の集合と、Ｖにおける点の総数とから、境界ボックスを推論するように構成可能である。境界ボックスの外側にある値を、ハードウェアアクセラレートされた命令の残余の入力点のための可能な値として除去することができる。従って、典型的には、わずかな回数の割り当ての後には既に、ドメインの大部分を排除することが可能である。例えば、テンソルの１つの軸に沿って２つの点だけを選択した後、この次元を、ｂｏｕｎｄ＝＃Ｖ・｜ｖ０－ｖ１｜のサイズに拘束することができる。
【0143】
長方形は、点の集合Ｖの線形反復を実施することによって計算可能であり、この線形反復は、点が任意の数の次元を有する長方形を作成するかどうかを推論することを反復的に試みることを含む。特に、点が辞書順における格子を記述する場合には、反復は、以下のステップのうちの１つを実施することを含み得る。基本のステップは、最も内側の次元の１つの要素から次の要素への移動を表すことができる。次元ジャンプは、最も内側の次元の次の線への移動、例えば、空間を斜めに通る移動を表すことができる。格子構造を強制するために、次元ジャンプが発生する前に、基本のステップが同一であり、かつ、固定の回数だけ繰り返されることを要求することができる。次元ジャンプは、長方形に新しい次元を追加することができる。次元［ｎ０，・・・，ｎｍ］∈Ｒｅｃの場合には、０≦ｋ≦ｍである次元ジャンプｎｋが、
回だけ発生することを要求することができる。次元ジャンプは、ベクトルｊｍｐ＝ｖａ－ｖａ＋１によって定義された形状を有することができ、これが、ｖｏ＝（ｖ０－ｖａ）＋ｖｂと同等であることを要求することができ、ここで、ｖ０は、Ｖにおける第１の点であり、ｖｂは、整数の係数によってスケーリングされたテンソルの基底ベクトルのうちの１つである。ｖｂをベクトル基底の要素となるように制限することにより、角部に直角が存在すること、及び、長方形が座標軸に平行に整列されることとを保証することができる。
【数4】
【0144】
図５ａ乃至図５ｄは、点の集合に対して格子構造を強制する超直方体制約を強制する例を示す。図面は、制約をどのように強制して伝播させることができるかの例を示す。図面において、黒丸のドット５１２，５２２，５３２は、ドメイン値を表しており、×印５１１，５２１，５３１，５４１は、１６個の変数のうちの１つのための選択を表しており、白丸のドット５３３，５４３は、伝播によって除去された値を表している。
【0145】
この例においては、最初の４つのステップでは、まだ伝播が不可能である可能性がある（図５ａ乃至図５ｂ）。なぜなら、ｘ軸に沿った次元のサイズ８は、変数の総数１６よりも小さいからである、しかしながら、５番目の値が選択されると、ドメインから値を除去することができる。この例においては、ｘ＞３を有する値（ｙ，ｘ）を除去することができる。なぜなら、これは、最も内側の次元のサイズであり、全ての外側の次元に対して同等でなければならないからである。５番目の変数に対して選択された値（１，０）から、伝播関数は、ｙ次元への拡張が、
程度の大きさであり得ることを推論することができる。この例においては、これは、ｄｙ＝（１６／４）・１＝４である。従って、点５３３を除去することができる（図５ｃ）。残余の点は、図５ｄに示されるようにマッピングされる。
【数5】
【0146】
興味深いことに、点Ｖの集合にわたる反復によって超直方体制約を実施することにより、得られた制約は、命令とワークロードとの間の相対的な次元順序に対して透明になることができる。その結果、ワークロードにおける任意の次元を、例えば転置演算を実施する必要なしに命令における任意の次元にマッピングすることができる。興味深いことに、マッピングを使用して、ハードウェアアクセラレートされた命令を呼び出すコードを生成する際にどのようなメモリ変換、例えば転置、タイリング、融合等を使用すべきかを導出することができる。
【0147】
次に、超直方体制約の実装の詳細な例を提供する。このアルゴリズムは、部分的に割り当てられた長方形に対しても機能する。推論中に発見された情報を直接的に使用して、未解決の割り当てによって形成することができる可能な限り最大の長方形である境界ボックスを計算することにより、残余の値のドメインを伝播させることができる。
【0148】
アルゴリズムは、最初のステップを確認することによって開始し、座標軸に平行に整列されていなければ失敗を返す。次に、アルゴリズムは、それぞれのテンソル次元が１回だけ使用されるように、実施済みのステップをベクトル基底から除去する。次いで、残余の点が反復され、全てのステップが表にされる。ｌｉｖｅ＿ｔｂｌは、実行中のステップを記録する。ｄｋへの次元ジャンプが発生すると、ｄｋ－１に対して実施されたステップの数がｄｉｍ＿ｔａｂｌｅに記録される。発生している全てのステップは、既に記録されているかどうかがチェックされる。既に発生している場合、ｃｏｕｎｔｅｒｓ＿ｖａｌｉｄは、そのステップが正しい時間に発生したかどうかをチェックして、内側の次元の全てのカウンタをリセットする。図５の例においては、ｙ次元のそれぞれのステップのためにｘ次元の４つのステップが存在しなければならない。ｙステップが発生すると、ｘのためのカウンタがリセットされる。
【表3】
【0149】
ここで、ハードウェアアクセラレートされた行列乗算（ＧＥＭＭ）命令を提供するＶＴＡハードウェアアクセラレータのためのコードを生成するために検討した技術が適用されるという実験の詳細を提供する。ハードウェアは、２５６ｋｂの重みバッファと、１２８ｋｂのデータバッファと、ｉｎｔ８入力を消費してｆｌｏａｔ３２結果を生成するＧＥＭＭコアとを有するＺｙｎｑＵｌｔｒａｓｃａｌｅ＋ＦＰＧＡ上においてインスタンス化される。ＧＥＭＭユニットは、（ｘ，ｙ，ｚ）＝（１，１６，１６）の場合の
を計算する。この結果を、例えば、活性化演算及び量子化演算のためにベクトルスカラユニットによって処理することができる。行列オペランドＢが転置されていることに注目されたい。ハードウェアは、行列オペランドの独立したメモリアクセスのためのロード／格納ユニットを有する。このロード／格納ユニットは、メモリに連続的に格納されている完全な２Ｄオペランド行列をロード及び格納することができる。この実験は、Ｂａｉｄｕ社のＤｅｅｐＢｅｎｃｈ推論ベンチマークからの計算を使用している。
【数6】
【0150】
提示された技術に従って生成されたコードは、ＴＶＭのｃｏｎｖ２ｄ参照実装と比較され、ＴＶＭは、畳み込みにおいてＧＥＭＭユニットの３つの軸ｘ，ｙ，ｚを、バッチｎ＝ｘの次元と、出力チャネルｏｃ＝ｙの次元と、入力チャネルｉｃ＝ｚの次元と静的にマッピングする。ＴＶＭの畳み込み実装は、ＮＣＨＷ（Ｎ＝バッチサイズ、Ｃ＝チャネル、Ｈ＝高さ、Ｗ＝幅）メモリレイアウトを予期している。
【0151】
実験においては、ＴＶＭの機械学習コンパイラフレームワークを使用して、機械実行可能命令が生成された。ＴＭＶがハードウェアによってアクセラレートすることができる演算子に遭遇すると、指定された展開戦略によって実装が処理される。戦略は、ハードウェアターゲットに対して最適化されたＴＶＭのＩＲにおいて演算子を実装する。ＶＴＡのためのＴＶＭのコード生成ツールフローは、ＶＴＡの戦略にＴＶＭのアプローチを組み込むことによって使用可能である。命令ＤＦＧ Ｇｉは、ハードウェアコンフィギュレーションに基づいて生成される。これに基づいて、制約充足問題が上述したように定義される。Ｇｉのノードは、変数であり、演算子の動的インスタンスの集合がドメインを形成する。
【0152】
ある１つの実験において、制約ソルバを使用して、参照実装と同様の可能な呼出しが決定された。このために、以下の制約、即ち、
・ＧＥＭＭ命令のデータフローを整合させるためのデータフロー制約、
・転置演算及び再成形演算に基づいてより簡単なメモリ変換を可能にし、入力要素及び出力要素が座標に平行に整列された形状へとマッピングされることを保証するための超直方体制約、
・同一の命令呼出しにおいて同一の動的実行インスタンスが複数回出現することを阻止するためのａｌｌＤｉｆｆ制約、
・全ての入力テンソル及び出力テンソルの最初の整合がそれぞれのドメインの原点に固定されることを強制する固定原点制約、
・入力及び出力テンソルに対して任意の次元におけるストライドを許可しない密度制約、
・命令に整合するアクセスパターンを有していて、例えばストライド又はステンシルパターンを有していないワークロード次元における整合のみを許可するためのメモリアクセス制約
が使用された。
・ＧＥＭＭ命令のデータフローを整合させるためのデータフロー制約、
・転置演算及び再成形演算に基づいてより簡単なメモリ変換を可能にし、入力要素及び出力要素が座標に平行に整列された形状へとマッピングされることを保証するための超直方体制約、
・同一の命令呼出しにおいて同一の動的実行インスタンスが複数回出現することを阻止するためのａｌｌＤｉｆｆ制約、
・全ての入力テンソル及び出力テンソルの最初の整合がそれぞれのドメインの原点に固定されることを強制する固定原点制約、
・入力及び出力テンソルに対して任意の次元におけるストライドを許可しない密度制約、
・命令に整合するアクセスパターンを有していて、例えばストライド又はステンシルパターンを有していないワークロード次元における整合のみを許可するためのメモリアクセス制約
が使用された。
【0153】
計算が与えられると、制約ソルバを使用して、命令Ｇｉのそれぞれの演算及びデータ要素が計算Ｇｏのノードにどのようにマッピングされるかを記述する可能な呼出しを取得することができる。畳み込みのようなＤＮＮワークロードの規則性に起因して、ハードウェアアクセラレートされた命令を繰り返し呼び出す実装に、発見された呼出しを外挿することが可能である。解では、入力値及び出力値に関連する変数が評価されて、命令のどの次元がワークロード内のどの次元に整合するか、及び、タイリング係数が何であるかが計算される。この情報によって、コードを生成することが可能となる。整合された次元は、発見された係数によってタイリングされて、最も内側の次元になるように移動される。これらのタイリング及び並べ替えは、埋め込みのために固定される。他のループ及びテンソル次元は、さらなる性能最適化のために自由に変換可能である。これらの最適化は、ループのタイリング、並べ替え又は融合を含む。ＡｕｔｏＴＶＭを使用して、それぞれのｃｏｎｖ２ｄ層のための最良の最適化パラメータが自動的に決定された。埋め込まれた命令を有するコードが、ＴＶＭのＶＴＡプログラミングツールフローによって生成された。
【0154】
専門家が作成した参照実装と同様の構造及び性能を有する実装を自動的に生成することができることが、実験により実証された。興味深いことに、一部のベンチマーク計算においては、決定された可能な呼出しに基づいて生成されたコードは、参照実装と比較して顕著な高速化を実現した。即ち、一部のベンチマーク計算においては、参照実装は、その静的な埋め込み戦略に起因して非常に低いハードウェア利用率を達成する。これらの計算においては、最大で×２．４９倍の高速化が達成され、個々の演算子においては、×２３８にもなる改善が観察された。従って、これらのシナリオにおいては、決定された呼出しに従って自動的に生成されたコードにより、顕著な性能改善がもたらされた。
【0155】
他の実験においては、提示された技術を使用して、ＤＮＮの計算テンソルレイアウトが動的に変更された。制約充足問題に対する解は、どの次元が必要であるか、ひいては、どの次元が自由であるかを示し、コード生成中に自由な次元のメモリレイアウトが変更されることを可能にする。この実験においては、制約ソルバを使用して、ＮＨＷＣ（Ｎ＝バッチサイズ、Ｈ＝高さ、Ｗ＝幅、Ｃ＝チャネル）レイアウトに従って可能な呼出しが生成された。多くの場合、このことは、参照実装によって使用されるＮＣＨＷレイアウトと比較して性能を改善することが判明した。
【0156】
さらなる実験においては、以前の実験と比較してメモリアクセス制約が緩和された。これにより、制約充足問題に対する解の数が増加する。上述したように、上記の実験には、参照実装と同様の解を取得するための制約が含まれていた。一部のベンチマーク計算においては、これらの制約の結果、ｉｃ／ｚ＜１であるので、ｉｃ次元においてゼロパディングを実施する必要性が生じ、その結果、利用率が低下し、テンソルが大きくなった。興味深いことに、これらの制約を緩和することによって、より少ないパディングしか必要としない又はパディングを必要としない可能な呼出しを決定することが可能となり、ひいては、性能の改善を提供することが可能となることが判明した。特に、フィルタステンシルに含まれる、畳み込みの複数の次元におけるマッピングを可能にする緩和が適用された。制約を緩和するということは、計算を実施するためのコードを生成する際に、より多くの異なるケースを処理する必要があるが、それでもなお実現可能であるということを意味する。特に、コード生成は、複数のテンソル次元を１つに融合することと、ステンシル計算のデータアクセスを線形化することとを支援するように適合させられた。後者は、Ｗ［ｈ＋ｋｈ］のようなステンシルによって作成されたアクセスパターンを明示的にメモリ内において複製することを含む。展開された次元の新しいフットプリントは、ｈ’＝ｈ／ｓｔｒｉｄｅ＊ｋｈであるが、その一方で、結果を計算する演算の総数は、同等のままである。作成されるオーバヘッドを最小化するために、埋め込みに必要なステンシル次元だけが展開された。ＶＴＡのためのコードを生成するために、元々の次元の偶数の除数であるテンソル分解係数が使用された。如何なるパディングも伴わない実装が不可能である場合には、必要に応じて縮約次元が、命令サイズの次の偶数の除数に自動的に加えられた。
【0157】
特に、メモリレイアウト変換が、リレー関数を用いて実施された。ステンシルを展開する演算子は、“ｒｅｌａｙ．ｔａｋｅ（）”、即ち、どの値を複製すべきかを決定するインデックスリストを取得するギャザー関数を使用する。なぜなら、リレーにおいては直接的なｉｍ２ｃｏｌ演算子を利用することができないからである。
【0158】
本技術に従って生成された実装の性能が、推論及びメモリ変換の性能と、データフットプリントとに関して評価された。パディングを伴うＴＶＭの参照実装と比較して、多くの場合、メモリフットプリント、演算子の性能、及び／又は、全体的な性能を改善することが可能である。いくつかの場合には、これにはトレードオフが含まれ、どの性能パラメータが最適化されているかに従って種々の最適な実装を発見することができる。特に、多くの場合、パディングによって制御される効果的なハードウェア利用は、特に、ｉｃ＝１である層において、性能を改善するための重要な要因であった。即ち、ｉｃ＜ｚである場合には、入力画像におけるｉｃ／ｚ・（ｈ・ｗ）要素のみが結果に有意に寄与し、効果的なハードウェア利用率を抑制し、本技術を特に有利なものにする。生成された呼出しが特に良好に実施された他の状況は、パディングによってアクセラレータの重みバッファの容量を超える重みテンソルが生成されてしまうような状況である。提示された技術によって生成された実装は、これを回避することができ、このことは、アクセラレータが完全な重みテンソルをオンチップバッファに保持することができるという効果を有することができる。このような場合には、特に顕著な性能高速化が観察された。
【0159】
図６は、プロセッサシステムのハードウェアアクセラレートされた命令を使用して計算を実施するコンピュータ実施方法６００のブロック図を示す。方法６００は、図１のシステム１００の演算に対応することができる。しかしながら、これに限定するものではなく、従って、方法６００を他のシステム、他の装置又は他の機器を使用して実施するものとしてもよい。
【0160】
方法６００は、「計算データを取得する」という表題の演算において、計算データを取得すること６１０を含み得る。計算データは、計算を表す計算データフローグラフを定義することができる。計算データフローグラフのノードは、計算の入力又は演算を表す。
【0161】
方法６００は、「命令データを取得する」という表題の演算において、命令データを取得すること６２０を含み得る。命令データは、ハードウェアアクセラレートされた命令を表す命令データフローグラフを定義することができる。命令データフローグラフのノードは、ハードウェアアクセラレートされた命令の入力又は演算を表すことができる。
【0162】
方法６００は、「命令を定義する－＞ＣＳＰを計算する」という表題の演算において、計算データ及び命令データに基づいて制約充足問題を定義すること６３０を含み得る。制約充足問題に対する解は、計算におけるハードウェアアクセラレートされた命令の可能な呼出しを表すことができる。制約充足問題は、計算データフローグラフのノードを命令データフローグラフのノードに割り当てることができる。制約充足問題は、計算データフローグラフの割り当てられたノードが、命令データフローグラフと同等のデータフローを有することを強制する１つ又は複数のデータフロー制約を含み得る。制約充足問題は、計算データフローグラフのどのノードを、ハードウェアアクセラレートされた命令の入力に割り当てることができるかを制限する１つ又は複数の入力制約をさらに含み得る。これらの制限は、ハードウェアアクセラレートされた命令及び／又はそのプログラミングインタフェースによって課されることができる。制約充足問題は、追加的な制約を含み得る。
【0163】
方法６００は、「呼出しを決定するためにＣＳＰを解く」という表題の演算において、計算におけるハードウェアアクセラレートされた命令の可能な呼出しを決定するために制約充足問題を解くこと６４０を含み得る。方法６００は、「呼出しを出力する」という表題の演算において、可能な呼出しを定義するデータを出力すること６５０を含み得る。
【0164】
一般的に、図６の方法６００の演算が、任意の適当な順序により、例えば、連続的に、同時に、又は、それらの組合せにより、該当する場合には、例えば、入力／出力の関係によって必要とされる特定の順序を条件として実施されるものとしてよいことが理解されるであろう。
【0165】
本方法は、コンピュータ上において、コンピュータ実施方法として、専用のハードウェアとして、又は、両方の組合せとして実施されるものとしてよい。図７にも示されているように、コンピュータのための命令、例えば実行可能コードは、例えば、一連の機械可読物理マーク７１０の形態で、及び／又は、種々の電気的な、例えば磁気的若しくは光学的な特性又は値を有する一連の要素として、コンピュータ可読媒体７００上に格納されるものとしてよい。実行可能コードは、一時的又は非一時的に格納されるものとしてよい。コンピュータ可読媒体の例には、メモリ装置、光学記憶装置、集積回路、サーバ、オンラインソフトウェア等が含まれる。図７は、光学ディスク７００を示す。
【0166】
あるいは、コンピュータ可読媒体７００は、一時的又は非一時的なデータ７１０を含み得るものであり、この一時的又は非一時的なデータ７１０は、ハードウェアアクセラレートされた命令を支援するプロセッサシステムによって、例えば図２のシステム２００によって実行された場合に、プロセッサシステムに計算を実施させるための命令を表し、この命令は、本明細書において説明されるように決定された可能な呼出しに従ってハードウェアアクセラレートされた命令を呼び出すためのものである。
【0167】
さらに、ハードウェアアクセラレートされた命令を支援するプロセッサシステムにより、決定された可能な呼出しに従ってハードウェアアクセラレートされた命令を呼び出すための命令を実行することを含む、コンピュータ実施方法が企図されている。
【0168】
例、実施形態、又は、任意選択肢の特徴は、限定するものではないと記載されているかどうかにかかわらず、特許請求される本発明を限定するものとして理解されるべきではない。
【0169】
上述した実施形態が、本発明を限定するものではなく例示するものであること、また、添付の特許請求の範囲から逸脱することなく当業者が多数の代替的な実施形態を設計可能であることに留意すべきである。特許請求の範囲においては、括弧内の如何なる参照符号も、特許請求の範囲を制限するものとして解釈されるべきではない。「含む」という動詞及びその活用形の使用は、特許請求の範囲に記載されている以外の要素又は段階の存在を排除するわけではない。要素に先行する冠詞“ａ”又は“ａｎ”は、そのような要素が複数存在することを排除するわけではない。要素のリスト又はグループに先行する場合の「少なくとも１つ」のような表現は、そのリスト又はグループからの要素の全て又は任意の部分集合の選択を表す。例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つ」という表現は、Ａのみ、Ｂのみ、Ｃのみ、Ａ及びＢの両方、Ａ及びＣの両方、Ｂ及びＣの両方、又は、Ａ、Ｂ及びＣの全てを含むものとして理解されるべきである。本発明は、いくつかの別個の要素を含むハードウェアによって、かつ、適当にプログラミングされたコンピュータによって実装されるものとしてよい。いくつかの手段を列挙している装置クレームにおいては、これらの手段のうちのいくつかを、同一のハードウェアアイテムによって具現化するものとしてよい。複数の特定の手段が相互に異なる従属請求項に挙げられているという単なる事実は、それらの手段の組合せを有利に使用することができないということを表すわけではない。
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図5a】
【図5b】
【図5c】
【図5d】
【図6】
【図7】
【外国語明細書】