▶ アクシス・セミコンダクター・インコーポレーテッドの特許一覧
特表2022-520842ホストとコプロセッサの動作を通信を介して同期させる方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-04-01
(54)【発明の名称】ホストとコプロセッサの動作を通信を介して同期させる方法
(51)【国際特許分類】
G06F 9/54 20060101AFI20220325BHJP
【ＦＩ】
G06F9/54 C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021547826
(86)(22)【出願日】2020-01-07
(85)【翻訳文提出日】2021-10-12
(86)【国際出願番号】 US2020012455
(87)【国際公開番号】W WO2020167388
(87)【国際公開日】2020-08-20
(31)【優先権主張番号】16/275,917
(32)【優先日】2019-02-14
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521359737
【氏名又は名称】アクシス・セミコンダクター・インコーポレーテッド
【氏名又は名称原語表記】ＡＸＩＳ ＳＥＭＩＣＯＮＤＵＣＴＯＲ，ＩＮＣ．
(74)【代理人】
【識別番号】110000028
【氏名又は名称】特許業務法人明成国際特許事務所
(72)【発明者】
【氏名】ワン・シャオリン
(72)【発明者】
【氏名】ウー・チエン
(57)【要約】
【課題】
【解決手段】
ホストと１つ以上のコプロセッサのスレッド実行を同期させる方法は、ホストによってイベントコマンドおよび少なくとも１つのコプロセッサ命令をＦＩＦＯに書き込むことと、イベントコマンドとコプロセッサの現在のイベントレジスタとを一致するまで比較することとを含み、ＦＩＦＯエントリは、ポップされ、命令は、実行するためにコプロセッサに転送される。複数のエントリグループをＦＩＦＯに書き込むことができ、各エントリグループはイベントコマンドで始まる。命令は、共有メモリとデータを交換してそのスレッドを受信データに適用するようコプロセッサに指示できる。プロセッサと共有メモリとは、比較、ポップおよび命令の転送を行うコントローラを有するリングタイプのバスでつなぐことができる。コプロセッサは、スレッド実行中に現在のイベントレジスタを消去し、その後、処理が完了したときにイベントコマンドをレジスタに書き込む。
【選択図】図２
【解決手段】
ホストと１つ以上のコプロセッサのスレッド実行を同期させる方法は、ホストによってイベントコマンドおよび少なくとも１つのコプロセッサ命令をＦＩＦＯに書き込むことと、イベントコマンドとコプロセッサの現在のイベントレジスタとを一致するまで比較することとを含み、ＦＩＦＯエントリは、ポップされ、命令は、実行するためにコプロセッサに転送される。複数のエントリグループをＦＩＦＯに書き込むことができ、各エントリグループはイベントコマンドで始まる。命令は、共有メモリとデータを交換してそのスレッドを受信データに適用するようコプロセッサに指示できる。プロセッサと共有メモリとは、比較、ポップおよび命令の転送を行うコントローラを有するリングタイプのバスでつなぐことができる。コプロセッサは、スレッド実行中に現在のイベントレジスタを消去し、その後、処理が完了したときにイベントコマンドをレジスタに書き込む。
【選択図】図２
【特許請求の範囲】
【請求項1】
ホストプロセッサとコプロセッサのプログラム実行を同期させる方法であって、本方法は、Ａ）アプリケーションをホスト部分とヘルパー部分とに分割する工程、
Ｂ）前記ホスト部分を前記ホストプロセッサに実装し、前記ヘルパー部分を前記コプロセッサに実装する工程、
Ｃ）前記ホストプロセッサによって、イベントコマンドとそれに続く少なくとも１つのコプロセッサ命令を含むＦＩＦＯエントリをＦＩＦＯに書き込む工程であって、前記イベントコマンドは、前記ＦＩＦＯの先頭を占めている工程、
Ｄ）前記ＦＩＦＯの先頭にある前記イベントコマンドを前記コプロセッサの現在のイベントレジスタにあるレジストリエントリと比較する工程、
Ｅ）前記現在のイベントレジスタにある前記レジストリエントリが前記ＦＩＦＯの先頭にある前記イベントコマンドと一致するまで工程Ｄを繰り返す工程、
Ｆ）前記イベントコマンドおよび前記少なくとも１つのコプロセッサ命令を前記ＦＩＦＯからポップし、前記ポップした少なくとも１つのコプロセッサ命令を前記コプロセッサに転送し、前記ポップは、すべての前記ＦＩＦＯエントリがポップされるまで、または後続のイベントコマンドであるＦＩＦＯエントリが検出されるまで続く工程、
Ｇ）前記コプロセッサによって、残りのどのＦＩＦＯエントリイベントコマンドとも一致していないエントリを前記現在のイベントレジスタに書き込む工程、
Ｈ）前記コプロセッサによって前記アプリケーションの前記ヘルパー部分を実行する工程、
Ｉ）前記コプロセッサによって、前記ヘルパー部分の実行が完了したことを示すメッセージを前記ホストプロセッサに送信する工程、および
Ｊ）前記コプロセッサによって前記現在のイベントレジスタにイベントコマンドレジストリエントリを書き込む工程
を含む、方法。
【請求項2】
請求項１に記載の方法であって、前記ＦＩＦＯと前記コプロセッサとは、バスコントローラを有するバスを介してつながり、工程Ｄ）、Ｅ）、およびＦ）は、前記バスコントローラによって実行される、方法。
【請求項3】
請求項２に記載の方法であって、前記バスは、リングアーキテクチャを有する、方法。
【請求項4】
請求項１～３のいずれか一項に記載の方法であって、前記現在のイベントレジスタ内の前記レジストリエントリは、前記ＦＩＦＯの先頭にある前記イベントコマンドと同一であれば、前記ＦＩＦＯの先頭にある前記イベントコマンドと一致しているとみなされる、方法。
【請求項5】
請求項１～４のいずれか一項に記載の方法であって、前記コプロセッサに含まれるコプロセッサメモリと、前記コプロセッサにアクセス可能な共有メモリとをさらに含み，前記少なくとも１つのポップされたコプロセッサ命令は、前記共有メモリから前記コプロセッサメモリにデータを読み出すよう前記コプロセッサに指示する命令を含む、方法。
【請求項6】
請求項５に記載の方法であって、前記少なくとも１つのポップされたコプロセッサ命令は、前記共有メモリとデータを交換するよう前記コプロセッサに指示するコマンドを含む、方法。
【請求項7】
請求項５に記載の方法であって、前記共有メモリは、前記ホストプロセッサにアクセス可能であり、前記アプリケーションの前記ホスト部分は、前記共有メモリと少なくとも１つの入力および／または出力チャネルとの間でデータを交換するよう前記ホストプロセッサに指示するコマンドを含む、方法。
【請求項8】
請求項１～７のいずれか一項に記載の方法であって、前記少なくとも１つのポップされたコプロセッサ命令は、データフローコマンドと同期コマンドの少なくとも一方を含む、方法。
【請求項9】
請求項１～８のいずれか一項に記載の方法であって、工程Ｃ）では、前記ホストによって前記ＦＩＦＯに書き込まれた前記ＦＩＦＯエントリは、複数のエントリグループを含み、各エントリグループは、イベントコマンドとそれに続く少なくとも１つのコプロセッサ命令を含む、方法。
【請求項10】
請求項９に記載の方法であって、工程Ｆ）は、後続のイベントコマンドであるＦＩＦＯエントリが検出された場合に前記後続のイベントコマンドが前記ＦＩＦＯの先頭を占めているように前記ＦＩＦＯエントリを前記ＦＩＦＯ内で進めることをさらに含む、方法。
【請求項11】
請求項１～１０のいずれか一項に記載の方法であって、前記ホストプロセッサによって前記ＦＩＦＯの先頭にある前記イベントコマンドを読み出し、前記ホストプロセッサによって前記イベントコマンドを前記コプロセッサの前記現在のイベントレジスタに書き込むことをさらに含む、方法。
【請求項12】
請求項１～１１のいずれか一項に記載の方法であって、前記ヘルパー部分は、任意の対話型入力がなく、厳密に規定された入力順序を有する、方法。
【請求項13】
請求項１～１２のいずれか一項に記載の方法であって、前記ホスト部分は、事前に設定されていないタイミングに従う、方法。
【請求項14】
請求項１３に記載の方法であって、前記ホスト部分は、事前に設定されていない対話型のタイミングに従う、方法。
【請求項15】
請求項１～１４のいずれか一項に記載の方法であって、前記アプリケーションは、パイプライン化したマルチバッチ実行プログラムである、方法。
【請求項16】
請求項１～１５のいずれか一項に記載の方法であって、前記ヘルパー部分の実行が完了したことを示す前記メッセージは、コプロセッサ書き込みＦＩＦＯを介して前記コプロセッサによって前記ホストプロセッサに送信される、方法。
【請求項17】
請求項１～１６のいずれか一項に記載の方法であって、ホスト読み出しＦＩＦＯを介して前記ホストによって前記コプロセッサのレジスタを読み出すこと、
ホスト書き込みＦＩＦＯを介して前記ホストによって前記コプロセッサのレジスタを書き込むこと、および
コプロセッサ書き込みＦＩＦＯを介して前記コプロセッサによって前記ホストに書き込むこと
のうち少なくとも１つをさらに含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０１９年２月１４日に出願された米国特許第１６／２７５，９１７号の利益を主張するものであり、本文献を参照してその全容をあらゆる目的のために本願に援用する。
本発明は、マルチスレッドプログラムの実行に関し、さらに詳細には、マルチスレッドプログラムの実行中にホストと少なくとも１つのコプロセッサとの挙動を同期させる方法に関する。
本発明は、マルチスレッドプログラムの実行に関し、さらに詳細には、マルチスレッドプログラムの実行中にホストと少なくとも１つのコプロセッサとの挙動を同期させる方法に関する。
【背景技術】
【0002】
マルチコアおよびその他の複数のプロセッサコンピューティングデバイスの利用可能性が上昇し続け、そのコストが低下し続けているため、マルチスレッド処理は、とりわけ画像処理および音声符号化などの用途に対してコンピューティングデバイスがデータを処理できる速度および効率を最適化するますます効果的な手法になっており、この手法では、指定アルゴリズムが一定のタイミング順序で多数のデータフレームまたは「バッチ」に繰り返し適用され、個別のデータフレームの処理間での相互依存はほとんどないかまったくない。
【0003】
多くの場合、所与のアプリケーションによって実行される機能は、タイミング順序が不明で対話型入力を有していてよい「ホスト」機能または「制御」機能と、対話型入力を一切有しておらず、入力順序が厳密に規定されている１つ以上の「ヘルパー」機能とに分割できる。一例がコンピュータゲームである。コンピュータゲームでは、一部の機能は、タイミング順序が不明で、ユーザとの相互作用と直接関連している機能などの対話型入力を有していてよく、その他の機能は、ユーザとの相互作用なしでデータフレームを規定の順序で受け入れて処理する、画像処理または音声符号化など、ゲームに関連する特定のバックグラウンドタスクを実行するように仕向けられる。別の例が、スマート家電または携帯電話などのモバイル装置で実行される音声対応アプリケーションである。
【0004】
このような場合、ユーザとの相互作用をサポートする動作を含めて、タイミングが不明な動作を実行する機能を「ホスト」スレッドまたは「制御」スレッドに割り当てることによってマルチスレッド処理を実施でき、ヘルパー機能の少なくともいくつかは、１つ以上の「ヘルパー」スレッドに割り当てられる。多くの場合、コプロセッサが利用可能な場合、制御機能はホストプロセッサで実行され、ヘルパースレッドの一部または全部は、１つ以上のコプロセッサにオフロードされる。
【0005】
このマルチスレッド、ホスト／コプロセッサの手法は、非常に強力ではあるが、うまく実施するには、ホストプロセッサとコプロセッサとが行うプログラムの実行を同期させて調整する確実で効果的な方法が必要である。
【0006】
１つの手法が、ハードウェア割り込みを用いて、ホストプロセッサおよびコプロセッサの動作を同期させることである。ただし、この手法は、ハードウェアを使用するという点で「コストがかかり」、適切な機能を備えた十分な割り込みをハードウェアプラットフォームが提供できなければ制限される可能性がある。
【0007】
別の手法は、共有メモリに実装された「メッセージパッシングインターフェース」（「ＭＰＩ」）プロトコルを使用することである。ただし、この手法は、実行時間の点でコストがかかる。
【0008】
したがって、必要なことは、割り込みに依存することなく、かつＭＰＩ実装の実行速度ペナルティを回避しながら、ホストプロセッサおよび１つ以上のコプロセッサのプログラム実行を同期させ調整する効果的な方法である。
【発明の概要】
【0009】
本発明は、割り込みに依存することなく、かつＭＰＩ実装の実行速度ペナルティを回避しながら、ホストプロセッサおよび１つ以上のコプロセッサのプログラム実行を同期させ調整する方法である。本発明は、「イベント」コマンドを格納できるとともに、データフローおよび同期命令などのコプロセッサ命令も格納できる少なくとも１つのＦＩＦＯを実装することによってこれらの目標を達成する。開示した方法によれば、ホストプロセッサは、ＦＩＦＯの「先頭」に格納されているイベントコマンドで始まる一連のエントリをＦＩＦＯに書き込む。実施形態では、エントリは、複数のエントリグループを含むことが可能で、各エントリグループは、イベントコマンドとそれに続くコプロセッサ命令の関連グループを含む。
【0010】
複数のコプロセッサを含むいくつかの実施形態では、各々のコプロセッサに１つのＦＩＦＯが充てられる。その上、各々のコプロセッサは、コプロセッサが新たな入力を受け取る準備ができたときにイベントコマンドを格納する「現在のイベント」レジスタを保持する。
【0011】
開示した方法によれば、プログラム動作中に、ＦＩＦＯの先頭エントリおよび関連するコプロセッサの現在のイベントレジスタは、連続的または疑似連続的に互いに比較される。コプロセッサの現在のイベントレジスタに格納されているイベントコマンドが、関連するＦＩＦＯの先頭エントリとして格納されているイベントコマンドと等しいか「一致している」ことがわかった場合、ＦＩＦＯのイベントコマンドの直後に続くコプロセッサ命令は、次のイベントコマンドが検出されるまで、またはＦＩＦＯに書き込まれた最後のエントリがポップされるまで、ＦＩＦＯから順番に「ポップ」される。実施形態では、ＦＩＦＯエントリは、ＦＩＦＯからポップされるときに消去され、残りのエントリは、後続のイベントコマンドが検出された場合にそれがＦＩＦＯの先頭に来るように進められる。
【0012】
ポップされたコプロセッサ命令は、実行するためにコプロセッサに転送される。通常、これらのポップされた命令がコプロセッサによって実行されると、コプロセッサは入力データを、コプロセッサのヘルパースレッドが必要としていることがわかっている種類と順序で取得する。実施形態では、コプロセッサ命令は、例えば共有ＤＲＡＭとコプロセッサとの間のデータ転送コマンド、および／またはホストとコプロセッサとの間の同期コマンドであり得る。ＦＩＦＯから受信したポップされたコプロセッサ命令を実行した後、コプロセッサは通常、コプロセッサに割り当てられたヘルパースレッドに含まれている適用可能なコマンドの実行に進む。例えば、ＦＩＦＯからポップされた命令は、共有ＤＲＡＭとデータを交換するようコプロセッサに指示してよく、その後、新たに受信したデータは、ヘルパースレッドの指示通りにコプロセッサによって符号化されるか処理される。
【0013】
ポップされた命令およびヘルパースレッドコマンドを実行している間、コプロセッサのシーケンサは、現在のイベントレジスタを消去するか、ＦＩＦＯのどのイベントコマンドエントリにも該当したり「一致」したりしていない何らかの他のレジストリエントリを現在のイベントレジスタに書き込み、それによって追加のコプロセッサ命令は、コプロセッサの準備ができるまでＦＩＦＯからポップされない。コプロセッサがＦＩＦＯから受信したポップされた命令をすべて実行し、ヘルパースレッドによって指示された任意のすべての処理工程を実施し終えると、コプロセッサは、イベントコマンドを現在のイベントレジスタに書き込んで、さらなるポップされたコマンドをＦＩＦＯから受信する準備ができていることを示す。実施形態では、コプロセッサはまた、「完了（ｄｏｎｅ）」メッセージをホストプロセッサに送信し、コプロセッサが以前にＦＩＦＯに書き込んだ命令を実行しているというコプロセッサの進捗をホストプロセッサが監視できるようにする。予想数の「完了」コマンドをホストプロセッサが受信すると、ホストプロセッサは、例えば、ＤＲＡＭと関連する入力チャネルおよび出力チャネルとの間で追加のデータを交換でき、次に、新たな一連のエントリをＦＩＦＯに書き込むことができる。
【0014】
実施形態では、ホストプロセッサおよび１つ以上のコプロセッサは、本発明者が共同発明者である米国特許第８，１８１，００３号（同文献をあらゆる目的のために参照によりその全容を本願に援用する）に開示されているバスアーキテクチャなどのリングタイプのバスを介して相互接続されている。これらの実施形態のいくつかでは、バスは、ハードウェアおよび／またはソフトウェアの有限状態機械（ＦＳＭ）として実装できるバスコントローラを含む。実施形態では、バスコントローラは、ＦＩＦＯの先頭部およびコプロセッサの現在のイベントレジスタのコンテンツを比較することと、ＦＩＦＯからコプロセッサ命令をポップすることと、ポップされたコプロセッサ命令をコプロセッサへ送信して実行することとを担当する。
【0015】
実施形態は追加のＦＩＦＯを含み、上記のＦＩＦＯを「スケジュール化された」ＦＩＦＯと称することができ、追加のＦＩＦＯは、例えば、１つ以上のホスト読み出しＦＩＦＯ、ホスト書き込みＦＩＦＯ、および／またはコプロセッサ書き込みＦＩＦＯを含むことができる。様々な実施形態では、ホスト読み出しＦＩＦＯは、コプロセッサのレジスタを読み出すようにホストが使用でき、ホスト書き込みＦＩＦＯは、コプロセッサレジスタに書き込むようにホストが使用でき、かつ／またはコプロセッサ書き込みＦＩＦＯは、「ホスト読み出し」コマンドなしでホストに書き込むようにコプロセッサが使用できる。特に、いくつかの実施形態では、「完了」メッセージは、コプロセッサ書き込みＦＩＦＯを介していずれかのコプロセッサがホストに送信できる。
【0016】
本発明は、ホストプロセッサとコプロセッサのプログラム実行を同期させる方法である。本方法は、
Ａ）アプリケーションをホスト部分とヘルパー部分とに分割する工程、
Ｂ）ホスト部分をホストプロセッサに実装し、ヘルパー部分をコプロセッサに実装する工程、
Ｃ）ホストプロセッサによって、イベントコマンドとそれに続く少なくとも１つのコプロセッサ命令を含むＦＩＦＯエントリをＦＩＦＯに書き込む工程であって、イベントコマンドは、ＦＩＦＯの先頭を占めている工程、
Ｄ）ＦＩＦＯの先頭にあるイベントコマンドをコプロセッサの現在のイベントレジスタにあるレジストリエントリと比較する工程、
Ｅ）現在のイベントレジスタにあるレジストリエントリがＦＩＦＯの先頭にあるイベントコマンドと一致するまで工程Ｄを繰り返す工程、
Ｆ）イベントコマンドおよび少なくとも１つのコプロセッサ命令をＦＩＦＯからポップし、ポップした少なくとも１つのコプロセッサ命令をコプロセッサに転送し、前記ポップは、すべてのＦＩＦＯエントリがポップされるまで、または後続のイベントコマンドであるＦＩＦＯエントリが検出されるまで続く工程、
Ｇ）コプロセッサによって、残りのどのＦＩＦＯエントリイベントコマンドとも一致していないエントリを現在のイベントレジスタに書き込む工程、
Ｈ）コプロセッサによってアプリケーションのヘルパー部分を実行する工程、
Ｉ）コプロセッサによって、ヘルパー部分の実行が完了したことを示すメッセージをホストプロセッサに送信する工程、ならびに
Ｊ）コプロセッサによって現在のイベントレジスタにイベントコマンドレジストリエントリを書き込む工程
を含む。
Ａ）アプリケーションをホスト部分とヘルパー部分とに分割する工程、
Ｂ）ホスト部分をホストプロセッサに実装し、ヘルパー部分をコプロセッサに実装する工程、
Ｃ）ホストプロセッサによって、イベントコマンドとそれに続く少なくとも１つのコプロセッサ命令を含むＦＩＦＯエントリをＦＩＦＯに書き込む工程であって、イベントコマンドは、ＦＩＦＯの先頭を占めている工程、
Ｄ）ＦＩＦＯの先頭にあるイベントコマンドをコプロセッサの現在のイベントレジスタにあるレジストリエントリと比較する工程、
Ｅ）現在のイベントレジスタにあるレジストリエントリがＦＩＦＯの先頭にあるイベントコマンドと一致するまで工程Ｄを繰り返す工程、
Ｆ）イベントコマンドおよび少なくとも１つのコプロセッサ命令をＦＩＦＯからポップし、ポップした少なくとも１つのコプロセッサ命令をコプロセッサに転送し、前記ポップは、すべてのＦＩＦＯエントリがポップされるまで、または後続のイベントコマンドであるＦＩＦＯエントリが検出されるまで続く工程、
Ｇ）コプロセッサによって、残りのどのＦＩＦＯエントリイベントコマンドとも一致していないエントリを現在のイベントレジスタに書き込む工程、
Ｈ）コプロセッサによってアプリケーションのヘルパー部分を実行する工程、
Ｉ）コプロセッサによって、ヘルパー部分の実行が完了したことを示すメッセージをホストプロセッサに送信する工程、ならびに
Ｊ）コプロセッサによって現在のイベントレジスタにイベントコマンドレジストリエントリを書き込む工程
を含む。
【0017】
実施形態では、ＦＩＦＯとコプロセッサとは、バスコントローラを有するバスを介してつながり、工程Ｄ）、Ｅ）、およびＦ）は、バスコントローラによって実行される。これらの実施形態のいくつかでは、バスは、リングアーキテクチャを有する。
【0018】
上記の実施形態のいずれにおいても、現在のイベントレジスタ内のレジストリエントリは、ＦＩＦＯの先頭にあるイベントコマンドと同一であれば、ＦＩＦＯの先頭にあるイベントコマンドと一致しているとみなせる。
【0019】
上記の実施形態のいずれも、コプロセッサの一部としてのコプロセッサメモリ、およびコプロセッサにアクセス可能な共有メモリをさらに含むことができ、少なくとも１つのポップされたコプロセッサ命令は、共有メモリからコプロセッサメモリにデータを読み出すようコプロセッサに指示する命令を含む。これらの実施形態のいくつかでは、少なくとも１つのポップされたコプロセッサ命令は、共有メモリとデータを交換するようコプロセッサに指示するコマンドを含む。これらの実施形態のいずれでも、共有メモリは、ホストプロセッサにアクセス可能とすることができ、アプリケーションのホスト部分は、共有メモリと少なくとも１つの入力および／または出力チャネルとの間でデータを交換するようホストプロセッサに指示するコマンドを含むことができる。
【0020】
上記の実施形態のいずれにおいても、少なくとも１つのポップされたコプロセッサ命令は、データフローコマンドと同期コマンドの少なくとも一方を含むことができる。
【0021】
上記の実施形態のいずれにおいても、工程Ｃ）では、ホストによってＦＩＦＯに書き込まれたＦＩＦＯエントリは、複数のエントリグループを含むことができ、各エントリグループは、イベントコマンドとそれに続く少なくとも１つのコプロセッサ命令を含む。これらの実施形態のいくつかでは、工程Ｆ）は、後続のイベントコマンドであるＦＩＦＯエントリが検出された場合にその後続のイベントコマンドがＦＩＦＯの先頭を占めるようにＦＩＦＯエントリをＦＩＦＯ内で進めることをさらに含む。
【0022】
上記の実施形態のいずれも、ホストプロセッサによってＦＩＦＯの先頭にあるイベントコマンドを読み出し、ホストプロセッサによってイベントコマンドをコプロセッサの現在のイベントレジスタに書き込むことをさらに含むことができる。
【0023】
上記の実施形態のいずれにおいても、ヘルパー部分は、任意の対話型入力がなくてよく、厳密に規定された入力順序を有することができる。
【0024】
上記の実施形態のいずれにおいても、ホスト部分は、事前に設定されていないタイミングに従うことができる。これらの実施形態のいくつかでは、ホスト部分は、事前に設定されていない対話型のタイミングに従う。
【0025】
上記の実施形態のいずれにおいても、アプリケーションは、パイプライン化したマルチバッチ実行プログラムであってよい。
【0026】
上記の実施形態のいずれにおいても、ヘルパー部分の実行が完了したことを示すメッセージは、コプロセッサ書き込みＦＩＦＯを介してコプロセッサによってホストプロセッサに送信できる。
【0027】
また、上記の実施形態のいずれも、ホスト読み出しＦＩＦＯを介してホストによってコプロセッサのレジスタを読み出すこと、ホスト書き込みＦＩＦＯを介してホストによってコプロセッサのレジスタを書き込むこと、およびコプロセッサ書き込みＦＩＦＯを介してコプロセッサによってホストに書き込むことのうち少なくとも１つをさらに含むことができる。
【0028】
本明細書に記載した特徴および利点は、包括的ではなく、特に、図面、明細書、および特許請求の範囲の観点から当業者には多くの追加の特徴および利点が明らかであろう。さらに、本明細書で使用した言葉は、主に読みやすさおよび教育目的のために選択されており、本発明の主題の範囲を限定するものではないことに注意されたい。
【図面の簡単な説明】
【0029】
【図1】単一のコプロセッサおよびＦＩＦＯを含む本発明の実施形態を示すブロック図である。
【0030】
【図2】リングバスおよびバスコントローラを使用して、ホストとＤＲＡＭとコプロセッサとの間で通信を実現する本発明の実施形態のブロック図である。
【0031】
【図3】本発明の実施形態でのホストとバスコントローラとコプロセッサとの間の動作および相互作用を示す流れ図である。
【0032】
【図4】複数のＦＩＦＯを含む本発明の実施形態を示すブロック図である。
【0033】
【0034】
【発明を実施するための形態】
【0035】
図１を参照すると、本発明は、割り込みに依存することなく、かつＭＰＩ実装の実行速度ペナルティを回避しながら、ホストプロセッサ１００および１つ以上のコプロセッサ１０２のプログラム実行を同期させ調整する方法である。本発明は、「イベント」コマンドを格納できるとともに、データフローおよび同期命令などのコプロセッサ命令も格納できる少なくとも１つのＦＩＦＯ１０４を実装することによってこれらの目標を達成する。開示した方法によれば、ホストプロセッサ１００は、ＦＩＦＯ１０４の「先頭」１０６に格納されている「イベント」コマンドで始まる一連のエントリをＦＩＦＯ１０４に書き込む。その上、各々のコプロセッサ１０２は、コプロセッサ１０２が新たな入力を受信する準備ができたときにイベントコマンドを格納する「現在のイベント」レジスタ１０８を保持する。
【0036】
図２を参照すると、実施形態では、ホストプロセッサおよび全コプロセッサは、本発明者が共同発明者である米国特許第８，１８１，００３号（同文献をあらゆる目的のために参照によりその全容を本願に援用する）に開示されているバスアーキテクチャなどのリングタイプのバス２００を介して相互接続されている。これらの実施形態のいくつかでは、バス２００は、ハードウェアおよび／またはソフトウェアの有限状態機械（ＦＳＭ）として実装できるバスコントローラ２０２を含む。実施形態では、バスコントローラ２０２は、ＦＩＦＯの先頭部１０６およびコプロセッサの現在のイベントレジスタ１０８のコンテンツを比較することと、ＦＩＦＯ１０４からコプロセッサ命令をポップすることと、コプロセッサ命令をＦＩＦＯ１０４からコプロセッサ１０２へ送信して実行することとを担当する。図示した実施形態では、ＦＩＦＯ１０４は、ホスト１００とコプロセッサ１０２の両方にアクセス可能なＤＲＡＭインターフェースユニット２０４に実装される。
【0037】
図３は、本方法の一実施形態を示す流れ図であり、ホスト１００とコプロセッサ１０２のプログラム実行は、音声符号化アプリケーションの場合のように、複数のデータフレームを処理するためにＦＩＦＯ１０４およびバスコントローラ２０２によって同期される。図示した例によれば、ホスト１００は、入力チャネルからデジタル音声データのＮ個のフレームを受信し、それをホスト１００とコプロセッサ１０２の両方にアクセス可能なＤＲＡＭ２０４に格納する３００。さらに、ホスト１００は、処理した音声データのＮ個のフレームをＤＲＡＭ２０４から出力チャネルに出力する３０２。このときＤＲＡＭには、符号化されるか処理される状態にある入力データのＮ個のフレームがあるため、ホスト１００は次に、Ｎ個の連続したエントリグループをＦＩＦＯ１０４に書き込み、各エントリグループは、イベントコマンド「Ｅｖｅｎｔ＝１」で始まる３０４。各エントリグループはコプロセッサ命令を含み、その命令で、ＤＲＡＭ２０４からの入力データのフレームをコプロセッサの内部メモリに入力し、そのデータを符号化するか処理し、その後、処理したデータを出力データとしてＤＲＡＭ２０４に返信するようコプロセッサに指示するという点で、エントリグループは本質的に同じである。この時点で、ホスト１００は他のタスクを進めるか、コプロセッサ１０２からＮｘ「完了」メッセージを受信するのを単純に待ち３０６、このメッセージは、入力データのＮ個のフレームのすべてがコプロセッサ１０２によって処理されたことを示す。
【0038】
様々な実施形態で、ホスト１００は、イベントコマンドをコプロセッサ１０２の現在のイベントレジスタ１０８に書き込んで、例えばエラー状態に対処するときにエントリのポップを強制ができることに注意されたい。一方、バスコントローラ２０２は、連続的または疑似連続的に、ＦＩＦＯの先頭１０６をコプロセッサの現在のイベントレジスタ１０８のコンテンツと比較して３０８、それが互いに等しいか互いに「一致している」かを判断し３１０、この一致は、２つのエントリ間の何らかの規定された関係であり得る。コプロセッサ１０２の現在のイベントレジスタ１０８に格納されているイベントコマンドが、関連するＦＩＦＯの先頭エントリ１０６として格納されているイベントコマンドと等しいか一致していることがわかった場合、ＦＩＦＯのイベントコマンドの直後に続くイベントコマンドおよびコプロセッサ命令は、次のイベントコマンドが検出されるまで３１４、またはＦＩＦＯ１０４に書き込まれた最後のエントリがポップされるまで、ＦＩＦＯ１０４から「ポップ」される３１２。ポップされたコプロセッサ命令は、実行するためにコプロセッサに送信される。実施形態では、ＦＩＦＯエントリは、ＦＩＦＯからポップされるときに消去され、残りのエントリは、後続のイベントコマンドが検出されてポップ処理が停止した場合に後続のイベントコマンドがＦＩＦＯ１０４の先頭１０６を占めるように進められる。
【0039】
イベントコマンドがＦＩＦＯ１０４の先頭エントリ１０８と一致しているときに３１０、現在のイベントレジスタ１０８に「Ｅｖｅｎｔ＝１」などのイベントコマンドがある場合、それは、コプロセッサ１０２が準備できていて、バスコントローラ２０２からの命令を待っていることを指す３１６。ポップされたコプロセッサ命令を受信すると、コプロセッサ１０２は、「Ｅｖｅｎｔ＝０」または何らかの他のエントリを現在のイベントレジスタ１０８に書き込む３１８。現在のイベントレジスタは、ＦＩＦＯ１００内のどのイベントコマンドエントリとも一致しないため、コプロセッサ１０２がビジーで、ＦＩＦＯ１０４からそれ以上コプロセッサ命令を受信する準備ができていないことを示す。
【0040】
図示した例では、ポップされたコプロセッサ命令は、ＤＲＡＭ２０４からの入力データフレームをコプロセッサ内部メモリの位置ｎ＋１に読み出し３２０、処理したデータフレーム３２２を位置ｎ－１からＤＲＡＭ２０４に出力するようコプロセッサ１０２に指示する。コプロセッサ１０２は、コプロセッサ１０２に割り当てられたヘルパースレッドに含まれているコードに従って入力データフレーム３２２を位置ｎ＋１で符号化するか処理することも進める。データフレームの処理が完了すると、コプロセッサ１０２は、「完了」メッセージをホスト１００に送信し３２６、ｎの値を増分し３２８、現在のイベントレジスタ３３０をＥｖｅｎｔ＝１に戻す設定をする。それによってＦＩＦＯ１０４からさらに多くのポップされた命令を受信する準備ができていることを示す。
【0041】
予想数の「完了」メッセージがホストプロセッサ１００によって受信されると３０６、例えば、追加のデータをＤＲＡＭ２０４から読み出し３００、ＤＲＡＭに書き込むことができ３０２、次に、新たな一連のエントリをＦＩＦＯ１０２に書き込むことができる３０４。
【0042】
図４を参照すると、実施形態は、追加のＦＩＦＯ４０２～４０４を含み、ここではＦＩＦＯ１００を「スケジュール化された」ＦＩＦＯ１００と称することができ、追加のＦＩＦＯは、例えば、１つ以上のホスト読み込みＦＩＦＯ４００、ホスト書き込みＦＩＦＯ４０２、および／またはコプロセッサ書き込みＦＩＦＯ４０４を含むことができる。様々な実施形態では、ホスト読み出しＦＩＦＯ４００は、コプロセッサ１０２のレジスタを読み出すためにホスト１００が使用でき、ホスト書き込みＦＩＦＯ４０２は、コプロセッサレジスタに書き込むためにホスト１００が使用でき、かつ／またはコプロセッサ書き込みＦＩＦＯ４０４は、「ホスト読み出し」コマンドなしでホスト１００に書き込むためにコプロセッサ１０２が使用できる。いくつかの実施形態では、「完了」メッセージは、コプロセッサ１０２のいずれかがコプロセッサ書き込みＦＩＦＯ４０４を介してホスト１００に送信できる３２６。
【0043】
図５は、音声符号化アプリケーションに実装されている図４の方法を描いた簡易ブロック図である。図示した例では、音声データフレームは、入力チャネルから２０ｍｓあたり１フレームの割合で受信され５００、ＤＲＡＭ２０４に格納される５０２。各フレームは、「バッチ」とみなされ、パイプラインマルチバッチ実行プロセスが、単一の入力チャネルから受信した複数の入力フレームに適用される。上記で考察したように、ホスト１００は、入力チャネルから入力フレームを受信し３００、５００、それをＤＲＡＭ２０４に格納し５０２、コプロセッサ１０２によって符号化された後にデータフレームをＤＲＡＭ２０４から出力チャネルに出力する３０２、５０４ことを担当する。
【0044】
表１～３は、ホスト１００によって実行されるコード（表１）およびコプロセッサ１０２によって実行されるコード（表２）、ならびに図５の実施形態でバスコントローラ２０２によってポップされる前にホスト１００によってＦＩＦＯ１０４に書き込まれるエントリ（表３）を示している。
【0045】
表１：ホストＣＰＵプログラム
while (! Done) {
receive input of F frames from
input channels（Ｆ個のフレームの入力を入力チャネルから受信）
send output of F frames tooutput channels（Ｆ個のフレームの出力を出力チャネルに送信）
write F frames of input/output pair each starting with event #1 to scheduled FIFO as shown（各々がイベント＃１から始まる入力／出力のペアのＦ個のフレームを図示したようにスケジュール化されたＦＩＦＯに書き込む）
receive F frames of “end” from coprocessor （「終了」のＦ個のフレームをコプロセッサから受信する）}
Note: f = loop time / 20 ms（注：ｆ＝ループ時間／２０ｍｓ）
while (! Done) {
receive input of F frames from
input channels（Ｆ個のフレームの入力を入力チャネルから受信）
send output of F frames tooutput channels（Ｆ個のフレームの出力を出力チャネルに送信）
write F frames of input/output pair each starting with event #1 to scheduled FIFO as shown（各々がイベント＃１から始まる入力／出力のペアのＦ個のフレームを図示したようにスケジュール化されたＦＩＦＯに書き込む）
receive F frames of “end” from coprocessor （「終了」のＦ個のフレームをコプロセッサから受信する）}
Note: f = loop time / 20 ms（注：ｆ＝ループ時間／２０ｍｓ）
【0046】
表２：コプロセッサプログラム
1. Set current Event = 1（現在のＥｖｅｎｔ＝１に設定）
2. Start encoding algorithm（符号化アルゴリズムを開始）
3. Write to CPU to indicate frame processing “done”（ フレーム処理の「完了」を示すようＣＰＵに書き込む）
4. Goto 1（１に戻る）
1. Set current Event = 1（現在のＥｖｅｎｔ＝１に設定）
2. Start encoding algorithm（符号化アルゴリズムを開始）
3. Write to CPU to indicate frame processing “done”（ フレーム処理の「完了」を示すようＣＰＵに書き込む）
4. Goto 1（１に戻る）
【0047】
表３：スケジュール化されたＦＩＦＯのコンテンツ
Entries from Head of Scheduled
FIFO （スケジュール化されたＦＩＦＯの先頭からのエントリ
）-
001: Event = 1
002: Command for input of frame n+1 data transfer from dram Addr Xn+1 to coprocessor（ｄｒａｍ Ａｄｄｒ Ｘｎ＋１からコプロセッサへのフレームｎ＋１のデータ転送を入力するためのコマンド）
003: Command for output of frame n-1 data transfer from coprocessor to DRAM Addr Yn-1（コプロセッサからＤＲＡＭ Ａｄｄｒ Ｙｎ－１へのフレームｎ－１のデータ転送を出力するためのコマンド）
004: Event = 1
005: Command for input of frame n+2 data transfer from DRAM Addr Xn+2 to coprocessor（ＤＲＡＭ Ａｄｄｒ Ｘｎ＋２からコプロセッサへのフレームｎ＋２のデータ転送を入力するためのコマンド）
006:Comand for output of frame n data transfer from coprocessor to DRAM Addr Yn（コプロセッサからＤＲＡＭ Ａｄｄｒ Ｙｎへのフレームｎのデータ転送を出力するためのコマンド）
......
Entries from Head of Scheduled
FIFO （スケジュール化されたＦＩＦＯの先頭からのエントリ
）-
001: Event = 1
002: Command for input of frame n+1 data transfer from dram Addr Xn+1 to coprocessor（ｄｒａｍ Ａｄｄｒ Ｘｎ＋１からコプロセッサへのフレームｎ＋１のデータ転送を入力するためのコマンド）
003: Command for output of frame n-1 data transfer from coprocessor to DRAM Addr Yn-1（コプロセッサからＤＲＡＭ Ａｄｄｒ Ｙｎ－１へのフレームｎ－１のデータ転送を出力するためのコマンド）
004: Event = 1
005: Command for input of frame n+2 data transfer from DRAM Addr Xn+2 to coprocessor（ＤＲＡＭ Ａｄｄｒ Ｘｎ＋２からコプロセッサへのフレームｎ＋２のデータ転送を入力するためのコマンド）
006:Comand for output of frame n data transfer from coprocessor to DRAM Addr Yn（コプロセッサからＤＲＡＭ Ａｄｄｒ Ｙｎへのフレームｎのデータ転送を出力するためのコマンド）
......
【0048】
図示した例のバッチレートは、ループ時間をフレーム時間で割ったものであることに注意されたい。例えば、ループ時間が１００ｍｓで、フレームが１フレームあたり２０ｍｓのレートで受信されている場合、各ループに対してホスト１００は、１００／２０＝５フレームの音声データを受信して処理する能力があり、ホスト１００によってＦＩＦＯ１０４に書き込まれるエントリの各文字列は、エントリの５つのバッチを含み、各バッチは、イベントコマンドで始まり、その後ろに、コプロセッサ１０２によって実行されるデータ読み出し／書き込み命令が続く。
【0049】
したがって、図示した例では、ホスト１００およびコプロセッサ１０２は、ＤＲＡＭ２０４への書き込みおよびその読み出しを含め、互いに別々に独立して動作することが可能である。なぜなら、ＦＩＦＯ１０４に格納されているイベントおよび関連するコプロセッサコマンドは、書き込み後の読み取り、または他の同期エラー、または他の問題がないことを確実にする役割を果たす。そのため、割り込みは必要なく、同期およびデータ転送のために追加のプロトコルも必要ない。
【0050】
図示した実施形態では、イベントコマンドは、本質的に「準備のできた」フラッグとして使用される。他の実施形態では、複数の様々な種類のイベントコマンド、例えば「Ｅｖｅｎｔ＝１」、「Ｅｖｅｎｔ＝２」などを実装できる。これは、例えばコプロセッサがデータ処理の様々な段階でＦＩＦＯからの入力を要求した場合、および／またはエラー状態を識別して対処するために有用となり得る。
【0051】
マルチコアプロセッサ環境では、パイプライン化したマルチバッチ実行のメモリ要件、およびそれに伴い電力消費は、各々の実行時間がほぼ同じである複数のサブ機能またはヘルパー「スレッド」の中で「ヘルパー」データ処理を分散することによってさらに軽減でき、各々のサブ機能は、別々のコプロセッサコアに割り当てられる。この手法によれば、各々のコプロセッサコアは、サブ機能のうちの１つに対してコードを含むよう要求されるだけである。
【0052】
例えばｎ個のコアがある場合、合計「ヘルパー」処理時間は、前例のようにコアが１つしかない実施と比較して１／ｎに短縮される。したがって、マルチコアの実施形態に要求されるクロックレートは、単一コアの実施形態よりもはるかに遅く、電力消費も大幅に少なくなり得る。あるいは、クロックレートが維持されれば、マルチコアの実施形態では、単一コアの実施形態と比較して所与のレートで多数のチャネルに対して符号化または他のデータ処理を実施できる。
【0053】
ただし注意すべきことは、マルチコアの実施形態では、サブ機能どうしの間、すなわちコア間ではデータフローが要求されることがあり、また、共有ＤＲＡＭとコアとの間では入力および出力データフローが要求されることがあり、これによって、一部のマルチコアの実施形態に対するネットワーク要件が単一コアの実施形態よりもはるかに複雑になる。米国特許第８，８１１，３８７号（同文献をあらゆる目的のために参照によりその全容を本願に援用する）に記載されているネットワーク構造は、これらの実施形態のいくつかで良好な解決策となり得る。
【0054】
図６は、例えばパイプライン化したマルチバッチ実行をマルチコアコプロセッサで行う分割音声エンコーダに適用できるように、コプロセッサ３２４ａ～ｋの各々に専用のＦＩＦＯ１０４ａ～ｋを有する複数のコプロセッサ３２４ａ～ｋを含んでいる本発明の実施形態を示している。表４、表５、および表６は、ホスト１００によって図６の実施形態で実行されるコード（表４）およびコプロセッサ１０２によって実行されるコード（表５）、ならびにバスコントローラ２０２によってポップされる前にホスト１００によってＦＩＦＯ１０４ａ～ｋに書き込まれるエントリ（表６）を示している。
【0055】
表４：ホストＣＰＵプログラム
while (! Done) {
receive input of F frames from input channels（Ｆ個のフレームの入力を入力チャネルから受信）
send output of F frames to output channels（Ｆ個のフレームの出力を出力チャネルに送信）
write F frames of input/output pair each starting with event #1 to scheduled FIFO as shown（各々がイベント＃１から始まる入力／出力のペアのＦ個のフレームを図示したようにスケジュール化されたＦＩＦＯに書き込む）
receive F frames of “end” from coprocessor（「終了」のＦ個のフレームをコプロセッサから受信する）}
Note: f = loop time / 20 ms（ｆ＝ループ時間／２０ｍｓ）
while (! Done) {
receive input of F frames from input channels（Ｆ個のフレームの入力を入力チャネルから受信）
send output of F frames to output channels（Ｆ個のフレームの出力を出力チャネルに送信）
write F frames of input/output pair each starting with event #1 to scheduled FIFO as shown（各々がイベント＃１から始まる入力／出力のペアのＦ個のフレームを図示したようにスケジュール化されたＦＩＦＯに書き込む）
receive F frames of “end” from coprocessor（「終了」のＦ個のフレームをコプロセッサから受信する）}
Note: f = loop time / 20 ms（ｆ＝ループ時間／２０ｍｓ）
【0056】
表５：コプロセッサプログラム
Program in core 1（コア１でのプログラム）
1. Set current Event = 1（現在のＥｖｅｎｔ＝１に設定）
2. Start subvn k algorithm（ｓｕｂｖｎ ｋアルゴリズムを開始）
3. If core == l. wrote to CPU to indicate batch processing “done”（ コア＝＝１であればバッチ処理の「完了」を示すようＣＰＵに書き込む）
4. Goto 1（１に戻る）
….
Program in core k（コアｋでのプログラム）
1. Set current Event = 1（現在のＥｖｅｎｔ＝１に設定）
2. Start subvn k algorithm（ｓｕｂｖｎ ｋアルゴリズムを開始）
3. If core == l. wrote to CPU to indicate batch processing “done”（ コア＝＝１であればバッチ処理の「完了」を示すようＣＰＵに書き込む）
4. Goto 1（１に戻る）
Program in core 1（コア１でのプログラム）
1. Set current Event = 1（現在のＥｖｅｎｔ＝１に設定）
2. Start subvn k algorithm（ｓｕｂｖｎ ｋアルゴリズムを開始）
3. If core == l. wrote to CPU to indicate batch processing “done”（ コア＝＝１であればバッチ処理の「完了」を示すようＣＰＵに書き込む）
4. Goto 1（１に戻る）
….
Program in core k（コアｋでのプログラム）
1. Set current Event = 1（現在のＥｖｅｎｔ＝１に設定）
2. Start subvn k algorithm（ｓｕｂｖｎ ｋアルゴリズムを開始）
3. If core == l. wrote to CPU to indicate batch processing “done”（ コア＝＝１であればバッチ処理の「完了」を示すようＣＰＵに書き込む）
4. Goto 1（１に戻る）
【0057】
表６：スケジュール化されたＦＩＦＯのコンテンツ
Entries from head of Scheduled FIFO of Coprocessor Core 1（コプロセッサコア１のスケジュール化されたＦＩＦＯの先頭からのエントリ） -
001: Event = 1
002: Command for input of frame n-1 data transfer from Coprocessor Core k to DRAM Addr Yn-1（コプロセッサコアｋからＤＲＡＭ Ａｄｄｒ Ｙｎ－１へのフレームｎ－１のデータ転送を入力するためのコマンド）
003: Event = 1
004: Command for input of frame n data transfer from Coprocessor Core k to DRAM Addr Yn（コプロセッサコアｋからＤＲＡＭ Ａｄｄｒ Ｙｎへのフレームｎのデータ転送を入力するためのコマンド）
......
....
Entries from head of Scheduled FIFO of Coprocessor Core k （コプロセッサコアｋのスケジュール化されたＦＩＦＯの先頭からのエントリ）-
001: Event = 1
002: Command for input of frame n-1 data transfer from Coprocessor Core k to DRAM Addr Yn-1（コプロセッサコアｋからＤＲＡＭ Ａｄｄｒ Ｙｎ－１へのフレームｎ－１のデータ転送を入力するためのコマンド）
003: Event = 1
004: Command for input of frame n data transfer from Coprocessor Core k to DRAM Addr Yn（プロセッサコアｋからＤＲＡＭ Ａｄｄｒ Ｙｎへのフレームｎのデータ転送を入力するためのコマンド）
......
Entries from head of Scheduled FIFO of Coprocessor Core 1（コプロセッサコア１のスケジュール化されたＦＩＦＯの先頭からのエントリ） -
001: Event = 1
002: Command for input of frame n-1 data transfer from Coprocessor Core k to DRAM Addr Yn-1（コプロセッサコアｋからＤＲＡＭ Ａｄｄｒ Ｙｎ－１へのフレームｎ－１のデータ転送を入力するためのコマンド）
003: Event = 1
004: Command for input of frame n data transfer from Coprocessor Core k to DRAM Addr Yn（コプロセッサコアｋからＤＲＡＭ Ａｄｄｒ Ｙｎへのフレームｎのデータ転送を入力するためのコマンド）
......
....
Entries from head of Scheduled FIFO of Coprocessor Core k （コプロセッサコアｋのスケジュール化されたＦＩＦＯの先頭からのエントリ）-
001: Event = 1
002: Command for input of frame n-1 data transfer from Coprocessor Core k to DRAM Addr Yn-1（コプロセッサコアｋからＤＲＡＭ Ａｄｄｒ Ｙｎ－１へのフレームｎ－１のデータ転送を入力するためのコマンド）
003: Event = 1
004: Command for input of frame n data transfer from Coprocessor Core k to DRAM Addr Yn（プロセッサコアｋからＤＲＡＭ Ａｄｄｒ Ｙｎへのフレームｎのデータ転送を入力するためのコマンド）
......
【0058】
本発明の実施形態によって対処できるアプリケーションの別の例が、深層学習推論アプリケーションである。これらのアプリケーションは、音声および映像を推論する場合のフレーム構造が、入力のレートが一定である音声符号化アプリケーションの場合のフレーム構造に似ているという点で、音声符号化アプリケーションに似ている。ほとんどの場合、入力のレートは、他の推論プログラムにも対しても一定にできる。そのため、本発明は、スケジュール化されたＦＩＦＯ１０４を用いて少なくとも３つの異なる方法で実装して、パイプライン化したマルチバッチ実行で以下の同期およびデータフロー機構を提供できる：
・単一のコプロセッサを使用する単一チャネル推論プログラム、
・複数のコプロセッサを使用するマルチチャネル推論プログラム、または
・プログラムがサブ機能に分割され、各々のサブ機能がコプロセッサコアに割り当てられる単一チャネルまたはマルチチャネル推論プログラム。
・単一のコプロセッサを使用する単一チャネル推論プログラム、
・複数のコプロセッサを使用するマルチチャネル推論プログラム、または
・プログラムがサブ機能に分割され、各々のサブ機能がコプロセッサコアに割り当てられる単一チャネルまたはマルチチャネル推論プログラム。
【0059】
実施形態では、現在のイベントレジスタは、ホストにアクセス可能である。これらの実施形態のいくつかでは、ホストは、必要に応じて、現在ＦＩＦＯの先頭にあるイベントコマンドを読み出し、それをコプロセッサの現在のイベントレジスタに書き込むことによって、ヘルパースレッドのコプロセッサによって実行を開始できる。
【0060】
本発明の実施形態の上記の説明は、例示および説明を目的として提示したものである。この提示の各頁およびその全コンテンツは、特徴付け、識別、または番号付けがされていても、本出願内の形式または配置に関係なく、あらゆる目的で本出願の実質的な部分とみなされる。本明細書は、網羅的であることや、本発明を開示した正確な形式に限定することを意図するものではない。本開示に照らして、多くの修正および変形が可能である。
【0061】
本出願は、限られた数の形式で示されているが、本発明の範囲は、これらの形式のみに限定されるものではなく、その趣旨から逸脱しない限り、様々な変更および修正を受け入れることができる。本明細書に提示した開示は、本発明の範囲内に収まる特徴の可能な組み合わせをすべて明示的に開示しているわけではない。様々な実施形態に関して本明細書に開示した特徴は、概して、本発明の範囲を逸脱しないかぎり、入れ替え可能であり、自己矛盾しない任意の組み合わせに合わせることができる。特に、下記の従属請求項に提示した制限は、本開示の範囲を逸脱しない限り、従属請求項が論理的に互いに相容れない場合を除き、それに対応する独立請求項との組み合わせがいくつでもどのような順序でも可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】