特開 2024-121837 多段階推論システム、及び、多段階推論装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024121837

(43)【公開日】2024-09-09

(54)【発明の名称】多段階推論システム、及び、多段階推論装置

(51)【国際特許分類】

   G06F 9/54 20060101AFI20240902BHJP

   G06F 9/48 20060101ALI20240902BHJP

   G06N 5/04 20230101ALI20240902BHJP

【ＦＩ】

G06F9/54 B

G06F9/48 370

G06N5/04

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023029023

(22)【出願日】2023-02-28

(71)【出願人】

【識別番号】319000436

【氏名又は名称】ラトナ株式会社

(74)【代理人】

【識別番号】100185878

【弁理士】

【氏名又は名称】植田 晋一

(72)【発明者】

【氏名】高橋 智

(72)【発明者】

【氏名】大田和 響子

(57)【要約】

【課題】複数の推論処理が多段階に組み合わされて処理が行われる場合において、処理時間の短縮化を図る。
【解決手段】多段階推論システム１００は、コンテナ技術を用いてアプリケーションが実装された推論装置１Ａ、１Ｂ、１Ｃにより構成される。推論システム１００は、推論装置１Ａ、１Ｂ、１Ｃに設けられ、機械学習モデルを用いて推論処理を実行する複数の推論部１１１～１１７と、推論装置１の少なくとも１つに設けられ、推論部１１１～１１７から後続の推論部１１１～１１７へのデータの授受を非同期で実行し、データのキューイング機構を備える非同期通信部４４と、を備える。
【選択図】図１１

【特許請求の範囲】

【請求項1】

コンテナ技術を用いてアプリケーションが実装された推論装置の複数により構成される多段階推論システムであって、
前記多段階推論システムは、
前記推論装置に設けられ、機械学習モデルを用いて推論処理を実行する複数の推論部と、
前記推論装置の少なくとも１つに設けられ、前記推論部から後続の前記推論部へのデータの授受を非同期で実行し、データのキューイング機構を備える非同期通信部と、を備える、多段階推論システム。

【請求項2】

前記推論装置のそれぞれは、複数の前記推論装置にまたがる前記アプリケーションの実行環境を構成するオーケストレーションエンジンを備え、
前記推論装置の１つは、異なる前記推論装置の間において、前記推論部から後続の前記推論部へのデータの授受を非同期で実行可能な前記非同期通信部を備える、請求項１に記載の多段階推論システム。

【請求項3】

前記推論装置のそれぞれは、相互に連携して動作することで、異なる前記推論装置の間において、前記推論部から後続の前記推論部へのデータの授受を非同期で実行可能な前記非同期通信部を備える、請求項１に記載の多段階推論システム。

【請求項4】

前記非同期通信部は、前記推論部から書き込まれる前記データ、及び、前記後続の推論部から読み出される前記データをキューイング可能に構成されている、請求項１に記載の多段階推論システム。

【請求項5】

前記非同期通信部は、前記推論部から書き込まれてキューイングされた前記データを、前記後続の推論部から読み出されるキューに移動させた後に、前記後続の推論部に、読み出し対象の前記データが存在することを通知する、請求項４に記載の多段階推論システム。

【請求項6】

前記推論部は、前記機械学習モデルを用いた推論処理部と、変換部とを有し、
前記変換部は、前記推論処理部から出力されるデータを、前記後続の推論部の前記推論処理部への入力形式に変換する、請求項１に記載の多段階推論システム。

【請求項7】

前記変換部は、前記データをＪＳＯＮ形式に変換する、請求項６に記載の多段階推論システム。

【請求項8】

前記推論部は、前記データに対して特徴に応じた１つ以上のタグを付与し、前記タグが付された複数の前記データを、前記非同期通信部の前記キューイング機構に記録し、
前記後続の推論部は、前記キューイング機構に記録された前記データに付された前記タグを参照し、前記推論部自身の処理に用いる特徴の前記タグが付されたデータを取得する、請求項１に記載の多段階推論システム。

【請求項9】

前記推論部は、前記データを分割して複数の分割データを生成し、前記分割データに対して特徴に応じたタグを付与し、前記タグが付された複数の前記分割データを、前記非同期通信部の前記キューイング機構に記録し、
前記後続の推論部は、前記非同期通信部の前記キューイング機構に記録された前記分割データに付された前記タグを参照し、自身の処理に用いる特徴の前記タグが付された前記分割データを取得する、請求項１に記載の多段階推論システム。

【請求項10】

前記後続の推論部は、取得した複数の前記分割データを結合し、結合した前記分割データを用いて推論処理を行う、請求項９に記載の多段階推論システム。

【請求項11】

前記非同期通信部のキューイング機構は、複数の前記後続の推論部からの前記データの読み出しが可能なキューを備える、請求項９に記載の多段階推論システム。

【請求項12】

前記非同期通信部のキューイング機構は、複数の前記推論部からの前記データの書き込みが可能なキューを備える、請求項１１に記載の多段階推論システム。

【請求項13】

コンテナ技術を用いてアプリケーションが実装される多段階推論装置であって、
前記多段階推論装置は、機械学習モデルを用いて推論処理を実行する複数の推論部と、前記推論部から後続の前記推論部へのデータの授受を非同期で実行する非同期通信部と、を備え、
前記非同期通信部は、データのキューイング機構を備える、多段階推論装置。

【請求項14】

前記多段階推論装置は、前記コンテナ技術により実装されるアプリケーションの実行環境を管理するオーケストレーションエンジンを備える、請求項１３に記載の多段階推論装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多段階推論システム、及び、多段階推論装置に関する。

【背景技術】

【0002】

近年注目されている人工知能技術によれば、過去のデータを用いた機械学習によって学習済みモデルを構築し、構築された学習済みモデルを用いた推論処理が行われている。推論処理は、一般に計算能力の高い計算機で行われる必要があり、例えば、ＲＥＳＴ（Representational State Transfer）のような明確でシンプルなＡＰＩ（Application Programming Interface）により各機能が接続された、汎用的なアーキテクチャに基づいて構成されたサーバが利用される（例えば特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１９６７３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年の機械学習は複雑化しており、複数の推論処理を状況に応じて組み合わせ、組み合わせた推論結果を用いてさらに推論処理が行われることがある。しかしながら、ＲＥＳＴのような汎用的なアーキテクチャにおいてはシンプルなＡＰＩで機能が連結されるため、処理負荷が高い場合には、ある推論部の処理結果を用いて次の推論部が処理を行うと、次の推論部が処理の実行中に新たな処理を受け付けられないので、次の処理の開始まで時間を要する場合がある。そのため、汎用的なアーキテクチャ設計の計算機において多段階の推論処理を組み合わせる場合には、最終的な推論結果を得るまでに時間がかかるおそれがある。

【0005】

本発明は、このような課題を解決するためになされたものであり、複数の推論処理が多段階に組み合わされて処理が行われる場合において、処理時間の短縮化を図る多段階推論システム、及び、多段階推論装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本願発明の一態様の多段階推論システムは、コンテナ技術を用いてアプリケーションが実装された推論装置の複数により構成される。多段階推論システムは、推論装置に設けられ、機械学習モデルを用いて推論処理を実行する複数の推論部と、推論装置の少なくとも１つに設けられ、推論部から後続の推論部へのデータの授受を非同期で実行し、データのキューイング機構を備える非同期通信部と、を備える。

【0007】

本願発明の多段階推論装置は、コンテナ技術を用いてアプリケーションが実装される。多段階推論装置は、機械学習モデルを用いて推論処理を実行する複数の推論部と、推論部から後続の推論部へのデータの授受を非同期で実行する非同期通信部と、を備え、非同期通信部は、データのキューイング機構を備える。

【発明の効果】

【0008】

本願発明の多段階推論システム、及び、多段階推論装置によれば、コンテナ技術を用いて実装された推論部から後続の推論部へのデータの授受を非同期で実行する非同期通信部を備えており、非同期通信部は、データのキューイング機構を備える。

【0009】

コンテナ技術で実装されたアプリケーション間は、コンテナエンジンの技術によって相互に通信可能であるが、特に、マイクロサービスアーキテクチャを採用する場合には、推論部の数が多くなるためデータの授受に大きな遅延が発生し、処理速度が低下するおそれがある。

【0010】

そこで、推論部から後続の推論部へのデータの授受を行うために、キューイング機構を有する非同期通信部を別途備えることにより、推論部は、後続の推論部が処理中であっても後続の推論部の処理の完了を待たずに、処理結果の送信を実行できるため、全体として多段階の推論処理の高速化を図ることができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態の多段階の推論装置に関する概略構成図である。

【図2】推論装置のハードウェア構成図である。

【図3】推論装置のソフトウェア構成図である。

【図4A】非同期通信部の動作の説明図である。

【図4B】非同期通信部のキューイング機構の説明図である。

【図5】非同期通信部の処理を示すフローチャートである。

【図6】多段階の推論装置のソフトウェアの概略構成の一例を示す図である。

【図7】多段階の推論システムの具体的態様を説明する表である。

【図8】機械学習及び推論処理を示す図である。

【図9】推論システムの変形例を示す図である。

【図10】第２実施形態の多段階の推論システムの概略構成図である。

【図11】多段階の推論システムのシステム構成図である。

【図12】変形例の多段階の推論システムのシステム構成図である。

【図13A】第３実施形態の多段階の推論装置が備える非同期通信部のキューイング機構の説明図である。

【図13B】非同期通信部の書き込み側のキューイング機構の説明図である。

【図13C】非同期通信部の読み出し側のキューイング機構の説明図である。

【図14】非同期通部信の処理を示すフローチャートである。

【図15】多段階の推論装置のソフトウェアの概略構成の一例を示す図である。

【図16】第４実施形態の多段階の推論装置のソフトウェアの概略構成を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して、本発明の実施の形態について説明する。実施の形態の説明において、個数や量などに言及する場合や特に記載がある場合等を除き、本発明の範囲は必ずしもその個数や量などに限定するものではない。実施形態を示す図面において、同一の名称は、同一部分または相当部分を示すものとする。また、実施形態の説明において、同一の名称を付した部分等に対しては、重複する説明は繰り返さずに省略する。

【0013】

図１は、本実施形態の多段階の推論処理を実行する推論装置に関する概略構成図である。

【0014】

この図には、ローカル環境１０に設けられる推論装置１、複数のセンサ２Ａ、２Ｂ、及び、制御対象装置３と、これらのローカル環境１０に設けられた機器とネットワーク４を介して接続される学習システム５、及び、データストレージ６とが示されている。なお、この図には２つのセンサ２Ａ、２Ｂが示されているが、３つ以上のセンサ２が設けられていてもよい。推論装置１が車両に搭載されている場合には、照度センサ２や、速度センサ２により取得されたデータを用いて、推論装置１が複数の多段階の推論処理を行い、最終的な推論結果を求める。そして、推論装置１は、得られた最終的な推論結果に基づいて制御対象装置３（ステアリング、アクセル、及び、ブレーキ等）を制御する。

【0015】

推論装置１は、ネットワーク４を介して、学習システム５やデータストレージ６と通信可能に接続されている。学習システム５は、ローカル環境１０でセンサ２により取得されたセンサ情報を用いて機械学習を実行することで、複数の学習済みモデルを生成する。データストレージ６は、センサ２により取得されたセンサ情報や、学習済みモデル等の任意のデータを記憶可能に構成されている。データストレージ６に記憶された学習済みモデルは、推論装置１にダウンロードされて推論処理に用いられる。

【0016】

図２は、推論装置１のハードウェア構成図である。

【0017】

推論装置１は、全体を制御するＣＰＵ（Central Processing Unit）及び／又はＧＰＵ（Graphics Processing Unit）により構成される制御部１１と、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び／またはハードディスク等により構成され、プログラムや各種のデータ等を記憶する記憶部１２と、ネットワーク４等を介して通信を行う通信部１３と、タッチパネル等の情報表示デバイスに対してデータに応じた表示を行う表示部１４と、タッチパネル等の機器からの入力を受け付ける入力部１５と、を備える。

【0018】

制御部１１、記憶部１２、通信部１３、表示部１４、及び、入力部１５は、相互接続により互いに通信可能に構成されている。なお、推論装置１は、記憶部１２に記録されているプログラムを実行することにより所定の処理を実行可能に構成されている。この図に示される推論装置１のハードウェア構成は一例であって、記憶されているプログラムに沿って動作することで所定の処理を実行可能に構成されていればよい。以下では、推論装置１のソフトウェア構成について説明する。

【0019】

図３は、推論装置１のソフトウェア構成図である。本実施形態のソフトウェア構成においては、コンテナ技術を用いてアプリケーションが仮想化されてコンテナ化されるとともに、オーケストレーションエンジンによりコンテナの実行環境が管理されている。なお、図３の例におけるコンテナ化は、仮想化ソフトウェアやゲストＯＳ（ＯＳ：Operating System）を用いておらず、推論装置１のホストＯＳ内のカーネルの機能を用いた仮想化が行われているものとする。

【0020】

詳細には、推論装置１には、ホストＯＳ３１とともにコンテナエンジン３２が設けられている。所定の処理を行うアプリケーションは、コンテナエンジン３２の環境下で実行可能に仮想化されており、このようなアプリケーションをコンテナ３３と称するものとする。

【0021】

詳細には、コンテナ３３は、所定の処理を実行するプロセス以外に、コマンドやライブラリを備える。コンテナ３３は、コマンドを介してホストＯＳ３１のカーネルを利用することで、相互に隔離された仮想環境（コンテナ環境）においてプロセスを実行できる。このように、コンテナ環境がコンテナ３３毎に設けられることにより、メモリ等の物理的なハードウェアリソースが隔離されるので、実行環境への依存性を低下させることができる。

【0022】

さらに、推論装置１には、コンテナ環境のリソースを管理するオーケストレーションエンジン３４が設けられている。オーケストレーションエンジン３４は、コンテナエンジン３２によって仮想化されたコンテナ環境を管理（オーケストレーション）する。具体的には、オーケストレーションエンジン３４は、クラスタ３５と称される論理領域を構築し、クラスタ３５内で複数のコンテナ３３からなるポッド３６をアプリケーションの実行単位として、アプリケーションの実行環境を管理する。なお、本実施形態においては、機械学習モデルを用いた第１推論部～第３推論部がポッド３６の態様で実装されている。

【0023】

ここで、コンテナエンジン３２により提供される機能によって、コンテナ３３が相互に通信可能である。詳細には、コンテナ３３の実行環境に仮想ＮＩＣ（Network Interface Card）が設けられ、これらの仮想ＮＩＣと推論装置１の物理ＮＩＣとを接続する仮想スイッチが設けられることで、コンテナ３３間は相互に通信可能となる。

【0024】

また、オーケストレーションエンジン３４により提供される機能によって、物理ＮＩＣと接続される仮想ネットワークがクラスタ３５内に構築され、ポッド３６に対して仮想ＩＰアドレスが設定され、ポッド３６間の通信がＩＰアドレスを用いて実行可能となる。このように、コンテナエンジン３２及びオーケストレーションエンジン３４が提供する通信機能を用いて、コンテナ３３及びポッド３６は、それぞれ、相互に通信することができる。

【0025】

図４Ａ、４Ｂは、本実施形態の推論部の間のデータの授受の方法を示す図である。図４Ａに示される第１推論部４１、第２推論部４２、第３推論部４３、及び、非同期通信部４４は、それぞれポッド３６として実装されており、オーケストレーションエンジン３４により構築されるクラスタ３５（図４Ａにおいて不図示）内で実行される。

【0026】

第１推論部４１～第３推論部４３は、学習済みモデルを用いて推論処理を行う。推論装置１においては、マイクロサービスアーキテクチャが採用されており、第１推論部４１～第３推論部４３は、最小限の処理の単位で細分化されているため、他に多数の推論部が推論装置１内に設けられ得る。

【0027】

図４Ａに示すように、第１推論部４１から、第２推論部４２及び第３推論部４３の少なくとも一方に対して、非同期通信部４４を介してデータを受け渡すことが可能である。この例においては、第１推論部４１は、推論結果のデータを、非同期通信部４４を介して第２推論部４２に受け渡す。なお、第１推論部４１による処理結果のデータは、非同期通信部４４を介して、第３推論部４３にも受け渡し可能である。

【0028】

非同期通信部４４には、第１推論部４１から書き込みが行われる第１キュー４５、第２推論部４２からの読み込みが行われる第２キュー４６、及び、第３推論部４３からの読み込みが行われる第３キュー４７が設けられている。非同期通信部４４は、第１推論部４１、第２推論部４２、及び、第３推論部４３と、第１キュー４５、第２キュー４６、及び、第３キュー４７との対応関係を記録している。なお、非同期通信部４４には、第１キュー４５、第２キュー４６、及び、第３キュー４７に限らず、第１推論部４１の読み込みキューや、第２推論部４２、及び、第３推論部４３の書き込みキュー（不図示）が設けられている。

【0029】

図４Ｂに示すように、第１キュー４５、第２キュー４６、及び、第３キュー４７は、それぞれ、複数のキューデータの格納領域（キュー＃０～キュー＃ｎ－１のｎ個のキュー）を備える。

【0030】

第１推論部４１～第３推論部４３は、非同期通信部４４と通信可能な状態となっており、第１推論部４１は、非同期通信部４４内の第１キュー４５にキューデータを書き込むことができ、第２推論部４２は、非同期通信部４４内の第２キュー４６からキューデータを読み出すことができ、第３推論部４３は、非同期通信部４４内の第３キュー４７からキューデータを読み出すことができる。

【0031】

キュー＃０～＃ｎ－１には、所定のフォーマットでキューデータが記録されている。所定のフォーマットのキューデータには、送信元、宛先、及び、データ部が含まれる。また、キューの管理は、先入れ先出し（ＦＩＦＯ：First In, First Out）の原則に基づいて行われる。すなわち、第１推論部４１は、第１キュー４５にキューデータの書き込み処理を行う場合には、予めキューイングされたキューの次に、新たなキューデータを書き込む。例えば、第１キュー４５内においてキュー＃０～＃２にキューデータが存在する場合には、キュー＃３に新たなキューデータが書き込まれる。

【0032】

その後、非同期通信部４４は、第１キュー４５にアクセスし、キュー＃０に存在するキューデータ内の宛先情報を取得すると、その宛先情報と対応するキュー（例えば、宛先が第２推論部４２である場合には、第２キュー４６）にキューデータをコピーする。その後、第１キュー４５においては、キュー＃１～＃ｎ－１のキューデータが、それぞれキュー＃０～＃ｎ－２に移動される。そして、第２キュー４６においては、第１キュー４５のキュー＃０に存在したキューデータが、キューデータが存在するキューの次のキューにコピーされる。例えば、キュー＃０～＃２にキューデータが存在する場合には、キュー＃３にコピーされる。

【0033】

非同期通信部４４は、第２推論部４２に対して第２キュー４６に書き込みが行われたことを伝えると、第２推論部４２は、非同期通信部４４内の第２キュー４６にアクセスし、キュー＃０のキューデータを取得する。その後、第２キュー４６において、取得されたキュー＃０のキューデータが削除され、キュー＃１～＃ｎ－１のキューデータが、それぞれキュー＃０～＃ｎ－２に移動される。

【0034】

このような一連の処理によって、第１推論部４１と、第２推論部４２及び第３推論部４３との間で非同期通信が可能となる。

【0035】

図５は、非同期通信に関する処理を説明するフローチャートである。この図には、第１推論部４１、非同期通信部４４、及び、第２推論部４２の処理が示されている。

【0036】

まず、第１推論部４１の処理について説明する。第１推論部４１は、これらの処理の開始前において待機状態であるものとする。

【0037】

ステップＳ５１１において、第１推論部４１は、何らかの起動要求に基づいて起動状態に遷移して、その後、所定の推論処理を開始する。起動要求は、他のマイクロサービスに限らず、オーケストレーションエンジン３４等のシステム側から受信してもよい。

【0038】

ステップＳ５１２において、第１推論部４１は、推論処理を実行して、推論結果を生成する。

【0039】

ステップＳ５１３において、第１推論部４１は、ステップＳ５１２で生成された推論結果を用いて、所定のフォーマットに沿ったキューデータを生成する。図４Ｂを用いて説明したように、キューデータには、発信元に第１推論部４１が含まれ、宛先に後続の処理を行う第２推論部４２が含まれ、データ部には第１推論部４１による推論結果が含まれる。

【0040】

第１推論部４１は、このように生成された送信データを、非同期通信部４４内の第１キュー４５に記録する。なお、図４Ｂを用いて説明したように、第１キュー４５へのキューデータの記録はＦＩＦＯに基づいて行われる。

【0041】

ステップＳ５１４において、第１推論部４１は、処理を終了して待機状態に遷移する。

【0042】

次に、ステップＳ５２１～Ｓ５２５に示された非同期通信部４４の処理について説明する。非同期通信部４４は、定期的に書き込み用のキューを監視している。この例においては、非同期通信部４４は、第１推論部４１から書き込まれる第１キュー４５を監視している。

【0043】

ステップＳ５２１において、非同期通信部４４は、第１推論部４１からの第１キュー４５への書き込みを検出する。

【0044】

ステップＳ５２２において、非同期通信部４４は、第１キュー４５への書き込みを検出すると、第１キュー４５に新たに追加されたキューデータをログとして保存する。

【0045】

ステップＳ５２３において、非同期通信部４４は、第１キュー４５のキュー＃０に記録されたキューデータを取得し、その宛先情報を確認する。ここでは、宛先は第２推論部４２であるものとする。

【0046】

ステップＳ５２４において、非同期通信部４４は、第１キュー４５に対してキューデータの取得処理を行い、取り出したキューデータを第２推論部４２と対応する第２キュー４６に移動させる。これらの第１キュー４５及び第２キュー４６に対する処理は、図４Ｂを用いて説明したように、ＦＩＦＯに従って行われる。

【0047】

ステップＳ５２５において、非同期通信部４４は、第２キュー４６と対応付けられた第２推論部４２へ、キュー通知を送信する。

【0048】

次に、ステップＳ５３１～Ｓ５３５に示された第２推論部４２の処理について説明する。第２推論部４２は、これらの処理の前では待機状態であって、非同期通信部４４からのキュー通知によって起動状態となり、一連の処理を終えると再度、待機状態となる。

【0049】

ステップＳ５３１において、第２推論部４２は、非同期通信部４４からキュー通知を受信する。

【0050】

ステップＳ５３２において、第２推論部４２は、ステップＳ５３１のキュー通知の受信に応じて起動状態となり、一連の処理を開始する。

【0051】

ステップＳ５３３において、第２推論部４２は、非同期通信部４４内の第２キュー４６にアクセスして、キュー＃０からデータを取得する。その後、第２キュー４６において、取得されたキュー＃０のデータが削除され、キュー＃１～＃ｎ－１のデータは、それぞれキュー＃０～＃ｎ－２に移動される。

【0052】

ステップＳ５３４において、第２推論部４２は、ステップＳ５３２で取得したキューデータのデータ部の情報、すなわち、第１推論部４１の推論結果を用いて、所定の第２処理を実行する。

【0053】

ステップＳ５３５において、第２推論部４２は、一連の処理を終えると、待機状態に遷移する。

【0054】

これらの処理において、キューの処理、すなわち、ステップＳ５１３における第１キュー４５へのキューデータの追加、ステップＳ５２４における第１キュー４５からのキューデータの取り出し、及び、第２キュー４６へのキューデータの追加、並びに、ステップＳ５３３における第２キュー４６からのキューデータの取得は、ＦＩＦＯの原則に基づいて行われる。

【0055】

図６は、本実施形態の多段階の推論装置１のソフトウェアの概略構成の一例を示す図である。この図によれば、推論装置１は、第１センサ２１～第５センサ２５により取得されたセンサ情報を受け付け、前段推論部６２、及び、後段推論部６５の推論結果を組み合わせて、最終推論部６８が最終推論結果を求める。そして、制御部６９は、最終推論結果を用いて制御対象装置３を制御する。

【0056】

第１センサ２１～第５センサ２５と対応して、第１センサ計算部６１１～第５センサ計算部６１５が設けられている。そして、第１センサ計算部６１１～第５センサ計算部６１５、前段推論部６２内の前段第１推論部６２１～前段第３推論部６２３、及び、後段推論部６５内の後段第１推論部６５１～後段第５推論部６５５の間には、データの授受を行う非同期通信部４４が介在するが、図では省略されている。以下、推論装置１の詳細な構成について説明する。

【0057】

推論装置１には、第１センサ２１～第５センサ２５と個々に対応して第１センサ計算部６１１～第５センサ計算部６１５が設けられている。そして、前段第１推論部６２１～前段第３推論部６２３は、第１センサ計算部６１１～第５センサ計算部６１５からの出力のうちの一部または全部を利用して、所定の処理を実行する。

【0058】

図示された例では、前段第１推論部６２１は、第１センサ計算部６１１～第３センサ計算部６１３の入力を受け付け、前段第２推論部６２２は、第２センサ計算部６１２～第４センサ計算部６１４の入力を受け付け、前段第３推論部６２３は、第３センサ計算部６１３～第５センサ計算部６１５の入力を受け付ける。

【0059】

その後、後段第１推論部６５１～後段第５推論部６５５は、前段第１推論部６２１～前段第３推論部６２３の出力の一部又は全てを利用して、所定の処理を行う。図示された例では、後段第１推論部６５１～後段第５推論部６５５は、前段第１推論部６２１～前段第３推論部６２３からの出力の全てを利用して、所定の推論処理を行う。

【0060】

そして、後段第１推論部６５１～後段第５推論部６５５により得られた結果は、最終推論部６８に入力されて最終推論結果を得るのに用いられる。その後、最終推論部６８からの出力に基づいて制御部６９が制御信号を生成し、これらの制御信号を用いて制御対象装置３が制御される。

【0061】

前段第１推論部６２１～前段第３推論部６２３、及び、後段第１推論部６５１～後段第５推論部６５５は、内部に、推論処理部６３１～６３３、及び、６６１～６６５、並びに、変換部６４１～６４３、及び、６７１～６７５を備える。推論処理部６３１～６３３、６６１～６６５、及び、変換部６４１～６４３、６７１～６７５の処理について、前段第１推論部６２１を用いて説明する。

【0062】

前段第１推論部６２１のさらに前段に設けられた第１センサ計算部６１１～第５センサ計算部６１５は、第１センサ２１～第５センサ２５から取得したセンサ情報に基づいて、後続の推論処理で処理可能な複数の計算結果を生成する。例えば、第１センサ２１はＧＰＳ（Global Positioning System）装置であり、第１センサ計算部６１１によって、所定の位置情報が生成される。他の例では、第２センサ２２は車両前方に設けられたミリ波データであり、第２センサ計算部６１２によって、前方の障害物の位置及び大きさを示す情報を生成する。

【0063】

前段第１推論部６２１は、第１センサ計算部６１１～第３センサ計算部６１３からセンサ情報の入力を受け付ける。前段第１推論部６２１は、推論処理部６３１と変換部６４１とを備える。推論処理部６３１に利用されている学習済みモデルは、サプライヤーから汎用的に配布されているものであり、その出力されるデータフォーマットは配布元により指定されたもので、不要な書式が含まれていることがある。そこで、変換部６４１によって、推論処理部６３１から出力されるデータのフォーマットを変換し、不要な情報を削除することで、非同期通信部４４のキューへの書き込み時間を短縮することができる。

【0064】

変換部６４１による変換後のデータフォーマットとしては、複数のパラメータが含まれ得るため、ＸＭＬのような記述的形式や、ＪＳＯＮ形式のような辞書的形式により記載されるのが好ましい。ＪＳＯＮ形式であれば、後続の後段第１推論部６５１～後段第５推論部６５５の処理において、学習済みモデルへ入力する際に更なる変換が不要になるため、全体として推論装置１の処理の高速化を図ることができる。

【0065】

同様の処理が、前段第２推論部６２２、及び、前段第３推論部６２３で行われ、前段第１推論部６２１～前段第３推論部６２３の推論結果を用いて、後段第１推論部６５１～後段第５推論部６５５がさらに推論処理を行い、その後、最終推論部６８により最終推論結果を得ることができる。

【0066】

図７は、推論装置１の具体的処理を示す表である。この表に示されるように、センサ２としては、ＬｉＤＡＲ、レーダー、ビジョンカメラ、車内カメラ、風力計、ＧＰＳ、温度・湿度計、輝度計、慣性記憶装置（ＩＭＵ）が考えられる。そして、これらのセンサ２と対応して、センサ計算部６１が設けられており、センサ２から出力されるセンサデータを所定のフォーマットに変換する。例えば、ＬｉＤＡＲから出力されるデータは、前方の障害物を示す画像データに変換される。

【0067】

前段推論部６２は複数の推論部を有しており、これらの推論部は、機械学習を用いて、車外人物検出、車内人物検出、障害物検出、天候判断、温度・湿度判断、自己位置推定、車車間距離推定、ルート判断、方向判断等を行う。推論部は、汎用的な学習モデルを機械学習された学習済モデルが用いられ、所定の推論処理に必要なセンサ情報の入力を受け付ける。例えば、推論部の中には、ＬｉＤＡＲ及びビジョンカメラのセンサ情報を用いて、人物検出や車外人物検出や障害物検出を行うものがある。他にも、ＧＰＳ及び温度・湿度計のセンサ情報を用いて、天候判断を行うものもある。

【0068】

後段推論部６５は、複数の推論部を有しており、これらの推論部は、機械学習を用いて、状況に応じた種々の処理を行う。例えば、理論加速度の推論や、制動力の推論を行う。

【0069】

理論加速度の推論においては、例えば、慣性加速度を考慮した算出処理、目的地までの推進ベクトルに基づいた算出処理、トルク出力を考慮した算出処理、風力ベクトルを考慮した算出処理、発進時における一定以上の加速度制御のための補正処理、カーブ走行時を考慮した算出処理、減速時における一定以上の加速度制御のための補正処理、ステアリングによる推進ベクトルを考慮した推論処理、駐車時における推論処理、バック走行時における推論処理、前方斜辺角を考慮した推論処理タイヤ摩擦の演算、天気（雨）のタイヤ摩擦を考慮した算出処理、回生ブレーキ制動力を考慮した算出処理、油圧ブレーキ制動力を考慮した算出処理が行われる。

【0070】

制動力の推論においては、目的地までの推進ベクトルに対する、速度と慣性加速度に基づいた算出処理、モータ回転トルクによる算出処理、必要なブレーキ制動力と回生ブレーキ制動力に基づいた油圧ブレーキに対する算出処理、作用した制動力に対する補正処理、カーブ時などのステアリング発生前における速度と慣性加速度に基づいた算出処理等が行われる。

【0071】

これらの推論処理は、種々のサプライヤーから提供されているため、出力フォーマットが統一されていない。特に、サプライヤー独自のフォーマットになっている場合もあるため、そのような場合には、後段第１推論部６５１～後段第５推論部６５５が備える変換部６７１～６７５により、ＸＭＬやＪＳＯＮ等の後続の推論処理への入力可能な方式に変換される。

【0072】

最終推論部６８は、制御部６９が制御可能なように、インバータ制御信号（ＤＣ／ＡＣ変換、電流／電圧）、モータ制御（トルク指令値、トランスミッション制御）、ブレーキ制御（回生／摩擦制動）等の最終推論結果を算出する。最終的に、制御部６９は、これらの最終推論結果に基づいて、制御対象装置３に対する制御信号を生成する。

【0073】

図８は、推論部で用いられる学習モデルの学習過程を示す図である。

【0074】

図４Ａや図６等に示された推論処理においては、第１推論部４１～第３推論部４３、前段第１推論部６２１～前段第３推論部６２３内の推論処理部６３１～６３３、及び、後段第１推論部６５１～後段第５推論部６５５内の推論処理部６６１～６６５に、学習済みモデルが用いられている。

【0075】

推論装置１は、第１センサ２１～第５センサ２５からのセンサ情報を受け付け、図６に示すような多段階の推論処理を経て、制御対象装置３への制御信号を生成する。また、推論装置１内の推論部間のデータの授受は、図５のステップＳ５２２に示すように、ログとして記録されている。センサ情報、制御信号、及び、ログ情報は、データストレージ６に記録される。

【0076】

学習システム５は、データストレージ６に記録されたこれらのデータを用いて機械学習を行い、学習済みの機械学習モデルを構築する。構築された学習済みモデルは、所定の周期で推論装置１にダウンロードされる。このようにして、推論装置１の推論精度を高めることができる。

【0077】

なお、図１においては、推論装置１は、センサ２や制御対象装置３と直接接続されるように説明されたがこれに限らない。クラウト側に推論装置１を設けてもよい。

【0078】

また、図５に示された処理では、非同期通信部４４は、第２キュー４６にキューデータをコピーした後に、キューデータの送信先の宛先となる第２推論部４２に対して、キュー通知を行った。この処理に替えて、第２推論部４２は、第２キュー４６を定期的に監視することでキュー通知を省略できる。なお、図５の例のようにキュー通知を用いることにより、第２推論部４２のキューデータの読み出しタイミングが早くなるため、推論装置１の処理速度の高速化を図ることができる。一方で、キュー通知を省略することで、第２推論部４２の処理負荷を低減できる。

【0079】

また、図６に示される推論装置１は、前段第１推論部６２１～前段第３推論部６２３、後段第１推論部６５１～後段第５推論部６５５、及び、最終推論部６８の３段階の推論が行われたが、これに限られず、より多くの段数の推論を含む任意の態様で推論が実行されてよい。例えば、図９に示されるように、第１推論部４１～第３推論部４３及び最終推論部６８に加えて、第４推論部４８、及び、第５推論部４９が設けられ、非同期通信部４４を介して相互にデータを授受可能に構成されてもよい。第１推論部４１～第５推論部４９は、再帰的な推論処理を繰り返し実行しており、最終推論部６８はこれらの推論結果を用いて適宜、最終推論結果を算出する。このような複雑な多段階の処理においては、非同期通信部４４を設けることにより、推論部は、後続の推論処理の完了を待たずに、推論結果を非同期通信部４４に送信し、自身の処理を終了できるため、多段階の推論処理の処理時間の短縮化を図ることができる。

【0080】

本実施形態の推論装置１によれば、コンテナ技術を用いて実装され、第１推論部である前段第１推論部６２１から第２推論部である後段第１推論部６５１へのデータ通信を非同期で実行する非同期通信部４４を備える。非同期通信部４４は、データのキューイング機構を備える。

【0081】

コンテナ技術で実装されたアプリケーション間は、コンテナエンジンの技術によって相互に通信可能であるが、特に、マイクロサービスアーキテクチャを採用する場合には、推論部の数が多くなるためデータの送受信に大きな遅延が発生し、処理速度が低下するおそれがある。

【0082】

そこで、前段第１推論部６２１から後段第１推論部６５１へのデータの授受を行うために、非同期通信部４４が授受の対象となるデータをキューイングすることにより、後続の後段第１推論部６５１が処理中であっても後段第１推論部６５１の処理の完了を待たずに、処理結果の送信を実行できるため、全体として多段階の推論処理の高速化を図ることができる。

【0083】

本実施形態の推論装置１によれば、非同期通信部４４は、送信側である第１推論部４１から書き込まれる第１キュー４５、及び、受信側である第２推論部４２から読み込まれる第２キュー４６の両者を備える。このように、送受信の双方においてキューイング機構を備えることで、多段階の推論装置１の動作のさらなる安定化を図ることができる。

【0084】

本実施形態の推論装置１によれば、非同期通信部４４は、第１推論部４１から書き込まれて第１キュー４５にキューイングされたデータを、第２推論部４２から読み出される第２キュー４６に移動させる。このような処理が含まれることにより、非同期通信部４４内に複数のキューを実装することができ、多段階の推論装置１の動作のさらなる安定化を図ることができる。

【0085】

本実施形態の推論装置１によれば、各推論部から送信されるデータの形式は、後続の推論部の機械学習モデルへ入力される形式であり、具体的にはＪＳＯＮ形式である。推論部に利用されている機械学習により得られた学習済みモデルは、汎用的に配布されているものであり、その出力されるデータフォーマットは配布元により指定されたものであり、不要な書式が含まれていることがある。そこでやりとりするデータをＪＳＯＮ形式とすることで、不要なフォーマットが削除されるので通信速度の向上を図ることができるとともに、後続の推論部の機械学習モデルへの入力形式となることで、後続の推論部の処理速度の向上を図ることができる。

【0086】

本実施形態の推論装置１によれば、推論部である前段第１推論部６２１～前段第３推論部６２３、及び、後段第１推論部６５１～後段第５推論部６５５は、機械学習モデルを備える推論処理部６３１～６３３、６６１～６６５と、変換部６４１～６４３、６７１～６７５とを有する。このような変換部６４１～６４３、６７１～６７５を備えることにより、各推論部から送信されるデータの形式が後続の推論部の機械学習モデルへ入力される形式でない場合であっても、変換部の処理により適切な形式に変更することができる。

【0087】

（第２実施形態）
第１実施形態においては、１つの推論装置１が多段階の推論を行う例について説明したが、これに限らない。第２実施形態においては、複数の推論装置１が推論システムを構築し、推論システムが多段階の推論処理を行う例について説明する。

【0088】

図１０は、本実施形態の推論システムの概略構成図である。図１に示した第１実施形態の構成と比較すると、ローカル環境１０において、１つの推論装置１に替えて、３つの推論装置１Ａ、１Ｂ、１Ｃが設けられており、これらの推論装置１Ａ、１Ｂ、１Ｃにより推論システム１００が構成されている。

【0089】

推論装置１Ａにはセンサ２Ａ、２Ｂが接続され、推論装置１Ｂにはセンサ２Ｃが接続され、推論装置１Ｃにはセンサ２Ｄが接続されている。センサ２Ａ、２Ｂが取得したセンサ情報は、推論装置１Ａに受け付けられた後に、推論装置１Ａ～１Ｃからなる推論システム１００によって処理される。同様に、センサ２Ｃが取得したセンサ情報は、推論装置１Ｂに受け付けられた後に、推論システム１００によって処理される。センサ２Ｄが取得したセンサ情報は、推論装置１Ｃに受け付けられた後に、推論システム１００によって処理される。

【0090】

図１１は、推論システム１００のソフトウェア構成を示す図である。推論装置１Ａ～１Ｃにはそれぞれオーケストレーションエンジン３４が設けられており、これらのオーケストレーションエンジン３４が連携して、複数の推論装置１にまたがるクラスタ３５が形成される。このような場合には、クラスタ３５内で、ポッド３６（推論部、及び、非同期通信部）は、仮想的なＩＰネットワークにおいて相互に通信可能である。このようなポッド３６間の相互の通信は、クラスタ３５内において、推論装置１Ａ～１Ｃの物理的な構成に影響されることなく行われる。

【0091】

クラスタ３５内には、マスタ３５１とノード３５２とが設けられ、マスタ３５１がクラスタ３５内の全体を管理し、ノード３５２内にポッド３６が配置（デプロイ）され動作する。なお、異なるノード３５２に配置されるポッド３６も、オーケストレーションエンジン３４により構成される仮想ネットワークにおいて、相互に通信可能となる。なお、図３においては、クラスタ３５内のマスタ３５１及びノード３５２の記載は省略されていた。

【0092】

そこで、クラスタ３５内に１つの非同期通信部４４を設ける。そして、第１推論装置１Ａに設けられた推論部１１１、１１２、第２推論装置１Ｂに設けられた推論部１１３、１１４、及び、第３推論装置１Ｃに設けられた推論部１１５～１１７は、非同期通信部４４を介して相互にデータの授受を行うことができる。

【0093】

このように、複数の推論装置１Ａ～１Ｃのそれぞれにオーケストレーションエンジン３４が設けられ、複数の推論装置１にまたがるクラスタ３５が形成される場合には、クラスタ３５内に１つの非同期通信部４４を設けることで、推論装置１Ａ～１Ｃに設けられる推論部１１１～１１７がキューイングを用いて相互に通信可能となる。

【0094】

さらに、オーケストレーションエンジン３４が複数の推論装置１Ａ～１Ｃに設けられることによって、複数の推論装置１Ａ～１Ｃのハードウェアリソースを用いてポッド３６の実行環境となるクラスタ３５を構成することができる。オーケストレーションエンジン３４は、マニフェストと称される設定ファイルの記述に沿ってポッド３６のノード３５２内の配置及び実行を管理するので、複数の推論装置１Ａ～１Ｃを用いる場合でも、全体としての動作の安定化を図るとともに、ハードウェアの設定が容易になるというメリットがある。

【0095】

（変形例）
図１１の例では、複数の推論装置１Ａ～１Ｃに設けられたオーケストレーションエンジン３４により、推論装置１Ａ～１Ｃにまたがるクラスタ３５が構成された。これに対して、本変形例では、推論装置１Ａ～１Ｃにまたがるクラスタ３５が構成されていない例について説明する。

【0096】

図１２は、変形例における推論システム１００の構成を示す図である。例えば、この図においては、推論装置１Ａ～１Ｃの個々にクラスタ３５が構成されている。そのため、推論装置１Ａ～１Ｃに設けられるそれぞれのポッド３６は、推論装置１Ａ～１Ｃの間でデータの授受を行うことができない。

【0097】

そこで、推論装置１Ａ～１Ｃのそれぞれに非同期通信部４４が設けられており、複数の非同期通信部４４が連携して、内部に設けられた書き込みキューから読み込みキューへのデータのコピーが行われることになる。このように、複数の推論装置１Ａ～１Ｃが同一のクラスタ３５に属さない場合でも、それぞれの推論装置１Ａ～１Ｃに非同期通信部４４を設け、任意の書き込みキューから任意の読み込みキューへのキューデータのコピーが可能とすることで、異なる推論装置１Ａ～１Ｃの間での推論部１１１～１１６のデータの授受が可能になる。

【0098】

（第３実施形態）
次に、第３実施形態においては、非同期通信部の他の態様について説明する。

【0099】

図１３Ａ～図１３Ｃは、第１実施形態とは異なる態様の、第１推論部１３１、第２推論部１３２、第３推論部１３３、及び、非同期通信部１３４が示されている。推論装置１において、第１推論部１３１、第２推論部１３２、第３推論部１３３、及び、非同期通信部１３４は、ポッド３６として実装される。

【0100】

書き込み側である第１推論部１３１は、推論処理部１３１１、分割変換部１３１２、及び、タグ設定部１３１３を備える。読み込み側である第２推論部１３２は、タグ選択部１３２１、結合部１３２２、及び、推論処理部１３２３を備え、第３推論部１３３は、タグ選択部１３３１、結合部１３３２、及び、推論処理部１３３３を備える。また、非同期通信部１３４は、第１推論部１３１から書き込まれる第１キュー１３４１と、第２推論部１３２、及び、第３推論部１３３から読み込まれる第２キュー１３４２、及び、第３キュー１３４３とを備える。

【0101】

書き込み側の第１推論部１３１においては、推論処理部１３１１から出力される推論結果を、分割変換部１３１２が所定の機能単位で分割するとともに、ＪＳＯＮ形式に変換する。例えば、推論処理部１３１１の出力に、位置情報に関するパラメータと、速度情報に関するパラメータとが含まれる場合には、位置情報と速度情報とで分割されたキューデータが生成される。そして、タグ設定部１３１３は、それらの分割されたキューデータに対して、それぞれタグ（例えば、位置情報と速度情報とを示す２つのタグ）を付す。タグが付された分割データは、第１キュー１３４１に書き込まれる。

【0102】

非同期通信部１３４は、第１キュー１３４１に記録されたキューデータの宛先を確認し、宛先となる推論部（例えば、第２推論部１３２）と対応するキュー（例えば、第２キュー１３４２）に移動させる。

【0103】

そして、読み込み側の第２推論部１３２においては、まず、タグ選択部１３２１は、第２キュー１３４２を検索し、第２キュー１３４２内に存在するタグが設定された分割データのうち、自身の処理に必要なタグが付されたデータを取得する。取得されるデータは複数であってもよく、複数ある場合には取得されたデータが結合部１３２２により結合される。そして、推論処理部１３２３は、結合されたデータを利用して推論処理を実行する。このようにすることで、第２推論部１３２は、自身に必要な分割データのみを処理に利用することになるため、不要なデータの取得を省略できる。第３推論部１３３においても、第２推論部１３２と同等の処理が実行される。

【0104】

図１３Ｂは、書き込み用の第１キュー１３４１の構造を示す図である。図１３Ｂに示すように、第１キュー１３４１は、複数のキューデータ格納領域（図中では、キュー＃０～キュー＃ｎ－１のｎ個のキュー）を備える。そして、キュー＃０～＃ｎ－１には、所定のフォーマットでキュー情報が記録されている。所定のフォーマットには、送信元、タグ、及び、送信情報が含まれる。また、キューの管理は、先入れ先出し（ＦＩＦＯ：First In, First Out）に基づいて行われる。

【0105】

図１３Ｃは、読み出し用の第２キュー１３４２の構造を示す図である。第２キュー１３４２は、複数のキューデータ格納領域（図中では、キュー＃０～キュー＃ｎ―１のｎ個のキュー）を備える。そして、キュー＃０～キュー＃ｎ－１には、所定のフォーマットでキュー情報が記録されており、それぞれのキューには、送信元、タグ、及び、送信情報が記録される。

【0106】

読み出し側の第２推論部１３２のタグ選択部１３２１、及び、第３推論部１３３のタグ選択部１３３１は、このような読み出し用の第２キュー１３４２に対してタグを用いて検索し、処理対象のデータを検出し、検出したデータを取得する。なお、検出するデータは複数あってもよく、取得された複数のデータは、結合部１３２２において結合される。そして、推論処理部１３２３は、結合部１３２２において結合により生成されたデータに対して推論処理を行う。なお、読み出し側の第２キュー１３４２、及び、第３キュー１３４３に記憶されたキューデータは、所定時間経過後に削除される。

【0107】

このように、第１推論部１３１においては、推論処理部１３１１による推論結果に対して、分割変換部１３１２が機能毎に分割し、それらの分割された推論結果に対してタグ設定部１３１３がタグを設定する。そして、第１推論部１３１から書き込まれるタグ付きの分割データに対して、第２推論部１３２は、タグを用いて自身の処理に必要なデータを選択し、推論処理部１３２３の推論処理に用いる。同様に、第３推論部１３３は、第１推論部１３１から書き込まれるデータのうち必要なデータを用いて、推論処理部１３３３の処理に用いることができる。

【0108】

図１４は、非同期通信に関する処理を説明するフローチャートである。この図には、第１推論部１３１、非同期通信部１３４、及び、第２推論部１３２の処理が示されている。

【0109】

まず、第１推論部１３１の処理について説明する。第１推論部１３１は、図５に示された第１推論部４１の処理と比較すると、ステップＳ５１３に代えて、ステップＳ１４１１～Ｓ１４１３の処理が実行される。

【0110】

ステップＳ１４１１において、分割変換部１３１２は、推論処理部１３１１により生成された推論結果に対して、所定のフォーマットに変換するとともに、機能単位で分割する。

【0111】

ステップＳ１４１２において、タグ設定部１３１３は、ステップＳ１４１１において分割により生成された分割データに対して、機能に応じたタグを付与する。分割データ、及び、対応するタグは、ともに、キューデータに記憶される。

【0112】

ステップＳ１４１３において、タグ設定部１３１３は、ステップＳ１４１２において生成されたタグ付きの分割データを、非同期通信部１３４の第１キュー１３４１に書き込む。ステップＳ１４１１においては、複数の分割データが生成されるため、これらの分割データと対応するタグとを含むキューデータが第１キュー１３４１の複数のキューに記録される。

【0113】

次に、非同期通信部１３４の処理について説明する。非同期通信部１３４は、図５に示された処理と比較すると、ステップＳ５２３～Ｓ５２５に代えて、ステップＳ１４２１～Ｓ１４２３の処理が実行される。また、この図の処理では、ステップＳ５２５の処理が省略されており、すなわち、キューデータが書き込まれた後に、宛先となる後続の第２推論部１３２への、キュー通知が行われない。そのため、第２推論部１３２は、定期的に、非同期通信部１３４の第２キュー１３４２を監視している。

【0114】

ステップＳ１４２１において、非同期通信部１３４は、第１キュー１３４１に書き込まれた分割データについて、対応するタグの修正及び追加を必要に応じて行う。第１推論部１３１のタグ設定部１３１３によるタグの設定処理では、後続の第２推論部１３２及び第３推論部１３３のタグ選択の処理に必要なタグが十分に設定されていない場合がある。そこで、非同期通信部１３４は、例えば、予めユーザにより設定された条件に基づいて、分割データに設定されたタグの変更や、分割データに対してさらにタグを付す。

【0115】

ステップＳ１４２２において、非同期通信部１３４は、第１キュー１３４１に書き込まれた分割データに対して、ステップＳ１４２１の処理によりタグの変更及び追加されたものが記憶されているキューデータを、読み出し側の第２キュー１３４２及び第３キュー１３４３にコピーする。なお、書き込み側のキューは、全ての読み出し側のキューに対してコピーされることになる。そして、コピーされたキューデータは、後続の第２推論部１３２及び第３推論部１３３に取得されて、推論処理に用いられる。

【0116】

ステップＳ１４２３において、非同期通信部１３４は、書き込み側の第１キュー１３４１、及び、読み出し側の第２キュー１３４２及び第３キュー１３４３において、書き込み後に所定時間経過したキューデータを削除する。

【0117】

次に、第２推論部１３２の処理について説明する。第２推論部１３２は、図５に示された処理と比較すると、ステップＳ５３１が省略され、ステップＳ５３３に代えて、ステップＳ１４３１～Ｓ１４３２の処理が実行される。なお、上述のように、非同期通信部１３４はキュー通知を行わないため、第２推論部１３２は、定期的に、非同期通信部１３４の第２キュー１３４２を監視している。

【0118】

ステップＳ１４３１において、第２推論部１３２が実行状態となった後に、タグ選択部１３２１は、非同期通信部１３４の第２キュー１３４２を参照し、推論処理部１３２３の推論処理に必要な機能と対応するタグを検索する。

【0119】

ステップＳ１４３２において、第２推論部１３２の結合部１３２２は、ステップＳ１４３１において選択されたタグを含むキューデータを取得し、これらのキューデータを、所定の規則に沿って結合する。結合の際のキューデータの順番は、推論処理部１３２３の推論処理に適した形式となるように定められている。

【0120】

このようにすることで、第２推論部１３２においては、タグ選択部１３２１によって、読み出し対象の第２キュー１３４２に記録されているキューデータのうち、自身の推論処理に必要な機能と対応するタグを有する分割データが集められ、結合部１３２２によってこれらの分割データが結合され、最終的に、推論処理部１３２３による推論処理が実行される。

【0121】

（第４実施形態）

【0122】

図１５は、第４実施形態の推論装置１の全体構成の一例の概略構成図である。この推論装置１においては、第３実施形態に示したように、推論部が、分割変換部、タグ設定部、結合部、及び、タグ選択部を備える。

【0123】

この処理においては、第１センサ２１からセンサ情報を受け付ける第１センサ計算部１５１１、第２センサ２２からセンサ情報を受け付ける第２センサ計算部１５１２、前段推論部１５２、後段推論部１５３、及び、最終推論部１５４が、非同期通信部１５５を介して接続されている。また、前段推論部１５２は、前段第１推論部１５２１と前段第２推論部１５２２とを備え、後段推論部１５３は、後段第１推論部１５３１と後段第２推論部１５３２とを備える。

【0124】

非同期通信部１５５は、第１センサ計算部１５１１の書き込みキュー１５５１１及び読み込みキュー１５５１２、第２センサ計算部１５１２の書き込みキュー１５５２１及び読み込みキュー１５５２２、前段第１推論部１５２１の書き込みキュー１５５３１及び読み込みキュー１５５３２、前段第２推論部１５２２の書き込みキュー１５５４１及び読み込みキュー１５５４２、後段第１推論部１５３１の書き込みキュー１５５５１及び読み込みキュー１５５５２、後段第２推論部１５３２の書き込みキュー１５５６１及び読み込みキュー１５５６２、最終推論部１５４の書き込みキュー１５５７１及び読み込みキュー１５５７２を有している。これらのキューは、内部で相互に接続されており、任意の書き込みキューから任意の読み込みキューへのキューデータのコピーが可能である。

【0125】

第１センサ計算部１５１１は、不図示の推論処理部、分割変換部、タグ設定部、及び、結合部を備えており、書き込みキュー１５５１１へのキューデータの書き込み、及び、読み込みキュー１５５１２からのキューデータの読み込みが可能なように構成されている。同様に、第２センサ計算部１５１２は、書き込みキュー１５５２１へのキューデータの書き込み、及び、読み込みキュー１５５２２からキューデータの読み込みが可能なように構成されている。

【0126】

前段第１推論部１５２１は、推論処理部１５２１１、分割変換部１５２１２、タグ設定部１５２１３、結合部１５２１４、及び、タグ選択部１５２１５を有する。そしで、タグ設定部１５２１３によって、非同期通信部１５５内の書き込みキュー１５５３１に対して、タグ付きの分割キューデータが書き込まれ、タグ選択部１５２１５によって、非同期通信部１５５内の読み込みキュー１５５３２から、所望のタグが付された分割キューデータが取得される。これにより、推論処理部１５２１１は、第１センサ計算部１５１１、及び、第２センサ計算部１５１２からの入力を、タグ選択部１５２１５、及び、結合部１５２１４を介して取得し、推論結果を分割変換部１５２１２、及び、タグ設定部１５２１３を介して、後続の後段推論部１５３に受け渡す。

【0127】

前段第２推論部１５２２、後段第１推論部１５３１、及び、後段第２推論部１５３２は、前段第１推論部１５２１と同様の構成をしており、書き込みキュー１５５４１、１５５５１、１５５６１、及び、読み込みキュー１５５４２、１５５５２、１５５６２を介して、データの授受が行われる。最終推論部１５４についても、他の推論部と同様の構成としてもよい。

【0128】

このように、推論処理部１５２１１、１５２２１、１５３１１、１５３２１は、これらの処理の前段の処理結果のフォーマットに限らず、自身の処理に必要な情報をタグにより選択して取得可能となる。

【0129】

（第５実施形態）
第４実施形態においては、非同期通信部１５５内に、推論部（ポッド３６）のそれぞれと対応して、書き込み用のキュー、及び、読み込み用のキューが設けられる例について説明した。第５実施形態においては、非同期通信部１５５内に、複数の推論部（ポッド３６）に対して、１対の書き込みキュー及び読み込みキューが設けられる例について説明する。

【0130】

図１６は、第４実施形態の推論装置１の概略構成図であって、第３実施形態の図１５と対応する。この図によれば、第１センサ計算部１５１１、第２センサ計算部１５１２、前段第１推論部１５２１、前段第２推論部１５２２、後段第１推論部１５３１、後段第２推論部１５３２、及び、最終推論部１５４と対応して、１対の書き込みキュー１６１及び読み込みキュー１６２が設けられる。

【0131】

ある推論部から後続の推論部にデータを送る場合には、推論部は、推論結果を分割して分割データを生成し、生成した分割データに対してラベルを付したものを、書き込みキュー１６１に書き込む。そして、非同期通信部１５５は、書き込みキュー１６１から読み込みキュー１６２への移動を行うとともに、必要に応じてタグの補正、追加（ステップＳ１４２１）を行う。

【0132】

そして、後続の推論部は、分割データを受け取るために、非同期通信部１５５の読み込みキュー１６２にアクセスし、自身の処理に必要なラベルが付されている分割データを選択して取得して結合する。このように結合された分割データが、後続の推論部による推論処理に用いられる。

【0133】

このような構成となることで、送信側、受信側において、ポッド３６毎に異なるキューを設ける必要がなくなるため、非同期通信部１５５内の処理を簡略化できる。さらに、後続の推論部が自身の処理に必要な分割データを取得するため、キューデータのフォーマットにおける宛先を省略することも可能となる。一方で、第１実施形態の図５のステップＳ５２５に示されるように、非同期通信部４４が、宛先に応じた後続の推論部に対してキュー通知を送信してもよく、このような場合には、後続の推論部の処理の開始を早めることができる。

【0134】

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。

【符号の説明】

【0135】

１、１Ａ、１Ｂ、１Ｃ 推論装置
２、２Ａ～２Ｄ、２１～２５ センサ
３ 制御対象装置
４ ネットワーク
５ 学習システム
６ データストレージ
１０ ローカル環境
３４ オーケストレーションエンジン
３５ クラスタ
３５１ マスタ
３５２ ノード
４１～４３、４８、４９ 推論部
４４ 非同期通信部
４５～４７ 第１キュー～第３キュー
６１ センサ計算部
６２ 前段推論部
６５ 後段推論部
６７ 変換部
６８ 最終推論部
６９ 制御部
１００ 推論システム
１１１～１１７ 推論部
１３１～１３３ 第１推論部～第３推論部
１３４ 非同期通信部
１５１ 前段第１推論部
１５３ 後段推論部
１５４ 最終推論部
１５５ 非同期通信部
１６１ 書き込みキュー
１６２ 読み込みキュー
６１１～６１５ センサ計算部
６２１～６２３ 前段第１推論部～前段第３推論部
６３１～６３３、６６１～６５５、１３１１、１３２３、１３３３、１５２１１、１５２２１、１５３１１、１５３２１ 推論処理部
６４１～６４３ 変換部
６５１～６５５ 後段第１推論部～後段第５推論部
１３１２、１５２１２、１５２１２、１５２２２、１５３１２、１５３２２ 分割変換部
１３１３、１５２１３、１５２２３、１５３１３、１５３２３ タグ設定部
１３２１、１３３１、１５２１５、１５２２５、１５３１５、１５３２５ タグ選択部
１３２２、１３３２、１５２１４、１５２２４、１５３１４、１５３２４ 結合部
１３４１～１３４３ 第１キュー～第３キュー
１５１１、１５１２ 第１センサ計算部、第２センサ計算部
１５２１、１５２２ 前段第１推論部、前段第２推論部
１５３１、１５３２ 後段第１推論部、後段第２推論部
１５５１１、１５５２１、１５５３１、１５５４１、１５５５１、１５５７１、１５５６１ 書き込みキュー
１５５１２、１５５２２、１５５３２、１５５４２、１５５５２、１５５６２、１５５７２ 読み込みキュー

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図13C】

【図14】

【図15】

【図16】