特許 7574770 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-21

(45)【発行日】2024-10-29

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06N 3/04 20230101AFI20241022BHJP

   G06F 17/10 20060101ALI20241022BHJP

   G06N 3/0464 20230101ALI20241022BHJP

【ＦＩ】

G06N3/04

G06F17/10 A

G06N3/0464

【請求項の数】 4

(21)【出願番号】P 2021148670

(22)【出願日】2021-09-13

(65)【公開番号】P2023041348

(43)【公開日】2023-03-24

【審査請求日】2023-10-26

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】毛利 昌弘

(72)【発明者】

【氏名】高田 広章

(72)【発明者】

【氏名】本田 晋也

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２０２０－１２６６０１（ＪＰ，Ａ）

【文献】特表２０１９－５３２３４９（ＪＰ，Ａ）

【文献】特開２００６－２５２３９４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０４

Ｇ０６Ｆ １７／１０

Ｇ０６Ｎ ３／０４６４

(57)【特許請求の範囲】

【請求項1】

畳み込みニューラルネットワークに用いられる情報処理装置であって、
入力データを取得するデータ取得部と、
畳み込み処理を実行する畳み込み層とプーリング処理を実行するプーリング層を有し、前記入力データを処理する処理部とを備え、
前記処理部は、
前記データ取得部で取得した前記入力データを、処理領域が重複する重複領域と処理領域が重複しない非重複領域を有する処理領域に区切り、
前記処理領域における前記処理を実行する際、前記非重複領域では、前記畳み込み処理あるいは前記プーリング処理を実行し、前記重複領域では、前記畳み込み処理の処理結果あるいは前記プーリング処理の処理結果を再利用して、前記処理を実行するよう構成され、
前記処理部は、
全結合層の前段に、前記畳み込み層および前記プーリング層を含む複数の処理層を有し、
前記処理部は、
最初の１周期の処理の際には、前記複数の処理層の第１層から最終層まで、前記畳み込み処理あるいは前記プーリング処理を、順次実行し、
前記処理の２周期以降の処理の際には、前記第１層から前記最終層まで、前周期と今周期の前記非重複領域では、前記畳み込み処理あるいは前記プーリング処理を実行するとともに、前周期と今周期の前記重複領域では、前周期における前記畳み込み処理の前記処理結果あるいは前周期における前記プーリング処理の前記処理結果を再利用して、前記処理を実行するよう構成されている、情報処理装置。

【請求項2】

前記最終層は、前記全結合層に入力する出力データを作成するものであり、
前記処理部は、
前周期と今周期の前記重複領域では、前周期における前記畳み込み処理の前記処理結果あるいは前周期における前記プーリング処理の前記処理結果を再利用して、前記出力データを作成し、
前周期と今周期の前記非重複領域では、前記第１層から前記最終層まで、前記畳み込み処理あるいは前記プーリング処理を、順次実行することにより、前記出力データを作成し、
前記最終層で、今周期の前記処理領域における前記出力データが全て作成されると、前記出力データを、前記全結合層に入力するよう構成されている、請求項１に記載の情報処理装置。

【請求項3】

前記処理部は、
前周期と今周期の前記非重複領域では、カーネルによって処理可能なデータが揃うと順次前記処理を実行するよう、請求項２に記載の情報処理装置。

【請求項4】

前記情報処理装置は、車両に搭載された演算処理装置から構成される、請求項１から請求項３のいずれか１項に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、畳み込みニューラルネットワークを使用する情報処理装置に関する。

【背景技術】

【0002】

国際公開第２０２０／１９４４６５号（特許文献１）には、畳み込み演算を、空間方向への畳み込み演算とチャネル方向への畳み込み演算とに分けて、これらを個別に実行するニューラルネットワーク回路が開示されている。このニューラルネットワーク回路は、チャネル方向への畳み込みを行なう１×１畳み込み演算回路と、１×１畳み込み演算回路の演算結果が格納されるＳＲＡＭと、ＳＲＡＭに格納された演算結果に対して空間方向への畳み込みを行なうＮ×Ｎ畳み込み演算回路とを備える。１×１畳み込み演算回路の演算結果をＳＲＡＭに格納することにより、Ｎ×Ｎ畳み込み演算回路のメモリボトルネックを回避している。メモリボトルネックは、１回の畳み込み演算に必要なデータをメモリから読み出す時間が、１回の畳み込み演算時間を上回ることをいう（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０２０／１９４４６５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）では、繰り返し行列演算を大量に行うため、情報処理装置の処理量（演算量）が膨大になることが知られている。また、ＣＮＮによる推論（入力データを分類して結果を推測すること）の実行頻度が高いほど、推論の精度が高くなる。このため、ＣＮＮを用いて精度の高い推論を行うには、処理能力の高いＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いることが望ましい。

【0005】

組み込み系のシステム等では、コスト低減の観点から、汎用のＣＰＵに比べて処理能力の低いＣＰＵが用いられることがある。たとえば、車両に搭載される組み込み系シスデムでは、各タスクに実行周期が設定され、短時間で確実に処理を行う必要性があるとともに、処理速度が制限される場合がある。処理能力の低いＣＰＵでＣＮＮを用いる場合、処理量（計算量）を削減しつつ、推論の実行頻度が高めることが望まれる。

【0006】

本開示の目的は、畳み込みニューラルネットワークの処理量（演算量）が比較的少なくても、推論の精度を高くすることが可能な情報処理装置を提供することである。

【課題を解決するための手段】

【0007】

本開示に係る情報処理装置は、畳み込みニューラルネットワークに用いられる情報処理装置である。情報処理装置は、入力データを取得するデータ取得部と、畳み込み処理を実行する畳み込み層とプーリング処理を実行するプーリング層を有し、入力データを処理する処理部とを備える。処理部は、データ取得部で取得した入力データを、処理領域が重複する重複領域と処理領域が重複しない非重複領域を有する処理領域に区切り、処理領域における処理を実行する際、非重複領域では、畳み込み処理あるいはプーリング処理を実行し、重複領域では、畳み込み処理の処理結果あるいはプーリング処理の処理結果を再利用して、処理を実行するよう構成されている。

【0008】

この構成によれば、処理部は、データ取得部で取得した入力データを、処理領域が重複する重複領域と処理領域が重複しない非重複領域を有する処理領域に区切る。処理領域に重複領域が設定されるため、入力データの推論の実行頻度が高くなり、推論の精度を高めることができる。処理部は、処理領域における処理を実行する際、重複領域では、畳み込み処理の処理結果あるいはプーリング処理の処理結果を再利用して、処理を実行する。畳み込み処理の処理結果あるいはプーリング処理の処理結果を再利用するので、処理量（演算量）を削減することができる。

【0009】

好ましくは、入力データは時系列データであってよく、処理部は、時系列データを一定間隔で処理領域に区切るとともに、重複領域と非重複領域を有するよう処理領域を区切ってもよい。

【0010】

この構成によれば、時系列データの重複を許容しながら、処理部に入力できるので、推論の実行頻度を高めることができる。

【0011】

好ましくは、処理部は、全結合層の前段に、畳み込み層およびプーリング層を含む複数の処理層を有する。処理部は、最初の１周期の処理の際には、複数の処理層の第１層から最終層まで、畳み込み処理あるいはプーリング処理を、順次実行する。そして、処理部は、２周期以降の処理の際には、第１層から最終層まで、前周期と今周期の非重複領域では、畳み込み処理あるいはプーリング処理を実行するとともに、前周期と今周期の重複領域では、前周期における畳み込み処理の処理結果あるいは前周期におけるプーリング処理の処理結果を再利用して、処理を実行するよう構成されてもよい。

【0012】

この構成によれば、最初の１周期には、前周期がなく重複領域がないので、複数の処理層の第１層から最終層まで、畳み込み処理あるいはプーリング処理を、順次実行する。２周期以降の処理の際には、第１層から最終層まで、前周期と今周期の非重複領域では、畳み込み処理あるいはプーリング処理を、順次実行する。これにより、入力データに対して、連続して、第１層から最終層まで処理を順次実行することが可能になり、処理に待ち時間が無くなるので、処理時間を短縮することができる。前周期と今周期の重複領域では、前周期における畳み込み処理の処理結果あるいは前周期におけるプーリング処理の処理結果を再利用するので、処理量（演算量）を削減することができる。

【0013】

好ましくは、最終層は、全結合層に入力する出力データを作成するものである。処理部は、前周期と今周期の重複領域では、前周期における畳み込み処理の処理結果あるいは前周期におけるプーリング処理の処理結果を再利用して、出力データを作成し、前周期と今周期の非重複領域では、第１層から最終層まで、畳み込み処理あるいはプーリング処理を、順次実行することにより、出力データを作成する。そして、処理部は、最終層で、今周期の処理領域における出力データが全て作成されると、出力データを、全結合層に入力するよう構成されてもよい。

【0014】

この構成によれば、全結合層に入力する出力データを作成する最終層において、重複領域では、前周期における畳み込み処理の処理結果あるいは前周期におけるプーリング処理の処理結果を再利用して、出力データを作成し、非重複領域では、第１層から最終層まで、畳み込み処理あるいはプーリング処理を、順次実行することにより、出力データを作成する。したがって、全結合層に入力される出力データを、重複領域における処理結果を再利用して作成することができ、処理量を削減することができる。

【0015】

好ましくは、処理部は、前周期と今周期の非重複領域では、カーネルによって処理可能なデータが揃うと順次処理を実行するようにしてもよい。

【0016】

この構成によれば、非重複領域において、非重複領域のデータが全て揃うのを待つこと無く、カーネル（フィルタ）のサイズ等に相当するデータが揃うと、順次処理を実行する。これにより、処理時間を短縮することが可能になる。

【0017】

情報処理装置は、車両に搭載された演算装置から構成されてもよい。本開示の情報処理装置は、処理量（演算量）が少ないので、車両に搭載された組み込みシステムのＣＰＵを用いて、ＣＮＮを使用することができる。

【発明の効果】

【0018】

本開示によれば、畳み込みニューラルネットワークの処理量（演算量）が比較的少なくても、推論の精度を高くすることが可能な情報処理装置を提供することができる。

【図面の簡単な説明】

【0019】

【図1】本実施の形態に係る情報処理装置１０の構成を示す図である。

【図2】処理部２３の詳細な構成を説明するための図である。

【図3】従来における、入力データの区切り方を説明する図である。

【図4】本実施の形態における、入力データの区切り方を説明する図である。

【図5】従来における、ＣＮＮの処理（演算）を模式的に説明した図である。

【図6】本実施の形態における、ＣＮＮの処理（演算）を模式的に説明した図である。

【発明を実施するための形態】

【0020】

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

【0021】

図１は、本実施の形態に係る情報処理装置１０の構成を示す図である。本実施の形態に係る情報処理装置１０は、車両Ｖに搭載されている。車両Ｖは、内燃機関Ｅと変速機ＭとディファレンシャルギヤＧと駆動輪Ｄを備える。なお、車両Ｖは、電気モータを備えた電動車両であってもよい。情報処理装置１０は、畳み込みニューラルネットワーク（ＣＮＮ）による推論を行い（入力データを分類して結果を推測し）、その結果を出力する。情報処理装置１０は、制御装置２０と、記憶装置３０と、通信装置４０とを備える。

【0022】

記憶装置３０は、たとえば、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含んで構成される。記憶装置３０は、制御装置２０により実行されるプログラム等を記憶する。通信装置４０は、外部の装置と制御装置２０の双方向の通信が可能に構成される。

【0023】

制御装置２０は、データ取得部２１と、処理部２３と、出力部２５とを含む。制御装置２０は、記憶装置３０に記憶されたプログラムを実行することにより、データ取得部２１、処理部２３、出力部２５として機能する。なお、制御装置２０は、ＣＮＮを使用して、データ取得部２１から受けたデータ（入力データ）を処理する際のバッファを備えてよく、記憶装置３０をバッファとして使用してもよい。

【0024】

データ取得部２１は、各種センサ５０で検出した、あるいは、各種センサ５０で検出した値に基づき作成された、時系列データ１００を取得する。時系列データ１００としては、たとえば、車両Ｖの運動状態（前後加速度、横加速度、車速等）や、内燃機関Ｅの回転速度や排気温度等であってよく、車両Ｖに係る時系列データであればよい。データ取得部２１は、所定の周期で、時系列データ１００を取得し、取得された時系列データ１００を処理部２３に出力する。

【0025】

処理部２３は、ＣＮＮを使用して、データ取得部２１から受けた時系列データ１００（入力データ）を処理し、入力データに対する識別結果（推論の結果）を出力部２５に出力する。

【0026】

図２は、処理部２３の詳細な構成を説明するための図である。処理部２３は、畳み込み層２３１、２３３、プーリング層２３２、２３４、および、全結合層２３５を含む。畳み込み層２３１、２３３およびプーリング層２３２、２３４は、入力データから特徴量を抽出する。畳み込み層２３１、２３３では、所定のサイズのカーネル（フィルタ）を用いた畳み込み処理が実行される。プーリング層２３２、２３４では、畳み込み結果を圧縮する処理であり、所定サイズのカーネル（ウィンド）を用いてプーリング処理が実行される。本実施の形態では、ＭＡＸプーリングが実行される。なお、図２おいては、２つの畳み込み層２３１、２３３および２つのプーリング層２３２、２３４が処理部２３に含まれる例を示しているが、これらの処理層の数（畳み込み層の数、プーリング層の数）は、適宜変更することが可能である。

【0027】

全結合層２３５は、入力層と、中間層と、出力層とを含む。入力層は、複数のユニットで構成される。各ユニットには、１次元に変換されたプーリング層２３４の出力が入力される。

【0028】

中間層は、複数の層で構成される。図２では、中間層の層数が２である場合を例示しているが、中間層の層数は適宜変更することができる。中間層の各層は、複数のユニットで構成される。各ユニットは、前の層の各ユニットと、次の層の各ユニットとに接続される。各ユニットは、前の層の各ユニットからの各出力値に重みを乗算し、それらの乗算結果を積算する。次に、各ユニットは、積算結果の各々に対して所定のバイアスを加算（または減算）し、その加算結果（または減算結果）を所定の活性化関数（たとえば、ランプ関数またはシグモナイト関数）に入力し、その活性化関数の出力値を次の層の各ユニットに出力する。

【0029】

出力層は、１つ以上のユニットで構成される。出力層のユニット数は、適宜変更することができる。出力層の各ユニットは、中間層の最終層の各ユニットに接続される。出力層の各ユニットは、中間層の最終層の各ユニットからの出力値を受けて、各出力値に重みを乗算し、それらの乗算結果を積算する。当該乗算結果は、所定の活性化関数（たとえば、ランプ関数またはシグモナイト関数）に入力される。当該活性化関数の出力値は、たとえば確率を示す。

【0030】

一般的に、入力データが時系列データ１００である場合、ＣＮＮを使用した処理では、データ取得部２１で取得した時系列データ１００（入力データ）を、一定間隔（一定周期）で区切り、ＣＮＮの処理領域（演算領域）として、最初の処理（本実施の形態では畳み込み層の処理）を実行する。図３は、従来における、入力データの区切り方を説明する図である。図３に示すように、時系列データ１００を一定間隔（一定周期）Ｔで区切り、時刻ｔ１ｓから時刻ｔ１ｅまでの時系列データ１００を第１処理領域１として処理を実行し、時刻ｔ２ｓ（時刻ｔ１ｅと同時刻）から時刻ｔ２ｅまでの時系列データ１００を第２処理領域２として処理を実行する。第３処理領域３および第４処理領域の同様である。

【0031】

このように、一定間隔Ｔで処理領域を区切り、ＣＮＮの処理を実行すると、第１処理領域１と第２処理領域２の間に、特徴が良く表れている時系列データ１００が存在する場合、時系列データ１００の特徴を精度良く推論することができない懸念がある。

【0032】

図４は、本実施の形態における、入力データの区切り方を説明する図である。本実施の形態では、従来と同様に、時系列データ１００を一定間隔Ｔで区切り、処理領域を設定する際に、処理領域の重複を許容し、重複領域を設定する。図４に示すように、時刻ｔ１ｓから時刻ｔ１ｅまでの第１処理領域１の間に、第２処理領域２の開始時刻ｔ２ｓを設定し、時刻ｔ１ｓから時刻ｔ１ｅまでの時系列データ１００の重複を許容する。これにより、図４に斜線で示した、時刻ｔ２ｓから時刻ｔ１ｅまでの時系列データ１００が、第１処理領域１と第２処理領域２の重複領域となる。また、時刻ｔ１ｅから時刻ｔ２ｅまでの時系列データ１００が、第２処理領域２における、非重複領域となる。時刻ｔ２ｓから時刻ｔ２ｅまでの第２処理領域２の間に、第３処理領域３の開始時刻ｔ３ｓを設定し、時刻ｔ３ｓから時刻ｔ２ｅまでの時系列データ１００の重複を許容することにより、時刻ｔ３ｓから時刻ｔ２ｅまでの時系列データ１００が、第２処理領域２と第３処理領域３の重複領域となる。以後、同様に入力データ（時系列データ１００）を区切ることにより、今周期における処理領域と前周期における処理領域に重複領域を設定することができる。

【0033】

図４においては、時刻によって処理領域の区切ることを説明しているが、時系列データ１００は、所定のデータ収集間隔毎に生成される。時系列データ１００を一定間隔（一定周期）Ｔで区切り、処理領域を設定することは、連続した所定個数の時系列データ１００を処理領域とすることと実施的に同一である。連続した所定個数の時系列データ１００の処理領域を、「入力窓」と称すると、入力窓を設定個数だけスライドすることにより、重複領域を設定することができる。

【0034】

このように、処理領域の重複を許容することにより、特徴が良く表れている時系列データ１００が存在する領域を確実にカバーできるとともに、ＣＮＮによる推論の実行頻度を増やすことができるので、時系列データ１００の特徴を精度良く推論することが可能になる。しかし、処理領域毎にＣＮＮによる推論を実行すると、処理量（演算量）が増加するという問題が生じる。

【0035】

図５は、従来における、ＣＮＮの処理（演算）を模式的に説明した図である。図５において、処理層の第１層は、畳み込み層２３１であり、第２層はプーリング層２３２であり、第３層は畳み込み層２３３であり、最終層（第４層）はプーリング層２３４である。最終層であるプーリング層２３４は、全結合層２３５に入力する出力データを作成する。

【0036】

データ取得部２１が、入力データ（時系列データ１００）を取得し、第１処理領域１の時系列データ１００が揃うと、第１層（畳み込み層２３１）は、第１層カーネル（フィルタ）２３１ｆを用いて畳み込み処理を開始する。たとえば、第１層カーネル２３１ｆを用いた積和演算を、第１層カーネル２３１ｆを順次スライドしながら実行し、処理結果（処理データ）を第１層バッファ２３１ｂに記憶する。第１層（畳み込み層２３１）の処理が終了すると、第２層（プーリング層２３２）の処理を実行する。

【0037】

第２層（プーリング層２３２）では、第１層バッファ２３１ｂに記憶された処理データに対して、第２層カーネル（ウィンド）２３２ｃを順次スライドしＭＡＸプーリングを実行し、処理結果（処理データ）を、第２層バッファ２３２ｂに記憶する。第２層（プーリング層２３２）の処理が終了すると、第３層（畳み込み層２３３）の処理を実行する。

【0038】

第３層（畳み込み層２３３）および最終層（プーリング層２３４）の処理は、上記と同様に行わる。第２層バッファ２３２ｂに記憶された処理データに対して、第３層カーネル（フィルタ）２３３ｆを用いた畳み込み処理を実行し、処理結果を第３層バッファ２３３ｂに記憶する。また、第３層バッファ２３３ｂに記憶された処理データに対して、最終層カーネル（ウィンド）２３４ｃを用いたＭＡＸプーリングを実行し、処理結果を最終層バッファ２３４ｂに記憶する。そして、最終層（プーリング層２３４）の処理が終了すると、最終層バッファ２３４ｂに記憶された処理データが、全結合層２３５に入力される。

【0039】

第１処理領域１において、第１層（畳み込み層２３１）から最終層（プーリング層２３４）の処理が終了すると、第２処理領域２において同様の処理を実行する。このように、従来は、処理領域毎に順次、ＣＮＮによる推論を繰り返し実行している。

【0040】

図６は、本実施の形態における、ＣＮＮの処理（演算）を模式的に説明した図である。図６において、図５と同様に、処理層の第１層は、畳み込み層２３１であり、第２層はプーリング層２３２であり、第３層は畳み込み層２３３であり、最終層（第４層）はプーリング層２３４である。最終層であるプーリング層２３４は、全結合層２３５に入力する出力データを作成する。

【0041】

本実施の形態では、第１処理領域１の処理に際し、第１層（畳み込み層２３１）において、データ取得部２１が入力データ（時系列データ１００）を取得し、第１層カーネル（フィルタ）２３１ｆを用いた積和演算が可能な時系列データ１００が揃うと、第１層カーネル２３１ｆを用いて畳み込み処理を開始する。たとえば、最初は、第１層カーネル２３１ｆのサイズと同じ数（あるいは、同じ数以上）の時系列データ１００が揃うと、積和演算を行い、処理結果（処理データ）を第１層バッファ２３１ｂに記憶する。次回以降の処理（演算）では、第１層カーネル２３１ｆのスライド量に相当する時系列データ１００が追加され、第１層カーネル２３１ｆを用いた積和演算が可能な時系列データ１００が揃うと、積和演算を行い、処理結果（処理データ）を第１層バッファ２３１ｂに記憶する。このように、第１層（畳み込み層２３１）では、第１層カーネル２３１ｆを用いた積和演算が可能な時系列データ１００が揃うと、順次、積和演算を行い、処理結果（処理データ）を第１層バッファ２３１ｂに記憶する。

【0042】

第２層（プーリング層２３２）においては、第１層バッファ２３１ｂに記憶された処理データ（第１層の処理結果）の数が、第２層カーネル（ウィンド）２３２ｃを用いたＭＡＸプーリングが可能な数になると、プーリング処理を実行する。たとえば、最初は、第２層カーネル２３２ｃのサイズと同じ数（あるいは、同じ数以上）の処理データが第１層バッファ２３１ｂに揃うと、ＭＡＸプーリングを実行し、処理結果（処理データ）を第２層バッファ２３２ｂへ記憶する。次回以降の処理（演算）では、第２層カーネル２３２ｃのスライド量に相当する処理データが第１層バッファ２３１ｂに追加され、第２層カーネル２３２ｃを用いたＭＡＸプーリングが可能な処理データが揃うと、ＭＡＸプーリングを行い、処理結果（処理データ）を第２層バッファ２３２ｂに記憶する。このように、第２層（プーリング層２３２）においても、第２層カーネル２３２ｃを用いたＭＡＸプーリングが可能な処理データが第１層バッファ２３１ｂに揃うと、順次、プーリング処理を行い、処理結果（処理データ）を第２層バッファ２３２ｂに記憶する。

【0043】

第３層（畳み込み層２３３）および最終層（プーリング層２３４）の処理も、上記と同様に行わる。第２層バッファ２３２ｂに記憶された処理データが、第３層カーネル（フィルタ）２３３ｆを用いた畳み込み処理を可能な状態になると、順次、畳み込み処理を実行し、処理結果を第３層バッファ２３３ｂに記憶する。また、第３層バッファ２３３ｂに記憶された処理データが、最終層カーネル２３４ｃを用いたＭＡＸプーリングを可能な状態になると、順次プーリング処理を実行し処理結果を最終層バッファ２３４ｂに記憶する。そして、第１処理領域１における最終層（プーリング層２３４）の処理が終了すると、最終層バッファ２３４ｂに記憶された処理データが、全結合層２３５に入力される。

【0044】

第２処理領域２の非重複領域（図６に斜線で示した重複領域に続く、第２処理領域）では、非重複領域における時系列データ１００に対して、上記で説明した第１処理領域１における処理と同様な処理が実行される。これにより、第１処理領域１の処理に連続して、第２処理領域の非重複領域の処理が実行され、最終層バッファ２３４ｂには、非重複領域における時系列データ１００に対する処理結果（処理データ）が記憶される。

【0045】

第２処理領域２において、斜線で示した、第１処理領域１と第２処理領域２の重複領域では、第１処理領域１の処理結果を再利用する。第２処理領域２においては、重複領域における時系列データ１００に対する第１層（畳み込み層２３１）から最終層（プーリング層２３４）の処理を実行せず、重複領域における時系列データ１００を用いて第１処理領域１で処理（演算）され、最終層バッファ２３４ｂに記憶された処理結果（処理データ）を、非重複領域における時系列データ１００に対する処理結果（処理データ）に加えることによって、第１処理領域１の処理結果を再利用する。第２処理領域２の処理が終了すると、最終層バッファ２３４ｂには、重複領域における時系列データ１００を用いて第１処理領域１で処理（演算）された処理結果（処理データ）と、非重複領域における時系列データ１００に対する処理結果（処理データ）が記憶されているので、これらの処理結果（処理データ）を全結合層２３５に入力する。

【0046】

第３処理領域３以降の処理は、第２処理領域２における処理と同様に実行され、第２処理領域２と第３処理領域３の重複領域では、第２処理領域２の処理結果を再利用する。なお、図６において、第１処理領域１と第２処理領域２と第３処理領域が重複する領域が存在するが、この領域では、第３処理領域３において、第１処理領域１の処理結果が再利用されることになる。

【0047】

本実施の形態では、データ取得部２１で取得した時系列データ１００（入力データ）を、一定間隔Ｔで区切り処理領域を設定する際に、処理領域の重複を許容し、重複領域を設定している。重複領域を設定することにより、特徴が良く表れている時系列データ１００が存在する領域を確実にカバーできるとともに、ＣＮＮによる推論の実行頻度を増やすことができるので、時系列データ１００の特徴を精度良く推論することが可能になる。

【0048】

本実施の形態では、処理領域における処理を実行する際、重複領域において、処理結果を再利用する。すなわち、前周期の重複領域の処理結果を、今周期の重複領域の処理結果として出力する。これにより、ＣＮＮの処理量（演算）量を削減することができる。

【0049】

本実施の形態では、最初の１周期である第１処理領域１の処理の際には、第１層（畳み込み層２３１）から最終層（プーリング層２３４）まで、処理（演算）を順次実行する。２周期以降の処理である第２処理領域２以降の処理の際には、前周期と今周期の非重複領域では、第１層（畳み込み層２３１）から最終層（プーリング層２３４）まで、処理（演算）を順次実行するとともに、前周期と今周期の重複領域では、前周期の処理結果を再利用している。これにより、入力データである時系列データ１００に対して、連続して、第１層から最終層まで処理を順次実行することが可能になり、処理に待ち時間が無くなるので、処理時間を短縮することができる。

【0050】

本実施の形態では、最終層（プーリング層２３４）は、全結合層２３５に入力する出力データ（処理データ）を記憶する最終層バッファ２３４ｂを備える。最終層バッファ２３４ｂは、前周期と今周期の重複領域では、前周期における処理結果（処理データ）を記憶し、前周期と今周期の非重複領域では、第１層から最終層までの処理を順次実行した処理結果（処理データ）を記憶する。そして、今周期の処理領域における処理が終了すると、最終層バッファ２３４ｂに記憶されている、重複領域の処理データと非重複領域の処理データを、全結合層２３５に入力する。これにより、全結合層２３５に入力する出力データ（処理データ）記憶する最終層バッファ２３４ｂに、重複複領域での処理結果（処理データ）が記憶され、再利用されるので、処理量（演算量）を削減することができる。

【0051】

本実施の形態では、非重複領域において、時系列データ１００、第１層バッファ２３１ｂに記憶された処理データ、第２層バッファ２３２ｂに記憶された処理データ、および、第３層バッファ２３３ｂに記憶された処理データが、対応するカーネルのサイズ、あるいは、スライド量に相当する数になり、カーネルによる処理が可能なデータが揃うと、処理を実行する。これにより、非重複領域のデータがすべて揃うのを待つことなく処理を実行できるので、処理時間を短縮することが可能になる。

【0052】

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0053】

１０ 情報処理装置、２０ 制御装置、２１ データ取得部、２３ 処理部、２５ 出力部、３０ 記憶装置、４０ 通信装置、５０ 各種センサ、１００ 時系列データ、２３１ 畳み込み層、２３１ｂ 第１層バッファ、２３１ｆ 第１層カーネル、２３２ プーリング層、２３２ｂ 第２層バッファ、２３２ｃ 第２層カーネル、２３３ 畳み込み層、２３３ｂ 第３層バッファ、２３３ｆ 第３層カーネル、２３４ プーリング層、２３４ｂ 最終層バッファ、２３４ｃ 最終層カーネル、２３５ 全結合層、Ｄ 駆動輪、Ｅ 内燃機関、Ｇ ディファレンシャルギヤ、Ｍ 変速機、Ｖ 車両。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】