特開 2023-56751 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023056751

(43)【公開日】2023-04-20

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06N 3/04 20230101AFI20230413BHJP

【ＦＩ】

G06N3/04

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2021166148

(22)【出願日】2021-10-08

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】504139662

【氏名又は名称】国立大学法人東海国立大学機構

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】毛利 昌弘

(72)【発明者】

【氏名】高田 広章

(72)【発明者】

【氏名】本田 晋也

(57)【要約】

【課題】畳み込みニューラルネットワークを使用した処理に要する時間を短縮することである。
【解決手段】情報処理装置の制御装置は、所定の周期でセンサ群から検出結果を示すデータＤを取得するデータ取得部と、ＣＮＮによりデータ取得部からのデータを処理する処理部とを含む。処理部は、所定の周期毎にデータ取得部からデータＤ（データＤ１，Ｄ２，・・・）を取得する。ＣＮＮを使用した１回の処理にデータＤ１～Ｄ１０を要し、データＤ１～Ｄ３が揃うと畳み込み層の処理の一部を実行できるケースを想定すると、処理部は、データＤ１～Ｄ１０が揃うのを待たずに、データＤ３を取得した時点で、データＤ１～Ｄ３を用いて実行できるタスクを実行する。そして、処理部は、データＤを取得する毎に実行できる処理を順次実行する。
【選択図】図４

【特許請求の範囲】

【請求項1】

畳み込みニューラルネットワークを使用する情報処理装置であって、
入力データを取得するデータ取得部と、
前記畳み込みニューラルネットワークにより前記入力データを処理する処理部とを備え、
前記処理部は、
前記入力データに対して畳み込みの処理を実行する畳み込み層と、
前記畳み込み層の出力に対してプーリングの処理を実行するプーリング層と、
前記プーリング層の出力を入力とする全結合の処理を実行する全結合層とを含み、
前記処理部は、前記畳み込みの処理、前記プーリングの処理および前記全結合の処理に含まれる処理の少なくとも一部を実行できる入力が揃った場合、当該一部の処理を実行する、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、畳み込みニューラルネットワークを使用する情報処理装置に関する。

【背景技術】

【0002】

国際公開第２０２０／１９４４６５号（特許文献１）には、畳み込み演算を、空間方向への畳み込み演算とチャネル方向への畳み込み演算とに分けて、これらを個別に実行するニューラルネットワーク回路が開示されている。このニューラルネットワーク回路は、チャネル方向への畳み込みを行なう１×１畳み込み演算回路と、１×１畳み込み演算回路の演算結果が格納されるＳＲＡＭと、ＳＲＡＭに格納された演算結果に対して空間方向への畳み込みを行なうＮ×Ｎ畳み込み演算回路とを備える。１×１畳み込み演算回路の演算結果をＳＲＡＭに格納することにより、Ｎ×Ｎ畳み込み演算回路のメモリボトルネックを回避している。メモリボトルネックは、１回の畳み込み演算に必要なデータをメモリから読み出す時間が、１回の畳み込み演算時間を上回ることをいう（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２０／１９４４６５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が使用される場合、演算量が膨大になることが知られている。たとえば、組み込み系のシステム等では、コスト低減の観点から、汎用のＣＰＵ（Central Processing Unit）に比べて処理能力の低いＣＰＵ（たとえばマイコン等）が用いられることがある。処理能力の低いＣＰＵでＣＮＮが使用される場合、処理に多くの時間を要してしまう可能性がある。そのため、ＣＮＮを使用した処理に要する時間を短縮させる手法が望まれている。

【0005】

本開示は、上記課題を解決するためになされたものであり、その目的は、畳み込みニューラルネットワークを使用した処理に要する時間を短縮することである。

【課題を解決するための手段】

【0006】

この開示に係る情報処理装置は、畳み込みニューラルネットワークを使用する。情報処理装置は、入力データを取得するデータ取得部と、畳み込みニューラルネットワークにより入力データを処理する処理部とを備える。処理部は、入力データに対して畳み込みの処理を実行する畳み込み層と、畳み込み層の出力に対してプーリングの処理を実行するプーリング層と、プーリング層の出力を入力とする全結合の処理を実行する全結合層とを含む。処理部は、畳み込みの処理、プーリングの処理および全結合の処理に含まれる処理の少なくとも一部を実行できる入力が揃った場合、当該一部の処理を実行する。

【0007】

上記構成によれば、処理部は、畳み込みの処理、プーリングの処理および全結合の処理に含まれる処理の少なくとも一部を実行できる入力が揃った場合、当該一部の処理を実行する。すなわち、処理部は、畳み込みニューラルネットワーク（ＣＮＮ）を使用した処理（畳み込みの処理、プーリングの処理および全結合の処理）を実行するための全ての入力が揃ってから処理を実行するのではなく、実行できる処理から随時実行していく。データの取得とＣＮＮを使用した処理とが並列に実行されるので、ＣＮＮを使用した処理を実行するための全ての入力が揃ってから処理を実行する場合に比べ、処理に要する時間を短縮することができる。

【発明の効果】

【0008】

本開示によれば、畳み込みニューラルネットワークを使用した処理に要する時間を短縮することができる。

【図面の簡単な説明】

【0009】

【図1】実施の形態に係る情報処理装置の構成を示す図である。

【図2】処理部の詳細な構成を説明するための図である。

【図3】ＣＮＮを使用した従来の処理の概要を説明するための図である。

【図4】実施の形態に係る処理部が実行するＣＮＮを使用した処理の概要を説明するための図である。

【図5】畳み込み層の処理を説明するための図（その１）である。

【図6】畳み込み層の処理を説明するための図（その２）である。

【図7】全結合層の処理を説明するための図である。

【図8】比較例の各タスクの処理時間を示す図である。

【発明を実施するための形態】

【0010】

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

【0011】

図１は、本実施の形態に係る情報処理装置１の構成を示す図である。本実施の形態に係る情報処理装置１は、畳み込みニューラルネットワーク（ＣＮＮ）を使用して入力データを処理し、入力データに対する識別結果（処理結果）を出力する。情報処理装置１は、制御装置２と、記憶装置３と、通信装置４とを備える。

【0012】

記憶装置３は、たとえば、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含んで構成される。記憶装置３は、制御装置２により実行されるプログラム等を記憶する。通信装置４は、外部の装置と双方向の通信が可能に構成される。

【0013】

制御装置２は、データ取得部２１と、処理部２３と、出力部２５とを含む。制御装置２は、記憶装置３に記憶されたプログラムを実行することにより、データ取得部２１、処理部２３、出力部２５として機能する。なお、制御装置２は、上記プログラムを記憶するメモリ（図示せず）を備えてもよい。

【0014】

データ取得部２１は、センサ群１０から検出結果を示すデータを取得する。本実施の形態においては、センサ群１０は第１～第５センサ５～９を含む。第１～第５センサ５～９としては、任意のセンサを適用することができる。情報処理装置１が、たとえば車両のエンジンを制御するエンジンＥＣＵ（Electronic Control Unit）に用いられる場合には、センサ群１０は、外気温センサ、気圧センサ、エンジン（ラジエータ）水温センサ、エンジンオイル温度センサ、燃料温度センサ、燃料圧力センサ、および／または、Ａ／Ｆセンサ等を含んでもよい。データ取得部２１は、所定の周期で、第１～第５センサ５～９の各々から検出結果を示すデータを取得し、取得されたデータを処理部２３に出力する。

【0015】

処理部２３は、ＣＮＮを使用して、データ取得部２１から受けたデータ（入力データ）を処理し、入力データに対する識別結果（処理結果）を出力部２５に出力する。

【0016】

図２は、処理部２３の詳細な構成を説明するための図である。処理部２３は、畳み込み層２３１，２３２、プーリング層２３３，２３４、および、全結合層２３５を含む。畳み込み層２３１，２３２およびプーリング層２３３，２３４は、入力データから特徴量を抽出する。畳み込み層２３１，２３２では、所定のサイズのフィルタ（カーネル）を用いた畳み込み処理が実行される。プーリング層２３３，２３４では、畳み込み結果を２次元的に縮小して有効値を抽出するプーリング処理が実行される。なお、図２おいては、２つの畳み込み層２３１，２３２および２つのプーリング層２３３，２３４が処理部２３に含まれる例を示しているが、これらの数は、適宜変更することが可能である。

【0017】

全結合層２３５は、入力層と、中間層と、出力層とを含む。入力層は、複数のユニットで構成される。各ユニットには、１次元に変換されたプーリング層２３４の出力が入力される。

【0018】

中間層は、複数の層で構成される。図２では、中間層の層数が２である場合を例示しているが、中間層の層数は適宜変更することができる。中間層の各層は、複数のユニットで構成される。各ユニットは、前の層の各ユニットと、次の層の各ユニットとに接続される。各ユニットは、前の層の各ユニットからの各出力値に重みを乗算し、それらの乗算結果を積算する。次に、各ユニットは、積算結果の各々に対して所定のバイアスを加算（または減算）し、その加算結果（または減算結果）を所定の活性化関数（たとえば、ランプ関数またはシグモナイト関数）に入力し、その活性化関数の出力値を次の層の各ユニットに出力する。

【0019】

出力層は、１つ以上のユニットで構成される。出力層のユニット数は、適宜変更することができる。出力層の各ユニットは、中間層の最終層の各ユニットに接続される。出力層の各ユニットは、中間層の最終層の各ユニットからの出力値を受けて、各出力値に重みを乗算し、それらの乗算結果を積算する。当該乗算結果は、所定の活性化関数（たとえば、ランプ関数またはシグモナイト関数）に入力される。当該活性化関数の出力値は、たとえば確率を示す。

【0020】

一般的には、ＣＮＮを使用した処理では、１回のＣＮＮを使用した処理に要するデータ、すなわち、畳み込み層、プーリング層および全結合層の処理を実行するためのデータが全て揃った時点で最初の処理（本実施の形態では畳み込み層の処理）が開始される。たとえば、畳み込み層の処理を実行するために必要となるセンサ群からのデータが全て揃うと、畳み込み層の処理が実行される。また、プーリング層の処理を実行するために必要となる畳み込み層からのデータが全て揃うと、プーリング層の処理が実行される。また、全結合層の処理を実行するために必要となるプーリング層からのデータが全て揃うと、全結合層の処理が実行される。

【0021】

ここで、本実施の形態に係る制御装置２の処理部２３が実行するタスクには、実行周期が定められている。なお、以下ではタスクの実行周期を「タスク周期」とも称する。タスク周期は、たとえば、数ｍｓ～数十ｍｓ等に設定されている。処理部２３の処理能力によっては、入力データの取得から結果出力までの一連の処理（ジョブ）にタスク周期以上の時間を要することもある。このような場合には、タスク周期で演算できる範囲に処理を分割して、一連の処理が分割実行される。しかしながら、一連の処理（ジョブ）を各層毎に分割して実行し、また、各層の処理を実行するために必要となる入力が揃ってから各層の処理を実行すると、全体として、処理に要する時間が長くなってしまう。さらに、センサ群１０からの入力データの取得にある程度の時間を要するような場合には、処理に要する時間がさらに長くなる。

【0022】

図３は、ＣＮＮを使用した従来の処理の概要を説明するための図である。図４は、本実施の形態に係る処理部２３が実行するＣＮＮを使用した処理の概要を説明するための図である。図３および図４においては、ＣＮＮを使用した１回の処理にセンサ群１０からのデータＤ１～Ｄ１０を要することを想定する。センサ群１０は、所定の周期毎にデータＤｎを出力し、制御装置２のデータ取得部２１がデータＤｎを取得する。ｎは自然数である。データＤｎには、第１～第５センサ５～９が検出した検出値が含まれている。

【0023】

図３を参照して、ＣＮＮを使用した従来の処理では、まず、データＤ１～Ｄ１０が揃うのを待つ。データＤ１～Ｄ１０が揃うまでには、１０周期を要する。データＤ１～Ｄ１０が揃うと、各層毎に、１回のタスク周期で演算できる範囲で処理が分割される。たとえば、層毎やチャネル毎に処理が分割される。図２に示したようにＣＮＮに２つの畳み込み層が含まれる例を相当すると、たとえば、処理が第１層の処理と第２層の処理とに分割される。このような処理の分割が行なわれると、タスク毎に処理負荷が異なり、処理時間に差異が出る可能性がある。たとえば、畳み込み層の第１層が８フィルタであり、第２層が４フィルタであり、１フィルタの演算に１ｍｓを要すると仮定すると、１回目のタスクでは８ｍｓの処理時間を要し、２回目のタスクでは４ｍｓの処理時間を要する。このように、各タスクにおいて要する処理時間が異なると、タスク周期に近い処理時間を要するタスクの実行時に、何らかの要因に起因してタスク周期内に処理を完了できないケースが生じ得る。また、たとえば組み込み系システムにおいては、各タスク周期における処理負荷は平準化されることが望ましい。

【0024】

図４を参照して、本実施の形態に係る処理部２３は、データＤ１～Ｄ１０が全て揃うのを待たず、その時点で揃っているデータを用いて実行できるタスクから順次実行する。たとえばデータＤ１～Ｄ３が揃うと畳み込み層２３１の処理の一部を実行できるケースを想定すると、処理部２３は、データＤ１～Ｄ３が揃った時点で、データＤ１～Ｄ３を用いて実行できるタスクを実行する。そして、次の制御周期（所定の周期）でデータＤ４を取得すると、処理部２３は、データＤ１～Ｄ４を用いて実行できるタスクを実行する。処理部２３は、データが追加される毎に実行できるタスクを順次実行し、畳み込み層、プーリング層および全結合層のいずれの処理かに関わらず、実行できるタスクから実行していく。すなわち、畳み込み層の処理が全て完了していなくても、プーリング層または／および全結合層に実行できるタスクがあれば当該タスクを実行していく。畳み込み層、プーリング層および全結合層の処理は並列して実行される。

【0025】

さらに、本実施の形態に係る処理部２３は、層やチャネルの単位ではなく、処理負荷に基づいて処理を分割する。より具体的には、処理部２３は、１のタスクの処理負荷を平準化するように処理を分割する。上述の図３の例を再び用いると、１回目のタスクでは畳み込み層の第１層の６フィルタまで処理し、２回目のタスクでは第１層の２フィルタと、第２層の４フィルタとを処理するように処理が分割される。１回目のタスクにおいて、あえて６フィルタまでの処理に留めることで、各タスクの処理時間が６ｍｓとなり、タスク間の処理負荷が平準化される。タスク間の処理負荷が平準化されることで、たとえば組み込み系システム等においてシステムを安定化させることができる。なお、タスク間の処理負荷を平準化させるための目標となる処理負荷を「目標処理負荷」とも称する。タスク周期に対して目標処理負荷を適切に設定することにより、タスク周期内で処理が完了しないというケースの発生を抑制することができる。

【0026】

図５および図６は、畳み込み層の処理を説明するための図である。図５および図６では、３×３のフィルタが用いられる例について説明する。また、スライドは１、パディングはなしとする。

【0027】

時間Ｔ１において、データ取得部２１がセンサ群１０からデータＤ１を取得する。データＤ１には、第１～第５センサ５～９の検出結果が含まれている。この時点においては開始できる処理がないため、処理部２３はさらにデータが収集されるのを待つ。同様に、時間Ｔ２において、データ取得部２１がセンサ群１０からデータＤ２を取得する。この時点においても開始できる処理がないため、処理部２３はさらにデータが収集されるのを待つ。なお、時間Ｔ１と時間Ｔ２との間隔は上述の所定の周期である。

【0028】

時間Ｔ３において、データ取得部２１がセンサ群１０からデータＤ３を取得する。データＤ３が取得されると、これまでに揃った入力データ（データＤ１～Ｄ３）を用いて畳み込み層２３１（第１層）の処理を実行できるので、処理部２３は畳み込み層２３１の処理を実行する。すなわち、時間Ｔ３において、処理部２３は、第１層目バッファの先頭の行を計算する。

【0029】

時間Ｔ４において、データ取得部２１がセンサ群１０からデータＤ４を取得する。データＤ４が取得されると、処理部２３は、第１層目バッファの次行を計算する。

【0030】

時間Ｔ５において、データ取得部２１がセンサ群１０からデータＤ５を取得する。データＤ５が取得されると、処理部２３は、第１層目バッファの３行目を計算する。さらに、この時点においては、畳み込み層２３２（第２層）の処理を実行できる。処理部２３は、第２層目バッファの先頭の行を計算する。上記のようにして、処理部２３は、時間Ｔ５以降も実行できる処理から順次処理する。

【0031】

なお、上述した畳み込み層の処理と同様にして、プーリング層２３３，２３４の処理も実行することができる。処理部２３は、畳み込み層２３１，２３２の処理が全て完了することを待たず、プーリング層２３３，２３４の処理においても、実行できる処理から順次実行していく。

【0032】

図７は、全結合層の処理を説明するための図である。一例として、図７に示す入力がプーリング層２３４から全結合層２３５に入力されることを想定する。全結合層２３５の入力層では、たとえば、ｆｌａｔｔｅｎ関数を用いて入力が一次元化される。この時点（図７の入力を受けて当該入力を一次元化した時点）において、重み係数を読み出して、中間層の第１層目の先頭の行を処理することができる。重み係数は、たとえば記憶装置３から読み出される。このように、全結合層２３５においても、全ての入力が揃う前に、実行可能な処理から順次実行することができる。

【0033】

処理部２３は、その時点において実行可能な処理を、所定時間で処理を完了できる処理負荷に分けて、分けられた処理を１のタスクで実行する。

【0034】

出力部２５は、処理部２３の出力層から受けた結果（確率）に基づいて、識別結果を出力する。たとえば、出力部２５は、出力層から受けた確率のうち、最も高い確率のものを識別結果として出力する。

【0035】

図８は、比較例の各タスクの処理時間を示す図である。図８の横軸には実行タスク番号、縦軸には処理負荷（処理時間）が示されている。比較例は、図３で説明した従来の処理を実行した場合である。

【0036】

０～Ｎ１のタスクは、処理の開始直後のタスクであり、畳み込み層の処理を実行するための入力データを取得する。そのため、０～Ｎ１のタスクの処理負荷は小さくなっている。実行タスク番号が増えるに連れて、すなわち、処理が進むに連れて、処理するデータ量も増加して処理負荷も増加していき、Ｎ３以降のタスクでは、奇数回のタスクと偶数回のタスクとに処理負荷の差が生じている。奇数回のタスクの処理負荷はＸ１、偶数回のタスクの処理負荷はｙ１（＜Ｘ１）となっている。奇数回のタスクと偶数回のタスクとの処理負荷の差は、たとえば、フィルタの設定やプーリングの処理の設定等に起因して生じ得る。このように、タスク間で処理負荷に差が生じることは、システムの安定化等の観点から望ましくない。

【0037】

その一方で、本実施の形態においては、１のタスクの処理負荷が目標処理負荷となるように処理が分割されるので、タスク間の処理負荷を平準化することができる。

【0038】

以上のように、本実施の形態に係る情報処理装置１において、制御装置２の処理部２３は、ＣＮＮを使用した処理に要する入力データが全て揃うのを待たず、あるタスクを実行できる入力データが揃った時点で処理を実行する。これにより、ＣＮＮを使用した処理に要する全てのデータが揃ってから処理を開始する（最初のタスクを実行する）場合に比べ、処理に要する時間を短縮することができる。

【0039】

また、処理部２３は、１のタスクの処理負荷が目標処理負荷となるように処理を分割する。たとえば、層やチャネルの単位で処理を分割すると、タスク間の処理負荷にばらつきが生じてしまう。層やチャネルの単位ではなく、処理負荷に基づいて処理を分割することで、タスク間の処理負荷を平準化することができる。

【0040】

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0041】

１ 情報処理装置、２ 制御装置、３ 記憶装置、４ 通信装置、５ 第１センサ、６ 第２センサ、７ 第３センサ、８ 第４センサ、９ 第５センサ、１０ センサ群、２１ データ取得部、２３ 処理部、２５ 出力部、２３１，２３２ 畳み込み層、２３３，２３４ プーリング層、２３５ 全結合層。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】