特許 7325270 制御プログラム、制御方法および制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-03

(45)【発行日】2023-08-14

(54)【発明の名称】制御プログラム、制御方法および制御装置

(51)【国際特許分類】

   G06N 3/082 20230101AFI20230804BHJP

【ＦＩ】

G06N3/082

【請求項の数】 6

(21)【出願番号】P 2019159963

(22)【出願日】2019-09-02

(65)【公開番号】P2021039522

(43)【公開日】2021-03-11

【審査請求日】2022-03-31

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】飯野 賢吾

【審査官】渡辺 一帆

(56)【参考文献】

【文献】特開平１１－０３９２７４（ＪＰ，Ａ）

【文献】特開２０１８－１５６４５１（ＪＰ，Ａ）

【文献】特開平０６－１４９７６８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１０８４３６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０２－ ３／１０

Ｇ０６Ｎ ２０／００－２０／２０

(57)【特許請求の範囲】

【請求項1】

コンピュータに実行させる制御プログラムであって、
記憶部に記憶されたニューラルネットワークによって構成されるモデルのパラメータのうち、増減させるノードの重みパラメータと、バイアスパラメータとを変更してニューラルネットワークのノード数を疑似的に変更する
制御プログラム。

【請求項2】

前記ノード数の切り替えが必要か否かを判定し、判定結果に応じた前記ノード数を切り替える
請求項１に記載の制御プログラム。

【請求項3】

前記モデルに要求される精度に応じて、前記ノード数の切替が必要か判定する
請求項２に記載の制御プログラム。

【請求項4】

前記ニューラルネットワークを構成する少なくとも１つの層を削減する場合、前記層の各出力経路の重みパラメータを１に設定し、中間層の各ノードのバイアスパラメータを０に設定する
請求項１～３のいずれか１つに記載の制御プログラム。

【請求項5】

制御装置を制御する制御方法であって、
記憶部に記憶されたニューラルネットワークによって構成されるモデルのパラメータのうち、増減させるノードの重みパラメータと、バイアスパラメータとを変更してニューラルネットワークのノード数を疑似的に変更する
制御方法。

【請求項6】

制御装置の制御部は、
記憶部に記憶されたニューラルネットワークによって構成されるモデルのパラメータのうち、増減させるノードの重みパラメータと、バイアスパラメータとを変更してニューラルネットワークのノード数を疑似的に変更する
制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御プログラム、制御方法および制御装置に関する。

【背景技術】

【0002】

従来、機械学習によって生成された複数のモデルを用いて、音声認識を行う音声認識装置がある。かかる音声認識装置では、複数のモデルから得られる出力データのうち、最も適合度の高いデータを音声認識結果と見做す（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平６－６７６９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、複数のモデルをメモリに記憶しておく必要があるため、メモリ容量の大きい記憶媒体が必要となる。

【0005】

本発明は、上記に鑑みてなされたものであって、メモリ容量を抑えつつ、複数のモデルを用いることができる制御装置および制御方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、実施形態に係る制御装置は、記憶部と、切替部とを備える。前記記憶部は、ニューラルネットワークによって構成されるモデルを記憶する。前記切替部は、前記記憶部に記憶された前記モデルのパラメータを変更することで、ニューラルネットワークのノード数を疑似的に切り替える。

【発明の効果】

【0007】

本発明によれば、メモリ容量を抑えつつ、複数のモデルを用いることができる。

【図面の簡単な説明】

【0008】

【図1A】図１Ａは、制御装置の搭載例を示す図である。

【図1B】図１Ｂは、制御方法の概要を示す図である。

【図2】図２は、制御装置のブロック図である。

【図3】図３は、パラメータＤＢの一例を示す図である。

【図4A】図４Ａは、切替部が切り替えるパラメータの一例を示す図（その１）である。

【図4B】図４Ｂは、切替部が切り替えるパラメータの一例を示す図（その２）である。

【図5】図５は、切替部が切り替えるパラメータの一例を示す図（その３）である。

【図6】図６は、制御装置が実行する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、実施形態に係る制御装置および制御方法について説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0010】

まず、図１Ａおよび図１Ｂを用いて、実施形態に係る制御装置および制御方法の概要について説明する。図１Ａは、制御装置の搭載例を示す図である。図１Ｂは、制御方法の概要を示す図である。なお、かかる制御方法は、図１Ａに示す制御装置１によって実行される。

【0011】

図１Ａに示すように、実施形態に係る制御装置１は、車両１００に搭載される。制御装置１は、車両１００の車載センサから入力されるセンサ情報に基づく入力データＤｉをモデルＭに入力することで出力データＤｏを生成する。ここで、モデルＭとは、入力層、中間層（隠れ層）、および出力層と呼ばれるレイヤを有し、入力層から入力された入力データＤｉを各接続経路を伝播させながら出力層まで伝達する。なお、各層は、それぞれノードＮによって構成される。

【0012】

この際、各接続経路に設定されたパラメータに基づいた演算処理を実行することで、入力データＤｉに対応する出力データＤｏを生成する。

【0013】

ところで、複数のモデルを記憶しておき、入力データ等に応じて、複数のモデルを切り替えて用いる場合が想定される。この場合、制御装置は、複数のモデルを予め記憶しておく必要があり、メモリ容量の圧迫を招く。また、上述のように、複数のモデルを車両に搭載する場合、それぞれのモデルについて、品質保証などの検査を行う必要があり、コストの増大を招くおそれがある。

【0014】

そこで、実施形態に係る制御方法では、モデルＭのニューラルネットワーク構造を切り替えることで、１つのモデルＭを複数のモデルＭとして用いることとした。

【0015】

具体的には、図１Ｂに示すように、実施形態に係る制御方法では、大規模モデルＭ１と、大規模モデルＭ１よりもノード数が少ない小規模モデルＭ２とを切り替えることが可能である。

【0016】

より詳細には、実施形態に係る制御方法では、モデルＭのパラメータを変更することで、大規模モデルＭ１と小規模モデルＭ２とを切り替えることが可能である。ここで、パラメータには、重みパラメータや、バイアスパラメータが含まれる。

【0017】

図１Ｂに示す例において、小規模モデルＭ２が、大規模モデルＭ１に比べて、中間層Ｌが少ない場合を示す。この場合、中間層Ｌの各ノードの出力経路の重みパラメータを「１」とし、各ノードのバイアスパラメータを「０」とすることで、実質的に中間層Ｌを削減したモデルＭとすることができる。

【0018】

また、小規模モデルＭ２から大規模モデルＭ１へ切り替える場合には、上記の重みパラメータおよびバイアスパラメータをそれぞれ大規模モデルＭ１用に設定すればよい。

【0019】

このように、実施形態に係る制御方法では、１つのモデルＭを大規模モデルＭ１と小規模モデルＭ２とで切り替えることが可能である。したがって、実施形態に係る制御方法では、１つのモデルＭを記憶しておけばよいので、メモリ容量を抑えつつ、複数のモデルＭを用いることができる。

【0020】

なお、上述の例では、大規模モデルＭ１と、１つの小規模モデルＭ２との間でモデルＭを切り替える場合について示したが、これに限定されるものではなく、小規模モデルＭ２は２つ以上であってもよい。また、上述した実施形態では、中間層Ｌを増減させる場合について示したが、これに限定されるものではない。すなわち、任意のノードＮを増減させることが可能である。

【0021】

次に、図２を用いて、実施形態に係る制御装置１の構成例について説明する。図２は、制御装置１のブロック図である。なお、図２には、車載センサ類１０１を併せて示す。車載センサ類１０１は、例えば、車両１００の内燃機関（エンジン）の状態を検出するセンサ類である。制御装置１は、車載センサ類１０１から入力されるセンサ情報をモデルＭに入力することで、エンジンの失火などといった状態を判定することができる。

【0022】

図２に示すように、制御装置１は、記憶部２と、制御部３とを備える。記憶部２は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

【0023】

また、図２に示すように、記憶部２は、モデルＤＢ２１と、パラメータＤＢ２２とを備える。モデルＤＢ２１は、モデルＭを記憶するデータベースである。モデルＤＢ２１には、上述の大規模モデルＭ１が記憶される。

【0024】

パラメータＤＢ２２は、モデルＭに適用するパラメータを記憶するデータベースである。図３は、パラメータＤＢ２２の一例を示す図である。図３に示すように、パラメータＤＢ２２には、「パラメータＩＤ」、「適用条件」、「重みパラメータ」、「バイアスパラメータ」等が互いに関連付けられて記憶される。

【0025】

パラメータＩＤは、パラメータを識別する識別子であり、大規模モデルＭ１および小規模モデルＭ２を識別する識別子であるとも言える。適用条件は、対応するパラメータを適用する条件を示す。また、重みパラメータおよびバイアスパラメータは、上述のパラメータの一例である。また、これらパラメータは、機械学習によって導出される値である。なお、図３に示す例では、重みパラメータおよびバイアスパラメータを「Ｃ０１」や「Ｄ０１」のように模式的に示したが、「Ｃ０１」や「Ｄ０１」には具体的な情報が記載されているものとする。

【0026】

また、「Ｃ０１」や「Ｄ０１」には、モデルＭのノード数に応じた個数のパラメータが記載される。詳細については後述するが、大規模モデルＭ１から小規模モデルＭ２へ切り替える場合に、削減するノードの重みパラメータおよびバイアスパラメータは「０」または「１」である。

【0027】

図２の説明に戻り、制御部３について説明する。制御部３は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、記憶部２に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部３は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現することができる。

【0028】

図２に示すように、制御部３は、取得部３１と、判定部３２と、切替部３３と、演算部３４とを備える。取得部３１は、車載センサ類１０１からセンサ情報を取得する。取得部３１によって取得されたセンサ情報は、判定部３２へ通知される。

【0029】

判定部３２は、モデルＭのノード数を切り替えるか否かを所定条件に基づいて判定する。具体的には、判定部３２は、パラメータＤＢ２２を参照し、どの適用条件に合致するかを判定する。

【0030】

ここで、適用条件の一例として、モデルＭに要求される精度が挙げられる。すなわち、かかる精度が高い場合、大規模モデルＭ１の方が好ましく、精度が低い場合には小規模モデルＭ２であっても対応可能である。

【0031】

判定部３２は、例えば、不図示の上位装置から要求される精度に基づいて、どの適用条件に合致するかを判定することができる。そして、判定部３２は、判定結果となるパラメータＩＤを切替部３３へ通知する。

【0032】

なお、上記の所定条件は、モデルＭに要求される精度に限られず、例えば、エンジン回転数など、センサ情報から読み取れるものであってもよいし、車両１００の現在の走行位置などその他の情報から読み取れるものであってもよい。すなわち、所定条件については、任意に設定することが可能である。

【0033】

切替部３３は、記憶部２に記憶されたモデルＭのパラメータを変更することで、ニューラルネットワークのノード数を疑似的に切り替える。ここで、切替部３３は、上記の判定部３２による判定結果に基づいて、パラメータを変更することで、モデルＭのノード数を調節する。これにより、現在の要求に応じたノード数のモデルＭを設定することが可能となる。

【0034】

具体的には、切替部３３は、判定部３２から通知されたパラメータＩＤの重みパラメータおよびバイアスパラメータをモデルＭに設定することで、モデルＭのノード数を疑似的に切り替える。

【0035】

図４Ａ、図４Ｂおよび図５は、切替部３３が切り替えるパラメータの具体例を示す図である。まず、図４Ａおよび図４Ｂを用いて、中間層Ｌ２を疑似的に削減する場合について説明する。なお、図４Ａに示す「Ａ１」、「Ｂ１」および「Ｃ１」などは、対応するノードＮのバイアスパラメータを示し、「ａ１１」や「ｂ１１」などは、対応するノードＮ間の接続経路における重みパラメータを示すものとする。また、図４Ａでは、活性化関数がＲｅＬＵであるものとして説明する。

【0036】

図４Ａに示すように、ノードＮ２１～ノードＮ２３から成る中間層Ｌ２を疑似的に削減する場合、ノードＮ２１～Ｎ２３のバイアスパラメータＢ１～Ｂ３を切り替えるとともに、ノードＮ２１～Ｎ２３の出力経路における重みパラメータｂ１１～ｂ３３を切り替える。

【0037】

具体的には、切替部３３は、ノードＮ２１～Ｎ２３のバイアスパラメータＢ１～Ｂ３を全て「０」へ切り替え、重みパラメータｂ１１、ｂ２２、ｂ３３を全て「１」とし、その他の重みパラメータ（ｂ１２、ｂ１３、ｂ２１、ｂ２３、ｂ３１、ｂ３２）を全て「０」へ切り替える。

【0038】

つまり、切替部３３は、削減するノードＮのバイアスパラメータを「０」に切り替えるとともに、かかるノードＮから図中水平に延びるノードＮへの出力経路の重みパラメータを「１」に、他の出力経路の重みパラメータを「０」に切り替える。

【0039】

これにより、図４Ｂに示すように、中間層Ｌ２のノードＮ２１～Ｎ２３が疑似的に削減され、ノードＮ１１～Ｎ１３が、それぞれノードＮ３１～Ｎ３３と重みパラメータａ１１～ａ３３で接続され状態に実質的に切り替えることが可能となる。

【0040】

つまり、中間層Ｌ２に入力されるデータは、中間層Ｌ２において変更されることなく、次のノードＮ３１～Ｎ３３へ入力されることになる。言い換えれば、中間層Ｌ２について、実質的に意味を持たなくさせることができる。

【0041】

このように、切替部３３は、モデルＭの構造を層単位で切り替えることで、モデルＭを容易に縮小することが可能となる。

【0042】

次に、図５を用いて、任意のノードＮを疑似的に削減する場合について説明する。なお、ここでは、活性化関数がＲｅＬＵまたはＴａｎｈであるものとして説明する。

【0043】

切替部３３は、図５に示す下段のノード列Ｎｃを疑似的に削減する場合、ノード列Ｎｃに関するバイアスパラメータおよび重みパラメータをそれぞれ「０」とする。

【0044】

具体的には、切替部３３は、ノード列Ｎｃを構成するノードＮ１３、ノードＮ２３およびノードＮ３３のバイアスパラメータＡ３、Ｂ３およびＣ３を全て「０」にし、かつ、ノードＮ１３、ノードＮ２３およびノードＮ３３に関する重みパラメータを全て「０」へ切り替える。

【0045】

ここで、ノードＮ１３、ノードＮ２３およびノードＮ３３に関する重みパラメータとは、ノードＮ１３、ノードＮ２３およびノードＮ３３に対する入力経路の重みパラメータ（ａ１３、ａ２３、ａ３３、ｂ１３、ｂ２３、ｂ３３）と、ノードＮ１３、ノードＮ２３およびノードＮ３３の出力経路の重みパラメータ（ａ３１、ａ３２、ａ３３、ｂ３１、ｂ３２、ｂ３３）の双方を示す。

【0046】

すなわち、ノードＮ１３、ノードＮ２３およびノードＮ３３には、全て「０」としてデータが入力されるとともに、ノードＮ１３、ノードＮ２３およびノードＮ３３から「０」として、次の各ノードＮへ出力されることになる。なお、ノードＮ１３、ノードＮ２３およびノードＮ３３から出力されるデータが「０」であればよいので、バイアスパラメータおよび入力経路の重みパラメータを保持した状態で、出力経路の重みパラメータのみを切り替えることにしてもよい。

【0047】

なお、ここでは、ノード列Ｎｃを疑似的に削減する場合について説明したが、任意のノードＮを１つのノード単位で削減することも可能である。なお、ここでは、疑似的に削減したノードＮを元に戻す場合は、重みパラメタ―およびバイアスパラメータをそれぞれ戻すことになる。

【0048】

図２の説明に戻り、演算部３４について説明する。演算部３４は、センサ情報に基づく入力データＤｉをモデルＭに入力することで出力データＤｏを生成する。ここで、上述のように、演算部３４が演算処理に用いるモデルＭは、切替部３３によってノード数が疑似的に変更される。

【0049】

すなわち、演算部３４は、大規模モデルＭ１または小規模モデルＭ２のいずれかを用いて、演算処理を行うことになる。

【0050】

次に、図６を用いて、実施形態に係る制御装置１が実行する処理手順について説明する。図６は、制御装置１が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、制御部３によってセンサ情報の取得毎に実行される。

【0051】

図６に示すように、制御装置１は、まず、センサ情報を取得すると（ステップＳ１０１）、高精度が要求されているか否かを判定する（ステップＳ１０２）。ここで、制御装置１は、高精度が要求されていると判定した場合（ステップＳ１０２，Ｙｅｓ）、モデルＭに大規模モデルＭ１用のパラメータを設定する（ステップＳ１０３）。

【0052】

その後、制御装置１は、大規模モデルＭ１を用いて演算処理を行い（ステップＳ１０４）、処理を終了する。また、制御装置１は、ステップＳ１０２の判定処理において、高精度が求められていないと判定した場合（ステップＳ１０２，Ｎｏ）、モデルＭに小規模モデルＭ２用のパラメータを設定する（ステップＳ１０５）。

【0053】

その後、制御装置１は、小規模モデルＭ２を用いて演算処理を行い（ステップＳ１０４）、処理を終了する。

【0054】

上述したように、実施形態に係る制御装置１は、記憶部２と、切替部３３とを備える。記憶部２は、ニューラルネットワークによって構成されるモデルＭを記憶する。切替部３３は、記憶部２に記憶されたモデルＭのパラメータを変更することで、ニューラルネットワークのノード数を疑似的に切り替える。したがって、実施形態に係る制御装置１によれば、メモリ容量を抑えつつ、複数のモデルを用いることができる。

【0055】

ところで、上述した実施形態では、大規模モデルＭ１と小規模モデルＭ２とが精度の異なるモデルＭである場合について説明したが、これに限定されるものではない。すなわち、大規模モデルＭ１と小規模モデルＭ２とは、使用目的が全く異なるモデルＭであってもよい。すなわち、例えば、大規模モデルＭ１で、ノッキングを判定し、小規模モデルＭ２でエンジンの故障を判定することにしてもよい。

【0056】

また、上述した実施形態では、制御装置１が車両１００に搭載される場合について説明したが、これに限定されるものではない。すなわち、本発明は、パーソナルコンピュータをはじめとする種々の装置に適用することが可能である。

【0057】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0058】

１ 制御装置
３１ 取得部
３２ 判定部
３３ 切替部
３４ 演算部
Ｍ モデル

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】