特許 7708045 畳み込みニューラルネットワークを用いた学習システムおよび学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-07

(45)【発行日】2025-07-15

(54)【発明の名称】畳み込みニューラルネットワークを用いた学習システムおよび学習装置

(51)【国際特許分類】

   G06N 3/04 20230101AFI20250708BHJP

   B60L 58/16 20190101ALI20250708BHJP

【ＦＩ】

G06N3/04

B60L58/16

【請求項の数】 2

(21)【出願番号】P 2022137719

(22)【出願日】2022-08-31

(65)【公開番号】P2024033844

(43)【公開日】2024-03-13

【審査請求日】2024-05-16

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100083998

【弁理士】

【氏名又は名称】渡邉 丈夫

(74)【代理人】

【識別番号】100096644

【弁理士】

【氏名又は名称】中本 菊彦

(72)【発明者】

【氏名】佐々木 一行

【審査官】渡辺 順哉

(56)【参考文献】

【文献】国際公開第２０１９／２０７３９９（ＷＯ，Ａ１）

【文献】特開２０２０－０９１８３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｌ ５８／００－５８／４０

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １７／１０

Ｇ０６Ｆ １８／２１１

(57)【特許請求の範囲】

【請求項1】

車両に搭載されたコントロールユニットと、前記車両の外部に設置されたサーバーとを備え、所定の情報を行列の成分として配列する行列データを基に畳み込み演算を実行し、前記車両に搭載された蓄電装置の経時変化の状態を推定する畳み込みニューラルネットワークを用いた学習システムであって、
前記コントロールユニットは、
前記車両の各部の挙動および状態を検出した車両情報を取得するとともに、
前記車両情報を前記サーバーに送信し、
前記サーバーは、
前記行列データの各行がそれぞれ前記行列データの各列の配列方向で時間的に連続して変化する前記車両情報の時系列データにより、前記行列データを構成し、
エンジンを始動するために出力される前記蓄電装置の始動時電圧に関連する第１データ、および、前記車両の走行距離、外気温、前記蓄電装置の温度、前記車両の走行時間、前記車両の駐車時間、および前記エンジンの始動回数の少なくともいずれか一つを含む第２データにより、前記時系列データを構成し、
前記行列データを所定の係数分の前記行および前記列で区画するカーネルを用いて前記畳み込み演算を実行するとともに、
前記係数分の前記行ごとに、少なくとも１行の前記第１データを配列し、
前記第１データを配列する前記行を除いた残りの前記行に、前記第２データを配列して、
配列された前記第１データおよび前記第２データを用いて前記畳み込み演算を実行し、前記経時変化の状態を推定する
ことを特徴とする畳み込みニューラルネットワークを用いた学習システム。

【請求項2】

車両の各部の挙動および状態を検出した車両情報を行列の成分として配列する行列データを基に畳み込み演算を実行し、前記車両に搭載された蓄電装置の経時変化の状態を推定する畳み込みニューラルネットワークを用いた学習装置であって、
前記各部の挙動および状態を検出する検出部と、
前記検出部で検出したデータを前記車両情報として取得するデータ取得部と、
前記行列データの各行がそれぞれ前記行列データの各列の配列方向で時間的に連続して変化する前記車両情報の時系列データにより、前記行列データを構成し、エンジンを始動するために出力される前記蓄電装置の始動時電圧に関連する第１データと、前記車両の走行距離、外気温、前記蓄電装置の温度、前記車両の走行時間、前記車両の駐車時間、および前記エンジンの始動回数の少なくともいずれか一つを含む第２データとから前記時系列データを構成するとともに、前記行列データを所定の係数分の前記行および前記列で区画するカーネルの前記係数分の前記行ごとに、少なくとも１行の前記第１データを配列し、前記第１データを配列する前記行を除いた残りの前記行に、前記第２データを配列するデータ生成部と、
配列された前記第１データおよび前記第２データと前記カーネルとを用いて前記畳み込み演算を実行する演算部と、
前記畳み込み演算を実行した結果に基づいて、前記蓄電装置の経時変化状態を推定する学習部と、を備えている
ことを特徴とする畳み込みニューラルネットワークを用いた学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、収集した各種データを基に演算（学習）して特徴を抽出する畳み込みニューラルネットワークに関し、特に、その畳み込みニューラルネットワークを用いた学習システムおよび学習装置に関するものである。

【背景技術】

【0002】

近年、人工知能（ＡＩ）や情報通信技術（ＩＣＴ）などの先端技術を活用して、効率的に、学習、推論、認識、判断等の処理を行う技術の実用化が進められている。そのうち、ＡＩが実行する学習の手法として機械学習がある。機械学習は、機械（コンピュータ）が与えられた多数のデータを用いて自ら学習し、その学習結果（学習済みモデル）を基に、入力データに対する出力データの最適化を実行し、その出力データに基づく推定や予測等を行う。そのような機械学習の一例として、畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）を用いた処理技術がある。畳み込みニューラルネットワークは、例えば、画像認識、音声認識、自然言語処理、および、機械翻訳など、様々な分野で活用されている。

【0003】

上記のような畳み込みニューラルネットワークを用いて、蓄電素子の劣化推定を行う技術が特許文献１に開示されている。この特許文献１に記載された劣化推定装置は、蓄電素子の第１時点でのＳＯＨ［State Of Health］、および、第１時点より後の第２時点でのＳＯＨを取得する。それとともに、第１時点から第２時点までの間の蓄電素子の状態に係る時系列データ、および、第１時点でのＳＯＨを入力データとし、第２時点でのＳＯＨを出力データとする学習データに基づいて学習モデルを学習する。そして、その学習済みの学習モデルに基づいて、蓄電素子の劣化状態を推定する。

【0004】

なお、特許文献２には、車両用電池の残寿命を精度よく予測することを目的とした電池寿命学習装置が記載されている。この特許文献２に記載された電池寿命学習装置は、ニューラルネットワークを用いて車両用電池の残寿命を予測する。具体的には、特許文献２に記載された電池寿命学習装置は、寿命を迎えた“学習用の車両用電池”の過去所定時点における劣化指標の時系列データと残寿命とを含む学習用データに基づいて、車両用電池の劣化指標の時系列データから車両用電池の残寿命を予測するための予測モデルを学習させ、学習済みの予測モデルを取得する。そして、“予測対象の車両用電池”の劣化指標の時系列データおよび学習済みの予測モデルに基づいて、“予測対象の車両用電池”の残寿命を予測する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－１６８４５３号公報

【文献】特開２０２０－１４８５６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記の特許文献１に記載された劣化推定装置や特許文献２に記載された電池寿命学習装置は、ニューラルネットワークを用いて学習済みモデル（予測モデル）を生成し、蓄電素子あるいは車両用電池の劣化状態や残寿命を推定する。例えば、特許文献１に記載された劣化推定装置では、蓄電素子の電圧データに基づいた、蓄電素子のＳＯＣに係る時系列データが畳み込みニューラルネットワークに入力され、蓄電素子の劣化状態が推定される。また、特許文献２に記載された電池寿命学習装置では、車両用電池の内部抵抗、電圧、電流、温度、充電量、満充電容量などの電池情報がニューラルネットワークに入力され、車両用電池の残寿命が予測される。その他に、例えば、車両用電池の始動時電圧を外気温で補正した値をニューラルネットワークに入力し、車両用電池の劣化状態を推定する従来技術も存在する。電池の性能や劣化状態に直接影響する、あるいは、影響度の高いデータを取り込み、ニューラルネットワークを活用することにより、電池の劣化状態や残寿命を精度よく推定できる。但し、例えば、特許文献２に記載された車両用電池のように、車両用電池の内部抵抗や電圧などの直接的な電池情報以外にも、車両の走行状態や使用状態に関するもので、車両用電池の性能や劣化状態に間接的に影響を与えているデータがある。しかしながら、上記のような従来技術では、影響度の高いデータ以外の、電池の性能や劣化状態に関わる因子を含む周辺のデータまでは活用されていない。また、そのような周辺のデータを取り込んで適切に活用する技術も確立されていない。

【0007】

このように、ニューラルネットワーク、特に、高度な認識性能または学習性能を発揮する畳み込みニューラルネットワークを適用して、時間的に連続して変化（劣化）する所定の装置や部材あるいは物質等の変化状態をより精度よく予測または推定するためには、未だ、改良の余地があった。

【0008】

この発明は上記のような技術的課題に着目して考え出されたものであり、畳み込みニューラルネットワークを適用して、時間的に連続して変化する装置や部材あるいは物質等の変化状態を精度よく予測または推定することが可能な畳み込みニューラルネットワークを用いた学習システムおよび学習装置を提供することを目的とするものである。

【課題を解決するための手段】

【0012】

上記の目的を達成するために、この発明は、車両に搭載されたコントロールユニットと、前記車両の外部に設置されたサーバーとを備え、所定の情報を行列の成分として配列する行列データを基に畳み込み演算を実行し、前記車両に搭載された蓄電装置の経時変化の状態を推定する畳み込みニューラルネットワークを用いた学習システムであって、前記コントロールユニットは、前記車両の各部の挙動および状態を検出した車両情報を取得するとともに、前記車両情報を前記サーバーに送信し、前記サーバーは、前記行列データの各行がそれぞれ前記行列データの各列の配列方向で時間的に連続して変化する前記車両情報の時系列データにより、前記行列データを構成し、エンジンを始動するために出力される前記蓄電装置の始動時電圧に関連する第１データ、および、前記車両の走行距離、外気温、前記蓄電装置の温度、前記車両の走行時間、前記車両の駐車時間、および前記エンジンの始動回数の少なくともいずれか一つを含む第２データにより、前記時系列データを構成し、前記行列データを所定の係数分の前記行および前記列で区画するカーネル（または、フィルタ、もしくは、マスク）を用いて前記畳み込み演算を実行するとともに、前記係数分の前記行ごとに、少なくとも１行の前記第１データを配列し、前記第１データを配列する前記行を除いた残りの前記行に、前記第２データを配列して、配列された前記第１データおよび前記第２データを用いて前記畳み込み演算を実行し、前記経時変化の状態を推定することを特徴とするものである。

【0014】

また、この発明は、車両の各部の挙動および状態を検出した車両情報を行列の成分として配列する行列データを基に畳み込み演算を実行し、前記車両に搭載された蓄電装置の経時変化の状態を推定する畳み込みニューラルネットワークを用いた学習装置であって、前記各部の挙動および状態を検出する検出部と、前記検出部で検出したデータを前記車両情報として取得するデータ取得部と、前記行列データの各行がそれぞれ前記行列データの各列の配列方向で時間的に連続して変化する前記車両情報の時系列データにより、前記行列データを構成し、エンジンを始動するために出力される前記蓄電装置の始動時電圧に関連する第１データと、前記車両の走行距離、外気温、前記蓄電装置の温度、前記車両の走行時間、前記車両の駐車時間、および前記エンジンの始動回数の少なくともいずれか一つを含む第２データとから前記時系列データを構成するとともに、前記行列データを所定の係数分の前記行および前記列で区画するカーネル（または、フィルタ、もしくは、マスク）の前記係数分の前記行ごとに、少なくとも１行の前記第１データを配列し、前記第１データを配列する前記行を除いた残りの前記行に、前記第２データを配列するデータ生成部と、配列された前記第１データおよび前記第２データと前記カーネル（または、フィルタ、もしくは、マスク）とを用いて前記畳み込み演算を実行する演算部と、前記畳み込み演算を実行した結果に基づいて、前記蓄電装置の経時変化状態を推定する学習部と、を備えていることを特徴とするものである。

【0016】

なお、この発明における“カーネル”は、上記のように、“フィルタ”、または、“マスク”、あるいは、“ウィンドウ”などと称される場合もある。したがって、この発明における“カーネル”は、“フィルタ”、“マスク”、または、“ウィンドウ”のいずれの呼称にも読み替えることも可能である。この発明、および、下記のこの発明の実施形態の説明では、主として、“カーネル”と称するものとする。

【発明の効果】

【0017】

この発明は、畳み込みニューラルネットワークを用いて学習を行い、その学習結果を適用して、車両に搭載された蓄電装置の経時変化の状態等に関して推定または予測する。例えば、車両に搭載される蓄電装置の劣化状態、すなわち、電池性能の経時変化の状態を推定する。そして、この発明で適用する畳み込みニューラルネットワークでは、例えば、車両各部の挙動および状態に関する車両情報など、所定の情報を行列の成分として配列する行列データを用いて、畳み込み演算を実行する。畳み込み演算の処理を施したデータを用いて学習を行うことにより、蓄電装置の経時変化の状態や劣化状態などの推定のための学習を精度よく実行することができる。

【0018】

畳み込み演算の入力データとなる行列データは、例えば、入力データ全体を格子状に分割した成分あるいはセルに、所定の情報（例えば、車両情報）の各データを格納することによって生成される。この発明の畳み込みニューラルネットワークにおける行列データは、行列データの各列の配列方向（または、配列の順序方向、もしくは、列番号方向）で、時間的に連続して変化する所定の項目の時系列データを配列して格納する。そして、この発明における時系列データは、エンジンを始動するために出力される蓄電装置の始動時電圧に関連する第１データ、および、車両の走行距離、外気温、蓄電装置の温度、車両の走行時間、車両の駐車時間、およびエンジンの始動回数の少なくともいずれか一つを含む第２データによって構成される。すなわち、時系列データは、畳み込み演算に対する影響度が高い第１データと、その第１データよりも畳み込み演算に対する影響度が低い第２データとから構成される。そのため、この発明における行列データは、第１データと第２データとが、行方向（縦方向）で交互に配列される。それとともに、畳み込み演算におけるカーネル（または、フィルタ、もしくは、マスク）の少なくとも１行が第１データとなるように、第１データおよび第２データが配列される。すなわち、畳み込み演算におけるカーネル（または、フィルタ、もしくは、マスク）の中に、必ず、少なくとも１行の第１データが含まれるように、行列データにおける第１データおよび第２データがそれぞれ配列される。具体的には、カーネル（または、フィルタ、もしくは、マスク）のサイズを決める係数が“ｎ”であれば、カーネル（または、フィルタ、もしくは、マスク）はｎ行×ｎ列のサイズになり、そのｎ行の中の少なくとも１行は第１データとなるように、行列データが生成される。例えば、係数が“３”のカーネル（または、フィルタ、もしくは、マスク）を用いる場合、３行ごとに、少なくとも１行の第１データが配列されるように、行列データが生成される。第１データが配列された行以外の残りの行には、第２データが配列される。

【0019】

上記のように生成された行列データを用いる畳み込みニューラルネットワークでは、第１データにより、畳み込み演算で学習する対象の主な特徴を精度よく抽出する。それとともに、第２データにより、学習対象の副次的な特徴を抽出する。そして、それら第１データと第２データとが複合的に組み込まれ（畳み込まれ）、畳み込み演算による学習が行われる。例えば、車両に搭載される蓄電装置の劣化状態を学習対象にして、その蓄電装置の始動時電圧が、第１データとして畳み込みニューラルネットワークに取り込まれる。また、例えば、車両の使用状態や使用環境など、蓄電装置の劣化状態に関わる第１データ以外の他の因子が、第２データとして畳み込みニューラルネットワークに取り込まれる。そのため、この発明の畳み込みニューラルネットワークでは、この発明における第１データのような主要因だけを用いた従来の学習、あるいは、主要因を簡易補正しただけの従来の学習と比較して、より精度の高い学習を行うことができる。

【0020】

したがって、この発明によれば、畳み込みニューラルネットワークを適用して、時間的に連続して変化する装置や部材あるいは物質等の変化状態、例えば、車両に搭載される蓄電装置の劣化状態等を、適切に、かつ、精度よく推定することができる。

【図面の簡単な説明】

【0021】

【図1】この発明の畳み込みニューラルネットワークで学習の対象とする車両の構成および制御系統の一例を示す図である。

【図2】この発明の畳み込みニューラルネットワークを用いた学習システムおよび学習装置における車載のコントロールユニット、および、外部のサーバーを説明するためのブロック図である。

【図3】この発明の畳み込みニューラルネットワークの畳み込み演算で用いる行列データおよびカーネル（または、フィルタ、もしくは、マスク）を示す図であって、（ａ）は、行列データにおける格納データのイメージを示し、（ｂ）は、カーネル（または、フィルタ、もしくは、マスク）のイメージを示す図である。

【図4】この発明の畳み込みニューラルネットワークの畳み込み演算で用いる行列データおよびカーネル（または、フィルタ、もしくは、マスク）を示す図であって、特に、この発明の行列データを構成する時系列データ、ならびに、その時系列データを構成する第１データおよび第２データのイメージを示す図である。

【図5】この発明の畳み込みニューラルネットワークを用いた学習システムおよび学習装置によって実行される制御の一例を説明するための図であって、畳み込みニューラルネットワーク用行列データの生成方法を含む制御内容を示すフローチャートである。

【図6】図３に示す行列データを用いて実行される畳み込み演算の例を説明するための図であって、カーネル（または、フィルタ、もしくは、マスク）の移動（ストライド）のイメージを示す図である。

【発明を実施するための形態】

【0022】

この発明の実施形態を、図を参照して説明する。なお、以下に示す実施形態は、この発明を具体化した場合の一例に過ぎず、この発明を限定するものではない。

【0023】

この発明の実施形態における畳み込みニューラルネットワークを用いた学習システムおよび学習装置は、収集した多数の情報を基に畳み込み演算を行い、情報元の特徴を抽出する。例えば、既存の一般的な車両を制御の対象にして、車両の所定要素の経時変化の状態を推定する。その場合に、この発明の実施形態における畳み込みニューラルネットワークを用いた学習システムおよび学習装置は、車両に搭載されるコントロールユニット、および、車両の外部に設置されるサーバーを備えている。

【0024】

図１に、この発明の実施形態における畳み込みニューラルネットワークを用いた学習システムおよび学習装置の構成要素として、コントロールユニットを搭載した車両の一例を示してある。図１に示す車両Ｖｅは、主に、駆動力源（POWER）１、駆動輪２、スタータモータ３、バッテリ４、検出部５、コントロールユニット（ECU）６、および、通信モジュール（DCM）７を備えている。

【0025】

駆動力源１は、車両Ｖｅを走行させるための駆動トルクを出力する動力源である。駆動力源１は、例えば、ガソリンエンジンやディーゼルエンジンなどの内燃機関であり、出力の調整、ならびに、始動および停止などの作動状態が電気的に制御されるように構成されている。ガソリンエンジンであれば、スロットルバルブの開度、燃料の供給量または噴射量、点火の実行および停止、ならびに、点火時期などが電気的に制御される。あるいは、ディーゼルエンジンであれば、燃料の噴射量、燃料の噴射時期、または、（ＥＧＲシステムにおける）スロットルバルブの開度などが電気的に制御される。図１に示す例では、駆動力源１として、後述するスタータモータ３を備えたエンジン８が搭載されている。

【0026】

なお、駆動力源１は、例えば、永久磁石式の同期モータ、もしくは、誘導モータなどの電気モータであってもよい。その場合の電気モータは、例えば、電力が供給されることにより駆動されてトルクを出力する原動機としての機能と、外部からのトルクを受けて駆動されることにより電気を発生する発電機としての機能とを兼ね備えた、いわゆるモータ・ジェネレータであってもよい。モータ・ジェネレータであれば、回転数やトルク、あるいは、原動機としての機能と発電機としての機能との切り替えなどが電気的に制御される。また、駆動力源１は、エンジン８および電気モータ（モータ・ジェネレータ）の両方を搭載した、いわゆるハイブリッド駆動ユニットであってもよい。

【0027】

駆動輪２は、駆動力源１が出力する駆動トルクが伝達されることにより、車両Ｖｅの駆動力を発生する。図１に示す実施形態では、駆動輪２は、変速機９、デファレンシャルギヤ１０、および、ドライブシャフト１１を介して、駆動力源１に連結されている。なお、この発明の実施形態における車両Ｖｅは、図１に示す実施形態のように、駆動トルクを前輪に伝達し、前輪で駆動力を発生させる前輪駆動車であってもよい。あるいは、車両Ｖｅは、駆動トルクを、例えばプロペラシャフト（図示せず）等を介して後輪に伝達し、後輪で駆動力を発生させる後輪駆動車であってもよい。あるいは、車両Ｖｅは、トランスファ機構（図示せず）を設けて、駆動トルクを前輪および後輪の両方に伝達し、前輪および後輪の両方で駆動力を発生させる四輪駆動車であってもよい。

【0028】

スタータモータ３は、上記のように車両Ｖｅの駆動力源１としてエンジン８が搭載される場合に、そのエンジン８に装備されて、エンジン８の始動時にクランク軸（図示せず）を駆動する。スタータモータ３は、後述するバッテリ４から電力が供給されることによって作動する。なお、スタータモータ３の代わりに、オルタネータ（図示せず）をエンジン８のスタータとして機能させてもよい。あるいは、スタータの機能とオルタネータの機能とを兼ね備えたモータ（図示せず）を用いてもよい。

【0029】

バッテリ４は、この発明の実施形態における“蓄電装置”に相当し、上記のスタータモータ３に電力を供給する。図１に示す例では、バッテリ４は、いわゆる補機用バッテリであって、例えば、車両Ｖｅの照明灯やエアコンディショナなどの車載機器（図示せず）等にも電力を供給する。なお、この発明の実施形態における“蓄電装置”は、例えば、ハイブリッド車両や電気自動車におけるメインバッテリもしくは駆動用バッテリ（図示せず）を対象にすることもできる。

【0030】

検出部５は、車両Ｖｅを制御する際に必要な各種のデータや情報を取得するための機器あるいは装置であり、例えば、電源部、マイクロコンピュータ、センサー、および、入出力インターフェース等を含んでいる。特に、この発明の実施形態における検出部５は、“蓄電装置”、すなわち、バッテリ４の劣化状態を推定する際に、バッテリ４の劣化に対する影響度あるいは関連性が高い情報として、バッテリ４の電圧を検出するバッテリ電圧センサー５ａを有している。また、検出部５は、バッテリ４の電圧よりもバッテリ４の劣化に対する影響度あるいは関連性は低くとも、間接的に、あるいは、複合的に、バッテリ４の劣化に対して影響を及ぼすものの情報として、車両Ｖｅの走行距離を検出する走行距離センサー５ｂ、外気温を検出する外気温センサー５ｃ、バッテリ４の温度を検出するバッテリ温度センサー５ｄ、車両Ｖｅの走行時間や駐車時間等を計測するタイマー５ｅ、および、エンジン８の始動回数を計測するカウンター５ｆなどを有している。その他に、検出部５は、例えば、車速を検出する車速センサー（または、車輪速センサー）５ｇ、エンジン８の回転数を検出する回転数センサー５ｈなどを有している。また、検出部５は、例えば、車両Ｖｅの位置情報を取得するためのＧＰＳ［Global Positioning System］受信器（図示せず）や、車両Ｖｅの外部状況に関する撮像情報を取得する車載カメラ（図示せず）などを含んでいてもよい。そして、検出部５は、後述するコントロールユニット６と電気的に接続されており、上記のような各種センサーや機器・装置等の検出値または算出値あるいは位置情報などに応じた電気信号を検出データとしてコントロールユニット６に出力する。

【0031】

コントロールユニット６は、例えば、マイクロコンピュータを主体にして構成される電子制御装置であり、車両Ｖｅを総合的に制御する。コントロールユニット６には、上記の検出部５で検出または計測された各種データが入力される。そのために、コントロールユニット６は、後述するデータ取得部６ａを有している。そして、コントロールユニット６は、データ取得部６ａに入力された各種データを、後述する通信モジュール７を介して、後述する外部のサーバー１０１に送信する。それとともに、コントロールユニット６は、入力された各種データおよび予め記憶させられているデータや計算式等を使用して演算を行う。そして、コントロールユニット６は、その演算結果を制御指令信号として出力し、車両Ｖｅ各部の動作等をそれぞれ制御するように構成されている。なお、図１では一つの車両Ｖｅに一つのコントロールユニット６が設けられた例を示しているが、コントロールユニット６は、制御する装置や機器毎に、あるいは制御内容毎に、複数設けられていてもよい。

【0032】

通信モジュール７は、車両Ｖｅのコントロールユニット６と、後述する車両Ｖｅの外部に設けられたサーバー１０１との間でデータの送受信を行う。通信モジュール７は、例えば、ＤＣＭ［Data Communication Module］と称される無線専用通信システム（図示せず）を車両Ｖｅに搭載し、コントロールユニット６と、サーバー１０１との間で、専用の通信回線を利用して、各種データを送受信する。なお、この発明の実施形態では、汎用の通信機器（図示せず）を用い、一般の移動通信回線を利用して、データの送受信を行ってもよい。あるいは、例えば、車両Ｖｅの販売店や整備工場等に装備された有線の通信機器を利用して、データの送受信を行ってもよい。

【0033】

この発明の実施形態における畳み込みニューラルネットワークを用いた学習システムおよび学習装置では、上記のコントロールユニット６は、後述するように、車両Ｖｅの外部に設けられているサーバー１０１との間でデータを送受信し、サーバー１０１と共働して機械学習を実行する。具体的には、畳み込みニューラルネットワークを用いて、車両Ｖｅの所定要素の経時変化の状態（例えば、上述したようなバッテリ４の劣化状態）を推定する。そのために、この発明の実施形態における畳み込みニューラルネットワークを用いた学習システムおよび学習装置は、図２に示すように、上記の車載のコントロールユニット６、および、車両Ｖｅの外部に設置されたサーバー１０１を備えている。

【0034】

具体的には、車両Ｖｅのコントロールユニット（ECU）６は、上述したデータ取得部６ａ、および、送信データ作成部６ｂを有している。

【0035】

データ取得部６ａは、車両Ｖｅごとに、畳み込みニューラルネットワークの学習用データ（後述する行列データ）を生成するために必要な所定のデータを取得する。前述の検出部５で検出した各種データを、必要に応じて、畳み込みニューラルネットワークの学習用データを生成するための車両情報として取得する。

【0036】

送信データ作成部６ｂは、上記のデータ取得部６ａで取得した各種データを、畳み込みニューラルネットワークで用いる学習用データとして、通信モジュール７に適合させた送信データに処理し、その通信モジュール７を介して、サーバー１０１に送信する。

【0037】

なお、図２では、二つのコントロールユニット６が、それぞれ、サーバー１０１との間でデータを送受信する状況を示してある。すなわち、二台の車両Ｖｅにそれぞれ搭載されたコントロールユニット６、および、外部に設定された一基のサーバー１０１を示している。この発明の実施形態における畳み込みニューラルネットワークを用いた学習システムおよび学習装置は、車両Ｖｅから収集した各種データを利用して機械学習（畳み込み演算）を実行する。その畳み込みニューラルネットワークの学習精度を向上させるためには、できるだけ広範囲にわたって取得したデータを、できるだけ数多く収集することが望ましい。したがって、この発明の実施形態における畳み込みニューラルネットワークを用いた学習システムおよび学習装置は、図２に示すような二台の車両Ｖｅに限定されるものではなく、多数の車両Ｖｅにそれぞれ搭載されたコントロールユニット６から、多数のデータが収集される。

【0038】

一方、車両Ｖｅの外部に設置されたサーバー１０１は、例えば、データ格納部１０１ａ、データ生成部１０１ｂ、演算部１０１ｃ、および、学習部１０１ｄを有している。

【0039】

データ格納部１０１ａは、各車両Ｖｅのコントロールユニット６から受信した各種データや情報、および、サーバー１０１で演算処理した各種データや情報等を、車両情報に関するデータベースとして記憶媒体（図示せず）に記憶する。

【0040】

データ生成部１０１ｂは、上記のデータ格納部１０１ａに記憶された多数のデータ、すなわち、車両情報から、この発明の実施形態における畳み込みニューラルネットワークで用いる入力データを生成する。この発明の実施形態における畳み込みニューラルネットワークでは、所定の情報を行列の成分として配列する行列データを基に畳み込み演算を実行する。データ生成部１０１ｂは、その行列データの各行が、それぞれ、行列データの各列の配列方向で時間的に連続して変化する車両情報の時系列データによって行列データを構成する。

【0041】

具体的には、図３の（ａ）、および、図４に示すように、データ生成部１０１ｂは、畳み込み演算の入力データとなる行列データＭを、例えば、入力データ全体を格子状に分割した成分あるいはセルに、車両情報の各データを格納することによって生成する。その場合、データ生成部１０１ｂは、行列データの各列の配列方向（または、配列の順序方向、もしくは、列番号方向）で、時間的に連続して変化する所定の項目の時系列データを配列して格納する。

【0042】

また、データ生成部１０１ｂは、図４に示すように、上記の行列データＭを構成する車両情報の時系列データを、畳み込み演算の主要因となる第１データ、および、畳み込み演算の副要因となる第２データの、項目が異なる二種類のデータに分けて構成する。第１データは、畳み込みニューラルネットワークの畳み込み演算に対する影響度が高く、かつ、少なくとも、車両Ｖｅの所定要素の経時変化の主要因に関連するデータを含んでいる。例えば、上述したようなバッテリ４の劣化状態を推定する場合、バッテリ４の劣化状態に対する影響度、すなわち、バッテリ４の性能の経時変化（劣化）の主要因に対する関連性が大きいバッテリ４の電圧（例えば、始動時電圧）に関する時系列データを、第１データとして行列データＭに配列する。一方、第２データは、上記の第１データよりも畳み込み演算に対する影響度が低いデータであって、間接的に、あるいは、複合的に、バッテリ４の劣化に対して影響を及ぼすもののデータである。例えば、上記のバッテリ４の電圧以外で、車両Ｖｅの走行距離、車両Ｖｅの走行時間、外気温、および、バッテリ４の温度等に関する時系列データを、第２データとして行列データＭに配列する。したがって、第１データと第２データとは、行列データＭの行方向（縦方向）で交互に配列される。

【0043】

更に、データ生成部１０１ｂは、図４に示すように、畳み込みニューラルネットワークの畳み込み演算におけるカーネル（または、フィルタ、もしくは、マスク）Ｋの係数分の行ごとに、少なくとも１行の第１データを配列する。カーネルＫは、畳み込み演算において、“フィルタ”、“マスク”、あるいは、“ウィンドウ”などとも称される畳み込み層であり、上記の行列データを所定の係数分の行および列で区画して格子状に配列したデータの集合（行列）である。カーネルＫの係数は、カーネルＫのサイズあるいはデータ量を決める数値であり、例えば、カーネルＫの係数が“ｎ”であれば、カーネルＫはｎ行×ｎ列の行列になる。そして、データ生成部１０１ｂは、カーネルＫの少なくとも１行が第１データとなるように、上記の行列データＭで第１データおよび第２データをそれぞれ配列する。すなわち、畳み込み演算におけるカーネルＫの中に、必ず、少なくとも１行の第１データが含まれるように、行列データＭにおける第１データおよび第２データをそれぞれ交互に配列する。図３の（ｂ）、および、図４に示すように、係数が“３”のカーネルＫを用いる場合は、３行ごとに、少なくとも１行の第１データが配列されるように、行列データＭを生成する。それとともに、第１データが配列された行以外の残りの行に第２データを配列して、行列データＭを生成する。

【0044】

演算部１０１ｃは、上記のようにデータ生成部１０１ｂで生成された行列データＭ（車両情報の時系列データ）を基に、畳み込みニューラルネットワークにおける畳み込み演算を実行する。この発明の実施形態における畳み込みニューラルネットワークは、上記のような第１データと第２データとの区分けした時系列データ、および、その時系列データを、カーネルＫのサイズ（行数）ごとに少なくとも１行の第１データが含まれるように、配列して生成した行列データＭを用いて畳み込み演算をする点に特徴がある。その畳み込み演算の演算手法は、従来の畳み込みニューラルネットワークと同様に実行される。例えば、前述した特許文献１に記載されている畳み込みニューラルネットワークと同様の演算手法を用いて畳み込み演算を実行することが可能である。

【0045】

学習部１０１ｄは、上記の演算部１０１ｃで畳み込み演算を実行した結果に基づいて、車両Ｖｅの経時変化の状態を推定する。例えば、上述したようなバッテリ４の劣化状態、すなわち、バッテリ４の性能の経時変化状態を推定する。そのような経時変化の状態を推定した結果、例えば、修理や交換等の処置が必要となるような異常を検知した場合は、異常検知フラグをＯＮにして、異常に対する所定の措置（例えば、警告の表示、告知、連絡等）を実行する。

【0046】

前述したように、この発明の実施形態における畳み込みニューラルネットワークを用いた学習システムおよび学習装置は、畳み込みニューラルネットワークを適用して、特に、車両Ｖｅの経時変化の状態を精度よく予測または推定することを主な目的にしている。そのために、この発明の実施形態における畳み込みニューラルネットワークを用いた学習システムおよび学習装置は、以下の各フローチャートに示す制御を実行するように構成されている。

【0047】

図５に示すフローチャートにおいて、先ず、車両Ｖｅのコントロールユニット６では、ステップＳ１で、各車両Ｖｅごとに取得したデータ（車両情報）がサーバー１０１に無線通信で送信される。車両情報は、例えば、各車両Ｖｅにおいて、イグニションスイッチ（図示せず）がＯＮにされる（ＩＧ－ＯＮ）度に毎回取得される。なお、前述したように、車両Ｖｅのコントロールユニット６から外部のサーバー１０１への車両情報の送信は、無線通信に限らず、有線の通信装置や通信設備を使って行われてもよい。

【0048】

続いて、サーバー１０１では、ステップＳ２で、各車両Ｖｅから受信した車両情報に対して、ＩＧ－ＯＮの時刻ごとに、各車両ＶｅのＩＤ番号（例えば、各車両Ｖｅごとに設定されているＶＩＮ：Vehicle Identication Number）が付与され、その車両情報がサーバー１０１に保存される。

【0049】

ステップＳ３では、上記のようにＩＧ－ＯＮごとに取得された車両情報が、各車両Ｖｅの個々のデータとして、サーバー１０１内で保持される。すなわち、各車両Ｖｅの個々のデータが、サーバー１０１に一時的に記憶される。

【0050】

ステップＳ４では、各車両Ｖｅのデータに対して、前述の図３、図４で示したように、各列の配列方向（または、配列の順序方向、もしくは、列番号方向）に、時間的に連続して変化する所定の項目の時系列データを並べた行列データＭを生成する。この発明の実施形態における時系列データは、畳み込み演算の主要因となる第１データ、および、畳み込み演算の副要因となる第２データによって構成される。すなわち、時系列データは、畳み込み演算に対する影響度が高い第１データと、その第１データよりも畳み込み演算に対する影響度が低い第２データとから構成される。前述の図４で示した例では、バッテリ４の劣化に対する関連の度合いが高い“バッテリ４の始動時電圧”が、第１データとして、行列データＭに配列される。その他、“車両Ｖｅの走行距離”、“外気温”、および、“車両Ｖｅの駐車時間”などが、第２データとして、行列データＭに配列される。

【0051】

ステップＳ５では、行列データＭから、係数（カーネルサイズ）が“ｎ”のカーネルＫが読み出される。その際、カーネルＫのｎ行置きに、第１データが配列される。カーネルＫの第１データが配列された以外の残りの行には、第２データが配列される。なお、行列データＭにおける車両情報の各データ（項目）の行方向における配列順序と、カーネルＫにおける車両情報の各データ（項目）の行方向における配列順序とは、必ずしも一致していなくともよい。いずれにしても、行列データＭからカーネルＫを抽出した場合に、そのカーネルＫの中に、必ず、少なくとも１行の第１データが含まれるように、行列データＭ、および、カーネルＫが生成される。前述の図４で示した例では、係数が“３”のカーネルＫが用いられており、そのため、３行ごとに、少なくとも１行の第１データが配列されるように、行列データＭが生成される。

【0052】

ステップＳ６では、上記のように生成された行列データＭ、および、カーネルＫを用いて、畳み込み演算およびニューラルネットワーク演算が実行される。すなわち、この発明の実施形態における畳み込みニューラルネットワークによる演算が実行される。この畳み込みニューラルネットワークでは、例えば、上記のような行列データＭおよびカーネルＫが、車両Ｖｅごとに、２次元のデータ配列として読み出され、その二次元データに、車両情報のバッチ数、および、カーネルＫの数が掛け合わされて、４次元のデータ配列にされる。なお、この畳み込み演算におけるカーネルＫは、例えば、図６に矢印で示すように、行列データＭに対するカーネルＫの位置が順次移動（ストライド）されて、行列データＭ全体からカーネルＫが抽出される。

【0053】

そして、ステップＳ７では、上記のように、ステップＳ６で実行された畳み込みニューラルネットワークによる演算結果に基づいて、学習が行われる。すなわち、車両Ｖｅの経時変化の状態が推定する。例えば、上述したようなバッテリ４の劣化状態（バッテリ４の性能の経時変化状態）が推定される。その際には、例えば、前述の図４に示すように、行列データＭにおけるカーネルＫの数（ストライド数）に応じて、異常フラグ抽出範囲Ｆが設定される。カーネルＫのストライド数が大きくなれば、異常フラグ抽出範囲Ｆも拡大する。そして、前述したように、車両Ｖｅの経時変化の状態を推定した結果、例えば、バッテリ４の劣化状態に対する異常を検知した場合は、異常検知フラグをＯＮにする。このステップＳ７が実行されると、その後、この図５のフローチャートで示すルーチンを一旦終了する。

【0054】

以上のように、この発明の実施形態における畳み込みニューラルネットワークを用いた学習システムおよび学習装置では、上述した特有の畳み込みニューラルネットワーク用行列データの生成方法によって、畳み込みニューラルネットワークで用いる行列データＭおよびカーネルＫが生成される。それにより、上記のような第１データ（主要因）と第２データ（副要因）とが複合的に組み込まれ（畳み込まれ）、畳み込み演算による学習が実行される。上述した例では、車両Ｖｅに搭載されるバッテリ４の劣化状態を学習対象にして、そのバッテリ４の始動時電圧が、第１データとして畳み込みニューラルネットワークに取り込まれる。また、例えば、車両Ｖｅの使用状態や使用環境など、バッテリ４の劣化状態に関わる第１データ以外の他の因子が、第２データとして畳み込みニューラルネットワークに取り込まれる。そのため、この発明の実施形態における畳み込みニューラルネットワークでは、第１データのような主要因だけを用いた従来の学習、あるいは、主要因を簡易補正しただけの従来の学習と比較して、より精度の高い学習を行うことができる。

【0055】

したがって、この発明の実施形態における畳み込みニューラルネットワークを用いた学習システムおよび学習装置によれば、畳み込みニューラルネットワークを適用して、時間的に連続して変化する装置や部材あるいは物質等の変化状態、例えば、車両Ｖｅに搭載されるバッテリ４の劣化状態等を、適切に、かつ、精度よく推定することができる。

【符号の説明】

【0056】

１ 駆動力源（POWER）
２ 駆動輪
３ スタータモータ
４ バッテリ（蓄電装置）
５ 検出部
５ａ バッテリ電圧センサー
５ｂ 走行距離センサー
５ｃ 外気温センサー
５ｄ バッテリ温度センサー
５ｅ タイマー
５ｆ カウンター
５ｇ 車速センサー（または、車輪速センサー）
５ｈ 回転数センサー
６ コントロールユニット（ECU）
６ａ （コントロールユニットの）データ取得部
６ｂ （コントロールユニットの）送信データ作成部
７ 通信モジュール（DCM）
８ エンジン（駆動力源）
９ 変速機
１０ デファレンシャルギヤ
１１ ドライブシャフト
１０１ サーバー
１０１ａ （サーバーの）データ格納部
１０１ｂ （サーバーの）データ生成部
１０１ｃ （サーバーの）演算部
１０１ｄ （サーバーの）学習部
Ｆ 異常フラグ抽出範囲
Ｋ カーネル（または、フィルタ、もしくは、マスク）
Ｍ 行列データ
Ｖｅ 車両。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】