特許 7638858 車載演算処理装置、および、演算処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-21

(45)【発行日】2025-03-04

(54)【発明の名称】車載演算処理装置、および、演算処理方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20250225BHJP

   B60W 40/02 20060101ALI20250225BHJP

   G06T 7/00 20170101ALI20250225BHJP

【ＦＩ】

G08G1/16 C

B60W40/02

G06T7/00 650Z

G06T7/00 350B

【請求項の数】 7

(21)【出願番号】P 2021210238

(22)【出願日】2021-12-24

(65)【公開番号】P2023094745

(43)【公開日】2023-07-06

【審査請求日】2024-03-12

(73)【特許権者】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】中野 和香子

(72)【発明者】

【氏名】平井 理宇

(72)【発明者】

【氏名】村中 延之

(72)【発明者】

【氏名】伊藤 浩朗

【審査官】吉村 俊厚

(56)【参考文献】

【文献】特開２０２０－０９３７６０（ＪＰ，Ａ）

【文献】特開２０２０－１７０３１９（ＪＰ，Ａ）

【文献】特開２０２０－１６０８１４（ＪＰ，Ａ）

【文献】特開２０１１－１７４７７１（ＪＰ，Ａ）

【文献】特開２０１４－１６７７０２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ １０／００ － ６０／００

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ４０／２０

(57)【特許請求の範囲】

【請求項1】

車両に搭載され、学習済モデルを用いて演算を行う車載演算処理装置であって、
第１の学習済モデルを用いて演算を行う演算部と、
前記車両の位置、または車両内外の取得し状態を推定する状態推定部と、
前記状態に基づいて、第２の学習済モデルを選択するモデル選択部と、を有し、
前記第２の学習済モデルを用いて、前記第１の学習済モデルと並列に前記演算を行ったときの演算結果を、第１の学習済モデルの演算結果と比較し、その比較結果に基づいて前記第１の学習済モデルから前記第２の学習済モデルに切り替えるか否かを決定するモデル切り替え検証部と、を有し、
前記演算部は、前記モデル切り替え検証部で、前記第２の学習済モデルに切り替えると決定された場合、前記第１の学習済モデルから前記第２の学習済モデルに切り替えて前記演算を行うものであり、
更に、前記第２の学習済モデルから、前記第１の学習済モデルと当該第２の学習済モデルの差分のチャネルを抽出する差分抽出部を有し、
前記演算部は、当該差分のチャネルを用いて前記演算を行い、
前記演算部は、前記モデル切り替え検証部で、前記第２の学習済モデルに切り替えると決定された場合、前記第１の学習済モデルのうち前記第２の学習済モデルと当該第１の学習済モデルとの差分のチャネルを除いたモデルを用いて前記演算を行うことを特徴とする車載演算処理装置。

【請求項2】

請求項１に記載の車載演算処理装置において、
前記モデル切り替え検証部は、異なるセンサ情報に基づいて得られる値を正しい認識結果として、前記第１の学習済モデルと前記第２の学習済モデルの精度を算出するモデル精度算出部を備えることを特徴とする車載演算処理装置。

【請求項3】

請求項１に記載の車載演算処理装置において、
前記モデル切り替え検証部は、前記第１の学習済モデルを演算した結果を正しい認識結果として第２の学習済みモデルの認識結果の精度を算出するモデル精度算出部を備え、
第２の学習済みモデルの精度が閾値以上であれば、精度の良いモデルへ切り替えを決定することを特徴とする車載演算処理装置。

【請求項4】

請求項３に記載の車載演算処理装置において、
前記モデル精度算出部は、過去に前記第１の学習済モデルを演算した結果から現在の認識結果を予測する結果予測部を備え、
前記結果予測部により予測された認識結果を正しい認識結果として第２のモデルの精度を算出すことを特徴とする車載演算処理装置。

【請求項5】

請求項１に記載の車載演算処理装置において、
前記モデル切り替え検証部は、過去の経路情報や走行時刻などの走行履歴を参照する走行履歴参照部を有し、
現在の走行が過去の走行と同じ環境であった場合に、前記過去の走行履歴に基づき同様にモデルの切り替えを決定することを特徴とする車載演算処理装置。

【請求項6】

請求項１に記載の車載演算処理装置において、
前記モデル選択部では、第２の学習済モデルを複数選び、前記モデル切り替え検証部では比較結果に基づき複数の第２の学習済モデルから最も精度の良い第２の学習済モデルを決定することを特徴とする車載演算処理装置。

【請求項7】

車両に搭載され、学習済モデルを用いて演算を行う演算処理方法であって、
第１の学習済モデルを用いて演算を行う演算ステップと、
前記車両の位置、または車両内外の取得し状態を推定する状態推定ステップと、
前記状態に基づいて、第２の学習済モデルを選択するモデル選択ステップと、
前記第２の学習済モデルを用いて、前記第１の学習済モデルと並列に前記演算を行ったときの演算結果を、第１の学習済モデルの演算結果と比較し、その比較結果に基づいて前記第１の学習済モデルから前記第２の学習済モデルに切り替えるか否かを決定するモデル切り替え検証ステップと、
前記モデル切り替え検証ステップで、前記第２の学習済モデルに切り替えると決定された場合、前記第１の学習済モデルから前記第２の学習済モデルに切り替えて前記演算を行う第２演算ステップを有するものであり、
更に、前記第２の学習済モデルから、前記第１の学習済モデルと当該第２の学習済モデルの差分のチャネルを抽出する差分抽出ステップを有し、
前記演算ステップでは、当該差分のチャネルを用いて前記演算を行うとともに、
前記モデル切り替え検証ステップでは、前記第２の学習済モデルに切り替えると決定された場合、前記第１の学習済モデルのうち前記第２の学習済モデルと当該第１の学習済モデルとの差分のチャネルを除いたモデルを用いて前記演算を行うことを特徴とする演算処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両に搭載した外界センサの出力を機械学習済みのＡＩモデルで処理することで、車両の外部環境を認識する、車載演算処理装置、および、演算処理方法に関する。

【背景技術】

【0002】

近年、自動運転（ＡＤ、Autonomous Driving）システムや、先進運転支援システム（ＡＤＡＳ、Advanced Driver-Assistance Systems）を搭載した車両が普及しつつある。これらのシステムの実現には、車両の外部環境（他車両、歩行者、自転車、路面、白線、道路標識、障害物、および、それらの位置など）を認識する必要がある。そのため、車両に搭載した外界センサの出力を機械学習済みのＡＩモデル（以下、単に「ＡＩモデル」または「モデル」と称する）で処理することで、車両の外部環境を認識する手法を採用することが多い。

【0003】

ここで、車両走行中の全てのシーンに対して１つのＡＩモデルで外部環境を認識する場合は、網羅的なセンサ出力データを利用して機械学習したＡＩモデルを事前に用意する必要がある。しかしながら、そのようなＡＩモデルは、多様なシーンでの認識精度を担保するため、モデル規模が指数関数的に増大し、そのＡＩモデルを実行するＥＣＵ（Electronic Control Unit）に対しても非常に高い演算性能が求められる。その結果、ＥＣＵのチップコストが大きくなり、自動運転中の演算負荷（消費電力）も大きくなるという問題がある。

【0004】

一方で、ＥＣＵのチップコストや演算負荷（消費電力）を低減するため、限定的なデータで学習した小さなＡＩモデルを適用すると、そのＡＩモデルが対応しない環境下では、外部環境の認識精度が大きく劣化する可能性が高い。

【0005】

これらの問題を鑑み、比較的小さなＡＩモデルを予め複数用意しておき、走行シーンや走行位置に応じたＡＩモデルに適宜切り替えることで、何れの走行シーン等においても、外部環境の認識精度の向上を図りつつ、ＥＣＵの演算負荷（消費電力）の軽減も実現する手法が検討されている。

【0006】

例えば、特許文献１の要約書には、課題として「車両の制御のための学習済みモデルが所定領域ごとに設定されている場合に、車両の位置に応じて学習済みモデルを適切に切り替える。」と記載されており、解決手段として「機械学習による学習済みモデルを用いて車両の制御を支援する制御支援装置であって、車両から送信された車両の車両情報および位置情報に基づいて、車両において更新可能であるとともに、位置情報に含まれる車両の現在の位置に対応する学習済みモデルを選択する制御部と、選択した学習済みモデルを車両に送信する送信部と、を備える。」と記載されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０２０－９３７６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１の制御支援装置は、要約書の「車両の現在の位置に対応する学習済みモデルを選択する制御部」の記載等から明らかなように、車両の位置の変化に応じて、適用するＡＩモデルを切り替えるものである。

【0009】

しかしながら、特許文献１では、ＡＩモデルを切り替える際に認識精度が劣化するかを検証しておらず、不適切なＡＩモデルに切り替えられたた場合には、外部環境の認識精度が劣化し、結果的に、ＡＤやＡＤＡＳによる車両制御の不安定化を招く可能性があった。

【0010】

本発明は、上記の問題に鑑みてなされたものであって、ＡＩモデルを切り替える場合、外部環境の認識精度の劣化を招かないＡＩモデルを選択する、車載演算処理装置、および、演算処理方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

上記課題を解決するため、本発明の車載演算処理装置は、車両に搭載され、学習済モデルを用いて演算を行うものであって、第１の学習済モデルを用いて演算を行う演算部と、前記車両の位置、または車両内外の取得し状態を推定する状態推定部と、前記状態に基づいて、第２の学習済モデルを選択するモデル選択部と、を有し、前記第２の学習済モデルを用いて、前記第１の学習済モデルと並列に前記演算を行ったときの演算結果を、第１の学習済モデルの演算結果と比較し、その比較結果に基づいて前記第１の学習済モデルから前記第２の学習済モデルに切り替えるか否かを決定するモデル切り替え検証部と、を有し、前記演算部は、前記モデル切り替え検証部で、前記第２の学習済モデルに切り替えると決定された場合、前記第１の学習済モデルから前記第２の学習済モデルに切り替えて前記演算を行う車載演算処理装置とした。

【発明の効果】

【0012】

本発明の車載演算処理装置、および、演算処理方法によれば、ＡＩモデルを切り替えた場合であっても、外部環境の認識精度が劣化しない。

【図面の簡単な説明】

【0013】

【図1】実施例１に係る車載演算処理装置の機能ブロック図。

【図2】実施例１に係る車載演算処理装置の処理手順を示すフローチャート。

【図3A】状態テーブルの一種である、走行シーン状態テーブルの一例を示す図。

【図3B】状態テーブルの一種である、ユーザ状態テーブルの一例を示す図。

【図3C】状態テーブルの一種である、装置負荷状態テーブルの一例を示す図。

【図4】モデルテーブルの一例を示す図。

【図5A】Ｌｉｄｅｒの出力を正解値とするモデル検証の機能ブロック図。

【図5B】異種センサの出力を正解値とするモデル検証の機能ブロック図。

【図6A】現状モデルの出力を正解値とするモデル検証の機能ブロック図。

【図6B】現状モデルの出力を正解値とするモデル検証の機能ブロック図。

【図7】実施例１に係る自動運転時の表示パネルを示す図。

【図8】実施例１に係る自動運転時の設定画面を示す図。

【図9】実施例２に係る車載演算処理装置の機能ブロック図。

【図10】実施例２に係る車載演算処理装置の処理手順を示すフローチャート。

【図11】モデル差分テーブルの一例を示す図。

【図12】実施例３に係る過去走行履歴の表示方法の一例を示す図。

【発明を実施するための形態】

【実施例1】

【0014】

まず、図１から図８を用いて、本発明の実施例１に係る車載演算処理装置１を説明する。なお、以下では、車載演算処理装置１がＥＣＵに内蔵されるものとして説明するが、車載演算処理装置１を外界センサに内蔵し、外界センサで認識した外部環境をＥＣＵに出力する構成としても良い。

【0015】

図１は、実施例１に係る車載演算処理装置１の機能ブロック図である。ここに示すように、車載演算処理装置１は、主演算部１１と、ＡＩ演算部１２と、記憶部１３を有している。なお、図１では、主演算部１１とＡＩ演算部１２が分離した構造を例示しているが、両演算部を一体化しても良い。

【0016】

図示するように、車載演算処理装置１は、外界センサからの外界センサ情報Ｉ１と、車両センサからの車両センサ情報Ｉ２を受信する装置である。ここで、外界センサは、例えば、ステレオカメラ、単眼カメラ、Ｌｉｄｅｒ、照度センサ、加速度センサ、レーダ等の、自車両周囲の情報を取得するセンサである。また、車両センサは、例えば、カーナビゲーションシステム、ＧＮＳＳ（Global Navigation Satellite System）受信機、速度センサ、舵角センサ、燃料残量計、バッテリー残量計等の自車両の位置や状態に関連する情報を取得するセンサである。なお、外界センサ情報Ｉ１と車両センサ情報Ｉ２は必ずしも１つずつの入力ではなく、複数の外界センサ情報Ｉ１、車両センサ情報Ｉ２を入力としてもよい。

【0017】

主演算部１１は、ＣＰＵ（Central Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）等の演算装置によって、所定のプログラムを実行するユニットである。所定のプログラムの実行により、主演算部１１は、状態推定部１１ａと、候補モデル選択部１１ｂと、現状モデル制御部１１ｃと、候補モデル制御部１１ｄと、結果受診部１１ｅと、モデル検証部１１ｆなどの機能部を実現する。また、ＡＩ演算部１２は、ＡＩモデルの処理に特化したＡＩアクセラレータ等であり、モデル演算部１２ａと、ＡＩ演算制御部１２ｂを有する。記憶部１３は、半導体メモリなどの記憶装置であり、状態テーブル１３ａと、モデルテーブル１３ｂと、パラメタテーブル１３ｃを有している。以下、車載演算処理装置１の各部詳細を、主に情報の流れに沿って説明する。

【0018】

＜車載演算処理装置１の各部詳細＞
主演算部１１の状態推定部１１ａは、入力された外界センサ情報Ｉ１と車両センサ情報Ｉ２に基づいて、自車両の現在状態を推定する。ここで推定される状態は、例えば、自車両の走行位置の種別（高速道理、一般道路、駐車場など）や、現在時刻の種別（朝・昼、夕方、夜）や、天候の種別（晴、曇、雨、雪など）を組み合わせた、自車両の外部環境の状態があげられる。また、状態推定部１１ａで推定する状態は、自車両内の消費電力の程度、バッテリー残量の程度、認識対象物の数などの、車載演算処理装置１のリソース状態や、誰が運転者であるか、であってもよい。また、状態推定部１１ａでの状態推定は、単体および複数の外界センサ情報Ｉ１からの環境情報を用いたルールベースでの推定、もしくはＡＩモデルを用いた推定などが想定される。また車両センサ情報Ｉ２としてのマップと位置情報から走行中の道路状況などの推定もあってよい。

【0019】

主演算部１１の候補モデル選択部１１ｂは、状態推定部１１ａで推定した状態が変化したときに、記憶部１３の状態テーブル１３ａを参照して、推定した状態に紐づくＡＩモデルのモデルＩＤを選択する。なお、状態テーブル１３ａの詳細は後述する。

【0020】

主演算部１１の候補モデル制御部１１ｄは、記憶部１３のモデルテーブル１３ｂを参照して、候補モデル選択部１１ｂで選択されたモデルＩＤに対応するモデル情報を取得するとともに、パラメタテーブル１３ｃを参照して、選択されたモデルＩＤに対応するモデルパラメタを取得する。そして、取得したモデル情報とモデルパラメタを、ＡＩ演算部１２に送信する。また、候補モデル制御部１１ｄは、必要に応じて、ＡＩ演算部１２での候補モデルＭ２を利用した環境認識処理を停止させる。なお、モデルテーブル１３ｂの詳細は後述する。

【0021】

ＡＩ演算部１２のＡＩ演算制御部１２ｂは、候補モデル制御部１１ｄから受信したモデル情報とモデルパラメタをモデル演算部１２ａに送信する。また、ＡＩ演算制御部１２ｂは、主演算部１１からの指令に基づいて、モデル演算部１２ａでの環境認識処理を開始させたり停止させたりする。

【0022】

ＡＩ演算部１２のモデル演算部１２ａは、ＡＩモデルを利用した環境認識処理時に多用するベクトル演算やテンソル演算に特化した構造を持ち、現状モデルＭ１を用いた環境認識処理と、候補モデルＭ２を用いた環境認識処理を並列して実施することができる。なお、現状モデルＭ１（第１の学習済モデル）は、ＡＤやＡＤＡＳのために現在利用している、前回の検証時に所定以上の精度であることが確認されたＡＩモデルである。また、候補モデルＭ２（第２の学習済モデル）は、現状モデルＭ１に代えて今後利用する可能性のある、候補モデル制御部１１ｄから受信したモデル情報とモデルパラメタを用いて構築したＡＩモデルである。

【0023】

主演算部１１の現状モデル制御部１１ｃは、必要に応じて、ＡＩ演算部１２での現状モデルＭ１を利用した環境認識処理を停止させる。また、現状モデル制御部１１ｃは、必要に応じて、候補モデルＭ２を新たな現状モデルＭ１に設定する。

【0024】

主演算部１１の結果受診部１１ｅは、ＡＩ演算部１２から現状モデルＭ１と候補モデルＭ２の認識結果を受信し、モデル検証部１１ｆに送信する。

【0025】

主演算部１１のモデル検証部１１ｆは、結果受診部１１ｅから受信した双方の認識結果を比較することで、双方のモデル精度を検証し、ＡＤやＡＤＡＳで利用するＡＩモデルを現状モデルＭ１から候補モデルＭ２に切り替えることの可否を判定する。また、モデル検証部１１ｆは、候補モデルＭ２に切り替え可能と判定した場合は、現状モデル制御部１１ｃに停止信号を送信し、モデルＭ２に切り替え不可と判定した場合は、候補モデル制御部１１ｄに停止信号を送る。これにより、現状モデル制御部１１ｃまたは候補モデル制御部１１ｄは、モデル検証部１１ｆでの判定結果に応じて、ＡＩ演算部１２のモデル演算部１２ａで処理中の一方のＡＩモデルを停止させることができる。

【0026】

＜車載演算処理装置１の処理手順＞
次に、図２のフローチャートを用いて、車載演算処理装置１の処理手順を説明する。なお、図２では、主演算部１１の処理とＡＩ演算部１２の処理を分けて表しており、双方の処理フローを跨ぐ矢印はデータの送信を意味している。

【0027】

ステップＳ２１の時点では、ＡＩ演算部１２のモデル演算部１２ａは、ＡＤやＡＤＡＳで利用するＡＩモデルとして、従前の現状モデルＭ１のみを実行している。

【0028】

ステップＳ１１では、主演算部１１の状態推定部１１ａは、外界センサ情報Ｉ１と車両センサ情報Ｉ２を取得し、環境情報から現在の車両の状態を推定する。なお、ここで推定される車両の状態は、上記したように、例えば、車両の走行位置の種別（高速道理、一般道路、駐車場など）や、現在時刻の種別（朝・昼、夕方、夜）や、天候の種別（晴、曇、雨、雪など）、車両内の消費電力の程度、バッテリー残量の程度、認識対象物の数などである。

【0029】

ステップＳ１２では、主演算部１１の候補モデル選択部１１ｂは、記憶部１３に格納された状態テーブル１３ａを参照し、状態推定部１１ａで推定した状態に対応する候補モデルＭ２を選択する。以下、図３Ａから図３Ｃを用いて、状態テーブル１３ａを参照した候補モデルＭ２の選択方法を具体的に説明する。

【0030】

図３Ａは、状態テーブル１３ａの一種である、走行シーン状態テーブル１３ａ１の一例であり、走行シーンに応じた候補モデルＭ２を特定するためのテーブルである。例えば、状態推定部１１ａで推定した走行シーンが、走行位置種別「一般道」、天候「晴れ」、現在時刻「朝」の組み合わせの走行シーンであれば、候補モデル選択部１１ｂは、モデルＩＤ「ｍ０１」を候補モデルＭ２として選択する。なお、走行シーン状態テーブル１３ａ１に登録される走行シーンは、図３Ａに例示するものに限らず、雪や山道、トンネルなどを走行審―として登録してもよい。またモデルを準備する際の分け方として、図３Ａに記載した走行シーンのように複数の状態の組み合わせ毎にモデルを用意してもよく、また一般道、高速道路、駐車場のように朝・昼・夜の状態をまとめて１つのモデルを作成してもよい。

【0031】

図３Ｂは、状態テーブル１３ａの一種である、ユーザ状態テーブル１３ａ２の一例であり、運転手（ユーザ）に応じた候補モデルＭ２を特定するためのテーブルである。このテーブルには、ユーザ毎にモデルＩＤが登録されており、ユーザ設定が変更された場合など状態推定部１１ａがユーザの交代を検知した場合に、候補モデル選択部１１ｂは交代後のユーザに対応するモデルＩＤを候補モデルＭ２として選択する。

【0032】

図３Ｃは、状態テーブル１３ａの一種である、装置負荷状態テーブル１３ａ３の一例であり、車載演算処理装置１の負荷状態に応じた候補モデルＭ２を特定するためのテーブルである。このテーブルには、装置負荷の大きさ毎にＡＩモデルが登録されており、例えば、現在の装置負荷が「高負荷」であれば、相対的に演算負荷の小さなモデルに相当するモデルＩＤ「ｍ１５」を選択し、現在の装置負荷が「低負荷」であれば、相対的に演算負荷の大きなモデルに相当するモデルＩＤ「ｍ１６」を選択する。

【0033】

ステップＳ１３では、主演算部１１の候補モデル制御部１１ｄは、記憶部１３のモデルテーブル１３ｂやパラメタテーブル１３ｃを参照し、候補モデル選択部１１ｂで選択したモデルＩＤに紐づくモデル情報とモデルパラメタを取得する。そして、候補モデル制御部１１ｄは、モデル情報とモデルパラメタに加え、それらの情報に基づいて生成される候補モデルＭ２の処理開始信号をＡＩ演算部１２に送信する。

【0034】

図４は、モデルテーブル１３ｂの一例を示す図である。ここに例示するモデルテーブル１３ｂは、「モデルＩＤ」、「コア数」、「入力サイズ」、「層数」、「各層重みサイズリスト」の各情報を保持している。「モデルＩＤ」には、図３Ａから図３Ｃに例示した状態テーブル１３ａを参照して選択されうるモデルＩＤが登録されている。「コア数」には「モデルＩＤ」に紐づくＡＩモデルの実行に必要な、ＡＩ演算部１２のコア数が登録されている。「入力サイズ」には「モデルＩＤ」に紐づくＡＩモデルへの認識対象データの入力サイズが登録されている。「層数」には「モデルＩＤ」に紐づくＡＩモデルの層数が登録されている。「各層重みサイズリスト」には「モデルＩＤ」に紐づくＡＩモデルの各層の重みサイズ登録されている。なお、モデルテーブル１３ｂに格納され取得される情報はこれに限らず、ＡＩ演算部１２の計算機アーキテクチャに依存して必要な情報を保持することができる。

【0035】

ステップＳ２２では、ＡＩ演算部１２のモデル演算部１２ａは、モデル情報とモデルパラメタを用いて構築した候補モデルＭ２を追加実行する。なお、モデル演算部１２ａでは、ステップＳ２１の時点で既に現在モデルＭ１を実行しているため、本ステップにより、現在モデルＭ１と候補モデルＭ２の双方が実行されることになる。両モデルの実行結果は、主演算部１１の結果受信部１１ｅに送信される。

【0036】

ステップＳ１４では、主演算部１１の結果受信部１１ｅは、現状モデルＭ１と候補モデルＭ２の実行結果を取得する。

【0037】

ステップＳ１５では、主演算部１１のモデル検証部１１ｆは、外界センサ情報Ｉ１等の出力の現状モデルＭ１と候補モデルＭ２での処理結果を検証し、その検証結果に基づいて、候補モデルＭ２への切り替え可否を決定する。なお、ここでの検証方法の詳細については後述することとする。

【0038】

ステップＳ１６は、ステップＳ１５での決定に応じて分岐する。すなわち、候補モデルＭ２への切り替え可能と決定された場合は、ステップＳ２３に進み、切り替え不可と決定された場合は、ステップＳ１７に進む。

【0039】

ステップＳ２３では、ＡＩ演算部１２のＡＩ演算制御部１２ｂは、主演算部１１の現状モデル制御部１１ｃから受信した指令に応じて、現状モデルＭ１の実行を止めるともに、候補モデルＭ２を以後の現状モデルＭ１に設定し、図２の処理を終了する。この結果、モデル演算部１２ａでは、新たな現状モデルＭ１を用いたＡＤやＡＤＡＳが開始される。

【0040】

ステップＳ１７では、主演算部１１のモデル検証部１１ｆは、従前の現状モデルＭ１が現在の環境下でも有効であるかを判定する。そして、従前の現状モデルＭ１による認識精度が閾値以上であれば、ステップＳ２４に進み、そうでなければ、ステップＳ２５に進む。

【0041】

ステップＳ２４では、ＡＩ演算部１２のＡＩ演算制御部１２ｂは、主演算部１１の候補モデル制御部１１ｄから受信した指令に応じて、候補モデルＭ２の実行を止め、図２の処理を終了する。この結果、モデル演算部１２ａでは、従前の現状モデルＭ１のみが実行され、従前の現状モデルＭ１を用いたＡＤやＡＤＡＳが継続される。

【0042】

ステップＳ２５では、ＡＩ演算部１２のＡＩ演算制御部１２ｂは、主演算部１１の現状モデル制御部１１ｃと候補モデル制御部１１ｄから受信した指令に応じて、現状モデルＭ１と候補モデルＭ２の双方の実行を止め、図２の処理を終了する。この結果、ＡＤやＡＤＡＳが停止され、ユーザによる手動運転モードに移行するが、外部環境の誤認により不適切なＡＤやＡＤＡＳの実行が防止される。

【0043】

なお、上記のステップＳ１２では、１つの候補モデルＭ２を選択するものとして説明したが、状態テーブル１３ａを参照することで複数の候補モデルＭ２を特定できる場合は、それら複数の候補モデルＭ２を全て選択しても良い。その場合は、ステップＳ２２では選択した全ての候補モデルＭ２を実施すれば良く、また、ステップＳ２３では最も精度の良い候補モデルＭ２を新たな現状モデルＭ１に設定すれば良い。

【0044】

＜ステップＳ１５での検証方法＞
ここで、ステップＳ１５でのＡＩモデルの精度検証方法の詳細を説明する。ＡＩモデルの精度検証は、正解値とＡＩモデルの認識結果の比較により、誤差が大きいほど精度が低いとして算出可能である。しかし、ＡＩモデルの完全な正解値を自車両内で得ることは困難であるため、本実施例では、正解値に近しいと考えられる値とＡＩモデルの出力値を比較し、両者の誤差から各ＡＩモデルの精度を算出することとする。

【0045】

以下では、現状モデルＭ１と候補モデルＭ２が、カメラで撮像した画像データを認識対象とするＡＩモデルである場合を例に、ステップＳ１５での精度算出方法を説明する。また、正解値に近しい値との比較による精度算出方法について、２つの方針を例に挙げて説明する。

【0046】

図３に例示した走行シーン状態テーブル１３ａ１において、例えば、一般道用のＡＩモデルから高速道路用のＡＩモデルに切り替わる際に、切り替え前後で認識対象物が一部異なる場合がある。この場合のモデル精度算出には、カメラ以外の別センサで得られた値を正解値として各ＡＩモデルの精度を算出する方法が考えられる。このような検証方法については、図５Ａと図５Ｂを用いて説明する。

【0047】

また、図３に例示した走行シーン状態テーブル１３ａ１において、例えば、晴れ・曇り用のＡＩモデルから夜用のＡＩモデルに切り替わる際に、切り替え前後で認識対象物が同一である場合がある。この場合のモデル精度算出には、現状モデルＭ１の認識結果を正解値として候補モデルＭ２の精度を算出する方法が考えられる。このような検証方法については、図６Ａと図６Ｂを用いて説明する。

【0048】

＜＜カメラ以外の別センサの出力を正解値とする検証方法＞＞
図５Ａは、Ｌｉｄｅｒ３の出力を正解値として各ＡＩモデルの精度を算出し、各ＡＩモデル検証を行う方法を例示する機能ブロック図である。この場合、結果受診部１１ｅは、カメラ２で撮像した画像を現状モデルＭ１と候補モデルＭ２で認識した結果を受信すると共に、Ｌｉｄｅｒ３の出力をＬｉｄｅｒ用モデルで認識した結果を受信する。そして、モデル検証部１１ｆでは、Ｌｉｄｅｒ３の出力に基づく認識結果を正解値として、現状モデルＭ１と候補モデルＭ２のモデル精度を検証する。

【0049】

また、図５Ｂは、カメラ以外の複数の異種センサ４の出力を合成した値を正解値として各ＡＩモデルの精度を算出し、ＡＩモデル検証を行う方法を例示する機能ブロック図である。この場合、結果受診部１１ｅは、カメラ２で撮像した画像を現状モデルＭ１と候補モデルＭ２で認識した結果を受信すると共に、複数の異種センサ４の出力をフュージョン部４１で組み合わせることで得た周辺認識結果を受信する。そして、モデル検証部１１ｆは、異種センサ４の出力に基づく認識結果を正解値として、現状モデルＭ１と候補モデルＭ２のモデル精度を検証する。

【0050】

ここで、図５Ａと図５Ｂに示すように、本実施例のモデル検証部１１ｆは、精度算出部１１ｆ１と、精度比較部１１ｆ２を有している。

【0051】

精度算出部１１ｆ１は、正解値（Ｌｉｄｅｒ３の出力に基づく認識結果、または、異種センサ４の出力に基づく認識結果）と現状モデルＭ１の認識結果の誤差の大きさから現状モデル精度を算出し、また、正解値と候補モデルＭ２の認識結果の誤差の大きさから候補モデル精度を算出する。

【0052】

そして、精度比較部１１ｆ２は、現状モデル精度と候補モデル精度を比較し、候補モデル精度が現状モデル精度より高く、かつ、候補モデル精度が基準値に達している場合に、現状モデルＭ１から候補モデルＭ２への切り替えを可能と決定する。一方、現状モデル精度が候補モデル精度より高い場合は、精度比較部１１ｆ２は、現状モデルＭ１から候補モデルＭ２への切り替えを不可と決定する。なお、現状モデル精度より候補モデル精度が高いが、その精度が基準値に足りていない場合は、ＡＩモデル自体の精度劣化が考えられるため両モデルを使用不可とし、ＡＤやＡＤＡＳを停止することが考えられる。

【0053】

＜＜現状モデルＭ１の出力を正解値とする検証方法＞＞
図６Ａは、現状モデルＭ１の認識結果を正解値として候補モデルＭ２の精度を算出する方法の例を示す機能ブロック図である。同図において、結果受診部１１ｅは、カメラ２からの画像を入力として現状モデルＭ１と候補モデルＭ２で認識した結果を受信する。そして、モデル検証部１１ｆは、現状モデルＭ１の認識結果を正解値として、精度比較部１１ｆ２にて候補モデルＭ２の認識結果を比較する。

【0054】

また、図６Ｂは、現状モデルＭ１の認識結果を正解値として候補モデルＭ２の精度を算出する別例を示す機能ブロック図である。同図の結果受信部１１ｅには、現状モデルＭ１と候補モデルＭ２からの入力に加え、車両センサ情報Ｉ２の一種である車速情報Ｉ２ａも入力される。また、図６Ｂの結果受信部１１ｅには、状態推定部１１ａで検知された状態変化の前に動作させていた現状モデルＭ１の認識結果と車速情報Ｉ２ａから状態変化後の現在の認識結果を予測する認識予測部１１ｅ１を設けており、精度比較部１１ｆ２では、認識予測部１１ｅ１で予測した値を正解値として、正解値と候補モデルＭ２の認識結果を比較する。

【0055】

＜ＡＩモデル切り替えの通知方法＞
図７は車載演算処理装置１におけるＡＩモデル切り替え後のカーナビなどへの表示パネル５の例を示す図である。表示パネル５には地図情報５ａに加え、自動運転モード表示５ｂ、夜間運転モード表示５ｃなどの走行シーンを表現したマーク表示が行われる。これによりモデル検証部１１ｆにより正しくモデルの切り替えが達成されたかを確認することが可能となる。

【0056】

図８は表示パネル５に表示可能な自動運転設定画面５ｄの一例を示す図である。この図では、走行シーンごとの自動運転の可否、及びシーン間の切り替え可否の設定を示している。本実施例のように一般道の自動運転が可能、および高速道路の自動運転が可能であり、一般道と高速道路間での切り替えを不可に設定している場合は、走行中のモデル切り替えは不可であり、一般道と高速道路間での切り替えを可能としている場合は、走行中のモデル検証が可能でありモデル切り替え可能であることが確認できる。

【0057】

以上で説明した、本実施例の車載演算処理装置によれば、ＡＩモデルを切り替えた場合であっても、外部環境の認識精度が劣化しない。そのため、小さなＡＩモデルを切り替えながら使用する場合であっても、モデル切り替えの前後で認識精度の劣化が発生しないため、大きなＡＩモデルで様々な状況に対応する場合に比べ、ＥＣＵのチップコストの低減や、消費電力の低減を図りつつ、外部環境の認識不良による車両の誤制御を防ぐことができる。

【0058】

また、本実施例の車載演算処理装置によるモデル検証は、車両内で実行されるため、通信回線を介して接続した車外サーバでモデル検証を行う場合と異なり、モデル検証処理の遅延や、僻地での通信不良によってモデル検証できない状況を回避することができる。

【実施例2】

【0059】

次に、図９から図１２を用いて、本発明の実施例２に係る車載演算処理装置１を説明する。なお、以下では、実施例１との共通点については重複説明を省略する。

【0060】

実施例１のモデル演算部１２ａでは、モデル切り替えの前後で、現状モデルＭ１を用いた認識処理と、候補モデルＭ２を用いた認識処理を並列して実施していたが、両モデルを構成するチャネルには共通するチャネルもあり、共通チャネルを重複して動作させることで、演算負荷（消費電力）が増加するという問題があった。

【0061】

そこで、本実施例では、モデル演算部１２ａで現状モデルＭ１と候補モデルＭ２を並列動作させる際に、２モデル分の処理リソースを消費することなく、現状モデルＭ１による認識結果と候補モデルＭ２による認識結果の双方を取得し、それらを用いてＡＩモデルの切り替えの可否を判定できるようにした。

【0062】

そのため、本実施例では、ＡＩモデルを走行シーンごとに作成する際に、１つの大きなモデルを使用し全ての学習データを用いて複数の走行シーンを網羅したモデルを作成し、作成後のモデルを各走行シーンに含まれる学習データを用い走行シーンごとにモデル圧縮を行う。このようにすることで、各走行シーンのモデルを一部が共有された形で作成することが可能である。また、走行シーンすべてを網羅した大きなモデルを作成し、それを異なる計算量になるようモデル圧縮を行うことでも、モデルの一部を共有された形で複数のモデルが生成可能である。このように走行シーンごとのＡＩモデルがそれぞれ一部を共有している場合には、候補モデルＭ２の動作時に、現状モデルＭ１と候補モデルＭ２の差分だけを追加で動作させることで検証に必要な認識結果を得ることが可能である。

【0063】

本実施例は、このように走行シーンごとのＡＩモデルがそれぞれ一部を共有している場合のモデル切り替えの例を想定している。

【0064】

図９は、本実施例の車載演算処理装置１の機能ブロック図である。本実施例の車載演算処理装置１は、実施例１の車載演算処理装置１（図１参照）と同様に、主演算部１１と、ＡＩ演算部１２と、記憶部１３を備えているが、本実施例の特有の構成として、主演算部１１にはモデル差分抽出部１１ｇを追加しており、記憶部１３にはモデル差分テーブル１３ｄを追加している。

【0065】

モデル差分抽出部１１ｇは、候補モデル選択部１１ｂで選択したモデルＩＤに基づいて、モデルテーブル１３ｂ（図４参照）とモデル差分テーブル１３ｄを参照し、候補モデルＭ２で現状モデルＭ１との差分チャンネルを抽出する。

【0066】

候補モデル制御部１１ｄは、抽出されたチャネル差分情報をＡＩ演算部１２のＡＩ演算制御部１２ｂに入力し、モデル演算部１２ａでは候補モデル差分Ｄ２の部分のみをモデルパラメタとしてロードし実行する。

【0067】

実行結果によるモデル検証部１１ｆで、候補モデルＭ２への切り替えが可能な場合は共有モデルＭ３の部分の実行はそのままに、現状モデル差分Ｄ１を停止させる。これにより、現状モデルＭ１を停止させたと同等の効果を得ることができる。なお、本実施例ではモデルの差分としてチャネルを想定しているが、これに限らず差分はモデルの層単位やモデルのニューロン単位であってもよい。

【0068】

図１０は、図９に示した車載演算処理装置１の処理フローを示す図であり、主演算部１１とＡＩ演算部１２での処理タイミングを表している。矢印はデータの送信を意味している。なお、以下では、図２との共通点については重複説明を省略する。

【0069】

ステップＳ２１の時点では、ＡＩ演算部１２のモデル演算部１２ａは、ＡＤやＡＤＡＳで利用するＡＩモデルとして、従前の現状モデルＭ１のみを実行している。なお、本実施例のモデル演算部１２ａには、現状モデルＭ１や候補モデルＭ２そのものは登録されず、共有モデルＭ３と現状モデル差分Ｄ１と候補モデル差分Ｄ２の形式で登録されているため、本実施例での現状モデルＭ１の実行とは、共有モデルＭ３と現状モデル差分Ｄ１の双方を実行することを意味し、候補モデルＭ２の実行とは、共有モデルＭ３と候補モデル差分Ｄ２の双方を実行することを意味する。

【0070】

ステップＳ１１とステップＳ１２は、図２のものと同等である。

【0071】

ステップＳ１２ａでは、主演算部１１のモデル差分抽出部１１ｇは、記憶部１３のモデルテーブル１３ｂとモデル差分テーブル１３ｄを参照し、現状モデルＭ１と選択した候補モデルＭ２のモデル差分を抽出する。

【0072】

ステップＳ１３ａでは、主演算部１１の候補モデル制御部１１ｄは、候補モデルＭ２を利用した処理の開始信号と、モデル差分情報、モデル差分パラメタをＡＩ演算部１２に送信する。

【0073】

ステップＳ２２ａでは、ＡＩ演算部１２のモデル演算部１２ａは、候補モデル差分Ｄ２を追加実行する。なお、上記したように、モデル演算部１２ａは、ステップＳ２１の時点で既に現在モデルＭ１に相当する共有モデルＭ３と現状モデル差分Ｄ１の両方を実行しているため、本ステップにより候補モデル差分Ｄ２を追加実行することで、現在モデルＭ１と候補モデルＭ２の双方を実行したと等価の出力を取得することができる。両モデルの実行結果は主演算部１１に送信する。

【0074】

ステップＳ１４からステップＳ１７、および、ステップ２３からステップＳ２５は、図２のものと基本的に同等である。ただし、本実施例において、ステップＳ２３の現状モデルＭ１を止めるとは、現状モデル差分Ｄ１のみを止めることに相当し、ステップＳ２４の候補モデルＭ２を止めるとは、候補モデル差分Ｄ２のみを止めることに相当する。

【0075】

図１１は、図９に示した車載演算処理装置１の記憶部１３に置けるモデル差分テーブル１３ｄの一例を示した図の一例である。ここに示すように、モデル差分テーブル１３ｄは、モデルＩＤと各層の不要チャネルリストを保持している。本実施例では、モデル差分テーブル１３ｄの不要チャネルリストは、モデルｍ０１と比較しその他のモデルの各層のチャンネル数がいくつ少ないかで差分を表現している。例えば、モデルｍ０２は、モデルｍ０１と比べ１層目Ｌ１は４、８，９、３０番目のチャンネルが不必要であり、２層目Ｌ２は１、２チャンネル目が不必要であることを示している。反対にモデルｍ０１よりチャネルが多い場所についてはマイナス表記で表現可能である。

【実施例3】

【0076】

次に、図１２を用いて、本発明の実施例３に係る車載演算処理装置１を説明する。なお、以下では、上記実施例との共通点については重複説明を省略する。

【0077】

本実施例では、実施例１，２に示した車載演算処理装置１におけるモデル検証部１１ｆでの検証を過去の走行履歴に基づき省略する例を説明する。車載演算処理装置１でのモデル検証は頻度が多くなるほど処理負荷やチップへの実装サイズの増大に繋がるため、頻度の低減のためには過去の走行経路、走行環境などの過去走行履歴に基づき同様のタイミング、同様のシーンに紐づくモデルへの切り替えを行うことで検証回数を抑えることが可能となる。

【0078】

図１２は、過去走行履歴の一例が車両の表示パネル５に表示されている例である。ここに示すように、過去走行履歴の表示としては、時刻、経路名、出発地、目的地、ユーザＩＤがそれぞれ表示されている。ユーザはこの表示から過去の走行履歴を選択することで、以前の走行と同様のタイミングに同様のモデルへの切り替えを行うことができる。なお、過去走行履歴は単体車両のものに限らず、サーバなどから入手した別車両の走行履歴も検索可能であってよい。

【符号の説明】

【0079】

１ 車載演算処理装置
１１ 主演算部
１１ａ 状態推定部
１１ｂ 候補モデル選択部
１１ｃ 現状モデル制御部
１１ｄ 候補モデル制御部
１１ｅ 結果受信部
１１ｆ モデル検証部
１１ｆ１ 精度算出部
１１ｆ２ 精度比較部
１１ｇ モデル差分抽出部
１２ ＡＩ演算部
１２ａ モデル演算部
Ｍ１ 現状モデル
Ｍ２ 候補モデル
Ｍ３ 共有モデル
Ｄ１ 現状モデル差分
Ｄ２ 候補モデル差分
１２ｂ ＡＩ演算制御部
１３ 記憶部
１３ａ 状態テーブル
１３ｂ モデルテーブル
１３ｃ パラメタテーブル
１３ｄ モデル差分テーブル
２ カメラ
３ Ｌｉｄｅｒ
４ 異種センサ
４１ フュージョン部
５ 表示パネル
Ｉ１ 外界センサ情報
Ｉ２ 車両センサ情報
Ｉ２ａ 車速情報

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】