特開 2025-2291 アップデート検証方法、アップデート検証システム、アップデート検証プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025002291

(43)【公開日】2025-01-09

(54)【発明の名称】アップデート検証方法、アップデート検証システム、アップデート検証プログラム

(51)【国際特許分類】

   B60W 50/02 20120101AFI20241226BHJP

   B60W 60/00 20200101ALI20241226BHJP

【ＦＩ】

B60W50/02

B60W60/00

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023102363

(22)【出願日】2023-06-22

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】右立 真輝

(72)【発明者】

【氏名】岡 尚哉

(72)【発明者】

【氏名】高橋 祐希

【テーマコード（参考）】

3D241

【Ｆターム（参考）】

3D241BA65

3D241CE02

3D241CE05

3D241DB01Z

3D241DB05Z

3D241DB12Z

(57)【要約】

【課題】車両の制御装置のアップデートとして機械学習モデルのバージョンアップを行う場合に、正常ではないアップデートが行われたことを早期に特定することを可能とするアップデート検証方法を提供する。
【解決手段】アップデート検証方法は、バージョンアップ後の機械学習モデルにより所定期間又は所定距離の間で認識された車両の周囲の物体の数又は生成された走行計画における運転判断の数を示す第１検証数を取得することと、ログデータを参照して、アップデート前のバージョンの機械学習モデルにより所定期間又は所定距離の間で認識された車両の周囲の物体の数又は生成された走行計画における運転判断の数を示す第２検証数を取得することと、第１検証数と第２検証数を比較することによりアップデートが正常であるか否かを検証することと、をコンピュータにより実行する。
【選択図】図５

【特許請求の範囲】

【請求項1】

機械学習モデルを利用して車両の自動運転制御を行う制御装置のアップデートをコンピュータにより検証するアップデート検証方法であって、
前記コンピュータは、前記機械学習モデルによる推論結果に関するログデータを格納する１又は複数の記憶装置にアクセス可能に構成され、
前記アップデートは、前記機械学習モデルをバージョンアップすることを含み、
前記機械学習モデルは、車両の周囲の状況の認識又は自動運転制御の走行計画の生成の少なくとも一方を行い、
前記アップデート検証方法は、
バージョンアップ後の前記機械学習モデルにより所定期間又は所定距離の間で認識された車両の周囲の物体の数又は生成された走行計画における運転判断の数を示す第１検証数を取得することと、
前記ログデータを参照して、前記アップデート前のバージョンの前記機械学習モデルにより所定期間又は所定距離の間で認識された車両の周囲の物体の数又は生成された走行計画における運転判断の数を示す第２検証数を取得することと、
前記第１検証数と前記第２検証数を比較することにより前記アップデートが正常であるか否かを検証することと、
を前記コンピュータにより実行することを含む
アップデート検証方法。

【請求項2】

請求項１に記載のアップデート検証方法であって、
前記アップデートが正常であるか否かを検証することは、前記第１検証数の単位時間又は単位距離当たりの数と前記第２検証数の単位時間又は単位距離当たりの数との差分の大きさが所定のしきい値を超えるとき前記アップデートが正常でないと判断することを含む
ことを特徴とする
アップデート検証方法。

【請求項3】

機械学習モデルを利用して車両の自動運転制御を行う制御装置のアップデートを検証するアップデート検証システムであって、
１又は複数のプロセッサと、
前記機械学習モデルによる推論結果に関するログデータを格納する１又は複数の記憶装置と、
を含み、
前記アップデートは、前記機械学習モデルをバージョンアップすることを含み、
前記機械学習モデルは、車両の周囲の状況の認識又は自動運転制御の走行計画の生成の少なくとも一方を行い、
前記１又は複数のプロセッサは、
バージョンアップ後の前記機械学習モデルにより所定期間又は所定距離の間で認識された車両の周囲の物体の数又は生成された走行計画における運転判断の数を示す第１検証数を取得する処理と、
前記ログデータを参照して、前記アップデート前のバージョンの前記機械学習モデルにより所定期間又は所定距離の間で認識された車両の周囲の物体の数又は生成された走行計画における運転判断の数を示す第２検証数を取得する処理と、
前記第１検証数と前記第２検証数を比較することにより前記アップデートが正常であるか否かを検証する処理と、
を実行するように構成されている
アップデート検証システム。

【請求項4】

機械学習モデルを利用して車両の自動運転制御を行う制御装置のアップデートの検証をコンピュータに実行させるアップデート検証プログラムであって、
前記コンピュータは、前記機械学習モデルによる推論結果に関するログデータを格納する１又は複数の記憶装置にアクセス可能に構成され、
前記アップデートは、前記機械学習モデルをバージョンアップすることを含み、
前記機械学習モデルは、車両の周囲の状況の認識又は自動運転制御の走行計画の生成の少なくとも一方を行い、
前記アップデート検証プログラムは、
バージョンアップ後の前記機械学習モデルにより所定期間又は所定距離の間で認識された車両の周囲の物体の数又は生成された走行計画における運転判断の数を示す第１検証数を取得する処理と、
前記ログデータを参照して、前記アップデート前のバージョンの前記機械学習モデルにより所定期間又は所定距離の間で認識された車両の周囲の物体の数又は生成された走行計画における運転判断の数を示す第２検証数を取得する処理と、
前記第１検証数と前記第２検証数を比較することにより前記アップデートが正常であるか否かを検証する処理と、
を前記コンピュータに実行させるように構成されている
アップデート検証プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両の制御装置のアップデートを検証する技術に関する。特に機械学習モデルを利用して車両の自動運転制御を行う制御装置に関する。

【背景技術】

【0002】

近年、車両の制御の分野において人工知能（AI: Artificial Intelligence）としての機械学習モデルを活用するための様々な技術が提案されている。例えば、車両の制御の分野において機械学習モデルを活用するための技術を開示する文献として、以下の特許文献１がある。また本技術分野の技術レベルを示す文献として、以下の特許文献２乃至４がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－０６７７６２号公報

【特許文献2】特開２０１９－１３９７３４号公報

【特許文献3】特開２０２１－０８９６３２号公報

【特許文献4】国際公開第２０１６／１５７２７８号

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両の制御のうち特に自動運転制御は、認知、判断、操作のそれぞれの機能において機械学習モデルを利用することによる制御性能の向上が期待されている。機械学習モデルが利用される場合、自動運転制御を行う制御装置のアップデートでは、機械学習モデルをバージョンアップすることがある。新たなバージョンの機械学習モデルは、オフラインでの検証や実験車両による評価等を実施し性能を確認した上で、アップデートの対象となる各車両へ配信されることが考えられている。

【0005】

しかしながら、機械学習モデルでは、小さな入力の変化に対して推論結果が大きく変わることがある。また各車両は、センサの状態等がそれぞれ異なることが想定される。このため、車両によっては、バージョンアップ後の機械学習モデルが上手く機能しておらず、アップデートが正常ではない虞がある。

【0006】

本開示の１つの目的は、上記の課題を鑑みたものであり、機械学習モデルのバージョンアップを行う場合に、正常ではないアップデートが行われたことを早期に特定することを可能とする技術を提供することにある。

【課題を解決するための手段】

【0007】

本開示の第１の観点は、機械学習モデルを利用して車両の自動運転制御を行う制御装置のアップデートをコンピュータにより検証するアップデート検証方法に関する。ここで、コンピュータは、機械学習モデルによる推論結果に関するログデータを格納する１又は複数の記憶装置にアクセス可能に構成される。またアップデートは、機械学習モデルをバージョンアップすることを含む。また機械学習モデルは、車両の周囲の状況の認識又は自動運転制御の走行計画の生成の少なくとも一方を行う。

【0008】

第１の観点に係るアップデート検証方法は、バージョンアップ後の機械学習モデルにより所定期間又は所定距離の間で認識された車両の周囲の物体の数又は生成された走行計画における運転判断の数を示す第１検証数を取得することと、ログデータを参照して、アップデート前のバージョンの機械学習モデルにより所定期間又は所定距離の間で認識された車両の周囲の物体の数又は生成された走行計画における運転判断の数を示す第２検証数を取得することと、第１検証数と第２検証数を比較することによりアップデートが正常であるか否かを検証することと、をコンピュータにより実行する。

【0009】

本開示の第２の観点は、機械学習モデルを利用して車両の自動運転制御を行う制御装置のアップデートを検証するアップデート検証システムに関する。ここで、アップデートは、機械学習モデルをバージョンアップすることを含む。また機械学習モデルは、車両の周囲の状況の認識又は自動運転制御の走行計画の生成の少なくとも一方を行う。

【0010】

第２の観点に係るアップデート検証システムは、１又は複数のプロセッサと、機械学習モデルによる推論結果に関するログデータを格納する１又は複数の記憶装置と、を含む。１又は複数のプロセッサは、バージョンアップ後の機械学習モデルにより所定期間又は所定距離の間で認識された車両の周囲の物体の数又は生成された走行計画における運転判断の数を示す第１検証数を取得する処理と、ログデータを参照して、アップデート前のバージョンの機械学習モデルにより所定期間又は所定距離の間で認識された車両の周囲の物体の数又は生成された走行計画における運転判断の数を示す第２検証数を取得する処理と、第１検証数と第２検証数を比較することによりアップデートが正常であるか否かを検証する処理と、を実行するように構成される。

【0011】

本開示の第３の観点は、機械学習モデルを利用して車両の自動運転制御を行う制御装置のアップデートをコンピュータに実行させるアップデート検証プログラムに関する。第３の観点に係るアップデート検証プログラムは、第１の観点に係るアップデート検証方法をコンピュータに実行させるように構成される。

【発明の効果】

【0012】

本開示によれば、特別な検証や追加の検証を要することなく制御装置のアップデートを検証することができる。これにより、正常ではないアップデートが行われたことを早期に特定することができる。

【図面の簡単な説明】

【0013】

【図1】車両の自動運転制御に関連する構成例を示す図である。

【図2】本実施形態に係る制御装置の構成例を示す図である。

【図3】本実施形態に係るアップデート検証システムの構成を示す図である。

【図4】本実施形態に係るアップデート検証方法について説明するための図である。

【図5】本実施形態に係るプロセッサが実行する処理を示すフローチャートである。

【図6】第１検証数と第２検証数の比較について説明するための図である。

【発明を実施するための形態】

【0014】

１．制御装置
本実施形態に係るアップデート検証方法は、機械学習モデルを利用して車両の自動運転制御を行う制御装置のアップデートを検証する。以下では、本実施形態に係るアップデート検証方法が対象とする制御装置について説明する。

【0015】

図１は、対象とする制御装置が行う車両１の自動運転制御に関連する構成例を示す図である。自動運転とは、車両１の操舵、加速、及び減速のうち少なくとも１つをオペレータによる運転操作によらず自動的に行うことである。自動運転制御は、完全自動運転制御だけでなく、リスク回避制御、レーンキープアシスト制御、等も含む概念である。オペレータは、車両１に搭乗するドライバであってもよいし、車両１を遠隔操作する遠隔オペレータであってもよい。

【0016】

車両１は、センサ群１０、認識部２０、計画部３０、制御量算出部４０、及び走行装置５０を含んでいる。

【0017】

センサ群１０は、車両１の周囲の状況を認識するために用いられる認識センサ１１を含んでいる。認識センサ１１としては、カメラ、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、レーダ、等が例示される。センサ群１０は、更に、車両１の状態を検出する状態センサ１２、車両１の位置を検出する位置センサ１３、等を含んでいてもよい。状態センサ１２としては、加速度センサ、ヨーレートセンサ、等が例示される。位置センサ１３としては、ＧＮＳＳ（Global Navigation Satellite System）センサが例示される。

【0018】

センサ検出情報ＳＥＮは、センサ群１０によって得られる情報である。例えば、センサ検出情報ＳＥＮは、カメラによって撮影される画像を含んでいる。他の例として、センサ検出情報ＳＥＮは、ＬＩＤＡＲによって得られる点群情報を含んでいても良い。センサ検出情報ＳＥＮは、車両１の状態を示す車両状態情報を含んでいても良い。センサ検出情報ＳＥＮは、車両１の位置を示す位置情報を含んでいても良い。

【0019】

認識部２０は、センサ検出情報ＳＥＮを受け取る。認識部２０は、認識センサ１１により得られる情報に基づいて、車両１の周囲の状況を認識する。例えば、認識部２０は、車両１の周囲の物体を認識する。物体としては、歩行者、他車両、白線、道路構造物、落下物、信号機、交差点、標識、等が例示される。認識結果情報ＲＥＳは、認識部２０による認識結果を示す。例えば、認識結果情報ＲＥＳは、車両１に対する物体の相対位置及び相対速度を示す物体情報を含む。

【0020】

計画部３０は、認識部２０から認識結果情報ＲＥＳを受け取る。また、計画部３０は、車両状態情報、位置情報、地図情報を受け取ってもよい。計画部３０は、受け取った情報に基づいて、車両１の走行計画を生成する。走行計画は、予め設定された目的地に到達するためのものであってもよいし、リスクを回避するためのものであってもよい。走行計画として、現在の走行車線を維持する、車線変更を行う、追い越しを行う、右左折を行う、操舵する、加速する、減速する、停止する、等の運転判断が与えられる。更に、計画部３０は、車両１が走行計画に従って走行するために必要な目標トラジェクトリＴＲＪを生成する。目標トラジェクトリＴＲＪは、目標位置及び目標速度を含んでいる。

【0021】

制御量算出部４０は、計画部３０から目標トラジェクトリＴＲＪを受け取る。制御量算出部４０は、車両１が目標トラジェクトリＴＲＪに追従するために必要な制御量ＣＯＮを算出する。制御量ＣＯＮは、車両１と目標トラジェクトリＴＲＪとの間の偏差を減少させるために要求される制御量であるということもできる。制御量ＣＯＮは、操舵制御量、駆動制御量、及び制動制御量のうち少なくとも一つを含む。

【0022】

走行装置５０は、操舵装置５１、駆動装置５２、及び制動装置５３を含んでいる。操舵装置５１は、車輪を転舵する。駆動装置５２は、駆動力を発生させる動力源である。駆動装置５２としては、エンジン、電動機、等が例示される。制動装置５３は、制動力を発生させる。走行装置５０は、制御量算出部４０から制御量ＣＯＮを受け取る。走行装置５０は、操舵制御量、駆動制御量、及び制動制御量のそれぞれに従って、操舵装置５１、駆動装置５２、及び制動装置５３を動作させる。これにより、車両１が目標トラジェクトリＴＲＪに追従するように走行する。

【0023】

認識部２０は、ルールベースモデル及び機械学習モデルのうち少なくとも一方を含んでいる。ルールベースモデルは、予め決められたルール群に基づいて認識処理を行う。機械学習モデルとしては、ＮＮ（Neural Network）、ＳＶＭ（Support Vector Machine）、回帰モデル、決定木モデル、等が例示される。ＮＮは、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、あるいはそれらの組み合わせであってもよい。ＮＮにおける各層の種類、層の数、ノード数は任意である。機械学習モデルは、機械学習を通して予め生成される。認識部２０は、モデルにセンサ検出情報ＳＥＮを入力することによって認識処理を行う。

【0024】

計画部３０も同様に、ルールベースモデル及び機械学習モデルのうち少なくとも一方を含んでいる。計画部３０は、モデルに認識結果情報ＲＥＳを入力することによって計画処理を行う。

【0025】

制御量算出部４０も同様に、ルールベースモデル及び機械学習モデルのうち少なくとも一方を含んでいる。制御量算出部４０は、モデルに目標トラジェクトリＴＲＪを入力することによって制御量算出処理を行う。

【0026】

認識部２０、計画部３０、及び制御量算出部４０のうち２以上は、一体的に構成されていてもよい。認識部２０、計画部３０、及び制御量算出部４０の全てが一体的に構成されていてもよい（End-to-End構成）。例えば、認識部２０と計画部３０は、センサ検出情報ＳＥＮから目標トラジェクトリＴＲＪを出力するＮＮにより一体的に構成されていてもよい。一体的構成の場合であっても、認識結果情報ＲＥＳや目標トラジェクトリＴＲＪといった中間生成物が出力されてもよい。例えば、認識部２０と計画部３０がＮＮにより一体的に構成される場合、認識結果情報ＲＥＳは、ＮＮの中間層の出力であってよい。

【0027】

認識部２０、計画部３０、及び制御量算出部４０は、車両１の自動運転を制御する「自動運転制御部」を構成している。本実施形態では、認識部２０又は計画部３０のうち少なくとも一方は機械学習モデルを含んでいる。つまり、機械学習モデルは、車両１の周囲の状況の認識又は走行計画の生成の少なくとも一方を行う。機械学習モデルが車両１の周囲の状況の認識を行う場合、機械学習モデルによる推論結果は、例えば、画像上で認識された物体である。あるいは、車両１の周囲の空間マップ上で認識された物体である。また機械学習モデルが走行計画の生成を行う場合、機械学習モデルによる推論結果は、例えば、走行計画を構成する運転判断である。自動運転制御部は、機械学習モデルを利用して車両１の自動運転制御を行う。

【0028】

図２は、対象とする制御装置２００の構成例を示す図である。制御装置２００は、車両１に搭載されており、車両１の自動運転制御を行う。制御装置２００は、上述の自動運転制御部の機能を少なくとも有する。制御装置２００は、センサ群１０や走行装置５０と通信可能に構成されていて良い。

【0029】

制御装置２００は、１又は複数のプロセッサ２１０（以下、単にプロセッサ２１０と呼ぶ）と１又は複数の記憶装置２２０（以下、単に記憶装置２２０と呼ぶ）を含んでいる。プロセッサ２１０は、コンピュータプログラムに従って各種処理を実行する。コンピュータプログラムは、記憶装置２２０に格納されていて良い。記憶装置２２０は、各種情報を格納する。認識部２０、計画部３０、及び制御量算出部４０は、単一のプロセッサ２１０で実現されても良いし、別々のプロセッサ２１０で実現されても良い。

【0030】

モデルデータ２２１は、認識部２０、計画部３０、及び制御量算出部４０に含まれるモデルのデータである。上述の通り、本実施形態では、認識部２０又は計画部３０の少なくとも一方は機械学習モデルを含んでいる。モデルデータ２２１は、記憶装置２２０に格納され、自動運転制御に利用される。

【0031】

制御装置２００は、制御性能の改善や機能の追加等を目的として、アップデートを行うことが可能に構成される。例えば、制御装置２００は、通信ネットワークを介して更新用のコンピュータプログラムを取得し、取得したコンピュータプログラムをインストールするように構成される。特に制御装置２００のアップデートは、機械学習モデルをバージョンアップすることを含んでいて良い。この場合、制御装置２００は、新たなバージョンの機械学習モデルを取得し、モデルデータ２２１に含まれる機械学習モデルを取得した新たなバージョンの機械学習モデルに置き換える。

【0032】

自動運転制御を実行中、プロセッサ２１０は、機械学習モデルを利用した自動運転制御に関連するログデータＬＯＧを収集する。プロセッサ２１０は、自動運転制御を実行中に収集したログデータＬＯＧを記憶装置２２０に格納する。ログデータＬＯＧは、時間変化に対するデータのログであっても良いし、車両１の位置に対するデータのログであっても良い。

【0033】

管理サーバ１０２は、データベース１０３を管理するデータベースサーバである。管理サーバ１０２は、データベース１０３を格納する記憶装置と考えることもできる。管理サーバ１０２は、通信ネットワークを介して１又は複数の車両１と通信を行う。本実施形態では、自動運転制御の実行中、あるいは、自動運転制御の終了後、車両１のプロセッサ２１０は、ローカルの記憶装置２２０に保存されたログデータＬＯＧの一部を管理サーバ１０２にアップロードする。特にプロセッサ２１０は、少なくとも機械学習モデルによる推論結果に関するログデータＬＯＧを管理サーバ１０２にアップロードするように構成される。機械学習モデルによる推論結果に関するログデータＬＯＧは、ログデータＬＯＧが収集されたときの機械学習モデルのバージョン情報を含んでいて良い。

【0034】

管理サーバ１０２は、１又は複数の車両１からアップロードされるログデータＬＯＧを取得する。そして、管理サーバ１０２は、取得したログデータＬＯＧをデータベース１０３で管理する。データベース１０３では、少なくとも各車両における機械学習モデルによる推論結果に関するログデータＬＯＧが管理される。例えば、データベース１０３は、ログデータＬＯＧを車両ＩＤと対応付けて管理する。

【0035】

２．アップデート検証システム
本実施形態に係るアップデート検証方法は、コンピュータが実行する処理により実現される。図３は、本実施形態に係るアップデート検証方法を実現するアップデート検証システム１００のハードウェア構成の一例を示す図である。

【0036】

アップデート検証システム１００は、処理部１０１と、管理サーバ１０２と、を含んでいる。

【0037】

処理部１０１は、１又は複数のプロセッサ１１０（以下、単にプロセッサ１１０と呼ぶ）と１又は複数の記憶装置１２０（以下、単に記憶装置１２０と呼ぶ）を含むコンピュータである。処理部１０１は、管理サーバ１０２及び制御装置２００と通信可能に構成されている。特にプロセッサ１１０は、管理サーバ１０２と通信してデータベース１０３にアクセスすることが可能に構成されている。処理部１０１は、車両１に搭載されたコンピュータであっても良いし、車両１と通信可能に構成された車両１の外部のコンピュータであっても良い。

【0038】

プロセッサ１１０は、各種処理を実行する。特にプロセッサ１１０は、制御装置２００のアップデートを検証する処理（以下、「アップデート検証処理」と呼ぶ）を実行する。アップデート検証処理の詳細については後述する。プロセッサ１１０は、例えば、演算装置やレジスタ等を含むＣＰＵ（Central Processing Unit）で構成することができる。記憶装置１２０は、プロセッサ１１０による処理の実行に必要な各種情報を格納する。記憶装置１２０は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等の記録媒体で構成することができる。

【0039】

記憶装置１２０は、コンピュータプログラム１２１と検証用データ１２２を格納している。

【0040】

コンピュータプログラム１２１は、プロセッサ１１０によって実行される。コンピュータプログラム１２１を実行するプロセッサ１１０と記憶装置１２０との協働により、処理部１０１による各種処理が実現されても良い。コンピュータプログラム１２１は、コンピュータ読み取り可能な記録媒体に記録されていて良い。

【0041】

検証用データ１２２は、アップデート検証処理で利用されるデータである。後述するように、検証用データ１２２としては、制御装置２００から取得されるログデータＬＯＧ、管理サーバ１０２から取得されるログデータＬＯＧ、等が例示される。

【0042】

３．アップデート検証方法
以下、上述したアップデート検証システム１００によって実現されるアップデート検証方法について説明する。図４は、本実施形態に係るアップデート検証方法について説明するための図である。

【0043】

図４では、まず制御装置２００のアップデートが実行される（Ｓ２１０）。ここで、制御装置２００のアップデートは、機械学習モデルをバージョンアップすることを含むとする。

【0044】

アップデートが実行された後、制御装置２００は、ログデータＬＯＧを収集する（Ｓ２２０）。収集したログデータＬＯＧには、バージョンアップ後の機械学習モデルによる推論結果が含まれる。

【0045】

次に制御装置２００は、アップデートの検証を要求する検証要求を処理部１０１に送信する（Ｓ２３０）。検証要求は、車両１のＩＤ情報及びアップデート前後の機械学習モデルのバージョン情報を含んでいて良い。さらに制御装置２００は、アップデートが実行された後に所定期間又は所定距離の間で収集されたログデータＬＯＧを検証要求と共に送信するように構成されていても良い。

【0046】

処理部１０１のプロセッサ１１０は、制御装置２００から検証要求を受けると、要求される検証内容を確認する（Ｓ１１０）。例えば、プロセッサ１１０は、検証対象の制御装置２００が搭載された車両１のＩＤの確認、アップデート前後の機械学習モデルのバージョンの確認、等を行う。

【0047】

次にプロセッサ１１０は、確認した検証内容に応じて、管理サーバ１０２にログデータを要求する（Ｓ１２０）。

【0048】

特にステップＳ１２０で、プロセッサ１１０は、検証対象の制御装置２００において収集されたバージョンアップ後の機械学習モデルによる所定期間（又は所定距離）の間の推論結果に関するログデータ（以下、「第１ログデータ」とも呼ぶ）を要求する。例えば、プロセッサ１１０は、検証対象の制御装置２００が搭載された車両１のＩＤ、アップデート後の機械学習モデルのバージョン、及び期間（又は距離）を指定するようにログデータを要求する。ただし、プロセッサ１１０は、検証対象の制御装置２００から直接に第１ログデータを取得するように構成されていても良い。

【0049】

さらにステップＳ１２０で、プロセッサ１１０は、アップデート前のバージョンの機械学習モデルによる所定期間（又は所定距離）の間の推論結果に関するログデータ（以下、「第２ログデータ」とも呼ぶ）を要求する。例えば、プロセッサ１１０は、アップデート前の機械学習モデルのバージョン及び期間（又は距離）を指定するようにログデータを要求する。第２ログデータは、検証対象の制御装置２００において収集されたログデータでなくても良い。つまり、第２ログデータは、他の車両１から管理サーバ１０２にアップロードされたログデータであっても良い。またプロセッサ１１０は、複数の期間（又は距離）を指定することにより、あるいは他の複数の車両１を指定することにより、複数の第２ログデータを要求するように構成されていても良い。

【0050】

管理サーバ１０２は、処理部１０１からログデータの要求を受けると、要求内容を確認して（Ｓ１２１）、該当するログデータを処理部１０１に送信する（Ｓ１２２）。

【0051】

処理部１０１のプロセッサ１１０は、管理サーバ１０２からログデータを取得する（Ｓ１３０）。プロセッサ１１０は、取得した第１ログデータ及び第２ログデータを検証用データ１２２として記憶装置１２０に格納する。その後、プロセッサ１１０は、第１ログデータ及び第２ログデータに基づいて、アップデート検証処理を実行する（Ｓ１４０）。

【0052】

図５は、アップデート検証処理においてプロセッサ１１０が実行する処理を示すフローチャートである。

【0053】

ステップＳ１４１で、プロセッサ１１０は、第１ログデータ及び第２ログデータから、それぞれ第１検証数及び第２検証数を取得する。機械学習モデルが車両１の周囲の状況の認識を行う場合、第１検証数は、第１ログデータにおいて機械学習モデルにより認識された車両１の周囲の物体の数（例えば、画像上で認識された物体を囲むバウンディングボックスの数）である。また第２検証数は、第２ログデータにおいて機械学習モデルにより認識された車両１の周囲の物体の数である。機械学習モデルが走行計画の生成を行う場合、第１検証数及び第２検証数それぞれは、第１ログデータ及び第２ログデータそれぞれにおいて機械学習モデルにより生成された走行計画における運転判断の数であっても良い。なお複数の第２ログデータが取得される場合、プロセッサ１１０は、それぞれの第２ログデータに対して第２検証数を取得しても良い。

【0054】

次にステップＳ１４２で、プロセッサ１１０は、取得した第１検証数と第２検証数を比較する。

【0055】

機械学習モデルにより認識された車両１の周囲の物体の数や生成された走行計画における運転判断の数は、機械学習モデルによる推論結果の性能を示す指標の１つである。特に正常なアップデートであれば、これらの数はアップデートの前後で極端に変化しないと考えられる。アップデート前のバージョンの機械学習モデルが既に十分に運用された後であろうことを鑑みると、これらの数がアップデートの前後で顕著に変化している場合、バージョンアップ後の機械学習モデルが上手く機能していない虞がある。

【0056】

例えば、第１検証数及び第２検証数がそれぞれ認識された車両１の周囲の物体の数を示す場合、第１検証数が第２検証数よりも極端に多くなっているときは、誤検出が急激に増加している虞がある。逆に第１検証数が第２検証数よりも極端に少なくなっているときは、未検出が急激に増加している虞がある。同様に、第１検証数及び第２検証数がそれぞれ生成された走行計画における運転判断の数を示す場合、第１検証数が第２検証数に対して極端に変化しているときは、誤判断又は未判断が急激に増加している虞がある。

【0057】

このように、第１検証数と第２検証数を比較することにより、アップデートが正常であるか否かを検証することができるのである。特に第１検証数及び第２検証数は、車両１の自動運転制御を実行中に収集されるログデータから取得することができる。すなわち、本実施形態によれば、特別な検証や追加の検証を要することなく制御装置２００のアップデートを検証することができる。これにより、正常ではないアップデートが行われたことを早期に特定することができる。

【0058】

第１検証数が第２検証数に対して極端に変化している場合（Ｓ１４３；Ｙｅｓ）、プロセッサ１１０は、アップデートが正常でないと判断し（Ｓ１４４）、処理を終了する。一方で、第１検証数が第２検証数に対して極端に変化していない場合（Ｓ１４３；Ｎｏ）、アップデートは正常であると判断し（Ｓ１４５）、処理を終了する。

【0059】

以上説明したように、プロセッサ１１０は、アップデート検証処理を実行する。なおアップデート検証処理において、第１検証数と第２検証数の比較は、例えば、次のように行うことができる。

【0060】

１つは、第１検証数の単位時間（又は単位距離）当たりの数と第２検証数の単位時間（又は単位距離）当たりの数の差分の大きさを調べることである。図６（Ａ）は、差分の大きさを調べることにより第１検証数と第２検証数の比較する場合の一例を示す概念図である。図６（Ａ）では、第１検証数の単位時間（又は単位距離）当たりの数と第２検証数の単位時間（又は単位距離）当たりの数がそれぞれ破線で示されている。この場合、プロセッサ１１０は、差分の大きさが所定のしきい値を超えるとき、アップデートが正常でないと判断することができる。

【0061】

他の１つは、複数の第２検証数を取得する場合に、複数の第２検証数から得られる統計データを基に比較を行うことである。図６（Ｂ）は、複数の第２検証数から得られる統計データを基に第１検証数と第２検証数の比較する場合の一例を示す概念図である。この場合、プロセッサ１１０は、複数の第２検証数に基づいて、機械学習モデルにより認識される車両１の周囲の物体の数や生成される走行計画における運転判断の数に関して統計モデルを算出し、算出した統計モデルに対して第１検証数に有意差があると判断するとき、アップデートが正常でないと判断することができる。

【0062】

再度図４を参照する。処理部１０１のプロセッサ１１０は、アップデート検証処理を実行後、検証結果を制御装置２００に送信する（Ｓ１５０）。制御装置２００は、処理部１０１から送信された検証結果を受信する（Ｓ１６０）。

【0063】

制御装置２００は、受信した検証結果に応じて処理を実行するように構成されていても良い。例えば制御装置２００は、アップデートが正常でないと判断されたことを示す検証結果を受信したとき、アップデート前にロールバックするように構成されていても良い。

【0064】

以上説明したように、本実施形態に係るアップデート検証システム及びアップデート検証方法が実現される。また上述したようにプロセッサ１１０に処理を実行させるコンピュータプログラム１２１により、本実施形態に係るアップデート検証プログラムが実現される。

【符号の説明】

【0065】

１ 車両、１００ アップデート検証システム、１１０ プロセッサ、
１２０ 記憶装置、１２１ コンピュータプログラム、２００ 制御装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】