特許 7609183 知覚モデル更新装置、知覚モデル更新方法、および知覚モデル更新用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-23

(45)【発行日】2025-01-07

(54)【発明の名称】知覚モデル更新装置、知覚モデル更新方法、および知覚モデル更新用コンピュータプログラム

(51)【国際特許分類】

   G06N 3/091 20230101AFI20241224BHJP

【ＦＩ】

G06N3/091

【請求項の数】 6

(21)【出願番号】P 2023021562

(22)【出願日】2023-02-15

(65)【公開番号】P2024115743

(43)【公開日】2024-08-27

【審査請求日】2024-04-09

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100122116

【弁理士】

【氏名又は名称】井上 浩二

(72)【発明者】

【氏名】ルカシュ カミル マイエスキ

【審査官】今城 朋彬

(56)【参考文献】

【文献】米国特許出願公開第２０２２／０３００７６９（ＵＳ，Ａ１）

【文献】YU, Weiping et al.，Consistency-based Active Learning for Object Detection，v3，arXiv [online]，2022年04月11日，pp.1-10，https://arxiv.org/abs/2103.10374

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０９１

Ｇ０６Ｎ ２０／００

Ｇ０６Ｆ １７／３０

Ｇ０６Ｋ ９／６２

(57)【特許請求の範囲】

【請求項1】

入力されたデータに対応するラベルを予測するとともに当該予測の不確からしさを示す不確実度スコアを出力するよう学習された知覚モデルに、複数の対象データのそれぞれと、当該対象データに所定の変更を加えた変更データとを入力することで、当該対象データに対応する前記ラベルを予測するとともに、当該対象データに対応する前記不確実度スコアと、当該対象データについて予測される前記ラベルと当該変更データについて予測される前記ラベルとの差異の大きさを示す不一貫性スコアとを算出するモデル演算部と、
前記複数の対象データのうち、前記不確実度スコアが所定の不確実度閾値より高く、かつ、前記不一貫性スコアが所定の不一貫性閾値より高い前記対象データを第１データに分類し、前記不確実度スコアが前記不確実度閾値より低く、かつ、前記不一貫性スコアが前記不一貫性閾値より高い前記対象データを第２データに分類し、前記不確実度スコアが前記不確実度閾値より低く、かつ、前記不一貫性スコアが前記不一貫性閾値より低い前記対象データを第３データに分類する分類部と、
前記第１データに対して入力機器を介して入力された入力ラベルを前記第１データのラベルとして付与し、前記第２データに対し、入力されたデータに前記ラベルを付与する所定のラベル付与モデルにより前記ラベルを付与する付与部と、
前記ラベルを付与された前記第１データ、前記ラベルを付与された前記第２データ、および前記第３データを用いて前記知覚モデルの学習を行うことで前記知覚モデルを更新する更新部と、
を備える知覚モデル更新装置。

【請求項2】

複数のデータのそれぞれが取得された状況に基づいて分類されるクラスごとに、所定の確率で前記複数のデータから前記対象データを抽出する抽出部をさらに備える請求項１に記載の知覚モデル更新装置。

【請求項3】

前記複数の対象データのそれぞれは複数の画素を有する画像データであり、前記知覚モデルは前記画像データが有する複数の画素のそれぞれについて前記ラベルを予測する請求項１に記載の知覚モデル更新装置。

【請求項4】

前記モデル演算部は、前記画像データにおける各画素の位置を左右反転したデータを前記変更データとする請求項３に記載の知覚モデル更新装置。

【請求項5】

入力されたデータに対応するラベルを予測するとともに当該予測の不確からしさを示す不確実度スコアを出力するよう学習された知覚モデルを更新する知覚モデル更新装置が、
前記知覚モデルに、複数の対象データのそれぞれと、当該対象データに所定の変更を加えた変更データとを入力することで、当該対象データに対応する前記ラベルを予測するとともに、当該対象データに対応する前記不確実度スコアと、当該対象データについて予測される前記ラベルと当該変更データについて予測される前記ラベルとの差異の大きさを示す不一貫性スコアとを算出し、
前記複数の対象データのうち、前記不確実度スコアが所定の不確実度閾値より高く、かつ、前記不一貫性スコアが所定の不一貫性閾値より高い前記対象データを第１データに分類し、前記不確実度スコアが前記不確実度閾値より低く、かつ、前記不一貫性スコアが前記不一貫性閾値より高い前記対象データを第２データに分類し、前記不確実度スコアが前記不確実度閾値より低く、かつ、前記不一貫性スコアが前記不一貫性閾値より低い前記対象データを第３データに分類し、
前記第１データに対して入力機器を介して入力された入力ラベルを前記第１データのラベルとして付与し、
前記第２データに対し、入力されたデータに前記ラベルを付与する所定のラベル付与モデルにより前記ラベルを付与し、
手動により前記ラベルを付与された前記第１データ、前記ラベル付与モデルにより前記ラベルを付与された前記第２データ、および前記第３データを用いて前記知覚モデルの学習を行うことで前記知覚モデルを更新する、
ことを含む知覚モデル更新方法。

【請求項6】

入力されたデータに対応するラベルを予測するとともに当該予測の不確からしさを示す不確実度スコアを出力するよう学習された知覚モデルに、複数の対象データのそれぞれと、当該対象データに所定の変更を加えた変更データとを入力することで、当該対象データに対応する前記ラベルを予測するとともに、当該対象データに対応する前記不確実度スコアと、当該対象データについて予測される前記ラベルと当該変更データについて予測される前記ラベルとの差異の大きさを示す不一貫性スコアとを算出することと、
前記複数の対象データのうち、前記不確実度スコアが所定の不確実度閾値より高く、かつ、前記不一貫性スコアが所定の不一貫性閾値より高い前記対象データを第１データに分類し、前記不確実度スコアが前記不確実度閾値より低く、かつ、前記不一貫性スコアが前記不一貫性閾値より高い前記対象データを第２データに分類し、前記不確実度スコアが前記不確実度閾値より低く、かつ、前記不一貫性スコアが前記不一貫性閾値より低い前記対象データを第３データに分類することと、
前記第１データに対して入力機器を介して入力された入力ラベルを前記第１データのラベルとして付与することと、
前記第２データに対し、入力されたデータに前記ラベルを付与する所定のラベル付与モデルにより前記ラベルを付与することと、
手動により前記ラベルを付与された前記第１データ、前記ラベル付与モデルにより前記ラベルを付与された前記第２データ、および前記第３データを用いて前記知覚モデルの学習を行うことで前記知覚モデルを更新することと、
をコンピュータに実行させる知覚モデル更新用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、入力されたデータに対応するラベルを予測するよう学習された知覚モデルの学習を行う知覚モデル更新装置、知覚モデル更新方法、および知覚モデル更新用コンピュータプログラムに関する。

【背景技術】

【0002】

知覚モデルは、適切な教師データを用いて学習することにより、入力データにラベルを適切に予測することができるようになる。教師データは、大量の元データから抽出された対象データに正しいラベルを付与（アノテーション）することにより作成される。作業者の手動によるアノテーション作業には、多くの時間および作業量を要する。

【0003】

アノテーションを行って教師データとするために元データから抽出する対象データに、知覚モデルの学習に効果的なデータがなるべく多く含まれるようにすることで、教師データの作成における時間および作業量を削減することができる。知覚モデルが確信を持ってラベルを予測できないデータは、知覚モデルの学習に効果的なデータの一例である。特許文献１には、大量の元データの中からラベル付与の対象データを、ランダム、不確実度、代表性といった基準により抽出し、抽出された対象データを用いて知覚モデルの更新を行う能動学習サービスが記載されている。不確実度は、知覚モデルが予測するラベルの不確からしさを示す尺度である。

【先行技術文献】

【特許文献】

【0004】

【文献】米国特許第１１０４８９７９号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

ランダムに、または、代表性を基準として元データから対象データを抽出すると、知覚モデルの学習に効果的でないデータが所定の割合で対象データに含まれるため、教師データの作成における時間および作業量を削減することができない。

【0006】

不確実度を基準として元データから対象データを抽出すると、知覚モデルの学習に効果的なデータが対象データになるべく多く含まれるようにすることができるため、教師データの作成における時間および作業量を削減することができる。しかし、不確実度を基準として元データから抽出される対象データは、元データ全体における外れ値を多く含む。このような対象データにより知覚モデルを学習すると、知覚モデルは外れ値を過学習し、入力データに対応するラベルを適切に予測することができなくなる場合がある。

【0007】

本開示は、知覚モデルを適切に更新する知覚モデル更新装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の要旨は以下のとおりである。

【0009】

（１）入力されたデータに対応するラベルを予測するとともに当該予測の不確からしさを示す不確実度スコアを出力するよう学習された知覚モデルに、複数の対象データのそれぞれと、当該対象データに所定の変更を加えた変更データとを入力することで、当該対象データに対応する前記ラベルを予測するとともに、当該対象データに対応する前記不確実度スコアと、当該対象データについて予測される前記ラベルと当該変更データについて予測される前記ラベルとの差異の大きさを示す不一貫性スコアとを算出するモデル演算部と、
前記複数の対象データのうち、前記不確実度スコアが所定の不確実度閾値より高く、かつ、前記不一貫性スコアが所定の不一貫性閾値より高い前記対象データを第１データに分類し、前記不確実度スコアが前記不確実度閾値より低く、かつ、前記不一貫性スコアが前記不一貫性閾値より高い前記対象データを第２データに分類し、前記不確実度スコアが前記不確実度閾値より低く、かつ、前記不一貫性スコアが前記不一貫性閾値より低い前記対象データを第３データに分類する分類部と、
前記第１データに対して入力機器を介して入力された入力ラベルを前記第１データのラベルとして付与し、前記第２データに対し、入力されたデータに前記ラベルを付与する所定のラベル付与モデルにより前記ラベルを付与する付与部と、
前記ラベルを付与された前記第１データ、前記ラベルを付与された前記第２データ、および前記第３データを用いて前記知覚モデルの学習を行うことで前記知覚モデルを更新する更新部と、
を備える知覚モデル更新装置。

【0010】

（２）複数のデータのそれぞれが取得された状況に基づいて分類されるクラスごとに、所定の確率で前記複数のデータから前記対象データを抽出する抽出部をさらに備える上記（１）に記載の知覚モデル更新装置。

【0011】

（３）前記複数の対象データのそれぞれは複数の画素を有する画像データであり、前記知覚モデルは前記画像データが有する複数の画素のそれぞれについて前記ラベルを予測する上記（１）または（２）に記載の知覚モデル更新装置。

【0012】

（４）前記モデル演算部は、前記画像データにおける各画素の位置を左右反転したデータを前記変更データとする上記（３）に記載の知覚モデル更新装置。

【0013】

（５）入力されたデータに対応するラベルを予測するとともに当該予測の不確からしさを示す不確実度スコアを出力するよう学習された知覚モデルを更新する知覚モデル更新装置が、
前記知覚モデルに、複数の対象データのそれぞれと、当該対象データに所定の変更を加えた変更データとを入力することで、当該対象データに対応する前記ラベルを予測するとともに、当該対象データに対応する前記不確実度スコアと、当該対象データについて予測される前記ラベルと当該変更データについて予測される前記ラベルとの差異の大きさを示す不一貫性スコアとを算出し、
前記複数の対象データのうち、前記不確実度スコアが所定の不確実度閾値より高く、かつ、前記不一貫性スコアが所定の不一貫性閾値より高い前記対象データを第１データに分類し、前記不確実度スコアが前記不確実度閾値より低く、かつ、前記不一貫性スコアが前記不一貫性閾値より高い前記対象データを第２データに分類し、前記不確実度スコアが前記不確実度閾値より低く、かつ、前記不一貫性スコアが前記不一貫性閾値より低い前記対象データを第３データに分類し、
前記第１データに対して入力機器を介して入力された入力ラベルを前記第１データのラベルとして付与し、
前記第２データに対し、入力されたデータに前記ラベルを付与する所定のラベル付与モデルにより前記ラベルを付与し、
手動により前記ラベルを付与された前記第１データ、前記ラベル付与モデルにより前記ラベルを付与された前記第２データ、および前記第３データを用いて前記知覚モデルの学習を行うことで前記知覚モデルを更新する、
ことを含む知覚モデル更新方法。

【0014】

（６）入力されたデータに対応するラベルを予測するとともに当該予測の不確からしさを示す不確実度スコアを出力するよう学習された知覚モデルに、複数の対象データのそれぞれと、当該対象データに所定の変更を加えた変更データとを入力することで、当該対象データに対応する前記ラベルを予測するとともに、当該対象データに対応する前記不確実度スコアと、当該対象データについて予測される前記ラベルと当該変更データについて予測される前記ラベルとの差異の大きさを示す不一貫性スコアとを算出することと、
前記複数の対象データのうち、前記不確実度スコアが所定の不確実度閾値より高く、かつ、前記不一貫性スコアが所定の不一貫性閾値より高い前記対象データを第１データに分類し、前記不確実度スコアが前記不確実度閾値より低く、かつ、前記不一貫性スコアが前記不一貫性閾値より高い前記対象データを第２データに分類し、前記不確実度スコアが前記不確実度閾値より低く、かつ、前記不一貫性スコアが前記不一貫性閾値より低い前記対象データを第３データに分類することと、
前記第１データに対して入力機器を介して入力された入力ラベルを前記第１データのラベルとして付与することと、
前記第２データに対し、入力されたデータに前記ラベルを付与する所定のラベル付与モデルにより前記ラベルを付与することと、
手動により前記ラベルを付与された前記第１データ、前記ラベル付与モデルにより前記ラベルを付与された前記第２データ、および前記第３データを用いて前記知覚モデルの学習を行うことで前記知覚モデルを更新することと、
をコンピュータに実行させる知覚モデル更新用コンピュータプログラム。

【0015】

本開示にかかる知覚モデル更新装置によれば、知覚モデルを適切に更新することができる。

【図面の簡単な説明】

【0016】

【図1】知覚モデル更新システムの概略構成図である。

【図2】車両の概略構成図である。

【図3】知覚モデル更新装置のハードウェア構成図である。

【図4】知覚モデル更新装置が有するプロセッサの機能ブロック図である。

【図5】対象データについてのラベルの予測および対象データに対応するスコアの算出の例を説明する図である。

【図6】知覚モデル更新処理のフローチャートである。

【発明を実施するための形態】

【0017】

以下、図面を参照して、知覚モデル更新装置について詳細に説明する。知覚モデル更新装置は、知覚モデルに、複数の対象データのそれぞれと、当該対象データに所定の変更を加えた変更データとを入力することで、当該対象データ対応するにラベルを予測するとともに、不確実度スコアと不一貫性スコアとを算出する。知覚モデルは、入力されたデータに対応するラベルを予測するとともに、当該ラベルの不確実度スコアを出力するよう学習されている。ラベルは、例えばデータに表された対象物の種類を表す。不一貫性スコアは、対象データについて予測されるラベルと当該対象データに対応する変更データについて予測されるラベルとの差異の大きさを示す。知覚モデルは、例えば、入力された画像に含まれる画素ごとに、当該画素に表わされる対象に応じたラベルを付与するセマンティックセグメンテーションを実行するSegnet、U-Netといったニューラルネットワークにより構成される。

【0018】

知覚モデル更新装置は、複数の対象データのうち、不確実度スコアが所定の不確実度閾値より高く、かつ、不一貫性スコアが所定の不一貫性閾値より高い対象データを第１データに分類する。また、知覚モデル更新装置は、複数の対象データのうち、不確実度スコアが不確実度閾値より低く、かつ、不一貫性スコアが不一貫性閾値より高い対象データを第２データに分類する。また、知覚モデル更新装置は、複数の対象データのうち、不確実度スコアが不確実度閾値より低く、かつ、不一貫性スコアが不一貫性閾値より低い対象データを第３データに分類する。

【0019】

知覚モデル更新装置は、第１データに対して入力機器を介して入力された入力ラベルを第１データのラベルとして付与する。また、知覚モデル更新装置は、第２データに対し、入力されたデータにラベルを付与する所定のラベル付与モデルによりラベルを付与する。そして、知覚モデル更新装置は、ラベルが付与された第１データ、ラベルが付与された第２データ、および第３データを用いて知覚モデルの学習を行うことで知覚モデルを更新する。

【0020】

図１は、知覚モデル更新システムの概略構成図である。本実施形態では、知覚モデル更新システム１は、複数の車両２と知覚モデル更新装置３とを有する。知覚モデル更新装置３は、複数の車両２のそれぞれにより収集されたデータを用いて知覚モデルを更新する。複数の車両２のそれぞれは、知覚モデル更新装置３が接続される通信ネットワークＮＷにゲートウェイ（不図示）などを介して接続される無線基地局ＷＢＳにアクセスすることで、無線基地局ＷＢＳおよび通信ネットワークＮＷを介して知覚モデル更新装置３と通信可能に接続される。以下では、複数の車両２のうち一の車両を「車両２」ともいう。知覚モデル更新システム１において、複数の無線基地局ＷＢＳが通信ネットワークＮＷに接続されていてもよい。

【0021】

図２は、車両２の概略構成図である。車両２は、周辺カメラ２１と、データ通信モジュール（ＤＣＭ）２２と、ＧＮＳＳ（Global Navigation Satellite System）受信機２３と、ストレージ装置２４と、ＥＣＵ（Electronic Control Unit）２５とを有する。周辺カメラ２１、データ通信モジュール２２、ＧＮＳＳ受信機２３、およびストレージ装置２４と、ＥＣＵ２５とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。

【0022】

周辺カメラ２１は、知覚モデル更新装置３による知覚モデルの更新に用いる更新用データを生成する更新用データ生成機器の一例である。周辺カメラ２１は、更新用データに含まれる画像データとして、車両２の周辺状況を表す周辺画像を生成する。周辺カメラ２１は、ＣＣＤあるいはＣ－ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系とを有する。周辺カメラ２１は、例えば車室内の前方上部に、前方を向けて配置される。周辺カメラ２１は、所定の撮影周期（例えば1/30秒～1/10秒）ごとにフロントガラスまたはリヤガラスを介して車両２の周辺の状況を撮影し、周辺の状況が表された周辺画像を出力する。

【0023】

車両２は、更新用データ生成機器として、各画素が当該画素に表された車両２の周辺の物体までの距離に応じた値を持つ距離画像を生成するＬｉＤＡＲ（Light Detection And Ranging）センサを有してもよい。ＬｉＤＡＲセンサは、赤外線レーザー光を発生させるレーザーと、物体で反射され光学窓を通して受光したレーザー光を２次元的に走査する受光器とをそれぞれ有する。受光器は、照射されたレーザー光が物体で反射されて受光されるまでの時間を計測することにより、各画素が当該画素に表された物体までの距離に応じた値を持つ距離画像を生成する。ＬｉＤＡＲセンサは、例えば車室内の前方上部に、前方を向けて配置される。ＬｉＤＡＲセンサは、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両２の前方における物体までの距離を表す距離画像を出力する。距離画像は、画像データの一例である。

【0024】

データ通信モジュール２２は、通信機器の一例であり、いわゆる４Ｇ（4th Generation）または５Ｇ（5th Generation）といった所定の無線通信規格に準拠した無線通信処理を実行する機器である。データ通信モジュール２２は、例えば、無線基地局ＷＢＳにアクセスすることで、無線基地局ＷＢＳおよび通信ネットワークＮＷを介して知覚モデル更新装置３と通信可能に接続される。データ通信モジュール２２は、ＥＣＵ２５から受け取ったデータをアップリンクの無線信号に含め、その無線信号を無線基地局ＷＢＳへ送信することで、データを知覚モデル更新装置３へ送信する。なお、データ通信モジュール２２は、ＥＣＵ２５の一部として実装されてもよい。

【0025】

ＧＮＳＳ受信機２３は、更新用データ生成機器によりデータが生成されたときの環境を表す環境データを生成する環境データ生成機器の一例である。ＧＮＳＳ受信機２３は、不図示のＧＮＳＳアンテナにより所定の周期ごとにＧＮＳＳ衛星からのＧＮＳＳ信号を受信し、受信したＧＮＳＳ信号に基づいて車両２の自己位置を測位する。ＧＮＳＳ受信機２３は、所定の周期ごとに、ＧＮＳＳ信号に基づく車両２の自己位置の測位結果を表す測位信号を環境データとして生成し、車内ネットワークを介してＥＣＵ２５へ出力する。

【0026】

車両２は、環境データ生成機器として、車両２の周辺の温度を示す温度データを出力する温度センサ、車両２の周辺の照度を示す照度データを出力する照度センサ、車両２の周辺の雨量を示す雨量データを出力する雨量センサを有していてもよい。

【0027】

ストレージ装置２４は、車両記憶装置の一例であり、例えば、ハードディスク装置、または不揮発性の半導体メモリを有する。ストレージ装置２４は、周辺カメラ２１が出力する周辺画像を記憶する。ストレージ装置２４は、位置に対応づけて車線区画線などの地物に関する情報を含む地図データを記憶していてもよい。

【0028】

ＥＣＵ２５は、通信インタフェースと、メモリと、プロセッサとを備える。ＥＣＵ２５は、通信インタフェースを介して周辺カメラ２１から周辺画像を取得し、ストレージ装置２４に記憶させる。また、ＥＣＵ２５は、周辺画像の生成時刻に対応する時刻にＧＮＳＳ受信機２３から取得された測位信号に表される位置の近傍の地図情報をストレージ装置２４から取得し、地図情報に含まれる車線区画線の形状を予めメモリに記憶される道路形状テンプレートと比較することで当該周辺画像が生成されたときの道路形状タイプ（急カーブ、分岐地点等）を特定し、当該周辺画像が生成されたときの環境を表す環境データとして当該周辺画像に関連づけてストレージ装置２４に記憶させる。ＥＣＵ２５は、周辺画像が生成されたときの温度、照度、または雨量を、環境データとして当該周辺画像に関連づけてストレージ装置２４に記憶させてもよい。また、ＥＣＵ２５は、ストレージ装置２４に記憶された周辺画像および関連づけられた環境データを、通信インタフェースおよびデータ通信モジュール２２を介して知覚モデル更新装置３に送信する。

【0029】

ＥＣＵ２５は、ＧＮＳＳ受信機２３が出力する測位信号に表される自己位置の近傍の地図情報をストレージ装置２４から取得し、地図情報に含まれる車線区画線により区画された車線内を車両２が走行するように車両２の走行機構に制御信号を送信することで、車両２の自動運転を実行してもよい。走行機構には、例えば車両２に動力を供給するエンジンまたはモータ、車両２の走行速度を減少させるブレーキ、および車両２を操舵するステアリング機構が含まれる。

【0030】

ＥＣＵ２５は、さらに、周辺カメラ２１が出力する周辺画像から検出された周辺の物体までの間隔が所定の間隔より大きくなるように車両２の走行を制御してもよい。ＥＣＵ２５は、画像から物体を検出するよう予め学習された識別器に周辺画像を入力することで、周辺の物体を検出することができる。識別器は、本開示の知覚モデル更新装置により更新される知覚モデルであってよい。

【0031】

図２は、知覚モデル更新装置３のハードウェア構成図である。知覚モデル更新装置３は、通信インタフェース３１と、ストレージ装置３２と、メモリ３３と、プロセッサ３４とを有する。

【0032】

通信インタフェース３１は、通信部の一例であり、知覚モデル更新装置３を通信ネットワークＮＷに接続するためのインタフェース回路を有する。通信インタフェース３１は、通信ネットワークＮＷを介して他の機器と通信可能に構成される。すなわち、通信インタフェース３１は、通信ネットワークＮＷを介して他の機器から受信したデータ等をプロセッサ３４に渡す。また、通信インタフェース３１は、プロセッサ３４から受け取ったデータ等を、通信ネットワークを介して他の機器に送信する。

【0033】

ストレージ装置３２は、記憶部の一例であり、例えばハードディスク装置または不揮発性の半導体メモリ装置などの記憶装置を有する。ストレージ装置３２は、複数の車両２のそれぞれから送信された周辺画像および環境データを記憶する。周辺画像はストレージ装置３２に記憶される複数のデータの一例である。

【0034】

メモリ３３は、記憶部の他の一例であり、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ３３は、プロセッサ３４による処理に用いられる各種データ、例えば知覚モデルおよびラベル付与モデルを規定するためのパラメータ群、ストレージ装置３２に記憶される複数のデータから抽出される対象データ、知覚モデルによりラベルを予測された対象データの分類に用いる不確実度閾値および不一貫性閾値等を記憶する。また、メモリ３３は、各種アプリケーションプログラム、例えば知覚モデル更新装置３に知覚モデル更新方法を実行させるための知覚モデル更新用コンピュータプログラム等を記憶する。

【0035】

プロセッサ３４は、１個または複数個のＣＰＵ（Central Processing Unit）およびその周辺回路を有する。プロセッサ３４は、論理演算ユニットあるいは数値演算ユニットといった他の演算回路をさらに有していてもよい。

【0036】

図４は、知覚モデル更新装置３が有するプロセッサ３４の機能ブロック図である。

【0037】

知覚モデル更新装置３のプロセッサ３４は、機能ブロックとして、抽出部３４１と、モデル演算部３４２と、分類部３４３と、付与部３４４と、更新部３４５とを有する。プロセッサ３４が有するこれらの各部は、プロセッサ３４上で実行されるプログラムによって実装される機能モジュールである。プロセッサ３４の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。あるいは、プロセッサ３４が有するこれらの各部、独立した集積回路、マイクロプロセッサ、またはファームウェアとして知覚モデル更新装置３に実装されてもよい。

【0038】

抽出部３４１は、ストレージ装置３２に記憶された複数のデータから所定の確率で複数の対象データを抽出する。抽出部３４１は、ストレージ装置３２に記憶された周辺画像から所定の確率（例えば1%）でランダムに選択された周辺画像を、対象データとして抽出してよい。また、抽出部３４１は、複数のデータのそれぞれが取得された状況に基づいて分類されるクラスごとに所定の確率で複数のデータから対象データを抽出してよい。例えば、抽出部３４１は、ストレージ装置３２に記憶された周辺画像のうちの所定の道路形状タイプに関連づけられた周辺画像から所定の確率でランダムに選択された周辺画像を、当該所定の道路形状タイプに対応する対象データとして抽出してよい。クラスは、環境データに含まれる照度に基づいて定められる時間帯（日中、夜間等）、環境データに含まれる温度および雨量に基づいて定められる天候（降雨、降雪等）であってもよく、これらを組み合わせたもの（夜間降雨時の急カーブ、日中降雪時の車線分岐地点等）であってもよい。

【0039】

モデル演算部３４２は、知覚モデルに複数の対象データのそれぞれと、当該対象データに所定の変更を加えた変更データとを入力することで、当該対象データに対応するラベルを予測するとともに、当該対象データに対応する不確実度スコアと不一貫性スコアとを算出する。

【0040】

図５は、対象データについてのラベルの予測および対象データに対応するスコアの算出の例を説明する図である。

【0041】

モデル演算部３４２は、周辺画像ＳＰを知覚モデルＰＭに入力することで、周辺画像ＳＰが有する複数の画素のそれぞれについてラベルが予測されたラベル画像ＬＰを生成する。ラベル画像ＬＰにおいて、車両２が走行している道路のうち車両２が走行している車線に対応すると予測された画素には、ラベルＬａが予測される。車両２が走行している道路のうち車両２が走行している車線以外の領域に対応すると予測された画素には、ラベルＬｂが予測される。車両２が走行している道路以外の領域に対応すると予測された画素には、ラベルＬｃが予測される。また、ラベル画像ＬＰが有する複数の画素のそれぞれには、当該画素についてのラベルの予測の不確からしさを示す不確実度が対応づけられている。

【0042】

モデル演算部３４２は、ラベル画像ＬＰが有する複数の画素のそれぞれに対応づけられた不確実度に基づいて、周辺画像ＳＰに対応する不確実度スコアを算出する。モデル演算部３４２は、ラベル画像ＬＰが有する複数の画素のそれぞれについて、当該画素に対応づけられた不確実度と当該不確実度の対数との積の合計を求め、その符号を反転させた値（シャノンのエントロピー）を、周辺画像ＳＰに対応する不確実度スコアとしてよい。

【0043】

また、モデル演算部３４２は、周辺画像ＳＰに所定の変更を加えた変更周辺画像ＳＰ′を知覚モデルＰＭに入力することで、変更周辺画像ＳＰ′が有する複数の画素のそれぞれに対応するラベルが予測された変更ラベル画像ＬＰ′を生成する。変更周辺画像ＳＰ′は、周辺画像ＳＰにおける各画素の位置を左右反転した画像であってよい。変更ラベル画像ＬＰ′において、車両２が走行している道路のうち車両２が走行している車線に対応すると予測された画素には、ラベルＬａ′が予測される。車両２が走行している道路のうち車両２が走行している車線以外の領域に対応すると予測された画素には、ラベルＬｂ′が予測される。車両２が走行している道路以外の領域に対応すると予測された画素には、ラベルＬｃ′が予測される。

【0044】

モデル演算部３４２は、周辺画像ＳＰについて予測されるラベルと変更周辺画像ＳＰ′について予測されるラベルとの差異の大きさを示す不一貫性スコアを算出する。例えば、モデル演算部３４２は、ラベル画像ＬＰが有する複数の画素のそれぞれに対応づけられた不確実度の分布と変更ラベル画像ＬＰ′が有する複数の画素のそれぞれに対応づけられた不確実度の分布とを比較する。グラフＧは、ラベル画像ＬＰが有する複数の画素のそれぞれに対応づけられた不確実度の分布と変更ラベル画像ＬＰ′が有する複数の画素のそれぞれに対応づけられた不確実度の分布とを表す。グラフＧにおいて、横軸は不確実度を表し、縦軸は頻度を表す。モデル演算部３４２は、ラベル画像ＬＰが有する複数の画素のそれぞれに対応づけられた不確実度の分布と変更ラベル画像ＬＰ′が有する複数の画素のそれぞれに対応づけられた不確実度の分布との相違が大きいほど大きい値となるように、不一貫性スコアを算出する。

【0045】

図４に戻り、分類部３４３は、複数の対象データのうち、不確実度スコアがメモリ３３に記憶された不確実度閾値よりも高く、かつ、不一貫性スコアがメモリ３３に記憶された不一貫性閾値よりも高い対象データを第１データに分類する。分類部３４３は、複数の対象データのうち、不確実度スコアが不確実度閾値より低く、かつ、不一貫性スコアが不一貫性閾値より高い対象データを第２データに分類する。分類部３４３は、複数の対象データのうち、不確実度スコアが不確実度閾値より低く、かつ、不一貫性スコアが不一貫性閾値より低い対象データを第３データに分類する。

【0046】

分類部３４３は、不確実度スコアが不確実度閾値と一致する対象データを、不確実度スコアが不確実度閾値よりも高いものと扱ってもよく、不確実度閾値よりも低いものと扱ってもよい。同様に、分類部３４３は、不一貫性スコアが不一貫性閾値と一致する対象データを、不一貫性スコアが不一貫性閾値よりも高いものと扱ってもよく、不一貫性閾値よりも低いものと扱ってもよい。

【0047】

分類部３４３は、複数の対象データのうち、不確実度スコアが不確実度閾値より高く、かつ、不一貫性スコアが不一貫性閾値より高い対象データを、第１データから第３データのいずれかに分類してもよく、その他のデータに分類してもよい。

【0048】

付与部３４４は、第１データに対して入力機器を介して入力された入力ラベルを第１データのラベルとして付与する（手動ラベリング）。付与部３４４は、例えば、第１データにラベルを付与するラベル付与画面を表示するためのラベル付与画面データを生成し、画像をユーザに視認可能に表示するディスプレイを有する表示装置（不図示）に通信インタフェース３１を介して送信する。ラベル付与画面が表示されたディスプレイに接したユーザは、通信インタフェース３１を介して接続された入力機器を操作して、第１データに対して付与すべき入力ラベルを特定する。入力ラベルは、ラベル付与画面の所定の領域を指定したユーザの操作に応じてメモリ３３に記憶される。付与部３４４は、入力ラベルを第１データのラベルとして付与し、メモリ３３に記憶させる。付与部３４４は、ラベル付与画面データを、知覚モデル更新装置３以外の情報処理装置に、通信インタフェース３１を介して送信してもよい。

【0049】

また、付与部３４４は、第２データに対し、入力されたデータにラベルを付与するラベル付与モデルによりラベルを付与する。ラベル付与モデルは、知覚モデルＰＭ以外のモデル（例えば知覚モデルＰＭとは異なるネットワーク構成を有するモデル）であってよく、知覚モデルＰＭであってもよい。付与部３４４は、ラベル付与モデルによりラベルが付与された第２データをメモリ３３に記憶させる。

【0050】

更新部３４５は、手動によりラベルが付与された第１データ、ラベル付与モデルによりラベルが付与された第２データ、および第３データを用いて知覚モデルＰＭの学習を行うことで、知覚モデルＰＭを更新する。更新部３４５は、手動によりラベルが付与された第１データ、ラベル付与モデルによりラベルが付与された第２データ、および第３データを教師データとし、誤差逆伝搬法といった所定の学習手法に従って知覚モデルＰＭの学習を行う。更新部３４５は、更新された知覚モデルにより、更新前の知覚モデルＰＭを置き換える。例えば、更新部３４５は、更新された知覚モデルを規定するためのパラメータ群を、通信インタフェース３１を介して車両２に送信する。車両２のＥＣＵ２５は、更新された知覚モデルを用いて以降の物体検出を実行する。

【0051】

図６は、知覚モデル更新処理のフローチャートである。知覚モデル更新装置３のプロセッサ３４は、ユーザの所定の操作に応じて図６に示す知覚モデル更新処理を実行する。プロセッサ３４は、前回実行からの所定時間の経過、ストレージ装置３２への所定数の周辺画像の蓄積といった所定の条件を満たした場合に図６に示す知覚モデル更新処理を実行してもよい。また、プロセッサ３４は、知覚モデル更新処理の開始ごとに、図６に示す知覚モデル更新処理を複数回繰り返し実行してもよい。

【0052】

まず、プロセッサ３４の抽出部３４１は、ストレージ装置３２に記憶された複数のデータから所定の確率で複数の対象データを抽出する（ステップＳ１）。

【0053】

次に、プロセッサ３４のモデル演算部３４２は、知覚モデルＰＭに複数の対象データのそれぞれと、当該対象データに所定の変更を加えた変更データとを入力することで、当該対象データに対応するラベルを予測するとともに、当該対象データに対応する不確実度スコアと不一貫性スコアとを算出する（ステップＳ２）。

【0054】

プロセッサ３４の分類部３４３は、複数の対象データのうち、不確実度スコアがメモリ３３に記憶された不確実度閾値よりも高く、かつ、不一貫性スコアがメモリ３３に記憶された不一貫性閾値よりも高い対象データを第１データに分類する。また、分類部３４３は、複数の対象データのうち、不確実度スコアが不確実度閾値より低く、かつ、不一貫性スコアが所定の不一貫性閾値より高い対象データを第２データに分類する。また、分類部３４３は、複数の対象データのうち、不確実度スコアが不確実度閾値より低く、かつ、不一貫性スコアが所定の不一貫性閾値より低い対象データを第３データに分類する（ステップＳ３）。

【0055】

第１データについて（ステップＳ３：Ａ）、プロセッサ３４の付与部３４４は、入力機器を介して入力された入力ラベルを第１データのラベルとして付与し（ステップＳ４）、後述するステップＳ６に進む。

【0056】

第２データについて（ステップＳ３：Ｂ）、付与部３４４は、ラベル付与モデルによりラベルを付与し（ステップＳ５）、後述するステップＳ６に進む。

【0057】

第３データについて（ステップＳ３：Ｃ）、分類部３４３はモデル演算部３４２により知覚モデルＰＭを用いて付与されたラベル変更を加えることなく、後述するステップＳ６に進む。

【0058】

プロセッサ３４の更新部３４５は、手動によりラベルが付与された第１データ、ラベル付与モデルによりラベルが付与された第２データ、および第３データを用いて知覚モデルＰＭの学習を行うことで知覚モデルＰＭを更新し（ステップＳ６）、知覚モデル更新処理を終了する。

【0059】

このように知覚モデル更新処理を実行することにより、知覚モデル更新装置３は、知覚モデルを適切に更新することができる。

【0060】

当業者は、本開示の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。

【符号の説明】

【0061】

１ 知覚モデル更新システム
２ 車両
３ 知覚モデル更新装置
３４１ 抽出部
３４２ モデル演算部
３４３ 分類部
３４４ 付与部
３４５ 更新部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】