特許 6972444 信頼度判定装置および信頼度判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6972444

(24)【登録日】2021年11月5日

(45)【発行日】2021年11月24日

(54)【発明の名称】信頼度判定装置および信頼度判定方法

(51)【国際特許分類】

   G06N 3/02 20060101AFI20211111BHJP

【ＦＩ】

   G06N3/02

【請求項の数】9

【全頁数】21

(21)【出願番号】特願2021-541630(P2021-541630)

(86)(22)【出願日】2021年3月23日

(86)【国際出願番号】JP2021011826

【審査請求日】2021年7月19日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110003166

【氏名又は名称】特許業務法人山王内外特許事務所

(72)【発明者】

【氏名】森本 卓爾

(72)【発明者】

【氏名】佐藤 匠

【審査官】 川▲崎▼ 博章

(56)【参考文献】

【文献】 特開２０１９−１３９２７７（ＪＰ，Ａ）

【文献】 国際公開第２０１９／１５１３９３（ＷＯ，Ａ１）

【文献】 特開２０１８−２０５９２０（ＪＰ，Ａ）

【文献】 CAI, Peide et al.，DiGNet: Learning Scalable Self-Driving Policies for Generic Traffic Scenarios with Graph Neural Netw，2021年03月06日，[retrieved on 2021.04.20], Retrieved from the Internet: <URL: https://arxiv.org/pdf/2011.06775.pdf>

【文献】 LI, Hongyu et al.，Automatic unusual driving event identification for dependable self-driving [online]，2018年11月04日，[retrieved on 2021.04.20], Retrieved from the Internet: <URL: https://dl.acm.org/doi/pdf/10.1145/3274783.3274838>

【文献】 ZENG, Wenyuan et al.，DSDNet: Deep structured self-driving network [online]，2020年08月13日，[retrieved on 2021.04.20], Retrieved from the Internet: <URL: https://arxiv.org/pdf/2008.06041.pdf?utm_source>

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ３／０２

(57)【特許請求の範囲】

【請求項1】

入力データを取得する取得部と、
前記取得部が取得した前記入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成する抽象化部と、
前記抽象化部が生成した前記抽象化データを入力として当該抽象化データの特徴量を出力する特徴量抽出部と、
前記特徴量抽出部が出力した前記特徴量を入力として前記抽象化データを復元した復元後抽象化データを出力する復元部と、
前記抽象化部が生成した前記抽象化データと前記復元部が出力した前記復元後抽象化データとに基づき、前記特徴量抽出部が出力した前記特徴量の信頼度を判定する信頼度判定部
を備えた信頼度判定装置。

【請求項2】

前記特徴量抽出部は学習済みの自己符号化器における符号化部で構成され、
前記復元部は前記自己符号化器における複合部で構成される
ことを特徴とする請求項１記載の信頼度判定装置。

【請求項3】

前記取得部が取得する前記入力データは環境に関する環境データであり、
前記取得部が取得した前記環境データに基づき将来的な前記環境を予測する将来環境予測部を備え、
前記抽象化部は、前記取得部が取得した前記環境データと、前記将来環境予測部が予測した前記将来的な前記環境に関するデータに基づき、前記抽象化データを生成する
ことを特徴とする請求項１記載の信頼度判定装置。

【請求項4】

前記取得部が取得する前記入力データは移動体周辺の環境に関する環境データであり、
前記抽象化部が生成する前記抽象化データは、前記移動体周辺の環境を示す画像データであり、
前記特徴量抽出部は、前記画像データを入力として前記特徴量を出力し、
前記復元部は、前記特徴量抽出部が出力した前記特徴量を入力として、前記特徴量から前記画像データを復元した前記復元後の前記画像データを出力し、
前記信頼度判定部は、前記画像データと前記復元後の前記画像データとに基づき前記信頼度を判定する
ことを特徴とする請求項１記載の信頼度判定装置。

【請求項5】

前記取得部が取得した前記環境データに基づき将来的な前記環境を予測する将来環境予測部を備え、
前記抽象化部は、前記取得部が取得した前記環境データと前記将来環境予測部が予測した前記将来的な前記環境に基づき、過去から将来における前記移動体周辺の前記環境を示す時系列の前記画像データを生成する
ことを特徴とする請求項４記載の信頼度判定装置。

【請求項6】

前記特徴量抽出部が出力した前記特徴量を入力として推論結果を出力する推論部と、
前記信頼度判定部が判定した前記信頼度を、前記推論部が出力した前記推論結果に対する前記信頼度として、前記推論結果と前記信頼度とを対応付けて出力する推論結果出力部
とを備えた請求項１記載の信頼度判定装置。

【請求項7】

前記取得部が取得する前記入力データは車両周辺の環境に関する環境データであり、
前記抽象化部が生成する前記抽象化データは、前記車両周辺の環境に関する画像データであり、
前記特徴量抽出部は、前記画像データを入力として前記特徴量を出力し、
前記復元部は、前記特徴量抽出部が出力した前記特徴量を入力として、前記特徴量から前記画像データを復元した前記復元後の前記画像データを出力し、
前記信頼度判定部は、前記画像データと前記復元後の前記画像データとに基づき前記信頼度を判定し、
前記推論部は、前記特徴量抽出部が出力した前記特徴量を入力として前記車両の制御量を出力し、
前記推論結果出力部は、前記信頼度判定部が判定した前記信頼度を、前記推論部が出力した前記車両の制御量に対する前記信頼度として、前記車両の制御量と前記信頼度とを対応付けて出力する
ことを特徴とする請求項６記載の信頼度判定装置。

【請求項8】

前記取得部が取得する前記入力データは車両内の環境に関する環境データであり、
前記抽象化部は、前記取得部が取得した前記環境データに基づいて前記抽象化データを生成し、
前記推論部は、前記特徴量抽出部が出力した前記特徴量を入力として前記車両の乗員の状態に関する乗員状態データを出力し、
前記推論結果出力部は、前記信頼度判定部が判定した前記信頼度を、前記推論部が出力した前記乗員状態データに対する前記信頼度として、前記乗員状態データと前記信頼度とを対応付けて出力する
ことを特徴とする請求項６記載の信頼度判定装置。

【請求項9】

取得部が、入力データを取得するステップと、
抽象化部が、前記取得部が取得した前記入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成するステップと、
特徴量抽出部が、前記抽象化部が生成した前記抽象化データを入力として当該抽象化データの特徴量を出力するステップと、
復元部が、前記特徴量抽出部が出力した前記特徴量を入力として前記抽象化データを復元した復元後抽象化データを出力するステップと、
信頼度判定部が、前記抽象化部が生成した前記抽象化データと前記復元部が出力した前記復元後抽象化データとに基づき、前記特徴量抽出部が出力した前記特徴量の信頼度を判定するステップ
とを備える信頼度判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習済みのニューラルネットワークによる推論結果の信頼度を判定する信頼度判定装置および信頼度判定方法に関する。

【背景技術】

【0002】

近年、ニューラルネットワークを応用した技術の研究および開発が多くの分野で進められている。
一方、ニューラルネットワークは、一般に、学習に用いられた学習データと類似性が低いデータ（以下「学習範囲外のデータ」という。）に対しては、正答率が低下することが知られている。したがって、ニューラルネットワークによる推論結果を使用する場合は、ニューラルネットワークの入力とした入力データが学習データと類似性が高い（以下「学習範囲内のデータ」という。）データであるか否かが判定されていることが重要である。学習範囲内ではないデータ、言い換えれば、学習範囲外のデータ、を入力とした推論結果は、信頼に足るものではないと想定されるためである。
そこで、従来、学習済みの自己符号化器を用いて、ニューラルネットワークの入力データが学習範囲内のデータか否かを判定する技術が知られている（例えば、特許文献１）。
自己符号化器は、入力層と出力層に同じデータを用いて教師あり学習させたものであり、入力の性質をよくあらわす低次元の特徴量を得る。自己符号化器に与えた入力データが学習範囲内のデータであれば、当該入力データに類似する出力データが得られる。そのため、自己符号化器を用いれば、入力データと出力データの差異に基づき、入力データが学習範囲内のデータであるか否かを判定することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９−１３９２７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示されているような技術に代表される従来技術は、推論時に想定され得る、無数の状況に対応することができない。例えば、無数に発生する状況をニューラルネットワークに学習させる場合、事前に、推論時に発生し得る無数の状況を想定した学習データを用意しなければならない。しかし、推論時に発生し得る無数の状況に応じた学習データを用意することは困難である。
従来技術では、推論時に無数の状況が発生し得ることが考慮されていない。そのため、従来技術では、入力データと学習データとの差異が、無数の状況を想定した学習データを用意することが困難なことに起因する差異であり、その差異が推論結果に影響しない差異であったとしても、入力データは学習範囲外のデータであると判定される、言い換えれば、ニューラルネットワークの推論結果は信頼するに足るものではないと判定される可能性があるという課題があった。

【0005】

本開示は上記のような課題を解決するためになされたもので、推論時に無数の状況が発生し得ることを考慮して、ニューラルネットワークの推論結果の信頼度を判定することができる信頼度判定装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る信頼度判定装置は、入力データを取得する取得部と、取得部が取得した入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成する抽象化部と、抽象化部が生成した抽象化データを入力として当該抽象化データの特徴量を出力する特徴量抽出部と、特徴量抽出部が出力した特徴量を入力として抽象化データを復元した復元後抽象化データを出力する復元部と、抽象化部が生成した抽象化データと、復元部が出力した復元後抽象化データとに基づき、特徴量抽出部が出力した特徴量の信頼度を判定する信頼度判定部とを備えた。

【発明の効果】

【0007】

本開示によれば、推論時に無数の状況が発生し得ることを考慮して、ニューラルネットワークの推論結果の信頼度を判定することができる。

【図面の簡単な説明】

【0008】

【図1】実施の形態１に係る信頼度判定装置の構成例を示す図である。

【図2】実施の形態１において抽象化部が生成する抽象化画像データで示される抽象化画像の一例を説明するための図であって、図２Ａは、抽象化部が抽象化画像データを生成するもととなる実環境の一例を示す図であり、図２Ｂは、実環境が図２Ａに示すような環境であった場合に、抽象化部が生成する抽象化画像データで示される抽象化画像の一例を示す図である。

【図3】図３Ａ、図３Ｂ、および、図３Ｃは、実施の形態１において抽象化部が生成する抽象化画像データで示される抽象化画像のその他の一例を説明するための図である。

【図4】実施の形態１において抽象化部が生成する抽象化画像データで示される抽象化画像のその他の一例を説明するための図であって、図４Ａは、抽象化部が道路環境を簡易化した抽象化画像データを生成するもととなる実環境の一例を示す図であり、図４Ｂは、実環境が図４Ａに示すような環境であった場合に、抽象化部が生成する抽象化画像データで示される抽象化画像の一例を示す図である。

【図5】実施の形態１において抽象化部が生成する、将来的な環境を反映した抽象化画像データで示される抽象化画像の一例を説明するための図である。

【図6】実施の形態１において、信頼度判定部が、特徴量の信頼度を判定する際にマスクをかけた抽象化画像データで示される抽象化画像の一例を説明するための図である。

【図7】実施の形態１に係る信頼度判定装置の動作を説明するためのフローチャートである。

【図8】図８Ａおよび図８Ｂは、実施の形態１に係る信頼度判定装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
信頼度判定装置は、学習済みのニューラルネットワークを用いて、入力データに基づく推論を行い、推論結果がどれぐらい信頼に足るものであるかを示す度合い（以下「信頼度」という。）を判定する。
より詳細には、信頼度判定装置は、基準となる物体の状況に関するデータを入力データとして取得し、学習済みのニューラルネットワークを用いて、基準となる物体に関する推論を行い、得られた推論結果の信頼度を判定する。基準となる物体の状況に関するデータは、具体的には、基準となる物体そのものの状況に関するデータ、または、当該基準となる物体周辺の状況に関するデータを含む。
以下の実施の形態１では、一例として、信頼度判定装置が自動運転可能な車両にて用いられることを想定している。すなわち、基準となる物体は車両であるとする。
信頼度判定装置は、入力データとして車両周辺の環境に関する環境データを取得し、取得した環境データに基づき、学習済みのニューラルネットワークを用いて、車両の自動運転における制御量を推論するとともに、推論した制御量の信頼度を判定する。実施の形態１において、車両の制御量は、例えば、ハンドル操舵角またはブレーキ量等の車両制御コマンドを想定している。

【0010】

図１は、実施の形態１に係る信頼度判定装置１の構成例を示す図である。
信頼度判定装置１は、車両１００に搭載され、センサ２および制御装置３と接続される。

【0011】

センサ２は、車両１００に搭載され、車両１００周辺の環境に関するデータ（以下「環境データ」という。）を収集する。
センサ２は、車両１００の現在位置を検出するＧＰＳ（図示省略）、車両１００周辺を撮像する撮像装置（図示省略）、車両１００周辺に存在する物体を検出するレーダ（図示省略）、地図情報を取得する地図情報取得装置、車速センサ、または、加速度センサ等、車両１００周辺の環境に関するデータを収集可能な種々のセンサである。なお、実施の形態１において、車両１００周辺の環境とは、車両１００周辺の状況であり、車両１００周辺の状況には車両１００の状況も含まれる。

【0012】

センサ２が収集する環境データには、例えば、自車データ、他者データ、地形データ、または、標識データが含まれる。自車データは、例えば、車両１００の車速、加速度、位置、または、形状を示すデータである。他者データは、例えば、車両１００周辺に存在する物体（例えば、人、車両または障害物）の種別、位置、速度、または、形状を示すデータである。地形データは、例えば、土地の形状または属性（例えば、走行可能または進入禁止）を示すデータである。標識データは、例えば、標識の意味、位置、または、影響範囲を示すデータである。
なお、図１では、センサ２は１つのみ図示しているが、これは一例に過ぎない。信頼度判定装置１は、複数のセンサ２と接続され得る。複数のセンサ２は、同じ種類の複数のセンサ２であってもよいし、互いに種類の異なる複数のセンサ２であってもよい。

【0013】

信頼度判定装置１は、センサ２から出力された環境データに基づいて、学習済みのニューラルネットワークを用いて、車両１００の自動運転における制御量を推論するとともに、推論した制御量の信頼度を判定する。信頼度判定装置１の詳細は、後述する。
信頼度判定装置１は、推論した車両１００の制御量および当該制御量の信頼度に関する情報を対応付けて、制御装置３に出力する。

【0014】

制御装置３は、例えば、車両１００に搭載され、車両１００の自動運転制御を行う自動運転制御装置を想定している。
制御装置３は、信頼度判定装置１から出力された制御量および信頼度に基づき、車両１００の自動運転制御を行う。例えば、制御装置３は、信頼度が予め設定された閾値（以下「信頼度判定用閾値」という。）以上であれば、制御量を用いた自動運転制御を行う。例えば、制御装置３は、信頼度が信頼度判定用閾値未満であれば、制御量を用いた自動運転制御を行わず、自動運転から手動運転への切替制御を行う。

【0015】

信頼度判定装置１は、取得部１１、将来環境予測部１２、抽象化部１３、特徴量抽出部１４１、復元部１４２、信頼度判定部１５、推論部１６、および、推論結果出力部１７を備える。特徴量抽出部１４１と復元部１４２とで、自己符号化器１４を構成する。

【0016】

取得部１１は、センサ２から入力データを取得する。
実施の形態１では、取得部１１は、入力データとして、車両１００周辺の環境データを取得する。以下の実施の形態１において、車両１００周辺の環境データを、単に「環境データ」ともいう。
取得部１１は、取得した入力データ、言い換えれば、環境データを、将来環境予測部１２に出力する。
なお、実施の形態１において、取得部１１は、取得した環境データを、記憶部（図示省略）に記憶させる。

【0017】

将来環境予測部１２は、取得部１１が取得した環境データに基づき、将来的な環境を予測する。なお、将来環境予測部１２が、どれぐらい先の環境を予測するかは、適宜設定可能とする。
例えば、将来環境予測部１２は、記憶部に記憶されている環境データから、将来的な環境を予測することができる。具体例を挙げると、例えば、将来環境予測部１２は、環境データに含まれる自車データに基づけば、車両１００の、設定された時間後の位置および車速を予測できる。また、例えば、将来環境予測部１２は、環境データに含まれる他者データに基づけば、車両１００周辺に存在する歩行者の、設定された時間後の位置および移動速度を予測できる。
将来環境予測部１２は、予測した将来的な環境に関するデータを、環境データと対応付けて、抽象化部１３に出力する。

【0018】

抽象化部１３は、取得部１１が取得した入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成する。
実施の形態１では、抽象化部１３は、取得部１１が取得した環境データに基づき、当該環境データを抽象的な表現形式で示した抽象化データを生成する。
実施の形態１において、データを抽象的な表現形式で示すとは、当該データを構成する各部の細部を捨象することをいう。
抽象化部１３は、環境データに基づき、現実に存在する物体、ここでは、例えば、車両１００、道路、他車両、または、歩行者を、それぞれ、その存在位置で、その物体の細部、例えば、車両１００および他車両についてはその形状または模様等の細部、道路についてはその凹凸等の細部、歩行者についてはその体の形状等の細部を捨象した形状にて示した抽象化データを生成する。物体の細部を捨象した形状をどのような形状とするかは、予め、物体ごとに決められている。

【0019】

実施の形態１では、抽象化部１３が生成する抽象化データは、画像データとする。すなわち、実施の形態１において、抽象化部１３は、画像上で、現実に存在する車両１００、道路、他車両、または、歩行者等を、それぞれ、その存在位置で、その細部を捨象した形状で示した画像データを生成する。
以下の実施の形態１において、抽象化部１３が抽象化データとして生成する画像データを、「抽象化画像データ」ともいう。実施の形態１において、抽象化画像データは、例えば、俯瞰図のデータとする。
抽象化部１３は、抽象化画像データを生成する際、基準となる物体、ここでは車両１００を基準として抽象化画像データを生成する。例えば、予め、基準となる物体を、抽象化画像データで示される抽象化画像上のどの位置で示すかが決められている。また、予め、基準となる物体を基準としてどの範囲内の環境を、抽象化画像上で示すかが決められている。抽象化部１３は、基準となる物体を基準として、予め決められた範囲内に存在する物体が、抽象化画像上で、基準となる物体との位置関係に応じた位置に示されるよう、抽象化画像データを生成する。

【0020】

抽象化部１３は、抽象化画像データを生成するにあたり、まず、現実に存在する物体、具体的には、車両１００、他車両、道路、または、歩行者等を、環境データに基づいて認識する。例えば、抽象化部１３は、画像認識技術またはパターンマッチング等の既知の技術を用いて、現実に存在する物体を認識すればよい。
次に、抽象化部１３は、認識した物体を、予め決められた形状にて、基準となる物体、ここでは車両１００を基準とした画像上の位置に示した抽象化画像データを生成する。抽象化部１３は、環境データに基づけば車両１００および車両１００周辺の物体が現実に存在する位置を特定できる。抽象化部１３は、各物体が現実に存在する位置を特定できれば、当該各物体を、抽象化画像データ上のどの位置で示せばよいかを特定できる。

【0021】

ここで、図２は、実施の形態１において抽象化部１３が生成する抽象化画像データで示される抽象化画像の一例を説明するための図である。
図２Ａは、抽象化部１３が抽象化画像データを生成するもととなる現実の車両１００周辺の環境（以下「実環境」という。）の一例を示す図である。
図２Ｂは、実環境が図２Ａに示すような環境であった場合に、抽象化部１３が生成する抽象化画像データで示される抽象化画像の一例を示す図である。
なお、図２Ａは車両１００周辺の環境を俯瞰図で示している。また、抽象化部１３が生成する抽象化画像データは俯瞰図のデータとしている。

【0022】

今、図２Ａに示すような実環境において、車両１００は道路（図２Ａにおいて４１で示す）を走行中、交差点に差し掛かり、車両１００の進行方向の交差点内または交差点の入り口には他車両（図２Ａにおいて４２〜４４で示す）が存在している。または、交差点のまわりには、横断歩道を渡る歩行者（図２Ａにおいて４５〜４６で示す）が存在している。

【0023】

実環境が図２Ａに示すような環境である場合、抽象化部１３は、例えば、図２Ｂの５ａ〜５ｄに示すような４枚の抽象化画像を示す抽象化画像データを生成する。
図２Ｂにおいて、５ａは車両１００の位置をあらわす抽象化画像であり、５ｂは車両１００が走行可能な領域、すなわち、車線の地形をあらわす抽象化画像であり、５ｃは他車両の位置をあらわす抽象化画像であり、５ｄは歩行者の位置をあらわす抽象化画像である。

【0024】

図２Ｂに示すように、抽象化画像において、車両１００、車線の地形、他車両、および歩行者は、これらを構成する各部の細部が捨象され、簡略化して表現されている。
例えば、５ａの抽象化画像、および、５ｃの抽象化画像において、車両１００および他車両は、それぞれ、白色の矩形にて表現されている（図２Ｂの５００、５２〜５４参照）。車両１００および他車両の形状および模様は捨象されている。また、例えば、５ｂの抽象化画像において、車線は白色の矩形にて表現され（図２Ｂの５１参照）、５ｄの抽象化画像において、歩行者は白丸で表現されている（図２Ｂの５５〜５６）。道路の凹凸、歩行者の形状、および、歩行者の服装は捨象されている。
なお、ここでは、予め、抽象化画像データにおいて表現する物体の形状について、車両および道路の形状は白色の矩形（図２Ｂの５ｂの抽象化画像の５１参照）、歩行者の形状は白色の丸（図２Ｂの５ｄの抽象化画像の５５〜５６参照）と決められている。また、抽象化画像の背景は黒色と予め決められている。

【0025】

なお、抽象化画像上、車両１００周辺の環境のすべてが表現されている必要はない。
抽象化部１３は、環境データに基づき、抽象化画像上で、予め決められている、抽象化データ作成対象となる物体の位置を示す抽象化画像データを生成する。抽象化データ作成対象となる物体とは、例えば、信頼度判定装置１が信頼度を判定すべき推論結果に関連が高い物体、ここでは、車両１００の走行に関連が高い物体である。

【0026】

また、上述の図２Ａおよび図２Ｂを用いた説明では、抽象化部１３は、車両１００周辺の環境に存在する物体の種類ごとに、言い換えれば、車両１００、車線、他車両、および、歩行者ごとに、抽象化画像データをそれぞれ生成するものとしたが、これは一例に過ぎない。抽象化部１３は、車両１００周辺の環境に対して１枚の抽象化画像を示す抽象化画像データを生成してもよい。
また、抽象化部１３は、抽象化画像データで示す車両１００周辺の環境に存在する物体がその種類に応じて色分けしてあらわされるよう、抽象化画像データを生成することもできる。例えば、抽象化部１３は、車両１００は赤、他車両は黄色、というように、抽象化画像上で車両１００周辺の環境に存在する物体が当該物体の種類に応じて色分けしてあらわされるよう、抽象化画像データを生成することもできる。

【0027】

また、図２Ａおよび図２Ｂを用いて説明したような抽象化画像データにおける物体の表現方法は一例に過ぎない。例えば、抽象化部１３は、図２Ｂのような表現方法以外の表現方法で車両１００周辺の環境に存在する物体が表現されるよう、抽象化画像データを生成してもよい。
図３Ａ、図３Ｂ、および、図３Ｃは、実施の形態１において抽象化部１３が生成する抽象化画像データで示される抽象化画像のその他の一例を説明するための図である。
なお、図３Ａ、図３Ｂ、および、図３Ｃは、実環境が図２Ａに示すような環境であった場合に、抽象化部１３が生成する抽象化画像データで示される抽象化画像の一例を示している。図３Ａおよび図３Ｂは、車線の地形をあらわす抽象化画像の一例としている。図３Ｃは、他車両の位置をあらわす抽象化画像の一例としている。
例えば、抽象化部１３は、車両１００が走行可能な車線を示す領域と車両１００が走行不能な車線を示す領域とを色分けして示す抽象化画像データを生成してもよい。図３Ａは、抽象化部１３が、車両１００が走行可能な車線を示す領域を白色の矩形にて表現し、車両１００が走行不能な車線を示す領域については黒色の矩形にて表現するよう、抽象化画像データを生成した場合の抽象化画像としている。図３Ａで示す抽象化画像を図２Ｂにおいて５ｂで示していた抽象化画像と比べると、図３Ａで示す抽象化画像において、車両１００が走行可能な車線のみが白色で表現されていることがわかる。なお、抽象化部１３は、車両１００が走行可能な車線であるか否かを環境データから判定すればよい。

【0028】

また、例えば、抽象化部１３は、車線を示す領域について制限速度を表す色を付与した抽象化画像データを生成してもよい。図３Ｂは、抽象化部１３が、制限速度に応じて、車両１００が走行可能な車線を示す領域が色分けされて表現されるよう、抽象化画像データを生成した場合の、当該抽象化画像データで示される抽象化画像としている。この一例では、抽象化部１３は、制限速度の高低を白または灰色で表現されるようにしている。なお、抽象化部１３は、車線の制限速度を環境データから判定すればよい。

【0029】

また、例えば、抽象化部１３は、他車両の移動方向および移動速度を色分けして表現するよう、抽象化画像データを生成してもよい。例えば、図３Ｃに示すように、抽象化部１３は、抽象化画像において、他車両を、当該他車両の形状をあらわす濃い灰色の矩形（図３Ｃの５２ａ、５３ａ、５４ａ参照）と、当該他車両の移動方向をあらわす薄い灰色の矩形（図３Ｃの５２ｂ、５３ｂ、５４ｂ参照）とで構成される矩形にて表現されるよう、抽象化画像データを生成できる。図３Ｃに示す抽象化画像では、移動方向をあらわす薄い灰色の矩形によって、他車両が当該薄い灰色の矩形が示されている方向に移動していることが表現されている。さらに、抽象化部１３は、他車両の移動方向をあらわす薄い灰色の矩形について、移動速度に応じて灰色の濃さを変化させて表現するようにしてもよい。例えば、図３Ｃに示す抽象化画像では、５４ａで示される他車両よりも５３ａで示される他車両の方が、移動速度が速いことが表現されている。なお、抽象化部１３は、他車両の移動方向および移動速度を、環境データから判定すればよい。

【0030】

また、例えば、抽象化部１３は、抽象化画像データを生成する際、図４に示すように、実環境の道路環境を簡易化することもできる。
図４Ａは、抽象化部１３が道路環境を簡易化した抽象化画像データを生成するもととなる実環境の一例を示す図である。
図４Ｂは、実環境が図４Ａに示すような環境であった場合に、抽象化部１３が生成する抽象化画像データで示される抽象化画像の一例を示す図である。
なお、図４Ａは、図２Ａ同様、車両１００周辺の環境を俯瞰図で示している。また、抽象化部１３が生成する抽象化画像データは俯瞰図のデータとしている。

【0031】

実環境が図４Ａに示すような環境である場合、抽象化部１３は、例えば、図４Ｂの５ｅおよび５ｆに示すような２枚の抽象化画像を示す抽象化画像データを生成する。
図４Ｂにおいて、５ｅは車両１００の位置をあらわす抽象化画像であり、５ｆは車線の地形をあらわす抽象化画像である。
今、図４Ａに示すような実環境において、車両１００が走行している道路（図４Ａにおいて４１１で示す）は直線ではない。この場合、抽象化部１３は、例えば、５ｆのように、実環境では直線ではない道路を、車両１００進行方向を縦軸とする座標系に変換して矩形にした抽象化画像を示すよう変換した抽象化画像データを生成することもできる。５ｆの抽象化画像において、車線は白色の矩形にて表現されている（図４Ｂの５１１参照）。
なお、５ｅは、図２Ｂの５ａ同様、車両１００を白色の矩形にて表現した抽象化画像である（図４Ｂの５００参照）。

【0032】

また、例えば、抽象化部１３は、取得部１１が取得した環境データと、将来環境予測部１２が予測した将来的な環境に関するデータに基づき、将来環境予測部１２が予測した将来的な環境を反映した抽象化画像データを生成することもできる。

【0033】

図５は、実施の形態１において抽象化部１３が生成する、将来的な環境を反映した抽象化画像データで示される抽象化画像の一例を説明するための図である。
なお、図５は、実環境が図２Ａに示すような環境であった場合に、抽象化部１３が生成する抽象化画像データで示される抽象化画像の一例を示す図である。図５は、他車両の位置をあらわす抽象化画像の一例としている。
例えば、抽象化部１３は、将来環境予測部１２が予測した他車両の将来的な位置に関するデータに基づき、図５に示すように、抽象化画像において、将来、他車両が存在する確率が高い領域ほど白に近い色で表現するよう、抽象化画像データを生成できる。

【0034】

抽象化部１３は、例えば、移動体または遮蔽物からの飛び出し等、潜在的な交通上のリスクを可視化した、いわゆるリスクポテンシャルマップを用いて、将来的な環境を反映した抽象化画像データを生成してもよい。

【0035】

抽象化部１３が将来的な環境を反映した抽象化画像データを生成することで、推論部１６において、より高度な推論を実現できる。推論部１６の詳細は後述する。

【0036】

また、抽象化部１３は、将来的な環境を反映した抽象化画像データを生成できるだけではなく、過去の車両１００周辺の環境を反映した抽象化画像データを生成することもできる。抽象化部１３は、過去の車両１００周辺の環境を、例えば、記憶部に記憶されている環境データから判定すればよい。

【0037】

また、抽象化部１３は、取得部１１が取得した環境データと、将来環境予測部１２が予測した将来的な環境に関するデータに基づき、過去から将来における車両１００周辺の環境を示す時系列の抽象化画像データを生成することもできる。例えば、抽象化部１３は、過去のある時点（ｔ＝０）、現在（ｔ＝１）、および、将来のある時点（ｔ＝２）における抽象化画像データを生成する。なお、抽象化部１３は、過去のある時点、現在、および、将来のある時点において、それぞれ、１枚の抽象化画像を示す抽象化画像データを生成してもよいし、車両１００周辺の環境に存在する物体の種類ごとの複数枚の抽象化画像を示す抽象化画像データを生成してもよい。

【0038】

以上のとおり、抽象化部１３は、車両１００周辺の将来的な環境、または、過去の環境に基づいて抽象化画像データを生成することができる。しかし、これは必須ではない。
抽象化部１３が将来的な環境を反映した抽象化画像データを生成する機能を有しない場合、信頼度判定装置１は、将来環境予測部１２を備えない構成とできる。なお、抽象化部１３が将来的な環境を反映した抽象化画像データを生成する場合であっても、抽象化部１３はリスクポテンシャルマップを用いて当該抽象化画像データを生成し、将来環境予測部１２が予測した将来的な環境に関するデータを用いない場合、信頼度判定装置１は、将来環境予測部１２を備えない構成とできる。

【0039】

抽象化部１３は、生成した抽象化画像データを、特徴量抽出部１４１および信頼度判定部１５に出力する。

【0040】

特徴量抽出部１４１は、抽象化部１３から出力された抽象化データ、ここでは、抽象化画像データ、を入力として特徴量を出力するように学習済みのニューラルネットワークである。特徴量抽出部１４１は抽象化画像データを入力として当該抽象化画像データの本質的な特徴を示す特徴量を抽出して出力する。

【0041】

復元部１４２は、特徴量抽出部１４１から出力された特徴量を入力として抽象化部１３が生成した抽象化データを復元したデータ（以下「復元後抽象化データ」という。）を出力するように学習済みのニューラルネットワークである。具体的には、実施の形態１では、復元部１４２は、特徴量抽出部１４１から出力された特徴量を入力として抽象化部１３が生成した抽象化画像データを復元した復元後の画像データ（以下「復元後抽象化画像データ」という。）を出力する。

【0042】

特徴量抽出部１４１は、学習済みの自己符号化器１４における符号化部（エンコーダ）で構成され、復元部１４２は自己符号化器１４における複合部（デコーダ）で構成される。
自己符号化器１４は、入力と出力に同じデータを用いて学習させることで、入力データを再現するデータを出力するようになるとともに、入力の性質をよくあらわす低次元の特徴量を得る。
実施の形態１において、信頼度判定装置１は、学習済みの自己符号化器１４の符号化部を特徴量抽出部１４１として使用し、学習済みの自己符号化器１４の複合部を復元部１４２として使用する。なお、信頼度判定装置１は、特徴量抽出部１４１および復元部１４２に自己符号化器を用いるようになっていればよく、信頼度判定装置１が特徴量抽出部１４１および復元部１４２として用いる自己符号化器の種類は問わない。例えば、信頼度判定装置１は、特徴量抽出部１４１および復元部１４２として変分自己符号化器を用いてもよい。

【0043】

信頼度判定部１５は、抽象化部１３が生成した抽象化データと、復元部１４２が出力した復元後抽象化データとに基づき、特徴量抽出部１４１が抽出した特徴量の信頼度を判定する。具体的には、実施の形態１では、信頼度判定部１５は、抽象化部１３が生成した抽象化画像データと、復元部１４２が出力した復元後抽象化画像データとに基づき、特徴量抽出部１４１が抽象化画像データから抽出した特徴量の信頼度を判定する。

【0044】

例えば、信頼度判定部１５は、抽象化部１３が生成した抽象化画像データと、復元部１４２が出力した復元後抽象化画像データとの類似度に基づいて、特徴量抽出部１４１が抽出した特徴量の信頼度を判定する。具体的には、信頼度判定部１５は、例えば、復元後抽象化画像データに基づく抽象化画像（以下「復元後抽象化画像」という。）と抽象化データに基づく抽象化画像の画像間の距離（例えば、ユークリッド距離）を算出し、算出した画像間の距離の逆数を類似度とする。
そして、信頼度判定部１５は、類似度が小さいほど特徴量の信頼度は低いと判定する。算出した画像間の距離が大きい場合、言い換えれば、類似度が小さい場合、復元後抽象化画像データは、抽象化画像データを精度よく復元されていないといえる。すなわち、自己符号化器１４は、抽象化画像データを復元するための適切な特徴量を抽出するよう学習済みではないといえる。つまり、自己符号化器１４が機械学習を行う際、抽象化画像データに対応する学習データは学習対象とならなかったと考えられる。一般に、機械学習におけるニューラルネットワークは、機械学習を行う際に学習対象とならなかった未知のデータに対する出力を保証できない。
したがって、信頼度判定部１５は、算出した画像間の距離が大きい場合、言い換えれば、類似度が小さい場合、特徴量の信頼度が低いと判定する。

【0045】

これに対し、信頼度判定部１５は、類似度が大きいほど特徴量の信頼度は高いと判定する。算出した画像間の距離が小さい場合、言い換えれば、類似度が大きい場合、復元後抽象化画像データは、抽象化画像データを精度よく復元されているといえる。すなわち、自己符号化器１４は、抽象化画像データを復元するための適切な特徴量を抽出するよう学習済みであるといえる。
したがって、信頼度判定部１５は、算出した画像間の距離が小さい場合、言い換えれば、類似度が大きい場合、特徴量の信頼度が高いと判定できる。

【0046】

信頼度判定部１５は、例えば、類似度と予め設定されている閾値（以下「類似度判定用閾値」という。）との比較によって、特徴量の信頼度は高いか、低いかを判定する。例えば、信頼度判定部１５は、類似度が類似度判定用閾値以上の場合、特徴量の信頼度は高いと判定する。一方、信頼度判定部１５は、類似度が類似度判定用閾値未満の場合、特徴量の信頼度は低いと判定する。

【0047】

信頼度判定部１５は、抽象化画像データと復元後抽象化画像データに基づき、例えば、他車両または歩行者等、車両１００周辺の環境に存在する物体ごとの復元誤差を、重心位置の差異またはＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）によって算出し、算出した復元誤差の逆数を類似度としてもよい。信頼度判定部１５は、例えば、物体ごとの類似度がいずれも類似度判定用閾値以上であれば、特徴量の信頼度は高いと判定し、物体ごとの類似度のいずれか１つでも類似度判定用閾値未満であれば、特徴量の信頼度は低いと判定する。

【0048】

また、信頼度判定部１５は、例えば、抽象化画像データと復元後抽象化画像データの部分的な類似度に基づいて、特徴量抽出部１４１が抽出した特徴量の信頼度を判定してもよい。
具体的には、信頼度判定部１５は、抽象化画像データが示す抽象化画像と復元後抽象化画像データが示す復元後抽象化画像で表現されている車両１００周辺の環境に存在する物体の領域のうち、特徴量の信頼度の判定に用いない領域についてはマスクをかける。信頼度判定部１５は、抽象化画像データと復元後抽象化画像データの類似度を算出する際にはマスクがかかっていない部分の類似度を算出し、算出した類似度と類似度判定用閾値との比較によって、特徴量抽出部１４１が抽出した特徴量の信頼度を判定する。
特徴量の信頼度の判定に用いない領域は、例えば、推論部１６による車両１００の制御量の推論に影響しないと想定される物体を示す領域であり、当該領域は予め設定されている。推論部１６の詳細については、後述する。

【0049】

ここで、図６は、実施の形態１において、信頼度判定部１５が、特徴量の信頼度を判定する際にマスクをかけた抽象化画像データで示される抽象化画像の一例を説明するための図である。
図６は、一例として、図２Ｂに示した車両１００の位置をあらわす抽象化画像（図２Ｂの５ａ）、車両１００が走行可能な領域、すなわち、車線の地形をあらわす抽象化画像（図２Ｂの５ｂ）、他車両の位置をあらわす抽象化画像（図２Ｂの５ｃ）、歩行者の位置をあらわす抽象化画像（図２Ｂの５ｄ）に対して、信頼度判定部１５がそれぞれ、特徴量の信頼度の判定に用いない領域にマスクをかけた後の抽象化画像のイメージを示している。

【0050】

なお、図６において５ａ’は、図２Ｂにて５ａで示す抽象化画像に対してマスクをかけた後の抽象化画像のイメージを示す。図６において５ｂ’は、図２Ｂにて５ｂで示す抽象化画像に対してマスクをかけた後の抽象化画像のイメージを示す。図６において５ｃ’は、図２Ｂにて５ｃで示す抽象化画像に対してマスクをかけた後の抽象化画像のイメージを示す。図６において５ｄ’は、図２Ｂにて５ｄで示す抽象化画像に対してマスクをかけた後の抽象化画像のイメージを示す。

【0051】

例えば、実環境（図２Ａ参照）において、車両１００が走行する道路に直交する道路に設置されている信号が赤信号であるとする。この場合、車両１００が走行する道路に直交する道路の状況が車両１００の走行に与える影響は、小さい。すなわち、車両１００が走行する道路に直交する道路の状況が車両１００の制御量に与える影響は小さい。よって、信頼度判定部１５は、車両１００が走行する道路に直交する道路の状況を表現している領域、具体的には、車両１００が走行している車線に直交する車線、当該道路を走行中の他車両、および、当該道路の横断歩道を横断している歩行者にマスクをかける。なお、信頼度判定部１５は、環境データに基づけば赤信号を判定できる。
その結果、図２Ｂの５ｂで表現されていた車線の地形のうち、車両１００が走行している車線に直交する車線の領域にマスクがかけられる（図６の５ｂ’参照）。また、図２Ｂの５ｃで表現されていた他車両のうち、５４で示されていた他車両が位置する領域にマスクがかけられる（図６の５ｃ’参照）。また、図２Ｂの５ｄで表現されていた歩行者が位置する領域の部分にはすべてマスクがかけられる（図６の５ｄ’参照）。

【0052】

なお、図６では、信頼度判定部１５が、抽象化画像データに対してマスクをかける一例について説明したが、信頼度判定部１５は、復元後抽象化画像データに対しても、同様の方法でマスクをかける。

【0053】

また、例えば、信頼度判定部１５は、抽象化部１３が生成した抽象化データと、復元部１４２が出力した復元後抽象化データとの類似度について、基準となる物体周辺の環境に存在する物体の種類ごとに重みをつけた上で、信頼度を判定してもよい。具体的には、実施の形態１では、信頼度判定部１５は、例えば、抽象化部１３が生成した抽象化画像データと、復元部１４２が出力した復元後抽象化画像データとの類似度について、車両１００周辺の環境に存在する物体の種類ごとに重みをつけた上で、信頼度を判定してもよい。

【0054】

以上の説明では、信頼度判定部１５は、特徴量抽出部１４１が抽出した特徴量の信頼度を、「高い」または「低い」のように離散値であらわしたが、これは一例に過ぎない。例えば、信頼度判定部１５は、特徴量抽出部１４１が抽出した特徴量の信頼度を、「０」〜「１」までの数値のように連続値であらわしてもよい。信頼度判定部１５は、例えば、抽象化画像データと復元後抽象化画像データとの類似度に応じて、特徴量の信頼度を判定する。例えば、類似度がどれぐらいである場合に、信頼度をどれぐらいと判定するかは、予め決められている。

【0055】

信頼度判定部１５は、判定した信頼度に関する情報を、推論結果出力部１７に出力する。

【0056】

推論部１６は、特徴量抽出部１４１が出力した特徴量を入力として推論結果を出力する、学習済みのニューラルネットワークである。
実施の形態１では、推論部１６は、特徴量抽出部１４１が出力した特徴量を入力として車両１００の制御量を出力する。
推論部１６は、任意のニューラルネットワークである。例えば、推論部１６は、人が車両１００のテスト走行を行うことで収集された環境データに基づいて生成された抽象化画像データと適切な車両１００の制御量の組を学習データとし、当該学習データに基づいて、いわゆる教師あり学習によって学習させたニューラルネットワークとする。また、例えば、推論部１６は、シミュレータによって収集された環境データに基づいて生成された抽象化画像データと適切な車両１００の制御量の組を学習データとし、当該学習データに基づいて、いわゆる教師あり学習によって学習させたニューラルネットワークとしてもよい。

【0057】

なお、推論部１６の入力とする特徴量は、学習済みの特徴量抽出部１４１を使用し、特徴量抽出部１４１が抽象化部１３から出力された抽象化データを入力として出力した特徴量とする。

【0058】

推論結果出力部１７は、信頼度判定部１５から出力された信頼度に関する情報、および、推論部１６が出力した推論結果に基づき、信頼度判定部１５が判定した信頼度を、推論部１６が出力した推論結果に対する信頼度として、推論結果と信頼度とを対応付けて、制御装置３に出力する。
具体的には、実施の形態１では、推論結果出力部１７は、信頼度判定部１５から出力された信頼度に関する情報、および、推論部１６が出力した車両１００の制御量に基づき、信頼度判定部１５が判定した信頼度を、推論部１６が出力した車両１００の制御量に対する信頼度として、車両１００の制御量と信頼度とを対応付けて制御装置３に出力する。

【0059】

上述のとおり、信頼度判定部１５が判定する信頼度は、抽象化データから抽出された特徴量に対する信頼度である。また、推論部１６は、抽象化データから抽出された特徴量を入力として車両１００の制御量を推論する。
よって、例えば、特徴量の信頼度が低い場合、当該信頼度が低い特徴量を入力として得られた車両１００の制御量も、信頼に足るものではないといえる。一方、例えば、特徴量の信頼度が高い場合、当該信頼度が高い特徴量を入力として得られた車両１００の制御量も、信頼に足るものであるといえる。

【0060】

実施の形態１に係る信頼度判定装置１の動作について説明する。
図７は、実施の形態１に係る信頼度判定装置１の動作を説明するためのフローチャートである。
例えば、車両１００の自動運転中、図７のフローチャートで説明する動作が繰り返される。

【0061】

取得部１１は、センサ２から入力データを取得する（ステップＳＴ１）。
具体的には、取得部１１は、入力データとして、環境データを取得する。
取得部１１は、取得した入力データ、言い換えれば、環境データを、将来環境予測部１２に出力する。
また、取得部１１は、取得した環境データを、記憶部に記憶させる。

【0062】

将来環境予測部１２は、ステップＳＴ１にて取得部１１が取得した環境データに基づき将来的な環境を予測する（ステップＳＴ２）。
将来環境予測部１２は、予測した将来的な環境に関するデータを、環境データと対応付けて、抽象化部１３に出力する。

【0063】

抽象化部１３は、ステップＳＴ１にて取得部１１が取得した入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成する（ステップＳＴ３）。
具体的には、抽象化部１３は、ステップＳＴ１にて取得部１１が取得した環境データに基づき、当該環境データを抽象的な表現形式で示した抽象化画像データを生成する。
例えば、抽象化部１３は、ステップＳＴ１にて取得部１１が取得した環境データと、ステップＳＴ２にて将来環境予測部１２が予測した将来的な環境に関するデータに基づき、将来環境予測部１２が予測した将来的な環境を反映した抽象化画像データを生成してもよい。また、抽象化部１３は、過去の車両１００周辺の環境を反映した抽象化画像データを生成してもよい。
また、抽象化部１３は、ステップＳＴ１にて取得部１１が取得した環境データと、ステップＳＴ２にて将来環境予測部１２が予測した将来的な環境に関するデータに基づき、過去から将来における車両１００周辺の環境を示す時系列の抽象化画像データを生成してもよい。
抽象化部１３は、生成した抽象化画像データを、特徴量抽出部１４１および信頼度判定部１５に出力する。
なお、抽象化部１３が将来的な環境に基づいて抽象化画像データを生成する機能を有しない場合、信頼度判定装置１の動作は、ステップＳＴ２を省略することができる。

【0064】

特徴量抽出部１４１は、ステップＳＴ３にて抽象化部１３から出力された抽象化画像データを入力として当該抽象化画像データの本質的な特徴を示す特徴量を抽出して出力する（ステップＳＴ４）。

【0065】

復元部１４２は、ステップＳＴ４にて特徴量抽出部１４１から出力された特徴量を入力として、ステップＳＴ３にて抽象化部１３が生成した抽象化画像データを復元した復元後抽象化画像データを出力する（ステップＳＴ５）。

【0066】

信頼度判定部１５は、ステップＳＴ３にて抽象化部１３が生成した抽象化画像データと、ステップＳＴ５にて復元部１４２が出力した復元後抽象化画像データとに基づき、ステップＳＴ４にて特徴量抽出部１４１が抽象化画像データから抽出した特徴量の信頼度を判定する（ステップＳＴ６）。
信頼度判定部１５は、判定した信頼度に関する情報を、推論結果出力部１７に出力する。

【0067】

推論部１６は、ステップＳＴ４にて特徴量抽出部１４１が出力した特徴量を入力として車両１００の制御量を出力する（ステップＳＴ７）。

【0068】

推論結果出力部１７は、ステップＳＴ６にて信頼度判定部１５から出力された信頼度に関する情報、および、ステップＳＴ７にて推論部１６が出力した車両１００の制御量に基づき、信頼度判定部１５が判定した信頼度を、推論部１６が出力した車両１００の制御量に対する信頼度として、車両１００の制御量と信頼度とを対応付けて制御装置３に出力する（ステップＳＴ８）。

【0069】

このように、信頼度判定装置１は、取得した入力データ、言い換えれば、環境データに基づき、当該環境データを抽象的な表現形式で示した抽象化データ、言い換えれば、抽象化画像データを生成する。信頼度判定装置１は、生成した抽象化画像データを入力として抽象化画像データの特徴量を出力するニューラルネットワーク（特徴量抽出部１４１）を用いて抽象化画像データの特徴量を得、当該特徴量を入力として抽象化画像データを復元した復元後抽象化画像データを出力するニューラルネットワーク（復元部１４２）を用いて復元後抽象化画像データを得る。そして、信頼度判定装置１は、抽象化画像データと復元後抽象化画像データとに基づき、抽象化画像データから得られた特徴量の信頼度を判定する。

【0070】

上述のとおり、近年、ニューラルネットワークを応用した技術の研究および開発が多くの分野で進められている。例えば、カメラで撮影した画像などの環境に関するデータと、その環境における適切な運転行動の組をニューラルネットワークで学習することで、自動運転を実現する技術が開発されている。
一方、ニューラルネットワークは、一般に、学習範囲外のデータに対しては正答率が低下する。
そこで、上述したように、従来、学習済みの自己符号化器を用いて、ニューラルネットワークの入力データが学習範囲内のデータか否かを判定する技術が知られている。

【0071】

しかし、従来技術では、推論時に想定され得る、無数の状況に対応することができない。

【0072】

例えば、上述したような、自動運転を実現する技術でいうと、道路形状、周辺車両の形状、または、歩行者の服等、自動運転を行う車両の周辺の状況は、無数に存在する。これに対し、ニューラルネットワークの学習データとして、ありとあらゆる状況を網羅した学習データを用意することは困難である。そうすると、従来技術では、入力データと学習データとの差異が、無数の状況を想定した学習データを用意することが困難なことに起因する差異であり、その差異が推論結果に影響しない差異であったとしても、入力データは学習範囲外のデータであると判定される可能性がある。
上述したような、自動運転を実現する技術でいうと、例えば、学習データにおける歩行者の服装と、推論時の実際の状況における歩行者の服装とが異なるだけで、推論時の入力データは学習範囲外と判定される可能性がある。

【0073】

また、ニューラルネットワークの学習には大量の学習データが必要なため、ニューラルネットワークの学習のための学習データが、シミュレータで生成される場合がある。しかし、シミュレータで生成される学習データには、例えば、実環境特有の情報が含まれていない。そのため、従来技術では、入力データが学習範囲内のデータであるか否かの判定精度、言い換えれば、ニューラルネットワークの推論結果の判定精度が低下する可能性がある。

【0074】

これに対し、実施の形態１に係る信頼度判定装置１は、自己符号化器（特徴量抽出部１４１）に対して入力データをそのまま入力して、入力データが学習範囲内のデータであるか否か、すなわち、特徴量が信頼するに足りるか否かを判定するのではなく、入力データに基づき抽象化データを生成し、自己符号化器に対して抽象化データを入力して、当該抽象化データから抽出された特徴量が信頼するに足りるか否かを判定する。そして、信頼度判定装置１は、特徴量が信頼するに足りるか否かを判定することで、ニューラルネットワーク（推論部１６）の推論結果が信頼に足りるか否かを判定する。

【0075】

抽象化データは、入力データを構成する各部の細部が捨象されたデータであるため、信頼度判定装置１は、例えば、学習データにおける歩行者の服装と、推論時の実際の状況における歩行者の服装が異なるだけで、入力データ、より詳細には、抽象化データから抽出された特徴量が信頼に足るものではないと判定することがない。つまり、信頼度判定装置１は、例えば、学習データにおける歩行者の服装と、推論時の実際の状況における歩行者の服装が異なるだけで、ニューラルネットワーク（推論部１６）の推論結果が信頼に足るものではないと判定することがない。このように、信頼度判定装置１は、推論時に無数の状況が発生し得ることを考慮して、ニューラルネットワークの推論結果の信頼度を判定することができる。

【0076】

図８Ａおよび図８Ｂは、実施の形態１に係る信頼度判定装置１のハードウェア構成の一例を示す図である。
実施の形態１において、取得部１１と、将来環境予測部１２と、抽象化部１３と、信頼度判定部１５と、推論結果出力部１７の機能は、処理回路１００１により実現される。すなわち、信頼度判定装置１は、車両１００周辺の環境に関する環境データに基づき生成された抽象化画像データから特徴量を取得し、当該特徴量を入力として推論された推論結果である車両１００の制御量の信頼度を判定する制御を行うための処理回路１００１を備える。
処理回路１００１は、図８Ａに示すように専用のハードウェアであっても、図８Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１００４であってもよい。

【0077】

処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

【0078】

処理回路がプロセッサ１００４の場合、取得部１１と、将来環境予測部１２と、抽象化部１３と、信頼度判定部１５と、推論結果出力部１７の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１００５に記憶される。プロセッサ１００４は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、取得部１１と、将来環境予測部１２と、抽象化部１３と、信頼度判定部１５と、推論結果出力部１７の機能を実行する。すなわち、信頼度判定装置１は、プロセッサ１００４により実行されるときに、上述の図７のステップＳＴ１〜ステップＳＴ８が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、取得部１１と、将来環境予測部１２と、抽象化部１３と、信頼度判定部１５と、推論結果出力部１７の処理の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１００５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

【0079】

なお、取得部１１と、将来環境予測部１２と、抽象化部１３と、信頼度判定部１５と、推論結果出力部１７の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、取得部１１と推論結果出力部１７については専用のハードウェアとしての処理回路１００１でその機能を実現し、取得部１１と、将来環境予測部１２と、抽象化部１３と、信頼度判定部１５と、推論結果出力部１７についてはプロセッサ１００４がメモリ１００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、信頼度判定装置１は、センサ２または制御装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。

【0080】

以上の実施の形態１では、信頼度判定装置１は、車両１００に搭載される車載装置とし、取得部１１と、将来環境予測部１２と、抽象化部１３と、自己符号化器１４と、信頼度判定部１５と、推論部１６と、推論結果出力部１７は、信頼度判定装置１に備えられていた。
これに限らず、取得部１１と、将来環境予測部１２と、抽象化部１３と、自己符号化器１４と、信頼度判定部１５と、推論部１６と、推論結果出力部１７のうち、一部が車両１００の車載装置に備えられ、その他は当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとで信頼度判定システムを構成してもよい。

【0081】

また、以上の実施の形態１では、推論部１６は信頼度判定装置１に備えられていたが、これは一例に過ぎない。推論部１６は、信頼度判定装置１の外部の、信頼度判定装置１が参照可能な装置に備えられてもよい。

【0082】

また、以上の実施の形態１では、一例として、基準となる物体は車両１００とし、信頼度判定装置１が自動運転可能な車両１００に適用され、信頼度判定装置１は、推論した制御量の信頼度を判定することを想定した。しかし、これは一例に過ぎない。
基準となる物体は、工場内のフォークリフト、無人搬送車、産業用ロボット、または、航空機等、種々の移動体とし、信頼度判定装置１は、種々の移動体を制御するための制御量を推論するとともに、推論した制御量の信頼度を判定することもできる。
例えば、信頼度判定装置１において、取得部１１が取得する入力データは移動体周辺の環境に関する環境データとし、抽象化部１３が生成する抽象化データは、移動体周辺の環境を示す画像データとできる。特徴量抽出部１４１は、画像データを入力として特徴量を出力し、復元部１４２は、特徴量抽出部１４１が出力した特徴量を入力として、特徴量から画像データを復元した復元後の画像データを出力し、信頼度判定部１５は、画像データと復元後の画像データとに基づき信頼度を判定できる。
なお、以上の実施の形態１では、制御装置３は、車両１００の自動運転制御を行う自動運転制御装置を想定していたが、これは一例に過ぎない。制御装置３は、フォークリフト、無人搬送車、産業用ロボット、または、航空機等の移動体の運転制御を行う自動運転制御装置としてもよい。制御装置３は、信頼度判定装置１から出力される推論結果および信頼度に基づき種々の制御を行う装置とできる。

【0083】

また、推論部１６による推論結果は制御量に限らない。すなわち、信頼度判定装置１が信頼度を判定する対象となる推論結果は制御量に限らない。例えば、推論部１６は、車両１００内の環境に関する環境データに基づいて生成された抽象化データから、車両１００内の乗員の状態を推論することもできる。この場合、推論部１６は、特徴量を入力とし車両１００内の乗員の状態に関するデータ（以下「乗員状態データ」という。）を出力するよう学習済みのニューラルネットワークである。信頼度判定装置１は、抽象化データと復元部１４２が復元した復元後抽象化データとの類似度に基づき、特徴量抽出部１４１が抽象化データに基づいて出力した特徴量の信頼度を判定することで、推論部１６が出力した乗員状態データの信頼度を判定する。なお、実施の形態１において、移動体には人も含まれる。
信頼度判定装置１の推論結果出力部１７は、信頼度判定部１５が判定した信頼度を、推論部１６が出力した乗員状態データに対する信頼度として、乗員状態データと信頼度とを対応付けて出力する。

【0084】

また、例えば、推論部１６は、車両１００周辺または車両１００内の環境に関する環境データに基づいて生成された抽象化データから、車両１００が不足の事態に陥る可能性がある場合の警報装置作動の必要性を推論することもできる。この場合、推論部１６は、特徴量を入力とし車両１００が不足の事態に陥る可能性がある場合の警報装置作動の必要性に関するデータを出力するよう学習済みのニューラルネットワークである。信頼度判定装置１は、抽象化データと復元部１４２が復元した復元後抽象化データとの類似度に基づき、特徴量抽出部１４１が抽象化データに基づいて出力した特徴量の信頼度を判定することで、推論部１６から出力された、車両１００が不測の事態に陥る可能性に関するデータの信頼度を判定する。
信頼度判定装置１の推論結果出力部１７は、信頼度判定部１５が判定した信頼度を、推論部１６が出力した、車両１００が不測の事態に陥る可能性に関するデータに対する信頼度として、車両１００が不測の事態に陥る可能性に関するデータと信頼度とを対応付けて出力する。

【0085】

また、以上の実施の形態１では、入力データは基準となる物体周辺の環境データとしていたが、これは一例に過ぎない。入力データは、基準となる物体周辺の環境によらず、基準となる物体そのものの状況を示すデータであってもよい。
例えば、入力データは、動植物の状況に関する動植物データとしてもよい。推論部１６は、動植物データに基づいて生成された抽象化データから、動植物の種別を推論する。この場合、推論部１６は、特徴量を入力とし動植物の種別に関するデータ（以下「動植物種別データ」という。）を出力するよう学習済みのニューラルネットワークである。信頼度判定装置１の信頼度判定部１５は、動植物データから生成した抽象化データと復元部１４２が復元した復元後抽象化データとの類似度に基づき、特徴量抽出部１４１が抽象化データに基づいて出力した特徴量の信頼度を判定することで、推論部１６から出力された動植物種別データの信頼度を判定する。信頼度判定装置１の推論結果出力部１７は、信頼度判定部１５が判定した信頼度を、推論部１６が出力した動植物種別データに対する信頼度として、動植物種別データと信頼度とを対応付けて出力する。
なお、この場合、基準となる物体は動植物である。このように、基準となる物体は、移動体以外の物体とすることもできる。

【0086】

以上のように、実施の形態１によれば、信頼度判定装置１は、入力データを取得する取得部１１と、取得部１１が取得した入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成する抽象化部１３と、抽象化部１３が生成した抽象化データを入力として当該抽象化データの特徴量を出力する特徴量抽出部１４１と、特徴量抽出部１４１が出力した特徴量を入力として抽象化データを復元した復元後抽象化データを出力する復元部１４２と、抽象化部１３が生成した抽象化データと復元部１４２が出力した復元後抽象化データとに基づき、特徴量抽出部１４１が出力した特徴量の信頼度を判定する信頼度判定部１５を備えるように構成した。そのため、信頼度判定装置１は、推論時に無数の状況が発生し得ることを考慮して、ニューラルネットワークの推論結果の信頼度を判定することができる。

【0087】

なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

【産業上の利用可能性】

【0088】

本開示に係る信頼度判定装置は、推論時に無数の状況が発生し得ることを考慮して、ニューラルネットワークの推論結果の信頼度を判定することができる。

【符号の説明】

【0089】

１ 信頼度判定装置、２ センサ、３ 制御装置、１１ 取得部、１２ 将来環境予測部、１３ 抽象化部、１４ 自己符号化器、１４１ 特徴量抽出部、１４２ 復元部、１５ 信頼度判定部、１６ 推論部、１７ 推論結果出力部、１００ 車両、１００１ 処理回路、１００２ 入力インタフェース装置、１００３ 出力インタフェース装置、１００４ プロセッサ、１００５ メモリ。

【要約】

入力データを取得する取得部（１１）と、取得部（１１）が取得した入力データに基づき、当該入力データを抽象的な表現形式で示した抽象化データを生成する抽象化部（１３）と、抽象化部（１３）が生成した抽象化データを入力として当該抽象化データの特徴量を出力する特徴量抽出部（１４１）と、特徴量抽出部（１４１）が出力した特徴量を入力として抽象化データを復元した復元後抽象化データを出力する復元部（１４２）と、抽象化部（１３）が生成した抽象化データと復元部（１４２）が出力した復元後抽象化データとに基づき、特徴量抽出部（１４１）が抽出した特徴量の信頼度を判定する信頼度判定部（１５）とを備えた。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】