特表 2022-515288 画像分析ソフトウェアが分析するように構成された所定の範囲内に画像データがあるか否かの判別

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-17

(54)【発明の名称】画像分析ソフトウェアが分析するように構成された所定の範囲内に画像データがあるか否かの判別

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220209BHJP

   G08G 1/16 20060101ALI20220209BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 650Z

G08G1/16 D

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021538238

(86)(22)【出願日】2019-12-20

(85)【翻訳文提出日】2021-07-29

(86)【国際出願番号】 EP2019086774

(87)【国際公開番号】W WO2020141121

(87)【国際公開日】2020-07-09

(31)【優先権主張番号】62/786,590

(32)【優先日】2018-12-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/286,191

(32)【優先日】2019-02-26

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】クリシュナ チニー

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF27

5H181LL09

5L096BA04

5L096CA02

5L096HA11

5L096JA24

5L096MA07

(57)【要約】

画像分析ソフトウェアが分析するように構成された所定の範囲内に画像データがあるか否かを判別するためのシステムである。このシステムには、カメラ及び電子プロセッサが含まれる。電子プロセッサは、カメラから画像データを受信し、画像データに関する予測及び予測に関連する信頼値を生成するように構成されている。電子プロセッサはまた、摂動値を使用して画像データを摂動させ、摂動された画像データに関する予測及び当該予測に関連する信頼値を生成するように構成されている。電子プロセッサは、信頼値を比較し、摂動された画像データに関する予測に関連する信頼値と画像データに関する予測に関連する信頼値との差が所定の閾値未満である場合、車両の自律機能を無効化するようにさらに構成されている。

【特許請求の範囲】

【請求項1】

画像分析ソフトウェアが分析するように構成された所定の範囲内に画像データがあるか否かを判別するためのシステムであって、前記システムは、
カメラと、
電子プロセッサと、
を含み、前記電子プロセッサは、
前記カメラから前記画像データを受信することと、
前記画像分析ソフトウェアを使用して、前記画像データに関する予測及び前記画像データに関する前記予測に関連する信頼値を生成することと、
摂動値を使用して前記画像データを摂動させることと、
前記画像分析ソフトウェアを使用して、前記摂動された画像データに関する予測及び前記摂動された画像データに関する前記予測に関連する信頼値を生成することと、
前記摂動された画像データに関する前記予測に関連する前記信頼値を、前記画像データに関する前記予測に関連する前記信頼値と比較することと、
前記画像データに関する前記予測に関連する前記信頼値と前記画像データに関する前記予測に関連する前記信頼値との差が所定の閾値未満である場合、車両の自律機能を無効化することと、
を行うように構成されている、システム。

【請求項2】

前記無効化された自律機能は、前記画像データに関する前記予測に依存する、請求項１に記載のシステム。

【請求項3】

前記画像分析ソフトウェアは、前記画像データを分析するように訓練された機械学習ソフトウェアを含む、請求項１に記載のシステム。

【請求項4】

前記機械学習ソフトウェアは、畳み込みニューラルネットワークを含む、請求項３に記載のシステム。

【請求項5】

前記電子プロセッサは、前記摂動値を計算するように構成されている、請求項４に記載のシステム。

【請求項6】

前記電子プロセッサは、
前記畳み込みニューラルネットワークのコスト関数の勾配の符号を求めることと、
重みに前記符号を乗算することと、
によって前記摂動値を計算するように構成されている、請求項５に記載のシステム。

【請求項7】

前記画像分析ソフトウェアによって生成された予測は、前記画像データ内の対象物、道路標識及び道路標示の検出及び分類に関連する、請求項１に記載のシステム。

【請求項8】

画像分析ソフトウェアが分析するように構成された所定の範囲内に画像データがあるか否かを判別するための方法であって、
電子プロセッサを用いて、カメラから前記画像データを受信することと、
前記画像分析ソフトウェアを使用して、前記画像データに関する予測及び前記画像データに関する前記予測に関連する信頼値を生成することと、
摂動値を使用して前記画像データを摂動させることと、
前記画像分析ソフトウェアを使用して、前記摂動された画像データに関する予測及び前記摂動された画像データに関する前記予測に関連する信頼値を生成することと、
前記電子プロセッサを用いて、前記摂動された画像データに関する前記予測に関連する前記信頼値を、前記画像データに関する前記予測に関連する前記信頼値と比較することと、
前記画像データに関する前記予測に関連する前記信頼値と前記画像データに関する前記予測に関連する前記信頼値との差が所定の閾値未満である場合、代替センサからのデータを使用して予測を生成し、車両の自律機能を制御することと、
を含む方法。

【請求項9】

前記画像データに関する前記予測に関連する前記信頼値と前記画像データに関する前記予測に関連する前記信頼値との前記差が前記所定の閾値未満である場合、前記カメラからの画像データを無視することをさらに含む、請求項８に記載の方法。

【請求項10】

前記画像分析ソフトウェアは、前記画像データを分析するように訓練された機械学習ソフトウェアを含む、請求項８に記載の方法。

【請求項11】

前記機械学習ソフトウェアは、畳み込みニューラルネットワークを含む、請求項１０に記載の方法。

【請求項12】

前記摂動値を計算することをさらに含む、請求項１１に記載の方法。

【請求項13】

前記摂動値を計算することは、
前記畳み込みニューラルネットワークのコスト関数の勾配の符号を求めることと、
重みに前記符号を乗算することと、
を含む、請求項１２に記載の方法。

【請求項14】

前記画像分析ソフトウェアによって生成された予測は、前記画像データ内の対象物、道路標識及び道路標示の検出及び分類に関連する、請求項８に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、２０１８年１２月３１日に出願された米国仮特許出願第６２／７８６５９０号の優先権を主張し、その全内容が参照により本明細書に組み込まれるものとする。

【発明の概要】

【発明が解決しようとする課題】

【0002】

発明の概要
イメージセンサは、自動運転システム及び部分的自動運転システムの重要な構成要素である。ただし、状況によっては、イメージセンサからの画像データが誤って分析される場合がある。例えば、悪天候（例えば、雨）、低照度、太陽からの直射日光などがある状況においては、画像内の対象物の存在、画像内の対象物の位置、画像内の道路標示の存在、画像内の道路標示の位置、又は、これらの組合せに関する予測が、画像分析ソフトウェアにより誤って生成されることがある。画像分析ソフトウェアがいくつかの状況で誤った判別を行う理由は、画像分析ソフトウェアがこれらの状況で取得された画像データを分析するように構成されていないためである。従って、いくつかの実施形態においては、カメラから受信した画像データが、画像分析ソフトウェアが分析するように構成されていない状況で取得されている場合、この画像データを無視することが望ましい。いくつかの実施形態においては、カメラから受信した画像データが、画像分析ソフトウェアが分析するように構成されていない状況で取得されている場合、車両の少なくとも一部の自律機能を無効化することが望ましい。本明細書の実施形態においては、画像分析ソフトウェアが分析するように構成されていない状況で受信画像データが取得されたか否かを検出するための方法及びシステムが説明される。

【課題を解決するための手段】

【0003】

一実施形態においては、画像分析ソフトウェアが分析するように構成された所定の範囲内に画像データがあるか否かを判別するためのシステムが提供される。当該システムには、カメラ及び電子プロセッサが含まれる。電子プロセッサは、カメラから画像データを受信し、画像分析ソフトウェアを使用して、画像データに関する予測及び画像データに関する予測に関連する信頼値を生成するように構成される。電子プロセッサはまた、摂動値を使用して画像データを摂動させ、画像分析ソフトウェアを使用して、摂動された画像データに関する予測及び摂動された画像データに関する予測に関連する信頼値を生成するように構成される。電子プロセッサは、さらに、摂動された画像データに関する予測に関連する信頼値を画像データに関する予測に関連する信頼値と比較し、画像データに関する予測に関連する信頼値と画像データに関する予測に関連する信頼値との差が所定の閾値未満である場合に、車両の自律機能を無効化する。

【0004】

他の実施形態においては、画像分析ソフトウェアが分析するように構成された所定の範囲内に画像データがあるか否かを判別する方法が提供される。当該方法は、電子プロセッサを用いて、カメラから画像データを受信することと、画像分析ソフトウェアを使用して、画像データに関する予測及び画像データに関する予測に関連する信頼値を生成することとを含む。方法はまた、摂動値を使用して画像データを摂動させることと、画像分析ソフトウェアを使用して、摂動された画像データに関する予測及び摂動された画像データに関する予測に関連する信頼値を生成することとを含む。方法は、電子プロセッサを用いて、摂動された画像データに関する予測に関連する信頼値を、画像データに関する予測に関連する信頼値と比較することをさらに含む。方法はまた、画像データに関する予測に関連する信頼値と画像データに関する予測に関連する信頼値との差が所定の閾値未満である場合、代替センサからのデータを使用して予測を生成し、車両の自律機能を制御することを含む。

【0005】

他の態様、特徴及び実施形態は、詳細な説明及び添付図面を検討することによって明らかになる。

【図面の簡単な説明】

【0006】

【図1】画像分析ソフトウェアが分析するように構成された所定の範囲内に画像データがあるか否かを判別するための、いくつかの実施形態によるシステムのブロック図である。

【図2】いくつかの実施形態による、図１のシステムの電子制御装置のブロック図である。

【図3】いくつかの実施形態による、図１のシステムを使用して、画像分析ソフトウェアが分析するように構成された所定の範囲内に画像データがあるか否かを判別するための方法のフローチャートである。

【発明を実施するための形態】

【0007】

詳細な説明
任意の実施形態を詳細に説明する前に、本開示が、その用途において、以下の説明に記載する又は以下の図面に示す構成の詳細及び構成要素の配置に限定されるものではないことを理解されたい。実施形態は、その他の構成が可能であり、種々の方法により実行又は実施することができる。

【0008】

複数のハードウェア及びソフトウェアに基づくデバイス、並びに、複数の異なる構造的構成要素を使用して、種々の実施形態を実施することができる。さらに、実施形態は、ハードウェア、ソフトウェア、及び、電子構成要素又はモジュールを含み得るものであり、検討の目的ではあるが、これらの構成要素の大部分がハードウェアのみにより実装されているかのように図示及び説明されることがある。しかしながら、当業者は、この詳細な説明のもとでは、少なくとも１つの実施形態において、１つ以上のプロセッサによって実行可能な（例えば、非一時的コンピュータ可読媒体に記憶された）ソフトウェアによって、本発明の電子に基づく態様を実装することが可能であることを認識するであろう。例えば、本明細書に記載されている「制御ユニット」及び「制御装置」には、１つ以上の電子プロセッサ、非一時的なコンピュータ可読媒体を含む１つ以上のメモリモジュール、１つ以上の入出力インタフェース、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、及び、種々の構成要素を接続する種々の接続部（システムバスなど）が含まれ得る。

【0009】

図１は、画像分析ソフトウェアが分析するように構成された所定の範囲内に画像データがあるか否かを判別するためのシステム１００を示している。システム１００は、車両１０５を含む。車両１０５は、四輪車両として示されているが、種々のタイプ及び設計の車両を包含し得る。例えば、車両１０５は、自動車、オートバイ、トラック、バス、セミトラクタなどであるものとしてよい。図示の例においては、車両１０５は、電子制御装置１１０、カメラ１１５、ステアリングシステム１２０、加速装置１２５及びブレーキ１３０を含む。車両１０５の構成要素は、種々の構造のものであってよく、種々の通信タイプ及びプロトコルを使用するものとしてよい。

【0010】

電子制御装置１１０は、種々の有線接続部又は無線接続部を介して、カメラ１１５、ステアリングシステム１２０、加速装置１２５及びブレーキ１３０に通信可能に接続することができる。例えば、いくつかの実施形態においては、電子制御装置１１０は、専用のワイヤを介して、車両１０５の上記の構成要素のそれぞれに直接的に結合されている。他の実施形態においては、電子制御装置１１０は、車両通信バス（例えば、制御領域ネットワーク（ＣＡＮ）バス）又は無線接続部などの共有通信リンクを介して１つ以上の構成要素に通信可能に結合されている。

【0011】

車両１０５の各構成要素は、種々の通信プロトコルを使用して電子制御装置１１０と通信することができる。図１に示されている実施形態は、車両１０５の構成要素及び接続形態の一例に過ぎない。ただし、これらの構成要素及び接続形態は、本明細書に例示及び説明されている以外の方式によっても構築することができる。例えば、電子制御装置１１０は、図１に示されている単一のカメラ１１５ではない１つ以上のカメラを含むものとしてもよく、車両１０５に含まれるカメラは、車両１０５の内部及び外部の種々の場所に設置され得ることを理解されたい。

【0012】

図２は、車両１０５の電子制御装置１１０のブロック図である。電子制御装置１１０には、電子制御装置１１０内の構成要素及びモジュールに電力、動作制御及び保護を提供する複数の電気構成要素及び電子構成要素が含まれる。電子制御装置１１０には、特に、電子プロセッサ２００（プログラミング可能な電子マイクロプロセッサ、マイクロコントローラ、又は、同様のデバイスなど）、メモリ２０５（例えば、非一時的で機械可読なメモリ）及び入出力インタフェース２１０が含まれる。電子プロセッサ２００は、メモリ２０５及び入出力インタフェース２１０に通信可能に接続されている。電子プロセッサ２００は、特に、メモリ２０５及び入出力インタフェース２１０と連携して、本明細書に記載の方法を実施するように構成されている。

【0013】

以下においてさらに詳細に説明するように、メモリ２０５には、特に、画像分析ソフトウェアが分析するように訓練された（ある状況で取得される）所定の範囲内に画像データがあるか否かを判別するためのコンピュータ実行可能命令（又はソフトウェア）が含まれる。図２に示される例においては、メモリ２０５には、畳み込みニューラルネットワーク（ＣＮＮ）２２０（又はより広義には機械学習ソフトウェア）を含む画像分析ソフトウェア２１５と、自律機能ソフトウェア２２５とが含まれる。ＣＮＮ２２０は、カメラ１１５から受信した画像データ内の対象物、道路標示、道路標識などの検出及び分類に関連する予測を行うように訓練されている。自律機能ソフトウェア２２５は、特に、カメラ１１５からの画像データを使用して画像分析ソフトウェア２１５（例えば、ＣＮＮ２２０）によって行われた予測に依存して、ステアリングシステム１２０、加速装置１２５及びブレーキ１３０を制御することによって、車両１０５に自律機能を提供する。自律機能ソフトウェア２２５は、例えば、アダプティブクルーズコントロール（ＡＣＣ）、自動制動システム、自動駐車システムなどであるものとしてよい。メモリ２０５は、図２に図示したものよりも多くのソフトウェアコンポーネント又はより少ないソフトウェアコンポーネント又は異なるソフトウェアコンポーネントを含み得ることを理解されたい。本明細書においては、ＣＮＮを含むものとして説明しているが、画像分析ソフトウェア２１５は、異なるタイプの機械学習ソフトウェア、例えば、決定木又はベイジアンネットワークを含み得ることに留意されたい。いくつかの実施形態においては、画像分析ソフトウェア２１５は、機械学習ソフトウェアを含まなくてもよい。

【0014】

電子制御装置１１０は、それぞれが特定の機能又はサブ機能を実行するように構成された複数の独立した制御装置（例えば、プログラミング可能な電子コントローラ）として実装可能である。さらに、電子制御装置１１０は、サブモジュールを包含することができ、サブモジュールには、入出力機能、信号の処理、及び、以下に言及する方法の適用を処理するための追加の電子プロセッサ、メモリ又は特定用途向け集積回路（ＡＳＩＣ）が含まれる。他の実施形態においては、電子制御装置１１０は、追加の構成要素又はより少ない構成要素又は異なる構成要素を含む。

【0015】

図３は、画像分析ソフトウェアが分析するように構成された所定の範囲内に画像データがあるか否かを判別するための方法３００の例を示している。方法３００は、画像分析ソフトウェア２１５を実行する電子プロセッサ２００によって実行される。例示的な方法３００を、画像データを分析するように訓練されたＣＮＮに関して以下に説明するが、方法３００は、より一般的には、画像データを分析するように構成された画像分析ソフトウェアに適用されることを理解されたい。ステップ３０５において、電子プロセッサ２００は、カメラ１１５から画像データを受信する。ステップ３１０において、電子プロセッサ２００は、ＣＮＮ２２０及び受信した画像データに固有の摂動値を計算する。摂動値は、画像データに加えることにより、画像データを変化させ、画像データに効果的にノイズを発生させる値である。電子プロセッサ２００は、ＣＮＮ２２０のコスト関数の勾配を使用して摂動値を計算する。いくつかの実施形態においては、コスト関数は、Ｌ（θ，ｘ，ｙ）として定義される。ここで、ｘは、入力画像データであり、ｙは、画像データの可能な分類であり、θは、ＣＮＮ２２０に含まれる重みの値である。摂動値は、コスト関数（∇_ｘＬ（θ，ｘ，ｙ））の勾配の符号（正又は負）に重みεを乗算した結果として求められる。ステップ３１５において、画像データは、摂動値を使用して摂動される（摂動値は、画像データの各ピクセルに加えられる）。ステップ３２０において、電子プロセッサ２００は、ＣＮＮ２２０を実行して、摂動された画像データの予測を生成する（摂動された画像データを複数のカテゴリのうちの１つに分類する）。例えば、ＣＮＮ２２０は、車両１０５の右側のレーン標示が実線であるか破線であるかを判別することができる。電子プロセッサ２００が予測を生成する場合、この予測は信頼値に関連付けられる。信頼値は、予測が正しいことの確率を表している。

【0016】

ステップ３２５において、電子プロセッサ２００はまた、ＣＮＮ２２０を実行して、画像データに関する予測を生成し（画像データを複数のカテゴリのうちの１つに分類し）、画像データに関する予測に関連する信頼値を求める。ステップ３２５は、ステップ３１０～３２０と並行して実行されるものとして図３に示されているが、いくつかの実施形態においては、これらのステップは順次に実行可能であることに留意されたい。

【0017】

ステップ３３０において、電子プロセッサ２００は、摂動された画像データに基づいて行われた予測に関連する信頼値を、摂動されていない画像データに基づいて行われた予測に関連する信頼値と比較する。ステップ３３５において、信頼値間の差が所定の閾値未満である場合、電子プロセッサ２００は、カメラ１１５から受信した画像データが、ＣＮＮ２２０が分析するように訓練された所定の範囲外にあると判別する。カメラ１１５から受信した画像データが、ＣＮＮ２２０が分析するように訓練された所定の範囲外にある場合、電子プロセッサ２００は、ＣＮＮ２２０によって行われた予測が信頼することができないと判別する。いくつかの実施形態においては、カメラ１１５から受信した画像データが、所定の範囲外、即ち、ＣＮＮ２２０が分析するように訓練されかつ自律機能ソフトウェア２２５がＣＮＮ２２０によって生成された予測に依存する所定の範囲外にある場合、電子プロセッサ２００は、自律機能ソフトウェア２２５によって制御される車両１０５の自律機能を無効化する。

【0018】

他の実施形態においては、カメラ１１５から受信した画像データが、ＣＮＮ２２０が分析するように訓練された所定の範囲外にあるときに、電子プロセッサ２００が自律機能ソフトウェア２２５を無効化するのではなく、カメラ１１５からの画像データを無視する（度外視する）。電子プロセッサ２００がカメラ１１５からの画像データを無視した場合、電子プロセッサ２００は、代替センサからのデータを使用して、ＣＮＮ２２０（又は他のタイプのソフトウェア）で予測を生成し、自律機能ソフトウェア２２５の自律機能を実行する。代替センサからのデータの例には、他のカメラからの画像データ、又は、レーダセンサ、ＬＩＤＡＲセンサ、超音波センサなどのセンサからのデータが含まれる。

【0019】

画像分析ソフトウェア２１５は、複数のＣＮＮを含み得る。その場合、各ＣＮＮは、受信された画像データにおいて異なるものを検出するように訓練され得ることを理解されたい。例えば、あるＣＮＮが道路標示（例えば、車線マーカ）を検出するように訓練され、他のＣＮＮが人、動物、車両などの対象物を検出するように訓練され得る。いくつかの実施形態においては、画像データが、ＣＮＮが分析するように訓練された所定の範囲外であると判別されると、自律機能ソフトウェア２２５によって制御される自律機能は、自律機能ソフトウェア２２５が画像データに基づいてＣＮＮが行っている予測に依存するか否かに関係なく、無効化される。

【0020】

ここまで、本明細書において、特定の実施形態について説明してきた。ただし、当業者には理解し得るように、以下の特許請求の範囲に記載する本発明の範囲から逸脱することなく、種々の変更及び変形を加えることができる。従って、本明細書及び図面は、限定の意味ではなく、例示的な意味において理解されるべきであり、かかる変更は、総て本発明の教示内容の範囲内に含まれることが意図されている。

【0021】

本明細書において、第１、第２、頂部及び底部等のような関係を示す用語は、あるエンティティ又はあるアクションを他のエンティティ又は他のアクションから区別するためのみに用いられていることがあり、この場合、かかるエンティティ又はアクション間の実際の関係又は順序が必ずしも要求又は含意されるわけではない。用語「含む（comprises）」、「含んでいる（comprising）」、「有する（has）」、「有している（having）」、「含む（includes）」、「含んでいる（including）」、「包含する（contains）」、「包含している（containing）」、又は、これらの用語の他の何らかの変形は、非排他的な包含を担保することが意図されている。従って、列挙された複数の要素を含む（comprises）、有する（has）、含む（includes）、包含する（contains）プロセス、方法、製品又は装置は、それらの要素しか含まないのではなく、かかるプロセス、方法、製品又は装置に対して明示的には列挙されていない又はそれらに固有でない他の要素も含み得る。「～を含む（comprises...a）」「～を有する（has...a）」、「～を含む（includes...a）」又は「～を包含する（contains...a）」に続く要素は、それ以上の拘束なく、その要素を含む（comprises）、有する（has）、含む（includes）、包含する（contains）プロセス、方法、製品又は装置における付加的な同一の要素の存在を排除しない。不定冠詞（“a”及び“an”）は、本明細書において他に明示的に述べられていない限り、１つ以上として定義される。用語「実質的に（substantially）」、「本質的に（essentially）」、「ほぼ（approximately）」、「約（about）」又はその何らかの別様の表現形態は、当業者によって理解されていることがらに近いこととして定義され、非限定的な一実施形態においては、これらの用語は、１０％以内、他の実施形態においては５％以内、他の実施形態においては１％以内、他の実施形態においては０．５％以内であると定義される。本明細書において用いられる用語「連結される（coupled）」は、必ずしも直接的にではなくかつ必ずしも機械的にではないが接続されることとして定義される。特定の手法により「構成された（configured）」デバイス又は構造は、少なくとも当該手法により構成されたものであるが、列挙されていない手法により構成されたものであってもよい。

【0022】

種々の特徴、利点及び実施形態が、以下の特許請求の範囲に記載されている。

【図1】

【図2】

【図3】

【手続補正書】

【提出日】2021-08-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像分析ソフトウェアが分析するように構成された所定の範囲内に画像データがあるか否かを判別するためのシステムであって、前記システムは、
カメラと、
電子プロセッサと、
を含み、前記電子プロセッサは、
前記カメラから前記画像データを受信することと、
前記画像分析ソフトウェアを使用して、前記画像データに関する予測及び前記画像データに関する前記予測に関連する信頼値を生成することと、
摂動値を使用して前記画像データを摂動させることと、
前記画像分析ソフトウェアを使用して、前記摂動された画像データに関する予測及び前記摂動された画像データに関する前記予測に関連する信頼値を生成することと、
前記摂動された画像データに関する前記予測に関連する前記信頼値を、前記画像データに関する前記予測に関連する前記信頼値と比較することと、
前記摂動された画像データに関する前記予測に関連する前記信頼値と前記画像データに関する前記予測に関連する前記信頼値との差が所定の閾値未満である場合、車両の自律機能を無効化することと、
を行うように構成されている、システム。

【請求項2】

前記無効化された自律機能は、前記画像データに関する前記予測に依存する、請求項１に記載のシステム。

【請求項3】

前記画像分析ソフトウェアは、前記画像データを分析するように訓練された機械学習ソフトウェアを含む、請求項１に記載のシステム。

【請求項4】

前記機械学習ソフトウェアは、畳み込みニューラルネットワークを含む、請求項３に記載のシステム。

【請求項5】

前記電子プロセッサは、前記摂動値を計算するように構成されている、請求項４に記載のシステム。

【請求項6】

前記電子プロセッサは、
前記畳み込みニューラルネットワークのコスト関数の勾配の符号を求めることと、
重みに前記符号を乗算することと、
によって前記摂動値を計算するように構成されている、請求項５に記載のシステム。

【請求項7】

前記画像分析ソフトウェアによって生成された予測は、前記画像データ内の対象物、道路標識及び道路標示の検出及び分類に関連する、請求項１に記載のシステム。

【請求項8】

画像分析ソフトウェアが分析するように構成された所定の範囲内に画像データがあるか否かを判別するための方法であって、
電子プロセッサを用いて、カメラから前記画像データを受信することと、
前記画像分析ソフトウェアを使用して、前記画像データに関する予測及び前記画像データに関する前記予測に関連する信頼値を生成することと、
摂動値を使用して前記画像データを摂動させることと、
前記画像分析ソフトウェアを使用して、前記摂動された画像データに関する予測及び前記摂動された画像データに関する前記予測に関連する信頼値を生成することと、
前記電子プロセッサを用いて、前記摂動された画像データに関する前記予測に関連する前記信頼値を、前記画像データに関する前記予測に関連する前記信頼値と比較することと、
前記摂動された画像データに関する前記予測に関連する前記信頼値と前記画像データに関する前記予測に関連する前記信頼値との差が所定の閾値未満である場合、代替センサからのデータを使用して予測を生成し、車両の自律機能を制御することと、
を含む方法。

【請求項9】

前記摂動された画像データに関する前記予測に関連する前記信頼値と前記画像データに関する前記予測に関連する前記信頼値との前記差が前記所定の閾値未満である場合、前記カメラからの画像データを無視することをさらに含む、請求項８に記載の方法。

【請求項10】

前記画像分析ソフトウェアは、前記画像データを分析するように訓練された機械学習ソフトウェアを含む、請求項８に記載の方法。

【請求項11】

前記機械学習ソフトウェアは、畳み込みニューラルネットワークを含む、請求項１０に記載の方法。

【請求項12】

前記摂動値を計算することをさらに含む、請求項１１に記載の方法。

【請求項13】

前記摂動値を計算することは、
前記畳み込みニューラルネットワークのコスト関数の勾配の符号を求めることと、
重みに前記符号を乗算することと、
を含む、請求項１２に記載の方法。

【請求項14】

前記画像分析ソフトウェアによって生成された予測は、前記画像データ内の対象物、道路標識及び道路標示の検出及び分類に関連する、請求項８に記載の方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００３

【補正方法】変更

【補正の内容】

【0003】

一実施形態においては、画像分析ソフトウェアが分析するように構成された所定の範囲内に画像データがあるか否かを判別するためのシステムが提供される。当該システムには、カメラ及び電子プロセッサが含まれる。電子プロセッサは、カメラから画像データを受信し、画像分析ソフトウェアを使用して、画像データに関する予測及び画像データに関する予測に関連する信頼値を生成するように構成される。電子プロセッサはまた、摂動値を使用して画像データを摂動させ、画像分析ソフトウェアを使用して、摂動された画像データに関する予測及び摂動された画像データに関する予測に関連する信頼値を生成するように構成される。電子プロセッサは、さらに、摂動された画像データに関する予測に関連する信頼値を画像データに関する予測に関連する信頼値と比較し、摂動された画像データに関する予測に関連する信頼値と画像データに関する予測に関連する信頼値との差が所定の閾値未満である場合に、車両の自律機能を無効化する。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００４

【補正方法】変更

【補正の内容】

【0004】

他の実施形態においては、画像分析ソフトウェアが分析するように構成された所定の範囲内に画像データがあるか否かを判別する方法が提供される。当該方法は、電子プロセッサを用いて、カメラから画像データを受信することと、画像分析ソフトウェアを使用して、画像データに関する予測及び画像データに関する予測に関連する信頼値を生成することとを含む。方法はまた、摂動値を使用して画像データを摂動させることと、画像分析ソフトウェアを使用して、摂動された画像データに関する予測及び摂動された画像データに関する予測に関連する信頼値を生成することとを含む。方法は、電子プロセッサを用いて、摂動された画像データに関する予測に関連する信頼値を、画像データに関する予測に関連する信頼値と比較することをさらに含む。方法はまた、摂動された画像データに関する予測に関連する信頼値と画像データに関する予測に関連する信頼値との差が所定の閾値未満である場合、代替センサからのデータを使用して予測を生成し、車両の自律機能を制御することを含む。

【国際調査報告】