特開 2023-70183 単眼深度推定用のニューラルアーキテクチャ探索システム及びその使用方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023070183

(43)【公開日】2023-05-18

(54)【発明の名称】単眼深度推定用のニューラルアーキテクチャ探索システム及びその使用方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230511BHJP

   G06T 7/50 20170101ALI20230511BHJP

   G06V 20/58 20220101ALI20230511BHJP

   G08G 1/00 20060101ALI20230511BHJP

【ＦＩ】

G06T7/00 350C

G06T7/50

G06V20/58

G08G1/00 A

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022178092

(22)【出願日】2022-11-07

(31)【優先権主張番号】63/276,527

(32)【優先日】2021-11-05

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/944,146

(32)【優先日】2022-09-13

(33)【優先権主張国・地域又は機関】US

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｍｅｄｉｕｍ．ｃｏｍ／＠ｗｏｖｅｎ＿ｐｌａｎｅｔ／ａｐｐｌｉｃａｔｉｏｎ－ｏｆ－ｎｅｕｒａｌ－ａｒｃｈｉｔｅｃｔｕｒｅ－ｓｅａｒｃｈ－ｆｏｒ－ｔｈｅ－ｍｏｎｏｃｕｌａｒ－ｄｅｐｔｈ－ｅｓｔｉｍａｔｉｏｎ－ｔａｓｋ－ｉｎ－ａｒｅｎｅ－ａｉ－６８２３７ｂａ２２５２８ 掲載日：令和３年１１月１０日

(71)【出願人】

【識別番号】521080336

【氏名又は名称】ウーブン・アルファ株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】川名 優樹

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB13

5H181CC04

5H181FF27

5H181LL09

5L096BA04

5L096CA02

5L096DA01

5L096FA02

5L096FA66

5L096FA69

5L096GA30

5L096GA40

5L096HA11

5L096JA22

5L096KA04

5L096KA15

(57)【要約】

【課題】車載モデル訓練システムを提供する。
【解決手段】車載モデル訓練システムは、非一時的なコンピュータ可読媒体及びプロセッサを含む。プロセッサは、入力画像を受信し、物体を識別するために車載ニューラルネットワーク（ＮＮ）モデルを含むエンコーダを使用して入力画像に対して物体検出を実行し、且つ識別された各物体への特定された距離に基づいて第１のヒートマップを生成するように構成されている。プロセッサは、第１のヒートマップと、訓練済みニューラルネットワーク（ＮＮ）によって生成された第２のヒートマップとを比較し、両者の差異に基づいて車載ＮＮモデルを更新し、且つエンコーダのレイテンシがレイテンシ仕様を満たすかを特定するよう構成される。プロセッサは、レイテンシがレイテンシ仕様を満たし、且つ第１のヒートマップと第２のヒートマップとの差異が精度仕様を満たすことに応じて、車載ＮＮモデルを出力するように構成される。
【選択図】図１

【特許請求の範囲】

【請求項1】

命令を格納するように構成された非一時的なコンピュータ可読媒体と、
前記非一時的なコンピュータ可読媒体に接続されたプロセッサと、を備える車載モデル訓練システムであって、
前記プロセッサは、
入力画像を受信することと、
少なくとも１つの物体を識別するために、車載ニューラルネットワーク（ＮＮ）モデルを含むエンコーダを使用して前記受信した入力画像に対して物体検出を行うことと、
前記少なくとも１つの物体の各々に対する距離を特定することと、
前記少なくとも１つの物体の各々に対する前記特定された距離に基づいて、第１のヒートマップを生成することと、
前記第１のヒートマップと、訓練済みニューラルネットワーク（ＮＮ）により生成された第２のヒートマップとを比較することと、
前記第１のヒートマップと前記第２のヒートマップとの差異に基づいて、前記車載ＮＮモデルを更新することと、
前記エンコーダのレイテンシがレイテンシ仕様を満たすかどうかを判断することと、
前記レイテンシが前記レイテンシ仕様を満たし、かつ、前記第１のヒートマップと前記第２のヒートマップとの前記差異が精度仕様を満たすことに応じて、前記車載ＮＮモデルを出力することと、
のための前記命令を実行するように構成される、車載モデル訓練システム。

【請求項2】

前記プロセッサは、セマンティックセグメンテーションを用いて前記物体検出を行うための前記命令を実行するように更に構成される、請求項１に記載の車載モデル訓練システム。

【請求項3】

前記プロセッサは、前記入力画像が赤緑青（ＲＧＢ）画像を含むことを受信するための前記命令を実行するように更に構成される、請求項１又は２に記載の車載モデル訓練システム。

【請求項4】

前記プロセッサは、前記レイテンシ仕様及び前記精度仕様を外部装置から受信するための前記命令を実行するように更に構成される、請求項１又は２に記載の車載モデル訓練システム。

【請求項5】

前記プロセッサは、前記訓練済みＮＮよりも少ないニューロンを有する前記車載ＮＮモデルを用いて前記物体検出を行うための前記命令を実行するように更に構成される、請求項１又は２に記載の車載モデル訓練システム。

【請求項6】

前記プロセッサは、デコーダを用いて前記少なくとも１つの物体の各々に対する距離を特定するための前記命令を実行するように更に構成される、請求項１又は２に記載の車載モデル訓練システム。

【請求項7】

前記プロセッサは、前記第１のヒートマップと前記第２のヒートマップとの差異に基づいて前記デコーダを更新するための前記命令を実行するように更に構成される、請求項６に記載の車載モデル訓練システム。

【請求項8】

前記プロセッサは、当該車載モデル訓練システムに車両に対して前記車載ＮＮモデルを無線送信させることにより、前記車載ＮＮモデルを出力するための前記命令を実行するように更に構成される、請求項１又は２に記載の車載モデル訓練システム。

【請求項9】

車載モデル訓練方法であって、
入力画像を受信することと、
少なくとも１つの物体を識別するために、車載ニューラルネットワーク（ＮＮ）モデルを含むエンコーダを使用して前記受信した入力画像に対して物体検出を行うことと、
前記少なくとも１つの物体の各々に対する距離を特定することと、
前記少なくとも１つの物体の各々に対する前記特定された距離に基づいて、第１のヒートマップを生成することと、
前記第１のヒートマップと、訓練済みニューラルネットワーク（ＮＮ）により生成された第２のヒートマップとを比較することと、
前記第１のヒートマップと前記第２のヒートマップとの差異に基づいて、前記車載ＮＮモデルを更新することと、
前記エンコーダのレイテンシがレイテンシ仕様を満たすかどうかを判断することと、
前記レイテンシが前記レイテンシ仕様を満たし、かつ、前記第１のヒートマップと前記第２のヒートマップとの前記差異が精度仕様を満たすことに応じて、前記車載ＮＮモデルを出力することと、を含む、車載モデル訓練方法。

【請求項10】

前記物体検出を行うことは、セマンティックセグメンテーションを用いることを含む、請求項９に記載の車載モデル訓練方法。

【請求項11】

前記入力画像を受信することは、赤緑青（ＲＧＢ）画像を受信することを含む、請求項９又は１０に記載の車載モデル訓練方法。

【請求項12】

前記レイテンシ仕様と前記精度仕様を外部装置から受信することを更に含む、請求項９又は１０に記載の車載モデル訓練方法。

【請求項13】

前記物体検出を行うことは、前記訓練済みＮＮよりも少ないニューロンを有する前記車載ＮＮモデルを用いることを含む、請求項９又は１０に記載の車載モデル訓練方法。

【請求項14】

前記少なくとも１つの物体の各々に対する距離を特定することは、デコーダを使用することを含む、請求項９又は１０に記載の車載モデル訓練方法。

【請求項15】

前記第１のヒートマップと前記第２のヒートマップとの差異に基づいて前記デコーダを更新することを更に含む、請求項１４に記載の車載モデル訓練方法。

【請求項16】

前記車載ＮＮモデルを出力することは、前記車載ＮＮモデルを車両に無線送信することを含む、請求項９又は１０に記載の車載モデル訓練方法。

【請求項17】

非一時的なコンピュータ可読媒体であって、
プロセッサによって実行されると、前記プロセッサに、
入力画像を受信することと、
少なくとも１つの物体を識別するために、車載ニューラルネットワーク（ＮＮ）モデルを含むエンコーダを使用して前記受信した入力画像に対して物体検出を行うことと、
前記少なくとも１つの物体の各々に対する距離を特定することと、
前記少なくとも１つの物体の各々に対する前記特定された距離に基づいて、第１のヒートマップを生成することと、
前記第１のヒートマップと、訓練済みニューラルネットワーク（ＮＮ）により生成された第２のヒートマップとを比較することと、
前記第１のヒートマップと前記第２のヒートマップとの差異に基づいて、前記車載ＮＮモデルを更新することと、
前記エンコーダのレイテンシがレイテンシ仕様を満たすかどうかを判断することと、
前記レイテンシが前記レイテンシ仕様を満たし、かつ、前記第１のヒートマップと前記第２のヒートマップとの前記差異が精度仕様を満たすことに応じて、前記車載ＮＮモデルを出力することと、
を行わせる命令を格納するように構成された、非一時的なコンピュータ可読媒体。

【請求項18】

前記命令は、前記プロセッサに前記入力画像として赤緑青（ＲＧＢ）画像を受信させるように構成される、請求項１７に記載の非一時的なコンピュータ可読媒体。

【請求項19】

前記命令は、前記プロセッサに、前記訓練済みＮＮよりも少ないニューロンを有する前記車載ＮＮモデルを用いて前記物体検出を実行させるように構成される、請求項１７又は１８に記載の非一時的なコンピュータ可読媒体。

【請求項20】

前記命令は、前記プロセッサに、車載モデル訓練システムを以って、車両に対して前記車載ＮＮモデルを無線送信させるように構成される、請求項１７又は１８に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

優先権主張と相互参照
本出願は、２０２１年１１月５日に出願された米国仮出願第６３／２７６，５２７号の優先権を主張し、その内容は全体が参照により本明細書に援用される。

【背景技術】

【0002】

ニューラルアーキテクチャ探索（ＮＡＳ）は、既存のニューラルネットワーク（ＮＮ）を新しいＮＮの設計の基礎として利用し、ＮＮの設計を自動化する技術である。ＮＡＳの手法は、通常、探索空間、探索戦略、性能推定戦略に分類される。これらの分類はそれぞれ、新しいＮＮの設計速度及び効率を向上させるために、新しいＮＮの手動による深層訓練を回避しようとするものである。

【0003】

自律走行車は、車道又はその他の道などの経路に沿って操縦するために、地図や物体検出を利用する。車両に取り付けられたセンサは、全地球測位システム（ＧＰＳ）などを使って車両の位置を決める。また、センサは車両の周辺環境に関する情報も検出する。この検出された情報は、車載システムによって車両の周辺環境内の物体の位置を特定（determine）するために使用される。

【図面の簡単な説明】

【0004】

本開示の態様は、添付の図面と併せて読まれることで以下の詳細な説明から最もよく理解される。当業界の標準的な慣行として、様々な特徴は縮尺通りに描かれていないことに留意されたい。実際、様々な特徴の寸法は、議論を明確化するために任意に拡大又は縮小され得る。

【図1】図１は、いくつかの実施形態に係る、車載ニューラルネットワーク（ＮＮ）モデルを訓練するための訓練システムの概略図である。

【図2】図２は、いくつかの実施形態に係る、車載ＮＮモデルの訓練、配備（deploy）、及び実装方法のフローチャートである。

【図3】図３は、いくつかの実施形態に係る、車載ＮＮモデルを実装するシステムの概略図である。

【図4】図４は、いくつかの実施形態に係る、車載ＮＮモデルを訓練又は実施するためのシステムの概略図である。

【発明を実施するための形態】

【0005】

以下の開示では、提供される主題の異なる特徴を実施するための、多くの異なる実施形態又は実施例が提供される。本開示を単純化するため、構成要素、値、操作、材料、配置、又は同種のものの特定の例が以下に記述される。当然のことながら、これらは単なる例であり、限定することを意図しない。他の構成要素、値、操作、材料、配置、又は同種のものが企図される。例えば、以下の説明において、第２の特徴（feature）を覆うように又は第２の特徴上に第１の特徴を形成することは、第１の特徴と第２の特徴とが直接接して形成される実施形態を含んでもよく、また、第１の特徴と第２の特徴とが直接接しなくてもよいように、第１の特徴と第２の特徴との間に追加の特徴が形成され得る実施形態も含んでもよい。加えて、本開示は、様々な実施例において参照番号及び／又は参照符号を繰り返し得る。この繰り返しは、単純化及び明確化のためであり、それ自体は、議論される様々な実施形態及び／又は構成間の関係を示唆するものではない。

【0006】

さらに、「～の下」、「下部」、「下方」、「上部」、「上方」などの空間的に相対的な用語は、図面に例示されているように、ある要素又は特徴の別の要素又は特徴に対する関係を説明するため、説明を容易にするために本明細書で使用され得る。空間的に相対的な用語は、図面に描かれた配向に加えて、使用中又は動作中の装置の異なる配向を包含することを意図している。装置は、他の配向（９０度回転した配向又は他の配向）であってもよく、本明細書で使用される空間的に相対的な記述子は、適宜同様に解釈され得る。

【0007】

車両が自律的に操縦するために、車両は周辺環境に関する情報を収集する。この検出した情報を用いて、物体との衝突を回避するため、車両の走行経路上にある物体の有無と位置とを特定する。車両の速度が上昇すると、衝突の危険性を低減させるために物体を識別する時間が短くなる。そのため、対象物を迅速に識別するために、車載システムは、センサからのデータの迅速な処理を必要とする。車両の速度が上昇すると、物体と車両との間の距離がより速く変化するため、迅速な物体識別の需要が高まる。いくつかの実施形態では、物体識別は、物体分類を伴わない物体位置検出を含む。いくつかの実施形態では、物体識別は、物体位置検出及び物体分類の両方を含む。

【0008】

迅速な物体識別の需要があるにもかかわらず、車載演算システムは、ニューラルネットワーク（ＮＮ）を用いた情報処理に用いられる他のシステムに比べ処理能力が低い。そのため、多数のニューロンを有する大規模なＮＮは、車載演算システムでは処理できない可能性が高い。このような車載演算システムの相対的な処理能力の低さは、車両の動作中の迅速な物体識別の需要にとって障害となる。

【0009】

本明細書では、車載コンピュータシステムが実行可能な物体識別、例えば車両の自律走行などのための物体識別のためのＮＮモデルを生成するために、知識蒸留法（ＫＤ）と組み合わせたニューラルアーキテクチャ探索（ＮＡＳ）を利用する。ＮＡＳは、物体識別のような特定タスクのためのＮＮアーキテクチャを自動的に探索するために使用される方法である。ＫＤは、前もって訓練済みのＮＮモデルから、この前もって訓練済みのＮＮモデルよりも小さい、すなわち、より少ないニューロンを有する新しいＮＮモデルへ知識を伝達するプロセスである。例えば、いくつかの実施形態では、より小さいＮＮモデルの特定タスクに不必要であると考えられる知識は除外される。ＮＮモデルによって解析される赤緑青（ＲＧＢ）画像の例を用いると、１本の鉛筆のＲＧＢ画像を正確に識別する能力によって車載ＮＮモデルが強化されることはない。このような情報は、車載ＮＮモデルには不要な情報である。そのため、車載ＮＮモデルからこの知識を除外することができる。この結果、車載ＮＮモデルは、車載ＮＮモデルが設計された特定タスクの機能を充分な速度で実施することができ、車両の自律走行時など、車両動作中の物体識別を可能にする。

【0010】

ＮＡＳの手法を用いることにより、ＫＩＴＴＩ（Karlsruhe Institute of Technology an Toyota Technical Institute）データセットやＤＤＡＤ（Dense Depth for Autonomous Driving）データセットなどの生の訓練データに基づくＮＮモデルの訓練と比較して、車載ＮＮモデルの開発に要する時間を短縮することが可能である。加えて、発明者等の知識及び見識の及ぶ限りにおいて、新しいＮＮモデルを単体で訓練した場合と比較して、ＮＡＳ手法を用いることで車載ＮＮモデルの精度が向上する。

【0011】

いくつかの実施形態では、本明細書は、単眼深度分析とも呼ばれるＲＧＢ画像の深度分析に関するものである。受信したＲＧＢ画像に基づいて、車載ＮＮモデルは、識別された物体と車両との間の距離を推定することができる。ＲＧＢ画像を利用することにより、車載ＮＮモデルは、特殊な又は高価なセンサを用いずに車両の周辺環境に関連する情報を分析することができる。いくつかの実施形態では、車載ＮＮモデルは、光検出及び測距（ＬｉＤＡＲ）センサ、音響センサ、又は他の適切なセンサからの点群データなどの追加の情報を処理することができる。

【0012】

図１は、いくつかの実施形態に係る、車載ニューラルネットワーク（ＮＮ）モデルを訓練するための訓練システム１００の概略図である。訓練システム１００は、レイテンシ仕様と精度仕様の両方を満たすことができる車載ＮＮモデルを見つけるために、ＮＡＳプロセスを利用する。レイテンシ仕様は、車載モデルが受信したセンサ情報を処理する速度に関する。精度仕様は、車載ＮＮモデルによる物体識別の誤差の許容範囲に関する。いくつかの実施形態では、レイテンシ仕様又は精度仕様の少なくとも一方は、訓練システム１００のオペレータによって入力される。いくつかの実施形態では、レイテンシ仕様又は精度仕様の少なくとも一方は、車載ＮＮモデルが配備される予定の車載演算システムの既知の処理リソースに基づいて特定される。

【0013】

訓練システム１００は、入力画像１１０を受信する。入力画像１１０は、訓練済みＮＮモデル１２０によって処理され、物体距離情報の第１のヒートマップ１３０を生成する。訓練済みＮＮモデル１２０は、例えば、ＫＩＴＴＩデータセット又はＤＤＡＤデータセットを使用して、前もって訓練されたものである。いくつかの実施形態では、訓練済みＮＮモデル１２０が多数のニューロンを有するため、訓練済みＮＮモデル１２０は深層ＮＮとみなされる。いくつかの実施形態では、訓練済みＮＮモデル１２０が車載ＮＮモデルを訓練するために使用されるため、訓練済みＮＮモデル１２０は教師モデルと呼ばれる。

【0014】

訓練システム１００は、車載ＮＮモデル１４０を更に含む。車載ＮＮモデル１４０は、エンコーダ１４２及びデコーダ１４４を含む。エンコーダ１４２は、入力画像１１０を受信し、物体識別を実行するように構成されている。デコーダ１４４は、物体識別情報を受信し、車両と識別された物体との間の距離を特定するように構成されている。車載ＮＮモデル１４０は、物体距離情報の第２のヒートマップ１５０を出力するように構成されている。

【0015】

訓練システム１００は、エンコーダ１４２によって実行される物体識別プロセスの時間を特定するように構成されたレイテンシ測定装置１６０を更に含む。いくつかの実施形態では、レイテンシ測定装置１６０は、訓練システム１００のクロック測定構成要素又は時間測定構成要素を含む。訓練システム１００は、レイテンシ仕様を格納するように構成されたレイテンシデータベース１７０を更に含む。

【0016】

操作中、訓練システム１００は入力画像１１０を受信する。いくつかの実施形態では、入力画像１１０は、例えば、カメラからのＲＧＢ画像を含む。いくつかの実施形態では、ＲＧＢ画像は高解像度ＲＧＢ画像であり、標準ＲＧＢ画像よりも多くの画素を含み、これによりＲＧＢ画像内のより多くの物体を識別することができる。いくつかの実施形態では、入力画像１１０は、点群、音響情報、又は他の適切な情報など、ＲＧＢ画像以外の情報を含む。いくつかの実施形態では、入力画像１１０は、車両が走行する経路に沿って存在する可能性が高い物体に関連する画像のデータベースから受信される。例えば、車両が自動車であるいくつかの実施形態では、画像は、他の自動車、歩道、交通信号機など、車道に沿って見つけられる可能性が高い物体を含む。車両が製造工場内の車両などの異なる種類の車両であるいくつかの実施形態では、画像は、製造機械などの製造工場内で見つけられる可能性が高い物体を含む。本明細書は車道について論じ、車両として自動車の例を用いるが、当業者には、本願の車両が車道を走行する自動車に限定されないことが理解されるであろう。

【0017】

訓練済みＮＮモデル１２０は、前もって訓練されたＮＮモデルを含む。訓練済みＮＮモデル１２０は、車載モデル１４０よりも多くのニューロンを含む。訓練済みＮＮモデル１２０は、入力画像１１０を受信し、入力画像１１０を解析し、入力画像１１０内の物体までの距離を示す第１のヒートマップ１３０を生成する。例えば、入力画像１１０の右側にある白い自動車は、第１のヒートマップ１３０において、オレンジ色などの明るい色で示されている。これは、白い自動車が入力画像を撮像したセンサの位置が近距離にあることを示す。これに対し、入力画像１１０から見た車道の水平線は非常に暗く、センサから非常に遠い距離であることを示している。第１のヒートマップ１３０は、入力画像１１０内の様々な物体とセンサの位置との距離を特定するために使用できる。当業者には、車両に搭載されたセンサと識別された物体との距離が、車両全体と識別された物体との距離を特定するために使用できることが理解されるであろう。

【0018】

エンコーダ１４２も、訓練済みＮＮモデル１２０と同じ入力画像１１０を受信する。エンコーダ１４２は、入力画像１１０内の物体を識別するために使用されるＮＮを含む。エンコーダ１４２のＮＮは、訓練済みＮＮモデル１２０よりも少ないニューロンを有する。エンコーダ１４２は、検出された物体をデコーダ１４４に出力する。いくつかの実施形態では、エンコーダ１４２は、入力画像１１０の各画素を、車両に衝突リスクをもたらす物体の一部である、又は車両に衝突リスクをもたらす物体の一部ではない、のいずれかとしてラベル付けするために、セマンティックセグメンテーションを実行する。いくつかの実施形態では、エンコーダ１４２は、衝突リスクをもたらす物体の有無を識別するように構成される。エンコーダ１４２がよりロバストであるいくつかの実施形態では、エンコーダ１４２は、入力画像１１０内で検出された物体のいくつかの種類の分類を提供するように構成されている。例えば、いくつかの実施形態では、エンコーダ１４２は、検出された物体が自動車、歩道、交通信号などであるかを識別するように構成されている。エンコーダ１４２によって検出された物体の分類は、例えば自律運転を実施するための車載演算システムによって使用可能なより詳細な情報を提供する。しかしながら、物体の分類にはより多くの処理能力を利用し、入力画像１１０の分析におけるレイテンシを増加させる。いくつかの実施形態では、エンコーダ１４２のロバスト性は、車載モデル１４０が配備される車載演算システムの能力に基づいて設定される。このロバスト性に基づいて、エンコーダ１４２が物体分類を行うか、また、どの程度まで物体分類を行うかが特定される。

【0019】

デコーダ１４４は、エンコーダ１４２から、検出された物体を受信する。デコーダ１４４は、検出された物体を有する画素の各々について、センサから検出された物体までの距離を特定する。これらの距離に基づいて、デコーダ１４４は第２のヒートマップ１５０を生成する。

【0020】

第２のヒートマップ１５０は、第１のヒートマップ１３０と比較され、２つのヒートマップの間の差異が特定される。これらの差異に基づいて、エンコーダ１４２のＮＮ内の重みが更新される。入力画像１１０の受信、第１のヒートマップ１３０及び第２のヒートマップ１５０の生成、並びに、ヒートマップの比較のプロセスは、第２のヒートマップ１５０と第１のヒートマップ１３０との類似度が車載ＮＮモデル１４０の精度仕様を満たすまで繰り返される。このような処理の繰り返しを、車載ＮＮモデル１４０の訓練と呼ぶ。いくつかの実施形態では、車載ＮＮモデル１４０は教師モデルとして機能する訓練済みＮＮモデル１２０から学習しているため、車載ＮＮモデル１４０は生徒モデルと呼ばれる。各反復処理は、エポックと呼ばれる。各エポックは、例えば入力画像データベースからの新しい入力画像１１０で実行される。いくつかの実施形態では、車載ＮＮモデル１４０の訓練は、最大エポック数実行される。車載ＮＮモデル１４０が最大エポック数の訓練後に精度仕様を満たすことができない場合、車載ＮＮモデル１４０が充分な数のニューロンを有するか、又は何らかの他の問題が車載ＮＮモデル１４０と訓練済みＮＮモデル１２０との間の収束を妨げているかどうかを判断するために、車載ＮＮモデル１４０が評価される。いくつかの実施形態では、訓練が最大エポック数に達したことに応じて、車載モデル１４０の訓練継続を試みるために新たな入力画像１１０が訓練システム１００に入力される。

【0021】

また、エンコーダ１４２は、精度仕様を満たすだけでなく、レイテンシ仕様を満たすように設計されている。レイテンシ測定装置１６０は、エンコーダ１４２が入力画像１１０を解析するための時間をエポック毎に特定する。この時間は、エンコーダ１４２のレイテンシと呼ばれる。レイテンシ測定装置１６０からのレイテンシは、レイテンシデータベース１７０からのレイテンシ仕様と比較される。レイテンシ測定装置１６０からのレイテンシが、エンコーダ１４２が配備される車載演算システムのレイテンシ仕様を満たさない場合、エンコーダの訓練は継続される。いくつかの実施形態では、上述した最大エポック数によって、エンコーダ１４２の訓練の継続が制限される。

【0022】

エンコーダ１４２がレイテンシ仕様と精度仕様の両方を満たすと、エンコーダ１４２を含む車載ＮＮモデル１４０は、車載演算システムに配備される準備が整ったことになる。エンコーダ１４２の上記訓練プロセスは、エンコーダ１４２が、前もって訓練されたＮＮモデル１２０に基づいて自動的に訓練されるＮＡＳプロセスを含む。いくつかの実施形態では、車載ＮＮモデル１４０は、車載演算システムへの配備後に更新される。いくつかの実施形態に係る更新基準は後述する。

【0023】

上記の説明では、ＮＡＳプロセスを用いたエンコーダ１４２の訓練に焦点を当てた。当業者には、ＮＡＳプロセスを使用したデコーダ１４４の訓練も可能であることが理解されるであろう。デコーダ１４４の訓練は、デコーダ１４４のレイテンシが測定されるであろうことを除いて、エンコーダ１４２の訓練と同様であろう。いくつかの実施形態では、訓練システム１００は、ＮＡＳプロセスを用いてデコーダ１４４を訓練するために利用される。いくつかの実施形態では、訓練システム１００は、ＮＡＳプロセスを用いてエンコーダ１４２及びデコーダ１４４の両方を訓練するために利用される。

【0024】

ＮＡＳプロセスを用いない他の手法と比較して、訓練システム１００は、優れた精度と優れたレイテンシを有する車載ＮＮモデル１４０を訓練することができる。

【0025】

表１は、訓練システム１００を用いて訓練したＮＮモデルの性能指標を、ＫＩＴＴＩデータセットに基づく既知のＲｅｓＮｅｔ１８モデルと比較したものである。訓練済みモデル１２０としては、ＰａｃｋＮｅｔモデルを用いている。

【表1】

【0026】

表２は、訓練システム１００を用いて訓練したＮＮモデルの性能指標を、ＤＤＡＤデータセットに基づく既知のＲｅｓＮｅｔ１８モデルと比較したものである。訓練済みモデル１２０としては、ＰａｃｋＮｅｔモデルを用いている。

【表2】

【0027】

列の矢印は、数値が大きい方が優位か小さい方が優位かを示す。表１及び表２の１列目は、相対差の絶対値を示す。表１及び表２の２列目は、相対二乗誤差を示す。表１及び表２の３列目は、二乗平均平方根誤差を示す。表１及び表２の４列目は、二乗平均平方根誤差の対数を示す。表１及び表２の８列目はレイテンシを示す。レイテンシはＰａｃｋＮｅｔモデルに基づいて測定されているため、ＰａｃｋＮｅｔのレイテンシは該当がない。

【0028】

表１及び表２は、訓練システム１００を用いて訓練されたＮＮモデルの精度が、全てのカテゴリにおいてＲｅｓＮｅｔ１８モデルと同等又はそれ以上の性能を提供することを実証している。さらに、訓練システム１００を使用して訓練されたＮＮモデルのレイテンシは、ＲｅｓＮｅｔ１８モデルのレイテンシの５０％未満である。このような解析の高速化と精度の向上は、自律走行などの車両機能を実現するために車両に配備するＮＮモデルを、訓練システム１００が容易に訓練するのに役立つ。

【0029】

図２は、いくつかの実施形態に係る、車載ＮＮモデルの訓練、配備、及び実施の方法２００のフローチャートである。方法２００は、車載モデル訓練システム２１０と、車載物体検出システム２３０と、車両操作システム２４０とを用いて実施される。いくつかの実施形態では、車載モデル訓練システム２１０の操作は、訓練システム１００（図１）を用いて実施される。いくつかの実施形態では、車載モデル訓練システム２１０の操作は、訓練システム１００（図１）以外の訓練システムを用いて実施される。車載モデル訓練システム２１０は、操作２１２～２２０を実施する。車載物体検出システム２３０は、操作２３２～２３８を実施する。車両操作システム２４０は、操作２４２～２４６を実施する。車載モデル訓練システム２１０は車両の外部にある。車載物体検出システム２３０及び車両操作システム２４０は、車両の内部にある。いくつかの実施形態では、車載物体検出システム２３０及び車両操作システム２４０の一部は、プロセッサ、メモリ、又は他の適切な構成要素など、車両内の同じ構成要素を用いて実装される。

【0030】

操作２１２において、訓練済みモデルが生成される。いくつかの実施形態では、訓練済みモデルは訓練済みモデル１２０（図１）に相当する。いくつかの実施形態では、訓練済みモデルは訓練済みモデル１２０（図１）とは異なる。いくつかの実施形態では、訓練済みモデルは自己教師あり訓練を使用して生成される。いくつかの実施形態では、訓練済みモデルはＫＩＴＴＩ又はＤＤＡＤデータセットを用いて訓練される。訓練済みモデルは、入力センサデータに基づく物体識別が可能である。いくつかの実施形態では、入力センサデータはＲＧＢ画像データを含む。いくつかの実施形態では、入力センサデータは、点群データ、音響データ、又は他の適切な入力センサデータなどの追加のセンサデータを更に含む。

【0031】

操作２１４では、車載物体検出システム２３０の演算能力が特定される。演算能力は、車載物体検出システム２３０が処理することが可能な処理負荷を示す。いくつかの実施形態では、インベントリデータベースからのような、車載物体検出システム２３０の構成要素に関するデータに基づいて、演算能力が自動的に特定される。いくつかの実施形態では、ユーザからの入力に基づいて、演算能力が特定される。いくつかの実施形態では、車載物体検出システム２３０の性能に関連する経験的データに基づいて、演算能力が特定される。

【0032】

操作２１６では、車載物体検出システム２３０のレイテンシ許容度が特定される。レイテンシ許容度は、車載物体検出システム２３０及び車両操作システム２４０が衝突のリスクを閾値以下に維持しながら許容できる遅延量を示す。いくつかの実施形態では、インベントリデータベースからのような、車載物体検出システム２３０及び車両操作システム２４０の構成要素に関するデータに基づいて、レイテンシ許容度が自動的に特定される。いくつかの実施形態では、ユーザからの入力に基づいて、レイテンシ許容度が特定される。いくつかの実施形態では、車載物体検出システム２３０及び車両操作システム２４０の性能に関連する経験的データに基づいて、レイテンシ許容度が特定される。

【0033】

操作２１８では、車載モデルが訓練される。いくつかの実施形態では、車載モデルは、ＫＤを含むＮＡＳプロセスを使用して訓練される。いくつかの実施形態では、車載モデルは、操作２１２で生成された訓練済みモデルを用いて訓練される。いくつかの実施形態では、車載モデルは、車載物体検出システム２３０の演算能力及び車載物体検出システム２３０のレイテンシ許容度を満たすように訓練される。いくつかの実施形態では、車載モデルの訓練は、工程２２０と２３２との間で実行される車両モデルの再訓練（図示せず）と比較して、訓練データのより小さいサブセットを使用する。いくつかの実施形態では、操作２１８における車載モデルの訓練は、車両モデルの再訓練よりも短い時間実行される。より少ないデータの使用又はより短い訓練時間は、ＮＡＳプロセスの速度を向上させるのに役立つ。いくつかの実施形態では、車載モデルは車載ＮＮモデル１４０（図１）に相当する。いくつかの実施形態では、車載モデルは車載モデル１４０（図１）とは異なる。

【0034】

操作２２０において、訓練された車載モデルが演算能力及びレイテンシ許容度を満たすかどうかに関する判断が行われる。訓練された車載モデルが演算能力又はレイテンシ許容度のいずれかを満たさないという判断に応じて、方法２００は操作２１８に戻り、車載モデルの更なる修正が実行される。いくつかの実施形態では、更なる修正はユーザによる介入を含む。訓練された車載モデルが演算能力及びレイテンシ許容度を満たすという判断に応じて、方法２００は操作２３２に進む。

【0035】

操作２３２において、車載モデルは、車載物体検出システム２３０に配備される。車載モデルは、車載モデル訓練システム２１０から車載物体検出システム２３０に訓練された車載モデルを送信すること、及び、車載物体検出システム２３０に訓練された車載モデルを格納することによって配備される。いくつかの実施形態では、訓練された車載モデルは、車載物体検出システム２３０に無線で送信される。いくつかの実施形態では、訓練された車載モデルは、車載物体検出システム２３０に有線接続を介して送信される。いくつかの実施形態では、訓練された車載モデルは、車載モデル訓練システム２１０によって非一時的なコンピュータ可読媒体に格納され、その後、非一時的なコンピュータ可読媒体は、車載物体検出システム２３０に物理的に転送される。いくつかの実施形態では、訓練された車載モデルは、非一時的なコンピュータ可読媒体から車載物体検出システム２３０内のメモリに転送される。いくつかの実施形態では、非一時的なコンピュータ可読媒体は、車載物体検出システム２３０にインストールされる。車載モデルは、車載物体検出システム２３０内のプロセッサを使用して実行される。

【0036】

操作２３４において、センサデータは車載センサから受信される。いくつかの実施形態では、センサデータは、カメラからのＲＧＢ画像データを含む。いくつかの実施形態では、ＲＧＢ画像データは高解像度ＲＧＢ画像データである。いくつかの実施形態では、センサデータは、点群データ、音響データ、又は他の適切なセンサデータなどの追加情報を含む。いくつかの実施形態では、センサデータは単一の車載センサから受信される。いくつかの実施形態では、センサデータは、複数の車載センサから受信される。

【0037】

いくつかの実施形態では、車載物体検出システム２３０は、検出された車両の動作に基づいて、特定のセンサからセンサデータを受信するように構成される。例えば、いくつかの実施形態では、車載物体検出システム２３０は、車両トランスミッションがドライブであることに応じて、車両の前側の車載センサのみからセンサデータを受信するように構成される。いくつかの実施形態では、車載物体検出システム２３０は、車両トランスミッションがリバースであることに応じて、車両の後側の車載センサのみからセンサデータを受信するように構成される。いくつかの実施形態では、車載物体検出システム２３０は、車両の方向指示器が作動していることに応じて、車両の側部の車載センサからセンサデータを受信するように構成される。車載物体検出システム２３０が受信するセンサデータの量を減らすことで、車載物体検出システム２３０の処理負荷が軽減される。

【0038】

操作２３６において、車両から検出された物体までの距離が特定される。車両からの距離は、全ての検出された物体について特定される。いくつかの実施形態では、車両からの距離は、エンコーダ１４２（図１）などのエンコーダを使用して、セマンティックセグメンテーションを実行し、次に、デコーダ１４４（図１）などのデコーダを使用して、物体を含むセンサデータの各画素の車両に対する距離の特定を実行することによって、特定される。

【0039】

いくつかの実施形態では、車載物体検出システム２３０は、全てのセンサよりも少ないセンサからのセンサデータを処理するように構成される。例えば、いくつかの実施形態では、車載物体検出システム２３０は、車両トランスミッションがドライブであることに応じて、車両の前側の車載センサのみからのセンサデータを処理するように構成される。いくつかの実施形態では、車載物体検出システム２３０は、車両トランスミッションがリバースであることに応じて、車両の後側の車載センサのみからのセンサデータを処理するように構成される。いくつかの実施形態では、車載物体検出システム２３０は、車両の方向指示器が作動していることに応じて、車両の側部の車載センサからのセンサデータを処理するように構成される。車載物体検出システム２３０によって処理されるセンサデータの量を減らすことで、車載物体検出システム２３０の処理負荷が軽減される。

【0040】

いくつかの実施形態では、車載物体検出システム２３０は、車載センサの全てよりも少ないセンサデータを受信し、受信したセンサデータの全てよりも少ないセンサデータを処理する。例えば、いくつかの実施形態では、車載物体検出システム２３０は、車両トランスミッションがドライブの際、車両の前部及び側部のセンサからセンサデータを受信するように構成される。いくつかの実施形態では、車載物体検出システム２３０は、車両の方向指示器が作動していることに応じて、作動された方向指示器によって示される方向と反対側の車両の側部のセンサからのセンサデータの処理を停止するように構成されている。

【0041】

操作２３６に続いて、方法２００は操作２３８と操作２４２の両方に進む。

【0042】

操作２３８において、所定の条件を満たすかに関する判断が行われる。所定の条件は、車載モデルの更新を開始するための条件を含む。いくつかの実施形態では、車載モデルの更新は、車載モデル訓練システム２１０による車載モデルの再訓練を要求すること、又は、車載モデル訓練システム２１０から新しい車載モデルを受信することを含む。いくつかの実施形態では、所定の条件は、車載モデルが車載物体検出システム２３０に配備されてからの所定期間が経過したことを含む。いくつかの実施形態では、所定期間は５時間から５日の範囲である。いくつかの実施形態では、所定の条件は車両内で検出された事象を含む。例えば、いくつかの実施形態では、検出された事象は、車両のトランスミッションがパークにあること、車両のバッテリーの取り外し、車両の充電の検出、又は、他の適切な検出された事象を含む。いくつかの実施形態では、所定の条件は要因の組合せを含む。例えば、いくつかの実施形態では、車両の動作中は、車載モデルの更新が防止される。したがって、いくつかの実施形態では、車両のトランスミッションがパークにあること及び所定時間が経過したことを検出することに応じて所定の条件が満たされる。

【0043】

所定の条件が満たされたとの判断に応じて、方法２００は操作２１８に戻る。いくつかの実施形態では、更新された又は新しい車載モデルの要求は、車載モデル訓練システム２１０に送信される。いくつかの実施形態では、要求は無線で送信される。いくつかの実施形態では、要求は有線接続を介して送信される。所定の条件が満たされていないという判断に応じて、方法２００は操作２３８を繰り返す。

【0044】

操作２４２では、操作２３６からの距離情報が車両操作システム２４０に送信され、検出された物体を回避するためのステアリング、ブレーキ及びパワートレイン操作の命令が生成される。いくつかの実施形態では、距離情報は無線で送信される。いくつかの実施形態では、距離情報は有線接続を介して送信される。

【0045】

プロセッサは、例えばＧＰＳシステムによって特定された車両の現在位置、例えば車両操作システム２４０内に記憶された地図に基づいて特定された車道の経路、及び、車載物体検出システム２３０から受信した検出された物体との距離に基づいて、車両の計画された軌道を特定する。計画された軌道に基づいて、プロセッサは、ブレーキ、車両のパワートレイン、又はその両方を用いて車両の速度を調整するかを特定する。プロセッサは、計画された軌道に基づいて、ステアリングの量とステアリングの方向とを更に特定する。プロセッサは、計画された軌道を実行するために、車両のブレーキシステム、パワートレインシステム、及びステアリングシステムによって読み取り可能な命令を生成する。

【0046】

操作２４４において、生成された命令は、車両のブレーキシステム、パワートレインシステム、及びステアリングシステムに送信される。いくつかの実施形態では、命令は無線で送信される。いくつかの実施形態では、命令は有線接続を介して送信される。

【0047】

操作２４６において、車両のブレーキシステム、パワートレインシステム、及びステアリングシステムは、計画された軌道に沿って車両を操縦するために、受信した命令を実施した。

【0048】

他の手法と比較して、方法２００におけるＮＡＳプロセス及びＫＤの使用は、優れた精度及びレイテンシを有する車載モデルを生成する。その結果、他の手法と比較して、車道沿いの物体との衝突のリスクを大幅に低減することが可能となる。

【0049】

図３は、いくつかの実施形態による、車載ＮＮモデルを実装するシステム３００の模式図である。システム３００はセンサデータ３１０を受信する。システム３００は、車載ＮＮモデル３２２を含む物体検出部３２０を利用して、物体の有無３３０、物体の種類３３２、及び、物体の位置３３４に関する特定を出力する。いくつかの実施形態では、物体検出部３２０の処理負荷を軽減するために、物体の種類３３２は省略される。

【0050】

いくつかの実施形態では、センサデータは、操作２３４（図２）において受信されたセンサデータを含む。いくつかの実施形態では、物体検出部３２０はプロセッサとメモリとを含む。車載ＮＮモデル３２２は、受信したセンサデータ３１０に基づいて物体識別を実施するために、メモリ上に格納され、プロセッサによって実行される。いくつかの実施形態では、車載ＮＮモデルは、車載ＮＮモデル１４０（図１）に相当する。いくつかの実施形態では、車載ＮＮモデルは、車載物体検出システム２３０（図２）に配備される訓練された車載モデルに相当する。いくつかの実施形態では、車載ＮＮモデルは、図１及び図２を参照して説明した車載モデルとは異なる。

【0051】

いくつかの実施形態では、物体検出部３２０は、例えば、エンコーダ１４２（図１）などのエンコーダを使用したセマンティックセグメンテーションに基づいて、センサデータ３１０における物体の有無３３０を特定するように構成される。いくつかの実施形態では、物体検出部３２０は、車載ＮＮモデル３２２を使用した物体の分類に基づいて、センサデータ３１０内の物体の種類３３２を特定するように構成される。いくつかの実施形態では、物体検出部３２０は、デコーダ、例えば、デコーダ１４４（図１）を用いて物体の位置３３４を特定するように構成される。

【0052】

図４は、いくつかの実施形態に係る、車載ＮＮモデルを訓練又は実施するためのシステム４００の概略図である。システム４００は、ハードウェアプロセッサ４０２と、コンピュータプログラムコード４０６すなわち実行可能な命令セットがエンコードされた、すなわち、これらを格納する、非一時的なコンピュータ可読記憶媒体４０４と、を含む。コンピュータ可読記憶媒体４０４はまた、車載ＮＮモデルを訓練又は実施するための外部装置とインタフェースで接続するための命令４０７でエンコードされている。プロセッサ４０２は、バス４０８を介してコンピュータ可読記憶媒体４０４に電気的に接続されている。プロセッサ４０２はまた、バス４０８によって入出力インタフェース４１０に電気的に結合されている。ネットワークインタフェース４１２もまた、バス４０８を介してプロセッサ４０２に電気的に接続されている。ネットワークインタフェース４１２はネットワーク４１４に接続されており、プロセッサ４０２及びコンピュータ可読記憶媒体４０４は、ネットワーク４１４を介して外部要素に接続することができる。プロセッサ４０２は、訓練システム１００（図１）、方法２００（図２）、又はシステム３００（図３）で説明したような操作の一部又は全てを実行するためにシステム４００を使用可能にするため、コンピュータ可読記憶媒体４０４のエンコードされたコンピュータプログラムコード４０６を実行するよう構成される。

【0053】

いくつかの実施形態では、プロセッサ４０２は、中央処理装置（ＣＰＵ）、マルチプロセッサ、分散処理システム、特定用途向け集積回路（ＡＳＩＣ）、及び／又は、適切な処理装置である。

【0054】

いくつかの実施形態では、コンピュータ可読記憶媒体４０４は、電子、磁気、光学、電磁気、赤外線、及び／又は、半導体システム（若しくは装置若しくはデバイス）である。例えば、コンピュータ可読記憶媒体４０４は、半導体若しくはソリッドステートメモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、硬質磁気ディスク、及び／又は、光ディスクを含む。光ディスクを使用するいくつかの実施形態では、コンピュータ可読記憶媒体４０４は、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、コンパクトディスク読み取り／書き込み（ＣＤ－Ｒ／Ｗ）、及び／又は、デジタルビデオディスク（ＤＶＤ）を含む。

【0055】

いくつかの実施形態では、記憶媒体４０４は、訓練システム１００（図１）、方法２００（図２）、若しくはシステム３００（図３）で説明されるような操作の一部又は全部をシステム４００に実行させるように構成されたコンピュータプログラムコード４０６を記憶している。いくつかの実施形態では、記憶媒体４０４は、訓練システム１００（図１）、方法２００（図２）、若しくはシステム３００（図３）において説明されるような操作の一部又は全部を実行するために必要な情報、並びに、訓練システム１００（図１）、方法２００（図２）、若しくはシステム３００（図３）において説明されるような操作の一部又は全部を実行中に発生する情報、例えば、センサデータパラメータ４１６、車載モデルパラメータ４１８、物体データパラメータ４２０、外部装置とインタフェースで接続するための命令プロトコルパラメータ４２２及び／若しくは訓練システム１００（図１）、方法２００（図２）、若しくはシステム３００（図３）において説明されるような操作のうちの一部又は全部の操作を行う実行可能な命令セットなども記憶する。

【0056】

いくつかの実施形態では、記憶媒体４０４は、外部装置とインタフェースで接続するための命令４０７を格納する。命令４０７は、プロセッサ４０２が、訓練システム１００（図１）、方法２００（図２）、若しくはシステム３００（図３）で説明されるような操作の一部又は全部を効果的に実施するために、外部装置によって読み取り可能な命令を生成することを可能にする。

【0057】

システム４００は、入出力インタフェース４１０を含む。入出力インタフェース４１０は、外部回路に結合される。いくつかの実施形態では、入出力インタフェース４１０は、プロセッサ４０２に情報及びコマンドを伝達するためのキーボード、キーパッド、マウス、トラックボール、トラックパッド、及び／又はカーソル方向キーを含む。

【0058】

システム４００はまた、プロセッサ４０２に結合されたネットワークインタフェース４１２も含む。ネットワークインタフェース４１２は、システム４００が、１つ又は複数の他のコンピュータシステムが接続されているネットワーク４１４と通信することを可能にする。ネットワークインタフェース４１２は、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＷＩＦＩ（登録商標）、ＷＩＭＡＸ（登録商標）、ＧＰＲＳ、若しくはＷＣＤＭＡ（登録商標）などの無線ネットワークインタフェース、又は、ＥＴＨＥＲＮＥＴ（登録商標）、ＵＳＢ、若しくはＩＥＥＥ１３９４などの有線ネットワークインタフェースなどを含む。いくつかの実施形態では、訓練システム１００（図１）、方法２００（図２）、若しくはシステム３００（図３）で説明されるような操作の一部又は全部は、２つ以上のシステム４００で実施され、センサデータ、車載モード、物体データ、若しくは命令プロトコルなどの情報は、ネットワーク４１４を介して異なるシステム４００間で送受信される。

【0059】

本明細書の一態様は、車載モデル訓練システムに関するものである。車載モデル訓練システムは、命令を格納するように構成された非一時的なコンピュータ可読媒体を含む。車載モデル訓練システムは、非一時的なコンピュータ可読媒体に接続されたプロセッサを更に含む。プロセッサは、入力画像を受信するための命令を実行するように構成されている。プロセッサは、少なくとも１つの物体を識別するために、受信した入力画像に対して、エンコーダを使用して物体検出を行うための命令を実行するように構成され、エンコーダは車載ニューラルネットワーク（ＮＮ）モデルを含んでいる。プロセッサは、前記少なくとも１つの物体の各々に対する距離を特定するための命令を実行するように構成される。プロセッサは、少なくとも１つの物体の各々までの特定された距離に基づいて第１のヒートマップを生成するための命令を実行するように構成される。プロセッサは、第１のヒートマップを、訓練済みニューラルネットワーク（ＮＮ）によって生成された第２のヒートマップと比較するための命令を実行するように構成される。プロセッサは、第１のヒートマップと第２のヒートマップとの差異に基づいて車載ＮＮモデルを更新するための命令を実行するように構成される。プロセッサは、エンコーダのレイテンシがレイテンシ仕様を満たすかを判断するための命令を実行するように構成される。プロセッサは、レイテンシがレイテンシ仕様を満たし、かつ、第１のヒートマップと第２のヒートマップとの差異が精度仕様を満たすことに応じて、車載ＮＮモデルを出力するための命令を実行するように構成される。いくつかの実施形態では、プロセッサは、セマンティックセグメンテーションを使用して物体検出を行うための命令を実行するように更に構成される。いくつかの実施形態では、プロセッサは、入力画像が赤緑青（ＲＧＢ）画像を含むことを受信するための命令を実行するように更に構成される。いくつかの実施形態では、プロセッサは、外部装置からレイテンシ仕様及び精度仕様を受信するための命令を実行するように更に構成される。いくつかの実施形態では、プロセッサは、訓練済みＮＮよりも少ないニューロンを有する車載ＮＮモデルを用いた物体検出を実行するための命令を実行するように更に構成される。いくつかの実施形態では、プロセッサは、デコーダを使用して少なくとも１つの物体の各々への距離を特定するための命令を実行するように更に構成される。いくつかの実施形態では、プロセッサは、第１のヒートマップと第２のヒートマップとの差異に基づいてデコーダを更新するための命令を実行するように更に構成される。いくつかの実施形態では、プロセッサは、車載モデル訓練システムに車載ＮＮモデルを車両に無線送信させることによって車載ＮＮモデルを出力させるための命令を実行するように更に構成される。

【0060】

本明細書の一態様は、車載モデル訓練方法に関する。本方法は、入力画像を受信することを含む。本方法は、少なくとも１つの物体を識別するために、受信した入力画像に対して、エンコーダを用いて物体検出を行うことを更に含み、エンコーダは、車載ニューラルネットワーク（ＮＮ）モデルを含む。本方法は、少なくとも１つの物体の各々に対する距離を特定することを更に含む。本方法は、少なくとも１つの物体の各々に対する特定された距離に基づいて、第１のヒートマップを生成することを更に含む。本方法は、第１のヒートマップを、訓練済みニューラルネットワーク（ＮＮ）により生成された第２のヒートマップと比較することを更に含む。本方法は、第１のヒートマップと第２のヒートマップとの差異に基づいて車載ＮＮモデルを更新することを更に含む。本方法は、エンコーダのレイテンシがレイテンシ仕様を満たすかを判断することを更に含む。本方法は、レイテンシがレイテンシ仕様を満たし、かつ、第１のヒートマップと第２のヒートマップとの差異が精度仕様を満たすことに応じて、車載ＮＮモデルを出力することを更に含む。いくつかの実施形態では、物体検出を実行することは、セマンティックセグメンテーションを使用することを含む。いくつかの実施形態では、入力画像を受信することは、赤緑青（ＲＧＢ）画像を受信することを含む。いくつかの実施形態では、本方法は、外部装置からレイテンシ仕様及び精度仕様を受信することを更に含む。いくつかの実施形態では、物体検出を実施することは、訓練済みＮＮよりも少ないニューロンを有する車載ＮＮモデルを使用することを含む。いくつかの実施形態では、少なくとも１つの物体の各々への距離を特定することは、デコーダを使用することを含む。いくつかの実施形態では、本方法は、第１のヒートマップと第２のヒートマップとの差異に基づいてデコーダを更新することを更に含む。いくつかの実施形態では、車載ＮＮモデルを出力することは、車載ＮＮモデルを車両に無線で送信することを含む。

【0061】

本明細書の一態様は、命令を格納するように構成する非一時的なコンピュータ可読媒体に関するものである。命令は、プロセッサによって実行されると、プロセッサに入力画像を受信させる。命令は更に、プロセッサに、少なくとも１つの物体を識別するために、受信した入力画像に対してエンコーダを使用して物体検出を実行させ、エンコーダは車載ニューラルネットワーク（ＮＮ）モデルを含む。命令は、更に、プロセッサに、少なくとも１つの物体の各々に対する距離を特定させる。命令は、更に、プロセッサに、少なくとも１つの物体の各々に対する特定された距離に基づいて、第１のヒートマップを生成させる。命令は、更に、プロセッサに、第１のヒートマップと、訓練済みニューラルネットワーク（ＮＮ）によって生成された第２のヒートマップとを比較させる。命令は、更に、プロセッサに、第１のヒートマップと第２のヒートマップとの差異に基づいて車載ＮＮモデルを更新させる。命令は、更に、プロセッサに、エンコーダのレイテンシがレイテンシ仕様を満たすかを判断させる。命令は、更に、プロセッサに、レイテンシがレイテンシ仕様を満たし、かつ、第１のヒートマップと第２のヒートマップとの差異が精度仕様を満たすことに応じて、車載ＮＮモデルを出力させる。いくつかの実施形態では、命令は、プロセッサに、入力画像として赤緑青（ＲＧＢ）画像を受信させるように構成される。いくつかの実施形態では、命令は、プロセッサに、訓練済みＮＮよりも少ないニューロンを有する車載ＮＮモデルを用いて物体検出を実行させるように構成される。いくつかの実施形態では、命令は、プロセッサに、車載モデル訓練システムを以って車載ＮＮモデルを車両に無線送信させるように構成される。

【0062】

上記は、当業者が本開示の態様をより良く理解できるように、いくつかの実施形態の特徴を概説したものである。当業者は、本明細書に導入された実施形態の同じ目的を遂行し、並びに／又は、同じ利点を達成するための他のプロセス及び構造を設計若しくは修正するための基礎として、本開示を容易に使用し得ることを理解するはずである。また、当業者は、そのような同等の構造が本開示の精神及び範囲から逸脱しないこと、並びに、本開示の精神及び範囲から逸脱することなく本明細書に様々な変更、置換、及び改変を行い得ることを理解するはずである。

【図1】

【図2】

【図3】

【図4】

【外国語明細書】