特開 2024-56653 オブジェクト検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024056653

(43)【公開日】2024-04-23

(54)【発明の名称】オブジェクト検出システム

(51)【国際特許分類】

   B60W 30/08 20120101AFI20240416BHJP

   B60W 40/02 20060101ALI20240416BHJP

   B60W 50/14 20200101ALI20240416BHJP

【ＦＩ】

B60W30/08

B60W40/02

B60W50/14

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023175057

(22)【出願日】2023-10-10

(31)【優先権主張番号】17/963,460

(32)【優先日】2022-10-11

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】507342261

【氏名又は名称】トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】エムラ エイキン シスボット

(72)【発明者】

【氏名】セイハン ウチャル

(72)【発明者】

【氏名】樋口 雄大

(72)【発明者】

【氏名】劉 永康

(72)【発明者】

【氏名】尾口 健太郎

【テーマコード（参考）】

3D241

【Ｆターム（参考）】

3D241BA31

3D241BA57

3D241CC01

3D241CE05

3D241DA52Z

3D241DB02Z

3D241DB05Z

3D241DB12Z

(57)【要約】

【課題】車両についてのオブジェクト検出システムを提供すること。
【解決手段】車両についてのオブジェクト検出システムは、プロセッサと、プロセッサに通信可能に接続されたメモリと、を含む。メモリは、命令を記憶し、当該命令は、プロセッサによって実行されると、プロセッサに、車両の乗員によって設定される優先度の割り当てを受信させる。優先度の割り当ては、少なくとも１つの警告特性のカスタマイズに対応する。少なくとも１つの警告特性は、距離閾値を含む。命令はまた、プロセッサに、車両の外部環境におけるオブジェクトを検出させて、優先度の割り当てをオブジェクトに適用させる。命令は更に、プロセッサに、少なくとも１つの警告特性に従って警告を出させる。距離閾値に従って、車両からオブジェクトまでの距離が距離閾値を満たす場合に警告が出される。
【選択図】図２

【特許請求の範囲】

【請求項1】

オブジェクト検出システムであって、
プロセッサと、
前記プロセッサに通信可能に接続されており、命令を記憶するメモリであって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
車両の乗員によって設定される優先度の割り当てを受信させ、前記優先度の割り当ては、少なくとも１つの警告特性のカスタマイズに対応し、前記少なくとも１つの警告特性は、距離閾値を含み、
前記車両の外部環境におけるオブジェクトを検出させ、
前記優先度の割り当てを前記オブジェクトに適用させ、
前記少なくとも１つの警告特性に従って警告を出させ、前記距離閾値に従って、前記車両から前記オブジェクトまでの距離が前記距離閾値を満たす場合に前記警告が出される、メモリと、
を備える、オブジェクト検出システム。

【請求項2】

前記優先度の割り当ては、オブジェクト分類に対して前記乗員によって設定され、前記命令は更に、前記プロセッサに、前記オブジェクトが前記オブジェクト分類内に入る場合に前記優先度の割り当てを前記オブジェクトに適用させる、請求項１に記載のオブジェクト検出システム。

【請求項3】

前記オブジェクト分類は、木、木の枝、スピードバンプ、破片、縁石、壁、バリケード、車両、歩行者、自転車に乗っている人、及びショッピングカートのうちの少なくとも１つである、請求項２に記載のオブジェクト検出システム。

【請求項4】

前記優先度の割り当ては、特定のオブジェクトに対して前記乗員によって設定され、前記命令は更に、前記プロセッサに、前記オブジェクトが前記特定のオブジェクトである場合に前記優先度の割り当てを前記オブジェクトに適用させる、請求項１に記載のオブジェクト検出システム。

【請求項5】

前記優先度の割り当ては、オブジェクト位置に対して前記乗員によって設定され、前記命令は更に、前記プロセッサに、前記オブジェクトが前記オブジェクト位置にある場合に前記優先度の割り当てを前記オブジェクトに適用させる、請求項１に記載のオブジェクト検出システム。

【請求項6】

前記優先度の割り当ては、低優先度から高優先度までの優先度の割り当ての範囲における優先度の割り当てであって、前記距離閾値は、前記優先度の割り当てが低優先度から高優先度に増加すると増加する、請求項１に記載のオブジェクト検出システム。

【請求項7】

前記命令は更に、前記プロセッサに、オブジェクト分類を優先度の割り当てに関連付ける入力を有する履歴データのデータベースを作成させ、前記命令は更に、前記プロセッサに、前記履歴データに基づいて検出オブジェクトの前記優先度の割り当てを予測させる、請求項１に記載のオブジェクト検出システム。

【請求項8】

前記少なくとも１つの警告特性は、警告タイプ、警告強度、及び警告位置のうちの少なくとも１つを含む、請求項１に記載のオブジェクト検出システム。

【請求項9】

前記命令は更に、前記プロセッサに、前記車両の前記外部環境をグレースケールで表示させ、前記警告を出すことは、前記オブジェクトをカラーで表示することを含む、請求項１に記載のオブジェクト検出システム。

【請求項10】

前記命令は更に、前記プロセッサに、
前記車両に取り付けられた単眼カメラによって取得される少なくとも１つの単眼カメラ画像を使用して前記オブジェクトを検出させ、
前記少なくとも１つの単眼カメラ画像に基づいて生成される深度マップを使用して前記車両から前記オブジェクトまでの前記距離を決定させる、請求項１に記載のオブジェクト検出システム。

【請求項11】

オブジェクト検出システムを動作させる方法であって、前記方法は、
車両の乗員によって設定される優先度の割り当てを受信することであって、前記優先度の割り当ては、少なくとも１つの警告特性のカスタマイズに対応し、前記少なくとも１つの警告特性は、距離閾値を含む、ということと、
前記車両の外部環境におけるオブジェクトを検出することと、
前記優先度の割り当てを前記オブジェクトに適用することと、
前記少なくとも１つの警告特性に従って警告を出すことであって、前記距離閾値に従って、前記車両から前記オブジェクトまでの距離が前記距離閾値を満たす場合に前記警告が出される、ということと、
を含む、方法。

【請求項12】

車両の乗員によって設定される優先度の割り当てを受信することは、オブジェクト分類に対して前記乗員によって設定される優先度の割り当てを受信することを含み、前記優先度の割り当てを前記オブジェクトに適用することは、前記オブジェクトが前記オブジェクト分類内に入る場合に前記優先度の割り当てを前記オブジェクトに適用することを含む、請求項１１に記載の方法。

【請求項13】

前記オブジェクト分類は、木、木の枝、スピードバンプ、破片、縁石、壁、バリケード、車両、歩行者、自転車に乗っている人、及びショッピングカートのうちの少なくとも１つである、請求項１２に記載の方法。

【請求項14】

車両の乗員によって設定される優先度の割り当てを受信することは、特定のオブジェクトに対して前記乗員によって設定される優先度の割り当てを受信することを含み、前記優先度の割り当てを前記オブジェクトに適用することは、前記オブジェクトが前記特定のオブジェクトである場合に前記優先度の割り当てを前記オブジェクトに適用することを含む、請求項１１に記載の方法。

【請求項15】

車両の乗員によって設定される優先度の割り当てを受信することは、オブジェクト位置に対して前記乗員によって設定される優先度の割り当てを受信することを含み、前記優先度の割り当てを前記オブジェクトに適用することは、前記オブジェクトが前記オブジェクト位置にある場合に前記優先度の割り当てを前記オブジェクトに適用することを含む、請求項１１に記載の方法。

【請求項16】

前記優先度の割り当ては、低優先度から高優先度までの優先度の割り当ての範囲における優先度の割り当てであって、前記距離閾値は、前記優先度の割り当てが低優先度から高優先度に増加すると増加する、請求項１１に記載の方法。

【請求項17】

オブジェクト分類を優先度の割り当てに関連付ける入力を有する履歴データのデータベースを作成することと、
前記履歴データに基づいて検出オブジェクトの前記優先度の割り当てを予測することと、
を更に含む、請求項１１に記載の方法。

【請求項18】

前記少なくとも１つの警告特性は、警告タイプ、警告強度、及び警告位置のうちの少なくとも１つを含む、請求項１１に記載の方法。

【請求項19】

前記車両の前記外部環境をグレースケールで表示することを更に含み、前記警告を出すことは、前記オブジェクトをカラーで表示することを含む、請求項１１に記載の方法。

【請求項20】

前記車両に取り付けられた単眼カメラによって取得される少なくとも１つの単眼カメラ画像を使用して前記オブジェクトを検出することと、
前記少なくとも１つの単眼カメラ画像に基づいて生成される深度マップを使用して前記車両から前記オブジェクトまでの前記距離を決定することと、
を更に含む、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書に開示される実施形態は、車両についてのオブジェクト検出システムに関し、より具体的には、車両の乗員によってカスタマイズ可能な車両についてのオブジェクト検出システムに関する。

【背景技術】

【0002】

一部の車両は、車両の近くの１つ以上のオブジェクトを検出して、車両がオブジェクトに近いときに警告を車両の乗員に提供するオブジェクト検出システムを含む。このようなオブジェクト検出システムは、オブジェクトを検出する様々なタイプのセンサ、例えば、カメラ、ソナー（ＳＯＮＡＲ）センサ、ライダ（ＬＩＤＡＲ）センサ、及び／又はレーダ（ＲＡＤＡＲ）センサを使用する場合があって、当該様々なタイプのセンサは、オブジェクトの存在を検出して、オブジェクトまでの距離を決定し得る。一部の機構では、当該オブジェクト検出システムは、オブジェクトを含む車両の周囲のライブビューを表示することができ、例えば、ライブカメラビューが、車両のユーザインターフェース上に表示される。更に、当該オブジェクト検出システムは、車両と検出オブジェクトとの間の距離に関する情報を車両の乗員に提供し得る。

【発明の概要】

【0003】

車両についてのオブジェクト検出システム、及び車両についてのオブジェクト検出システムを動作させる方法の実施形態が本明細書に開示される。

【0004】

一態様では、オブジェクト検出システムが開示される。オブジェクト検出システムは、プロセッサと、プロセッサに通信可能に接続されたメモリと、を含む。メモリは、命令を記憶し、当該命令は、プロセッサによって実行されると、プロセッサに、車両の乗員によって設定される優先度の割り当てを受信させる。優先度の割り当ては、少なくとも１つの警告特性のカスタマイズに対応する。少なくとも１つの警告特性は、距離閾値を含む。命令はまた、プロセッサに、車両の外部環境におけるオブジェクトを検出させて、優先度の割り当てをオブジェクトに適用させる。命令は更に、プロセッサに、少なくとも１つの警告特性に従って警告を出させる。距離閾値に従って、車両からオブジェクトまでの距離が距離閾値を満たす場合に警告が出される。

【0005】

別の態様では、オブジェクト検出システムを動作させる方法が開示される。当該方法は、車両の乗員によって設定される優先度の割り当てを受信することを含む。優先度の割り当ては、少なくとも１つの警告特性のカスタマイズに対応する。少なくとも１つの警告特性は、距離閾値を含む。当該方法はまた、車両の外部環境におけるオブジェクトを検出することと、優先度の割り当てをオブジェクトに適用することと、を含む。当該方法は更に、少なくとも１つの警告特性に従って警告を出すことを含む。距離閾値に従って、車両からオブジェクトまでの距離が距離閾値を満たす場合に警告が出される。

【0006】

これらの態様及び他の態様は、以下で更に詳細に記載される。

【図面の簡単な説明】

【0007】

本実施形態の様々な特徴、利点、及び他の用途は、以下の詳細な説明及び図面を参照することによってより明らかになる。

【0008】

【図1】オブジェクト検出システムを有する車両の例を示す図である。

【図2】オブジェクトの１つ以上のクラスに優先度を割り当てることによってオブジェクト検出システムの１つ以上の警告特性をカスタマイズするために乗員が使用し得る車両のユーザインターフェースの例を示す図である。

【図3A】車両がバックして私道から出ていき、私道内のオブジェクトがオブジェクト検出システムによって検出される例を示す図である。

【図3B】図３Ａにおいて検出されるオブジェクトに関してオブジェクト検出システムによって出される警告の例を示す図である。

【図4A】車両が家のガレージに駐車していて、家のガレージ内のオブジェクトがオブジェクト検出システムによって検出される例を示す図である。

【図4B】図４Ａにおいて検出されるオブジェクトに対する優先度の割り当ての例を示す図である。

【図4C】図４Ａにおいて検出されるオブジェクトに関してオブジェクト検出システムによって出される警告の例を示す図である。

【図5】オブジェクト位置に対する優先度の割り当ての例を示す図である。

【図6A】車両に取り付けられた単眼カメラによって捕捉された単眼カメラ画像の例を示す図である。

【図6B】図５Ａの単眼カメラ画像に基づいて生成された深度マップの例を示す図である。

【図7】単眼深度推定システムの例を示す図である。

【図8】オブジェクト検出システムを動作させる方法の例を示す図である。

【図9】履歴データに基づいてオブジェクトの優先度の割り当てを予測する方法の例を示す図である。

【図10】図１０は、深度マップを使用して１つ以上のオブジェクトを検出する方法の例を示す図である。

【発明を実施するための形態】

【0009】

本開示は、車両についてのオブジェクト検出システムを教授する。オブジェクト検出システムは、オブジェクトのクラス、特定のオブジェクト、及び／又はオブジェクト位置に優先度を割り当てることにより車両の乗員によってカスタマイズ可能である。乗員が車両のユーザインターフェースを使用することによって、優先度の割り当てを設定することができ、優先度の割り当ては、少なくとも１つの警告特性、例えば、車両とオブジェクトとの間の距離閾値のカスタマイズに対応する。車両の外部環境におけるオブジェクトを検出すると、オブジェクト検出システムは、オブジェクトを分類して、優先度の割り当てをオブジェクトに適用し得る。オブジェクト検出システムは、警告特性、例えば、距離閾値に従ってオブジェクトに関する警告を乗員に出し得る。距離閾値に従って、車両とオブジェクトとの間の距離が距離閾値を満たす場合に警告が出される。

【0010】

代表的な乗客車両１００が図１に示されている。この説明では、「前方」、「前方へ」、及び同種のものの使用、並びに「後方」、「後方へ」、及び同種のものの使用は、車両１００の長手方向を指す。「前方」、「前方へ」、及び同種のものは、車両１００の前方（前部）を指す一方、「後方」、「後方へ」、及び同種のものは、車両１００の後ろ（後部）を指す。「側」、「横」、「横向き」、及び同種のものの使用は、車両１００の横方向を指し、「運転者側」及び同種のものは、車両１００の左側を指し、「乗客側」及び同種のものは、車両１００の右側を指す。

【0011】

車両１００は、外部区画と多数の内部区画とを含む。区画は、乗客区画とエンジン区画とを含む。特に、車両１００は、乗客区画内に収容された、シート、ダッシュアセンブリ、インストルメントパネル、制御部、及び同種のものを含み得る。更に、車両１００は、車両１００におけるエンジン区画及び他の場所に収容された、エンジン、モータ、トランスミッション、及び同種のもの、並びにホイールなどの他のパワートレイン構成要素を含み得る。ホイールは、車両１００の残りの部分を地面上で支持する。ホイールのうちの１つ、一部、又は全ては、パワートレイン構成要素の残りの部分によって動力供給されて、地面に沿って車両１００を駆動する。

【0012】

車両１００は、車両機能を実行するように動作可能である１つ以上の車両システム１０２を含む。車両システム１０２に加えて、車両１００は、センサシステム１１０、並びに車両システム１０２及びセンサシステム１１０が通信可能に接続された１つ以上のプロセッサ１２０、メモリ１２２、及び制御モジュール１２４を含む。センサシステム１１０は、車両１００に関する情報を検出するように動作可能である。プロセッサ１２０、メモリ１２２、及び制御モジュール１２４は、合わさって１つ以上の計算デバイス１１８として機能し、その制御モジュール１２４は、全体的に又は部分的に、車両１００の動作を編成するように採用可能である。具体的には、制御モジュール１２４は、車両１００に関する情報に基づいて車両システム１０２を動作させる。したがって、車両システム１０２を動作させる前提条件として、制御モジュール１２４は、センサシステム１１０によって検出される車両１００に関する情報を含む、車両１００に関する情報を収集する。次いで、制御モジュール１２４は、車両１００に関する情報を評価して、その評価に基づいて車両システム１０２を動作させる。

【0013】

車両システム１０２は、本体の一部であるか、本体に取り付けられているか、又は他の場合には本体によって支持されている。車両システム１０２は、全体的に又は部分的に、車両１００における乗客区画、エンジン区画、又は他の場所の任意の組合せにおいて収容され得る。各車両１００システムは、１つ以上の車両要素を含む。車両要素が属する車両システム１０２を代表して、各車両要素は、車両システム１０２が関連付けられる車両機能の任意の組合せを全体的に又は部分的に実行するように動作可能である。車両要素、及び車両要素が属する車両システム１０２は、互いに別々であり得るが、そうである必要はないことが理解されるであろう。

【0014】

車両システム１０２は、エネルギーシステム１０４と推進システム１０６とを含む。エネルギーシステム１０４及び推進システム１０６は、互いに接続されている。更に、ドライブトレインは、推進システム１０６に機械的に接続されている。推進システム１０６及びドライブトレインは、合わさって車両１００についてのパワートレインとして機能する。エネルギーシステム１０４は、エネルギーの貯蔵、他の場合にはエネルギーの処理を含むが、これらに限定されない１つ以上のエネルギー機能を実行するように動作可能である。推進システム１０６は、ホイールの動力供給を含むがこれに限定されない、エネルギーシステム１０４からのエネルギーを使用した１つ以上の推進機能を実行するように動作可能である。

【0015】

車両システム１０２はまた、ユーザインターフェース１０８を含み得る。ユーザインターフェース１０８は、ユーザが情報／データを機械に入力することを可能にする、任意のデバイス、構成要素、システム、要素、若しくは機構、又はこれらのグループであり得る。例えば、ユーザインターフェース１０８は、車両１００のセンターコンソールに取り付けられたタッチスクリーンであり得る。ユーザインターフェース１０８はまた、車両１００に通信可能に接続されたユーザの携帯電話であり得る。ユーザインターフェース１０８は、車両１００の乗員、例えば、運転者又は乗客から入力を受信し得る。ユーザインターフェース１０８に入力される情報は、プロセッサ１２０によってメモリ１２２に記憶され得る。ユーザインターフェース１０８はまた、車両１００のユーザ、例えば、乗員に情報を出力し得る。

【0016】

センサシステム１１０の一部として、車両１００は、１つ以上の車両センサ１１２と１つ以上の環境センサ１１４とを含む。車両センサ１１２は、車両１００をリアルタイムに監視する。車両センサ１１２は、センサシステム１１０を代表して、ユーザ要求に関する情報及び車両１００の動作に関する情報を含む、車両１００に関する情報を検出するように動作可能である。例えば、車両センサ１１２は、車両１００の様々な動作パラメータに関するデータを検出及び／又は取得するように構成され得る。例えば、車両センサ１１２は、１つ以上の速度計、１つ以上のジャイロスコープ、１つ以上の加速度計、１つ以上の慣性計測装置（ＩＭＵ）、１つ以上のホイールセンサ、１つ以上のステアリング角センサ、１つ以上のコントローラエリアネットワーク（ＣＡＮ）センサ、及び同種のものを含み得る。それに関連して、センサシステム１１０は、車両１００の動作に関する情報の中で、車両１００の速度、加速度、向き、回転、方向、及び同種のもの、ホイールの移動、ステアリング角、並びに車両システム１０２のうちの１つ、一部、又は全ての動作状態を含む車両１００の位置及び動きを検出するように動作可能である。

【0017】

環境センサ１１４は、車両１００が位置する外部環境又はその１つ以上の部分に関するデータ又は情報を検出、決定、評価、監視、測定、定量化、取得、及び／又は感知するように構成され得る。環境センサ１１４は、１つ以上の外部カメラ及び１つ以上の外部センサ、例えば、温度センサ、気象センサ、ＬＩＤＡＲ、ＲＡＤＡＲなどを含み得る。外部カメラは、１つ以上の単眼カメラ１１６を含み得る。環境センサ１１４は、車両１００の外部に位置し得るか、又は車両１００における任意の他の好適な位置に位置し得る。環境センサ１１４を使用して、車両システム１０２は、車両１００の外部環境に関する情報を決定し得る。例えば、車両システム１０２は、車両１００の外部環境における１つ以上のオブジェクトを検出し得る。

【0018】

車両システム１０２、センサシステム１１０、プロセッサ１２０、メモリ１２２、及び制御モジュール１２４は、オブジェクト検出システム１２６を実装するために活用され得る。オブジェクト検出システム１２６を実装するために活用される、車両システム１０２、センサシステム１１０、プロセッサ１２０、メモリ１２２、及び制御モジュール１２４は、車両１００において、車両に典型的な１つ以上の他の制御システムの一部であり得るか、又はオブジェクト検出システム１２６に対して専用であり得る。

【0019】

オブジェクト検出システム１２６は、車両１００の近くの１つ以上のオブジェクトを検出して、車両１００とオブジェクトとの間の距離に基づいて警告を車両１００の乗員に出すように構成され得る。乗員は、車両１００の運転者又は車両１００の別の乗客であり得る。一部の機構では、オブジェクト検出システム１２６は、検出オブジェクトをカラーで表示しつつ車両１００の外部環境をグレースケールで表示し得る。オブジェクト検出システム１２６は、デフォルトの警告特性のセットに従って警告を出し得る。デフォルトの警告特性は、車両１００の製造者によって設定される警告特性であり得る。デフォルトの警告特性は、車両１００と検出オブジェクトとの間の距離閾値を含み得る。より具体的には、オブジェクト検出システム１２６は、距離閾値が満たされる場合に車両１００の近くのオブジェクトを検出すると、警告を出し得る。例えば、距離閾値は、１０フィート（約３ｍ）であってもよく、オブジェクト検出システム１２６は、車両１００がオブジェクトから約１０フィート（約３ｍ）以下にある場合に車両１００の近くのオブジェクトを検出すると、警告を出し得る。デフォルトの警告特性は、プロセッサ１２０によってメモリ１２２に記憶され、及び／又はプロセッサ１２０によってメモリ１２２から受信され得る。

【0020】

警告特性は、１つ以上の方法で乗員によってカスタマイズ可能であり得る。例えば、乗員は、オブジェクト検出システム１２６によって検出されるオブジェクトに優先度を割り当てることによって警告特性をカスタマイズし得る。優先度の割り当ては、警告特性のカスタマイズに対応する。したがって、優先度の割り当てに基づいて、オブジェクト検出システム１２６は、警告特性のうちの１つ以上を変更し得る。乗員は、ユーザインターフェース１０８により優先度の割り当てを行うことができ、優先度の割り当ては、プロセッサ１２０によって受信され得る。優先度の割り当ては、低優先度から高優先度までの優先度の割り当ての範囲を含み得る。乗員は、衝突時に、車両１００に著しい損傷を与えないか又はオブジェクトにとって著しい脅威とならないようなオブジェクトに低優先度を割り当てたい場合がある。例えば、乗員は、オブジェクト、例えば、木の枝、破片、縁石、スピードバンプなどに低優先度を割り当てたい場合がある。一方、乗員は、衝突時に、車両１００に著しい損傷を与えるか又はオブジェクトにとって著しい脅威となるようなオブジェクトに高優先度を割り当てたい場合がある。例えば、乗員は、オブジェクト、例えば、近くの車両、壁及び／又はバリケード、歩行者及び／又は自転車に乗っている人、ショッピングカート、木などに高優先度を割り当てたい場合がある。

【0021】

警告特性は、警告が依拠する距離閾値を含んでもよく、したがって、優先度の割り当ては、当該距離閾値のカスタマイズに対応し得る。例えば、優先度が低優先度から高優先度に増加すると、距離閾値も増加し得る。より具体的には、低優先度の割り当ては、より低い距離閾値に対応し得、高優先度の割り当ては、より高い距離閾値に対応し得る。したがって、オブジェクト検出システム１２６が低優先度オブジェクトを検出する場合、オブジェクト検出システム１２６は、車両１００がオブジェクトに比較的近いときに警告を乗員に出すように構成され得る。一方、オブジェクト検出システム１２６が高優先度オブジェクトを検出する場合、オブジェクト検出システム１２６は、車両１００がオブジェクトからより遠くに離れているときに警告を乗員に出すように構成され得る。

【0022】

一部の機構では、乗員は、車両１００の初期設定プロセス中にこれらの優先度の割り当てを行い得る。初期設定中に、オブジェクトの１つ以上の分類に基づいて全体的な優先度の割り当てを行うことが有利な場合があって、オブジェクト検出システム１２６は、オブジェクトの１つ以上の分類を検出するように構成され得る。例えば、乗員は、木の枝、近くの車両、破片、歩行者、スピードバンプ、縁石、及び任意の他のオブジェクト分類に対して異なる優先度を割り当て得る。例えば、乗員は、全ての木の枝に対する低い優先度の割り当て、全ての近くの車両に対する高い優先度の割り当て、全ての破片に対する低い優先度の割り当て、全ての歩行者に対する高い優先度の割り当てなどを行い得る。

【0023】

乗員は、任意の好適な構成でユーザインターフェース１０８を使用して優先度の割り当てを行い得る。一例では、ユーザインターフェース１０８は、スライダアイコンの隣にオブジェクトの１つ以上のクラスを表示し得る。乗員は、スライダアイコンを使用して、オブジェクトのクラスに対する優先度の割り当てを設定し得る。例えば、図２に示されているように、ユーザインターフェース１０８は、木の枝２００、及び木の枝２００の優先度を設定する第１のスライダアイコン２０２を示す。乗客が、木の枝２００の優先度を低い優先度の割り当てに設定する場合、オブジェクト検出システム１２６は、低い優先度の割り当てを、検出される他の木の枝に適用する。より具体的には、オブジェクト検出システム１２６がオブジェクトを検出すると、オブジェクト検出システム１２６は、オブジェクトを分類する。オブジェクトのクラスが木の枝である場合、オブジェクト検出システム１２６は、オブジェクトを低い優先度の割り当てに適合させ、低い優先度の割り当てに基づいて木の枝に関する警告を出す。同様に、ユーザインターフェース１０８はまた、歩行者２０４、及び歩行者２０４の優先度を設定する第２のスライダアイコン２０６を示す。乗員が、歩行者２０４の優先度を高い優先度の割り当てに設定する場合、オブジェクト検出システム１２６は、高い優先度の割り当てを、検出される他の歩行者に適用する。より具体的には、オブジェクト検出システム１２６がオブジェクトを検出すると、オブジェクト検出システム１２６は、オブジェクトを分類する。オブジェクトのクラスが歩行者である場合、オブジェクト検出システム１２６は、オブジェクトを高い優先度の割り当てに適合させ、高い優先度の割り当てに基づいて歩行者に関する警告を出す。

【0024】

オブジェクト検出システム１２６の他の図示例は、図３Ａ～図３Ｂ、図４Ａ～図４Ｃ、及び図５に示されている。これらの例及び他の例では、オブジェクト検出システム１２６は、車両１００の駐車中に有利であり得る。例えば、乗員は、以下で更に詳細に記載されるように、オブジェクト、例えば、サインポスト、縁石、低木などの近くに車両１００を駐車する場合、そして、自身の家のガレージに車両１００を駐車する場合でさえ、オブジェクト検出システム１２６が特に有利であると分かり得る。オブジェクト検出システム１２６は、車両１００の通常の運転中又はバック中も有利である。例えば、図３Ａを参照すると、バックして私道３００から出ていく車両１００が示されている。オブジェクト検出システム１２６は、私道３００におけるオブジェクト３０２を検出し、オブジェクト３０２を木の枝３０２として分類し、木の枝に対する優先度の割り当てが低いことを決定し得る。図３Ｂに示されているように、オブジェクト検出システム１２６は、車両１００が木の枝３０２に比較的近いときに警告を乗員に出し得る。警告は、示されているように、視覚的な警告、例えば、ユーザインターフェース１０８における警告アイコン３０４であってもよく、聴覚的な警告及び／又は触覚的な警告を含んでもよい。一部の例では、警告は、木の枝３０２をカラーで表示しつつ環境をグレースケールで表示することを含み得る。

【0025】

一部の例では、乗員は、特定のオブジェクトに対して優先度の割り当てを行いたい場合がある。例えば、図４Ａを参照すると、乗員は、家のガレージ４００内のオブジェクト、例えば、車両１００の前方にある、家のガレージ４００内に保管された自転車４０２に対して特に注意を払いたい場合がある。図４Ａは、家のガレージ４００に駐車している車両１００を示し、図４Ｂは、ユーザインターフェース１０８において、家のガレージ４００に駐車している車両１００の頭上からの図を示す。一部の例では、乗員は、特定のオブジェクトを選択して、当該オブジェクトに対して優先度を設定することが可能であり得る。例えば、図４Ｂを参照すると、乗員は、自転車４０２を選択することができ、優先度の割り当ては、スライダアイコン４０４を使用して行われ得る。ここで、図４Ｃを参照して、優先度の割り当てが設定されると、オブジェクト検出システム１２６は、特定の優先度の割り当てに基づいて警告を乗員に出し得る。例えば、乗員が自転車４０２を高い優先度として指定する場合、オブジェクト検出システム１２６は、車両１００が自転車４０２から比較的遠いときに警告を出し得る。警告は、示されているように、視覚的な警告、例えば、ユーザインターフェース１０８における警告アイコン４０６であってもよく、聴覚的な警告及び／又は触覚的な警告を含んでもよい。一部の例では、警告は、自転車４０２をカラーで表示しつつ環境をグレースケールで表示することを含み得る。

【0026】

したがって、オブジェクト分類に基づいて優先度の割り当てを行うことに加えて、又はそれに対して代替的に、乗員は、オブジェクトごとに優先度の割り当てを行い得る。これは、オブジェクト検出システム１２６によって分類できない場合がある様々なオブジェクトに対しても有利であり得る。例えば、乗員は、オブジェクト検出システム１２６によって分類可能でないチャイナキャビネットを保管している自身の家のガレージに駐車している場合がある。乗員は、車両１００がチャイナキャビネットに近付かないことを保証するようにチャイナキャビネットに高い優先度を割り当て得る。更に、一部の例では、乗員は、特定のオブジェクト位置に対して優先度の割り当てを行いたい場合がある。図５を参照すると、乗員は、ユーザインターフェース１０８において特定のオブジェクト位置５００を選択し得る。優先度の割り当ては、スライダアイコン５０２を使用して特定のオブジェクト位置５００に対して設定され得る。

【0027】

上述のように、上述の例のうちのいずれかでは、オブジェクト検出システム１２６によって出される警告は、視覚的な警告、例えば、ユーザインターフェース１０８における警告アイコンであってもよく、聴覚的な警告及び／又は触覚的な警告を含んでもよい。したがって、警告特性は、警告タイプ、警告強度、及び警告位置を含んでもよく、したがって、優先度の割り当ては、警告タイプ、警告強度、及び警告位置のカスタマイズに対応し得る。警告タイプは、聴覚的な警告（例えば、ビープ音）、視覚的な警告（例えば、ユーザインターフェース１０８において表示されるフラシュライト若しくは画像）、及び／又は触覚的な警告（例えば、ステアリングホイールを通じた振動）であり得る。聴覚的な警告に関して、警告強度は、警告のボリュームであって、例えば、低優先度の割り当てについては、より静かな警告であって、高優先度の割り当てについては、より大音量の警告であり得る。視覚的な警告に関して、警告強度は、警告の輝度であって、例えば、低優先度の割り当てについては、より薄暗いフラッシュライトであって、高優先度の割り当てについては、より明るいフラッシュライトであり得る。

【0028】

代替的に、警告強度は、視覚的な警告のサイズであって、例えば、低優先度の割り当てについては、より小さい画像であって、高優先度の割り当てについては、より大きい画像であり得る。触覚的な警告に関して、警告強度は、振動の強さであって、例えば、低優先度の割り当てについては、より弱い振動であって、高優先度の割り当てについては、より強い振動であり得る。聴覚的な警告に関して、警告位置は、（例えば、ユーザインターフェース１０８に接続される）車両１００の中心に位置するスピーカ、又は車両１００の運転者側に位置するスピーカであり得る。視覚的な警告に関して、警告位置は、ステアリングホイールの背後のスクリーン、車両１００の中心に位置するスクリーン（例えば、ユーザインターフェース１０８）、フロントガラス上のヘッドアップディスプレイなどであり得る。触覚的な警告に関して、警告位置は、ステアリングホイール、シートなどであり得る。

【0029】

一部の例では、オブジェクト検出システム１２６は、乗員による過去の優先度の割り当てに関する履歴データに基づいてオブジェクトの優先度の割り当てを予測可能であり得る。履歴データは、乗員によって行われる過去の優先度の割り当てに関するデータベースであり得る。例えば、乗員が全ての木の枝を低優先度として指定していることを履歴データが示す場合、オブジェクト検出システム１２６は、木の枝を超える運転に関して乗員は気にしないと推測できる場合があって、したがって、将来検出される木の枝を低優先度として指定し得る。一方、乗員が小さい木の枝を低優先度として指定し、大きい木の枝を高優先度として指定していることを履歴データが示す場合、オブジェクト検出システム１２６は、乗員は（例えば、乗員が自身の車に損傷を与えたくない場合）より大きい木の枝を超えて運転したくないと推測できる場合があって、したがって、将来検出される、より大きい木の枝を高優先度として指定し得る。

【0030】

別の例では、オブジェクト検出システム１２６は、車両１００が走行している方向に基づく乗員の好みを学習し得る。例えば、一部の例では、乗員は、前方へ運転している場合に車両１００の前方にあるオブジェクトに関して早い警告を望まない場合があって、オブジェクト検出システム１２６は、前方へ運転している場合に車両１００の前方にあるオブジェクトを低優先度として指定し得る。一方、乗員が、バックで運転している場合に早い警告を望む場合、オブジェクト検出システム１２６は、バックで運転している場合に車両１００の背後にあるオブジェクトを高優先度として指定し得る。オブジェクト検出システム１２６が優先度の割り当てを正しく予測すると、オブジェクト検出システム１２６は、優先度の割り当てをデータベースに追加し得る。データベースは、メモリ１２２に記憶され得る。

【0031】

一部の機構では、オブジェクト検出システム１２６は、単眼カメラ画像に基づいて生成される深度マップを使用して１つ以上のオブジェクトを検出し得る。したがって、図１に戻って参照して、車両システム１０２、センサシステム１１０、プロセッサ１２０、メモリ１２２、及び制御モジュール１２４は、単眼深度推定（ＭＤＥ）システム１２８を実装するために活用され得る。ＭＤＥシステム１２８を実装するために活用される、車両システム１０２、センサシステム１１０、プロセッサ１２０、メモリ１２２、及び制御モジュール１２４は、車両１００において、車両に典型的な１つ以上の他の制御システムの一部であり得るか、又はＭＤＥシステム１２８に対して専用であり得る。ＭＤＥシステム１２８は、図６Ａの単眼カメラ画像６００及び図６Ｂの深度マップ６０２と関連して以下で更に詳細に記載される。ＭＤＥシステム１２８は、センサシステム１１０から受信される情報に基づいて、車両１００の外部環境の少なくとも一部の深度マップ６０２を生成するように構成され得る。より具体的には、ＭＤＥシステム１２８は、少なくとも部分的に、車両１００に取り付けられた１つ以上の単眼カメラ１１６によって受信される情報に基づいて深度マップ６０２を生成するように構成され得る。次いで、深度マップ６０２は、以下で更に詳細に記載されるように、他の車両システム１０２、例えば、オブジェクト検出システム１２６への入力として使用され得る。

【0032】

上述のように、車両１００は、車両１００の前方若しくは車両１００の後方、車両１００の内側、及び／又は車両１００における任意の他の位置において車両１００の外部に取り付けられた１つ以上の単眼カメラ１１６を含み得る。単眼カメラ１１６は、車両１００の外部環境に関する１つ以上の単眼カメラ画像６００を捕捉するように構成され得る。ここで、図６Ａを参照すると、単眼カメラ画像６００の例が示されている。単眼カメラ画像６００は、車両１００の直ぐ前方を走行している先行車両の図を示す。単眼カメラ画像６００は、他のタイプの車載カメラに典型的なカラー画像であり得る。ここで、図６Ｂを参照すると、深度マップ６０２の例が示されている。深度マップ６０２は、単眼カメラ画像６００に基づくモノクロ画像である。深度マップ６０２のピクセル値は、単眼カメラ画像６００における単眼カメラ１１６とオブジェクトとの間の距離に比例する。示されているように、深度マップ６０２のピクセル値は、単眼カメラ１１６と先行車両１００との間の距離に比例する。オブジェクト検出システム１２６は、深度マップ６０２を使用して車両１００の近くのオブジェクトを識別し得る。

【0033】

ここで、図７を参照すると、ＭＤＥシステム１２８が示されている。ＭＤＥシステム１２８は、入力７００を受信して出力７５０を生成するように構成され得る。入力７００は、単眼カメラ画像６００であり得る。単眼カメラ画像６００は、単眼カメラ１１６によって撮られるカラー画像であり得る。出力７５０は、１つ以上のオブジェクト、例えば、車両１００の外部環境における１つ以上のオブジェクトの識別情報であり得る。ＭＤＥシステム１２８は、単眼深度推定（ＭＤＥ）モジュール７１０と、道路セグメンテーション抽出（ＲＳＥ）モジュール７２０と、特徴抽出モジュール７３０と、１つ以上のプロセッサ７４０と、を含む。プロセッサ７４０は、図１のプロセッサ１２０又は任意の他の好適なプロセッサであり得る。ＭＤＥモジュール７１０、ＲＳＥモジュール７２０、及び／又は特徴抽出モジュール７３０は、プロセッサ７４０の構成要素であり得るか、又は１つ以上の他のプロセッサの構成要素であり得る。ＭＤＥモジュール７１０は、入力７００（すなわち、単眼カメラ画像６００）を受信して、機械学習又は任意の他の好適な方法を使用して深度マップ６０２を生成するように構成されている。上述のように、深度マップ６０２は、各ピクセル値が単眼カメラ１１６までの距離に比例するグレースケール画像である。ＲＳＥモジュール７２０は、単眼カメラ画像６００及び／又は深度マップ６０２を受信して、道路に対応する単眼カメラ画像６００及び／又は深度マップ６０２の一部を検出、セグメント化、及び抽出するように構成されている。特徴抽出モジュール７３０は、入力７００を受信し得、単眼カメラ画像６００内の特徴（例えば、オブジェクト）を検出するように構成され得る。プロセッサ７４０は、入力７００（すなわち、単眼カメラ画像６００）、深度マップ６０２、道路、及び／又は特徴に基づく決定システムとして機能して、出力７５０を生成し得る。出力７５０は、車両１００の外部環境における１つ以上のオブジェクトの検出であり得る。

【0034】

図１をもう一度参照して、上述のように、プロセッサ１２０、メモリ１２２、及び制御モジュール１２４は、合わさって計算デバイス１１８として機能し、その制御モジュール１２４は、車両システム１０２の動作を含むがこれに限定されない車両１００の動作を編成する。制御モジュール１２４は、オブジェクト検出システム１２６及び／又はＭＤＥシステム１２８に対する専用制御モジュールであり得る。それに関連して、中央制御システムの一部として、車両１００は、制御モジュール１２４が通信可能に接続されたグローバル制御ユニット（ＧＣＵ）を含み得る。代替的に、制御モジュール１２４は、グローバル制御モジュールであり得る。それに関連して、中央制御システムの一部として、車両１００は、制御モジュール１２４が属するグローバル制御ユニット（ＧＣＵ）を含み得る。示されている車両１００は、１つの制御モジュール１２４を含むが、本開示は原則的に、複数の制御モジュールを含む他の場合の同様の車両に対して適用可能であることが理解されるであろう。更に、制御モジュール１２４は、車両１００の一部として示されているが、制御モジュール１２４は、車両１００の車外に位置し得ることが理解されるであろう。

【0035】

プロセッサ１２０は、本明細書に記載されるプロセスのうちのいずれか、又はこのようなプロセスを実行するか若しくはこのようなプロセスを実行させる任意の形態の命令を実行するように構成された任意の構成要素であり得る。プロセッサ１２０は、１つ以上の汎用プロセッサ又は専用プロセッサを用いて実装され得る。好適なプロセッサの例には、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ、又はソフトウェアを実行する他の形態の回路が含まれる。好適なプロセッサの他の例には、中央処理装置（ＣＰＵ）、アレイプロセッサ、ベクトルプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジック回路、又はコントローラが含まれるが、これらに限定されない。

【0036】

プロセッサ１２０は、プログラムコード内に含まれる命令を実行するように構成された少なくとも１つのハードウェア回路（例えば、集積回路）を含み得る。複数のプロセッサが存在する機構では、プロセッサは、互いに独立して機能し得るか、又は互いに組み合わさって機能し得る。更に、プロセッサ１２０は、車両１００の一部として示されているが、プロセッサ１２０は、車両１００の車外に位置し得ることが理解されるであろう。メモリ１２２は、非一時的コンピュータ可読媒体である。メモリ１２２は、揮発性若しくは不揮発性メモリ、又はその両方を含み得る。

【0037】

好適なメモリの例には、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、リードオンリーメモリ（ＲＯＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、若しくは任意の他の好適な記憶媒体、又はこれらの任意の組合せが含まれる。メモリ１２２は、プログラムコードに記憶された命令を含む。このような命令は、プロセッサ１２０又は制御モジュール１２４によって実行可能である。メモリ１２２は、プロセッサ１２０若しくは制御モジュール１２４の一部であり得るか、又はプロセッサ１２０若しくは制御モジュール１２４に通信可能に接続され得る。一般的に言うと、制御モジュール１２４は、プロセッサ１２０によって実行され得る命令を含む。制御モジュール１２４は、プロセッサ１２０によって実行されると、本明細書に記載されるプロセスのうちの１つ以上を実行するコンピュータ可読プログラムコードとして実装され得る。このようなコンピュータ可読プログラムコードは、メモリ１２２に記憶され得る。制御モジュール１２４は、プロセッサ１２０の一部であり得るか、又はプロセッサ１２０に通信可能に接続され得る。

【0038】

可能性のある様々なシステム、デバイス、要素、及び／又は構成要素を記載してきたため、ここで、方法に関する可能性のある様々なステップを含む様々な方法を記載する。記載される方法は、上述の機構に適用可能であり得るが、当該方法は、他の好適なシステム及び機構で実行され得ることを理解されたい。当該方法は、本明細書に示されていない他のステップを含んでもよく、当該方法は、示される全てのステップを含むことに限定されない。当該方法の一部として本明細書で示されるブロックは、特定の時系列の順に限定されない。実際、ブロックの一部は、示されるものとは異なる順で実行されてもよく、及び／又は示されるブロックのうちの少なくとも一部は同時に生じ得る。

【0039】

図８を参照すると、オブジェクト検出システム１２６を動作させる例が示されている。方法８００は、動作８１０において開始し得る。動作８２０で、方法８００は、車両１００の乗員によって設定される優先度の割り当てを受信することを含み得る。優先度の割り当ては、少なくとも１つの警告特性のカスタマイズに対応する。警告特性は、距離閾値を含む。動作８３０で、方法８００は、車両１００の外部環境におけるオブジェクトを検出することを含む。動作８４０で、方法８００は、優先度の割り当てをオブジェクトに適用することを含む。動作８５０で、方法８００は、警告特性に従って警告を出すことを含む。距離閾値に従って、車両１００からオブジェクトまでの距離が距離閾値を満たす場合に警告が出される。方法８００は、動作８６０において終了し得る。

【0040】

図９を参照すると、車両１００の近くで検出されるオブジェクトに対する優先度の割り当てを予測する方法９００の例が示されている。方法９００は、動作９１０において開始する。動作９２０で、方法９００は、車両１００の近くで検出されるオブジェクトのタイプを、オブジェクトについての乗員選択の優先度に関連付ける入力を含む履歴データを受信することを含む。動作９３０で、方法９００は、車両１００の外部環境における１つ以上のオブジェクトを検出することを含む。動作９４０で、方法９００は、履歴データに基づいてオブジェクトのうちの少なくとも１つの優先度の割り当てを予測することを含む。方法９００は、動作９５０において終了し得る。

【0041】

図１０を参照すると、１つ以上のオブジェクトを検出する方法１０００の例が示されている。方法１０００は、動作１０１０において開始し得る。動作１０２０で、方法１０００は、車両１００のセンサシステム１１０から単眼カメラ画像６００を受信することを含み得る。動作１０３０で、方法１０００は、単眼カメラ画像６００に基づいて深度マップ６０２を生成することを含み得る。深度マップ６０２は、各ピクセル値が単眼カメラ１１６までの距離に比例するグレースケール画像であり得る。動作１０４０で、方法１０００は、単眼カメラ画像６００及び／又は深度マップ６０２に基づいて、車両１００が走行している面に対応する深度マップ６０２の一部を検出、セグメント化、及び抽出することを含み得る。動作１０５０で、方法１０００は、単眼カメラ画像６００及び／又は深度マップ６０２に基づいて特徴を検出及び抽出することを含み得る。例えば、方法１０００は、単眼カメラ画像６００及び／又は深度マップ６０２に基づいて１つ以上のオブジェクトを検出することを含み得る。動作１０６０で、方法１０００は、車両１００の外部環境における１つ以上のオブジェクトを検出することを含み得る。

【0042】

本発明の列挙された特性及び条件は、特定の実施形態と関連して記載されているが、本発明は、開示された実施形態に限定されるものではなく、逆に、添付の請求項の趣旨及び範囲内に含まれる様々な修正及び同等の機構を含むことを意図したものであって、その範囲には、法律下で認められるような全ての当該修正及び同等の構造を包含するように最も広い解釈が与えられるべきであることを理解されたい。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【外国語明細書】