特許 6946570 合図を受けて行われる自動車センサ融合

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6946570

(24)【登録日】2021年9月17日

(45)【発行日】2021年10月6日

(54)【発明の名称】合図を受けて行われる自動車センサ融合

(51)【国際特許分類】

   G01S 13/86 20060101AFI20210927BHJP

   G01S 13/66 20060101ALI20210927BHJP

   G01S 13/931 20200101ALI20210927BHJP

【ＦＩ】

   G01S13/86

   G01S13/66

   G01S13/931

【請求項の数】16

【全頁数】15

(21)【出願番号】特願2020-543740(P2020-543740)

(86)(22)【出願日】2018年11月5日

(65)【公表番号】特表2021-501344(P2021-501344A)

(43)【公表日】2021年1月14日

(86)【国際出願番号】US2018059289

(87)【国際公開番号】WO2019090276

(87)【国際公開日】20190509

【審査請求日】2020年4月30日

(31)【優先権主張番号】15/804,821

(32)【優先日】2017年11月6日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】318009986

【氏名又は名称】ヴィオニア ユーエス インコーポレイティド

(74)【代理人】

【識別番号】100124110

【弁理士】

【氏名又は名称】鈴木 大介

(74)【代理人】

【識別番号】100120400

【弁理士】

【氏名又は名称】飛田 高介

(72)【発明者】

【氏名】フェッターマン マシュー

(72)【発明者】

【氏名】カールセン アレット

【審査官】 藤田 都志行

(56)【参考文献】

【文献】 特開２００５−３４５２５１（ＪＰ，Ａ）

【文献】 特開２００７−２３２６５３（ＪＰ，Ａ）

【文献】 特開２００８−０９４２２２（ＪＰ，Ａ）

【文献】 特開２０１４−１５３８７４（ＪＰ，Ａ）

【文献】 特開２０１７−０４４５３０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０２９０１６９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｓ ７／００− ７／６４

Ｇ０１Ｓ １３／００−１７／９５

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

ホスト車両内で物体を検出する方法であって、当該方法は、
第１の物体センサを使用して第１の感知データセットを生成するステップと、
第２の物体センサを使用して第２の感知データセットを生成するステップと、
前記第１の物体センサからの前記第１の感知データセットを使用して物体を検出するステップと、
前記第１の物体センサからの前記第１の感知データセットを使用して前記物体を検出すると、前記第２の物体センサに関連付けられた設定を変更して、前記第２の物体センサからの前記第２の感知データセットを使用して前記物体を検出する確率を高めるステップと、
前記第２の物体センサからの前記第２の感知データセットを使用して物体を検出すると、前記第１の物体センサに関連付けられた設定を変更して、前記第１の物体センサからの前記第１の感知データセットを使用して前記物体を検出する確率を高めるステップとを含むことを特徴とする方法。

【請求項2】

前記第１の物体センサは、前記第２の物体センサとは異なる種類の物体センサを備えることを特徴とする請求項１に記載の方法。

【請求項3】

前記第１の物体センサ及び前記第２の物体センサのうちの一方は、レーダセンサを備え、
前記第１の物体センサ及び前記第２の物体センサのうちの他方は、カメラを備えることを特徴とする請求項２に記載の方法。

【請求項4】

前記第２の物体センサに関連付けられた設定を変更して、前記第２の物体センサからの前記第２の感知データセットを使用して前記物体を検出する確率を高めるステップは、前記第２の物体センサの閾値を変更することを含むことを特徴とする請求項１に記載の方法。

【請求項5】

前記第２の物体センサに関連付けられた設定を変更して、前記第２の物体センサからの前記第２の感知データセットを使用して前記物体を検出する確率を高めるステップは、検出モジュールの検出閾値及び追跡モジュールの追跡閾値のうちの少なくとも一方を変更することを含むことを特徴とする請求項４に記載の方法。

【請求項6】

前記第２の物体センサに関連付けられた設定を変更して、前記第２の物体センサからの前記第２の感知データセットを使用して前記物体を検出する確率を高めるステップは、前記検出モジュールによって検出された物体の追跡を開始又は維持するために、前記検出モジュールの信号対雑音比及び前記追跡モジュールの閾値のうちの少なくとも一方を変更することを含むことを特徴とする請求項５に記載の方法。

【請求項7】

ホスト車両内から物体を遠隔検出するシステムであって、当該システムは、
第１の感知データセットを受信するように構成された第１の物体センサと、
第２の感知データセットを受信するように構成された第２の物体センサと、
前記第１の物体センサからデータを受信するように構成された物体検出モジュールとを備え、
前記物体検出モジュールは、前記第１の物体センサ及び前記第２の物体センサのうちの少なくとも一方からの前記データを使用して、前記ホスト車両内から遠隔物体を識別するように構成されていて、
当該遠隔検出するシステムは、前記第１の物体センサからの前記第１の感知データセットを使用して前記物体検出モジュールによって物体を検出すると、前記第２の物体センサに関連付けられた設定を変更して、前記物体検出モジュールが前記第２の物体センサからのデータを使用して前記物体を検出する確率を高めるように構成されていて、
前記物体検出モジュールは、前記第１の物体センサを備える第１のセンサモジュールの一部であり、
前記第１のセンサモジュールは、第１の追跡モジュールを更に備え、該第１の追跡モジュールは、前記物体検出モジュールから処理データを受信し、前記物体検出モジュールによって識別された遠隔物体を追跡するように構成されていて、
当該遠隔検出するシステムは、第２のセンサモジュールを更に備え、該第２のセンサモジュールは、前記第２の物体センサを備え、
前記第２のセンサモジュールは、前記第２の物体センサからデータを受信するように構成された第２の物体検出モジュールを更に備え、
前記第２の物体検出モジュールは、前記第２の物体センサからの前記データを使用して、前記ホスト車両内から遠隔物体を識別するように構成されていて、
前記第２のセンサモジュールは、第２の追跡モジュールを更に備え、該第２の追跡モジュールは、前記第２の物体検出モジュールから処理データを受信し、前記第２の物体検出モジュールによって識別された遠隔物体を追跡するように構成されていることを特徴とするシステム。

【請求項8】

当該遠隔検出するシステムは、融合追跡モジュールを更に備え、該融合追跡モジュールは、前記第１の追跡モジュール及び前記第２の追跡モジュールの両方からデータを受信し、前記第１の追跡モジュール及び前記第２の追跡モジュールの両方によって検出された物体を追跡するように構成されていることを特徴とする請求項７に記載のシステム。

【請求項9】

当該遠隔検出するシステムは、前記第１の物体センサからの前記第１の感知データセットを使用して前記物体検出モジュールによって物体を検出すると、前記第２の物体センサに関連付けられた検出閾値及び追跡閾値のうちの少なくとも一方を下げて、前記第２の物体センサからのデータを使用して前記物体が検出される確率を高めるように構成されていることを特徴とする請求項７に記載のシステム。

【請求項10】

当該遠隔検出するシステムは、前記第１の物体センサからの前記第１の感知データセットを使用して前記物体検出モジュールによって物体を検出すると、該検出された物体に関連付けられた角度範囲内でのみ、前記第２の物体センサに関連付けられた検出閾値及び追跡閾値のうちの少なくとも一方を下げるように構成されていることを特徴とする請求項９に記載のシステム。

【請求項11】

前記第１の物体センサは、カメラを備え、
前記第２の物体センサは、レーダセンサを備えることを特徴とする請求項７に記載のシステム。

【請求項12】

ホスト車両内から物体を遠隔検出するシステムであって、当該システムは、
第１の感知データセットを受信するように構成された第１の物体センサと、
第２の感知データセットを受信するように構成された第２の物体センサと、
前記第１の物体センサからデータを受信するように構成された物体検出モジュールとを備え、
前記物体検出モジュールは、前記第１の物体センサ及び前記第２の物体センサのうちの少なくとも一方からの前記データを使用して、前記ホスト車両内から遠隔物体を識別するように構成されていて、
当該遠隔検出するシステムは、前記第１の物体センサからの前記第１の感知データセットを使用して前記物体検出モジュールによって物体を検出すると、前記第２の物体センサに関連付けられた設定を変更して、前記物体検出モジュールが前記第２の物体センサからのデータを使用して前記物体を検出する確率を高めるように構成されていて、
当該遠隔検出するシステムは、前記第２の物体センサからの前記第２の感知データセットを使用して前記物体検出モジュールによって物体を検出すると、前記第１の物体センサに関連付けられた設定を変更して、前記物体検出モジュールが前記第１の物体センサからのデータを使用して前記物体を検出する確率を高めるように更に構成されていることを特徴とするシステム。

【請求項13】

ホスト車両内から物体を遠隔検出するシステムであって、当該システムは、
第１の感知データセットを受信するように構成された第１の物体センサと、
第２の感知データセットを受信するように構成された第２の物体センサであって、前記第１の物体センサが、前記第２の物体センサとは異なる種類の物体センサを有する第２の物体センサと、
前記第１の物体センサから生データを受信するように構成された第１の物体検出モジュールであって、前記第１の物体検出モジュールが、前記第１の物体センサからの前記生データを使用して遠隔物体を識別しようと試みるように構成されている第１の物体検出モジュールと、
前記第２の物体センサから生データを受信するように構成された第２の物体検出モジュールであって、前記第２の物体検出モジュールが、前記第２の物体センサからの前記生データを使用して遠隔物体を識別しようと試みるように構成されている第２の物体検出モジュールと、
前記第１の物体検出モジュールから処理データを受信し、前記第１の物体検出モジュールによって識別された遠隔物体を追跡するように構成された第１の追跡モジュールと、
前記第２の物体検出モジュールから処理データを受信し、前記第２の物体検出モジュールによって識別された遠隔物体を追跡するように構成された第２の追跡モジュールと、
前記第１の追跡モジュール及び前記第２の追跡モジュールの両方からデータを受信し、前記第１の追跡モジュール及び前記第２の追跡モジュールの両方によって検出された物体を追跡するように構成された融合追跡モジュールと、を備え、
当該遠隔検出するシステムは、前記第１の物体検出モジュール及び前記第１の追跡モジュールのうちの少なくとも一方によって物体の検出を確認すると、前記第２の物体検出モジュールの検出閾値及び前記第２の追跡モジュールの追跡閾値のうちの少なくとも一方を下げて、前記第２の物体センサからのデータを使用して前記物体が検出される確率を高めるように構成されていることを特徴とするシステム。

【請求項14】

前記第１の物体センサは、カメラを備え、
前記第２の物体センサは、レーダセンサを備えることを特徴とする請求項１３に記載のシステム。

【請求項15】

当該遠隔検出するシステムは、前記第１の物体検出モジュール及び前記第１の追跡モジュールのうちの少なくとも一方によって物体の検出を確認すると、前記レーダセンサに関連付けられた検出閾値及び追跡閾値のうちの少なくとも一方を下げて、前記レーダセンサからのデータを使用して前記物体が検出される確率を高めるように更に構成されていることを特徴とする請求項１４に記載のシステム。

【請求項16】

当該遠隔検出するシステムは、前記第１の物体検出モジュール及び前記第１の追跡モジュールのうちの少なくとも一方によって物体を検出すると、前記カメラによって検出された前記物体に関連付けられた角度範囲内でのみ、前記レーダセンサに関連付けられた検出閾値及び追跡閾値のうちの少なくとも一方を下げるように構成されていることを特徴とする請求項１５に記載のシステム。

【発明の詳細な説明】

【発明の概要】

【0001】

物体レベルの融合は、一般に、ホスト車両から遠隔物体を検出するセンサシステムに関連して使用されている。このタイプのアーキテクチャでは、第１のセンサからのデータを第２のセンサからのデータと組み合わせることにより、物体を識別および追跡するための情報をより多く提供することができる。このタイプのアーキテクチャはまた、センサを「ブラックボックス」として組み合わせることを可能にする。換言すれば、可能なセンサの組み合わせごとに検出モジュール及び／又は追跡モジュールの広範な同調及び調整を必要とし得る検出レベルの融合ではなく、本質的にプラグアンドプレイタイプのアーキテクチャで、センサを組み合わせて一緒に使用することが可能である。しかしながら、１つのセンサが標的を識別できない場合は、この物体レベルの融合は失敗する。換言すれば、典型的な物体レベルの融合では、１つのセンサが、他のセンサによって識別された物体を識別できない場合は、システムの融合追跡機すなわち融合追跡モジュールは、物体を追跡する際に組み合わせて使用するための、１つのセンサからのデータを得られない。

【先行技術文献】

【特許文献】

【0002】

【特許文献1】米国特許出願公開第２０１５／０２１７７６５号明細書

【0003】

したがって、本発明者らは、前述の制限及び／又は先行技術の他の制限のうちの１つ以上を克服するシステム及び方法を提供することが望ましいと判断した。したがって、いくつかの実施形態では、本明細書に開示される発明概念は、合図を受けて行われる融合アーキテクチャを提供するために使用してよい。このアーキテクチャは、本開示の目的にとって、修正された物体レベルの融合アーキテクチャとみなしてよい。いくつかの実施形態では、第１のセンサからの合図を使用して、第２のセンサを特殊モードで実行するなどの、第２のセンサへの１つ以上の設定変更又はパラメータ変更をトリガしてよく、これにより、第２のセンサによる検出の確率を高める。

【0004】

例えば、いくつかの実施形態では、第１のセンサによって検出された物体に応じて、第２のセンサの検出閾値及び／又は追跡閾値などの１つ以上の閾値を下げてよい。この変更は、一時的な変更であってもよいし、及び／又は、第１のセンサによって検出された物体の方向又は大まかな方向（例えば、ある角度範囲内における）のみにおける変更であってもよい。したがって、特殊動作モードは、検出閾値を下げてもよく、及び／又は、追跡を維持するために必要な一貫性のある検出を少なくしてよい。好ましくは、これは、第２のセンサのいかなる物理的な回転も必要としない。これにより、第２のセンサによる誤警報／誤検出の確率を高めることなく、第２のセンサによる物体の検出確率を高めることができる。例えば、特殊モードが比較的短時間内及び／又は比較的小さい空間領域（第１のセンサによって検出された物体に対応する）内でのみ動作可能である実施形態では、全体的な誤検知率は一定のままになるか、又は比較的短時間及び／若しくは角度窓内でわずかに増加し得る。したがって、対象となる標的に対する真の検知率を増加させながら、無視できる全体的な誤検知率の増加をもたらす。

【0005】

有利なことに、いくつかの実施形態は、物体レベルのセンサ融合のブラックボックスの利点を維持するように構成してよい。換言すれば、センサは、広範なカスタマイズされた同調／調整を必要とせずに一緒に組み合わせてよい。いくつかの実施形態では、センサは、このようないかなるカスタマイズも必要とせずに、プラグアンドプレイ方式で一緒に組み合わせてよい。

【0006】

いくつかの実施形態によるホスト車両内で物体を検出する方法のより具体的な実施例では、本方法は、レーダセンサ、視覚センサ／カメラ、ライダセンサなどの第１の物体センサを使用して、第１の感知データセットを生成すること、受信すること、及び／又は送信することを含んでよい。本方法は、第２の物体センサを使用して、第２の感知データセットを生成すること、受信すること、及び／又は送信することを更に含んでよい。好ましい実施形態及び実施例では、第１の物体センサは、第２の物体センサと異なってよく、これにより、異なるセンサ技術の有利な特徴を組み合わせることを可能にする。次いで、第１の物体センサからの感知データを使用して、物体又は疑わしい物体を検出することができる。第１の物体センサからの感知データを使用して物体を検出すると、第２の物体センサに関連付けられた設定を変更して第２の物体センサを特殊なモードにすることにより、第２の物体センサからの第２の感知データセットを使用して物体を検出する確率を高めることができる。

【0007】

いくつかの実施形態では、第２の物体センサに関連付けられた設定を変更して、第２の物体センサからの第２の感知データセットを使用して物体を検出する確率を高めるステップは、第２の物体センサの閾値を下げるなどの、第２の物体センサの閾値を変更することを含んでよい。いくつかのこのような実施形態では、第２の物体センサに関連付けられた設定を変更して、第２の物体センサからの第２の感知データセットを使用して物体を検出する確率を高めるステップは、検出モジュールの検出閾値と、遠隔物体検出及び／又は追跡システムの追跡機すなわち追跡モジュールの追跡閾値のうちの少なくとも一方を変更することを含んでよい。いくつかのこのような実施形態では、第２の物体センサに関連付けられた設定を変更して、第２の物体センサからの第２の感知データセットを使用して物体を検出する確率を高めるステップは、検出モジュールによって検出された物体の追跡を開始又は維持するために、検出モジュールの信号対雑音比及び追跡モジュールの閾値のうちの少なくとも一方を変更することを含んでよい。

【0008】

いくつかの実施形態は、第２の物体センサからの感知データを使用して物体を検出すると、第１の物体センサに関連付けられた設定を変更して、第１の物体センサからの第１の感知データセットを使用して物体を検出する確率を高めることを更に含んでよい。

【0009】

いくつかの実施形態による、ホスト車両内から物体を遠隔検出するシステムの一実施例では、システムは、第１の感知データセットを受信するように構成された第１の物体センサと、第２の感知データセットを受信するように構成された第２の物体センサと、を備えてよい。前述したように、好ましくは、物体センサは異なるタイプのものであり、それに加えて、いくつかの実施形態又は本明細書に開示される方法／実施例のいずれかでは、２つ以上のこのような物体センサを使用してよいことを理解されたい。システムは、第１の物体センサからデータを受信するように構成された物体検出モジュールを更に備えてよい。物体検出モジュールは、第１の物体センサ及び／又は第２の物体センサからのデータを使用して、ホスト車両内から遠隔物体を識別するように構成してよく、さらに、第１の物体センサからの第１の感知データセットを使用して物体検出モジュールによって物体を検出すると、第２の物体センサに関連付けられた設定を変更して、物体検出モジュールが第２の物体センサからのデータを使用して物体を検出する確率を高めるように構成してよい。

【0010】

いくつかの実施形態では、物体検出モジュールは、第１の物体センサを含む第１のセンサモジュールの一部であってよい。いくつかのこのような実施形態では、第１のセンサモジュールは、第１の追跡モジュールを更に備えてよい。第１の追跡モジュールは、物体検出モジュールから処理データを受信するように構成されていて、物体検出モジュールによって識別された遠隔物体を追跡する。

【0011】

いくつかの実施形態は、第２のセンサモジュールを更に備えてよい。第２の物体センサは、第２のセンサモジュールの一部であってよい。第２のセンサモジュールは、第２の物体センサからデータを受信するように構成された第２の物体検出モジュールを更に備えてよい。第２の物体検出モジュールは、第２の物体センサからのデータを使用して、ホスト車両内から遠隔物体を識別するように構成されてよい。いくつかの実施形態では、第２のセンサモジュールは、第２の追跡モジュールを更に備えてよい。第２の追跡モジュールは、第２の物体検出モジュールから処理データを受信するように構成されていて、第２の物体検出モジュールによって識別された遠隔物体を追跡する。

【0012】

いくつかの実施形態は、融合追跡モジュールを更に備えてよい。融合追跡モジュールは、第１の追跡モジュール及び第２の追跡モジュールの両方からデータを受信するように構成されていて、第１の追跡モジュール及び第２の追跡モジュールの両方によって検出された物体を追跡する。

【0013】

いくつかの実施形態では、本システムは、第１の物体センサからの第１の感知データセットを使用して物体検出モジュールによって物体を検出すると、第２の物体センサに関連付けられた、検出閾値及び追跡閾値のうちの少なくとも一方を下げて、第２の物体センサからのデータを使用して物体が検出される確率を高めるように構成してよい。同様に、いくつかの実施形態は、第２の物体センサからの第２の感知データセットを使用して物体検出モジュールによって物体を検出すると、第１の物体センサに関連付けられた、検出閾値及び追跡閾値のうちの少なくとも一方を下げて、第１の物体センサからのデータを使用して物体が検出される確率を高めるように構成してよい。

【0014】

いくつかの実施形態では、本システムは、第１の物体センサからの第１の感知データセットを使用して物体検出モジュールによって物体を検出すると、検出された物体に関連付けられた角度範囲内でのみ、第２の物体センサに関連付けられた検出閾値及び追跡閾値のうちの少なくとも一方を下げるように構成してよい。

【0015】

ホスト車両内から物体を遠隔検出するシステムの別の実施例では、このシステムは、第１の感知データセットを受信するように構成された第１の物体センサと、第２の感知データセットを受信するように構成された第２の物体センサと、を備えてよい。この場合も先と同様に、第１の物体センサは、第２の物体センサとは異なるタイプの物体センサを備えてよい。したがって、いくつかの実施形態では、第１の物体センサはカメラを備えてよく、第２の物体センサは、レーダセンサを備えてよい。

【0016】

本システムは、第１の物体センサから生データを受信するように構成された第１の物体検出モジュールを更に備えてよい。第１の物体検出モジュールは、第１の物体センサから生データを使用して遠隔物体を識別しようと試みるように構成してよい。本システムは、第２の物体センサからの生データを受信するように構成された第２の物体検出モジュールを更に備えてよい。第２の物体検出モジュールは、第２の物体センサから生データを使用して遠隔物体を識別しようと試みるように構成してよい。

【0017】

本システムは、第１の物体検出モジュールから処理データを受信し、第１の物体検出モジュールによって識別された遠隔物体を追跡するように構成された第１の追跡モジュールと、第２の物体検出モジュールから処理データを受信し、第２の物体検出モジュールによって識別された遠隔物体を追跡するように構成された第２の追跡モジュールと、を更に備えてよい。

【0018】

本システムは、融合追跡モジュールを更に備えてよい。融合追跡モジュールは、第１の追跡モジュール及び第２の追跡モジュールの両方からデータを受信し、２つの物体センサから発信されたデータを結合し、かつ、第１の追跡モジュール及び第２の追跡モジュールの両方によって検出された物体を追跡するように構成されている。

【0019】

遠隔検出するシステムは、第１の物体検出モジュール及び第１の追跡モジュールのうちの少なくとも一方によって物体の検出を確認すると、第２の物体検出モジュールの検出閾値及び第２の追跡モジュールの追跡閾値のうちの少なくとも一方を下げて、第２の物体センサからのデータを使用して物体が検出される確率を高めるように構成してよい。

【0020】

いくつかの実施形態では、本システムは、第１の物体検出モジュール及び第１の追跡モジュールのうちの少なくとも一方によって物体の検出を確認すると、レーダセンサに関連付けられた、検出閾値及び追跡閾値のうちの少なくとも一方を下げて、レーダセンサからのデータを使用して物体が検出される確率を高めるように更に構成してよい。

【0021】

いくつかの実施形態では、遠隔検出するシステムは、第１の物体検出モジュール及び第１の追跡モジュールのうちの少なくとも一方によって物体を検出すると、カメラによって検出された物体に関連付けられた角度又は角度範囲内などの、カメラ／第１のセンサによって検出された物体に関連付けられた領域内でのみ、レーダセンサに関連付けられた検出閾値及び追跡閾値のうちの少なくとも一方を下げるように構成してよい。

【0022】

一実施形態に関連して本明細書に開示される特徴、構造、ステップ、又は特性は、１つ以上の代替実施形態において任意の好適な方式で組み合わされてもよい。

【0023】

本開示の非限定的かつ非網羅的な実施形態は、図面を参照しながら本開示の様々な実施形態を含めて記載される。

【図面の簡単な説明】

【0024】

【図1】いくつかの実施形態による、ホスト車両内から物体を遠隔検出するシステムの一実施例を示す概略図である。

【図2】いくつかの実施形態による、１つの物体を検出しながらホスト車両内から物体を遠隔検出するシステムを有する車両を示す。

【図3】他の実施形態による、物体を遠隔検出するシステムを有する別の車両を示す。

【図4】いくつかの実装形態による、ホスト車両内で物体を遠隔検出する方法の一実施例を示すフローチャートである。

【発明を実施するための形態】

【0025】

本開示の様々な実施形態と一致する装置、システム、及び方法の詳細な説明を以下に提供する。いくつかの実施形態について説明するが、本開示は、開示される特定の実施形態のいずれにも限定されず、代わりに、多数の代替物、修正、及び同等物を包含することを理解されたい。加えて、本明細書に開示される実施形態の完全な理解を提供するために、以下の説明において多数の具体的な詳細が記載されているが、いくつかの実施形態は、これらの詳細の一部又は全てを伴わずに実施してよい。更に、明確にする目的で、開示を不必要に不明瞭にすることを回避するために、関連技術分野で既知の特定の技術資料について詳細には説明していない。

【0026】

本明細書では、遠隔物体検出でセンサデータを組み合わせる新たな方法及びシステムに関する装置、方法、及びシステムが開示される。いくつかの実施形態では、本明細書に開示される本発明の原理を使用することによって、各センサがブラックボックスであってそれらのデータを融合するために広範な修正／カスタマイズを必要としないように、２つ以上のセンサを一緒に組み合わせることを可能にする。これは、１つ以上の他のセンサの動作モードの変化を合図するために、１つのセンサからのトリガを使用することによって達成してよい。したがって、例えば、物体を検出するレーダセンサを、カメラの動作モードを一時的に変更させるトリガとして使用して、カメラが物体を検出する確率を高めてよい。同様に、いくつかの実施形態では、物体を検出するカメラ又は他のセンサを、レーダセンサ又は他の第２のセンサの動作モードを一時的に変更させるトリガとして使用して、レーダセンサ又は他の第２のセンサが物体を検出する確率を高めてよい。このようにして、あるセンサが物体を見失う確率は、従来の物体レベルの融合と比較して低減されてよい。

【0027】

実施形態のより具体的な実施例としては、可視センサ／カメラがレーダセンサに合図してよく、いくつかのシステムでは、カメラは、標的と断言するために約６フレームを撮ってよい。しかしながら、このシステムは、カメラが、より少ないフレームの後（場合によっては、例えば、単一フレームの後）に、品質係数は低いが、標的と断言できるように構成してよい。したがって、本明細書に開示される原理を利用する特定の実施形態によるいくつかのシステムは、より低い品質係数の閾値を使用して、レーダセンサに合図するように構成してよい。レーダセンサが追跡形成を完了するときまでに、カメラは、その追跡の品質係数を改善してよい。次いで、融合追跡モジュールは、カメラからより高品質の追跡が取得されるときまで、カメラからのより低品質の初期物体データを無視するように構成してよい。このようにして、遠隔物体検出システムは、カメラ又は別の第１のセンサでより低い検出閾値を利用し、かつ、特殊な動作モードを使用して検出された物体に対して、レーダセンサにより迅速に合図するように構成してよい。これは、追跡を確認する前に、及び／又は、融合追跡機すなわち追跡モジュールにデータを送信する前に、潜在的な物体／標的に関する確実性を高めることができる。

【0028】

本開示の実施形態は、図面を参照することによって最もよく理解されてよく、同様の部分は同様の数字によって指定されてよい。開示される実施形態の構成要素は、本明細書の図面に全体的に記載され図示されるように、多種多様な異なる構成で配置及び設計されてよいことが容易に理解されるであろう。したがって、本開示の装置及び方法の実施形態における以下の詳細な説明は、特許請求されるように、本開示の範囲を限定することを意図するものではなく、単に本開示の可能な実施形態を表すものである。加えて、方法のステップは、特に指定がない限り、必ずしも、任意の特定の順序で実行される必要はなく、逐次的に実行される必要もなく、また、ステップが１回のみ実行される必要もない。ここで、特定の好ましい実施形態及び実施例に関する更なる詳細は、添付図面を参照してより詳細に説明される。

【0029】

図１は、ホスト車両内から物体を遠隔検出するシステム１００を示す概略図である。図示のように、システム１００は、第１の物体センサモジュール１１０を備える。第１の物体センサモジュール１１０は、第１のセンサ１１２を備える。第１の物体センサモジュール１１０は、第１の物体検出サブモジュール１２０を更に備える。第１の物体検出サブモジュール１２０は、第１のセンサ１１２からの第１の生検知データセットを受信するように構成されている。第１の物体センサモジュール１１０は、第１の追跡サブモジュール１３０を更に備える。第１の追跡サブモジュール１３０は、第１の物体検出モジュール１２０から処理データを受信して、第１のセンサ１１２からの生データを使用して第１の物体検出モジュール１２０によって識別された遠隔物体を追跡するように構成されている。

【0030】

同様に、システム１００は、第２の物体センサモジュール１５０を備える。第２の物体センサモジュール１５０は、第２のセンサ１５２を備える。第２の物体センサモジュール１５０は、第２の物体検出サブモジュール１６０を更に備える。第２の物体検出サブモジュール１６０は、第２のセンサ１５２から第２の生感知データセットを受信するように構成されている。第２の物体センサモジュール１５０は、第２の追跡サブモジュール１７０を更に備える。第２の追跡サブモジュール１７０は、第２の物体センサモジュール１５０から処理データを受信して、第２のセンサ１５２からの生データを使用して第２の物体センサモジュール１５０によって識別された遠隔物体を追跡するように構成されている。

【0031】

物体センサモジュール１１０及び１５０の一方又は両方は、物体１１５及び１５５などの識別された物体を表す１つ以上のデータセットを検出及び／又は追跡するように構成されてよい。モジュール１１０及び１５０からのこれらの物体は、次いで、融合追跡モジュール１８０を使用して組み合わせてよい。融合追跡モジュール１８０は、第１の追跡モジュール１３０あるいは第１の物体センサモジュール１１０、及び、第２の追跡モジュール１７０あるいは第２の物体センサモジュール１５０）の両方からのデータを受信して、第１のセンサモジュール１１０及び第２のセンサモジュール１５０の両方によって検出された１つ以上の物体を追跡するように構成してよい。次いで、融合追跡モジュール１８０は、これらの追跡された物体を融合し、結合されたデータを処理して、１つ以上の融合物体１８５に到達するように構成してよい。したがって、システム１００は、物体レベル融合システムの修正版の一実施例である。

【0032】

しかしながら、既知の物体レベル融合システムとは異なり、システム１００は、物体を識別するセンサモジュール１１０及び１５０のうちの他方に応答して、センサモジュール１１０及び１５０のうちの一方の動作パラメータを変更するように構成される。したがって、図１の矢印によって示されるように、第１のセンサモジュール１１０によって物体１１５を検出すると、システム１００は、検出モジュール１６０及び追跡モジュール１７０のうちの一方又は両方などの第２のセンサモジュール１５０の１つ以上の動作パラメータを変更するように構成してよい。

【0033】

したがって、いくつかの実施形態では、システム１００は、第２の検出モジュール１６０の検出閾値、及び第２の追跡モジュール１７０の追跡閾値を下げて、第２の物体センサ１５２及び／又は第２のセンサモジュール１５０からのデータを使用して、センサ１１２及び／又はセンサモジュール１１０によって検出される物体の検出確率を高めるように構成してよい。

【0034】

より具体的な実施例を提供するために、いくつかの実施形態では、センサ１１２及び１５２は互いに異なっていてよい。例えば、センサ１１２はカメラを備えてよく、センサ１５２はレーダセンサを備えてよい。いくつかのこのような実施形態では、システム１００は、カメラ１１２及び／又はモジュール１１０による物体の検出を確認すると、レーダセンサ１５２及び／又はモジュール１５０に関連付けられた検出閾値及び追跡閾値のうちの少なくとも一方を下げて、カメラ１１２によって検出された物体が、レーダセンサ１５２からのデータを使用して検出される確率を高めるように構成してよい。

【0035】

したがって、より具体的な実施例として、検出モジュールが、物体検出を確立するための信号対雑音比（「ＳＮＲ」）に関して検出閾値を適用するように構成されている場合は、このＳＮＲ閾値は、他のセンサの検出モジュールによる物体の検出の直後に一時的に下げてよい。同様に、いくつかの実施形態では、検出閾値の低減を適用する代わりに、又は、それに加えて、追跡閾値の低減を適用してよい。したがって、例えば、追跡モジュールが、４回の連続するサイクル（４／４追跡機）で物体を検出することに関して追跡を確立する閾値を適用するように構成されている場合は、この閾値は、３／３追跡機などのように一時的に下げてよい。いくつかの実施形態では、この変更は一時的であってもよく、時間の閾値などの追加の閾値を含んでよい。このような閾値は、システムの所望の誤り率に従って必要に応じて変化してよい。

【0036】

いくつかの実施形態では、両方のセンサモジュール１１０／１５０は、物体を検出すると、他のモジュール／センサの設定を変更するように構成してよい。したがって、図１に示す実施形態に関して、モジュール１５０はまた、又は代替的に、物体を検出すると、モジュール１１０の１つ以上の動作パラメータを変更して、モジュール１１０が同じ物体を検出及び／又は追跡する可能性を高めるように構成してよい。

【0037】

いくつかの実施形態では、センサモジュール１１０／１５０の一方又は両方は、特定の角度又は特定の角度範囲内でのみ適用可能な他のモジュールへの設定変更を適用するように構成してよい。したがって、例えば、カメラが所定の方向にホスト車両に対して３０度の角度で物体を検出する場合は、レーダセンサは、所定の時間の間、この角度での検出閾値、又はこの角度の所望の範囲内での検出閾値を下げるように構成してよい。例えば、検出閾値であるＳＮＲが１８ｄＢである場合は、この閾値は、１００ｍｓに対して３０度又は約３０度でＳＮＲを１５ｄＢに下げてよい。加えて、又は代替的に、レーダは追跡閾値を下げてよい。したがって、例えば、追跡閾値は、４／４から３／３に一時的に下げてよい。いくつかの実施形態では、非検出センサ／モジュールの設定は、検出された物体に関連付けられた角度又は角度範囲内でのみ調整されてよい。

【0038】

図２は、いくつかの実施形態による、物体を遠隔検出するシステムを備える、ホスト車両２００を示す。図示のように、車両２００は、上述のように、２つの別個のセンサ及び２つの対応するセンサモジュールを備えてよい。したがって、第１のセンサモジュール２１０はレーダセンサ２１２を備えてよく、第２センサモジュール２５０はカメラ２５２を備えてよい。したがって、上述のように、本システムは、レーダセンサ２１２及びカメラ２５２のうちの１つによって歩行者１０などの物体を検出すると、非検出センサ／モジュールの１つ以上の設定を一時的に変更して、非検出センサ／モジュールの歩行者１０を検出する確率を高めるように構成してよい。

【0039】

図３は、いくつかの実施形態による、車両３００内で物体を遠隔検出するシステム３０５を備える、別の車両３００を示す。システム３１０は、第１の物体センサモジュール３１０を備える。第１の物体センサモジュール３１０は、第１のセンサ３１２、検出モジュール３２０、及び追跡モジュール３３０を備える。同様に、システム３０５は、第２の物体センサモジュール３５０を備える。第２の物体センサモジュール３５０は、第２のセンサ３５２、第２の物体検出モジュール３６０、及び第２の追跡モジュール３７０を備える。

【0040】

検出モジュール３２０／３６０はそれぞれ、センサ３１２／３５２から生の検知データを受信し、このようなデータを使用して遠隔物体を識別／検出しようと試みるように構成されている。同様に、追跡モジュール３３０／３７０はそれぞれ、検出モジュール３２０／３６０から処理データを受信して、センサ３１２／３５２からの生データを使用して、検出モジュール３２０／３６０によって識別された遠隔物体を追跡するように構成される。

【0041】

システム３０５は、コントローラ３４０を更に備える。コントローラ３４０は、センサ３１２／３５２からのデータを処理するように構成してよい。本明細書で使用するとき、コントローラという用語は、プロセッサを含むハードウェアデバイスを指し、好ましくはメモリ素子も含む。メモリは、本明細書で言及されるモジュールのうちの１つ以上を記憶するように構成してよい。コントローラ３４０及び／又はプロセッサは、モジュールを実行して、本明細書に記載される１つ以上のプロセスを行うように構成してよい。

【0042】

本明細書で使用するとき、ソフトウェアモジュール又は構成要素は、メモリデバイス及び／又はｍ読み取り可能な記憶媒体内に配置された任意のタイプのコンピュータ命令又はコンピュータ実行可能コードを含んでよい。ソフトウェアモジュールは、例えば、コンピュータ命令の１つ以上の物理ブロック又は論理ブロックを含んでよく、これらは、１つ以上のタスクを行うか、又は特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などとして編成されてよい。

【0043】

特定の実施形態では、特定のソフトウェアモジュールは、メモリデバイスの異なる位置に記憶された異種の命令を含んでよく、これらの命令は、モジュールの記載された機能を共に実装する。実際に、モジュールは、単一の命令又は多くの命令を含んでよく、いくつかの異なるコードセグメントにわたって、異なるプログラム間で、及び、いくつかのメモリデバイスにわたって分散してよい。いくつかの実施形態は、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される、分散コンピューティング環境で実施してよい。分散コンピューティング環境では、ソフトウェアモジュールは、ローカル及び／又はリモートメモリ記憶デバイス内に配置してよい。加えて、データベースレコード内で紐付けられているか又は共に提供されているデータは、同じメモリデバイス内に、又はいくつかのメモリデバイスにわたって常駐してよく、ネットワークにわたってデータベースのレコードのフィールドで共にリンクしてよい。

【0044】

更に、本明細書に開示される本発明の実施形態及び実施例は、汎用又は専用コンピュータ（又は他の電子デバイス）によって実行される機械実行可能命令で具体化できる様々なステップを含んでよい。代替的に、ステップは、ステップを実行するための特定の論理を含むハードウェア構成要素によって、又はハードウェア、ソフトウェア、及び／又はファームウェアの組み合わせによって実行されてよい。

【0045】

実施形態及び／又は実施例はまた、コンピュータプログラム製品として提供されてよい。コンピュータプログラム製品は、機械可読記憶媒体を含む。機械可読記憶媒体は、本明細書に記載されるプロセスを実行するためのコンピュータ（又は他の電子デバイス）をプログラムするために使用できる記憶された命令を有する。機械可読記憶媒体としては、ハードドライブ、フロッピーディスケット、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気若しくは光カード、固体メモリデバイス、又は電子命令を記憶するのに好適な他の種類の媒体／機械可読媒体を挙げることができるが、これらに限定されない。メモリ及び／又はデータストアはまた、場合によっては、非一時的機械可読記憶媒体を備えてよい。非一時的機械可読記憶媒体は、プロセッサ、コントローラ／制御ユニットなどによって実行されるように構成された実行可能なプログラム命令を含む。

【0046】

システム３０５は、融合追跡モジュール３８０を更に備える。融合追跡モジュール３８０は、モジュール３１０及び３５０からデータを受信し、この組み合わされたデータを処理することによって、検出及び／又は追跡された物体からのデータを融合するように構成してよい。コントローラ３４０は、融合追跡モジュール３８０からのデータを処理するように構成してよい。当然ながら、当業者は、任意の好適な数のコントローラ及び／又はプロセッサが所望に応じて使用してよいことを理解するであろう。

【0047】

図４は、いくつかの実装形態による、ホスト車両内で遠隔物体を検出する方法４００の一実施例を示すフローチャートである。図示のように、方法４００はステップ４０５で開始することができる。この時点で、レーダセンサ、ライダセンサ、カメラなどの第１の物体センサを使用して、第１の感知データセットを生成及び／又は受信してよい。同様に、ステップ４１０では、第２の物体センサを使用して、第２の感知データセットを生成及び／又は受信してよい。いくつかの実装形態では、第２の物体センサは、第１の物体センサとは異なってよい。いくつかの実装形態では、ステップ４０５及び／又は４１０は、これらのセンサの一方又は両方から生データを受信することを含んでよい。

【0048】

ステップ４１５は、物体センサのうちの一方又は両方を使用して、１つ以上の物体を検出することを含んでよい。いくつかの実装形態では、ステップ４１５は、例えば、検出モジュール１２０／１６０又は３２０／３６０などの検出モジュールを使用して実行してよい。方法４００は、次いで、所与のセンサからのデータを使用して物体を検出すると、４２０で非検出センサに関連付けられたセンサ及び／又はモジュールの１つ以上の設定を変更することを含んでよい。したがって、例えば、第１の物体センサが物体を検出した場合は、ステップ４２０は、第２の物体センサ又は第２の物体センサに関連付けられた１つ以上のモジュールの任意選択のパラメータ及び／又は設定を変更して、第２の物体センサによって物体が検出される確率を高めることを含んでよい。好ましい実施形態及び実施例では、ステップ４２０は、このようなパラメータ及び／又は設定を一時的に変更することを含んでよい。次いで、この設定／パラメータは、例えば所定の時間の後、又は物体がもはや検出及び／又は追跡されなくなった後に、その元の状態にリセットされてよい。

【0049】

いくつかの実装形態では、ステップ４２０は、非検出物体センサの閾値を変更することを含んでよい。いくつかのこのような実装形態では、ステップ４２０は、非検出物体センサの又は他の方法で非検出物体センサに関連付けられた検出閾値及び追跡閾値のうちの少なくとも一方を下げることを含んでよい。いくつかのこのような実装形態では、ステップ４２０は、非検出センサの物体の追跡を開始又は維持するために、非検出センサの信号対雑音比及び追跡閾値のうちの少なくとも一方を下げることを含んでよい。

【0050】

ステップ４２５では、非検出センサ（当初、物体を検出しなかったセンサ）が、変更された設定／パラメータ内で、検出センサによって検出された物体を検出したか否かについて判定してよい。非検出センサが検出センサによって検出された物体を検出しなかった場合は、非検出センサ及び／又は関連モジュールの以前の設定は、４３０で元に戻されてよい。当然のことながら、前述したように、いくつかの実装形態では、代わりに、必要に応じて、より低い閾値設定を維持するためにタイムリミットを適用してよい。非検出センサが検出センサによって検出された物体を検出した場合には、両方のセンサからのデータは、例えば、融合追跡モジュールなどを使用して、４３５で融合してよい。別の代替として、いくつかの実装形態では、ステップ４２５は、検出センサによって検出された物体を検出するために、非検出センサにタイムリミットを適用することを含んでよい。このタイムリミットが満了する場合は、方法４００はステップ４３０に進み、一時的な設定変更がリセットされてよい。このタイムリミット内で物体が検出された場合は、ステップ４３５で、両方のセンサによって検出された物体を融合追跡機などによって融合してよい。

【0051】

上述の明細書は、様々な実施形態及び実施例を参照して説明されている。しかしながら、当業者であれば、本開示の範囲から逸脱することなく、様々な修正及び変更を行うことができることを理解するであろう。例えば、様々な動作ステップ、並びに動作ステップを実行するための構成要素は、特定の用途に応じて、又はシステムの動作に関連する任意の数のコスト関数を考慮して、様々な方法で実装されてよい。したがって、任意の１つ以上のステップは、削除し、修正し、又は他のステップと組み合わせてよい。更に、本開示は、限定的な意味ではなく、例示的なものとみなされるべきであり、このような全ての修正は、本開示の範囲内に含まれることが意図されている。同様に、様々な実施形態に関して、利益、他の利点、及び問題に対する解決策を上述した。しかしながら、利益、利点、問題に対する解決策、及び任意の利益、利点、又は解決策を生じさせるか、又はより顕著にすることができる任意の要素は、重要な特徴、必要な特徴、又は本質的な特徴又は要素として解釈されるべきではない。

【0052】

当業者は、本発明の基本原理から逸脱することなく、上述の実施形態の詳細に多くの変更がなされ得ることを理解するであろう。したがって、本発明の範囲は、添付の特許請求の範囲によってのみ判定されるべきである。

【図1】

【図2】

【図3】

【図4】