(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-15
(45)【発行日】2023-11-24
(54)【発明の名称】データ融合方法及び関連装置
(51)【国際特許分類】
G08G 1/16 20060101AFI20231116BHJP
G08G 1/04 20060101ALI20231116BHJP
G08G 1/09 20060101ALI20231116BHJP
B60W 40/02 20060101ALI20231116BHJP
G06T 7/00 20170101ALI20231116BHJP
【ＦＩ】
G08G1/16 A
G08G1/04 C
G08G1/09 H
B60W40/02
G06T7/00 650Z
G06T7/00 350C
【請求項の数】
19
(21)【出願番号】P 2020550669
(86)(22)【出願日】2019-03-19
(65)【公表番号】
(43)【公表日】2021-07-01
(86)【国際出願番号】 CN2019078646
(87)【国際公開番号】W WO2019179417
(87)【国際公開日】2019-09-26
【審査請求日】2020-10-13
(31)【優先権主張番号】201810232615.5
(32)【優先日】2018-03-20
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ユィ，ホアン
(72)【発明者】
【氏名】ヤン，シァオ
(72)【発明者】
【氏名】ソォン，ヨンガン
【審査官】藤村 泰智
(56)【参考文献】
【文献】中国特許出願公開第１０５７４１５４６（ＣＮ，Ａ）
【文献】特開２０１３－２１４２２５（ＪＰ，Ａ）
【文献】特開２０１３－１８２４９０（ＪＰ，Ａ）
【文献】特開２０１０－００９４３６（ＪＰ，Ａ）
【文献】特開２０１５－０８２３２４（ＪＰ，Ａ）
【文献】特開２０１５－０８１０８３（ＪＰ，Ａ）
【文献】中国特許出願公開第１０７２２９６９０（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００ ～ １／１６
Ｂ６０Ｗ ３０／００ ～ ６０／００
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
車両装置、路側装置、及び融合モジュールを含む融合システムにおけるデータ融合方法であって、当該方法は、前記車両装置が、車両感知データを取得するステップであって、該車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、取得するステップと、
前記路側装置が、路側感知データを取得するステップであって、該路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、取得するステップと、
前記融合モジュールが、融合式を使用して前記車両感知データと前記路側感知データとを融合して、第１の融合結果を取得するステップと、を含み、
前記融合式は、
ｙ＝ｆ（resultｒ，resultｖ）
として表され、
ここで、resultｒは路側結果セットであり、該路側結果セットは前記路側感知データを示すために使用され、resultｖは車両結果セットであり、該車両結果セットは前記車両感知データを示すために使用され、ｙは前記第１の融合結果であり、関数ｆは、（ｉ）前記路側結果セット及び前記車両結果セットに基づいてマッピングすることにより、前記路側感知データと前記車両感知データとの間でマッチングしたデータと、（ｉｉ）前記マッピングによりマッチングしなかった前記路側感知データ又は前記車両感知データとを含む前記第１の融合結果を取得するために使用される、
方法。
【請求項2】
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは前記路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ＝（roadside１，roadside２，...，roadsideＭ）であり、Ｍは前記路側感知機器の前記感知範囲内のターゲット対象物の数量であり、ｗｒｉは前記路側感知機器の前記感知範囲内のターゲット対象物ｉに対応する信頼係数であり、roadsideｉは路側ｉを示し、該路側ｉは前記路側感知機器の前記感知範囲内の前記ターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは前記車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ＝（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは前記車両感知機器の前記感知範囲内のターゲット対象物の数量であり、ｗｖｊは前記車両感知機器の前記感知範囲内のターゲット対象物ｊに対応する信頼係数であり、vehicleｊは車両ｊを示し、該車両ｊは前記車両感知機器の前記感知範囲内の前記ターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである、請求項１に記載の方法。
【請求項3】
前記融合モジュールは、前記信頼係数を、感知機器パラメータ、前記ターゲット対象物の感知距離、及び前記ターゲット対象物の感知角度をまとめたものに基づいて決定する、請求項２に記載の方法。
【請求項4】
前記信頼係数ｗは、ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ｗ∈［０，１］
の式に基づいて得ることができ、
ここで、Ｓｋは前記感知機器パラメータであり、Ｒｉは前記ターゲット対象物の前記感知距離であり、θｊは前記ターゲット対象物の前記感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである、請求項３に記載の方法。
【請求項5】
前記車両結果セットは少なくとも１つの車両結果ユニットを含み、該少なくとも１つの車両結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、前記少なくとも１つの車両結果ユニット内の各車両結果ユニットは、対応するターゲット対象物の特徴を多次元の見地から記述する、請求項１乃至４のいずれか一項に記載の方法。
【請求項6】
前記少なくとも１つの車両結果ユニット内の任意の車両結果ユニットは、車両ｊ（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）として表され、ここで、ｐｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの位置を示し、ｖｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの速度を示し、ｓｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊのサイズを示し、ｃｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの色を示し、Ｎは前記車両感知機器の前記感知範囲内のターゲット対象物の数量であり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである、請求項５に記載の方法。
【請求項7】
前記路側結果セットは少なくとも１つの路側結果ユニットを含み、該少なくとも１つの路側結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、前記少なくとも１つの路側結果ユニット内の各路側結果ユニットは、対応するターゲット対象物の特徴を多次元の見地から記述する、請求項１乃至６のいずれか一項に記載の方法。
【請求項8】
前記少なくとも１つの路側結果ユニット内の任意の路側結果ユニットは、路側ｉ（ｐｖｉ，ｖｖｉ，ｓｖｉ，ｃｖｉ）として表され、ここで、ｐｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの位置を示し、ｖｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの速度を示し、ｓｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉのサイズを示し、ｃｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの色を示し、Ｍは前記路側感知機器の前記感知範囲内のターゲット対象物の数量であり、ｉは、自然数であり、且つ０＜ｉ≦Ｍである、請求項７に記載の方法。
【請求項9】
前記融合モジュールが、融合式を使用して前記車両感知データと前記路側感知データとを融合して、第１の融合結果を取得する前に、当該方法は、前記融合モジュールが、前記路側感知データを前記車両感知データとマッチングして、マッチング結果を取得するステップをさらに含み、
前記融合モジュールが、前記車両感知データと前記路側感知データとを融合して、第１の融合結果を取得するステップは、
前記融合モジュールが、前記マッチング結果に基づいて、前記車両感知データと前記路側感知データとを融合して、前記第１の融合結果を取得するステップを含む、請求項１乃至４のいずれか一項に記載の方法。
【請求項10】
第１の取得モジュール、第２の取得モジュール、及び融合モジュールを含む融合機器であって、前記第１の取得モジュールは、車両感知データを取得するように構成され、該車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得され、
前記第２の取得モジュールは、路側感知データを取得するように構成され、該路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得され、
前記融合モジュールは、融合式を使用して前記車両感知データと前記路側感知データとを融合して、第１の融合結果を取得するように構成され、
前記融合式は、
ｙ＝ｆ（resultｒ，resultｖ）
として表され、
ここで、resultｒは路側結果セットであり、該路側結果セットは前記路側感知データを示すために使用され、resultｖは車両結果セットであり、該車両結果セットは前記車両感知データを示すために使用され、ｙは前記第１の融合結果であり、関数ｆは、（ｉ）前記路側結果セット及び前記車両結果セットに基づいてマッピングすることにより、前記路側感知データと前記車両感知データとの間でマッチングしたデータと、（ｉｉ）前記マッピングによりマッチングしなかった前記路側感知データ又は前記車両感知データとを含む前記第１の融合結果を取得するために使用される、
融合機器。
【請求項11】
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは前記路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ＝（roadside１，roadside２，...，roadsideＭ）であり、Ｍは前記路側感知機器の前記感知範囲内のターゲット対象物の数量であり、ｗｒｉは前記路側感知機器の前記感知範囲内のターゲット対象物ｉに対応する信頼係数であり、roadsideｉは路側ｉを示し、該路側ｉは前記路側感知機器の前記感知範囲内の前記ターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは前記車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ＝（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは前記車両感知機器の前記感知範囲内のターゲット対象物の数量であり、ｗｖｊは前記車両感知機器の前記感知範囲内のターゲット対象物ｊに対応する信頼係数であり、vehicleｊは車両ｊを示し、該車両ｊは前記車両感知機器の前記感知範囲内の前記ターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである、請求項１０に記載の融合機器。
【請求項12】
前記信頼係数は、感知機器パラメータ、前記ターゲット対象物の感知距離、及び前記ターゲット対象物の感知角度をまとめたものに基づいて決定される、請求項１１に記載の融合機器。
【請求項13】
前記信頼係数ｗは、ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ｗ∈［０，１］
の式に基づいて得ることができ、
ここで、Ｓｋは前記感知機器パラメータであり、Ｒｉは前記ターゲット対象物の前記感知距離であり、θｊは前記ターゲット対象物の前記感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである、請求項１２に記載の融合機器。
【請求項14】
前記車両結果セットは少なくとも１つの車両結果ユニットを含み、該少なくとも１つの車両結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、前記少なくとも１つの車両結果ユニット内の各車両結果ユニットは、対応するターゲット対象物の特徴を多次元の見地から記述するために使用される、請求項１０乃至１３のいずれか一項に記載の融合機器。
【請求項15】
前記少なくとも１つの車両結果ユニット内の任意の車両結果ユニットは、車両ｊ（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）として表され、ここで、ｐｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの位置を示し、ｖｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの速度を示し、ｓｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊのサイズを示し、ｃｖｊは前記車両感知機器が検出した前記ターゲット対象物ｊの色を示し、Ｎは前記車両感知機器の前記感知範囲内のターゲット対象物の数量であり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである、請求項１４に記載の融合機器。
【請求項16】
前記路側結果セットは少なくとも１つの路側結果ユニットを含み、該少なくとも１つの路側結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、前記少なくとも１つの路側結果ユニット内の各路側結果ユニットは、対応するターゲット対象物の特徴を多次元の見地から記述するために使用される、請求項１０乃至１５のいずれか一項に記載の融合機器。
【請求項17】
前記少なくとも１つの路側結果ユニット内の任意の路側結果ユニットは、路側ｉ（ｐｖｉ，ｖｖｉ，ｓｖｉ，ｃｖｉ）として表され、ここで、ｐｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの位置を示し、ｖｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの速度を示し、ｓｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉのサイズを示し、ｃｖｉは前記路側感知機器が検出した前記ターゲット対象物ｉの色を示し、Ｍは前記路側感知機器の前記感知範囲内のターゲット対象物の前記数量であり、ｉは、自然数であり、且つ０＜ｉ≦Ｍである、請求項１５に記載の融合機器。
【請求項18】
請求項１０に記載の融合機器であって、該融合機器は、メモリと、該メモリに結合されたプロセッサ及び通信モジュールとを含み、前記通信モジュールは、データを外部に送信する又は該外部から受信するように構成され、前記メモリは、プログラムコードを格納するように構成され、前記プロセッサは、前記メモリに格納された前記プログラムコードを呼び出して、請求項１０乃至１７のいずれか一項に記載の融合機器が実行する動作を行わせるように構成される、
融合機器。
【請求項19】
命令を含むコンピュータ可読記憶媒体であって、前記命令が請求項１８に記載の融合機器の前記プロセッサで実行されると、該プロセッサは、請求項１０乃至１７のいずれか一項に記載の融合機器が実行する動作を行わせることが可能になる、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動運転分野に関し、特に、データ融合方法及び関連装置に関する。
【背景技術】
【0002】
道路環境感知（sensing：センシング）は、自動運転を実施するための主要なタスクである。自動運転車両は、道路上の他の車両、歩行者等をかわし、且つ道路環境を感知して初めて安全運転を行うことができる。道路環境感知を実現するために、従来技術の自動運転車両は、車両に搭載された車両感知機器を使用して道路上の他の車両、歩行者等を検出し、それにより道路環境を感知している。しかしながら、従来技術における車両感知機器の感知範囲は比較的狭く、自動運転の要件を殆ど満たすことができない。
【発明の概要】
【0003】
本願の実施形態は、路側感知機器の感知範囲と車両感知機器の感知範囲との間のオーバーラップを実現するようなデータ融合方法及び関連装置を提供し、それによって、感知範囲が効果的に拡張される。
【0004】
第１の態様によれば、データ融合方法が提供され、この方法は車両装置側又は路側装置側に適用してもよく、この方法は、
車両感知データを取得するステップであって、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、取得するステップと、
路側感知データを取得するステップであって、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、取得するステップと、
融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップと、を含む。
車両感知データを取得するステップであって、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、取得するステップと、
路側感知データを取得するステップであって、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、取得するステップと、
融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップと、を含む。
【0005】
第１の態様を参照すると、融合式は、次のように表される：
ｙ＝ｆ（resultｒ，resultｖ）
ここで、resultｒは路側結果セットであり、路側結果セットは路側感知データを示すために使用され、resultｖは車両結果セットであり、車両結果セットは車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
ｙ＝ｆ（resultｒ，resultｖ）
ここで、resultｒは路側結果セットであり、路側結果セットは路側感知データを示すために使用され、resultｖは車両結果セットであり、車両結果セットは車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【0006】
特定の実施形態では、
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，... ，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，... ，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
【0007】
より具体的には、信頼係数は、感知機器パラメータ、ターゲット対象物の感知距離、及びターゲット対象物の感知角度をまとめたもの（together）に基づいて決定される。
【0008】
例えば、信頼係数ｗは、以下の式に基づいて得ることができる：
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ｗ∈［０，１］
ここで、Ｓｋは感知機器パラメータであり、Ｒｉはターゲット対象物の感知距離であり、θｊはターゲット対象物の感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである。
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ｗ∈［０，１］
ここで、Ｓｋは感知機器パラメータであり、Ｒｉはターゲット対象物の感知距離であり、θｊはターゲット対象物の感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである。
【0009】
なお、感知機器が複数のセンサを含む場合に、複数のセンサの信頼度を総合的に考慮することにより、信頼係数を求めてもよい。例えば、複数のセンサの信頼度は、重付け又は平均化の方法で総合的に考慮され得る。
【0010】
特定の実施形態では、車両結果セットは少なくとも１つの車両結果ユニットを含み、少なくとも１つの車両結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの車両結果ユニット内の各車両結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【0011】
より具体的には、少なくとも１つの車両結果ユニット内の任意の車両結果ユニットは、車両ｊ（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）として表され、ここで、ｐｖｊは車両感知機器が検出したターゲット対象物ｊの位置を示し、ｖｖｊは車両感知機器が検出したターゲット対象物ｊの速度を示し、ｓｖｊは車両感知機器が検出したターゲット対象物ｊのサイズを示し、ｃｖｊは車両感知機器が検出したターゲット対象物ｊの色を示し、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
【0012】
特定の実施形態では、路側結果セットは少なくとも１つの路側結果ユニットを含み、少なくとも１つの路側結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの路側結果ユニット内の各路側結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【0013】
より具体的には、少なくとも１つの路側結果ユニット内の任意の路側結果ユニットは、路側ｉ（ｐｖｉ，ｖｖｉ，ｓｖｉ，ｃｖｉ）として表され、ここで、ｐｖｉは路側感知機器が検出したターゲット対象物ｉの位置を示し、ｖｖｉは路側感知機器が検出したターゲット対象物ｉの速度を示し、ｓｖｉは路側感知機器が検出したターゲット対象物ｉのサイズを示し、ｃｖｉは路側感知機器が検出したターゲット対象物ｉの色を示し、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｉは、自然数であり、且つ０＜ｉ≦Ｍである。
【0014】
特定の実施形態では、融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得する前に、方法は、
路側感知データを車両感知データとマッチングして、マッチング結果を取得するステップをさらに含み、
車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップは、
マッチング結果に基づいて、車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップを含む。
路側感知データを車両感知データとマッチングして、マッチング結果を取得するステップをさらに含み、
車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップは、
マッチング結果に基づいて、車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップを含む。
【0015】
より具体的には、偏差ネットワークを使用して、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係が見出される。
【0016】
例えば、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係は、以下の式を使用して見出される：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは路側感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは路側感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【0017】
偏差ネットワーク（Ｄｅｖｉａｔｉｏｎ）は、逆伝播（ＢＰ）ニューラルネットワークによって示される。
【0018】
特定の実施形態では、路側感知データを車両感知データとマッチングしてマッチング結果を得た後に、方法は、
フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得するステップと、
評価結果に基づいて、偏差ネットワークを調整するステップと、をさらに含む。
フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得するステップと、
評価結果に基づいて、偏差ネットワークを調整するステップと、をさらに含む。
【0019】
より具体的には、フレーム間ループバックは、
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
であり、
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果であり、第１のマッチング結果は、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第２のマッチング結果は、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第３のマッチング結果は、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果であり、第４のマッチング結果は、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
であり、
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果であり、第１のマッチング結果は、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第２のマッチング結果は、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第３のマッチング結果は、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果であり、第４のマッチング結果は、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【0020】
より具体的には、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定され、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定され、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【0021】
特定の実施形態では、方法が路側装置側に適用される場合に、車両感知データを取得するステップは、少なくとも１つの車両装置により送信された車両感知データを受信するステップを含み、
融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を得た後に、この方法は、
第１の融合結果をターゲット車両装置に送信するステップをさらに以下を含み、ターゲット車両装置は、ターゲット車両装置の車両感知データと第１の融合結果とを融合して、第２の融合結果を取得するように構成され、ターゲット車両装置は少なくとも１つの車両装置に属する。
融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を得た後に、この方法は、
第１の融合結果をターゲット車両装置に送信するステップをさらに以下を含み、ターゲット車両装置は、ターゲット車両装置の車両感知データと第１の融合結果とを融合して、第２の融合結果を取得するように構成され、ターゲット車両装置は少なくとも１つの車両装置に属する。
【0022】
第２の態様によれば、データ融合方法が、提供され、且つ車両装置側に適用される。この方法は、
車両感知データを路側装置に送信するステップであって、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、送信するステップと、
路側装置により送信された第１の融合結果を受信するステップであって、第１の融合結果は、路側装置が融合式を使用して少なくとも１つの車両装置により送信された車両感知データと路側感知データとを融合することによって取得され、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、受信するステップと、
車両感知データと第１の融合結果とを融合して、第２の融合結果を取得するステップと、を含む。
車両感知データを路側装置に送信するステップであって、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、送信するステップと、
路側装置により送信された第１の融合結果を受信するステップであって、第１の融合結果は、路側装置が融合式を使用して少なくとも１つの車両装置により送信された車両感知データと路側感知データとを融合することによって取得され、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、受信するステップと、
車両感知データと第１の融合結果とを融合して、第２の融合結果を取得するステップと、を含む。
【0023】
第２の態様を参照すると、融合式は、、次のように表される：
ｙ＝ｆ（resultｒ，resultｖ）
ここで、resultｒは路側結果セットであり、路側結果セットは路側感知データを示すために使用され、resultｖは車両結果セットであり、車両結果セットは車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
ｙ＝ｆ（resultｒ，resultｖ）
ここで、resultｒは路側結果セットであり、路側結果セットは路側感知データを示すために使用され、resultｖは車両結果セットであり、車両結果セットは車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【0024】
特定の実施形態では、
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
【0025】
より具体的には、信頼係数は、感知機器パラメータ、ターゲット対象物の感知距離、及びターゲット対象物の感知角度をまとめたものに基づいて決定される。
【0026】
例えば、信頼係数ｗは、以下の式に基づいて得ることができる：
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ｗ∈［０，１］
ここで、Ｓｋは感知機器パラメータであり、Ｒｉはターゲット対象物の感知距離であり、θｊはターゲット対象物の感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである。
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ｗ∈［０，１］
ここで、Ｓｋは感知機器パラメータであり、Ｒｉはターゲット対象物の感知距離であり、θｊはターゲット対象物の感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである。
【0027】
なお、感知機器が複数のセンサを含む場合に、複数のセンサの信頼度を総合的に考慮することにより、信頼係数を求めてもよい。例えば、複数のセンサの信頼度は、重付け又は平均化の方法で総合的に考慮され得る。
【0028】
特定の実施形態では、車両結果セットは少なくとも１つの車両結果ユニットを含み、少なくとも１つの車両結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの車両結果ユニット内の各車両結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【0029】
より具体的には、少なくとも１つの車両結果ユニット内の任意の車両結果ユニットは、車両ｊ（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）として表され、ここで、ｐｖｊは車両感知機器が検出したターゲット対象物ｊの位置を示し、ｖｖｊは車両感知機器が検出したターゲット対象物ｊの速度を示し、ｓｖｊは車両感知機器が検出したターゲット対象物ｊのサイズを示し、ｃｖｊは車両感知機器が検出したターゲット対象物ｊの色を示し、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｊは、自然数であり、且つ０＜ｊ≦Ｎであるである。
【0030】
特定の実施形態では、路側結果セットは少なくとも１つの路側結果ユニットを含み、少なくとも１つの路側結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの路側結果ユニット内の各路側結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【0031】
より具体的には、少なくとも１つの路側結果ユニット内の任意の路側結果ユニットは、路側ｉ（ｐｖｉ，ｖｖｉ，ｓｖｉ，ｃｖｉ）として表され、ここで、ｐｖｉは路側感知機器が検出したターゲット対象物ｉの位置を示し、ｖｖｉは路側感知機器が検出したターゲット対象物ｉの速度を示し、ｓｖｉは路側感知機器が検出したターゲット対象物ｉのサイズを示し、ｃｖｉは路側感知機器が検出したターゲット対象物ｉの色を示し、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｉは、自然数であり、且つ０＜ｉ≦Ｍである。
【0032】
特定の実施形態では、融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得する前に、方法は、
路側感知データを車両感知データとマッチングして、マッチング結果を取得するステップをさらに含み、
車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップは、
マッチング結果に基づいて、車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップを含む。
路側感知データを車両感知データとマッチングして、マッチング結果を取得するステップをさらに含み、
車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップは、
マッチング結果に基づいて、車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップを含む。
【0033】
より具体的には、偏差ネットワークを使用して、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係が見出される。
【0034】
例えば、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係は、以下の式を使用して見出される：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【0035】
偏差ネットワーク（Ｄｅｖｉａｔｉｏｎ）は、逆伝播（ＢＰ）ニューラルネットワークによって示される。
【0036】
特定の実施形態では、路側感知データを車両感知データとマッチングして、マッチング結果を得た後に、方法は、
フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得するステップと、
評価結果に基づいて、偏差ネットワークを調整するステップと、をさらに含む。
フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得するステップと、
評価結果に基づいて、偏差ネットワークを調整するステップと、をさらに含む。
【0037】
より具体的には、フレーム間ループバックは、
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
であり、
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果であり、第１のマッチング結果は、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第２のマッチング結果は、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第３のマッチング結果は、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果であり、第４のマッチング結果は、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
であり、
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果であり、第１のマッチング結果は、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第２のマッチング結果は、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第３のマッチング結果は、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果であり、第４のマッチング結果は、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【0038】
より具体的には、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定され、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定され、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【0039】
第３の態様によれば、第１の態様の方法を実行するように構成されたユニットを含む融合機器が提供される。
【0040】
第４の態様によれば、第２の態様の方法を実行するように構成されたユニットを含む融合機器が提供される。
【0041】
第５の態様によれば、メモリと、メモリに結合されたプロセッサ及び通信モジュールとを含む融合機器が提供され、通信モジュールは、データを外部に送信する又は外部から受信するように構成され、メモリは、プログラムコードを格納するように構成され、プロセッサは、メモリに格納されたプログラムコードを呼び出して、第１の態様又は第２の態様のいずれか１つによる方法を実行するように構成される。
【0042】
第６の態様によれば、コンピュータ可読記憶媒体が、提供され、且つ命令を含み、命令が融合機器で実行されると、融合機器は、第１の態様又は第２の態様のいずれか１つによる方法を実行することが可能になる。
【0043】
第７の態様によれば、命令を含むコンピュータプログラム製品が提供され、コンピュータプログラム製品がコンピュータ上で実行されると、コンピュータは、第１の態様又は第２の態様のいずれか１つによる方法を実行することが可能になる。
【0044】
前述した解決策によれば、路側感知機器が感知によって取得した路側感知データと、車両感知機器が感知によって取得した車両感知データとを融合して、路側感知機器の感知範囲と車両感知機器の感知範囲との間のオーバーラップ（overlapping：重複）を実現し、それによって、感知範囲が効果的に拡張される。
【図面の簡単な説明】
【0045】
本発明の実施形態における技術的解決策をより明確に説明するために、以下では、実施形態を説明するために必要な添付図面について簡単に紹介する。明らかに、以下の説明における添付図面は、本発明のいくつかの実施形態を示し、当業者は、創造的な努力なしに、これらの添付図面から他の図面を依然として導き出すことができる。
【図1】本願の一実施形態による適用シナリオの概略図である。
【図2】本願の一実施形態による感知機器の空間設置角度の概略図である。
【図3】本願の一実施形態による感知機器の設置座標の概略図である。
【図4】本願の一実施形態による感知座標系の概略図である。
【図5】本願の一実施形態による逆伝播ニューラルネットワークの概略構造図である。
【図6】本願の一実施形態によるフレーム間ループバックの概略図である。
【図7】本願の一実施形態によるマルチフレーム相関の概略図である。
【図8】本願の一実施形態による第１のデータ融合方法の概略フローチャートである。
【図9】本願の一実施形態による第２のデータ融合方法の概略フローチャートである。
【図10】本願の一実施形態による第３のデータ融合方法の概略フローチャートである。
【図11】本願の一実施形態による融合機器の概略構造図である。
【図12】本願の一実施形態による融合機器の概略構造図である。
【図13】本願の一実施形態による融合機器の概略構造図である。
【図14】本願の一実施形態による融合機器の概略構造図である。
【発明を実施するための形態】
【0046】
図１は、本願の一実施形態による適用シナリオの概略図である。図１に示されるように、少なくとも１つの路側（roadside）装置が道路の側方に設置され、車両装置が道路を走行する車両の少なくとも１つに設置される。
【0047】
路側装置は、路側角度から道路環境を感知して、路側感知データを取得するように構成される。路側感知機器を路側装置のために構成してもよい。路側感知機器は、少なくとも１つの路側センサ、例えばマイクロ波レーダー及びミリ波レーダーを含み得、感知範囲内のターゲット対象物（例えば、車両及び歩行者）の位置、速度、及びサイズ等の路側感知データを特定することができる。路側感知機器は、カメラ等の路側センサをさらに含んでもよい。カメラは、感知範囲内のターゲット対象物の位置、速度、及びサイズ等の路側感知データを特定できるだけでなく、感知範囲内のターゲット対象物の色（例えば、車両の色及び歩行者の服の色）等の路側感知データも特定できる。前述したいくつかの特定の例は、路側センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。路側感知機器は、路側センサのいずれか１つを単独で使用してもよく、又は任意の複数の路側センサを同時に使用してもよい。路側感知データは、路側結果セットの形式で記述してもよく、路側結果セットは複数の路側結果ユニットを含み得、各路側結果ユニットは１つのターゲット対象物に対応する。例えば、路側結果ユニットが路側ｉ（ｐｒ，ｖｒ，ｓｒ，ｃｒ）として表すことができると仮定すると、ｐｒは路側感知機器が検出したターゲット対象物の位置を示し、ｖｒは路側感知機器が検出したターゲット対象物の速度を示し、ｓｒは路側感知機器が検出したターゲット対象物のサイズを示し、ｃｒは路側感知機器が検出したターゲット対象物の色を示し、路側結果セットはresultｒ（roadside１，roadside２，...，roadsideＭ）として表すことができ、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量である。より具体的には、マトリックス形式を例にとると、路側結果セットは、次のように表すことができる。
【数1】
【0048】
車両装置は、車両角度から道路環境を感知して、車両感知データを取得するように構成される。車両感知機器を車両装置のために構成してもよい。車両感知機器は、少なくとも１つの車両センサ、例えば複合慣性航法、マイクロ波レーダー、ミリ波レーダー、及びカメラを含み得る。異なる車両センサが異なる車両感知データを検出することができる。例えば、車両感知機器は、複合慣性航法を使用して、ターゲット対象物の位置及び速度等の路側感知データを特定することができる。車両感知機器は、マイクロ波レーダー及びミリ波レーダーを使用して、感知範囲内のターゲット対象物の位置、速度、及びサイズ等の路側感知データを特定することができる。車両感知機器は、カメラを使用して、感知範囲内のターゲット対象物の位置、速度、サイズ、及び色等の路側感知データを特定することができる。前述したいくつかの特定の例は、車両センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。車両感知機器は、車両センサのいずれか１つを単独で使用してもよく、又は任意の複数の車両センサを同時に使用してもよい。車両感知データは、車両結果セットの形式で記述してもよく、車両結果セットは複数の車両結果ユニットを含み得、各車両結果ユニットは１つのターゲット対象物に対応する。車両結果ユニットは、多次元の角度からのターゲット対象物の特徴、例えば位置、速度、サイズ、及び色を記述する。例えば、車両結果ユニットが車両（ｐｖ，ｖｖ，ｓｖ，ｃｖ）として表すことができると仮定すると、ｐｖは車両感知機器が検出したターゲット対象物の位置を示し、ｖｖは車両感知機器が検出したターゲット対象物の速度を示し、ｓｖは車両感知機器が検出したターゲット対象物のサイズを示し、ｃｖは車両感知機器が検出したターゲット対象物の色を示し、車両結果セットはresultｖ（vehicle１，vehicle２，...，vehicleＮ）として表すことができ、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量である。より具体的には、マトリックス形式を例にとると、車両結果セットは、次のように表すことができる。
【数2】
【0049】
本願のこの実施形態では、路側装置及び車両装置は、データ通信を実施するために無線で接続してもよい。
【0050】
本願のこの実施形態では、路側装置及び／又は車両装置は、融合式を使用して、路側感知機器が感知範囲内で検出した路側感知データと、車両感知機器が感知範囲内で検出した車両感知データとに対してデータ融合を実行して、第１の融合結果を取得することができる。路側結果セットが路側感知データを示し、且つ車両結果セットが車両感知データを示す例では、融合式は、次のように表すことができる：
ｙ＝ｆ（resultｒ，resultｖ）
ここで、resultｒは路側結果セットであり、resultｖは車両結果セットであり、ｙは第１の融合結果であり、ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
ｙ＝ｆ（resultｒ，resultｖ）
ここで、resultｒは路側結果セットであり、resultｖは車両結果セットであり、ｙは第１の融合結果であり、ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【0051】
特定の実施態様では、関数ｆは、次のように表すことができる：
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒは多次元データであり得、つまり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉはＭ未満の自然数であり、ｗｖは車両感知機器の信頼係数であり、ｗｖは多次元データであり得、つまりｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊはＮ未満の自然数である。路側感知機器の信頼係数をより細かく分割することができ、それによって、路側結果ユニット内の異なる要素が異なる信頼係数に対応することが理解され得る。同様に、車両感知機器の信頼係数もより細かく分割することができ、それによって、車両結果ユニット内の異なる要素が異なる信頼係数に対応する。具体的には、
の場合に
であり、
の場合に
である。
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒは多次元データであり得、つまり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉはＭ未満の自然数であり、ｗｖは車両感知機器の信頼係数であり、ｗｖは多次元データであり得、つまりｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊはＮ未満の自然数である。路側感知機器の信頼係数をより細かく分割することができ、それによって、路側結果ユニット内の異なる要素が異なる信頼係数に対応することが理解され得る。同様に、車両感知機器の信頼係数もより細かく分割することができ、それによって、車両結果ユニット内の異なる要素が異なる信頼係数に対応する。具体的には、
【数3】
【数4】
【数5】
【数6】
【0052】
路側感知機器の信頼係数と車両感知機器の信頼係数との比が大きい場合に、融合結果における路側感知データの割合と融合結果における車両感知データの割合との比が大きいことは容易に理解される。簡単に言えば、感知機器の信頼係数の値が大きいほど、融合結果での検出を通じて感知機器が取得した感知データの割合が大きくなる。
【0053】
なお、信頼係数は、感知機器パラメータ、ターゲット対象物の感知距離、及びターゲット対象物の感知角度をまとめたもの（together）に基づいて決定してもよい。感知機器パラメータは、初期精度、空間設置角度、及び感知機器の設置座標に関連する。ターゲット対象物の感知距離は、感知座標系におけるターゲット対象物と感知機器との間の距離である。ターゲット対象物の感知角度は、感知座標系におけるターゲット対象物と感知機器とのなす角度である。なお、感知機器が複数のセンサを含む場合に、複数のセンサの信頼度を総合的に考慮することにより、重付け又は平均化の方法で信頼係数を求めてもよいことに留意されたい。特定の実施形態では、信頼係数は、以下の式に基づいて得ることができる：
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ｗ∈［０，１］
ここで、Ｓｋは感知機器パラメータであり、Ｒｉは感知距離であり、θｊは感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである。較正パラメータテーブルは、大量の既知のターゲット対象物のデータをセンサ機器の較正プロセスにおいて使用することにより、逆推定によって得ることができる。感知機器パラメータの精度が高い場合に、信頼係数の値が大きくなり、又は感知機器パラメータの精度が低い場合に、信頼係数の値が小さくなることは容易に理解できる。感知距離が短い場合に、信頼係数の値は大きくなり、又は感知距離が長い場合に、信頼係数の値は小さくなることは容易に理解できる。感知角度が小さい場合に、信頼係数の値は大きくなり、又は感知角度が大きい場合に、信頼係数の値は小さくなることは容易に理解できる。
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ｗ∈［０，１］
ここで、Ｓｋは感知機器パラメータであり、Ｒｉは感知距離であり、θｊは感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである。較正パラメータテーブルは、大量の既知のターゲット対象物のデータをセンサ機器の較正プロセスにおいて使用することにより、逆推定によって得ることができる。感知機器パラメータの精度が高い場合に、信頼係数の値が大きくなり、又は感知機器パラメータの精度が低い場合に、信頼係数の値が小さくなることは容易に理解できる。感知距離が短い場合に、信頼係数の値は大きくなり、又は感知距離が長い場合に、信頼係数の値は小さくなることは容易に理解できる。感知角度が小さい場合に、信頼係数の値は大きくなり、又は感知角度が大きい場合に、信頼係数の値は小さくなることは容易に理解できる。
【0054】
特定の実施形態では、感知機器パラメータは、以下の式に基づいて得ることができる：
Ｓｋ＝ｈ（Ｓ０，Ａ，Ｐ）
ここで、Ｓｋは感知機器パラメータであり、Ｓ０は感知機器パラメータの初期精度であり、Ａは、感知機器の空間設置角度、つまり、感知機器が設置された後の道路の地面に対する空間角であり、Ｐは、感知機器の設置座標、つまり、感知機器が設置された後の道路の地面に対する３次元座標である。
Ｓｋ＝ｈ（Ｓ０，Ａ，Ｐ）
ここで、Ｓｋは感知機器パラメータであり、Ｓ０は感知機器パラメータの初期精度であり、Ａは、感知機器の空間設置角度、つまり、感知機器が設置された後の道路の地面に対する空間角であり、Ｐは、感知機器の設置座標、つまり、感知機器が設置された後の道路の地面に対する３次元座標である。
【0055】
オプションで、感知機器の空間設置角度は、Ａ＝（ヨー、ピッチ、ロール）として規定してもよく、ヨーは道路の地面に対する感知機器のヨー角であり、ピッチは道路の地面に対する感知機器のピッチ角であり、ロールは道路の地面に対する感知機器のロール角である。図２に示されるように、道路の地面に対して右手デカルト座標が作成される例では、ヨー角（yaw：ヨー）は、感知機器をｙ軸の周りに回転させることによって得られる角度として規定することができ、ピッチ角（pitch：ピッチ）は、感知機器をｘ軸の周りに回転させることによって得られる角度として規定することができ、ロール角（roll：ロール）は、感知機器をｚ軸の周りに回転させることによって得られる角度として規定することができる。
【0056】
オプションで、感知機器の設置座標は、Ｐ＝（ｘ、ｙ、ｈ）として規定してもよい。図３に示されるように、ｘ及びｙは、道路の地面に投影された感知機器の座標を示し、ｈは、感知機器から道路の地面までの垂直距離を示す。
【0057】
特定の実施形態では、ターゲット対象物の感知距離及びターゲット対象物の感知角度は、以下の方法で取得してもよい。図４に示されるように、感知機器を中心として、感知機器の感知範囲を異なる距離及び異なる角度のセクタ（sector）領域に分割し、それによって、感知座標系を作成する。感知機器は、ターゲット対象物が感知座標系に含まれるセクタ領域に基づいて、ターゲット対象物の感知距離Ｒｉ及びターゲット対象物の感知角度θｊを決定する。
【0058】
路側感知データ及び車両感知データに対してデータ融合を実行して融合結果を取得する前に、路側装置及び／又は車両装置は、路側感知データを車両感知データとマッチングして、マッチングを取得する必要があり、それによって、路側装置及び／又は車両装置は、マッチング結果に基づいて、路側感知データ及び車両感知データに対してデータ融合を実行することができる。
【0059】
以下では、路側感知データを車両感知データとマッチングさせることの意味を説明する例を使用する。路側結果セットの形式で表された路側感知データがresultｒ（roadside１，roadside２，...，roadsideＭ）であり、車両結果セットの形式で表された車両感知データがresultｒ（vehicle１，vehicle２，...，vehicleＮ）であると仮定し、ここで、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、Ｍ＞Ｎであり、roadside１（路側１）は路側感知機器がターゲット対象物１を検出することによって取得された路側結果ユニットであり、roadside２（路側２）は路側感知機器がターゲット対象物２を検出することによって取得された路側結果ユニットであり、・・・（以下同様に続き）、roadsideＭ（路側M）は路側感知機器がターゲット対象物Ｍを検出することによって取得された路側結果ユニットであり、そして、vehicle１（車両１）は車両感知機器がターゲット対象物１を検出することによって取得された車両結果ユニットであり、vehicle２（車両２）は車両感知機器がターゲット対象物２を検出することによって取得された車両結果ユニットであり、・・・（以下同様に続き）、vehicleＮ（車両N）は車両感知機器がターゲット対象物Ｎを検出することによって取得された車両結果ユニットである。従って、roadside１及びvehicle１は両方とも、ターゲット対象物１を検出することによって取得された結果ユニットであり、且つマッチング関係を有しており、roadside２及びvehicle２は両方とも、ターゲット対象物２を検出することによって取得された結果ユニットであり、且つマッチング関係を有しており、・・・（以下同様に続き）、roadsideＭ及びvehicleＮは両方とも、どちらもターゲット対象物Ｎを検出することによって取得された結果ユニットであり、且つマッチング関係を有する。従って、路側感知データを車両感知データとマッチングさせることは、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間の全てのマッチング関係を見出すことである。
【0060】
本願のこの実施形態では、路側装置及び／又は車両装置は、偏差ネットワークを使用して、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係を見出すことができる。具体的には、路側結果ユニット及び車両結果ユニットは偏差ネットワークの入力として使用される。この場合に、偏差ネットワークは、路側結果ユニットと車両結果ユニットとの間のマッチング結果を出力する。偏差ネットワークによって出力されたマッチング結果が、路側結果ユニットが車両結果ユニットと一致することを示す場合に、それは、路側結果ユニットと車両結果ユニットとの間にマッチング関係が存在すると考えられ得る。或いは、偏差ネットワークによって出力されたマッチング結果が、路側結果ユニットが車両結果ユニットと一致しないことを示す場合に、それは、路側結果ユニットと車両結果ユニットとの間にマッチング関係が存在しないと考えられ得る。さらに前述した例を例にとると、roadside１及びvehicle１が偏差ネットワークの入力として使用され、偏差ネットワークによって出力されたマッチング結果が、roadside１がvehicle１と一致することを示す場合に、それは、roadside１とvehicle１との間にマッチング関係が存在すると判定することができる。或いは、roadside１及びvehicle２が偏差ネットワークの入力として使用され、偏差ネットワークによって出力されたマッチング結果が、roadside１がvehicle２と一致しないことを示す場合に、それは、roadside１とvehicle２との間にマッチング関係が存在しないと判定することができる。
【0061】
本願のこの実施形態では、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係は、以下の式を使用して見出すことができる：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【0062】
路側ｉ＝（ｐｒｉ、ｖｒｉ、ｓｒｉ、ｃｒｉ）及び車両ｊ＝（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）を例にとると、特定の実施態様では、偏差ネットワーク（Ｄｅｖｉａｔｉｏｎ）は、図５に示される逆伝播（back propagation : BP）ニューラルネットワークであり得、
ここで、Δｐｉｊは位置偏差であり、Δｐｉｊ＝ｆａｂｓ（ｐｒｉ－ｐｖｊ）であり、ｐｒｉは路側感知機器が検出したターゲット対象物ｉの位置であり、ｐｖｊは車両感知機器が検出したターゲット対象物ｊの位置であり、ｆａｂｓは絶対値を求めるための関数であり、
Δｖｉｊは速度偏差であり、Δｖｉｊ＝ｆａｂｓ（ｖｒｉ－ｖｖｊ）であり、ｖｒｉは路側感知機器が検出したターゲット対象物ｉの速度であり、ｖｖｊは車両感知機器が検出したターゲット対象物ｊの速度であり、
Δｓｉｊはサイズ偏差であり、Δｓｉｊ＝ｆａｂｓ（ｓｒｉ－ｓｖｊ）であり、ｓｒｉは路側感知機器が検出したターゲット対象物ｉのサイズであり、ｓｖｊは車両感知機器が検出したターゲット対象物ｊのサイズであり、
Δｃｉｊは色偏差であり、Δｃｉｊ＝ｆａｂｓ（ｃｒｉ－ｃｖｊ）であり、ｃｒｉは路側感知機器が検出したターゲット対象物ｉの色であり、ｃｖｊは車両感知機器が検出したターゲット対象物ｊの色であり、
Ｐｐは位置偏差係数であり、Ｐｐ＝１／（１＋ｅｘｐ（－ｗｒｉ ｐｗｖｊ ｐ））であり、ｗｒｉ ｐは路側感知機器が検出したターゲット対象物ｉの位置に対応する信頼係数であり、ｗｖｊ ｐは車両感知機器が検出したターゲット対象物ｊの位置に対応する信頼係数であり、
Ｐｖは速度偏差係数であり、Ｐｖ＝１／（１＋ｅｘｐ（－ｗｒｉ ｖｗｖｊ ｖ））であり、ｗｒｉ ｖは路側感知機器が検出したターゲット対象物ｉの速度に対応する信頼係数であり、ｗｖｊ ｖは車両感知機器が検出したターゲット対象物ｊの速度に対応する信頼係数であり、
Ｐｓはサイズ偏差係数であり、Ｐｓ＝１／（１＋ｅｘｐ（－ｗｒｉ ｓｗｖｊ ｓ））であり、ｗｒｉ ｓは路側感知機器が検出したターゲット対象物ｉのサイズに対応する信頼係数であり、ｗｖｊ ｓは車両感知機器が検出したターゲット対象物ｊのサイズに対応する信頼係数であり、
Ｐｃは速度偏差係数であり、Ｐｃ＝１／（１＋ｅｘｐ（－ｗｒｉ ｃｗｖｊ ｃ））であり、ｗｒｉ ｃは路側感知機器が検出したターゲット対象物ｉの色に対応する信頼係数であり、ｗｖｊ ｃは車両感知機器が検出したターゲット対象物ｊの色に対応する信頼係数であり、
φ（．）は活性化関数であり、ここで、活性化関数は、漏れ（leaky）正規化線形ユニット（Leaky
Rectified Linear Unit : LReLU）、パラメータ正規化線形ユニット（Parametric
Rectified Linear Unit : PReLU）、ランダム化漏れ正規化線形ユニット（Randomized
Leaky Rectified Linear unit : RReLU）、ReLUSoftplus関数、Softsign関数、Sigmoid関数、又はtanh関数であり得る。
ここで、Δｐｉｊは位置偏差であり、Δｐｉｊ＝ｆａｂｓ（ｐｒｉ－ｐｖｊ）であり、ｐｒｉは路側感知機器が検出したターゲット対象物ｉの位置であり、ｐｖｊは車両感知機器が検出したターゲット対象物ｊの位置であり、ｆａｂｓは絶対値を求めるための関数であり、
Δｖｉｊは速度偏差であり、Δｖｉｊ＝ｆａｂｓ（ｖｒｉ－ｖｖｊ）であり、ｖｒｉは路側感知機器が検出したターゲット対象物ｉの速度であり、ｖｖｊは車両感知機器が検出したターゲット対象物ｊの速度であり、
Δｓｉｊはサイズ偏差であり、Δｓｉｊ＝ｆａｂｓ（ｓｒｉ－ｓｖｊ）であり、ｓｒｉは路側感知機器が検出したターゲット対象物ｉのサイズであり、ｓｖｊは車両感知機器が検出したターゲット対象物ｊのサイズであり、
Δｃｉｊは色偏差であり、Δｃｉｊ＝ｆａｂｓ（ｃｒｉ－ｃｖｊ）であり、ｃｒｉは路側感知機器が検出したターゲット対象物ｉの色であり、ｃｖｊは車両感知機器が検出したターゲット対象物ｊの色であり、
Ｐｐは位置偏差係数であり、Ｐｐ＝１／（１＋ｅｘｐ（－ｗｒｉ ｐｗｖｊ ｐ））であり、ｗｒｉ ｐは路側感知機器が検出したターゲット対象物ｉの位置に対応する信頼係数であり、ｗｖｊ ｐは車両感知機器が検出したターゲット対象物ｊの位置に対応する信頼係数であり、
Ｐｖは速度偏差係数であり、Ｐｖ＝１／（１＋ｅｘｐ（－ｗｒｉ ｖｗｖｊ ｖ））であり、ｗｒｉ ｖは路側感知機器が検出したターゲット対象物ｉの速度に対応する信頼係数であり、ｗｖｊ ｖは車両感知機器が検出したターゲット対象物ｊの速度に対応する信頼係数であり、
Ｐｓはサイズ偏差係数であり、Ｐｓ＝１／（１＋ｅｘｐ（－ｗｒｉ ｓｗｖｊ ｓ））であり、ｗｒｉ ｓは路側感知機器が検出したターゲット対象物ｉのサイズに対応する信頼係数であり、ｗｖｊ ｓは車両感知機器が検出したターゲット対象物ｊのサイズに対応する信頼係数であり、
Ｐｃは速度偏差係数であり、Ｐｃ＝１／（１＋ｅｘｐ（－ｗｒｉ ｃｗｖｊ ｃ））であり、ｗｒｉ ｃは路側感知機器が検出したターゲット対象物ｉの色に対応する信頼係数であり、ｗｖｊ ｃは車両感知機器が検出したターゲット対象物ｊの色に対応する信頼係数であり、
φ（．）は活性化関数であり、ここで、活性化関数は、漏れ（leaky）正規化線形ユニット（Leaky
Rectified Linear Unit : LReLU）、パラメータ正規化線形ユニット（Parametric
Rectified Linear Unit : PReLU）、ランダム化漏れ正規化線形ユニット（Randomized
Leaky Rectified Linear unit : RReLU）、ReLUSoftplus関数、Softsign関数、Sigmoid関数、又はtanh関数であり得る。
【0063】
なお、ｗｒｉ
ｐ，ｗｖｊ
ｐ，ｗｒｉ
ｖ，ｗｖｊ
ｖ，ｗｒｉ
ｓ，ｗｖｊ
ｓ，ｗｒｉ
ｃ，及びｗｖｊ
ｃを取得するための方法については、信頼係数に関連する前述した段落を参照することができることに留意されたい。詳細については、ここでは再び説明しない。
【0064】
前述した例では、偏差ネットワークは、ＢＰニューラルネットワークを例として使用することにより説明した。あるいはまた、別の実施態様では、偏差ネットワークは、長・短期記憶（Long Short-Term Memory : LSTM）ネットワーク、残差ネットワーク（Residential Networking : ResNet）、再帰型ニューラルネットワーク（Recurrent Neural Networks : RNN）等であり得る。これは、本明細書では特に限定されない。
【0065】
以上の内容では、路側感知データと車両感知データとの間のマッチングを単一のフレームのみで実施しており、マッチング結果の信頼度は高くはない。上記の問題を解決するために、２つのフレーム又はさらに多くのフレームにおける路側感知データと車両感知データとの間のマッチングが考慮され得、それによって、マッチング結果の信頼度が向上する。さらに、路側装置及び／又は車両装置は、フレーム間（interframe）ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度をさらに評価して、評価結果を取得し、評価結果に基づいて、偏差ネットワークを調整することができる。
【0066】
本願のこの実施形態では、フレーム間ループバックは、主に、隣接するフレームにおける路側感知データと車両感知データとの間のクロスマッチングによって取得されたマッチング結果に基づく計算によって得られる。結果ユニットを例にとると、フレーム間ループバックは、主に、フレーム内（intraframe）マッチング結果及び隣接フレームのフレーム間マッチング結果に基づいて取得される。フレーム内マッチング結果とは、異なる感知機器が同じフレーム内の同じターゲット対象物を検出することによって取得された結果ユニットのマッチングにより得られるマッチング結果である。フレーム間マッチング結果とは、同じ感知機器が隣接するフレームで同一のターゲット対象物を検出することによって取得された結果ユニットのマッチングにより得られるマッチング結果である。
【0067】
図６に示されるように、路側感知機器及び車両感知機器を例にとると、フレーム間ループバックは、次のように規定することができる：
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果である。第１のマッチング結果は、ｉ番目のフレームのフレーム内マッチング結果、すなわち、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第２のマッチング結果は、車両感知機器のフレーム間マッチング結果、すなわち、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第３のマッチング結果は、（ｉ＋１）番目のフレームのフレーム内マッチング結果、すなわち、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニッと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。第４のマッチング結果は、路側感知機器のフレーム間マッチング結果、すなわち、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果である。第１のマッチング結果は、ｉ番目のフレームのフレーム内マッチング結果、すなわち、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第２のマッチング結果は、車両感知機器のフレーム間マッチング結果、すなわち、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第３のマッチング結果は、（ｉ＋１）番目のフレームのフレーム内マッチング結果、すなわち、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニッと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。第４のマッチング結果は、路側感知機器のフレーム間マッチング結果、すなわち、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【0068】
本願のこの実施形態では、マルチフレーム相関は、主に、複数の連続するフレームの間のフレーム間ループバックに基づいて得られる。特定の実施態様では、図７に示されるように、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定でき、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定でき、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【0069】
路側装置及び／又は車両装置によって実行されるデータ融合が、少なくとも以下の２つの利点をもたらすことは容易に理解される。
【0070】
１． 路側感知機器の感知範囲と車両感知機器の感知範囲との間にオーバーラップを実現することができ、それによって、路側感知機器及び／又は車両感知機器の感知範囲が効果的に拡張される。例えば、路側感知機器が感知範囲内で検出したターゲット対象物の数量が３つ（ターゲット対象物１、ターゲット対象物２、及びターゲット対象物３）であり、車両感知機器が感知範囲内で検出したターゲット対象物の数量が２つ（ターゲット対象物３、及びターゲット対象物４）であると仮定すると、車両感知機器が路側感知データと車両感知データとを融合した後に、融合結果の感知範囲には、４つのターゲット対象物（ターゲット対象物１、ターゲット対象物２、ターゲット対象物３、及びターゲット対象物４）が含まれる。
【0071】
２． 信頼度の高いデータを使用して信頼度の低いデータを補正することができ、それによって、路側感知機器及び／又は車両感知機器のデータの信頼度を効果的に向上させる。例えば、路側感知機器が計測によって取得したターゲット対象物の速度の信頼度が、車両感知機器が計測によって取得したターゲット対象物の速度の信頼度よりも低いと仮定すると、路側感知機器は、車両感知機器が計測によって取得したターゲット対象物の速度を使用して、路側感知機器が計測によって取得したターゲット対象物の速度を補正し、信頼度の高いデータを取得することができる。
【0072】
仕様の前述の内容は、路側感知機器が感知範囲内で検出した路側感知データと、車両感知機器が感知範囲内で検出した車両感知データとに対してデータ融合をどの様に実施するかに関する解決策に焦点を当てている。以下は、データ融合方法及び関連装置の観点から、路側感知機器及び／又は車両感知機器が、前述したデータ融合解決策をどの様に使用して感知範囲を拡張するかを説明する。
【0073】
【0074】
Ｓ１０１． 車両装置は車両感知データを取得し、車両感知データは、車両感知機器が車両センサを使用して感知範囲内の道路環境を感知することによって取得される。
【0075】
本願のこの実施形態では、車両感知機器を車両感知装置のために構成してもよい。車両感知機器は、少なくとも１つの車両センサ、例えば複合慣性航法、マイクロ波レーダー、ミリ波レーダー、及びカメラを含み、且つ感知範囲内のターゲット対象物の車両感知データを特定することができる。車両感知データには、ターゲット対象物の位置、速度、サイズ、色等が含まれ得る。
【0076】
前述したいくつかの特定の例は、車両センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。車両感知機器は、車両センサのいずれか１つを単独で使用してもよく、又は任意の複数の車両センサを同時に使用してもよい。
【0077】
Ｓ１０２． 路側装置は路側感知データを取得し、路側感知データは、路側感知機器が路側センサを使用して感知範囲内の道路環境を感知することによって取得される。
【0078】
本願のこの実施形態では、路側感知機器を路側装置のために構成してもよい。路側感知機器は、少なくとも１つの路側センサ、例えばマイクロ波レーダー及びミリ波レーダーを含み、且つ感知範囲内のターゲット対象物の路側感知データを特定することができる。路側感知データには、ターゲット対象物の位置、速度、サイズ、及び色等が含まれ得る。
【0079】
前述したいくつかの特定の例は、路側センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。路側感知機器は、路側センサのいずれか１つを単独で使用してもよく、又は任意の複数の路側センサを同時に使用してもよい。
【0080】
Ｓ１０３． 路側装置は、路側感知データを車両装置に送信する。対応して、車両装置は、路側装置により送信された路側感知データを受信する。
【0081】
Ｓ１０４． 車両装置は、路側感知データを車両感知データとマッチングして、マッチング結果を取得する。
【0082】
本願のこの実施形態では、車両装置は、偏差ネットワークを使用して、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係を見出すことができる。具体的には、路側結果ユニット及び車両結果ユニットは、偏差ネットワークの入力として使用される。この場合に、偏差ネットワークは、路側結果ユニットと車両結果ユニットとの間のマッチング結果を出力する。
【0083】
本願のこの実施形態では、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係は、以下の式を使用して見出すことができる：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【0084】
Ｓ１０５． 車両装置は、フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価し、評価結果に基づいて、偏差ネットワークを調整する。
【0085】
本願のこの実施形態では、フレーム間ループバックは、次のように規定することができる：
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果である。第１のマッチング結果は、ｉ番目のフレームのフレーム内マッチング結果、すなわち、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第２のマッチング結果は、車両感知機器のフレーム間マッチング結果、すなわち、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第３のマッチング結果は、（ｉ＋１）番目のフレームのフレーム内マッチング結果、すなわち、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニッと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。第４のマッチング結果は、路側感知機器のフレーム間マッチング結果、すなわち、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果である。第１のマッチング結果は、ｉ番目のフレームのフレーム内マッチング結果、すなわち、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第２のマッチング結果は、車両感知機器のフレーム間マッチング結果、すなわち、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第３のマッチング結果は、（ｉ＋１）番目のフレームのフレーム内マッチング結果、すなわち、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニッと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。第４のマッチング結果は、路側感知機器のフレーム間マッチング結果、すなわち、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【0086】
本願のこの実施形態では、マルチフレーム相関は、主に、複数の連続するフレームの間のフレーム間ループバックに基づいて得られる。特定の実施態様では、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定でき、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定でき、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【0087】
Ｓ１０６． 車両装置は、融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得する。
【0088】
本願のこの実施形態では、車両装置は、融合式を使用して、路側感知機器が感知範囲内で検出した路側感知データと、車両感知機器が感知範囲で検出した車両感知データとに対してデータ融合を実行して、第１の融合結果を取得することができる。
【0089】
本願のこの実施形態では、
ｙ＝ｆ（resultｒ，resultｖ）
として表すことができ、
ここで、resultｒは路側結果セットであり、resultｖは車両結果セットであり、ｙは第１の融合結果であり、ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
ｙ＝ｆ（resultｒ，resultｖ）
として表すことができ、
ここで、resultｒは路側結果セットであり、resultｖは車両結果セットであり、ｙは第１の融合結果であり、ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【0090】
特定の実施態様では、関数ｆは、次のように表すことができる：
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒは多次元データであり得、つまりｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉはＭ未満の自然数であり、ｗｖは車両感知機器の信頼係数であり、ｗｖは多次元データであり得、つまりｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊはＮ未満の自然数である。
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒは多次元データであり得、つまりｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉはＭ未満の自然数であり、ｗｖは車両感知機器の信頼係数であり、ｗｖは多次元データであり得、つまりｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊはＮ未満の自然数である。
【0091】
簡潔にするために、本願のこの実施形態では、路側感知データと車両感知データとの融合については、再び詳細に説明しない。詳細については、明細書の冒頭の路側感知データと車両感知データとの融合に関する説明を参照されたい。
【0092】
【0093】
Ｓ２０１． 路側装置は路側感知データを取得し、路側感知データは、路側感知機器が路側センサを使用して感知範囲内の道路環境を感知することによって取得される。
【0094】
本願のこの実施形態では、路側感知機器を路側装置のために構成してもよい。路側感知機器は、少なくとも１つの路側センサ、例えばマイクロ波レーダー及びミリ波レーダーを含み、且つ感知範囲内のターゲット対象物の路側感知データを特定することができる。路側感知データには、ターゲット対象物の位置、速度、サイズ、色等が含まれ得る。
【0095】
前述したいくつかの特定の例は、路側センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。路側感知機器は、路側センサのいずれか１つを単独で使用してもよく、又は任意の複数の路側センサを同時に使用してもよい。
【0096】
Ｓ２０２． 車両装置は車両感知データを取得し、車両感知データは、車両感知機器が車両センサを使用して感知範囲内の道路環境を感知することによって取得される。
【0097】
本願のこの実施形態では、車両感知機器を車両装置のために構成してもよい。車両感知機器は、少なくとも１つの車両センサ、例えば複合慣性航法、マイクロ波レーダー、ミリ波レーダー、及びカメラを含み、且つ感知範囲内のターゲット対象物の車両感知データを特定することができる。車両感知データには、ターゲット対象物の位置、速度、サイズ、色等が含まれ得る。
【0098】
前述したいくつかの特定の例は、車両センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。車両感知機器は、車両センサのいずれか１つを単独で使用してもよく、又は任意の複数の車両センサを同時に使用してもよい。
【0099】
Ｓ２０３． 車両装置は、車両感知データを路側装置に送信する。対応して、路側装置は、車両装置により送信された車両感知データを受信する。
【0100】
Ｓ２０４． 路側装置は、路側感知データを車両感知データとマッチングして、マッチング結果を取得する。
【0101】
本願のこの実施形態では、路側感知機器は、偏差ネットワークを使用して、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係を見出すことができる。具体的には、路側結果ユニット及び車両結果ユニットは偏差ネットワークの入力として使用される。この場合に、偏差ネットワークは、路側結果ユニットと車両結果ユニットとの間のマッチング結果を出力する。
【0102】
本願のこの実施形態では、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係は、以下の式を使用して見出すことができる：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【0103】
Ｓ２０５． 路側装置は、フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得し、評価結果に基づいて、偏差ネットワークを調整する。
【0104】
本願のこの実施形態では、フレーム間ループバックは、次のように規定することができる：
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果である。第１のマッチング結果は、ｉ番目のフレームのフレーム内マッチング結果、すなわち、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第２のマッチング結果は、車両感知機器のフレーム間マッチング結果、すなわち、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第３のマッチング結果は、（ｉ＋１）番目のフレームのフレーム内マッチング結果、すなわち、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニッと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。第４のマッチング結果は、路側感知機器のフレーム間マッチング結果、すなわち、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果である。第１のマッチング結果は、ｉ番目のフレームのフレーム内マッチング結果、すなわち、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第２のマッチング結果は、車両感知機器のフレーム間マッチング結果、すなわち、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第３のマッチング結果は、（ｉ＋１）番目のフレームのフレーム内マッチング結果、すなわち、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニッと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。第４のマッチング結果は、路側感知機器のフレーム間マッチング結果、すなわち、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【0105】
本願のこの実施形態では、マルチフレーム相関は、主に、複数の連続するフレームの間のフレーム間ループバックに基づいて得られる。特定の実施態様では、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定でき、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定でき、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【0106】
Ｓ２０６． 路側装置は、融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得する。
【0107】
本願のこの実施形態では、路側感知機器は、融合式を使用して、路側感知機器が感知範囲内で検出した路側感知データと、車両感知機器が検出範囲内で検出した車両感知データとに対してデータ融合を実行して、第１の融合結果を取得することができる。
【0108】
本願のこの実施形態では、融合式は、
ｙ＝ｆ（resultｒ，resultｖ）
として表すことができ、
ここで、resultｒは路側結果セットであり、resultｖは車両結果セットであり、ｙは第１の融合結果であり、ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
ｙ＝ｆ（resultｒ，resultｖ）
として表すことができ、
ここで、resultｒは路側結果セットであり、resultｖは車両結果セットであり、ｙは第１の融合結果であり、ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【0109】
特定の実施態様では、関数ｆは、次のように表すことができる：
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒは多次元データであり得、つまりｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉはＭ未満の自然数であり、ｗｖは車両感知機器の信頼係数であり、ｗｖは多次元データであり得、つまりｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊはＮ未満の自然数である。
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒは多次元データであり得、つまりｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉはＭ未満の自然数であり、ｗｖは車両感知機器の信頼係数であり、ｗｖは多次元データであり得、つまりｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊはＮ未満の自然数である。
【0110】
簡潔にするために、本願のこの実施形態では、路側感知データと車両感知データとの融合については、再び詳細に説明しない。詳細については、明細書の冒頭の路側感知データと車両感知データとの融合に関する説明を参照されたい。
【0111】
【0112】
Ｓ３０１． 路側装置は路側感知データを取得し、路側感知データは、路側感知機器が路側センサを使用して感知範囲内の道路環境を感知することによって取得される。
【0113】
本願のこの実施形態では、路側感知機器を路側装置のために構成してもよい。路側感知機器は、少なくとも１つの路側センサ、例えばマイクロ波レーダー及びミリ波レーダーを含み、且つ感知範囲内のターゲット対象物の路側感知データを特定することができる。路側感知データには、ターゲット対象物の位置、速度、サイズ、色等が含まれ得る。
【0114】
前述したいくつかの特定の例は、路側センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。路側感知機器は、路側センサのいずれか１つを単独で使用してもよく、又は任意の複数の路側センサを同時に使用してもよい。
【0115】
Ｓ３０２． 少なくとも１つの車両装置は車両感知データを取得し、車両感知データは、車両感知機器が車両センサを使用して感知範囲内の道路環境を感知することによって取得される。
【0116】
本願のこの実施形態では、車両感知機器を車両装置のために構成してもよい。車両感知機器は、少なくとも１つの車両センサ、例えば複合慣性航法、マイクロ波レーダー、ミリ波レーダー、及びカメラを含み、且つ感知範囲内のターゲット対象物の車両感知データを特定することができる。車両感知データには、ターゲット対象物の位置、速度、サイズ、色等が含まれ得る。
【0117】
前述したいくつかの特定の例は、車両センサの単なる例であり、特定の制限を構成すべきではないことが理解され得る。車両感知機器は、車両センサのいずれか１つを単独で使用してもよく、又は任意の複数の車両センサを同時に使用してもよい。
【0118】
Ｓ３０３． 少なくとも１つの車両装置は、車両感知データを路側装置に送信する。対応して、路側装置は、少なくとも１つの車両装置により送信された車両感知データを受信する。
【0119】
Ｓ３０４． 路側装置は、路側感知データを少なくとも１つの車両装置により送信された車両感知データとマッチングして、マッチング結果を取得する。
【0120】
本願のこの実施形態では、路側装置は、偏差ネットワークを使用して、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係を見出すことができる。具体的には、路側結果ユニット及び車両結果ユニットは偏差ネットワークの入力として使用される。この場合に、偏差ネットワークは、路側結果ユニットと車両結果ユニットとの間のマッチング結果を出力する。
【0121】
本願のこの実施形態では、路側感知データ内の路側結果ユニットと車両感知データ内の車両結果ユニットとの間のマッチング関係は、以下の式を使用して見出すことができる：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【0122】
Ｓ３０５． 路側装置は、フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得し、評価結果に基づいて、偏差ネットワークを調整する。
【0123】
本願のこの実施形態では、フレーム間ループバックは、次のように規定することができる：
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果である。第１のマッチング結果は、ｉ番目のフレームのフレーム内マッチング結果、すなわち、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとのマッチング結果である。第２のマッチング結果は、車両感知機器のフレーム間マッチング結果、すなわち、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第３のマッチング結果は、（ｉ＋１）番目のフレームのフレーム内マッチング結果、すなわち、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。第４のマッチング結果は、路側感知機器のフレーム間マッチング結果、すなわち、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果である。第１のマッチング結果は、ｉ番目のフレームのフレーム内マッチング結果、すなわち、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとのマッチング結果である。第２のマッチング結果は、車両感知機器のフレーム間マッチング結果、すなわち、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果である。第３のマッチング結果は、（ｉ＋１）番目のフレームのフレーム内マッチング結果、すなわち、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。第４のマッチング結果は、路側感知機器のフレーム間マッチング結果、すなわち、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【0124】
本願のこの実施形態では、マルチフレーム相関は、主に、複数の連続するフレームの間のフレーム間ループバックに基づいて得られる。特定の実施態様では、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定でき、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定でき、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【0125】
Ｓ３０６． 路側装置は、融合式を使用して少なくとも１つの車両装置により送信された車両感知データと路側感知データとを融合して、第１の融合結果を取得する。
【0126】
本願のこの実施形態では、路側装置は、融合式を使用して、路側感知機器が感知範囲内で検出した路側感知データと、車両感知機器が感知範囲内で検出した車両感知データとに対してデータ融合を実行して、第１の融合結果を取得することができる。
【0127】
本願のこの実施形態では、融合式は
ｙ＝ｆ（resultｒ，resultｖ）
として表すことができ、
ここで、resultｒは路側結果セットであり、resultｖは車両結果セットであり、ｙは第１の融合結果であり、ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
ｙ＝ｆ（resultｒ，resultｖ）
として表すことができ、
ここで、resultｒは路側結果セットであり、resultｖは車両結果セットであり、ｙは第１の融合結果であり、ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【0128】
特定の実施態様では、関数ｆは、次のように表すことができる：
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒは多次元データであり得、つまりｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉはＭ未満の自然数であり、ｗｖは車両感知機器の信頼係数であり、ｗｖは多次元データであり得、つまりｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊはＮ未満の自然数である。
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒは多次元データであり得、つまりｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉはＭ未満の自然数であり、ｗｖは車両感知機器の信頼係数であり、ｗｖは多次元データであり得、つまりｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊはＮ未満の自然数である。
【0129】
本願のこの実施形態では、第１の融合結果は、路側感知機器が融合式を使用して１つ又は複数の車両感知機器により送信された車両感知データと路側感知機器の路側感知データとを融合することによって取得することができる。これは、特に制限されない。
【0130】
簡潔にするために、本願のこの実施形態では、路側感知データと車両感知データとの融合については、再び詳細に説明しない。詳細については、明細書の冒頭の路側感知データと車両感知データとの融合に関する説明を参照されたい。
【0131】
Ｓ３０７． 路側装置は、第１の融合結果をターゲット車両装置に送信する。対応して、ターゲット車両装置は、路側装置により送信された第１の融合結果を受信する。ターゲット車両装置は、少なくとも１つの車両装置に属する。
【0132】
Ｓ３０８． ターゲット車両装置は、第１の融合結果とターゲット車両装置の車両感知データとを融合して、第２の融合結果を取得する。
【0133】
本願のこの実施形態では、ターゲット車両装置は、融合式を使用して第１の融合結果及びターゲット車両装置の車両感知データに対してデータ融合を実行して、第２の融合結果を取得することができる。第１の融合結果と車両感知データとを融合するプロセスは、路側感知データと車両感知データを融合するプロセスと同様であり、ここでは再び説明しない。
【0134】
前述した解決策では、路側装置は、複数の車両感知機器により送信された車両感知データと路側装置の路側感知データとを融合して、より広い感知範囲の第１の融合結果を取得し（ここでの感知範囲は、路側感知機器の感知範囲と複数の車両感知機器の感知範囲との間のオーバーラップの結果である）、次に、第１の融合結果をターゲット車両装置に送信することができ、それによって、ターゲット車両装置が第１の融合結果と車両感知データとを融合して、車両感知機器の感知範囲を拡張する。
【0135】
同じ発明概念に基づいて、本願の実施形態は融合機器を提供し、装置を、車両装置に適用してもよく、又は路側装置に適用してもよい。融合機器は、チップ、プログラム可能なコンポーネント、回路コンポーネント、装置（すなわち、融合機器は車両装置又は路側装置である）、システム等であり得、本明細書では特に限定されない。
【0136】
図１１に示されるように、融合機器が車両装置である例では、融合機器１００は、センサシステム１０４、制御システム１０６、周辺装置１０８、電源１１０、及び計算機器１１１を含む。計算機器１１１は、プロセッサ１１３とメモリ１１４とを含み得る。計算機器１１１は、融合機器１００のコントローラ又はコントローラの一部であってもよい。メモリ１１４は、プロセッサ１１３によって実行され得る命令１１５を含み得、さらに地図データ１１６を格納し得る。融合機器１００のコンポーネントは、互いの相互接続及び／又は様々なシステムに結合された他のコンポーネントとの相互接続の方法で機能するように構成され得る。例えば、電源１１０は、融合機器１００の全ての構成要素に電力を供給することができる。計算機器１１１は、センサシステム１０４、制御システム１０６、及び周辺装置１０８からデータを受け取り、それらを制御するように構成され得る。
【0137】
他の例では、融合機器１００は、より多い、より少ない、又は異なるシステムを含むことができ、各システムは、より多い、より少ない、又は異なるコンポーネントを含むことができる。さらに、示されたシステム及びコンポーネントは、任意の方法で結合又は分割してもよい。
【0138】
センサシステム１０４は、融合機器１００の感知範囲内の道路環境を感知するように構成されたいくつかのセンサを含み得る。図に示されるように、センサシステムのセンサは、ＧＰＳ１２６、慣性測定ユニット（inertial measurement unit : IMU）１２８、無線検出及びレーダー測距（RADAR）ユニット１３０、レーザ測距（LIDAR）ユニット１３２、カメラ１３４、及びセンサの位置及び／又は向きを変更するように構成されたアクチュエータ１３６を含む。
【0139】
ＧＰＳモジュール１２６は、車両の地理的位置を推定するように構成された任意のセンサであり得る。従って、ＧＰＳモジュール１２６は、トランシーバを含み、且つ衛星測位データに基づいて地球に対する融合機器１００の位置を推定することができる。一例では、ＧＰＳモジュール１２６を使用し、地図データ１１６を参照することにより、計算機器１１１は、車両装置が走行可能な道路の車線端における融合機器１００の位置を推定するように構成され得る。あるいはまた、ＧＰＳモジュール１２６は別の形態であってもよい。
【0140】
ＩＭＵ１２８は、慣性、加速度、及びこれらの任意の組合せに基づいて、車両の位置及び向きの変化を感知するように構成され得る。いくつかの例では、センサの組合せは、加速度計及びジャイロを含み得る。センサの他の組合せも可能である。
【0141】
レーダー（RADAR）ユニット１３０は、対象物（object：物体、オブジェクト）検出システムと考えることができる。レーダーユニット１３０は、電波を使用して、ターゲット対象物の特徴、例えば対象物の距離、高さ、方向、又は速度を検出するように構成される。レーダーユニット１３０は、電波又はマイクロ波パルスを送信するように構成され得る。電波又はマイクロ波パルスは、その波の経路内の任意の対象物によって反射され得る。対象物は、その波のエネルギーの一部を受信機（例えば、ディッシュアンテナ又はアンテナ）に戻すことができ、受信機は、レーダーユニット１３０の一部にすることもできる。レーダーユニット１３０は、（対象物から反射された）受信信号に対してデジタル信号処理を実行するようにさらに構成され得、ターゲット対象物を特定するように構成され得る。
【0142】
レーダー（RADAR）に類似する他のシステムは、電磁スペクトルの他の部分で既に使用されている。例はＬＩＤＡＲ（light detection and ranging：光の検出及び測距）であり、これは、電波の代わりにレーザからの可視光を使用し得る。
【0143】
ＬＩＤＡＲユニット１３２はセンサを含み、センサは、光を使用して、融合機器１００の感知範囲内の道路環境内のターゲット対象物を感知又は検出する。一般に、ＬＩＤＡＲは、光を使用してターゲットを照らし、ターゲット対象物までの距離、又はターゲット対象物の他の属性を測定し得る光リモート感知技術である。例えば、ＬＩＤＡＲユニット１３２は、レーザパルスを送信するように構成されたレーザ源及び／又はレーザスキャナと、レーザパルスの反射を受け取る（受光する）ように構成された検出器とを含み得る。例えば、ＬＩＤＡＲユニット１３２は、回転ミラーによる反射に基づくレーザ距離計を含み、デジタルシーンの周りを１次元又は２次元でレーザ走査して、指定された角度から指定された間隔で距離測定値を収集することができる。一例では、ＬＩＤＡＲユニット１３２は、光源（例えば、レーザ）、スキャナ、光システム、光検出器、及び受信機又は電子コンポーネント、並びに位置及びナビゲーションシステム等のコンポーネントを含み得る。
【0144】
一例では、ＬＩＤＡＲユニット１３２は、対象物イメージングに紫外（ＵＶ）、可視光、又は赤外光を使用するように構成され得、非金属対象物を含む広範囲のターゲット対象物に適用され得る。一例では、狭い（narrow）レーザビームを使用して、対象物の物理的特徴に関するマップを高解像度で描くことができる。
【0145】
一例では、約１０ミクロン（赤外線）から約２５０ナノメートル（ＵＶ）の範囲の波長を使用することができる。光は、通常、後方散乱後に反射される。様々な種類の散乱、例えばレイリー散乱、ミー散乱、ラマン散乱、及び蛍光が、様々なＬＩＤＡＲアプリケーションで使用される。従って、例えば、異なるタイプの後方散乱に基づいて、ＬＩＤＡＲは、レイリーレーザＲＡＤＡＲ、ミーＬＩＤＡＲ、ラマンＬＩＤＡＲ、及びナトリウム／Ｆｅ／カリウム蛍光ＬＩＤＡＲと呼ばれ得る。波長の適切な組合せにより、例えば、反射信号の強度の波長依存変化を探索することにより、対象物のリモートマップ描画が可能になる。
【0146】
３次元（３Ｄ）イメージングは、走査型ＬＩＤＡＲシステム及び非走査型ＬＩＤＡＲシステムを使用することによって実施され得る。「３Ｄゲート表示レーザレーダー（3D gated viewing laser radar）」は、非走査型レーザ測距システムの例である。パルスレーザと高速ゲートカメラとが、３Ｄゲート表示レーザレーダーに適用される。イメージングＬＩＤＡＲは、一般にＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型金属酸化膜半導体）及びＣＣＤ（Charge Coupled Device：電荷結合素子、 hybrid complementary metal oxide semiconductor／charge coupled device：ハイブリッドＣＭＯＳ／ＣＣＳ）製造技術を使用してシングルチップ上に構築された高速検出器アレイと変調感知型検出器アレイとを使用して実装することもできる。これらの機器では、各ピクセルは、高速復調又はゲーティングを介して局所的に処理することができ、それによって、アレイを処理して、カメラからの画像を表すことができる。この技術を使用して数千のピクセルを同時に取得し、ＬＩＤＡＲユニット１３２によって検出された対象物又はシーンを表す３Ｄ点群を作成できる。
【0147】
点群は、３Ｄ座標系における頂点のグループを含み得る。頂点は、例えば、Ｘ、Ｙ、及びＺ座標によって規定することができ、且つターゲット対象物の外面を表すことができる。ＬＩＤＡＲユニット１３２は、ターゲット対象物の表面上の大量の点を測定することによって点群を作成するように構成され得、且つ出力するために点群をデータファイルとして使用し得る。ＬＩＤＡＲユニット１３２を使用して対象物に対して実行された３Ｄ走査プロセスの結果として、点群は、ターゲット対象物を特定及び視覚化するために使用され得る。
【0148】
一例では、点群は、ターゲット対象物を視覚化するために直接レンダリングしてもよい。別の例では、点群は、表面再構成と呼ばれ得るプロセスで、多角形又は三角形のグリッドモデルに変換され得る。点群を３Ｄ表面に変換する技術の例には、Ｄｅｌａｕｎａｒｙ三角形分割、アルファ形状、回転球等が含まれ得る。その技術には、点群の既存の頂点に対して三角形のネットワークを構築することが含まれる。他の例示的な技術には、点群を体積距離場に変換すること、及びマーチングキューブアルゴリズムを使用して、この方法で規定された陰関数曲面を再構築することが含まれ得る。
【0149】
カメラ１３４は、車両が位置する道路環境の画像を取得するように構成された任意のカメラ（例えば、静止カメラ又はビデオカメラ）であり得る。従って、カメラは、可視光を検出するように構成することができ、又はスペクトルの他の部分（例えば、赤外光又は紫外）からの光を検出するように構成することができる。他のタイプのカメラも可能である。カメラ１３４は、２次元検出器であってもよく、又は３次元空間範囲を有してもよい。いくつかの例では、カメラ１３４は、例えば距離検出器であってもよく、カメラ１３４は、カメラ１３４から環境内のいくつかの点までの距離を示す２次元画像を生成するように構成される。従って、カメラ１３４は、１つ又は複数の距離検出技術を使用することができる。例えば、カメラ１３４は、構造化光技術を使用するように構成してもよい。融合機器１００は、所定の光パターン、例えばグリッド又はチェス盤グリッドパターンを使用して、環境内の対象物を照明し、そして、カメラ１３４を使用して、対象物からの所定の光パターンの反射を検出する。反射光パターンの歪みに基づいて、融合機器１００は、対象物上の点までの距離を検出するように構成され得る。所定の光パターンには、赤外光又は他の波長の光が含まれ得る。
【0150】
例えば、アクチュエータ１３６は、センサの位置及び／又は方向を変更するように構成され得る。センサシステム１０４は、示されたコンポーネント以外のコンポーネントを追加的又は代替的に含み得る。
【0151】
制御システム１０６は、融合機器１００の動作及び融合機器１００のコンポーネントを制御するように構成され得る。従って、制御システム１０６は、センサ融合アルゴリズム１４４、コンピュータ視覚システム１４６、ナビゲーション又は経路制御（pathing：経路設定）システム１４８、及び障害物回避システム１５０を含み得る。
【0152】
センサ融合アルゴリズム１４４は、例えば、計算機器１１１が実行し得るアルゴリズム（又は、アルゴリズムを格納するコンピュータプログラム製品）を含み得る。センサ融合アルゴリズム１４４は、センサ１０４からのデータを入力として受け入れるように構成され得る。データは、例えば、センサシステム１０４のセンサによって検出された情報のデータを含み得る。センサ融合アルゴリズム１４４は、例えば、カルマンフィルタ、ベイジアンネットワーク、又は別のアルゴリズムを含み得る。センサ融合アルゴリズム１４４は、例えば、車両が位置している環境における個々の対象物及び／又は特徴に関する評価、特定の状況での評価、及び／又は特定の状況に基づいて考えられる影響に関する評価を含む、センサシステム１０４からのデータに基づいて、様々な評価を提供するようにさらに構成され得る。他の評価も可能である。
【0153】
コンピュータ視覚システム１４６は、カメラ１３４によって取り込まれた画像を処理及び解析して、融合機器１００が位置している環境内の対象物及び／又は特徴を特定するように構成された任意のシステムであり得、対象物及び／又は特徴には、例えば車線情報、信号機、及び障害物が含まれる。従って、コンピュータ視覚システム１４６は、対象物識別アルゴリズム、動きからの構造化（Structure from Motion : SFM）アルゴリズム、ビデオ追跡、又は別のコンピュータ視覚技術を使用することができる。いくつかの例では、コンピュータ視覚システム１４６は、環境マップを描画し、対象物を追跡し、対象物の速度を推定する等のためにさらに構成され得る。
【0154】
ナビゲーション及び経路制御システム１４８は、車両の走行経路を決定するように構成された任意のシステムであってよい。ナビゲーション及び経路制御システム１４８は、車両が動作しているときに走行経路を動的に更新するようにさらに構成され得る。いくつかの例では、ナビゲーション及び経路制御システム１４８は、センサ融合アルゴリズム１４４、ＧＰＳモジュール１２６、及び１つ又は複数の所定のマップからのデータを参照して、車両の走行経路を決定するように構成され得る。
【0155】
障害物回避システム１５０は、車両が位置している環境内の障害物を識別し、評価し、回避するか、又は別の方法で追い越すように構成された任意のシステムであり得る。
【0156】
制御システム１０６は、示されたコンポーネント以外のコンポーネントを追加的又は代替的に含み得る。
【0157】
周辺装置１０８は、融合機器１００が外部センサ、別の車両、及び／又はユーザと相互作用するのを可能にするように構成され得る。従って、周辺装置１０８には、例えば、無線通信システム１５２、タッチスクリーン１５４、マイクロフォン１５６、及び／又はスピーカ１５８が含まれ得る。
【0158】
無線通信システム１５２は、１つ又は複数の他の車両、センサ、又は別のエンティティに直接結合する又は無線方式で通信ネットワークを使用することによって結合するように構成された任意のシステムとすることができる。従って、無線通信システム１５２は、別の車両、センサ、又は別のエンティティと直接又はエアインターフェイスを使用することによって通信するように構成されたアンテナ及びチップセットを含み得る。チップセット又は無線通信システム１５２全体は、１つ又は複数の他のタイプの無線通信（例えば、プロトコル）に基づいて通信するように構成してもよく、無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１（任意のＩＥＥＥ８０２．１１改訂を含む）に記載された通信プロトコル、セルラー技術（例えば、ＧＳＭ、ＣＤＭＡ、ＵＭＴＳ（Universal Mobile Telecommunications System ユニバーサルモバイルテレコミュニケーションシステム））、ＥＶ－ＤＯ、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution：ロングタームエボリューション）、ＺｉｇＢｅｅ、ＤＳＲＣ（Dedicated Short Range Communications：専用短距離通信）、ＲＦＩＤ（Radio Frequency Identification：無線周波数識別）等である。無線通信システム１５２は、別の形態であってもよい。
【0159】
タッチスクリーン１５４は、ユーザがコマンドを融合機器１００に入力するために使用され得る。従って、タッチスクリーン１５４は、静電容量感知、抵抗感知、表面弾性波プロセス等によってユーザの指の位置及び動きの少なくとも１つを感知するように構成され得る。タッチスクリーン１５４は、タッチスクリーンの表面に平行な方向又はタッチスクリーンの表面と同じ面内の方向、タッチスクリーンの表面に垂直な方向、又は両方向で指の動きを感知することができ、さらにタッチスクリーンの表面に加えられた圧力のレベルを感知することができる。タッチスクリーン１５４は、１つ又は複数の半透明又は透明な絶縁層、及び１つ又は複数の半透明又は透明な導電層を含み得る。タッチスクリーン１５４はまた、別の形態であってもよい。
【0160】
マイクロフォン１５６は、融合機器１００のユーザから音声（例えば、音声コマンド又は別の音声入力）を受け取るように構成され得る。同様に、スピーカ１５８は、音声を融合機器１００のユーザに出力するように構成され得る。
【0161】
周辺装置１０８は、示されたコンポーネント以外のコンポーネントを追加的又は代替的に含み得る。
【0162】
電源１１０は、融合機器１００のコンポーネントの一部又は全てに電力を供給するように構成され得る。従って、電源１１０は、例えば、再充電可能なリチウムイオン又は鉛蓄電池を含み得る。いくつかの例では、１つ又は複数の電池グループは、電力を供給するように構成され得る。他の電力材料及び構成も可能である。いくつかの例では、電源１１０及びエネルギー源１２０は、電気自動車のように一緒に実装され得る。
【0163】
計算機器１１１に含まれるプロセッサ１１３は、１つ又は複数の汎用プロセッサ及び／又は１つ又は複数の専用プロセッサ（例えば、画像プロセッサ又はデジタル信号プロセッサ）を含み得る。プロセッサ１１３が２つ以上のプロセッサを含む場合に、プロセッサは、独立して動作するか、又は組み合わせて動作することができる。計算機器１１１は、ユーザインターフェイス１１２を使用して受け取った入力に基づいて、車両１００を制御する機能を実現することができる。
【0164】
メモリ１１４は、１つ又は複数の揮発性記憶コンポーネント及び／又は１つ又は複数の不揮発性記憶コンポーネント、例えば光学的、磁気的及び／又は有機的記憶機器等をさらに含み得、メモリ１１４は、プロセッサ１１３と完全に又は部分的に統合され得る。メモリ１１４は、本明細書に記載されている機能又は方法のいずれか１つを含む様々な車両機能を実行するために、プロセッサ１１３によって実行される命令１１５（例えば、プログラムロジック）を含み得る。
【0165】
融合機器１００のコンポーネントは、それぞれのシステム内の他のコンポーネントとの相互接続及び／又は他の外部コンポーネントとの相互接続の方法で機能するように構成され得る。従って、融合機器１００のコンポーネント及びシステムは、システムバス、ネットワーク、及び／又は別の接続機構を使用することによって通信可能に相互接続され得る。
【0166】
実施形態１では、融合機器１００のプロセッサ１１３は、以下の命令を実行する：
車両感知データを取得することであって、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、取得することと、
路側感知データを取得することであって、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、取得することと、
融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得することと、を実行する。
車両感知データを取得することであって、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、取得することと、
路側感知データを取得することであって、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、取得することと、
融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得することと、を実行する。
【0167】
実施形態２では、融合機器１００のプロセッサ１１３は、以下の命令を実行する：
車両感知データを路側装置に送信することであって、車両感知データは、車両感知機器が車両センサを使用して感知範囲内の道路環境を感知することによって取得される、送信することと、
路側装置により送信された第１の融合結果を受信することであって、第１の融合結果は、路側装置が融合式を使用して少なくとも１つの車両装置の車両感知データと路側感知データとを融合することによって取得され、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、受信することと、
車両感知データと第１の融合結果とを融合して、第２の融合結果を取得することと、を実行する。
車両感知データを路側装置に送信することであって、車両感知データは、車両感知機器が車両センサを使用して感知範囲内の道路環境を感知することによって取得される、送信することと、
路側装置により送信された第１の融合結果を受信することであって、第１の融合結果は、路側装置が融合式を使用して少なくとも１つの車両装置の車両感知データと路側感知データとを融合することによって取得され、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、受信することと、
車両感知データと第１の融合結果とを融合して、第２の融合結果を取得することと、を実行する。
【0168】
実施形態１又は実施形態２を参照すると、融合式は次のように表される：
ｙ＝ｆ（resultｒ，resultｖ）
ここで、resultｒは路側結果セットであり、路側結果セットは路側感知データを示すために使用され、resultｖは車両結果セットであり、車両結果セットは車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
ｙ＝ｆ（resultｒ，resultｖ）
ここで、resultｒは路側結果セットであり、路側結果セットは路側感知データを示すために使用され、resultｖは車両結果セットであり、車両結果セットは車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【0169】
特定の実施態様では、
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
【0170】
より具体的には、信頼係数は、感知機器パラメータ、ターゲット対象物の感知距離、及びターゲット対象物の感知角度をまとめたものに基づいて決定される。
【0171】
例えば、信頼係数ｗは、以下の式に基づいて得ることができる：
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ここで、ｗ∈［０，１］
ここで、Ｓｋは感知機器パラメータであり、Ｒｉはターゲット対象物の感知距離であり、θｊはターゲット対象物の感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである。
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ここで、ｗ∈［０，１］
ここで、Ｓｋは感知機器パラメータであり、Ｒｉはターゲット対象物の感知距離であり、θｊはターゲット対象物の感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである。
【0172】
特定の実施態様では、車両結果セットは少なくとも１つの車両結果ユニットを含み、少なくとも１つの車両結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの車両結果ユニット内の各車両結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【0173】
より具体的には、少なくとも１つの車両結果ユニット内の１つの車両結果ユニットは、車両ｊ（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）として表され、ここで、ｐｖｊは車両感知機器が検出したターゲット対象物ｊの位置を示し、ｖｖｊは車両感知機器が検出したターゲット対象物ｊの速度を示し、ｓｖｊは車両感知機器が検出したターゲット対象物ｊのサイズを示し、ｃｖｊは車両感知機器が検出したターゲット対象物ｊの色を示し、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
【0174】
特定の実施態様では、路側結果セットは少なくとも１つの路側結果ユニットを含み、少なくとも１つの路側結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの路側結果ユニット内の各路側結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【0175】
より具体的には、少なくとも１つの路側結果ユニット内の１つの路側結果ユニットは、路側ｉ（ｐｖｉ，ｖｖｉ，ｓｖｉ，ｃｖｉ）として表され、ここで、ｐｖｉは路側感知機器が検出したターゲット対象物ｉの位置を示し、ｖｖｉは路側感知機器が検出したターゲット対象物ｉの速度を示し、ｓｖｉは路側感知機器が検出したターゲット対象物ｉのサイズを示し、ｃｖｉは路側感知機器が検出したターゲット対象物ｉの色を示し、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｉは、自然数であり、且つ０＜ｉ≦Ｍである。
【0176】
実施形態１又は実施形態２を参照すると、融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得する前に、方法は、
路側感知データを車両感知データとマッチングして、マッチング結果を取得するステップと、
マッチング結果に基づいて、車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップと、を含む。
路側感知データを車両感知データとマッチングして、マッチング結果を取得するステップと、
マッチング結果に基づいて、車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップと、を含む。
【0177】
特定の実施態様では、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係は、偏差ネットワークを使用して見出される。
【0178】
より具体的には、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係が、偏差ネットワークを使用して見出されることは、具体的には、以下を含む：
次式を使用して、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係が見出される：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
次式を使用して、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係が見出される：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【0179】
特定の実施態様では、路側感知データを車両感知データとマッチングして、マッチング結果を得た後に、方法は、
フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得するステップと、
評価結果に基づいて、偏差ネットワークを調整するステップと、を含む。
フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得するステップと、
評価結果に基づいて、偏差ネットワークを調整するステップと、を含む。
【0180】
具体的には、フレーム間ループバックは、
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
であり、
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果であり、第１のマッチング結果は、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第２のマッチング結果は、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第３のマッチング結果は、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニッと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果であり、第４のマッチング結果は、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
であり、
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果であり、第１のマッチング結果は、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第２のマッチング結果は、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第３のマッチング結果は、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニッと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果であり、第４のマッチング結果は、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【0181】
具体的には、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定され、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックフレームであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定され、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックフレームであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【0182】
【0183】
図１２に示されるように、例えば、融合機器が路側装置である場合に、融合機器２００は、ＲＦ（Radio Frequency：無線周波数）回路２１０、メモリ２２０、別の入力装置２３０、表示画面２４０、センサシステム２５０、Ｉ／Ｏサブシステム２７０、プロセッサ２８０、及び電源２９０等のコンポーネントを含む。当業者は、路側感知機器が図１２に示される路側感知機器の構造に限定されないことを理解することができる。路側感知機器は、図に示したものより多くの又は少ない部品を含むことができ、又はいくつかの部品が組み合わされるか、又はいくつかの部品が分割されるか、又は部品の配置が異なる。当業者は、表示画面２４０がユーザインターフェイス（UI : User Interface）を表示するように構成され得ることを理解することができる。
【0184】
次に、図１２を参照して、融合機器２００の各コンポーネントについて詳細に説明する。
【0185】
ＲＦ回路２１０は、データを送信又は受信するように構成され得る。一般に、ＲＦ回路は、アンテナ、少なくとも１つの増幅器、トランシーバ、カプラ、ＬＮＡ（Low Noise Amplifier：低雑音増幅器）、デュプレクサ等を含むが、これらに限定されない。さらに、ＲＦ回路２１０は、無線通信によってネットワーク及び他の装置とさらに通信することができる。ワイヤレス通信は、ＧＳＭ（Global System of Mobile：モバイル通信のグローバルシステム）、ＧＰＲＳ（General Packet Radio Service：汎用パケット無線サービス）、ＣＤＭＡ（Code Division Multiple Access：符号分割多重アクセス）、ＷＣＤＭＡ（Wideband Code Division Multiple Access：広帯域符号分割多重アクセス）、ＬＴＥ（Long Term Evolution：ロングタームエボリューション）、電子メール、ＳＭＳ（Short Messaging Service：ショートメッセージサービス）等を含むが、これらに限定されない、任意の通信規格又はプロトコルを使用することができる。
【0186】
メモリ２２０は、高速ランダムアクセスメモリを含み得、不揮発性メモリ、例えば少なくとも１つの磁気ディスク記憶装置、フラッシュメモリ、又は別の揮発性固体記憶装置をさらに含み得る。メモリ２２０は、プロセッサ２８０によって実行され得る命令２２２を含み得、さらに地図データ２２４を格納し得る。
【0187】
別の入力装置２３０は、入力数字又は文字情報を受け取り、融合機器２００のユーザ設定及び機能制御に関連するキー信号入力を生成するように構成され得る。具体的には、別の入力装置２３０は、１つ又は複数の物理キーボード、ファンクションキー（ボリューム制御キー、電源オン／オフキー等）、トラックボール、マウス、ジョイスティック、光学式マウス（光学式マウスは、視覚的出力を表示しないタッチ感知面である、又はタッチスクリーンによって形成されたタッチ感知面の延長である）等を含み得るが、これらに限定されない。別の入力装置２３０は、Ｉ／Ｏサブシステム２７０の別の入力装置コントローラ２７１に接続され、別の入力装置コントローラ２７１がプロセッサ２８０との信号相互作用を実行するように制御される。
【0188】
表示画面２４０は、表示パネル２４１とタッチパネル２４２とを含み得る。表示パネル２４１について、表示パネル２４１は、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）、ＯＬＥＤ（Organic Light-Emitting Diode：有機発光ダイオード）等の形態で構成してもよい。タッチパネル２４２は、タッチスクリーン、タッチ感知スクリーン等とも呼ばれ、タッチパネル上又はその近くでのユーザのタッチ又は非タッチ操作をキャプチャすることができ（例えば、操作は、ユーザがタッチパネル２４２上又はタッチパネル２４２の近くの指又はスタイラス等の任意の適切なオブジェクト又はアクセサリを使用することによって実行される操作である、又は動き感知操作を含み得、操作の操作タイプは、単一点制御操作、又は多点制御操作等を含む）、予め設定されたプログラムに基づいて対応する接続機器を駆動する。
【0189】
センサシステム２５０は、融合機器２００の感知範囲内の道路環境を感知するように構成されたいくつかのセンサを含み得る。図に示されるように、センサシステムのセンサは、ＧＰＳ２５１、無線検出及びレーダー測距（ＲＡＤＡＲ）ユニット２５５、レーザ測距（ＬＩＤＡＲ）ユニット２５７、カメラ２５８、及びセンサの位置及び／又は向きを変更するように構成されたアクチュエータ２５９を含む。センサシステム２５０は、Ｉ／Ｏサブシステム２７０のセンサコントローラ２７２に接続され、且つセンサコントローラ２７２がプロセッサ２８０との相互作用を実行するように制御される。
【0190】
ＧＰＳモジュール２５１は、車両の地理的位置を推定するように構成された任意のセンサであり得る。従って、ＧＰＳモジュール２５１は、トランシーバを含み、且つ衛星測位データに基づいて地球に対する融合機器２００の位置を推定することができる。一例では、融合機器２００は、ＧＰＳモジュール２５１を使用し、地図データ２２４を参照することにより、道路上の融合機器２００の位置を推定するように構成され得る。あるいはまた、ＧＰＳモジュール１２６は、別の形態であってもよい。
【0191】
レーダー（RADAR）ユニット２５５は、対象物検出システムと考えることができる。レーダーユニット２５５は、電波を使用して、ターゲット対象物の特徴、例えば対象物の距離、高さ、方向、又は速度を検出するように構成される。レーダーユニット２５５は、電波又はマイクロ波パルスを送信するように構成され得る。電波又はマイクロ波パルスは、その波の経路内の任意の対象物によって反射され得る。対象物は、その波のエネルギーの一部を受信機（例えば、ディッシュアンテナ又はアンテナ）に戻すことができ、受信機は、レーダーユニット２５５の一部とすることもできる。レーダーユニット２５５は、（対象物から反射された）受信信号に対してデジタル信号処理を実行するように構成され得、ターゲット対象物を特定するように構成され得る。
【0192】
レーダー（RADAR）に類似した他のシステムは、電磁スペクトルの他の部分で既に使用されている。例はＬＩＤＡＲ（light detection and ranging：光の検出及び測距）であり、これは、電波の代わりにレーザからの可視光を使用し得る。
【0193】
ＬＩＤＡＲユニット２５７はセンサを含み、センサは、光を使用して、融合機器２００の感知範囲内の道路環境内のターゲット対象物を感知又は検出する。一般に、ＬＩＤＡＲは、光を使用してターゲットを照らし、ターゲット対象物までの距離、又はターゲット対象物の他の属性を測定し得る光リモート感知技術である。例えば、ＬＩＤＡＲユニット２５７は、レーザパルスを送信するように構成されたレーザ源及び／又はレーザスキャナと、レーザパルスの反射を受け取る（受光する）ように構成された検出器とを含み得る。例えば、ＬＩＤＡＲユニット２５７は、回転ミラーによる反射に基づくレーザ距離計を含み、デジタルシーンの周りを１次元又は２次元でレーザ走査して、指定された角度から指定された間隔で距離測定値を収集することができる。一例では、ＬＩＤＡＲユニット２５７は、光源（例えば、レーザ）、スキャナ、光システム、光検出器、及び受信機又は電子コンポーネント、並びに位置及びナビゲーションシステム等のコンポーネントを含み得る。
【0194】
一例では、ＬＩＤＡＲユニット２５７は、対象物イメージングに紫外（ＵＶ）、可視光、又は赤外光を使用するように構成され得、非金属物体を含む広範囲のターゲット対象物に適用され得る。一例では、狭い（narrow）レーザビームを使用して、対象物の物理的特徴に関するマップを高解像度で描くことができる。
【0195】
一例では、約１０ミクロン（赤外線）から約２５０ナノメートル（ＵＶ）の範囲の波長を使用することができる。光は、通常、後方散乱後に反射される。様々な種類の散乱、例えばレイリー散乱、ミー散乱、ラマン散乱、及び蛍光が、様々なＬＩＤＡＲアプリケーションで使用される。従って、例えば、異なるタイプの後方散乱に基づいて、ＬＩＤＡＲは、レイリーレーザＲＡＤＡＲ、ミーＬＩＤＡＲ、ラマンＬＩＤＡＲ、及びナトリウム／Ｆｅ／カリウム蛍光ＬＩＤＡＲと呼ばれ得る。波長の適切な組合せにより、例えば、反射信号の強度の波長依存変化を探索することにより、対象物のリモートマップ描画が可能になる。
【0196】
３次元（３Ｄ）イメージングは、走査型ＬＩＤＡＲシステム及び非走査型ＬＩＤＡＲシステムを使用することによって実施され得る。「３Ｄゲート表示レーザレーダー（3D gated viewing laser radar）」は、非走査型レーザ測距システムの例である。パルスレーザと高速ゲートカメラとが、３Ｄゲート表示レーザレーダーに適用される。イメージングＬＩＤＡＲは、一般にＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型金属酸化膜半導体）及びＣＣＤ（Charge Coupled Device：電荷結合素子, hybrid complementary metal oxide semiconductor／charge coupled device：ハイブリッドＣＭＯＳ／ＣＣＳ）製造技術を使用してシングルチップ上に構築された高速検出器アレイと変調感知型検出器アレイを使用して実装することもできる。これらの機器では、各ピクセルは、高速復調又はゲーティングを介して局所的に処理することができ、それによって、アレイを処理して、カメラからの画像を表すことができる。この技術を使用して数千のピクセルを同時に取得し、ＬＩＤＡＲユニット２５７によって検出された対象物又はシーンを表す３Ｄ点群を作成できる。
【0197】
点群は、３Ｄ座標系における頂点のグループを含み得る。頂点は、例えば、Ｘ、Ｙ、及びＺ座標によって規定することができ、且つターゲット対象物の外面を表すことができる。ＬＩＤＡＲユニット２５７は、ターゲット対象物の表面上の大量の点を測定することによって点群を作成するように構成され得、且つ出力するために点群をデータファイルとして使用し得る。ＬＩＤＡＲユニット２５７を使用して対象物に対して実行された３Ｄ走査プロセスの結果として、点群は、ターゲット対象物を特定及び視覚化するために使用され得る。
【0198】
一例では、点群は、ターゲット対象物を視覚化するために直接レンダリングしてもよい。別の例では、点群は、表面再構成と呼ばれ得るプロセスで、多角形又は三角形のグリッドモデルに変換され得る。点群を３Ｄ表面に変換する技術の例には、Ｄｅｌａｕｎａｒｙ三角形分割、アルファ形状、回転球等が含まれ得る。その技術には、点群の既存の頂点に対して三角形のネットワークを構築することが含まれる。他の例示的な技術には、点群を体積距離場に変換すること、及びマーチングキューブアルゴリズムを使用して、この方法で規定された陰関数曲面を再構築することが含まれ得る。
【0199】
カメラ２５８は、車両が位置する道路環境の画像を取得するように構成された任意のカメラ（例えば、静止カメラ又はビデオカメラ）であり得る。従って、カメラは、可視光を検出するように構成することができ、又はスペクトルの他の部分（例えば、赤外光又は紫外）からの光を検出するように構成することができる。他のタイプのカメラも可能である。カメラ２５８は、２次元検出器であってもよく、又は３次元空間範囲を有してもよい。いくつかの例では、カメラ２５８は、例えば距離検出器であってもよく、カメラ２５８は、カメラ２５８から環境内のいくつかの点までの距離を示す２次元画像を生成するように構成される。従って、カメラ２５８は、１つ又は複数の距離検出技術を使用することができる。例えば、カメラ２５８は、構造化光技術を使用するように構成してもよい。融合機器２００は、所定の光パターン、例えばグリッド又はチェス盤グリッドパターンを使用して、環境内の対象物を照明し、そして、カメラ２５８を使用して、対象物からの所定の光パターンの反射を検出する。反射光パターンの歪みに基づいて、路側感知機器２５８は、対象物上の点までの距離を検出するように構成され得る。所定の光パターンには、赤外光又は他の波長の光が含まれ得る。
【0200】
Ｉ／Ｏサブシステム２７０は、外部入力／出力装置を制御するように構成され、且つ別の入力装置コントローラ２７１及びセンサコントローラ２７２を含み得る。オプションで、１つ又は複数の他の入力制御装置コントローラ２７１は、別の入力装置２３０から信号を受信し、及び／又は別の入力装置２３０に信号を送信する。別の入力装置２３０は、物理ボタン（押しボタン、ロッカーアーム式ボタン等）、ダイヤル、スライダスイッチ、ジョイスティック、スクロールホイール、又は光学式マウス（光学式マウスは、視覚出力を表示しないタッチ感知面である、又はタッチスクリーンによって形成されたタッチ感知面の延長である）を含み得る。なお、他の入力制御装置コントローラ２７１は、前述した装置のいずれか１つ又は複数に接続することができる。センサコントローラ２７２は、１つ又は複数のセンサ２５０から信号を受信し、及び／又は１つ又は複数のセンサ２５０に信号を送信することができる。
【0201】
プロセッサ２８０は、融合機器２００の制御センターである。プロセッサ２８０は、様々なインターフェイス及びラインを使用して融合機器２００全体の全ての部分に接続され、且つメモリ２２０に格納されたソフトウェアプログラム及び／又はモジュールを実行又は起動し、メモリ２２０に格納されたデータを呼び出すことにより融合機器２００の様々な機能及びデータ処理を実行し、それにより融合機器２００の全体的な監視を実行する。オプションで、プロセッサ２８０は１つ又は複数の処理ユニットを含み得る。好ましくは、プロセッサ２８０は、２つのモデムプロセッサを統合することができ、モデムプロセッサは、主に無線通信を処理する。あるいはまた、モデムプロセッサは、プロセッサ２８０に統合しなくてもよいことが理解され得る。
【0202】
融合機器２００は、コンポーネントに電力を供給するための電源２９０（電池等）をさらに含む。好ましくは、電源は、電力管理システムを使用してプロセッサ２８０に論理的に接続され得、それによって、電力管理システムを使用することによって充電、放電、及び電力消費の管理等の機能を実行する。
【0203】
実施形態１では、融合機器２００のプロセッサ２８０は、以下の命令を実行する：
車両感知データを取得することであって、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、取得することと、
路側感知データを取得することであって、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、取得することと、
融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得することと、を実行する。
実施形態２では、融合機器２００のプロセッサ２８０は、以下の命令を実行する：
少なくとも１つの車両装置により送信された車両感知データを受信することであって、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、受信することと、
融合式を使用して少なくとも１つの車両装置の車両感知データと路側感知データとを融合して、第１の融合結果を取得することであって、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、取得することと、
第１の融合結果をターゲット車両装置に送信することであって、ターゲット車両装置は、車両感知データと第１の融合結果とを融合して第２の融合結果を取得するように構成され、ターゲット車両装置は少なくとも１つの車両装置に属する、送信することと、を実行する。
車両感知データを取得することであって、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、取得することと、
路側感知データを取得することであって、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、取得することと、
融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得することと、を実行する。
実施形態２では、融合機器２００のプロセッサ２８０は、以下の命令を実行する：
少なくとも１つの車両装置により送信された車両感知データを受信することであって、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される、受信することと、
融合式を使用して少なくとも１つの車両装置の車両感知データと路側感知データとを融合して、第１の融合結果を取得することであって、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される、取得することと、
第１の融合結果をターゲット車両装置に送信することであって、ターゲット車両装置は、車両感知データと第１の融合結果とを融合して第２の融合結果を取得するように構成され、ターゲット車両装置は少なくとも１つの車両装置に属する、送信することと、を実行する。
【0204】
実施形態１又は実施形態２を参照すると、融合式は、以下のように表される：
ｙ＝ｆ（resultｒ，resultｖ）
ここで、resultｒは路側結果セットであり、路側結果セットは路側感知データを示すために使用され、resultｖは車両結果セットであり、車両結果セットは車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
ｙ＝ｆ（resultｒ，resultｖ）
ここで、resultｒは路側結果セットであり、路側結果セットは路側感知データを示すために使用され、resultｖは車両結果セットであり、車両結果セットは車両感知データを示すために使用され、ｙは第１の融合結果であり、関数ｆは、路側結果セット及び車両結果セットに基づいてマッピングすることにより、第１の融合結果を取得するために使用される。
【0205】
特定の実施態様では、
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器のセンサ範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
ｆ（resultｒ，resultｖ）＝（ｗｒ／（ｗｒ＋ｗｖ））resultｒ＋（ｗｖ／（ｗｒ＋ｗｖ））resultｖ
であり、
ここで、ｗｒは路側感知機器の信頼係数であり、ｗｒ＝（ｗｒ１，ｗｒ２，...，ｗｒＭ）であり、resultｒ（roadside１，roadside２，...，roadsideＭ）であり、Ｍは路側感知機器のセンサ範囲内のターゲット対象物の数量であり、ｗｒｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する信頼係数であり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、ｉは、自然数であり、且つ０＜ｉ≦Ｍであり、ｗｖは車両感知機器の信頼係数であり、ｗｖ＝（ｗｖ１，ｗｖ２，...，ｗｖＮ）であり、resultｖ（vehicle１，vehicle２，...，vehicleＮ）であり、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｗｖｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する信頼係数であり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
【0206】
より具体的には、信頼係数は、感知機器パラメータ、ターゲット対象物の感知距離、及びターゲット対象物の感知角度をまとめたものに基づいて決定される。
【0207】
例えば、信頼係数ｗは、以下の式に基づいて得ることができる：
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ここで、ｗ∈［０，１］
ここで、Ｓｋは感知機器パラメータであり、Ｒｉはターゲット対象物の感知距離であり、θｊはターゲット対象物の感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである。
ｗ＝ｇ（Ｓｋ，Ｒｉ，θｊ），ここで、ｗ∈［０，１］
ここで、Ｓｋは感知機器パラメータであり、Ｒｉはターゲット対象物の感知距離であり、θｊはターゲット対象物の感知角度であり、ｇは感知機器の較正によって得られた較正パラメータテーブルである。
【0208】
特定の実施形態では、車両結果セットは少なくとも１つの車両結果ユニットを含み、少なくとも１つの車両結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの車両結果ユニット内の各車両結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【0209】
より具体的には、少なくとも１つの車両結果ユニット内の１つの車両結果ユニットは、車両ｊ（ｐｖｊ，ｖｖｊ，ｓｖｊ，ｃｖｊ）として表され、ここで、ｐｖｊは車両感知機器が検出したターゲット対象物ｊの位置を示し、ｖｖｊは車両感知機器が検出したターゲット対象物ｊの速度を示し、ｓｖｊは車両感知機器が検出したターゲット対象物ｊのサイズを示し、ｃｖｊは車両感知機器が検出したターゲット対象物ｊの色を示し、Ｎは車両感知機器の感知範囲内のターゲット対象物の数量であり、ｊは、自然数であり、且つ０＜ｊ≦Ｎである。
【0210】
特定の実施態様では、路側結果セットは少なくとも１つの路側結果ユニットを含み、少なくとも１つの路側結果ユニットと少なくとも１つのターゲット対象物との間に１対１の対応関係が存在し、少なくとも１つの路側結果ユニット内の各路側結果ユニットは、対応するターゲット対象物の特徴を多次元の角度から記述するために使用される。
【0211】
より具体的には、少なくとも１つの路側結果ユニット内の１つの路側結果ユニットは、路側ｉ（ｐｖｉ，ｖｖｉ，ｓｖｉ，ｃｖｉ）として表され、ここで、ｐｖｉは路側感知機器が検出したターゲット対象物ｉの位置を示し、ｖｖｉは路側感知機器が検出したターゲット対象物ｉの速度を示し、ｓｖｉは路側感知機器が検出したターゲット対象物ｉのサイズを示し、ｃｖｉは路側感知機器が検出したターゲット対象物ｉの色を示し、Ｍは路側感知機器の感知範囲内のターゲット対象物の数量であり、ｉは、自然数であり、且つ０＜ｉ≦Ｍである。
【0212】
実施形態１又は実施形態２を参照すると、融合式を使用して車両感知データと路側感知データとを融合して、融合結果を取得する前に、方法は、
路側感知データを車両感知データとマッチングして、マッチング結果を取得するステップと、
マッチング結果に基づいて、車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップと、を含む。
路側感知データを車両感知データとマッチングして、マッチング結果を取得するステップと、
マッチング結果に基づいて、車両感知データと路側感知データとを融合して、第１の融合結果を取得するステップと、を含む。
【0213】
特定の実施態様では、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係は、偏差ネットワークを使用して見出される。
【0214】
より具体的には、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係が、偏差ネットワークを使用して見出されることは、具体的には、以下を含む：
次式を使用して、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係が見出される：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
次式を使用して、路側結果セット内の路側結果ユニットと車両結果セット内の車両結果ユニットとの間のマッチング関係が見出される：
Ｓ＝Ｄｅｖｉａｔｉｏｎ（路側ｉ，車両ｊ）
ここで、Ｓはマッチング結果であり、Ｄｅｖｉａｔｉｏｎ（偏差）は偏差ネットワークであり、路側ｉは路側感知機器の感知範囲内のターゲット対象物ｉに対応する路側結果ユニットであり、車両ｊは車両感知機器の感知範囲内のターゲット対象物ｊに対応する車両結果ユニットであり、ｉ及びｊは共に自然数である。
【0215】
特定の実施態様では、路側感知データを車両感知データとマッチングして、マッチング結果を得た後に、方法は、
フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得するステップと、
評価結果に基づいて、偏差ネットワークを調整するステップと、を含む。
フレーム間ループバック及び／又はマルチフレーム相関の方法でマッチング結果の信頼度を評価して、評価結果を取得するステップと、
評価結果に基づいて、偏差ネットワークを調整するステップと、を含む。
【0216】
具体的には、フレーム間ループバックは、
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
であり、
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果であり、第１のマッチング結果は、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第２のマッチング結果は、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第３のマッチング結果は、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニッと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果であり、第４のマッチング結果は、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
Ｔループバック＝Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４
であり、
ここで、Ｔループバックはフレーム間ループバックであり、Ｔ１は第１のマッチング結果であり、Ｔ２は第２のマッチング結果であり、Ｔ３は第３のマッチング結果であり、Ｔ４は第４のマッチング結果であり、第１のマッチング結果は、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第２のマッチング結果は、車両感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットと、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニットとの間のマッチング結果であり、第３のマッチング結果は、車両感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する車両結果ユニッと、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果であり、第４のマッチング結果は、路側感知機器が（ｉ＋１）番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットと、路側感知機器がｉ番目のフレームで検出したターゲット対象物ｊに対応する路側結果ユニットとの間のマッチング結果である。
【0217】
具体的には、マルチフレーム相関は、
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定され、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
Ｔマルチフレーム＝Ｔループバック１２＋Ｔループバック２３＋Ｔループバック３４＋・・・
として規定され、
ここで、Ｔマルチフレームはマルチフレーム相関であり、Ｔループバック１２は第１のフレームと第２のフレームとの間のフレーム間ループバックであり、Ｔループバック２３は第２のフレームと第３のフレームとの間のフレーム間ループバックであり、Ｔループバック３４は第３のフレームと第４のフレームとの間のフレーム間ループバックであり、以下同様である。
【0218】
【0219】
同じ発明概念に基づいて、図１３は、本発明の一実施形態による融合機器の概略構造図である。図１３に示されるように、融合機器３００は、第１の取得モジュール３０１、第２の取得モジュール３０２、及び融合モジュール３０３を含み得る。
【0220】
第１の取得モジュール３０１は、車両感知データを取得するように構成され、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される。
【0221】
第２の取得モジュール３０２は、路側感知データを取得するように構成され、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される。
【0222】
融合モジュール３０３は、融合式を使用して車両感知データと路側感知データとを融合して、第１の融合結果を取得するように構成される。
【0223】
なお、図１３の実施形態で言及していない内容及び各機能ユニットの特定の実施態様については、図８及び図９に対応する実施形態を参照することができることに留意されたい。詳細については、ここでは再び説明しない。
【0224】
同じ発明概念に基づいて、図１４は、本発明の一実施形態による融合機器の概略構造図である。図１４に示されるように、この実施形態の融合機器４００は、送信モジュール４０１、受信モジュール４０２、及び融合モジュール４０３を含む。
【0225】
送信モジュール４０１は、車両感知データを路側装置に送信するように構成され、車両感知データは、車両感知機器が感知範囲内の道路環境を感知することによって取得される。
【0226】
受信モジュール４０２は、路側装置により送信された第１の融合結果を受信するように構成され、第１の融合結果は、路側感知機器が融合式を使用して少なくとも１つの車両装置の車両感知データと路側感知データとを融合することによって取得され、路側感知データは、路側感知機器が感知範囲内の道路環境を感知することによって取得される。
【0227】
融合モジュール４０３は、少なくとも１つの車両装置の車両感知データと第１の融合結果とを融合して、第２の融合結果を取得するように構成される。
【0228】
【0229】
前述した解決策によれば、路側感知機器が感知することによって取得した路側感知データと、車両感知機器が感知することによって取得した車両感知データとを融合して、路側感知機器の感知範囲と車両感知機器の感知範囲との間のオーバーラップを実現し、それによって、感知範囲が効果的に拡張される。
【0230】
本願で提供されるいくつかの実施形態では、開示されたシステム、端末、及び方法は、他の方法で実施してもよいことを理解すべきである。例えば、記載された機器の実施形態は単なる例である。例えば、ユニット分割は単なる論理的な機能分割であり、実際の実施態様では他の分割であってもよい。例えば、複数のユニット又はコンポーネントを組み合わせたり、又は別のシステムに統合したりしてもよく、いくつかの機能を無視したり、又は実行できない場合がある。さらに、表示又は議論された相互結合又は直接結合又は通信接続は、いくつかのインターフェイス、機器又はユニッ同士の間の間接結合又は通信接続、又は電気接続、機械的接続、又は他の形態の接続によって実施してもよい。
【0231】
別個の部品として記載されたユニットは、物理的に別個であってもなくてもよく、ユニットとして表示される部品は、物理ユニットであってもなくてもよく、一箇所に配置してもよく、又は複数のネットワークユニットに分散してもよい。本発明の実施形態の解決策の目的を達成するための実際の要件に従って、ユニットの一部又は全てを選択することができる。
【0232】
また、本発明の実施形態における機能ユニットは、１つの処理ユニットに統合してもよく、又は各ユニットが物理的に単独で存在してもよく、又は２つ以上のユニットを１つのユニットに統合してもよい。統合されたユニットは、ハードウェアの形態で実装してもよく、又はソフトウェア機能ユニットの形態で実装してもよい。
【0233】
統合ユニットがソフトウェア機能ユニットの形態で実装され、独立した製品として販売又は使用される場合に、統合ユニットは、コンピュータ可読記憶媒体に格納され得る。そのような理解に基づいて、本発明の技術的解決策は本質的に、又は先行技術に寄与する部分、又は技術的解決策の全て又は一部は、ソフトウェア製品の形態で実装することができる。コンピュータソフトウェア製品は、記憶媒体に格納され、本発明の実施形態において説明した方法のステップの全て又は一部を実行するようにコンピュータ装置（パーソナルコンピュータ、サーバ、ネットワーク装置等であり得る）に命令するためのいくつかの命令を含む。前述した記憶媒体には、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、読み取り専用メモリ（ROM: Read-Only Memory）、ランダムアクセスメモリ（RAM: Random Access Memory）、磁気ディスク、又は光ディスク等の、プログラムコードを格納できる任意の媒体が含まれる。
【0234】
前述した説明は、本発明の特定の実施形態に過ぎず、本発明の保護範囲を限定することを意図したものではない。本発明に開示された技術的範囲内で当業者によって容易に理解されるあらゆる修正又は置換は、本発明の保護範囲内に含まれるものとする。従って、本発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】