IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社デンソーの特許一覧

特許7605198認識システム、認識装置、認識方法、認識プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-16
(45)【発行日】2024-12-24
(54)【発明の名称】認識システム、認識装置、認識方法、認識プログラム
(51)【国際特許分類】
   G01S 17/89 20200101AFI20241217BHJP
   G01S 17/931 20200101ALI20241217BHJP
   G06T 7/00 20170101ALI20241217BHJP
   G06T 7/521 20170101ALI20241217BHJP
   G06V 10/762 20220101ALI20241217BHJP
   G06V 20/58 20220101ALI20241217BHJP
   G08G 1/16 20060101ALI20241217BHJP
【FI】
G01S17/89
G01S17/931
G06T7/00 650B
G06T7/521
G06V10/762
G06V20/58
G08G1/16 C
【請求項の数】 19
(21)【出願番号】P 2022148667
(22)【出願日】2022-09-19
(65)【公開番号】P2023118655
(43)【公開日】2023-08-25
【審査請求日】2024-04-16
(31)【優先権主張番号】P 2022021553
(32)【優先日】2022-02-15
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【氏名又は名称】矢作 和行
(74)【代理人】
【識別番号】100121991
【弁理士】
【氏名又は名称】野々部 泰平
(74)【代理人】
【識別番号】100145595
【弁理士】
【氏名又は名称】久保 貴則
(72)【発明者】
【氏名】柴田 圭久
(72)【発明者】
【氏名】山▲崎▼ 駿
(72)【発明者】
【氏名】清水 駿
(72)【発明者】
【氏名】武藤 健二
【審査官】藤田 都志行
(56)【参考文献】
【文献】特表2021-516355(JP,A)
【文献】特開2014-178789(JP,A)
【文献】特開2015-152319(JP,A)
【文献】中国特許出願公開第113076773(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/00- 7/51
G01S 13/00-13/95
G01S 17/00-17/95
G06T 7/00
G06T 7/521
G06V 10/762
G06V 20/58
G08G 1/16
(57)【特許請求の範囲】
【請求項1】
プロセッサ(12)を有し、ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識システムであって、
前記プロセッサは、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に前後に離れた複数の静止物体(8)間の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される認識システム。
【請求項2】
前記認識データを生成することは、
前記三次元走査データにおいて複数の前記静止物体間に対応する前記走査点群がクラスタリングされるクラスタリング範囲(Rc)を、前記識別情報に基づき縮小側に調整することを、含む請求項1に記載の認識システム。
【請求項3】
前記認識データを生成することは、
前記識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査方向に視て重畳する複数の前記ターゲット移動体を認識した、前記認識データを生成することを、含む請求項1に記載の認識システム。
【請求項4】
プロセッサ(12)を有し、ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識システムであって、
前記プロセッサは、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に視て重畳する複数の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される認識システム。
【請求項5】
前記認識データを生成することは、
前記三次元走査データにおいて各前記ターゲット移動体に対応する前記走査点群がクラスタリングされるクラスタリング範囲(Rc)を、前記識別情報に基づき縮小側に調整することを、含む請求項4に記載の認識システム。
【請求項6】
前記認識データを生成することは、
前記識別情報のうち前記走査空間の種別を表す種別情報(Iik)に基づき、前記クラスタリング範囲を調整することを、含む請求項2又は5に記載の認識システム。
【請求項7】
前記認識データを生成することは、
前記識別情報に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査ビームに対する反射率が許容範囲外に高い高反射静止物体(80)よりも前記走査方向に視て手前に前記ターゲット移動体を認識した、前記認識データを生成することを、含む請求項1又は4に記載の認識システム。
【請求項8】
前記認識データを生成することは、
前記三次元走査データにおいて前記高反射静止物体よりも手前に対応する前記走査点群がクラスタリングされるクラスタリング範囲(Rc)を、前記識別情報に基づき縮小側に調整することを、含む請求項7に記載の認識システム。
【請求項9】
前記認識データを生成することは、
前記識別情報のうち前記走査空間の種別を表す種別情報(Iik)に基づき、前記クラスタリング範囲を調整することを、含む請求項8に記載の認識システム。
【請求項10】
前記認識データを生成することは、
クラスタリングされる前記走査点群を、前記識別情報のうち前記走査空間の種別を表す種別情報(Iik)に基づき、抽出することを、含む請求項1又は4に記載の認識システム。
【請求項11】
前記認識データを生成することは、
クラスタリングされる前記走査点群を、前記識別情報のうち前記走査空間における点群分布の特徴量を表す分布情報(Iis)に基づき、抽出することを、含む請求項1又は4に記載の認識システム。
【請求項12】
前記プロセッサは、
生成された前記認識データを記憶媒体(10)に記憶することを、さらに実行するように構成される請求項1又は4に記載の認識システム。
【請求項13】
前記プロセッサは、
生成された前記認識データの表示を制御することを、さらに実行するように構成される請求項1又は4に記載の認識システム。
【請求項14】
プロセッサ(12)を有し、ホスト移動体(2)に搭載可能に構成され、当該ホスト移動体の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識装置であって、
前記プロセッサは、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に前後に離れた複数の静止物体(8)間の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される認識装置。
【請求項15】
プロセッサ(12)を有し、ホスト移動体(2)に搭載可能に構成され、当該ホスト移動体の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識装置であって、
前記プロセッサは、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に視て重畳する複数の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される認識装置。
【請求項16】
ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識するために、プロセッサ(12)により実行される認識方法であって、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に前後に離れた複数の静止物体(8)間の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、含む認識方法。
【請求項17】
ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識するために、プロセッサ(12)により実行される認識方法であって、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に視て重畳する複数の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、含む認識方法。
【請求項18】
ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識するために記憶媒体(10)に記憶され、プロセッサ(12)により実行される命令を含む認識プログラムであって、
前記命令は、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得させることと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出させることと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に前後に離れた複数の静止物体(8)間の前記ターゲット移動体を認識した、認識データ(Dr)を生成させることとを、含む認識プログラム。
【請求項19】
ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識するために記憶媒体(10)に記憶され、プロセッサ(12)により実行される命令を含む認識プログラムであって、
前記命令は、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得させることと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出させることと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に視て重畳する複数の前記ターゲット移動体を認識した、認識データ(Dr)を生成させることとを、含む認識プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、移動体を認識する認識技術に、関する。
【背景技術】
【0002】
走査デバイスにより走査された走査空間において移動可能な移動体を認識する認識技術は、近年、重要となってきている。例えば特許文献1に開示される認識技術は、三次元距離画像データを三次元環境地図データと比較して、三次元環境地図データに存在しない点群を三次元距離画像データにおいてクラスタリングすることで、移動体を認識している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-173707号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1の開示技術において、走査デバイスとなるレーザ距離計の走査方向に前後に離れた複数の静止物体間には、それら各静止物体からの走査エコーの重なりに起因して、ゴーストピクセルと呼ばれる誤走査点群の生じるおそれがある。この場合、各静止物体間へ進入した移動体に対応する正規点群を、クラスタリングにより誤走査点群から分離することは難しくなるため、当該進入移動体に対する認識精度が低下してしまう。こうした問題は、レーザ距離計の走査方向に視て重畳する複数の移動体間においても、生じるおそれがあった。
【0005】
本開示の課題は、移動体を高精度で認識する認識システムを、提供することにある。本開示の別の課題は、移動体を高精度で認識する認識装置を、提供することにある。本開示のさらに別の課題は、移動体を高精度で認識する認識方法を、提供することにある。本開示のまたさらに別の課題は、移動体を高精度で認識する認識プログラムを、提供することにある。
【課題を解決するための手段】
【0006】
以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。
【0007】
本開示の第一態様は、
プロセッサ(12)を有し、ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識システムであって、
プロセッサは、
走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル(300)毎に走査空間の状態を識別するための識別情報(Ii)に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に前後に離れた複数の静止物体(8)間のターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される。
【0008】
本開示の第二態様は、
プロセッサ(12)を有し、ホスト移動体(2)に搭載可能に構成され、当該ホスト移動体の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識装置であって、
プロセッサは、
走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル(300)毎に走査空間の状態を識別するための識別情報(Ii)に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に前後に離れた複数の静止物体(8)間のターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される。
【0009】
本開示の第三態様は、
ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識するために、プロセッサ(12)により実行される認識方法であって、
走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル(300)毎に走査空間の状態を識別するための識別情報(Ii)に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に前後に離れた複数の静止物体(8)間のターゲット移動体を認識した、認識データ(Dr)を生成することとを、含む。
【0010】
本開示の第四態様は、
ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識するために記憶媒体(10)に記憶され、プロセッサ(12)により実行される命令を含む認識プログラムであって、
命令は、
走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得させることと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出させることと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル(300)毎に走査空間の状態を識別するための識別情報(Ii)に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に前後に離れた複数の静止物体(8)間のターゲット移動体を認識した、認識データ(Dr)を生成させることとを、含む。
【0011】
これら第一~第四態様では、走査空間において走査デバイスの走査方向に前後に離れた複数の静止物体間のターゲット移動体を認識した、認識データが生成される。このとき第一~第四態様によると、三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づくことで、三次元走査データにおいて複数の静止物体間に対応してクラスタリングされる走査点群からは、誤走査点群を除外することができる。故に、複数の静止物体間に進入したターゲット移動体を、高精度に認識することが可能となる。
【0012】
本開示の第五態様は、
プロセッサ(12)を有し、ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識システムであって、
プロセッサは、
走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル(300)毎に走査空間の状態を識別するための識別情報(Ii)に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に視て重畳する複数のターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される。
【0013】
本開示の第六態様は、
プロセッサ(12)を有し、ホスト移動体(2)に搭載可能に構成され、当該ホスト移動体の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識装置であって、
プロセッサは、
走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル(300)毎に走査空間の状態を識別するための識別情報(Ii)に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に視て重畳する複数のターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される。
【0014】
本開示の第七態様は、
ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識するために、プロセッサ(12)により実行される認識方法であって、
走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル(300)毎に走査空間の状態を識別するための識別情報(Ii)に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に視て重畳する複数のターゲット移動体を認識した、認識データ(Dr)を生成することとを、含む。
【0015】
本開示の第八態様は、
ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識するために記憶媒体(10)に記憶され、プロセッサ(12)により実行される命令を含む認識プログラムであって、
命令は、
走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得させることと、
走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出させることと、
三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル(300)毎に走査空間の状態を識別するための識別情報(Ii)に基づく走査点群のクラスタリングにより、走査空間において走査デバイスの走査方向に視て重畳する複数のターゲット移動体を認識した、認識データ(Dr)を生成させることとを、含む。
【0016】
これら第五~第八態様では、走査空間において走査デバイスから走査方向に視て重畳する複数のターゲット移動体を認識した、認識データが生成される。このとき第五~第八態様によると、三次元ダイナミックマップにおいて走査空間を分割した複数の三次元ボクセル毎に走査空間の状態を識別するための識別情報に基づくことで、三次元走査データにおいて複数のターゲット移動体間に対応してクラスタリングされる走査点群からは、誤走査点群を除外することができる。故に、走査方向に視て重畳する各ターゲット移動体を、高精度に認識することが可能となる。
【図面の簡単な説明】
【0017】
図1】第一実施形態による認識システムの全体構成を示すブロック図である。
図2】第一実施形態によるホスト移動体の走査デバイスとターゲット移動体との関係を示す模式図である。
図3】第一実施形態による認識システムの機能構成を示すブロック図である。
図4】第一実施形態による認識フローを示すフローチャートである。
図5】第一実施形態による認識フローを説明するための模式図である。
図6】第一実施形態による認識フローを説明するための模式図である。
図7】第一実施形態による認識フローを説明するための模式図である。
図8】第一実施形態による認識フローを説明するための模式図である。
図9】第一実施形態による認識フローを説明するための模式図である。
図10】第一実施形態による認識フローを説明するための模式図である。
図11】第一実施形態による認識フローを説明するための模式図である。
図12】第一実施形態による認識フローの通常抽出サブルーチンを示すフローチャートである。
図13】第一実施形態による認識フローの前後抽出サブルーチンを示すフローチャートである。
図14】第一実施形態による認識フローの重畳抽出サブルーチンを示すフローチャートである。
図15】第一実施形態による認識フロー定点抽出サブルーチンを示すフローチャートである。
図16】第一実施形態による認識フローの通常認識サブルーチンを示すフローチャートである。
図17】第一実施形態による認識フローの前後認識サブルーチンを示すフローチャートである。
図18】第一実施形態による認識フローの重畳認識サブルーチンを示すフローチャートである。
図19】第一実施形態による認識フローを説明するための模式図である。
図20】第二実施形態による認識フローを説明するための模式図である。
図21】第二実施形態による認識フローを説明するための模式図である。
図22】第二実施形態による認識フローを説明するための模式図である。
図23】第二実施形態による認識フローの高反射抽出サブルーチンを示すフローチャートである。
図24】第二実施形態による認識フローの高反射認識サブルーチンを示すフローチャートである。
【発明を実施するための形態】
【0018】
(第一実施形態)
以下、本開示の実施形態を図面に基づき複数説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。
【0019】
図1に示す第一実施形態の認識システム1は、図2に示すようにホスト移動体2に搭載の走査デバイス3により走査された走査空間30において、移動可能なターゲット移動体9を認識する。ここで、認識システム1の適用されるホスト移動体2は、例えば自動車等、乗員の搭乗状態において道路を走行可能な車両である。認識システム1の認識対象とするターゲット移動体9は、例えばホスト移動体2以外の他車両、バイク、人、動物、自律走行ロボット、及び遠隔走行ロボット等のうち、複数種類である。
【0020】
ホスト移動体2では、動的運転タスクにおける乗員の手動介入度に応じてレベル分けされるように、自動運転モードが実行される。自動運転モードは、条件付運転自動化、高度運転自動化、又は完全運転自動化といった、作動時のシステムが全ての動的運転タスクを実行する自律走行制御により、実現されてもよい。自動運転モードは、運転支援、又は部分運転自動化といった、乗員が一部若しくは全ての動的運転タスクを実行する高度運転支援制御により、実現されてもよい。自動運転モードは、それら自律走行制御と高度運転支援制御とのいずれか一方、組み合わせ、又は切り替えにより実現されてもよい。
【0021】
ホスト移動体2には、図1に示すセンサ系4、通信系5、及び情報提示系6が搭載される。センサ系4は、認識システム1においてホスト移動体2の運転制御に利用可能なセンサ情報を、ホスト移動体2の外界と内界とに対して取得する。そのためにセンサ系4は、外界センサ40と内界センサ41とを含んで構成される。
【0022】
外界センサ40は、ホスト移動体2の周辺環境となる外界の情報を、センサ情報として取得する。外界センサ40には、ホスト移動体2の外界のうち走査空間30を走査することでセンサ情報を取得する、走査デバイス3が含まれている。走査デバイス3は、例えば三次元LiDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)、及び三次元レーダ等のうち、後述する三次元走査データDtを生成可能な少なくとも一種類である。尚、走査デバイス3以外の外界センサ40には、ホスト移動体2の外界をセンシングする、例えばカメラ、及びソナー等のうち、少なくとも一種類が含まれていてもよい。
【0023】
ここで走査デバイス3は、ホスト移動体2の外界へ向けて設定された視野角に応じて決まる走査空間30(図2参照)を走査することで、当該空間30に存在する物体をセンシングしたセンサ情報を取得する。特に第一実施形態の走査デバイス3により取得されるセンサ情報は、走査空間30において走査した走査点群の状態を三次元で表す、走査データDtである。走査データDtは、例えば距離、方位角、位置座標、速度、及びビーム反射強度等のうち、少なくとも一種類に関する三次元状態値を含んでいる。走査データDtに含まれる状態値のうち距離は、走査ビームの照射から反射ビームを受光するまでの飛行時間に基づいたdTOF(direct Time Of Flight)による測定値を、表している。走査データDtに含まれる状態値のうち方位角は、走査空間30に対して水平方向及び垂直方向のうち少なくとも一方に変化する走査方向を、表している。
【0024】
内界センサ41は、ホスト移動体2の内部環境となる内界の情報を、センサ情報として取得する。内界センサ41には、ホスト移動体2の内界において特定の運動物理量を検知する、物理量検知タイプが含まれていてもよい。物理量検知タイプの内界センサ41は、例えば走行速度センサ、加速度センサ、及びジャイロセンサ等のうち、少なくとも一種類である。内界センサ41には、ホスト移動体2の内界において乗員の特定状態を検知する、乗員検知タイプが含まれていてもよい。乗員検知タイプの内界センサ41は、例えばドライバーステータスモニター(登録商標)、生体センサ、着座センサ、アクチュエータセンサ、及び車内機器センサ等のうち、少なくとも一種類である。
【0025】
通信系5は、認識システム1においてホスト移動体2の運転制御に利用可能な通信情報を、無線通信により取得する。通信系5には、ホスト移動体2の外界に存在するV2Xシステムとの間において通信信号を送受信する、V2Xタイプが含まれていてもよい。V2Xタイプの通信系5は、例えばDSRC(Dedicated Short Range Communications)通信機、及びセルラV2X(C-V2X)通信機等のうち、少なくとも一種類である。通信系5には、ホスト移動体2の外界に存在するGNSS(Global Navigation Satellite System)の人工衛星から測位信号を受信する、測位タイプが含まれていてもよい。測位タイプの通信系5は、例えばGNSS受信機等である。通信系5には、ホスト移動体2の内界に存在する端末との間において通信信号を送受信する、端末通信タイプが含まれていてもよい。端末通信タイプの通信系5は、例えばブルートゥース(Bluetooth:登録商標)機器、Wi-Fi(登録商標)機器、及び赤外線通信機器等のうち、少なくとも一種類である。
【0026】
情報提示系6は、ホスト移動体2において乗員へ向けた報知情報を提示する。情報提示系6は、乗員の視覚を表示により刺激する、視覚刺激タイプであってもよい。視覚刺激タイプの情報提示系6は、例えばHUD(Head-Up Display)、MFD(Multi-Function Display)、コンビネーションメータ、及びナビゲーションユニット等のうち、少なくとも一種類である。情報提示系6は、乗員の聴覚を音により刺激する、聴覚刺激タイプであってもよい。聴覚刺激タイプの情報提示系6は、例えばスピーカ、ブザー、及びバイブレーションユニット等のうち、少なくとも一種類である。
【0027】
認識システム1は、例えばLAN(Local Area Network)回線、ワイヤハーネス、内部バス、及び無線通信回線等のうち、少なくとも一種類を介してセンサ系4、通信系5、及び情報提示系6に接続されている。認識システム1は、少なくとも一つの専用コンピュータを含んで構成されている。
【0028】
認識システム1を構成する専用コンピュータは、走査デバイス3によるセンサ情報としての走査データDtに基づき走査空間30における存在物体の認識を制御する、認識制御ECU(Electronic Control Unit)であってもよい。ここで認識制御ECUは、走査デバイス3を含む複数外界センサ40のセンサ情報を統合する機能を、有していてもよい。認識システム1を構成する専用コンピュータは、ホスト移動体2の運転を制御する、運転制御ECUであってもよい。認識システム1を構成する専用コンピュータは、ホスト移動体2の走行経路をナビゲートする、ナビゲーションECUであってもよい。認識システム1を構成する専用コンピュータは、ホスト移動体2の自己位置を含む自己状態量を推定する、ロケータECUであってもよい。認識システム1を構成する専用コンピュータは、ホスト移動体2において情報提示系6による情報提示を制御する、HCU(HMI(Human Machine Interface) Control Unit)であってもよい。認識システム1を構成する専用コンピュータは、例えば通信系5との間において通信可能な外部センタ又はモバイル端末等を構築する、ホスト移動体2以外のコンピュータであってもよい。
【0029】
認識システム1を構成する専用コンピュータは、メモリ10とプロセッサ12とを、少なくとも一つずつ有している。メモリ10は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。プロセッサ12は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、RISC(Reduced Instruction Set Computer)-CPU、DFP(Data Flow Processor)、及びGSP(Graph Streaming Processor)等のうち、少なくとも一種類をコアとして含んでいる。
【0030】
認識システム1においてメモリ10は、ホスト移動体2の運転制御に利用可能な地図情報を、記憶する。メモリ10は、例えばV2Xタイプの通信系5を通じた外部センタとの通信等により、最新の地図情報を取得して記憶する。特に第一実施形態の地図情報は、ホスト移動体2の走行環境を表すように三次元にデータ化された高精度地図のデジタルデータとしての、三次元ダイナミックマップMtである。ダイナミックマップMtは、走査デバイス3の走査空間30に存在する定点位置の物体をマッピングした、マッピング点群の状態を表している。ダイナミックマップMtは、例えば物標の位置座標、距離、方位角、及び形状等のうち、少なくとも一種類に関する三次元状態値を含んでいる。ダイナミックマップMtのマッピング対象とする物体は、例えば道路、標識、信号機、構造物、踏切、植生、スペース区画物、スペース区画線、及び標示線等のうち、少なくとも定点に位置する複数種類である。
【0031】
認識システム1においてプロセッサ12は、ホスト移動体2の走査デバイス3により走査された走査空間30において移動可能なターゲット移動体9を認識するためにメモリ10に記憶された、認識プログラムに含まれる複数の命令を実行する。これにより認識システム1は、走査空間30のターゲット移動体9を認識するための機能ブロックを、複数構築する。認識システム1において構築される複数の機能ブロックには、図3に示すようにマッチングブロック100、及びクラスタリングブロック110が含まれる。
【0032】
これら各ブロック100,110の共同により、認識システム1が走査空間30のターゲット移動体9を認識する認識方法のフロー(以下、認識フローという)を、図4に従って以下に説明する。認識フローのアルゴリズムサイクルは、ホスト移動体2の起動中において繰り返し実行される。尚、認識フローにおける各「S」は、認識プログラムに含まれた複数命令によって実行される複数ステップを、それぞれ意味する。
【0033】
S101においてマッチングブロック100は、走査デバイス3から走査データDtを取得する。S102においてマッチングブロック100は、S101による走査データDtの取得地点に対応するダイナミックマップMtを、メモリ10から読み出す。このとき走査データDtの取得地点は、例えばセンサ系4及び通信系5の取得情報等に基づく自己位置推定により、判断されるとよい。
【0034】
S101において読み出されるダイナミックマップMtには、走査空間30を複数に分割した三次元ボクセル300が、図5に示すように設定されている。ダイナミックマップMtにおいて各ボクセル300は、走査空間30に割り当てられる三次元絶対座標軸に沿って六辺を有した、立方体又は直方体の三次元格子状に定義される。但し、走査デバイス3の視野角に応じて決まる走査空間30の最外縁付近では、立方体又は直方体の一部となる、三次元格子の部分形状にボクセル300が定義されるとよい。こうした各ボクセル300の格子サイズは、走査空間30内に各ボクセル300間の隙間空間が発生しない限りにおいて、互いに同一サイズ、又は互いに異なる複数サイズのいずれかに、設定される。
【0035】
図6に示すようにダイナミックマップMtでは、設定された各ボクセル300毎に、走査空間30の状態を識別するための識別情報Iiが、それぞれ個別に対応付けて付与されている。識別情報Iiは、各ボクセル300の位置座標に対応付けられた識別IDとして、インデックスナンバーIiiを含んでいる。識別情報Iiは、各ボクセル300毎の走査空間30において物体に対応するマッピング点群の分布特徴量を表す、分布情報Iisを含んでいる。分布情報Iisは、例えばマハラノビス距離等といった、点群分布の特徴量を表す0超過の値と、0値とによって、走査空間30における点群有無を各ボクセル300毎に表しているとよい。
【0036】
さらにダイナミックマップMtにおいて識別情報Iiは、各ボクセル300毎に走査空間30の種別を表す、種別情報Iikを含んでいる。種別情報Iikは、図6,7に示すように、走査空間30の環境状態を識別可能に特徴化した種別を、識別IDとしての種別ナンバーにより表している。
【0037】
ここで第一実施形態の種別情報Iikには、走査データDtにおいてゴーストピクセルの招来による誤走査点群の発生確率が例えば閾値超過又は閾値以上の許容範囲外となる環境状態を識別するために、少なくとも一つの種別ナンバー(図6,7の例ではナンバー5)が含まれている。ここで、誤走査点群の発生確率が許容範囲外となる環境状態には、図8に示すように走査空間30において走査デバイス3の走査方向に前後に離れて複数の静止物体8が存在することで、層状のゴーストピクセル(図8のGP)による誤認識の発生し易い前後認識状態Sgが、該当する。尚、図8は、走査方向に前後する複数の静止物体8として、ガードレールと立壁とを例示している。
【0038】
また第一実施形態の種別情報Iikには、走査データDtにおいてゴーストピクセル又は点群重畳を招来する可能性のある環境状態を識別するために、少なくとも一つの種別ナンバー(図6,7の例ではナンバー6~8,10~15)が含まれている。ここで、ゴーストピクセル又は点群重畳の招来可能性がある環境状態には、図9,10に示すように走査デバイス3の走査方向に視て複数のターゲット移動体9が走査空間30において重畳する可能性が高いことで、誤認識の発生し易い重畳認識状態Ssが、該当する。尚、図9は、両方向に通行可能な狭幅の小道上において走査方向に視て重畳する複数のターゲット移動体9として、相異なる方向にすれ違いをする他車両を例示している。一方で図10は、踏切の周辺において走査方向に視て重畳する複数のターゲット移動体9として、踏切待ちをする複数の人を例示している。
【0039】
さらにまた第一実施形態の種別情報Iikには、走査データDtにおいて定点位置の物体が動く可能性のある環境状態を識別するために、少なくとも一つの種別ナンバー(図6,7の例ではナンバー9)が含まれている。ここで、定点位置物体の動く可能性がある環境状態には、図11に示すような定点位置の植生物7が風になびいて動くことで、ターゲット移動体9として誤認識の発生し易い定点認識状態Sfが、該当する。また定点認識状態Sfは、定点位置の植生物7の成長又は伐採により、ターゲット移動体9として誤認識の発生し易い状態ともいえる。
【0040】
図4に示すS102ではマッチングブロック100は、メモリ10においてダイナミックマップMtに設定されている各ボクセル300の格子サイズを、例えばセンサ系4及び通信系5の取得情報等に基づく走行シーンに応じた、ターゲット移動体9の認識に最適化な値へリサイズしてもよい。このとき識別情報IiのうちインデックスナンバーIiiは、リサイズ後の各ボクセル300に対して再付与される。識別情報Iiのうち分布情報Iisは、リサイズ前の各ボクセル300毎での分布特徴量がリサイズ後の各ボクセル300毎での分布特徴量に変換されることで、再付与される。識別情報Iiのうち種別情報Iikは、リサイズ前の各ボクセル300毎での種別ナンバーに対応する環境状態がリサイズ後の各ボクセル300毎での環境状態として振り分け又は統合されることで、当該リサイズ後の環境状態に対応する種別ナンバーを再付与される。ここで特に統合の場合には、環境状態の種別毎に優先度が事前設定されていることで、リサイズ前の複数ボクセル300での相異なる環境状態は優先度の高い環境状態に統合されるとよい。
【0041】
ここまで説明のダイナミックマップMtに対する各ボクセル300の設定及び識別情報Iiの付与は、最新地図情報の生成元において実施されていてもよい。ダイナミックマップMtに対する各ボクセル300の設定及び識別情報Iiの付与は、本認識フローとは別のボクセル設定フローにより、過去又は現在のS101によって取得された走査データDtに基づき実施されてもよい。
【0042】
図4に示すようにS103においてマッチングブロック100は、S101により取得された走査データDtと、S102により読み出されたダイナミックマップMtとを、マッチングする。このときマッチングブロック100は、走査データDtに対するマップマッチングを、ダイナミックマップMtに設定の各ボクセル300毎に、例えばNDT(Normal Distribution Transform)アルゴリズム等に基づき実施するとよい。
【0043】
S104においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群の各位置座標に対応する複数のボクセル300を、S102により読み出されたダイナミックマップMtにおいて特定する。S105においてマッチングブロック100は、S104により特定されたボクセル300(以下、特定ボクセル300という)の各々に付与されている識別情報Iiを、S102により読み出されたダイナミックマップMtから取得する。S106においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群に対して、S105により取得された識別情報Iiのうち少なくとも種別情報Iikに応じた候補抽出処理を、各特定ボクセル300毎に実施する。以下、候補抽出処理の具体例を説明する。
【0044】
S105により取得された種別情報Iikが状態Sg,Ss,Sf以外の種別ナンバーを表している特定ボクセル300に対しては、S106において図12に示すS111~S113の候補抽出処理を実施するように、通常抽出サブルーチンが実行される。具体的にS111においてマッチングブロック100は、S105により取得された識別情報Iiのうち分布情報Iisの表す分布特徴量と、S103によりマップマッチングされた走査データDtにおける走査点群の特定ボクセル300内での分布特徴量とを、比較する。その結果、分布特徴量同士が乖離していると判定された場合には、通常抽出サブルーチンがS112へ移行する。ここで、分布特徴量同士の乖離判定は、それら分布特徴量間の偏差が閾値超過又は以上となる場合に下されるとよく、当該閾値は0以上の数値に規定されるとよい。
【0045】
S112においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群のうち、特定ボクセル300内の点群を候補点群Pcとして抽出する。そこで、S112におけるマッチングブロック100は、抽出した候補点群PcのリストデータDcをメモリ10に記憶する。以上により、通常抽出サブルーチンが終了する。
【0046】
一方、S111において分布特徴量同士が乖離していないと判定された場合には、通常抽出サブルーチンがS113へ移行する。S113においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群のうち、特定ボクセル300内の点群を定点位置の物体のマッピング点群と認識して、メモリ10に記憶する候補点群Pcからは除外する。以上により、通常抽出サブルーチンが終了する。
【0047】
S105により取得された種別情報Iikが前後認識状態Sgの種別ナンバーを表している特定ボクセル300に対しては、S106において図13に示すS121~S123の候補抽出処理を実施するように、前後抽出サブルーチンが実行される。具体的にS121においてマッチングブロック100は、S105により取得された識別情報Iiのうち分布情報Iisの表す分布特徴量と、S103によりマップマッチングされた走査データDtにおける走査点群の特定ボクセル300内での分布特徴量とを、比較する。その結果、分布特徴量同士が乖離していると判定された場合には、前後抽出サブルーチンがS122へ移行する。ここで、分布特徴量同士の乖離判定は、通常抽出サブルーチンに準ずる。但し、前後抽出サブルーチンにおいて乖離判定の基準となる閾値は、通常認識サブルーチンでの閾値よりも大きな乖離分までは許容するように、調整されてもよい。
【0048】
S122においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群のうち、特定ボクセル300内の点群を候補点群Pcとして抽出する。そこで、S122におけるマッチングブロック100は、抽出した候補点群PcのリストデータDcをメモリ10に記憶する。以上により、前後抽出サブルーチンが終了する。
【0049】
一方、S121において分布特徴量同士が乖離していないと判定された場合には、前後抽出サブルーチンがS123へ移行する。S123においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群のうち、特定ボクセル300内の点群を定点位置の物体のマッピング点群と認識して、メモリ10に記憶する候補点群Pcからは除外する。以上により、前後抽出サブルーチンが終了する。
【0050】
S105により取得された種別情報Iikが重畳認識状態Ssの種別ナンバーを表している特定ボクセル300に対しては、S106において図14に示すS131~S133の候補抽出処理を実施するように、重畳抽出サブルーチンが実行される。具体的にS131においてマッチングブロック100は、S105により取得された識別情報Iiのうち分布情報Iisの表す分布特徴量と、S103によりマップマッチングされた走査データDtにおける走査点群の特定ボクセル300内での分布特徴量とを、比較する。その結果、分布特徴量同士が乖離していると判定された場合には、重畳抽出サブルーチンがS132へ移行する。ここで、分布特徴量同士の乖離判定は、通常抽出サブルーチンに準ずる。但し、重畳抽出サブルーチンにおいて乖離判定の基準となる閾値は、通常認識サブルーチンでの閾値よりも大きな乖離分までは許容するように、調整されてもよい。
【0051】
S132においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群のうち、特定ボクセル300内の点群を候補点群Pcとして抽出する。そこで、S132におけるマッチングブロック100は、抽出した候補点群PcのリストデータDcをメモリ10に記憶する。以上により、重畳抽出サブルーチンが終了する。
【0052】
一方、S131において分布特徴量同士が乖離していないと判定された場合には、重畳抽出サブルーチンがS133へ移行する。S133においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群のうち、特定ボクセル300内の点群を定点位置の物体のマッピング点群と認識して、メモリ10に記憶する候補点群Pcからは除外する。以上により、重畳抽出サブルーチンが終了する。
【0053】
S105により取得された種別情報Iikが定点認識状態Sfの種別ナンバーを表している特定ボクセル300に対しては、S106において図15に示すS141の候補抽出処理を実施するように、定点抽出サブルーチンが実行される。具体的にS141においてマッチングブロック100は、S103によりマップマッチングされた走査データDtにおける走査点群のうち、特定ボクセル300内の点群を、定点位置にて動く可能性のある物体のマッピング点群と認識して、メモリ10に記憶する候補点群Pcからは除外する。以上により、定点抽出サブルーチンが終了する。
【0054】
図4に示すようにS107においてクラスタリングブロック110は、S106での抽出によりメモリ10に記憶された候補点群Pcに対して、S105により取得された識別情報Iiのうち特に種別情報Iikに応じたクラスタリングによる認識処理を、各特定ボクセル300毎に実施する。以下、認識処理の具体例を説明する。
【0055】
S105により取得された種別情報Iikが状態Sg,Ss,Sf以外の種別ナンバーを表している特定ボクセル300に対しては、S107において図16に示すS151~S153の候補抽出処理を実施するように、通常認識サブルーチンが実行される。具体的にS151においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtに対して、特定ボクセル300内での候補点群Pcをクラスタリングするクラスタリング範囲Rcを、デフォルト範囲に設定する。ここで、候補点群Pcがクラスタリングされるクラスタリング範囲Rcは、走査空間30に割り当てられる三次元絶対座標軸に沿った各次元方向において、それぞれ同一距離となる範囲に、定義される。そこでクラスタリング範囲Rcのデフォルト範囲は、状態Sg,Ss,Sf以外の環境状態においてターゲット移動体9を探索して適正に認識するために必要な、固定範囲(例えば1m)に規定される。但し、クラスタリング範囲Rcのデフォルト範囲は、特定ボクセル300までの距離が増大するほど大きくなる可変範囲に、調整されてもよい。
【0056】
S152においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtにおける特定ボクセル300内での候補点群Pcから、S151により設定されたクラスタリング範囲Rcにユークリッド距離が収まる走査点群を、クラスタリングする。そこでS153においてクラスタリングブロック110は、クラスタリングされた走査点群に基づくことで、ターゲット移動体9を認識する。ここでS153におけるクラスタリングブロック110は、例えばセンサノイズ等に起因するゴーストピクセルからは推定的に区別してターゲット移動体9を認識するために、クラスタリングされた走査点群をフィルタリングしてもよい。このときのフィルタリングに用いられる推定モデルは、ルールベースのモデルであってもよいし、AIモデルであってもよい。特にルールベースのモデルを用いた場合には、S152により結合された走査点群の、例えばクラスタリング点数、クラスタリングサイズ、及び空間位置等の判断指標に基づき、フィルタリングが遂行されてもよい。以上により、通常認識サブルーチンが終了する。
【0057】
S105により取得された種別情報Iikが前後認識状態Sgの種別ナンバーを表している特定ボクセル300に対しては、S107において図17に示すS161~S163の認識処理を実施するように、前後認識サブルーチンが実行される。具体的にS161においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtに対するクラスタリング範囲Rcを、通常認識サブルーチンのデフォルト範囲よりも縮小側(例えば0.2m以下)に調整する。このとき、特定ボクセル300内の走査空間30において前後する複数の静止物体8間に対応して候補点群Pcが存在する場合には、それら静止物体8間の候補点群Pcがクラスタリングされる範囲Rcは、S161での調整によってデフォルト範囲よりも縮小されることになる。
【0058】
S162においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtにおける特定ボクセル300内での候補点群Pcから、S161により設定されたクラスタリング範囲Rcにユークリッド距離が収まる走査点群を、クラスタリングする。そこでS163においてクラスタリングブロック110は、クラスタリングされた走査点群に基づくことで、ターゲット移動体9を認識する。このとき、特定ボクセル300内の走査空間30において前後する複数の静止物体8間に対応した走査点群がクラスタリングされている場合には、それら静止物体8間のターゲット移動体9(図8参照)を認識することが可能となる。そこでS163においても、ターゲット移動体9を認識するために、S153と同様なフィルタリングが遂行されてもよい。但し、前後認識サブルーチンのS163では、特に静止物体8間のターゲット移動体9とゴーストピクセルとをルールベースのモデルで区別するために、上述の判断指標に対する判断閾値が、通常認識サブルーチンのデフォルト値よりもゴーストピクセルの除外確率を増大させる側に、調整されてもよい。以上により、前後認識サブルーチンが終了する。
【0059】
S105により取得された種別情報Iikが重畳認識状態Ssの種別ナンバーを表している特定ボクセル300に対しては、S107において図18に示すS171~S173の認識処理を実施するように、重畳認識サブルーチンが実行される。具体的にS171においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtに対するクラスタリング範囲Rcを、デフォルト範囲よりも縮小側(例えば0.2m以下)に調整する。このとき、特定ボクセル300内の走査空間30において複数のターゲット移動体9にそれぞれ対応する候補点群Pcが、走査デバイス3の走査方向に視て重畳している場合には、それらターゲット移動体9の各候補点群Pcがクラスタリングされる範囲Rcは、S161での調整によってデフォルト範囲よりも縮小されることになる。
【0060】
S172においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtにおける特定ボクセル300内での候補点群Pcから、S171により設定されたクラスタリング範囲Rcにユークリッド距離が収まる走査点群を、クラスタリングする。そこでS173においてクラスタリングブロック110は、クラスタリングされた走査点群に基づくことで、ターゲット移動体9を認識する。このとき、特定ボクセル300内の走査空間30において複数のターゲット移動体9にそれぞれ対応する走査点群が、走査デバイス3の走査方向に視て重畳してクラスタリングされている場合には、それらターゲット移動体9(図9,10参照)を分離して認識することが可能となる。そこでS173においても、ターゲット移動体9を認識するために、S153と同様なフィルタリングが遂行されてもよい。但し、重畳認識サブルーチンのS173では、特に走査方向に重畳する複数ターゲット移動体9とゴーストピクセルとをルールベースのモデルで区別するために、上述の判断指標に対する判断閾値が、通常認識サブルーチンのデフォルト値よりもゴーストピクセルの除外確率を増大させる側に、調整されてもよい。以上により、重畳認識サブルーチンが終了する。
【0061】
尚、S105により取得された種別情報Iikが定点認識状態Sfの種別ナンバーを表している特定ボクセル300に対しては、S106のうち定点抽出サブルーチンにより候補点群Pcは抽出されない。その結果、定点認識状態Sfの特定ボクセル300に対しては、S107の認識処理は実行されないこととなる。
【0062】
図4に示すようにS108においてクラスタリングブロック110は、S107でのクラスタリングによりターゲット移動体9を認識処理した結果を表すように、認識データDrを生成する。そこでS109においてクラスタリングブロック110は、生成された認識データDrをメモリ10に記憶する。このときクラスタリングブロック110は、生成又はさらに記憶された認識データDrを、例えば図19に示すようにホスト移動体2において情報提示系6により表示させるために、当該表示を制御してもよい。クラスタリングブロック110は、生成又はさらに記憶された認識データDrを、通信系5によりホスト移動体2の外部(例えば外部センタ若しくは他車両等)へ送信するように、当該送信を制御してもよい。以上により、認識フローの今回実行が終了する。尚、メモリ10に記憶された認識データDrは、ホスト移動体2の運転制御に利用される。
【0063】
(作用効果)
以上説明した第一実施形態の作用効果を、以下に説明する。
【0064】
第一実施形態では、走査空間30において走査デバイス3の走査方向に前後に離れた複数の静止物体8間のターゲット移動体9を認識した、認識データDrが生成される。このとき第一実施形態によると、ダイナミックマップMtにおいて走査空間30を分割した複数のボクセル300毎に走査空間30の状態を識別するための識別情報Iiに基づくことで、走査データDtにおいて複数の静止物体8間に対応してクラスタリングされる走査点群からは、誤走査点群を除外することができる。故に、複数の静止物体8間に進入したターゲット移動体9を、高精度に認識することが可能となる。
【0065】
第一実施形態によると、走査データDtにおいて複数の静止物体8間に対応する走査点群がクラスタリングされるクラスタリング範囲Rcは、識別情報Iiに基づき縮小側に調整される。これによれば、複数の静止物体8間に対応する走査点群のうち、点群密度が低くなる誤走査点群をクラスタリング範囲Rcからは除外する一方、点群密度が高くなるターゲット移動体9の走査点群をクラスタリング範囲Rcに収めて適正にクラスタリングすることができる。故に、複数の静止物体8間に進入したターゲット移動体9の高精度認識に対して、信頼性を確保することが可能となる。
【0066】
第一実施形態によると、各静止物体8間の走査点群に対するクラスタリング範囲Rcは、識別情報Iiのうち特に、走査空間30の種別を表す種別情報Iikに基づき調整される。これによれば、ダイナミックマップMtにおいて種別情報Iikの表す種別が、走査方向の静止物体8間において誤走査点群の生じる可能性が高い種別の場合には、当該可能性に応じた縮小側への調整によりクラスタリング範囲Rcから誤走査点群を除外し易くすることができる。故に、複数の静止物体8間に進入したターゲット移動体9の走査点群に絞るクラスタリングを実現して、当該ターゲット移動体9の高精度認識に対する信頼性を高めることが可能となる。
【0067】
第一実施形態では、走査空間30において走査デバイス3から走査方向に視て重畳する複数のターゲット移動体9を認識した、認識データDrが生成される。このとき第一実施形態によると、ダイナミックマップMtにおいて走査空間30を分割した複数のボクセル300毎に走査空間30の状態を識別するための識別情報Iiに基づくことで、走査データDtにおいて複数のターゲット移動体9間に対応してクラスタリングされる走査点群からは、誤走査点群を除外することができる。故に、走査方向に視て重畳する各ターゲット移動体9を、高精度に認識することが可能となる。
【0068】
第一実施形態によると、走査データDtにおいて各ターゲット移動体9に対応する走査点群がクラスタリングされるクラスタリング範囲Rcは、識別情報Iiに基づき縮小側に調整される。これによれば、複数のターゲット移動体9間に対応する走査点群のうち、点群密度が低くなる誤走査点群をクラスタリング範囲Rcからは除外する一方、点群密度が高くなる各ターゲット移動体9の走査点群同士をそれぞれ個別のクラスタリング範囲Rcに収めて適正にクラスタリングすることができる。故に、走査方向に視て重畳する各ターゲット移動体9の高精度認識に対して、信頼性を確保することが可能となる。
【0069】
第一実施形態によると、各ターゲット移動体9の走査点群に対するクラスタリング範囲Rcは、識別情報Iiのうち特に、走査空間30の種別を表す種別情報Iikに基づき調整される。これによれば、ダイナミックマップMtにおいて種別情報Iikの表す種別が、走査方向に視てターゲット移動体9の重畳する可能性が高い種別の場合には、当該可能性に応じた縮小側への調整により、クラスタリング範囲Rcから誤走査点群を除外し易くすることができる。また、そうした可能性に応じた縮小側への調整により、各ターゲット移動体9の走査点群をそれぞれ個別のクラスタリング範囲Rcに収め易くすることができる。これらのことから、走査方向に視て重畳する各ターゲット移動体9の高精度認識に対する信頼性を、高めることが可能となる。
【0070】
第一実施形態によると、クラスタリングされる走査点群となる候補点群Pcは、識別情報Iiのうち特に、走査空間30の種別を表す種別情報Iikに基づき抽出される。これによれば、ダイナミックマップMtにおいて種別情報Iikの表す種別が、定点位置において物体の動く可能性がある、例えば植生環境等といった種別の場合には、クラスタリングされる候補点群Pcからは除外され得る。故に、定点位置において動く物体と対応した走査点群のクラスタリングによりターゲット移動体9の認識精度が低下する事態を、抑制することが可能となる。
【0071】
第一実施形態によると、クラスタリングされる走査点群となる候補点群Pcは、識別情報Iiのうち特に、走査空間30における点群分布の特徴量を表す分布情報Iisに基づき抽出される。これによれば、ダイナミックマップMtにおいて分布情報Iisの表す特徴量が、走査データDtにおける点群分布の特徴量から乖離する場合には、当該点群分布に対応する特定ボクセル300の候補点群Pcがクラスタリングに供され得る。故に、ダイナミックマップMtにはマッチングする点群が存在しない、ターゲット移動体9の走査点群に絞ったクラスタリングを実現して、ターゲット移動体9の高精度認識に対する信頼性を高めることが可能となる。
【0072】
(第二実施形態)
第二実施形態は、第一実施形態の変形例である。
【0073】
第二実施形態の認識フローにおいてS101により読み出されるダイナミックマップMtの種別情報Iikには、図20に示されるように、走査データDtにおいてゴーストピクセルを招来する可能性のある環境状態を識別するための、少なくとも一つの種別ナンバー(図20の例ではナンバー16)が含まれている。ここで、ゴーストピクセルの招来可能性がある環境状態には、図21,22に示すように走査空間30において走査デバイス3の走査ビームに対する反射率が許容範囲外に高い高反射静止物体80が存在することで、当該高反射静止物体80よりも走査方向の手前では誤認識の発生し易い高反射認識状態Srが、該当する。そこで、高反射静止物体80の手前においてゴーストピクセルによる誤認識が生じないと予測可能な反射率の許容範囲に対して、高反射側となる反射率が許容範囲外の反射率として規定される。尚、図21は、高反射静止物体80として、標識及びミラーを例示している。一方で図22は、高反射静止物体80として、建造物における窓ガラスを例示している。
【0074】
こうした第二実施形態の認識フローにおいてS105により取得された種別情報Iikが状態Sg,Ss,Sf,Sr以外の種別ナンバーを表している特定ボクセル300に対しては、S106において第一実施形態と同様な通常抽出サブルーチンが実行される。第二実施形態の認識フローにおいて種別情報Iikが前後認識状態Sgの種別ナンバーを表している特定ボクセル300に対しては、S106において第一実施形態と同様な前後抽出サブルーチンが実行される。第二実施形態の認識フローにおいて種別情報Iikが重畳認識状態Ssの種別ナンバーを表している特定ボクセル300に対しては、S106において第一実施形態と同様な重畳抽出サブルーチンが実行される。第二実施形態の認識フローにおいて種別情報Iikが定点認識状態Sfの種別ナンバーを表している特定ボクセル300に対しては、S106において第一実施形態と同様な定点抽出サブルーチンが実行される。
【0075】
さらに第二実施形態の認識フローでは、種別情報Iikが高反射認識状態Srの種別ナンバーを表している特定ボクセル300に対して、S106では図23に示すS181~S183の候補抽出処理を実施するように、高反射抽出サブルーチンが実行される。具体的にS181においてマッチングブロック100は、S105により取得された識別情報Iiのうち分布情報Iisの表す分布特徴量と、S103によりマップマッチングされた走査データDtにおける走査点群の特定ボクセル300内での分布特徴量とを、比較する。その結果、分布特徴量同士が乖離していると判定された場合には、高反射抽出サブルーチンがS182へ移行する。ここで、分布特徴量同士の乖離判定は、第一実施形態で説明した通常抽出サブルーチンに準ずる。但し、高反射抽出サブルーチンにおいて乖離判定の基準となる閾値は、通常認識サブルーチンでの閾値よりも大きな乖離分までは許容するように、調整されてもよい。
【0076】
こうしたS106の後に、第二実施形態の認識フローにおいてS105により取得された種別情報Iikが状態Sg,Ss,Sf,Sr以外の種別ナンバーを表している特定ボクセル300に対しては、S107において第一実施形態と同様な通常認識サブルーチンが実行される。第二実施形態の認識フローにおいて種別情報Iikが前後認識状態Sgの種別ナンバーを表している特定ボクセル300に対しては、S107において第一実施形態と同様な前後認識サブルーチンが実行される。第二実施形態の認識フローにおいて種別情報Iikが重畳認識状態Ssの種別ナンバーを表している特定ボクセル300に対しては、S107において第一実施形態と同様な重畳認識サブルーチンが実行される。
【0077】
さらに第二実施形態の認識フローでは、種別情報Iikが高反射認識状態Srの種別ナンバーを表している特定ボクセル300に対して、S107では図24に示すS191~S193の認識処理を実施するように、高反射認識サブルーチンが実行される。具体的にS191においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtに対するクラスタリング範囲Rcを、デフォルト範囲よりも縮小側(例えば0.2m以下)に調整する。このとき、特定ボクセル300内の走査空間30において高反射静止物体80よりも手前のエリアに対応して候補点群Pcが存在する場合には、当該手前エリアの候補点群Pcがクラスタリングされる範囲Rcは、S191での調整によってデフォルト範囲よりも縮小されることになる。
【0078】
S192においてクラスタリングブロック110は、S103によりマップマッチングされた走査データDtにおける特定ボクセル300内での候補点群Pcから、S191により設定されたクラスタリング範囲Rcにユークリッド距離が収まる走査点群を、クラスタリングする。そこでS193においてクラスタリングブロック110は、クラスタリングされた走査点群に基づくことで、ターゲット移動体9を認識する。このとき、特定ボクセル300内の走査空間30において高反射静止物体80よりも手前エリアに対応した走査点群がクラスタリングされている場合には、当該手前エリアのターゲット移動体9(図21,22参照)を認識することが可能となる。そこでS193においても、ターゲット移動体9を認識するために、第一実施形態で説明のS153と同様なフィルタリングが遂行されてもよい。但し、高反射認識サブルーチンのS193では、高反射静止物体80よりも手前エリアのターゲット移動体9とゴーストピクセルとをルールベースのモデルで区別するために、第一実施形態で説明の判断指標に対する判断閾値が、通常認識サブルーチンのデフォルト値よりもゴーストピクセルの除外確率を増大させる側に、調整されてもよい。以上により、高反射認識サブルーチンが終了する。
【0079】
このように第二実施形態では、走査デバイス3の走査ビームに対する反射率が許容範囲外に高い高反射静止物体80よりも走査方向に視て手前にターゲット移動体9を認識した、認識データDrが生成される。このとき第二実施形態によると、ダイナミックマップMtにおいて走査空間30を分割した複数のボクセル300毎に走査空間30の状態を識別するための識別情報Iiに基づくことで、走査データDtにおいて高反射静止物体80の手前に対応してクラスタリングされる走査点群からは、誤走査点群を除外することができる。故に、高反射静止物体80の手前に進入したターゲット移動体9を、高精度に認識することが可能となる。
【0080】
第二実施形態によると、走査データDtにおいて高反射静止物体80よりも手前に対応する走査点群がクラスタリングされるクラスタリング範囲Rcは、識別情報Iiに基づき縮小側に調整される。これによれば、高反射静止物体80の手前に対応した走査点群のうち、点群密度が低くなる誤走査点群をクラスタリング範囲Rcからは除外する一方、点群密度が高くなるターゲット移動体9の走査点群をクラスタリング範囲Rcに収めて適正にクラスタリングすることができる。故に、高反射静止物体80の手前に進入したターゲット移動体9の高精度認識に対して、信頼性を確保することが可能となる。
【0081】
第二実施形態によると、高反射静止物体80よりも手前の走査点群に対するクラスタリング範囲Rcは、識別情報Iiのうち特に、走査空間30の種別を表す種別情報Iikに基づき調整される。これによれば、ダイナミックマップMtにおいて種別情報Iikの表す種別が、高反射静止物体80の手前において誤走査点群の生じる可能性が高い種別の場合には、当該可能性に応じた縮小側への調整によりクラスタリング範囲Rcから誤走査点群を除外し易くすることができる。故に、高反射静止物体80の手前に進入したターゲット移動体9の走査点群に絞るクラスタリングを実現して、当該ターゲット移動体9の高精度認識に対する信頼性を高めることが可能となる。
【0082】
(他の実施形態)
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。
【0083】
変形例において認識システム1を構成する専用コンピュータは、デジタル回路及びアナログ回路のうち、少なくとも一方をプロセッサとして有していてもよい。ここでデジタル回路とは、例えばASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)、及びCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを記憶したメモリを、有していてもよい。
【0084】
変形例のS106では、前後抽出サブルーチン及び重複抽出サブルーチンのうちいずれか一方が実行されずに、前後認識状態Sg及び重畳認識状態Ssのうち当該いずれか一方に対応する環境状態に対しては、通常抽出サブルーチンが実行されてもよい。この場合にS107では、前後認識サブルーチン及び重複認識サブルーチンのうちいずれか一方が実行されずに、前後認識状態Sg及び重畳認識状態Ssのうち当該いずれか一方に対応する環境状態に対しては、通常認識サブルーチンが実行されるとよい。
【0085】
変形例のS106では、定点抽出サブルーチンが実行されずに、当該定点抽出サブルーチンに対応する定点認識状態Sfに対しては、通常抽出サブルーチンが実行されてもよい。この場合にS107では、定点認識状態Sfに対して通常認識サブルーチンが実行されるとよい。
【0086】
変形例において認識システム1の適用されるホスト移動体は、例えば自律走行又は遠隔走行により荷物搬送若しくは情報収集等の可能な、走行ロボットであってもよい。ここまでの説明形態の他に上述の実施形態及び変形例は、ホスト移動体に搭載可能に構成されてプロセッサ12及びメモリ10を少なくとも一つずつ有する認識装置として、処理回路(例えば処理ECU等)の形態、又は半導体装置(例えば半導体チップ等)の形態で実施されてもよい。
【0087】
(付言)
本明細書には、以下に列挙する複数の技術的思想と、それらの複数の組み合わせが開示されている。
【0088】
(技術的思想1)
プロセッサ(12)を有し、ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識システムであって、
前記プロセッサは、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に前後に離れた複数の静止物体(8)間の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される認識システム。
【0089】
(技術的思想2)
前記認識データを生成することは、
前記三次元走査データにおいて複数の前記静止物体間に対応する前記走査点群がクラスタリングされるクラスタリング範囲(Rc)を、前記識別情報に基づき縮小側に調整することを、含む技術的思想1に記載の認識システム。
【0090】
(技術的思想3)
前記認識データを生成することは、
前記識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査方向に視て重畳する複数の前記ターゲット移動体を認識した、前記認識データを生成することを、含む技術的思想1又は2に記載の認識システム。
【0091】
(技術的思想4)
プロセッサ(12)を有し、ホスト移動体(2)の走査デバイス(3)により走査された走査空間(30)において移動可能なターゲット移動体(9)を認識する認識システムであって、
前記プロセッサは、
前記走査空間を走査した走査点群を表す三次元走査データ(Dt)を、取得することと、
前記走査空間に存在する物体をマッピングしたマッピング点群を表す三次元ダイナミックマップ(Mt)を、記憶媒体(10)から読み出すことと、
前記三次元ダイナミックマップにおいて前記走査空間を分割した複数の三次元ボクセル(300)毎に前記走査空間の状態を識別するための識別情報(Ii)に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査方向に視て重畳する複数の前記ターゲット移動体を認識した、認識データ(Dr)を生成することとを、実行するように構成される認識システム。
【0092】
(技術的思想5)
前記認識データを生成することは、
前記三次元走査データにおいて各前記ターゲット移動体に対応する前記走査点群がクラスタリングされるクラスタリング範囲(Rc)を、前記識別情報に基づき縮小側に調整することを、含む技術的思想3又は4に記載の認識システム。
【0093】
(技術的思想6)
前記認識データを生成することは、
前記識別情報のうち前記走査空間の種別を表す種別情報(Iik)に基づき、前記クラスタリング範囲を調整することを、含む技術的思想2又は5に記載の認識システム。
【0094】
(技術的思想7)
前記認識データを生成することは、
前記識別情報に基づく前記走査点群のクラスタリングにより、前記走査空間において前記走査デバイスの走査ビームに対する反射率が許容範囲外に高い高反射静止物体(80)よりも前記走査方向に視て手前に前記ターゲット移動体を認識した、前記認識データを生成することを、含む技術的思想1~6のいずれか一項に記載の認識システム。
【0095】
(技術的思想8)
前記認識データを生成することは、
前記三次元走査データにおいて前記高反射静止物体よりも手前に対応する前記走査点群がクラスタリングされるクラスタリング範囲(Rc)を、前記識別情報に基づき縮小側に調整することを、含む技術的思想7に記載の認識システム。
【0096】
(技術的思想9)
前記認識データを生成することは、
前記識別情報のうち前記走査空間の種別を表す種別情報(Iik)に基づき、前記クラスタリング範囲を調整することを、含む技術的思想8に記載の認識システム。
【0097】
(技術的思想10)
前記認識データを生成することは、
クラスタリングされる前記走査点群を、前記識別情報のうち前記走査空間の種別を表す種別情報(Iik)に基づき、抽出することを、含む技術的思想1~9のいずれか一項に記載の認識システム。
【0098】
(技術的思想11)
前記認識データを生成することは、
クラスタリングされる前記走査点群を、前記識別情報のうち前記走査空間における点群分布の特徴量を表す分布情報(Iis)に基づき、抽出することを、含む技術的思想1~10のいずれか一項に記載の認識システム。
【0099】
(技術的思想12)
前記プロセッサは、
生成された前記認識データを記憶媒体(10)に記憶することを、さらに実行するように構成される技術的思想1~11のいずれか一項に記載の認識システム。
【0100】
(技術的思想13)
前記プロセッサは、
生成された前記認識データの表示を制御することを、さらに実行するように構成される技術的思想1~12のいずれか一項に記載の認識システム。
【0101】
尚、以上説明した技術的思想1~13は、装置、方法及びプログラムの各形態で実現されてもよい。
【符号の説明】
【0102】
1:認識システム、2:ホスト移動体、3:走査デバイス、8:静止物体、9:ターゲット移動体、10:メモリ、12:プロセッサ、30:走査空間、80:高反射静止物体、300:三次元ボクセル、Dr:認識データ、Dt:走査データ、Ii:識別情報、Iik:種別情報、Iis:分布情報、Mt:ダイナミックマップ、Rc:クラスタリング範囲
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24