(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-28
(45)【発行日】2022-12-06
(54)【発明の名称】物体検出システム、および物体検出方法
(51)【国際特許分類】
G01S 17/42 20060101AFI20221129BHJP
G01S 17/66 20060101ALI20221129BHJP
G01S 17/89 20200101ALI20221129BHJP
G01C 3/06 20060101ALN20221129BHJP
【FI】
G01S17/42
G01S17/66
G01S17/89
G01C3/06 120Q
G01C3/06 140
(21)【出願番号】P 2020546680
(86)(22)【出願日】2019-03-13
(86)【国際出願番号】 JP2019010313
(87)【国際公開番号】W WO2020054110
(87)【国際公開日】2020-03-19
【審査請求日】2021-06-28
(31)【優先権主張番号】P 2018170831
(32)【優先日】2018-09-12
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110000671
【氏名又は名称】八田国際特許業務法人
(72)【発明者】
【氏名】今井 諒
(72)【発明者】
【氏名】寺田 健二
【審査官】九鬼 一慶
(56)【参考文献】
【文献】特開2014-167802(JP,A)
【文献】国際公開第2018/159144(WO,A1)
【文献】特開2014-092434(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/48 - 7/51
G01S 17/00 -17/95
G01B 11/00 -11/30
G01C 3/00 - 3/32
(57)【特許請求の範囲】
【請求項1】
複数の照射方向に向けた送信波を、測定空間に渡って照射し、該測定空間内の対象物からの前記送信波の反射波に応じた受信信号を出力する送受信部と、
前記送受信部が、前記送信波を送信してから、該送信波の反射波を受信するまでの時間間隔に基づいて、それぞれの前記照射方向における対象物までの距離を算出し、前記測定空間内の対象物までの距離値の分布を示す測距点群データを生成する距離算出部と、
前記測距点群データに基づいて、前記測定空間内の物体を認識する認識部と、
時系列の前記測距点群データを用いて、前記認識部が認識し
た複数の物体の
各時刻の位置情報を追跡することで、それぞれが
別個の物体として認識された物体が、前記測定空間内に予め設定した仮想平面を通過したタイミングを算出するとともに、第1判定条件として、前記複数の物体のうち、2つの物体の前記タイミング間の差分時間が所定閾値以下であるか否かを判定する判定部と、
前記第1判定条件を満たした、前記2つ物体を関連付ける
とともに、関連付けた前記2つの物体を1つの物体として処理する関連付け部と、
を備える、物体検出システム。
【請求項2】
前記判定部は、前記第1判定条件を満たす前記2つの物体について、さらに、第2判定条件として、前記仮想平面を通過した前記物体の位置の差分が、所定閾値以下であるか否かを判定し、
前記関連付け部は、前記第1判定条件および前記第2判定条件を満たす前記2つの物体を関連付ける、請求項1に記載の物体検出システム。
【請求項3】
前記判定部は、第1判定条件を満たす前記2つの物体について、さらに、第3判定条件として、前記仮想平面を通過した時の速度の差分が、所定閾値以下であるか否かを判定し、
前記関連付け部は、少なくとも前記第1判定条件および前記第3判定条件を満たす前記2つの物体を関連付ける、請求項1、または請求項2に記載の物体検出システム。
【請求項4】
前記判定部は、第1判定条件を満たす前記2つの物体について、さらに、第4判定条件として、前記物体のサイズそれぞれが、所定閾値以上か否かを判定し、
前記関連付け部は、少なくとも前記第1判定条件および前記第4判定条件を満たす前記2つの物体を関連付ける、請求項1から請求項3のいずれかに記載の物体検出システム。
【請求項5】
前記判定部は、第1判定条件を満たす前記2つの物体について、さらに、第5判定条件として、前記仮想平面を通過するまでの移動軌跡を比較し、移動軌跡の差分が所定条件を満たすか否かを判定し、
前記関連付け部は、少なくとも前記第1判定条件および前記第5判定条件を満たす前記2つの物体を関連付ける、請求項1から請求項4のいずれかに記載の物体検出システム。
【請求項6】
前記判定部は、第1判定条件を満たす前記2つの物体について、さらに、
前記仮想平面を通過した前記物体の位置の差分が、所定閾値以下であるか否かを判定する第2判定条件、
前記仮想平面を通過した時の速度の差分が、所定閾値以下であるか否かを判定する第3判定条件、
前記物体のサイズそれぞれが、所定閾値以上か否かを判定する第4判定条件、および、
前記仮想平面を通過するまでの移動軌跡を比較し、移動軌跡の差分が所定条件を満たすか否かを判定する第5判定条件について判定を行い、
前記関連付け部は、前記判定部による前記第2から第5の判定条件に関する判定結果、および、予め設定した、前記第2から第5判定条件の優先度、または重み付け係数を用いて、前記2つの物体を関連付ける、請求項1に記載の物体検出システム。
【請求項7】
複数の照射方向に向けた送信波を、測定空間に渡って照射し、該測定空間内の対象物からの前記送信波の反射波を受信する送受信部と、
前記送受信部が、前記送信波を送信してから、該送信波の反射波を受信するまでの時間間隔に基づいて、それぞれの前記照射方向における対象物までの距離を算出し、前記測定空間内の対象物までの距離値の分布を示す測距点群データを算出する距離算出部と、
前記測距点群データに基づいて、前記測定空間内の物体を認識する認識部と、
前記測距点群データに基づいて、前記測定空間内の物体を認識する認識部と、
時系列の前記測距点群データを用いて、前記認識部が認識した複数の物体の各時刻の位置情報を追跡することで、それぞれが別個の物体として認識された物体の前記測定空間内に予め設定した仮想平面の通過を判定する判定部であって、
前記認識部が認識した前記複数の物体のそれぞれが、
前記仮想平面を通過したタイミングを算出するとともに、前記複数の物体のうち、2つの物体の前記タイミング間の差分時間が所定閾値以下であるか否かを判定する第1判定条件、
前記仮想平面を通過した前記物体の位置の差分が、所定閾値以下であるか否かを判定する第2判定条件、
前記仮想平面を通過した時の速度の差分が、所定閾値以下であるか否かを判定する第3判定条件、
前記物体のサイズそれぞれが、所定閾値以上か否かを判定する第4判定条件、および、
前記仮想平面を通過するまでの移動軌跡を比較し、移動軌跡の差分が所定条件を満たすか否かを判定する第5判定条件について判定を行う判定部と、
前記判定部による前記第1から第5の判定条件に関する判定結果、および、予め設定した、前記第1から第5判定条件の優先度、または重み付け係数を用いて、2つの物体を関連付ける
とともに、関連付けた前記2つの物体を1つの物体として処理する関連付け部と、を備える物体検出システム。
【請求項8】
前記測定空間には、車両が通行する道路が含まれ、前記仮想平面は、前記道路を通行する車両の移動方向に対向して設けられている、請求項1から請求項7のいずれかに記載の物体検出システム。
【請求項9】
前記送受信部は、ライダーであり、前記送信波としてレーザー光を照射する、請求項1から請求項8のいずれかに記載の物体検出システム。
【請求項10】
さらに、前記測距点群データに基づいて、生成した画像を出力する、出力部を備え、
前記関連付け部は、前記出力部が出力する前記画像において、関連付けた前記2つの物体に対して、1つの検知枠を付与する、請求項1から請求項9のいずれかに記載の物体検出システム。
【請求項11】
前記関連付け部は、関連付けた前記2つの物体に対して、1つの物体としてカウントを行う、請求項1から請求項10のいずれかに記載の物体検出システム。
【請求項12】
前記関連付け部は、関連付けた前記2つの物体に対して、1つの物体として、物体の種類の判別を行う、請求項1から請求項11のいずれかに記載の物体検出システム。
【請求項13】
前記関連付け部は、関連付けた前記2つの物体に対して、1つの物体として、発報処理を行う、請求項1から請求項12のいずれかに記載の物体検出システム。
【請求項14】
前記判定部は、前記物体が前記仮想平面を通過したことを、
前記複数の物体のうち、先頭の物体に対しては、該物体の後端が前記仮想平面を通過したことにより判定し、先頭以外の物体に対しては、該物体の先端が前記仮想平面を通過したことにより判定する、請求項1~請求項13のいずれかに記載の物体検出システム。
【請求項15】
前記判定部は、前記物体が前記仮想平面を通過したことを、
前記物体の先端、または後端が前記仮想平面を通過したことにより判定する、請求項1~請求項13のいずれかに記載の物体検出システム。
【請求項16】
複数の照射方向に向けた送信波を、測定空間に渡って照射し、該測定空間内の対象物からの前記送信波の反射波に応じた受信信号を出力する送受信部を備える物体検出システムにおける物体検出方法であって、
前記送受信部が前記送信波を送信してから、該送信波の反射波を受信するまでの時間間隔に基づいて、それぞれの前記照射方向における対象物までの距離を算出し、前記測定空間内の対象物までの距離値の分布を示す測距点群データを算出するステップ(a)と、
前記測距点群データに基づいて、前記測定空間内の物体を認識するステップ(b)と、
時系列の前記測距点群データを用いて、前記ステップ(b)で認識し
た複数の物体の
各時刻の位置情報を追跡することで、それぞれが
別個の物体として認識された物体が、前記測定空間内に予め設定した仮想平面を通過したタイミングを算出するとともに、第1判定条件として、前記複数の物体のうち、2つの物体の前記タイミング間の差分時間が所定閾値以下であるか否かを判定するステップ(c)と、
前記第1判定条件を満たした、前記2つ物体を関連付ける
とともに、関連付けた前記2つの物体を1つの物体として処理するステップ(d)と、
を含む物体検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体検出システム、および物体検出方法に関する。
【背景技術】
【0002】
測定空間での人や車両等の物体の移動等を検出する物体検出装置として、測距点群データ(距離画像とも称される)を用いるものが提案されている。ここで測距点群データとは、距離情報を有する多数の測定点から構成されるものである。具体的には、レーザー光を測定空間へ向けて送出し、その送出から反射光の受光までの時間から測定空間内の対象物までの距離を計測する物体検出装置が知られている。このような物体検出装置では、レーザー光の照射方向を順次変えて測定空間内を2次元的に走査することにより、測定空間に向けた複数の方向に関する距離情報を得ることができ、これにより測距点群データを生成する。
【0003】
そして、生成した測距点群データから、物体認識処理を行い、物体を認識することで、測定空間内の物体の状況を把握する。この物体認識処理は、一般に隣接、または近接する画素間において、距離値が近い画素は同一の物体からの反射光によるものと推定し、物体の認識を行う。
【0004】
このような物体認識処理の課題として、実際には複数の物体を、物体認識処理において、1つの物体として誤って認識したり、またその反対に、実際には1つの物体を、複数の物体と誤って認識したりする。例えば、車道を走行する車両の認識を行う場合に、車体部分からの反射光の強度が十分でない場合には、その車体部分からの反射光が検知されたり、されなかったりすることがある。この場合、その先行車両に関する測距データが不安定になる。また、単に反射物の位置のみに基づいて一体のものかどうかを判定すると、例えば、通過する車両の横に静止物があるとこれらが一体のものとみなされてしまう。特許文献1では、これらの課題を解決するため、距離値が近いだけでなく、反射強度の差が所定値以下の場合に同一の物体と認識する物体認識処理を行っている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、レーザー等を照射して得られた測距点群データから物体を認識するような場合には、略直方体の外形の車両等の物体の場合には、物体の進行方向と、レーザー等の照射方向が平行に近いと、奥行き方向の正確な長さを捉えにくくなる。すなわち、測距点群データにおいて、隣接する画素間において、距離値が離散的になる。特に、全長が長い車両の場合では、距離値の広がりが大きくなり、このような場合には、1つの物体を、複数の物体と誤って認識してしまう虞がある。
【0007】
特許文献1では、物体の誤認識を抑制するために、距離値の近接度だけでなく、反射強度の差が少ないことにより、物体の認識を行っているが、例えばトラック車両においては、一般に、車両全面部と荷台では、異なる反射強度を示すため、実際には1つの物体ではあるが、それぞれの部分から別々の物体を誤認識してしまうため、同一の物体として認識できない。また、距離値が離散することで反射強度が変化するような場合にも、実際には1つの物体として認識できない。
【0008】
本発明は、上記事情に鑑みてなされたものであり、測定空間内で移動する物体を適切に検出することを目的とする。
【課題を解決するための手段】
【0009】
本発明の上記目的は、下記の手段によって達成される。
【0010】
(1)複数の照射方向に向けた送信波を、測定空間に渡って照射し、該測定空間内の対象物からの前記送信波の反射波に応じた受信信号を出力する送受信部と、
前記送受信部が、前記送信波を送信してから、該送信波の反射波を受信するまでの時間間隔に基づいて、それぞれの前記照射方向における対象物までの距離を算出し、前記測定空間内の対象物までの距離値の分布を示す測距点群データを生成する距離算出部と、
前記測距点群データに基づいて、前記測定空間内の物体を認識する認識部と、
時系列の前記測距点群データを用いて、前記認識部が認識した複数の物体の各時刻の位置情報を追跡することで、それぞれが別個の物体として認識された物体が、前記測定空間内に予め設定した仮想平面を通過したタイミングを算出するとともに、第1判定条件として、前記複数の物体のうち、2つの物体の前記タイミング間の差分時間が所定閾値以下であるか否かを判定する判定部と、
前記第1判定条件を満たした、前記2つ物体を関連付けるとともに、関連付けた前記2つの物体を1つの物体として処理する関連付け部と、
を備える、物体検出システム。
【0011】
(2)前記判定部は、前記第1判定条件を満たす前記2つの物体について、さらに、第2判定条件として、前記仮想平面を通過した前記物体の位置の差分が、所定閾値以下であるか否かを判定し、
前記関連付け部は、前記第1判定条件および前記第2判定条件を満たす前記2つの物体を関連付ける、上記(1)に記載の物体検出システム。
【0012】
(3)前記判定部は、第1判定条件を満たす前記2つの物体について、さらに、第3判定条件として、前記仮想平面を通過した時の速度の差分が、所定閾値以下であるか否かを判定し、
前記関連付け部は、少なくとも前記第1判定条件および前記第3判定条件を満たす前記2つの物体を関連付ける、上記(1)、または上記(2)に記載の物体検出システム。
【0013】
(4)前記判定部は、第1判定条件を満たす前記2つの物体について、さらに、第4判定条件として、前記物体のサイズそれぞれが、所定閾値以上か否かを判定し、
前記関連付け部は、少なくとも前記第1判定条件および前記第4判定条件を満たす前記2つの物体を関連付ける、上記(1)から上記(3)のいずれかに記載の物体検出システム。
【0014】
(5)前記判定部は、第1判定条件を満たす前記2つの物体について、さらに、第5判定条件として、前記仮想平面を通過するまでの移動軌跡を比較し、移動軌跡の差分が所定条件を満たすか否かを判定し、
前記関連付け部は、少なくとも前記第1判定条件および前記第5判定条件を満たす前記2つの物体を関連付ける、上記(1)から上記(4)のいずれかに記載の物体検出システム。
【0015】
(6)前記判定部は、第1判定条件を満たす前記2つの物体について、さらに、
前記仮想平面を通過した前記物体の位置の差分が、所定閾値以下であるか否かを判定する第2判定条件、
前記仮想平面を通過した時の速度の差分が、所定閾値以下であるか否かを判定する第3判定条件、
前記物体のサイズそれぞれが、所定閾値以上か否かを判定する第4判定条件、および、
前記仮想平面を通過するまでの移動軌跡を比較し、移動軌跡の差分が所定条件を満たすか否かを判定する第5判定条件について判定を行い、
前記関連付け部は、前記判定部による前記第2から第5の判定条件に関する判定結果、および、予め設定した、前記第2から第5判定条件の優先度、または重み付け係数を用いて、前記2つの物体を関連付ける、上記(1)に記載の物体検出システム。
【0016】
(7)複数の照射方向に向けた送信波を、測定空間に渡って照射し、該測定空間内の対象物からの前記送信波の反射波を受信する送受信部と、
前記送受信部が、前記送信波を送信してから、該送信波の反射波を受信するまでの時間間隔に基づいて、それぞれの前記照射方向における対象物までの距離を算出し、前記測定空間内の対象物までの距離値の分布を示す測距点群データを算出する距離算出部と、
前記測距点群データに基づいて、前記測定空間内の物体を認識する認識部と、
前記測距点群データに基づいて、前記測定空間内の物体を認識する認識部と、
時系列の前記測距点群データを用いて、前記認識部が認識した複数の物体の各時刻の位置情報を追跡することで、それぞれが別個の物体として認識された物体の前記測定空間内に予め設定した仮想平面の通過を判定する判定部であって、
前記認識部が認識した前記複数の物体のそれぞれが、前記仮想平面を通過したタイミングを算出するとともに、前記複数の物体のうち、2つの物体の前記タイミング間の差分時間が所定閾値以下であるか否かを判定する第1判定条件、
前記仮想平面を通過した前記物体の位置の差分が、所定閾値以下であるか否かを判定する第2判定条件、
前記仮想平面を通過した時の速度の差分が、所定閾値以下であるか否かを判定する第3判定条件、
前記物体のサイズそれぞれが、所定閾値以上か否かを判定する第4判定条件、および、
前記仮想平面を通過するまでの移動軌跡を比較し、移動軌跡の差分が所定条件を満たすか否かを判定する第5判定条件について判定を行う判定部と、
前記判定部による前記第1から第5の判定条件に関する判定結果、および、予め設定した、前記第1から第5判定条件の優先度、または重み付け係数を用いて、2つの物体を関連付けるとともに、関連付けた前記2つの物体を1つの物体として処理する関連付け部と、を備える物体検出システム。
【0017】
(8)前記測定空間には、車両が通行する道路が含まれ、前記仮想平面は、前記道路を通行する車両の移動方向に対向して設けられている、上記(1)から上記(7)のいずれかに記載の物体検出システム。
【0018】
(9)前記送受信部は、ライダーであり、前記送信波としてレーザー光を照射する、上記(1)から上記(8)のいずれかに記載の物体検出システム。
【0019】
(10)さらに、前記測距点群データに基づいて、生成した画像を出力する、出力部を備え、
前記関連付け部は、前記出力部が出力する前記画像において、関連付けた前記2つの物体に対して、1つの検知枠を付与する、上記(1)から上記(9)のいずれかに記載の物体検出システム。
【0020】
(11)前記関連付け部は、関連付けた前記2つの物体に対して、1つの物体としてカウントを行う、上記(1)から上記(10)のいずれかに記載の物体検出システム。
【0021】
(12)前記関連付け部は、関連付けた前記2つの物体に対して、1つの物体として、物体の種類の判別を行う、上記(1)から上記(11)のいずれかに記載の物体検出システム。
【0022】
(13)前記関連付け部は、関連付けた前記2つの物体に対して、1つの物体として、発報処理を行う、上記(1)から上記(12)のいずれかに記載の物体検出システム。
(14)前記判定部は、前記物体が前記仮想平面を通過したことを、
前記複数の物体のうち、先頭の物体に対しては、該物体の後端が前記仮想平面を通過したことにより判定し、先頭以外の物体に対しては、該物体の先端が前記仮想平面を通過したことにより判定する、上記(1)~上記(13)のいずれかに記載の物体検出システム。
(15)前記判定部は、前記物体が前記仮想平面を通過したことを、
前記物体の先端、または後端が前記仮想平面を通過したことにより判定する、上記(1)~上記(13)のいずれかに記載の物体検出システム。
【0023】
(16)複数の照射方向に向けた送信波を、測定空間に渡って照射し、該測定空間内の対象物からの前記送信波の反射波に応じた受信信号を出力する送受信部を備える物体検出システムにおける物体検出方法であって、
前記送受信部が前記送信波を送信してから、該送信波の反射波を受信するまでの時間間隔に基づいて、それぞれの前記照射方向における対象物までの距離を算出し、前記測定空間内の対象物までの距離値の分布を示す測距点群データを算出するステップ(a)と、
前記測距点群データに基づいて、前記測定空間内の物体を認識するステップ(b)と、
時系列の前記測距点群データを用いて、前記ステップ(b)で認識した複数の物体の各時刻の位置情報を追跡することで、それぞれが別個の物体として認識された物体が、前記測定空間内に予め設定した仮想平面を通過したタイミングを算出するとともに、第1判定条件として、前記複数の物体のうち、2つの物体の前記タイミング間の差分時間が所定閾値以下であるか否かを判定するステップ(c)と、
前記第1判定条件を満たした、前記2つ物体を関連付けるとともに、関連付けた前記2つの物体を1つの物体として処理するステップ(d)と、
を含む物体検出方法。
【発明の効果】
【0024】
本発明に係る物体検出システムは、送受信部からの信号により生成した測距点群データに基づいて、測定空間内の物体を認識し、認識した複数の物体のそれぞれが、測定空間内に予め設定した仮想平面を通過したタイミングを算出するとともに、第1判定条件として、複数の物体のうち、2つの物体のタイミング間の差分時間が所定閾値以下であるか否かを判定し、第1判定条件を満たした2つの物体を関連付ける。これにより、1つの物体を同一の物体として認識できない場合であっても、これらの物体を関連付けることにより、測定空間内で移動する物体の検出を適切に行うことができる。
【図面の簡単な説明】
【0025】
【
図1】物体検出システムの主要構成を示すブロック図である。
【
図2】車両が通行する道路上が測定空間となるようにライダーを配置した状態を示す模式図である。
【
図4A】物体の向きに応じた測定点の離散状態を示す模式図である。
【
図4B】離散状態による物体認識への影響を示す模式図である。
【
図5】認識した複数の物体(動体)のある時点での位置情報データの例である。
【
図6】第1の実施形態に係る物体検出システムで行われる、物体検出処理を示すフローチャートである。
【
図7】第1の実施形態におけるステップ15の処理を示すサブルーチンフローチャートである。
【
図8A】仮想平面に向かって進む物体を示す模式図である。
【
図8B】第1判定条件における関連付け処理を示す模式図である。
【
図10】第2の実施形態におけるステップ15の処理を示すサブルーチンフローチャートである。
【
図11】第2判定条件における関連付け処理を示す模式図である。
【
図12A】仮想平面に向かって進む物体を示す模式図である。
【
図12B】第3判定条件における関連付け処理を示す模式図である。
【
図13】第4判定条件における関連付け処理を示す模式図である。
【
図14A】仮想平面に向かって進む物体を示す模式図である。
【
図14B】第5判定条件における関連付け処理を示す模式図である。
【
図14C】第5判定条件における関連付け処理を示す模式図である。
【
図15】第3の実施形態におけるステップ15の処理を示すサブルーチンフローチャートである。
【
図16】第4の実施形態におけるステップ15の処理を示すサブルーチンフローチャートである。
【
図17】2次元カメラにより認識した物体における仮想平面の通過判定を説明する模式図である。
【発明を実施するための形態】
【0026】
以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【0027】
図1は、物体検出システムの主要構成を示すブロック図である。物体検出システム10は、検出部100、制御装置200、および発報部300を備える。検出部100は、送受信部としてのライダー110(LiDAR:Light Detection and Ranging)を備える。最初にライダー110の構成について説明し、制御装置200、および発報部300の構成については後述する。
【0028】
図2は、車両が通行する車道61上が測定空間60となるようにライダー110を配置した状態を示す模式図である。ライダー110は柱62の上部に、車道61に向けて配置されている。測定空間60内の車道61上には、物体(動体)81~84が存在する。同図の例では、物体81、84は、トラック車両であり、物体82は普通乗用車の車両であり、物体83は歩行者である。また、後述する判定処理に用いる(制御上の)仮想平面70を、車道61を通行する車両の進行方向に対向するように配置している。仮想平面70は、ユーザーからのUI(ユーザーインターフェース)を通じた指示により設定しているが、これに限られず、ライダー110が取得した画像から道路の延在方向、または車両の移動方向を判定し、その延在方向、または移動方向に垂直な平面を仮想平面として、制御側で自動的に設定してもよい。設定された、仮想平面70の位置情報は、後述する制御装置200のメモリに記憶される。
【0029】
(ライダー110)
以下、
図3を参照し、ライダー110の構成について説明する。
図3は、ライダー110の概略構成を示す断面図である。ライダー110は、投受光ユニット111を有する。投受光ユニット111は、半導体レーザー51、コリメートレンズ52、ミラーユニット53、レンズ54、フォトダイオード55、およびモーター56、ならびにこれらの各構成部材を収容する筐体57を有する。筐体57内には、制御装置200の距離算出部210が配置されている。投受光ユニット111は、レーザースポット光によりライダー110の監視空間内(測定空間内)を走査することで得られた各画素の受光信号を出力する。距離算出部210は、この受光信号に基づいて、測距点群データを生成する。この測距点群データは距離画像、または距離マップとも称される。
【0030】
半導体レーザー51は、パルス状のレーザー光束を出射する。コリメートレンズ52は、半導体レーザー51からの発散光を平行光に変換する。ミラーユニット53は、コリメートレンズ52で平行とされたレーザー光を、回転するミラー面により測定領域に向かって走査投光するとともに、対象物からの反射光を反射させる。レンズ54は、ミラーユニット53で反射された対象物からの反射光を集光する。フォトダイオード55は、レンズ54により集光された光を受光し、Y方向に並んだ複数の画素を有する。モーター56はミラーユニット53を回転駆動する。
【0031】
距離算出部210は、これらの半導体レーザー51の出射タイミングと、フォトダイオード55の受光タイミングとの時間間隔(時間差)に基づいて距離情報(距離値)を求める。距離算出部210は、CPU(Central Processing Unit)とメモリで構成され、メモリに記憶しているプログラムを実行することにより各種の処理を実行することによって測距点群データを求めるが、測距点群データ生成用の専用ハードウェア回路を備えてもよい。また、距離算出部210は、後述する制御装置200の筐体内部に組み込まれ、ハードウェア的に統合されてもよい。
【0032】
本実施形態において、半導体レーザー51とコリメートレンズ52とで出射部501を構成し、レンズ54とフォトダイオード55とで受光部502を構成する。出射部501、受光部502の光軸は、ミラーユニット53の回転軸530に対して直交していることが好ましい。
【0033】
剛体である柱62等に固定して設置されたボックス状の筐体57は、上壁57aと、これに対向する下壁57bと、上壁57aと下壁57bとを連結する側壁57cとを有する。側壁57cの一部に開口57dが形成され、開口57dには透明板58が取り付けられている。
【0034】
ミラーユニット53は、2つの四角錐を逆向きに接合して一体化した形状を有し、すなわち対になって向き合う方向に傾いたミラー面531a、531bを4対(但し4対に限られない)有している。ミラー面531a、531bは、ミラーユニットの形状をした樹脂素材(例えばPC(ポリカーボネート))の表面に、反射膜を蒸着することにより形成されていることが好ましい。
【0035】
ミラーユニット53は、筐体57に固定されたモーター56の軸56aに連結され、回転駆動されるようになっている。本実施形態では、例えば、柱62に設置された状態で、軸56aの軸線(回転軸線)が鉛直方向であるY方向に延在しており、Y方向に直交するX方向およびZ方向によりなすXZ平面が水平面となっているが、軸56aの軸線を鉛直方向に対して傾けてもよい。なお、
図2においては、ライダー110のXYZ空間とともに、これを道路の向き(車両の進行方向)に対応させ座標変換させたX’Y’Z’空間を示している。X’Y’Z’空間において、Y’方向は鉛直方向であり、Z’方向は道路の延在方向に平行であり、X’方向はこれらに直交する方向である。なお、仮想平面70は、X’Y’平面に平行となるように設定されている。
【0036】
次に、ライダー110の対象物検出原理について説明する。
図3において、半導体レーザー51からパルス状に間欠的に出射された発散光は、コリメートレンズ52で平行光束に変換され、回転するミラーユニット53の第1ミラー面531aに入射する。その後、第1ミラー面531aで反射され、さらに第2ミラー面531bで反射した後、透明板58を透過して外部の測定空間60に向けて、例えば縦長の矩形断面を持つレーザースポット光として走査投光される。なお、レーザースポット光が出射される方向と、出射されたレーザースポット光が対象物で反射し、反射光として戻ってくる方向は重複し、この重複する2方向を投受光方向という(なお、
図3では分かり易さのため、図面では出射光と反射光をずらして示している)。同一の投受光方向に進行するレーザースポット光は、同一の画素で検出される。
【0037】
ここで、ミラーユニット53の対のミラー(例えば第1ミラー面531aと第2ミラー面531b)の組み合わせにおいて、4対はそれぞれ交差角が異なっている。レーザー光は、回転する第1ミラー面531aと第2ミラー面531bにて、順次反射される。まず1番対の第1ミラー面531aと第2ミラー面531bにて反射したレーザー光は、ミラーユニット53の回転に応じて、測定空間60の一番上の領域を水平方向(「主走査方向」ともいう)に左から右へと走査される。次に、2番対の第1ミラー面531aと第2ミラー面531bで反射したレーザー光は、ミラーユニット53の回転に応じて、測定空間60の上から2番目の領域を水平方向に左から右へと走査される。次に、3番対の第1ミラー面531aと第2ミラー面531bで反射したレーザー光は、ミラーユニット53の回転に応じて、測定空間60の上から3番目の領域を水平方向に左から右へと走査される。次に、4番対の第1ミラー面531aと第2ミラー面で反射したレーザー光は、ミラーユニット53の回転に応じて、測定空間60の最も下の領域を水平方向に左から右へと走査される。これによりライダー110が測定可能な測定空間60全体の1回の走査が完了する。この4つの領域の走査により得られた画像を組み合わせて、1つのフレームが得られる。そして、ミラーユニット53が1回転した後、再び1番対の第1ミラー面531aと第2ミラー面531bに戻り、以降は測定空間60の一番上の領域から最も下の領域までの走査(この上下方向を「副走査方向」ともいう)を繰り返し、次のフレームが得られる。
【0038】
図3において、走査投光された光束のうち対象物に当たって反射したレーザー光の一部は、再び透明板58を透過して筐体57内のミラーユニット53の第2ミラー面531bに入射し、ここで反射され、さらに第1ミラー面531aで反射されて、レンズ54により集光され、それぞれフォトダイオード55の受光面で画素毎に検知される。さらに、距離算出部210が、半導体レーザー51の出射タイミングとフォトダイオード55の受光タイミングとの時間差に応じて距離情報を求める。これにより測定空間60内の全領域で対象物の検出を行って、画素毎に距離情報を持つ測距点群データとしてのフレームを得ることができる。また、ユーザーの指示により、得られた測距点群データを背景画像データとして、距離算出部210内のメモリ、または制御装置200のメモリに記憶してもよい。
【0039】
なお、検出部100は、赤外線(800~1000nm程度)のレーザー光を用いたライダー110とすることで、高い分解能で、測距点群データを得ることができる。しかしながら、送受信部として、ライダー110に換えて、ミリ波等の他の周波数の送信波を照射し、その送信波の反射波から測距点群データを得るミリ波レーダーを適用してもよい。
【0040】
(物体検出システム10の制御装置200)
次に、
図1を参照し、制御装置200(制御部ともいう)の各構成について説明する。制御装置200は、例えば、コンピューターであり、CPU(Central Processing Unit)、メモリ(半導体メモリ、磁気記録媒体(ハードディスク等))、入出力部(ディスプレイ、キーボード、等)、通信I/F(interface)等を備える。通信I/Fは、外部機器と通信するためのインターフェースである。通信には、イーサネット(登録商標)、SATA、PCI Express、USB、IEEE1394などの規格によるネットワークインターフェースが用いてもよい。また、通信には、Bluetooth(登録商標)、IEEE802.11、4Gなどの無線通信インターフェースを用いてもよい。
【0041】
制御装置200は、
図1に示すように、距離算出部210、認識部220、判定部230、関連付け部240、および報知出力部250を備える。以下、それぞれの機能について説明する。
【0042】
(距離算出部210)
距離算出部210の機能については、上述したとおりである。距離算出部210は、測定時に、ライダー110の投受光ユニット111により、複数の照射方向に向けた送信波を、測定空間60に渡って照射し、測定空間60内の物体(対象物)からの送信波の反射波に応じた受信信号を取得する。そして、この受信信号の受信タイミング(送受信の時間間隔)に応じて複数の照射方向における、それぞれの距離情報を得る。そしてこれにより、測距点群データを生成する。
【0043】
(認識部220)
認識部220は、測定空間60内の物体を認識する。本実施形態では、例えば背景差分法を採用する。この背景差分法では、予め生成し、保存しておいた背景画像(基準画像ともいう)データを用いる。具体的には、測定の前準備(前処理)として、ユーザーの指示により、車両や動物等の移動物体が存在しない状態で、ライダー110からレーザースポット光を走査する。これにより背景対象物(静止物)から得られた反射光に基づいて、背景画像を得ることができる。実際の測定時においては、背景対象物の手前に行動解析の対象者である物体として例えば車両(物体81)が現れた場合、物体81からの反射光が新たに生じる。
【0044】
認識部220は、動体を認識する機能を有する。認識部220はメモリに保持している背景画像データと現時点での測距点群データとを比較して、差が生じた場合、車両等の何らかの動体(前景の物体)が測定空間60内に現れたことを認識できる。例えば、背景差分法を用いて、背景データと、現時点での測距点群データ(距離画像データ)とを比較することで、前景データを抽出する。そして抽出した前景データの画素(画素群)を、例えば画素の距離値に応じてクラスタに分ける。そして、各クラスタのサイズを算定する。例えば、垂直方向寸法、水平方向寸法、総面積等を算出する。なお、ここでいう「サイズ」は、実寸法であり、見た目上の大きさ(画角、すなわち画素の広がり)とは異なり、対象物までの距離に応じて画素群の塊が判断される。例えば、認識部220は算定したサイズが抽出対象の解析対象の動体を特定するための所定のサイズ閾値以下か否か判定する。サイズ閾値は、測定場所や行動解析対象等により任意に設定できる。車両、人を追跡して行動を解析するのであれば、車両、または人の大きさのそれぞれの最小値を、クラスタリングする場合のサイズ閾値とすればよい。逆にあらゆる動体を追跡するのであれば、サイズ閾値はこれらよりも小さな値としてもよい。また、このときに、その形状を構成する画素を細かく抽出してもよいが、物体全体を取り囲む1個の直方体、または数個(例えば2、3個)の直方体を合成した立体としてクラスタリングしてもよい。以下に説明する本実施形態においては、底面が地面(仮想的な地面、あるいはXZ平面)に平行な1個の直方体としてクラスタリングするものとする。
【0045】
(物体認識による物体の分離(誤認識))
次に判定部230の機能について説明をする前に、
図4A、
図4Bを参照して、物体の分離について説明する。
図4Aは、物体の向きに応じた測定点の離散状態を示す模式図である。
図4Bは、離散状態による物体認識への影響を示す模式図である。
【0046】
図4A(a)、(b)は、それぞれ上面視における物体の向きに応じた測定点の離散状態を示している。物体80はライダー110に対して
図4A(a)では正対しており、
図4(b)では、斜めを向いている。同図の矢印は、ライダー110から照射したレーザー光(送信波)を示している。
【0047】
図4B(a)、(b)は、それぞれ、
図4A(a)、(b)の状態でそれぞれ配置された物体80を、認識部220が認識した物体(検知物体ともいう)を示している。
図4B(a)では、認識が正しく、1つの物体80を1つの物体901として認識している。一方で
図4B(b)では、物体の面が、レーザー光の照射方向と平行に近い。そのため、物体表面において隣接する測定点間の距離値が離散する。このため、距離値に応じたクラスタリングによる認識が上手く機能せずに、実際には1つの物体80を、3つの物体902~904と認識してしまう(誤認識)。この誤認識により、分離した物体902~904の関連付けを、以下に説明する判定部230、および関連付け部240により行う。
【0048】
(判定部230)
判定部230は、認識部220が認識した物体(例えば物体901~904)のそれぞれについて、各時刻の位置情報を追跡することで、物体の移動軌跡を把握する。また、制御装置200のメモリに記憶している仮想平面70の位置情報を参照することで、この移動により、物体が仮想平面70を通過したか否かを判定する。また、判定部230は、仮想平面70を通過した時のそれぞれの物体の速度を算出する。この速度は、例えば、仮想平面70を通過する前後、または直前の数フレーム(例えば、数百msec期間)における移動距離から算出できる。なお、この速度は、進行方向を考慮しない速度であるが、仮想平面70に対する速度、すなわちZ方向成分の速度を算出し、これを用いるようにしてもよい。
【0049】
図5は、認識部220が、認識したある時点での物体901~904それぞれの位置情報の例である。それぞれの物体901~904は、所定周期(例えば0.1sec)で連続して取得されるフレームそれぞれにおいて、位置情報を判定し、その動きを追跡する。各物体901~904の位置情報としては、物体の3次元的な中心位置を用いてもよく、中心以外の外周面を用いてもよい。例えば物体の先端部、または後端部(後尾側)を用いてもよい。また、本実施形態のようにそれぞれの物体で異なる位置を用いてもよい。以下に説明する本実施形態においては、物体を1個の直方体としてクラスタリングした場合に、移動方向において、判定の対象となる複数のクラスタのうち、先頭のクラスタでは後端部を位置情報として用い、これと比較する先頭以外の他のクラスタでは先端部を位置情報として用いる。そしてこれらの位置により各判定(仮想平面70の通過等)を行う。このようにすることで、特に後述する第1の実施形態における第1判定条件(追加タイミング)においては、車間距離を加味した判定を行えるため、車両の長さ(車長)が長い場合に、判定時間を変更するといった処理が不要となるので車長による影響を少なくできる。
【0050】
(関連付け部240)
関連付け部240は、複数の物体のうち、2つの物体について、第1、第2、第3、第4、および/または第5判定条件を満足するかを判定し、満足する場合には、その2つの物体の関連付けを行う。関連付けとしては、各物体同士に関連付けを示すタグを付与してもよく、あるいは、関連付けた2つの物体を、統合し、以降は、1つの物体として後続の処理を行うようにしてもよい。
【0051】
各判定条件の詳細については後述するが、概略としては、以下のとおりである。
(i)第1判定条件では、2つの物体それぞれの仮想平面70の通過タイミングの差分時間が、所定閾値以下か否かを判定する。
(ii)第2判定条件では、2つの物体が仮想平面70を通過したときの位置の差分が所定閾値以下であるか否かを判定する。この位置としては、仮想平面70上における距離を用いてもよく、2つ物体のうち遅い方が仮想平面70を通過した時点での3次元的な距離を用いてもよい。
(iii)第3判定条件では、2つの物体それぞれが仮想平面70を通過したときの速度を算出し、その速度の差分が所定閾値以下であるか否かを判定する。
(iv)第4判定条件では、仮想平面70を通過した物体のサイズが所定の閾値以上であるか否かを判定する。このサイズは、体積、または画素数で判定してもよい。
(v)第5判定条件では、仮想平面70を通過するまでの物体それぞれの移動軌跡を比較し、移動軌跡の差分が所定条件を満たすか否かにより判定する。所定条件としては、移動軌跡を重ねた場合の各点での差分(間隔)の振れ幅が所定閾値以下に収まるか否か、あるいは比較する移動軌跡同士の各点が同じ相対位置関係を維持しているか否かにより判定できる。
【0052】
(報知出力部250)
報知出力部250は、道路を移動する物体への検知枠付与、種別判定、カウント、およびアラート判定を行い、これらの結果を発報部300に送る。
【0053】
報知出力部250は、発報部300に出力する測定空間60の状態を示す画像データを作成、この画像データ内の物体に対して検知枠を付与する。このときに、関連付け部240で関連付けた物体に対して1つの検知枠を付与する(後述の
図9参照)。
【0054】
報知出力部250は、関連付け部240で関連付けた物体を1つの物体として種別判定を行う。この種別判定は、例えば種類毎の特徴(サイズ、形状)が予め制御装置200のメモリに記憶されており、この特徴とマッチングすることにより行う。例えば、人、普通車車両、大型車両(トラック等)、および二輪車の種別を判定する。また、この種別判定アルゴリズは公知のアルゴリズムにより事前に機械学習するようにしてもよい。この機械学習は、膨大なデータを用いて、事前に他の高性能なコンピューターで実施し、パラメータを決定する。報知出力部250は、決定したパラメータを用いて、種別を判定する。
【0055】
また、報知出力部250は、道路を移動する物体のカウントを行う。このカウントは、例えば仮想平面70を通過する物体の種類別の通過数(台数)をカウントする。
【0056】
また、報知出力部250は、アラート判定を行う。例えば、検出部100の測定空間を監視領域に配置した場合に、許可されていない種類の車両の通過、接近を検知した場合には、アラートを出力する。
【0057】
(発報部300)
発報部300は、スピーカー310、および表示部320を含む。発報部300は、報知出力部250からアラートが受信された場合に、スピーカー310により警告音等の音声を出力する。
【0058】
また、発報部300は、報知出力部250から受信した測定空間60の状態を示す画像データを液晶ディスプレイで構成される表示部320に表示する。また、このときに、物体の種別情報や、所定期間内のカウントデータを表示するようにしてもよい。なお、以上においては、物体検出システム10が発報部300を含む例を説明したが、これに限られない。ネットワークに接続した外部の装置(例えばパーソナルコンピューター)に、表示用の画像データや、音声データを送信することにより、外部の装置を発報部として機能させるようにしてもよい。
【0059】
(第1の実施形態における報知処理)
図6~
図9を参照し、第1の実施形態に係る物体検出システム10で実行する物体検出処理について説明する。
図6、
図7は、第1の実施形態に係る物体検出システム10で行われる、物体検出処理を示すフローチャートである。
【0060】
(ステップS11)
図6に示すように、最初に、検出部100は、ライダー110により、測定空間60内の測定(走査)を行う。距離算出部210は、ライダー110により得られた受信信号のタイミングから、多数の各照射方向における、それぞれの距離情報を得る。そしてこれらにより、各画素(方向)における距離値の分布を表す測距点群データを生成し、出力する。これを所定周期(数十msec)で繰り返す。
【0061】
(ステップS12)
認識部220は、ステップS11で生成し、得られた測距点群データから物体の認識を行う。
【0062】
図8Aは、仮想平面70に向かって進む物体を示す模式図である。同図では、車道61上を仮想平面70に向かって進行する物体81(トラック車両)を俯瞰、すなわちY’方向視した状態を示している。また、紙面に対して上下方向がZ’方向、垂直な方向がY’方向である(
図8B、および後述の
図11~
図14Cにおいても同様)。
図8Bは、第1判定条件における関連付け処理を示す模式図であり、
図8Aの状態を測定することで得られた測距点群データから、ステップS12の処理で、認識した物体を示している。
図8B(a)から(d)は時系列順の図であり、
図8B(a)は、
図8Aの時点の認識部220による認識状態を示しており、同図では、1個の実際の物体81を2つの物体911、912(物体1、物体2)と認識している。
【0063】
(ステップS13)
判定部230は、ステップS12で認識した物体(動体)の追跡処理を行う。それぞれの物体の位置情報を時系列で追跡することで、物体の移動軌跡を把握する。
【0064】
(ステップS14)
判定部230は、物体911、912について、仮想平面70を通過したか否か、すなわち各物体911、912の後端が仮想平面70を越えたか否かの判定を行う。
図8B(b)の状態では、判定部230は判定対象となる複数の物体のうち、先頭の物体911が仮想平面70を通過した(後端が通過)と判定する。続く、
図8B(c)の状態では、判定部230は先頭以外の他の物体912も仮想平面を通過した(先端が通過)と判定する。
【0065】
(ステップS15)
ここでは、関連付け部240は、複数の物体のうち、2つの物体の関連付けを行う。
図7は、ステップS15のサブルーチンフローチャートである。
【0066】
(ステップS501)
図7に示すように、関連付け部240は、仮想平面70を通過した複数の物体のうち2つの物体を抽出する。
図8B(d)の状態では、物体911、922の2つの物体を抽出する。
【0067】
(ステップS502)
関連付け部240は、第1判定条件を満足するか否かを判定する。すなわち、2つの物体の仮想平面70の通過タイミングの差分時間が、所定閾値以下か否かを判定する。
図8Bの例では、
図8B(b)の物体911が仮想平面70を通過した通過タイミング(時刻t2)と、次の物体912が仮想平面70を通過した通過タイミング(時刻t3)の差分時間(t3-t2)が所定閾値以下か否かを判定する。
【0068】
この所定閾値は、測定空間60を設定した車道61において、想定される通過する車両の大きさ(全長)、および通行速度、ならびに車間距離により適宜設定される。例えば所定閾値は、連続して走行する車両が1つの物体として関連付けられないように、車間距離よりも短い距離に相当する時間となるように通行速度を考慮して設定される。この所定閾値は、予め設定されるものであるが、ユーザーが、適宜設定できるようにしてもよい。また、この所定閾値は、物体の移動速度に応じて、複数段階で、リアルタイムで設定するようにしてもよい。例えば、物体の移動速度が高速の場合には、この所定閾値を小さくし、低速の場合には大きくする。
【0069】
関連付け部240は、物体911と物体912の通過タイミングの差分時間が、所定閾値以下であれば(YES)、処理をステップS503に進め、所定閾値を超えれば(NO)、処理をステップS504に進める。
【0070】
(ステップS503)
関連付け部240は、第1判定条件を満たす物体911と物体912の関連付けを行う。例えば、
図8B(d)に示すように、関連付け部240は、物体911、912を関連付けすることにより統合し、以降は、1つの物体991として後続の処理を行う。このとき、物体991は、統合する前の直方体の物体911、および直方体の物体912の双方を包括するような直方体として統合する。
【0071】
(ステップS504)
ここでは、関連付け部240は、第1判定条件を満たさない2つの物体を関連付けしない。このとき、判定チェック済みであることを示すフラグを各物体に付与してもよい。以降は、サブルーチンフローチャートの処理を終了し、
図6のメインのフローチャートに戻る。
【0072】
(ステップS16)
仮想平面70を通過した全ての物体のチェック(判定処理)が終了していなければ(NO)、処理をステップS15に戻し、チェックしていない物体の判定処理を行う。一方で全ての物体のチェックが終了したならば(YES)、処理をステップS17に進める。
【0073】
(ステップS17)
報知出力部250は、出力する画像データ上において、物体に検知枠を付与する。ステップS15の処理で関連付けられた2つの物体については、1つの物体として1つの検知枠を物体の周辺、または近傍に付与する。例えば、認識した直方体の物体に外接するように検知枠を付与する。
【0074】
図9は、測距点群データに基づいて作成した画像データを、発報部300の表示部320に表示した表示画面の例である。同図においては、物体81~83を囲むように検知枠F1~F3を付与している。また物体81(物体991(
図8B(d)参照))に対しては、1つの検知枠F1を付与している。
【0075】
(ステップS18)
報知出力部250は、物体に対して、各種の制御処理を行う。この制御処理は、上述のように、道路を移動する物体の種類(普通車車両、大型車両、等)を判別し、判別した種類毎のカウントを行う。また、許可されていない物体の通過を検知した場合、または、警告対象の種類の物体の通過を検知した場合には、アラート判定を行ってもよい。これらの、制御処理による結果は、要求、または設定に応じて、発報部300に送信する。
【0076】
このように第1の実施形態においては、検出部100からの信号により生成した測距点群データに基づいて、測定空間内の物体を認識し、認識した複数の物体(検知物体)のそれぞれが、測定空間内に予め設定した仮想平面を通過したタイミングを算出するとともに、第1判定条件として、複数の物体のうち、2つの物体のタイミング間の差分時間が所定閾値以下であるか否かを判定し、第1判定条件を満たした2つ物体を関連付ける。これにより、物体の面が送信波の照射方向に平行に近い等により、1つの物体を、複数の物体として誤認識した場合であっても、第1判定条件を満たした2つの物体を関連付けることにより物体検出を適切に行うことができる。
【0077】
なお、以上の説明においては、2つの物体の関連付けについて説明したが、3つ以上の物体(検知物体)がある場合には、同様に、順次関連付けを行う。例えば、
図8Bの例において、物体911に対して、物体912以外に、第1判定条件を満たす他の物体がある場合には、その物体も物体911、または物体912に関連付ける。また、その場合、物体911、912と他の物体を1つの物体991として統合するようにしてもよい。
【0078】
(第2の実施形態)
以下、
図10から
図14Cを参照し、第2の実施形態に係る物体検出システム10で実行する物体検出処理について説明する。
図10は、第2の実施形態におけるステップS15のサブルーチンフローチャートである。
図11~
図14Cは、第2~第5判定条件それぞれにおける関連付け処理を示す模式図である。この第2の実施形態においては、
図10に示すステップS15の関連付け判定処理が異なる以外は、第1の実施形態と同一であり、その他の説明は省略する。
【0079】
(ステップS601)
ステップS501と同様に、関連付け部240は、仮想平面70を通過した複数の物体のうち2つの物体を抽出する。
【0080】
(ステップS602)
次に、関連付け部240は、第1判定条件を満足するか否かを判定する。すなわち、2つの物体の仮想平面70の通過タイミングの差分時間が、所定閾値以下か否かを判定する。この処理も、ステップS502と同様であり、説明を省略する。
【0081】
関連付け部240は、認識した2つの物体の通過タイミングの差分時間が、所定閾値以下であれば(YES)、処理をステップS603に進め、所定閾値を超えれば(NO)、処理をステップS605に進める。
【0082】
(ステップS603)
ここでは、関連付け部240は、第2~第5の判定条件のいずれかを満足するか否かを判定する。第2~第5判定条件については後述する。第2~第5判定条件のいずれかを満足した場合には、処理をステップS604に進める。一方で、全てを満足しない場合には、処理をステップS605に進める。
【0083】
(ステップS604)
関連付け部240は、第1判定条件、および第2~第5判定条件の少なくとも1つを満たす2つの物体の関連付けを行う。以降は、関連付けた2つの物体は、1つの物体として後続の処理を行う。
【0084】
(ステップS605)
ここでは、関連付け部240は、第1判定条件を満たさない2つの物体、または、第1判定条件を満たすが、第2~第5判定条件の全てを満たさない2つの物体を関連付けしない。このとき、判定チェック済みであることを示すフラグを付与してもよい。以降は、サブルーチンフローチャートの処理を終了し、
図6のメインのフローチャートに戻る。
【0085】
(第2~第5判定条件)
ここで、第2~第5の判定条件そのそれぞれについて
図11~
図14Cを参照し、具体的に説明する。
【0086】
(第2判定条件(通過位置の差分))
第2判定条件では、2つの物体が仮想平面70を通過したときの位置の差分が所定閾値以下であるか否かを判定する。
図11は、第2判定条件における関連付け処理を示す模式図である。同図は、並走する2つの物体81、84(トラック車両)が、仮想平面70を通過している状態を示している。物体921~923は、ステップS12、S13で認識部220、および判定部230それぞれが、認識し、追跡している検知物体である。
図11に示す状態では、判定部239は、ステップS14で、物体921~923の全てが仮想平面70を通過したと判定している。そして、物体921~923は全て、ほぼ、同じタイミングで仮想平面70を通過しているため、相互に第1判定条件を満足している(ステップS602:YES)。
【0087】
関連付け部240は、第2判定条件として、物体921~923に対して、このうちの2つの物体が仮想平面70を通過したときの位置の差分が所定閾値Xd以下であるか否かをそれぞれ判定する。この位置の差分は、例えば、
図11(a)に示すようにX’方向の距離により行っている。同図に示すように物体921と物体922との距離(隙間)はx1であり、物体922と物体923との距離はx2であり、物体921と物体923との距離はx3である。距離x2は所定閾値Xd以下であることから、物体922と物体923とは、第2判定条件を満たす。一方で、物体921の物体922、923それぞれとの組み合わせでは所定閾値Xdを超えるので第2判定条件を満たさない。
図11(b)に示すように、関連付け部240は、第1、第2判定条件の両方を満たす、2つの物体922、923を関連付けすることにより統合し、以降は、1つの物体992として後続の処理を行う。
【0088】
この所定閾値Xdは、並走する車両間の車間距離、および通行する車両の大きさ(全幅)を考慮して予め設定されるものであるが、ユーザーが、適宜設定できるようにしてもよい。
【0089】
(第3判定条件(通過速度の差分))
第3判定条件では、2つの物体それぞれが仮想平面70を通過したときの速度を算出し、その速度の差分が所定閾値以下であるか否かを判定する。
図12Aは、仮想平面70に向かって進む物体を示す模式図である。
図12Bは、第3判定条件における関連付け処理を示す模式図であり、
図12Aの状態を測定することで得られた測距点群データから、ステップS12の処理で、認識した物体を示している。同図は、物体81(トラック車両)、および物体83(歩行者)が、仮想平面70を通過する状態を示している。物体931~934は、ステップS12、S13で認識部220、および判定部230それぞれが、認識し、追跡している検知物体である。
図12B(a)に示す状態では、判定部239は、ステップS14で、物体931、932が仮想平面70を通過したと判定している。判定部239は、
図12B(b)では、残りの物体933、934が仮想平面を通過したと判定している。これらの物体931~934は全て、通過タイミングの差分が所定閾値以下の範囲内で仮想平面70を通過しているため、相互に第1判定条件を満足している(ステップS602:YES)。
【0090】
関連付け部240は、第3判定条件として、物体931~934に対して、このうちの2つの物体が仮想平面70を通過したときの速度の差分が所定閾値Vd以下であるか否かをそれぞれ判定する。この速度は、判定部230により算出されたものであり、
図12Bに示す例では、物体931~934の速度は、それぞれ速度v1~v4である。この速度は方向に依存しない速度であるが、Z‘方向成分の速度を用いてもよい。速度v1~v3は、互いの差分が所定閾値Vd以下であることから、物体931~933は相互に第3判定条件を満たす。一方で、物体934は、他の物体931~933との組み合わせでは差分が所定閾値Vdを超えるので、物体934と他の物体931~933のいずれかとの組み合わせでは第3判定条件を満たさない。
図12B(c)に示すように関連付け部240は、第1、第3判定条件の両方を満たす、複数の物体931、932、933を関連付けすることにより統合し、以降は、1つの物体993として後続の処理を行う。
【0091】
この所定閾値Vdは、通行する各種類の物体それぞれの平均速度を考慮して予め設定されるものであるが、ユーザーが、適宜設定できるようにしてもよい。
【0092】
(第4判定条件(物体サイズ))
第4判定条件では、仮想平面70を通過した物体のサイズが所定の閾値以上であるか否かを判定する。
図13は、第4判定条件における関連付け処理を示す模式図である。同図は、物体81(トラック車両)、および物体83(歩行者)が、仮想平面70を通過する状態を示している。物体941~944は、ステップS12、S13で認識部220、および判定部230それぞれが、認識し、追跡している検知物体である。
図13(a)に示す状態では、判定部230は、ステップS14で、物体941、942が仮想平面70を通過したと判定している。判定部230は、
図13(b)では、残りの物体943、944が仮想平面を通過したと判定している。これらの物体941~944は全て、通過タイミングの差分が所定閾値以下の範囲内で仮想平面70を通過しているため、相互に第1判定条件を満足している(ステップS602:YES)。
【0093】
関連付け部240は、第4判定条件として、物体941~944に対して、それぞれの物体サイズを所定閾値と比較する。この物体サイズは体積であり、1個の直方体としてクラスタリングされ、認識された物体941~944のそれぞれの体積(直方体の体積)を、所定閾値以上か否かを判定する。
【0094】
図13に示す例では、物体941~943の体積は所定閾値以上であり、物体83(歩行者)に対応する物体944の体積は所定閾値未満である。
図13(c)に示しように、関連付け部240は、第1、第4判定条件の両方を満たす、物体941~943を相互に関連付けすることにより統合し、以降は、1つの物体994として後続の処理を行う。
【0095】
(第5判定条件(移動軌跡))
第5判定条件では、仮想平面70を通過するまでの物体それぞれの移動軌跡を比較し、移動軌跡の差分が所定条件を満たすか否かにより判定する。
図14Aは、仮想平面70に向かって進む物体を示す模式図である。
図14B、
図14Cは、第5判定条件における関連付け処理を示す模式図である。これらの図は、物体81、84(トラック車両)が、仮想平面70を通過する状態を示しており、同図においては、物体81は、仮想平面70を越える前に、左折を行っていた。
【0096】
物体951~953は、ステップS12、S13で認識部220、および判定部230それぞれが、認識し、追跡している検知物体である。
図14Bに示す状態では、判定部239は、ステップS14で、物体951~953が仮想平面70を通過したと判定している。これらの物体951~953は全て、通過タイミングの差分が所定閾値以下の範囲内で仮想平面70を通過しているため、相互に第1判定条件を満足している(ステップS602:YES)。
【0097】
関連付け部240は、第5判定条件として物体951~953に対して、このうちの2つの物体が仮想平面70を通過するまでの移動軌跡の差分が所定条件を満たすか否かをそれぞれ判定する。この移動軌跡は、判定部230により算出されたものであり、
図14Bには、物体951~953それぞれの移動軌跡961~963を示している。関連付け部240は、所定条件としては、移動軌跡を重ねた場合の各点での差分(間隔)の振れ幅が所定閾値以下に収まるか否か、あるいは比較する移動軌跡同士の各点が同じ相対位置関係を維持しているか否かにより判定できる。
【0098】
移動軌跡962と移動軌跡963は、移動軌跡同士が類似し、差分が所定条件を満たすので、第5判定条件を満たす。一方で、移動軌跡961は、他の移動軌跡962、963との組み合わせでは差分が所定条件を満たさないので第5判定条件を満たさない。
図14Cに示すように、関連付け部240は、第1、第5判定条件の両方を満たす、物体952、953を関連付けすることにより統合し、以降は、1つの物体995として後続の処理を行う。
【0099】
このように、第2の実施形態においては、検出部100からの信号により生成した測距点群データに基づいて、測定空間内の物体を認識し、認識した複数の物体(検知物体)のそれぞれが、測定空間内に予め設定した仮想平面を通過したタイミングを算出するとともに、第1判定条件として、複数の物体のうち、2つの物体のタイミング間の差分時間が所定閾値以下であるか否かを判定し、第1判定条件を満たす場合に、さらに、第2~第5判定条件のいずれかを満たすか否かを判定し、いずれかの判定条件を満たす場合に、2つ物体を関連付ける。これにより第1の実施形態と同様の効果が得られるとともに、第1判定条件のみにより判定することにより、本来は2つの物体であるのに、1つの物体として誤認識してしまうことを防止できる。すなわち、第2の実施形態によれば、物体検出をより適切に行うことができる。
【0100】
(第2の実施形態の変形例)
第2の実施形態においては、関連付け部240は、第2~第5判定条件の全てについて判定したが、これに限られず、少なくとも1つについて判定するようにしてもよい。
【0101】
また、第1判定条件を満たした2つの物体に対して、その後に、第2~第5判定条件の全てについて判定し、いずれかを満たす場合には、2つの物体の関連付けを行った。これに限られず、第1判定条件から第5判定条件の少なくとも2つ以上について判定し、その全ての満たす場合に2つの物体を関連付けるようにしてもよい。このようにすることで、関連付ける条件がより厳しくなり、2つの物体を1つの物体として誤認識してしまうことを、より精度よく防止できる。
【0102】
(第3の実施形態)
以下、
図15を参照し、第3の実施形態に係る物体検出システム10で実行する物体検出処理について説明する。
図15は、第3の実施形態におけるステップS15のサブルーチンフローチャートである。第3の実施形態においては、
図15に示すステップS15の関連付け判定処理が異なる以外は、第1、第2の実施形態と同一であり、その他の説明は省略する。
【0103】
(ステップS701)
ステップS501と同様に、関連付け部240は、仮想平面70を通過した複数の物体のうち2つの物体を抽出する。
【0104】
(ステップS702)
関連付け部240は、第1判定条件を満足するか否かを判定する。すなわち、2つの物体の仮想平面70の通過タイミングの差分時間が、所定閾値以下か否かを判定する。この処理も、ステップS502と同様であり、説明を省略する。
【0105】
関連付け部240は、認識した2つの物体の通過タイミングの差分時間が、所定閾値以下であれば(YES)、処理をステップS703に進め、所定閾値を超えれば(NO)、処理をステップS713に進める。
【0106】
(ステップS703~S710)
関連付け部240は、ステップS703、S705、S707、S709でそれぞれ第2~第5判定条件について判定し、判定条件を満たす場合には、ステップS704、S706、S708、S710でそれぞれに対応する判定フラグをONにする。この第2~第5判定条件は、第2の実施形態で説明したとおりであり、説明を省略する。
【0107】
(ステップS711)
関連付け部240は、第2~第5判定条件の判定結果により、現時点のフラグ状態が所定条件を満たすか否かを判定する。例えば、第2、第3判定条件は優先度「高」に設定し、第4、第5判定条件は優先度「低」に設定し、優先度「高」のフラグは全てONで、かつ優先度「低」はいずれかのフラグがONの場合にステップS711の所定条件を満たすと判定する。所定条件を満たす場合(YES)には、処理をステップS712に進め、満たさない場合(NO)には処理をステップS713に進める。
【0108】
別の例としては、第2、第3判定条件の重み付け係数を「2.0」、第3、第4判定条件の重み付け係数を「1.0」にし、各フラグONの基本点を1点とし、これに重み付け係数を乗じた合計点数が所定閾値以上の場合には、所定条件を満たすと判定する。例えば、所定閾値を2点とし、第2判定条件のみを満たす場合には合計2点となり、第4、第5判定条件の2つのみを満たす場合にも合計2点となり、このいずれかの場合は、ステップS711の所定条件を満たすと判定する。各判定条件間の優先度、または各判定条件それぞれの重み付け係数については、予め設定されたものであるが、ユーザーが適宜設定できるようにしてもよい。
【0109】
(ステップS712、S713)
関連付け部240は、ステップS712、S713でそれぞれステップS604、S605と同様の処理を行う。以降は、サブルーチンフローチャートの処理を終了し、
図6のメインのフローチャートに戻る。
【0110】
このように第3の実施形態においては、第2から第5の判定条件に関する判定結果、および、予め設定した、第2から第5判定条件の優先度、または重み付け係数を用いて、2つの物体を関連付ける。これにより、第2の実施形態と同様の効果が得られる。
【0111】
(第4の実施形態)
以下、
図16を参照し、第4の実施形態に係る物体検出システム10で実行する物体検出処理について説明する。
図16は、第4の実施形態におけるステップS15のサブルーチンフローチャートである。第4の実施形態においては、
図15に示すステップS15の関連付け判定処理が異なる以外は、第1、第2の実施形態と同一であり、その他の説明は省略する。
【0112】
(ステップS801)
ステップS701と同様である。関連付け部240は、仮想平面70を通過した複数の物体のうち2つの物体を抽出する。
【0113】
(ステップS802)
関連付け部240は、第1判定条件を満足するか否かを判定する。すなわち、2つの物体の仮想平面70の通過タイミングの差分時間が、所定閾値以下か否かを判定する。この処理も、ステップS502と同様であり、説明を省略する。
【0114】
関連付け部240は、認識した2つの物体の通過タイミングの差分時間が、所定閾値以下であれば(YES)、処理をステップS820に進め、所定閾値を超えれば(NO)、処理をステップS803に進める。
【0115】
(ステップS820)
関連付け部240は、第1判定条件のフラグをONする。
【0116】
(ステップS803~S810)
関連付け部240は、ステップS703~S710と同様の処理を行う。第2~第5判定条件について判定し、それぞれの判定結果に応じて、各フラグのON/OFFを行う。
【0117】
(ステップS811)
関連付け部240は、ステップS711と同様の処理を行う。ここでは第1判定条件のフラグも含め、第1~第5判定条件の判定結果により、現時点のフラグ状態が所定条件を満たすか否かを判定する。所定条件を満たす場合(YES)には、処理をステップS812に進め、満たさない場合(NO)には処理をステップS713に進める。この判定条件は、第3の実施形態と同様であり、説明を省略する。
【0118】
(ステップS812、S813)
関連付け部240は、ステップS812、S813でそれぞれステップS712、S713と同様の処理を行う。以降は、サブルーチンフローチャートの処理を終了し、
図6のメインのフローチャートに戻る。
【0119】
このように第4の実施形態においては、第1から第5の判定条件に関する判定結果、および、予め設定した、第1から第5判定条件の優先度、または重み付け係数を用いて、2つの物体を関連付ける。これにより、第2、3の実施形態と同様の効果が得られる。
【0120】
(ライダー110の利点)
ここで、ライダー110等の測距点群データを取得する検出部100を用いる利点について説明する。
図17は、2次元カメラにより認識した物体における仮想平面70の通過判定を説明する模式図である。
図17は、
図2と対応し、同じ車道61上を2次元カメラ65により撮影するように配置させた状態を示しており、横方向(X’方向)から視た図である。
図17において、2次元カメラ65は、車道61、および仮想平面70に向けて斜め下方向を撮影する。そして2次元カメラ65により得られた画像を画像認識することにより仮想平面70の通過判定をする場合を想定する。
【0121】
図17に示すように、物体81(トラック車両)の車高は、物体82(普通車車両)の車高よりも高い。2次元カメラ65により得られた画像を用いた物体認識により仮想平面70の通過を判断する場合には、以下に説明するように車高の影響がある。
【0122】
物体81、82で、仮想平面70の通過開始の判定は、前面側の下端(地面側)で行えるので、車高の影響はない。一方で、仮想平面70の通過終了の判定には車高が影響する。
【0123】
図17(b)は、物体81の仮想平面70の通過開始を判定するタイミングである。
図17(c)では、物体81は、実際には、仮想平面70を通過しているが、2次元の画像データからは、その判定を行うことができず、その後に、
図17(d)の状態になってから、初めて物体81の仮想平面70の通過終了を判定できる。
図17(e)には、車高が低い物体82の通過終了を判定したタイミングを示している。
図17(d)を
図17(e)と比較することで明らかなように、車高が低い物体82よりも高い物体83の方がより遅いタイミングで仮想平面70の通過終了を判定している。このように、2次元の画像データを用いた物体認識により、物体の通過を判定する場合には、判定する物体のサイズ(車高)により、通過判定に誤差が生じる。このような物体のサイズによる影響を少なくするためには、真下に向けてカメラを配置し、得られた俯瞰画像により画像認識する必要があり、カメラの配置位置が限定される。一方で、本実施形態のようにライダー110からの3次元の測距点群データを用いた物体認識により、物体の通過を判定する場合には、そのような配置位置に関する制約はない。すなわち、本実施形態では、3次元のデータにより判定するので、
図17(c)の状態で、車高等の形状に依存せずに認識した物体が、仮想平面70を通過し終わったことを正しく判定できる。
【0124】
以上に説明した物体検出システム10の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な物体検出システム10が備える構成を排除するものではない。
【0125】
例えば、上述の実施例では、3つ以上の物体を認識し、これらの関連付けの判定を第1判定条件等により行う場合に、1つの物体と複数の他の物体と順に判定していた。この判定処理を行う場合に、2つの関連付けした物体を1つの統合した物体と判定し、以降の関連付けの判定を行うようにしてもよい。例えば、
図12Bの例においては、物体931、932の関連付けを判断した場合には、以降の処理では、これらを1つの統合した物体として、残りの物体933と関連付けの判定を行う。
【0126】
上述した実施形態に係る物体検出システム10における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、USBメモリやDVD(Digital Versatile Disc)-ROM等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、装置の一機能としてその装置のソフトウエアに組み込まれてもよい。
【0127】
本出願は2018年9月12日に出願された日本特許出願(特願2018-170831号)に基づいており、その開示内容は、参照され、全体として組み入れられている。
【符号の説明】
【0128】
10 物体検出システム
100 検出部
110 ライダー
200 制御装置
210 距離算出部
220 認識部
230 判定部
240 関連付け部
250 報知出力部
300 発報部
310 スピーカー
320 表示部
60 測定空間
70 仮想平面