(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024101207
(43)【公開日】2024-07-29
(54)【発明の名称】物体判定装置
(51)【国際特許分類】
B60W 30/08 20120101AFI20240722BHJP
【FI】
B60W30/08
【審査請求】未請求
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2023005045
(22)【出願日】2023-01-17
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100147555
【弁理士】
【氏名又は名称】伊藤 公一
(74)【代理人】
【識別番号】100123593
【弁理士】
【氏名又は名称】関根 宣夫
(74)【代理人】
【識別番号】100133835
【弁理士】
【氏名又は名称】河野 努
(74)【代理人】
【識別番号】100135976
【弁理士】
【氏名又は名称】宮本 哲夫
(72)【発明者】
【氏名】川島 渉
【テーマコード(参考)】
3D241
【Fターム(参考)】
3D241BA31
3D241CE05
3D241DC01Z
3D241DC28Z
3D241DC33Z
(57)【要約】
【課題】車両の前方に検出された物体が車両の走行に影響を与えるものであるか否かを正確に判定できる物体判定装置を提供する。
【解決手段】物体判定装置は、自車両の前方に基準速度以下の速度を有する物体が検出された場合、物体が検出された時点よりも前の自車両の前方の環境情報に基づいて、物体の上を通過したと推定される他車両の有無を判定する第1判定部と、他車両が有ると判定された場合、体が検出された時点よりも前の所定の期間の環境情報に基づいて、他車両が、車体と道路との間の距離が狭い第1車両であるか、又は、車体と道路との間の距離が第1車両よりも広い第2車両であるかを判定する第2判定部と、他車両が第1車両であると判定された場合、物体は自車両の走行に影響を与えないと判定し、物体の速度が基準速度よりも速いか又は他車両が無いか又は他車両が第2車両であるか場合、物体は自車両の走行に影響を与えると判定する第3判定部とを有する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
自車両の前方に所定の基準速度以下の速度を有する物体が検出された場合、物体が検出された時点よりも前の自車両の前方の環境を表す環境情報に基づいて、物体の上を通過したと推定される他車両の有無を判定する第1判定部と、
第1判定部によって他車両が有ると判定された場合、物体が検出された時点よりも前の所定の期間の環境情報に基づいて、他車両が、車体と道路との間の距離が狭い第1車両であるか、又は、車体と道路との間の距離が第1車両よりも広い第2車両であるかを判定する第2判定部と、
第2判定部によって他車両が第1車両であると判定された場合、物体は自車両の走行に影響を与えないと判定し、物体の速度が基準速度よりも速いか又は他車両が無いか又は他車両が第2車両であるか場合、物体は自車両の走行に影響を与えると判定する第3判定部と、
を有する、ことを特徴とする物体判定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、物体判定装置に関する。
【背景技術】
【0002】
車両に搭載される自動制御システムは、車両の現在位置と、車両の目的位置と、地図情報とに基づいて、車両の走行ルートを生成し、車両をこの走行ルートに沿って走行するように制御する。
【0003】
車両の自動制御システムは、カメラ等のセンサを用いて、走行中に車両の前方の物体を検出する。車両の前方に静止している物体が検出された場合、この物体が、マンホール、水たまり又はビニール袋であれば、車両の走行に影響を与える障害物ではない。一方、この物体が、タイヤ又は材木であれば、障害物である。
【0004】
障害物であると判定された場合、車両の自動制御システムは、障害物を回避するように車両を走行させる(例えば、特許文献1参照)。一方、障害物を回避可能でない場合、自動制御システムは、車両を停車させて、車両が障害物と接触することを防ぐ。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
自動制御システムは、車両の前方の物体がマンホール、水たまり又はビニール袋である場合、カメラ等のセンサの出力情報に基づいて、物体がマンホール、水たまり又はビニール袋であることを正確に判定することは困難な場合がある。そのため、自動制御システムは、障害物ではない物体を、誤って障害物であると判定するおそれがある。
【0007】
車両の走行に影響を与えないマンホール、水たまり又はビニール袋等を、障害物と誤判定した場合、自動制御システムは、障害物を回避するか、又は、車両を停車させて、車両が障害物と接触することを防ぐので、車両の走行を妨げるおそれがある。
【0008】
そこで、本開示は、車両の前方に検出された物体が車両の走行に影響を与えるものであるか否かを正確に判定できる物体判定装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
一の実施形態によれば、物体判定装置が提供される。この物体判定装置は、自車両の前方に所定の基準速度以下の速度を有する物体が検出された場合、物体が検出された時点よりも前の車両の前方の環境を表す環境情報に基づいて、物体の上を通過したと推定される他車両の有無を判定する第1判定部と、第1判定部によって他車両が有ると判定された場合、物体が検出された時点よりも前の所定の期間の環境情報に基づいて、他車両が、車体と道路との間の距離が狭い第1車両であるか、又は、車体と道路との間の距離が第1車両よりも広い第2車両であるかを判定する第2判定部と、第2判定部によって他車両が第1車両であると判定された場合、物体は自車両の走行に影響を与えないと判定し、物体の速度が基準速度よりも速いか又は他車両が無いか又は他車両が第2車両であるか場合、物体は自車両の走行に影響を与えると判定する第3判定部と、を有する、ことを特徴とする。
【発明の効果】
【0010】
本開示に係る物体判定装置は、車両の前方に検出された物体が、車両の走行に影響を与えるものであるか否かを正確に判定できる。
【図面の簡単な説明】
【0011】
【
図1】本実施形態の物体検出装置の動作の概要を説明する図(その1)である。
【
図2】本実施形態の物体検出装置の動作の概要を説明する図(その2)である。
【
図3】本実施形態の物体検出装置が実装される車両の概略構成図である。
【
図4】本実施形態の物体検出装置の物体判定処理に関する動作フローチャートの一例である。
【発明を実施するための形態】
【0012】
図1及び
図2は、本実施形態の物体検出装置11の動作の概要を説明する図。以下、
図1及び
図2を参照しながら、本明細書に開示する物体検出装置11の物体判定処理に関する動作の概要を説明する。物体検出装置11は、物体判定装置の一例である。
【0013】
車両10は、道路50を走行している。車両10は、カメラ2、物体検出装置11及び自動制御装置12を有する。物体検出装置11は、カメラ2を用いて、車両10の前方の物体を検出する。自動制御装置12は、物体検出装置11により検出された物体に関する物体検出情報に基づいて、車両10を運転する。車両10は、例えば、自動運転車両である。
【0014】
図1に示す例では、物体検出装置11は、車両10の前方の環境を表すカメラ画像等の環境情報に基づいて、車両10の前方の物体40を検出する。物体検出装置11は、環境情報に基づいて、物体40の速度を検出する。
【0015】
物体40の速度が所定の基準速度以下(例えば、5km/時)であるので、物体検出装置11は、物体40を検出した時点よりも前の環境情報に基づいて、物体40の上を通過したと推定される他車両の有無を判定する。物体40の速度が基準速度以下である場合、物体40は、マンホール、水たまり又はビニール袋等の静止物体であると推定される。
【0016】
図1に示す例では、物体検出装置11は、物体40を検出した時点よりも前のカメラ画像70等の環境情報に基づいて、物体40の上を通過したと推定される他の車両60があると判定する。
【0017】
そして、物体検出装置11は、物体40の上を通過したと推定される車両60は、車体と道路との間の距離が狭い第1車両であると判定する。第1車両は、地上高の低い車両を示す。地上高の低い車両60が、物体40の上を通過しているので、物体40は、マンホール、水たまり又はビニール袋等の車両10の走行に影響を与えない物体であると推定される。
【0018】
そこで、物体検出装置11は、物体40は車両10の走行に影響を与えないと判定する。物体検出装置11は、物体40に関する物体検出情報を、自動制御装置12に通知しない。自動制御装置12は、物体40を考慮することなく、道路50を直進するように車両10を運転する。
【0019】
図2に示す例でも、物体検出装置11は、物体検出装置11は、車両10の前方の環境を表すカメラ画像等の環境情報に基づいて、車両10の前方の物体41を検出する。物体検出装置11は、環境情報に基づいて、物体41の速度を検出する。
【0020】
物体41の速度は基準速度以下なので、物体検出装置11は、物体41を検出した時点よりも前の環境情報に基づいて、物体41の上を通過したと推定される他車両の有無を判定する。
【0021】
図2に示す例では、物体検出装置11は、物体41を検出した時点よりも前のカメラ画像70等の環境情報に基づいて、物体41の上を通過したと推定される他の車両61があると判定する。
【0022】
そして、物体検出装置11は、物体41上を通過したと推定される車両61は、車体と道路との間の距離が第1車両よりも広い第2車両であると判定する。第2車両は、第1車両よりも地上高の高い車両を示す。地上高の高い車両61が、物体41の上を通過しているので、物体41は、車両10の走行に影響を与える障害物の可能性がある。
【0023】
そこで、物体検出装置11は、物体41は車両10の走行に影響を与えると判定する。物体検出装置11は、物体41に関する物体検出情報を、自動制御装置12に通知する。自動制御装置12は、物体41を考慮して、車両10を運転する。
【0024】
また、物体検出装置11は、物体41の速度が基準速度よりも速いか又は他車両が無い場合にも、物体検出装置11は、物体41は車両10の走行に影響を与えると判定する。物体41の速度が基準速度よりも速い場合には、物体41は、自転車等の移動物体(移動物体は、障害物の一例である)である可能性がある。また、他車両が無い場合には、物体41について、他車両の走行に影響えるか否かの情報がないので、物体41は車両10の走行に影響を与える障害物である可能性がある。
【0025】
以上詳述したように、物体検出装置11は、物体40、41の上を通過したと推定される他の車両60、61に基づいて、車両10の前方に検出された物体40、41が車両10の走行に影響を与えるものであるか否かを正確に判定できる。
【0026】
図3は、物体検出装置11が実装される車両10の概略構成図である。車両10は、カメラ2と、LiDARセンサ3と、物体検出装置11と、自動制御装置12等とを有する。更に、車両10は、レーダセンサといった、車両10の周囲の物体までの距離等を測定するための他の測距センサ(図示せず)を有してもよい。
【0027】
カメラ2と、LiDARセンサ3と、物体検出装置11と、自動制御装置12とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク13を介して通信可能に接続される。
【0028】
カメラ2は、車両10の前方を向くように、車両10に取り付けられる。カメラ2は、例えば所定の周期で、車両10の前方の所定の領域の環境が表されたカメラ画像を撮影する。カメラ画像には、車両10の前方の所定の領域内に含まれる道路と、その路面上の車線区画線等の道路特徴物が表わされ得る。カメラ2により撮影されるカメラ画像には、車両10の前方に位置する他車両が表され得る。カメラ2は、CCDあるいはC-MOS等、可視光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上に撮影対象となる領域の像を結像する撮像光学系を有する。カメラ画像は、車両10の前方の環境を表す環境情報の一例である。
【0029】
カメラ2は、カメラ画像を撮影する度に、カメラ画像及びカメラ画像が撮影されたカメラ画像撮影時刻を、車内ネットワーク13を介して、物体検出装置11等へ出力する。カメラ画像は、物体検出装置11において、車両10の周囲の物体を検出する処理に使用される。
【0030】
LiDARセンサ3は、車両10の前方を向くように、例えば、車両10の外面に取り付けられる。LiDARセンサ3は、所定の周期で設定される反射波情報取得時刻において、車両10の前方に向けてパルス状のレーザを走査するように発射して、反射物により反射された反射波を受信する。反射波が戻ってくるのに要する時間は、レーザが照射された方向に位置する物体と車両10との間の距離情報を有する。LiDARセンサ3は、レーザの照射方向及び反射波が戻ってくるのに要する時間を含む反射波情報を、レーザを発射した反射波情報取得時刻と共に、車内ネットワーク13を介して物体検出装置11へ出力する。反射波情報は、物体検出装置11において、車両10の周囲の物体を検出する処理に使用される。反射波情報は、車両10の前方の環境を表す環境情報の一例である。
【0031】
物体検出装置11は、検出処理と、判定処理とを実行する。そのために、物体検出装置11は、通信インターフェース(IF)21と、メモリ22と、プロセッサ23とを有する。通信インターフェース21と、メモリ22と、プロセッサ23とは、信号線24を介して接続されている。通信インターフェース21は、物体検出装置11を車内ネットワーク13に接続するためのインターフェース回路を有する。
【0032】
メモリ22は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ22は、プロセッサ23により実行される情報処理において使用されるアプリケーションのコンピュータプログラム及び各種のデータを記憶する。
【0033】
物体検出装置11が有する機能の全て又は一部は、例えば、プロセッサ23上で動作するコンピュータプログラムにより実現される機能モジュールである。プロセッサ23は、検出部231と、判定部232とを有する。検出部231は、カメラ画像又は/及び反射波情報に基づいて、車両10の前方の物体を検出し、この物体に関する情報を含む物体検出情報を、車内ネットワーク13を介して自動制御装置12へ出力する。あるいは、プロセッサ23が有する機能モジュールは、プロセッサ23に設けられる、専用の演算回路であってもよい。プロセッサ23は、1個又は複数個のCPU(Central Processing Unit)及びその周辺回路を有する。プロセッサ23は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路を更に有していてもよい。物体検出装置11は、例えば、電子制御装置(Electronic Contorol Unit:ECU)である。物体検出装置11の動作の詳細については、後述する。
【0034】
自動制御装置12は、車両10の走行を含む動作を制御する。自動制御装置12は、物体検出装置11から出力される物体検出情報等に基づいて、操舵、駆動、制動等の動作を制御する運転計画を生成する。自動制御装置12は、この運転計画に基づいた自動制御信号を、車内ネットワーク13を介して、操舵輪を制御するアクチュエータ(図示せず)、駆動装置(図示せず)又はブレーキ(図示せず)へ出力する。
【0035】
図3では、物体検出装置11と、自動制御装置12とは、別々の装置として説明されているが、これらの装置の全て又は一部は、一つの装置として構成されていてもよい。
【0036】
図4は、本実施形態の物体検出装置11の物体判定処理に関する動作フローチャートの一例である。以下、
図4を参照しながら、物体検出装置11の物体判定処理について説明する。物体検出装置11は、所定の周期を有する物体判定時刻に、
図4に示される動作フローチャートに従って物体判定処理を実行する。
【0037】
検出部231は、カメラ画像及び反射波情報に基づいて、車両10の前方に物体が検出されたか否かを判定する(ステップS101)。
【0038】
検出部231は、カメラ2が撮影したカメラ画像に基づいて、車両10から所定の範囲内に位置する車両10の前方の物体及びその種類を検出する。この物体には、車両10の周囲を走行する他車両が含まれる。検出部231は、例えば、カメラ画像を入力することで画像に表された物体を検出する識別器を有する。識別器として、例えば、入力された画像から、その画像に表された物体を検出するように予め学習されたディープニューラルネットワーク(DNN)を用いることができる。この識別器は、荷台を有する車両を識別するように予め学習していることが好ましい。また、この識別器は、トラックを識別するように予め学習していることが好ましい。検出部231は、DNN以外の識別器を用いてもよい。例えば、検出部231は、識別器として、カメラ画像上に設定されるウィンドウから算出される特徴量(例えば、Histograms of Oriented Gradients, HOG)を入力として、そのウィンドウに検出対象となる物体が表される確信度を出力するように予め学習されたサポートベクトルマシン(SVM)を用いてもよい。あるいはまた、検出部231は、検出対象となる物体が表されたテンプレートと画像との間でテンプレートマッチングを行うことで、物体領域を検出してもよい。
【0039】
また、検出部231は、LiDARセンサ3が出力する反射波情報に基づいて、車両10の前方の物体を検出する。検出部231は、カメラ画像内の物体の位置に基づいて、車両10に対する物体の方位を求め、この方位と、LiDARセンサ3が出力する反射波情報とに基づいて、この物体と車両10との間の距離を求める。検出部231は、車両10の現在位置と、車両10に対する他の物体までの距離及び方位に基づいて、例えば世界座標系で表された、他の物体の位置を推定する。車両10の前方に物体が検出されない場合(ステップS101-No)、一連の処理は終了する。
【0040】
一方、車両10の前方に物体が検出された場合(ステップS101-Yes)、検出部231は、物体の速度を検出する(ステップS102)。ここで、検出部231は、物体の種類に関わらず、物体の速度を検出する。
【0041】
検出部231は、オプティカルフローに基づく追跡処理に従って、最新のカメラ画像から検出された物体を過去の画像から検出された物体と対応付けることで、最新の画像から検出された物体を追跡する。そして、検出部231は、過去の画像から最新の画像における物体の世界座標系で表された位置に基づいて、追跡中の他の物体の軌跡を求める。検出部231は、時間経過に伴う他の物体の位置の変化に基づいて、車両10に対するその物体の速度を推定する。検出部231は、推定された車両10に対する物体の速度と、車両10の速度とに基づいて、地上に対する物体の速度を求める。更に、検出部231は、地図情報に表された車線区画線と、物体の位置とに基づいて、物体が走行している走行車線を特定する。例えば、検出部231は、物体の水平方向の中心位置を挟むように位置する互いに隣接する二つの車線区画線で特定される車線を物体が走行していると判定する。検出部231は、検出された物体の種類を示す情報と、その位置を示す情報、速度、加速度及び走行車線を示す情報を含む物体検出情報を、メモリ22に記憶する。
【0042】
次に、判定部232は、物体の速度が所定の基準速度以下であるか否かを判定する(ステップS103)。判定部232は、物体が静止している物体であるか否かを判定するために、物体の速度が基準速度以下であるか否かを判定する。基準速度として、例えば、5km/時とすることができる。物体がビニール袋のような軽いものであると、静止物体であっても、風を受けて移動することもある。
【0043】
物体の速度が基準速度以下である場合(ステップS103-Yes)、判定部232は、物体が検出された時点よりも前のカメラ画像に基づいて、物体の上を通過したと推定される他車両の有無を判定する(ステップS104)。
【0044】
判定部232は、物体が検出された時点と、この時点から所定の時間だけ前(例えば、1分~5分)のカメラ画像撮影時刻のカメラ画像に基づいて検出された物体検出情報に基づいて、他車両が検出されているか否かを判定する。
【0045】
他車両が検出された場合、判定部232は、この他車両の走行した走行経路が物体の位置と重なっているか否かを判定する。他車両の走行した走行経路が物体の位置と重なっている場合、判定部232は、物体の上を通過したと推定される他車両が有ると判定する。一方、他車両の走行した走行経路が物体の位置と重なっていないか、又は、他車両が検出されていない場合、判定部232は、物体の上を通過したと推定される他車両は無いと判定する。
【0046】
物体の上を通過したと推定される他車両が有る場合(ステップS104-Yes)、判定部232は、物体が検出された時点よりも前の所定の期間のカメラ画像に基づいて、他車両が、車体と道路との間の距離が狭い第1車両であるか否かを判定する(ステップS105)。
【0047】
判定部232は、物体検出情報に含まれる他車両の種類を示す情報に基づいて、他車両が荷台を有する車両か、又は、他車両がトラックであると識別された場合、他車両は第2車両であると判定し、他車両が第2車両ではない場合、他車両は第1車両であると判定する。
【0048】
第1車両は、乗用車及びバス等の地上高の低い車両を含む。他車両の車体と道路との間の距離が狭い場合、障害物の上を通過すると車両の走行に影響を与える。そこで、物体が障害物である場合、他車両は、物体の上を通過するようには走行しない。一方、物体がマンホール、水たまり又はビニール袋等である場合、これらの上を通過しても車両の走行に影響を与えない。そのため、他車両は、マンホール、水たまり又はビニール袋等の上を通過する。
【0049】
第2車両は、地上高の高いトラックを含む。トラックは、車体と道路との間の距離が広いので、障害物の上を通過しても、トラックの走行には影響を与えない場合がある。そのため、トラックは、物体が障害物あっても、物体の上を通過する場合がある。また、トラックは、荷台に荷物を積載するので、積載されていた荷物が道路に落下して、車両10の前方の静止している物体として検出される可能性もある。
【0050】
トラックは車高が乗用車よりも高いが、車体と道路との間の距離が狭いバスも車高が高いので、車高のみを判定に用いることは適切ではない。そこで、判定部232は、他車両の高さを判定条件に加えてもよい。例えば、他車両が荷台を有し、且つ、他車両の車高が所定のしきい値以上であるか、又は、他の車両とトラックと識別され、且つ、他車両の車高が所定のしきい値以上である場合、他車両は第2車両であると判定してもよい。他車両の高さは、例えば、カメラ画像中の他車両の高さ方向の画素数と、車両10から他車両までの距離とに基づいて推定できる。
【0051】
他車両が第1車両である場合(ステップS105-Yes)、判定部232は、物体は車両10の走行に影響を与えないと判定して(ステップS106)、一連の処理を終了する。地上高の低い他車両が、物体の上を通過しているので、物体は、マンホール、水たまり又はビニール袋等の車両10の走行に影響を与えない物体であると推定される。判定部232は、物体検出情報を、自動制御装置12へ通知しない。
【0052】
一方、他車両が第1車両ではない場合(ステップS105-No)、判定部232は、他車両は、車体と道路との間の距離が第1車両よりも広い第2車両であると判定する(ステップS107)。そして、判定部232は、物体は、車両10の走行に影響を与えると判定する(ステップS108)。すなわち、物体は、車両10の走行に影響を与える障害物である可能性があるので、車両10は、物体を考慮して走行する必要がある。
【0053】
次に、判定部232は、検出された物体の種類を示す情報と、その位置を示す情報、速度、加速度及び走行車線を示す情報を含む物体検出情報を、自動制御装置12へ通知して(ステップS109)、一連の処理を終了する。
【0054】
自動制御装置12は、物体検出情報に基づいて、車両10を運転する。例えば、自動制御装置12は、物体との接触を回避するように、車両10を運転する。また、自動制御装置12は、物体との接触を回避できないと判定した場合、車両10を停止する。また、自動制御装置12は、物体との接触を回避できないと判定した場合、車両10の運転を自動制御装置12からドライバへ移行してもよい。
【0055】
また、物体の速度が所定の基準速度以下でない場合(ステップS103-No)、及び、物体の上を通過したと推定される他車両が無い場合も(ステップS104-No)、処理は、ステップS108へ進む。物体の速度が基準速度よりも速い場合には、物体は、自転車等の移動物体(移動物体は、障害物の一例である)である可能性がある。また、他車両が無い場合には、物体は他車両の走行に影響えるか否かの情報がないので、物体は車両10の走行に影響を与える障害物である可能性がある。
【0056】
以上詳述したように、本実施形態の物体検出装置は、物体検出装置11は、物体の上を通過したと推定される他の車両に基づいて、車両の前方に検出された物体が車両の走行に影響を与えるものであるか否かを正確に判定できる。
【0057】
本開示では、上述した実施形態の物体検出装置は、本開示の趣旨を逸脱しない限り適宜変更が可能である。また、本開示の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。
【符号の説明】
【0058】
2 カメラ
3 LiDARセンサ
10 車両
11 物体検出装置
21 通信インターフェース
22 メモリ
23 プロセッサ
231 検出部
232 判定部
12 自動制御装置
13 車内ネットワーク