特許 7593116 物標検出装置および該方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】物標検出装置および該方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241126BHJP

   G06T 7/00 20170101ALI20241126BHJP

   G06V 20/58 20220101ALI20241126BHJP

【ＦＩ】

G06T7/70 A

G06T7/00 650B

G06V20/58

【請求項の数】 3

(21)【出願番号】P 2021001957

(22)【出願日】2021-01-08

(65)【公開番号】P2022107180

(43)【公開日】2022-07-21

【審査請求日】2023-11-21

(73)【特許権者】

【識別番号】000003137

【氏名又は名称】マツダ株式会社

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100111453

【弁理士】

【氏名又は名称】櫻井 智

(72)【発明者】

【氏名】西澤 昌宏

(72)【発明者】

【氏名】菅野 崇

(72)【発明者】

【氏名】高橋 英輝

(72)【発明者】

【氏名】伏間 丈悟

【審査官】菊池 伸郎

(56)【参考文献】

【文献】特開２００５－１５６１９９（ＪＰ，Ａ）

【文献】特開２００４－２６５４３２（ＪＰ，Ａ）

【文献】特開平０６－１２４３４０（ＪＰ，Ａ）

【文献】下村 倫子，"車載レーダとカメラを利用した前方物体検出技術"，映像情報メディア学会技術報告，日本，（社）映像情報メディア学会，2005年02月04日，第29巻, 第10号，pp.15-18

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－７／９０

Ｇ０６Ｖ １０／００－４０／７０

(57)【特許請求の範囲】

【請求項1】

移動体に搭載され、前記移動体の周囲に存在する物体を物標として検出する物標検出装置であって、
画像を生成する撮像部と、
前記撮像部で生成した画像から、物標における水平方向で互いに対向する第１一方端および第１他方端を抽出する端抽出部と、
前記端抽出部で抽出した前記第１一方端および前記第１他方端それぞれにおける垂直方向の第２一方端または第２他方端から同距離の各点を第１一方端点および第１他方端点として設定し、前記設定した第１一方端点と第１他方端点との間に、前記物標の位置を代表する物標代表点を設定し、所定の座標系における前記物標代表点の座標を求める座標検出部と、
前記座標検出部で設定した物標代表点を中心とする所定の枠を前記物標の存在領域として生成する物標領域生成部とを備え、
前記座標検出部は、自機から前記物標までの距離を測定する測定部を備え、
前記座標検出部は、前記第１一方端と前記第１他方端との間において、前記測定部を用いて自機から最も近い距離にある前記物標の点を最近点として求め、前記物標代表点を対称点とした前記最近点の点対称な点を仮想点として設定し、
前記物標領域生成部は、前記座標検出部で設定した第１一方端点、第１他方端点、最近点および仮想点それぞれを各頂点とする矩形を前記所定の枠として生成する、
物標検出装置。

【請求項2】

前記座標検出部は、前記設定した第１一方端点と第１他方端点との中央位置に前記物標代表点を設定する、
請求項１に記載の物標検出装置。

【請求項3】

移動体で用いられ、前記移動体の周囲に存在する物体を物標として検出する物標検出方法であって、
画像を生成する撮像工程と、
前記撮像工程で生成した画像から、物標における水平方向で互いに対向する第１一方端および第１他方端を抽出する端抽出工程と、
前記端抽出工程で抽出した前記第１一方端および前記第１他方端それぞれにおける垂直方向の第２一方端または第２他方端から同距離の各点を第１一方端点および第１他方端点として設定し、前記設定した第１一方端点と第１他方端点との間に、前記物標の位置を代表する物標代表点を設定し、所定の座標系における前記物標代表点の座標を求める座標検出工程と、
前記座標検出工程で設定した物標代表点を中心とする所定の枠を前記物標の存在領域として生成する物標領域生成工程とを備え、
前記座標検出工程は、自機から前記物標までの距離を測定する測定工程を備え、
前記座標検出工程は、前記第１一方端と前記第１他方端との間において、前記測定工程を用いて自機から最も近い距離にある前記物標の点を最近点として求め、前記物標代表点を対称点とした前記最近点の点対称な点を仮想点として設定し、
前記物標領域生成工程は、前記座標検出工程で設定した第１一方端点、第１他方端点、最近点および仮想点それぞれを各頂点とする矩形を前記所定の枠として生成する、
物標検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体に搭載され、前記移動体の周囲に存在する物体を物標として検出する物標検出装置および物標検出方法に関する。

【背景技術】

【0002】

近年、安全技術への要求や自動運転技術への要求等から、周囲状況の認識が要望されている。特に例えば車両やロボット等の移動体における衝突回避や車線変更等の場合では、周囲状況の認識が重要である。このため、移動体には、周囲状況を認識するために、物体を検出する物体検出装置（物標検出装置）が搭載されることが多い（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１９－５２６７８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、レーダ装置の検出結果に基づいて物標を検知し、その中から、主に衝突回避の観点で後端部を特定し、この特定した後端部から前方に矩形枠を前記物標の存在領域として生成することによって前記物標の位置および形状を検出する場合、前記後端部を特定する際に前端部を後端部と誤る虞があり、検出した物標の位置が実際の物体の位置と異なってしまう。

【0005】

本発明は、上述の事情に鑑みて為された発明であり、その目的は、より精度良く物標の位置を検出できる物標検出装置および物標検出方法を提供することである。

【課題を解決するための手段】

【0006】

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる物標検出装置は、移動体に搭載され、前記移動体の周囲に存在する物体を物標として検出する装置であって、画像を生成する撮像部と、前記撮像部で生成した画像から、物標における水平方向で互いに対向する第１一方端および第１他方端を抽出する端抽出部と、前記端抽出部で抽出した前記第１一方端および前記第１他方端それぞれにおける垂直方向の第２一方端または第２他方端から同距離の各点を第１一方端点および第１他方端点として設定し、前記設定した第１一方端点と第１他方端点との間に、前記物標の位置を代表する物標代表点を設定し、所定の座標系における前記物標代表点の座標を求める座標検出部と、前記座標検出部で設定した物標代表点を中心とする所定の枠を前記物標の存在領域として生成する物標領域生成部とを備える。好ましくは、上述の物標検出装置において、前記座標検出部は、前記端抽出部で抽出した前記第１一方端および前記第１他方端それぞれにおける垂直方向の第２一方端または第２他方端から同距離の各点を第１一方端点および第１他方端点として設定し、前記設定した第１一方端点と第１他方端点との間に、前記物標の位置を代表する物標代表点を設定する代表点設定部と、前記代表点設定部で設定した第１一方端点および第１他方端点それぞれにおける自機からの各距離および各方向を測定する測定部と、前記測定部で測定した前記第１一方端点および第１他方端点それぞれにおける自機からの各距離および各方向に基づいて所定の座標系における前記第１一方端点、前記第１他方端点および前記物標代表点それぞれの座標を求める座標処理部とを備える。好ましくは、前記測定部は、レーダ装置である。好ましくは、上述の物標検出装置において、前記所定の枠は、矩形であり、前記座標検出部で設定した物標代表点と前記矩形における対角線の交点とを一致させるように、前記所定の枠を生成する。

【0007】

このような物標検出装置は、物標の後端部を特定するのではなく、画像に基づき物標における水平方向で互いに対向する第１一方端および第１他方端を抽出し、これら抽出した第１一方端と第１他方端との間に、物標の位置を代表する物標代表点を設定し、この設定した物標代表点を中心に所定の枠を前記物標の存在領域として生成するので、前端部を後端部と誤る虞が無く、より精度良く物標の位置を検出できる。

【0008】

他の一態様では、上述の物標検出装置において、前記座標検出部は、前記設定した第１一方端点と第１他方端点との中央位置に前記物標代表点を設定する。

【0009】

第１一方端点と第１他方端点とを結ぶ線分は、物標の対角線である可能性があり、この場合では、前記第１一方端点および前記第１他方端点は、前記物標の対角線における両端点と考えられる。上記物標検出装置は、前記第１一方端点と前記第１他方端点との中央位置に前記物標代表点を設定するので、前記物標代表点を前記物標の中央位置（中心位置）に設定できるから、より精度良く物標の位置を検出できる。

【0010】

他の一態様では、上述の物標検出装置において、前記座標検出部は、前記第１一方端と前記第１他方端との間において、自機から最も近い距離にある前記物標の点を最近点として求め、前記第１一方端点と前記第１他方端点を結ぶ線分を対称軸とした前記最近点の線対称な点を仮想点として設定し、前記物標領域生成部は、前記座標検出部で設定した第１一方端点、第１他方端点、最近点および仮想点それぞれを各頂点とする矩形を前記所定の枠として生成する。

【0011】

このような物標検出装置は、これら第１一方端点、第１他方端点、最近点および仮想点それぞれを各頂点とする矩形を前記所定の枠として生成することで、物標の平面形状を検出できる。

【0012】

本発明の他の一態様にかかる物標検出方法は、移動体で用いられ、前記移動体の周囲に存在する物体を物標として検出する方法であって、画像を生成する撮像工程と、前記撮像工程で生成した画像から、物標における水平方向で互いに対向する第１一方端および第１他方端を抽出する端抽出工程と、前記端抽出工程で抽出した前記第１一方端および前記第１他方端それぞれにおける垂直方向の第２一方端または第２他方端から同距離の各点を第１一方端点および第１他方端点として設定し、前記設定した第１一方端点と第１他方端点との間に、前記物標の位置を代表する物標代表点を設定し、所定の座標系における前記物標代表点の座標を求める座標検出工程と、前記座標検出工程で設定した物標代表点を中心とする所定の枠を前記物標の存在領域として生成する物標領域生成工程とを備える。

【0013】

このような物標検出方法は、物標の後端部を特定するのではなく、画像に基づき物標における水平方向で互いに対向する第１一方端および第１他方端を抽出し、これら抽出した第１一方端と第１他方端との間に、物標の位置を代表する物標代表点を設定し、この設定した物標代表点を中心に所定の枠を前記物標の存在領域として生成するので、前端部を後端部と誤る虞が無く、より精度良く物標の位置を検出できる。

【発明の効果】

【0014】

本発明にかかる物標検出装置および物標検出方法は、より精度良く物標の位置を検出できる。

【図面の簡単な説明】

【0015】

【図1】実施形態における物標検出装置の構成を示すブロック図である。

【図2】前記物標検出装置における撮像部および測定部の各配置位置を説明するための図である。

【図3】前記物標検出装置における物標情報の検出手法を説明するための図である。

【図4】前記物標検出装置の動作を示すフローチャートである。

【図5】比較例を説明するための図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して、本発明の１または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

【0017】

実施形態における物標検出装置は、移動体に搭載され、前記移動体の周囲に存在する物体（所定の範囲で前記移動体から視認可能な物体）を物標として検出する装置である。この物標検出装置は、画像を生成する撮像部と、前記撮像部で生成した画像から、物標における水平方向で互いに対向する第１一方端および第１他方端を抽出する端抽出部と、前記端抽出部で抽出した前記第１一方端および前記第１他方端それぞれにおける垂直方向の第２一方端または第２他方端から同距離の各点を第１一方端点および第１他方端点として設定し、前記設定した第１一方端点と第１他方端点との間に、前記物標の位置を代表する物標代表点を設定し、所定の座標系における前記物標代表点の座標を求める座標検出部と、前記座標検出部で設定した物標代表点を中心とする所定の枠を前記物標の存在領域として設定する物標領域生成部とを備える。このような物標検出装置について、以下、より具体的に説明する。

【0018】

図１は、実施形態における物標検出装置の構成を示すブロック図である。図２は、前記物標検出装置における撮像部および測定部の各配置位置を説明するための図である。図３は、前記物標検出装置における物標情報の検出手法を説明するための図である。図３Ａは、片側一車線の道路を走行する自車および他車の状況を模式的に示す平面図である。図３Ｂは、図３Ａに示す自車から前方を走行する他車を撮像して生成した画像を模式的に示す図である。

【0019】

実施形態における物標検出装置Ｄは、例えば、図１に示すように、撮像部１と、座標検出部２と、制御処理部３と、記憶部４とを備える。

【0020】

撮像部１は、移動体に搭載され、制御処理部３に接続され、制御処理部３の制御に従って、所定の撮像範囲で当該物標検出装置Ｄの周囲を撮像してその画像を生成する装置である。撮像部１は、この生成した画像を制御処理部３へ出力する。前記移動体は、自機の位置を変えることができる装置であり、例えば車両やロボット等である。前記車両は、例えば工場内の部品搬送車および自動車等である。撮像部１は、例えば、前方（走行方向、進行方向）を撮像するように、車両に搭載される。例えば、本実施形態では、図２に示すように、撮像部１は、車両ＶＣ（以下、説明の都合上、先行車両と区別するために、適宜、「自車ＶＣ」と呼称する）内において、フロントガラス近傍の天井面（ルーフ内側面）に、路面を含むように、自車ＶＣの前方を所定の撮像範囲（画角）Ｒ１で撮像するように、その撮影方向（光軸方向）を斜め下方に向けて配設される。撮像部１は、例えば、被写体（対象物）の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記被写体の光学像を電気的な信号に変換するエリアイメージセンサ、および、エリアイメージセンサの出力を画像処理することで前記被写体の画像を表すデータである画像データを生成する画像処理部等を備えるデジタルカメラである。前記デジタルカメラは、可視カメラであってよく、赤外カメラであってよい。

【0021】

座標検出部２は、後述の端抽出部３２で抽出した第１一方端および第１他方端それぞれにおける垂直方向の第２一方端または第２他方端から同距離の各点を第１一方端点および第１他方端点として設定し、この設定した第１一方端点と第１他方端点との間に、物標の位置を代表する物標代表点を設定し、所定の座標系における前記物標代表点の座標を求める装置である。座標検出部２は、本実施形態では、前記設定した第１一方端点と第１他方端点との中央位置に前記物標代表点を設定する。すなわち、前記物標代表点は、前記第１一方端点と前記第１他方端点とを結ぶ線分を２等分する点である。座標検出部２は、例えば、測定部２１と、代表点設定部２２（３３）と、座標処理部２３（３４）とを備える。このような座標検出部２ついて、さらに後述する。

【0022】

記憶部４は、制御処理部３に接続され、制御処理部３の制御に従って各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、物標検出装置Ｄの各部１、２、４を当該各部の機能に応じてそれぞれ制御する制御プログラムや、撮像部１で生成した画像から、物標における水平方向で互いに対向する第１一方端および第１他方端を抽出する端抽出プログラムや、前記端抽出プログラムで抽出した前記第１一方端および前記第１他方端それぞれにおける垂直方向の第２一方端または第２他方端から同距離の各点を第１一方端点および第１他方端点として設定し、前記設定した第１一方端点と第１他方端点との間に、前記物標の位置を代表する物標代表点を設定する代表点設定プログラムや、測定部２１で測定した前記第１一方端点および第１他方端点それぞれにおける自機からの各距離および各方向に基づいて所定の座標系における前記第１一方端点、前記第１他方端点および前記物標代表点それぞれの座標を求める座標処理プログラムや、前記代表点設定プログラムで設定した物標代表点を中心とする所定の枠を前記物標の存在領域として生成する物標領域生成プログラム等が含まれる。前記各種の所定のデータには、例えば前記所定の枠の形状等の各プログラムを実行する上で必要なデータ等が含まれる。記憶部４は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。そして、記憶部４は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部３のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。

【0023】

制御処理部３は、物標検出装置Ｄの各部１、２、４を当該各部の機能に応じてそれぞれ制御し、自車ＶＣの周囲に存在する物体を物標として検出するための回路である。制御処理部３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成される。制御処理部３は、前記制御処理プログラムが実行されることによって、制御部３１、端抽出部３２、代表点設定部３３（２２）、座標処理部３４（２３）および物標領域生成部３５を機能的に備える。

【0024】

制御部３１は、物標検出装置Ｄの各部１、２、４を当該各部の機能に応じてそれぞれ制御し、物標検出装置Ｄの全体制御を司るものである。

【0025】

端抽出部３２は、撮像部１で生成した画像から、物標における水平方向で互いに対向する第１一方端および第１他方端を抽出するものである。端抽出部３２は、例えば、前処理部３２１と、抽出部３２２とを備え、これら前処理部３２１および抽出部３２２は、制御処理部３に機能的に構成される。

【0026】

前処理部３２１は、撮像部１で生成した画像から、物標（所定の物体）の画像領域を単色で塗りつぶしたシルエット画像を生成するものである。このような画像処理は、例えば、衝突検知で利用される物標検出の公知技術が利用できる。あるいは、前処理部３２１は、撮像部１で生成した画像から、物標の画像領域を単色で塗りつぶしたシルエット画像を生成するように、機械学習した機械学習モデルを備えて構成されてもよい。このような機械学習モデルには、例えば、畳み込みニューラルネットワーク（ＣＮＮ）等の深層学習に利用されるニューラルネットワークが利用できる。あるいは、前処理部３２１は、撮像部１で生成した画像にエッジフィルタを作用させることにより、エッジを抽出し、この抽出したエッジに直線のハフ変換を作用させることにより、直線を抽出し、この抽出した直線で構成される略矩形形状を物標の画像領域として単色で塗りつぶしたシルエット画像を生成するように構成されてもよい。なお、この抽出した直線で構成される略矩形形状を、撮像部１で生成した画像に重畳した画像が生成されてもよい。

【0027】

抽出部３２２は、前処理部３２１で生成したシルエット画像から、物標における水平方向で互いに対向する第１一方端および第１他方端を抽出するものである。シルエット画像では、物標の画像領域が単色で塗りつぶされているので、抽出部３２２は、物標の画像領域における水平方向で互いに対向する両端を抽出することで、これら抽出した両端それぞれを前記第１一方端および前記第１他方端として容易に抽出できる。

【0028】

例えば、図３Ａに示すように、自車ＶＣ、第１他車Ｏｂ１および第２他車Ｏｂ２は、片側一車線の道路を走行し、第１他車Ｏｂ１は、自車ＶＣが走行する車線と同一車線で自車ＶＣの前方を走行し、第２他車Ｏｂ２は、自車ＶＣの対向車線で自車ＶＣの斜め前方を走行している場合に、自車ＶＣの撮像部１で生成した画像から端抽出部３２の前処理部３２１で生成されたシルエット画像には、図３Ｂに示す第１他車Ｏｂ１の画像領域ＰＯｂが形成される。なお、図３Ｂでは、説明の都合上、第１他車Ｏｂ１の画像領域ＰＯｂは、単色で塗りつぶしていない。このような場合に、抽出部３２２は、第１他車Ｏｂ１の画像領域ＰＯｂにおける水平方向で互いに対向する両端（図３Ｂを平面視した場合の左端および右端）ＥＬ１、ＥＲ１それぞれを前記第１一方端（左端）ＥＬ１および前記第１他方端（右端）ＥＲ１として抽出する。

【0029】

測定部２１、代表点設定部２２（３３）および座標処理部２３（３４）を備える座標検出部２について、さらに、説明する。

【0030】

代表点設定部２２（３３）は、端抽出部３２で抽出した前記第１一方端および前記第１他方端それぞれにおける垂直方向の第２一方端または第２他方端から同距離の各点を第１一方端点および第１他方端点として設定し、これら設定した第１一方端点と第１他方端点との間に、前記物標の位置を代表する物標代表点を設定するものである。本実施形態では、代表点設定部２２（３３）は、前記設定した第１一方端点と第１他方端点との中央位置に前記物標代表点を設定する。前記第２一方端または第２他方端からの距離は、予め適宜に設定される。

【0031】

例えば、図３に示す例では、図３Ｂに示すように、代表点設定部２２（３３）は、端抽出部３２で抽出した一方端（左端）ＥＬ１および他方端（右端）ＥＲ１それぞれにおける垂直方向の第２一方端（上端）または第２他方端（下端）から同距離の各点ＰＬ１、ＰＲ２を第１一方端点（左端点）ＰＬ１および第１他方端点（右端点）ＰＲ１として設定する。そして、代表点設定部２２（３３）は、これら設定した第１一方端点ＰＬ１と第１他方端点ＰＲ１との間に、本実施形態では、前記一方端点ＰＬ１と前記他方端点ＰＲ１との中央位置に物標代表点ＰＭ１を設定する。

【0032】

測定部２１は、制御処理部３に接続され、制御処理部３の制御に従って、代表点設定部２２（３３）で設定した一方端点および他方端点それぞれにおける自機（自車ＶＣ）からの各距離および各方向を測定する装置である。測定部２１は、その測定結果を制御処理部３へ出力する。測定部２１は、例えば、本実施形態では、図２に示すように、自車ＶＣの前端部に設けられ、自車ＶＣの前方を所定の測定範囲Ｒ２で対象物を測定するレーダ装置である。前記レーダ装置は、例えば、ミリ波帯の送信波を測定範囲Ｒ２で走査しながら送信する送信部と、前記送信波が対象物で反射した反射波を受信する受信部と、前記送信波と前記反射波とに基づいて前記対象物の方向と前記対象物までの距離とを求める信号処理部とを備える。前記信号処理部は、走査による各方向（測定範囲Ｒ２の各点）それぞれについて、測定範囲Ｒ２の走査における前記送信波の送信方向から前記対象物の方向を求め、前記送信波の送信タイミングと前記反射波の受信タイミングとの時間差に基づいて、前記対象物までの距離を求める（ＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）方式）。なお、前記レーダ装置は、このような構成に限らず、適宜な種類のレーダ装置であってよい。例えば、前記レーダ装置は、ミリ波帯ではなく、レーザ光を利用したレーザレーダ装置であってよく、また、前記レーダ装置は、複数の受信アンテナを備え、前記複数の受信アンテナが受信した反射波の位相差から前記対象物の方向を求める装置であってもよい。また、測定部２１は、１対のステレオ画像から距離画像を生成するステレオカメラであってもよい。

【0033】

座標処理部２３（３４）は、測定部２１で測定した前記一方端点および他方端点それぞれにおける自機からの各距離および各方向に基づいて所定の座標系における前記一方端点、前記他方端点および前記物標代表点それぞれの座標を求めるものである。前記所定の座標系（グローバル座標系）は、例えばＸＹＺ直交座標系やｒθφ極座標系等の任意の点を座標原点とする任意の座標系であってよい。例えば、前記所定の座標系は、自車ＶＣの中央位置を座標原点とする、前後方向をＸ軸とし、幅方向をＹ軸とし、高さ方向をＺ軸とするＸＹＺ直交座標系である。測定部２１は、測定部２１を座標原点とした測定部２１の座標系（ローカル座標系）で測定するので、座標処理部２３（３４）は、測定部２１の配設位置とＸＹＺ直交座標系の座標原点の位置とに基づいて、測定部２１の測定結果をＸＹＺ直交座標系の座標値に変換する。撮像部１で生成された画像を前処理部３２１で上述のように処理されて生成されたシルエット画像の各画素（各点）と測定部２１の測定結果（方向および距離で表される各位置）とは、例えば、カメラの画像とレーダ装置の測定結果とを統合するいわゆるセンサフュージョンによって対応付けられる。座標処理部２３（３４）は、前記一方端点および前記他方端点それぞれの各座標を、センサフュージョンによって対応付けられた測定部２１の測定結果から求め、これら求めた前記一方端点および前記他方端点それぞれの各座標に基づいて物標代表点の座標を求める。

【0034】

例えば、図３に示す例では、座標処理部２３（３４）は、一方端点ＰＬ１および他方端点ＰＲ１それぞれの各座標を、センサフュージョンによって対応付けられた測定部２１の測定結果から求め、これら求めた前記一方端点ＰＬ１および前記他方端点ＰＲ１それぞれの各座標に基づいて物標代表点ＰＭ１の座標を求める。

【0035】

物標領域生成部３５は、座標検出部２で設定した物標代表点を中心とする所定の枠を前記物標の存在領域として生成するものである。前記所定の枠は、その形状およびサイズ（大きさ）が予め適宜に設定される。本実施形態では、座標検出部２の代表点設定部２２（３３）は、前記第１一方端と前記第１他方端との間において、自機から最も近い距離にある前記物標の点を最近点として求める。より具体的には、代表点設定部２２（３３）は、自機から最も近い距離にある前記物標の点を最近点として求め、この求めた最近点が前記第１一方端と前記第１他方端との間に存在するか否かを判定することによって、前記第１一方端と前記第１他方端との間において、前記最近点を求める。代表点設定部２２（３３）は、前記第１一方端点と前記第１他方端点を結ぶ線分を対称軸とした前記最近点の線対称な点を仮想点として設定する。座標検出部２の座標処理部２３（３４）は、前記最近点、および、前記設定した仮想点それぞれの各座標を求める。そして、物標領域生成部３５は、座標検出部２で設定した第１一方端点、第１他方端点、最近点および仮想点それぞれを各頂点とする矩形を前記所定の枠として生成する。

【0036】

例えば、図３に示す例では、代表点設定部２２（３３）は、図３Ａおよび図３Ｂに示すように、第１一方端ＥＬ１と第１他方端ＥＲ１との間において、自車ＶＣから最も近い距離にある第１他車Ｏｂ１の点を最近点ＰＣ１として求め、図３Ａに示すように、第１一方端点ＰＬ１と第１他方端点ＰＲ１を結ぶ線分αを対称軸αとした前記最近点ＰＣ１の線対称な点ＰＶ１を仮想点ＰＶ１として設定し、座標処理部２３（３４）は、前記最近点ＰＣ１、および、前記設定した仮想点ＰＶ１それぞれの各座標を求め、物標領域生成部３５は、図３Ａに示すように、座標検出部２で設定した第１一方端点ＰＬ１、第１他方端点ＰＲ１、最近点ＰＣ１および仮想点ＰＶ１それぞれを各頂点とする矩形ＡＲ１を前記所定の枠（第１他車Ｏｂ１の存在領域）として生成する。

【0037】

このような制御処理部３および記憶部４は、いわゆるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と呼称されるコンピュータによって構成可能である。

【0038】

なお、上述では、測定部２１の測定範囲Ｒ２は、面であるが、予め設定された所定の高さ（例えば測定部２１が配設された高さ等）で水平方向に沿った直線であってもよく、この場合では、前記第２他方端（下端）からの距離は、前記所定の高さに設定され、前記所定の座標系（グローバル座標系）は、ＸＹ直交座標系となる。

【0039】

次に、本実施形態の動作について説明する。図５は、前記物標検出装置の動作を示すフローチャートである。

【0040】

このような車両に搭載された物標検出装置Ｄは、前記車両が稼働を始めると、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラムの実行によって、制御処理部３には、制御部３１、端抽出部３２、代表点設定部３３（２２）、座標処理部３４（２３）および物標領域生成部３５が機能的に構成され、端抽出部３２には、前処理部３２１および抽出部３２２が機能的に構成される。そして、例えば、前記車両のイグニッションがオフされるまで、以下の図４に示す各処理Ｓ１～Ｓ９、Ｓ１１～Ｓ１３が予め適宜に設定された所定のサンプリング間隔で繰り返し実行され、物標が検出される。

【0041】

図４において、物標検出装置Ｄは、制御処理部３によって、撮像部１に画像を生成させ、座標検出部２の測定部２１に測定させ、この生成した画像および測定結果を記憶部４に記憶する（Ｓ１）。

【0042】

次に、物標検出装置Ｄは、制御処理部３によって、物標の第１一方端（例えば左端）を抽出できたか否かを判定する（Ｓ２）。より具体的には、端抽出部３２は、前処理部３２１によって撮像部１で生成した画像からシルエット画像を生成し、抽出部３２２によって前記シルエット画像から第１一方端を抽出したか否かを判定する。この判定の結果、抽出部３２２が第１一方端を抽出した（抽出できた）場合（Ｙｅｓ）には、物標検出装置Ｄは、次に、処理Ｓ３を実行する。一方、前記判定の結果、抽出部３２２が第１一方端を抽出しなかった（抽出できなかった）場合（Ｎｏ）には、物標検出装置Ｄは、処理を処理Ｓ１に戻す。すなわち、始めから処理がやり直される。

【0043】

この処理Ｓ３では、物標検出装置Ｄは、制御処理部３によって、前記物標の第１他方端（例えば右端）を抽出できたか否かを判定する。より具体的には、端抽出部３２は、抽出部３２２によって前記シルエット画像から第１他方端を抽出したか否かを判定する。この判定の結果、抽出部３２２が第１他方端を抽出した（抽出できた）場合（Ｙｅｓ）には、物標検出装置Ｄは、次に、処理Ｓ４を実行する。一方、前記判定の結果、抽出部３２２が第１他方端を抽出しなかった（抽出できなかった）場合（Ｎｏ）には、物標検出装置Ｄは、処理を処理Ｓ１に戻す。

【0044】

この処理Ｓ４では、物標検出装置Ｄは、制御処理部３によって、前記物標の最近点を抽出できたか否かを判定する。より具体的には、座標検出部２は、代表点設定部２２（３３）によって、最近点を求められたか否かを判定する。この判定の結果、代表点設定部２２（３３）が最近点を求められた場合（Ｙｅｓ）には、物標検出装置Ｄは、次に、処理Ｓ５を実行する。一方、前記判定の結果、代表点設定部２２（３３）が最近点を求められなかった場合（Ｎｏ）には、物標検出装置Ｄは、処理を処理Ｓ１に戻す。

【0045】

この処理Ｓ５では、物標検出装置Ｄは、座標検出部２によって、前記第１一方端点、前記第１他方端点および最近点の各座標を求める。より具体的には、座標検出部２の代表点設定部２２（３３）は、端抽出部３２で抽出した前記第１一方端および前記第１他方端それぞれにおける例えば前記第２他方端から同距離の各点を第１一方端点および第１他方端点として設定し、座標検出部２の座標処理部２３（３４）は、測定部２１で測定した前記第１一方端点、第１他方端点および前記最近点それぞれにおける自機からの各距離および各方向に基づいて所定の座標系における前記第１一方端点、前記第１他方端点および前記最近点の座標を求める。

【0046】

前記処理Ｓ５の次に、物標検出装置Ｄは、前記第１一方端点と前記第１他方端点とが物標の対角線の両端であるか否かを判定する。この判定は、例えば、前記最近点が前記第１一方端点と前記第１他方端点と間に存在するか否かで実施される。前記最近点が前記第１一方端点と前記第１他方端点との間に存在する場合には、物標検出装置Ｄは、前記第１一方端点と前記第１他方端点とが物標の対角線の両端であると判定し（Ｙｅｓ）、次に、処理Ｓ７を実行する。一方、前記最近点が前記第１一方端点と前記第１他方端点との間に存在しない場合（例えば前記最近点が前記第１一方端点または前記第１他方端点と一致する場合）には、物標検出装置Ｄは、前記第１一方端点と前記第１他方端点とが物標の対角線の両端ではないと判定し（Ｎｏ）、次に、処理Ｓ１１を実行する。

【0047】

この処理Ｓ７では、物標検出装置Ｄは、座標検出部２によって、物標代表点を設定し、その座標を求め、次に、処理Ｓ８を実行する。より具体的には、座標検出部２の代表点設定部２２（３３）は、処理Ｓ５で設定した第１一方端点と第１他方端点との間における中央位置に前記物標代表点を設定し、座標検出部２の座標処理部２３（３４）は、処理Ｓ５で求めた前記第１一方端点および前記第１他方端点の各座標から、この設定した前記物標代表点の座標を求める。

【0048】

この処理Ｓ８では、物標検出装置Ｄは、座標検出部２によって、仮想点を設定し、その座標を求め、次に、処理Ｓ９を実行する。より具体的には、座標検出部２の代表点設定部２２（３３）は、処理Ｓ５で設定した第１一方端点と第１他方端点を結ぶ線分を対称軸とした前記最近点の線対称な点を仮想点として設定し、座標検出部２の座標処理部２３（３４）は、処理Ｓ５で求めた前記第１一方端点、前記第１他方端点および前記最近点の各座標から、この設定した仮想点の座標を求める。

【0049】

この処理Ｓ９では、物標検出装置Ｄは、制御処理部３によって、前記物標の存在領域として前記所定の枠を生成し、今回の本処理を終了する。より具体的には、物標領域生成部３５は、前記第１一方端点、前記第１他方端点、前記最近点および前記仮想点それぞれを各頂点とする矩形を前記所定の枠として生成する。

【0050】

一方、前記処理Ｓ１１では、前記処理Ｓ７と同様に、物標検出装置Ｄは、制御処理部３によって、物標代表点を設定し、その座標を求め、次に、処理Ｓ１２を実行する。より具体的には、制御処理部３は、処理Ｓ５で設定した第１一方端点と第１他方端点との間における中央位置に前記物標代表点を設定し、処理Ｓ５で求めた前記第１一方端点および前記第１他方端点の各座標から、この設定した前記物標代表点の座標を求める。この場合では、自車ＶＣが他車Ｏｂの真後ろを走行している場合であるので、前記物標代表点は、他車Ｏｂの後端部の中央位置に設定されることになる。

【0051】

この処理Ｓ１２では、例えば普通自動車や大型車両等の、他車Ｏｂの車種を求めるために、物標検出装置Ｄは、制御処理部３によって、撮像部１に画像を生成させ、この生成した画像に基づいて前記他車Ｏｂの車種を求め、次に、処理Ｓ１３を実行する。この車種の判定には、例えば、撮像部１で生成した画像から、車種を判定するように、機械学習した第２機械学習モデルが用いられる。なお、この処理Ｓ１２において、撮像部１に画像を生成させずに、処理Ｓ１で撮像部１に生成させた画像が利用されてもよい。

【0052】

この処理Ｓ１３では、物標検出装置Ｄは、制御処理部３によって、処理Ｓ１２で判定した車種に応じたサイズ（大きさ）の矩形の枠を、処理Ｓ１１で求めた物標代表点に前記矩形の枠における後端短辺の中央位置を一致させて前記物標代表点から進行方向の前方に、前記物標の存在領域として生成し、今回の本処理を終了する。例えば、前記車種が普通自動車である場合には、幅（短辺）１．８［ｍ］であって長さ（長辺）３．５［ｍ］である矩形の枠が生成される。また例えば、前記車種が大型車両である場合には、幅２．５［ｍ］であって長さ６．０［ｍ］である矩形の枠が生成される。

【0053】

なお、処理Ｓ１で生成した画像（シルエット画像）に複数の物標が存在する場合には、これら各処理Ｓ１～Ｓ９、Ｓ１１～Ｓ１３が物標ごとに実行される。また、これら各処理Ｓ１～Ｓ９、Ｓ１１～Ｓ１３を実行する物標として、車両のみが選定されてもよい。この車両の選定には、例えば、撮像部１で生成した画像から、車両を抽出するように、機械学習した第３機械学習モデルが用いられる。

【0054】

以上説明したように、実施形態における物標検出装置Ｄおよびこれに実装された物標検出方法は、物標の後端部を特定するのではなく、画像に基づき物標における水平方向で互いに対向する第１一方端および第１他方端を抽出し、これら抽出した第１一方端と第１他方端との間に、物標の位置を代表する物標代表点を設定し、この設定した物標代表点を中心に所定の枠を前記物標の存在領域として生成するので、前端部を後端部と誤る虞が無く、より精度良く物標の位置を検出できる。

【0055】

図５は、比較例を説明するための図である。比較例として、レーダ装置の検出結果に基づいて物標を検知し、その中から、主に衝突回避の観点で後端部を特定し、この特定した後端部から進行方向の前方に矩形枠を前記物標の存在領域として生成することによって前記物標の位置および形状を検出する場合、図５に示すように、対向車両Ｏｂ４の後端部ＢＬ２を正しく特定できれば、この後端部ＢＬ４から進行方向の前方に矩形枠ＡＲ４が生成され、検出した物標の位置（矩形枠ＡＲ４の位置）と実際の対向車両Ｏｂ４の位置とが一致し、正しく検出できる。しかしながら、図５に示すように、先行車両Ｏｂ３の後端部を特定する際に前端部ＢＬ１を前記後端部と誤る虞があり、このように誤ると、前記前端部ＢＬ１から進行方向の前方に矩形枠ＡＲ３が生成されてしまい、検出した物標の位置（矩形枠ＡＲ３の位置）が実際の先行車両Ｏｂ３の位置と異なってしまう。

【0056】

一方、上記物標検出装置Ｄおよび物標検出方法は、画像に基づき物標における第１一方端および第１他方端を抽出し、これらの間に物標代表点を設定して所定の枠を生成するので、図５に示すような前端部ＢＬ１を後端部と誤る虞が無く、より精度良く物標の位置を検出できる。

【0057】

第１一方端点と第１他方端点とを結ぶ線分は、物標の対角線である可能性があり、この場合では、前記第１一方端点および前記第１他方端点は、前記物標の対角線における両端点と考えられる。上記物標検出装置Ｄおよび物標検出方法は、前記第１一方端点と前記第１他方端点との中央位置に前記物標代表点を設定するので、前記物標代表点を前記物標の中央位置（中心位置）に設定できるから、より精度良く物標の位置を検出できる。

【0058】

上記物標検出装置Ｄおよび物標検出方法は、これら第１一方端点、第１他方端点、最近点および仮想点それぞれを各頂点とする矩形を前記所定の枠として生成することで、物標の平面形状を検出できる。

【0059】

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

【符号の説明】

【0060】

Ｄ 物標検出装置
１ 撮像部
２ 座標検出部
３ 制御処理部
４ 記憶部
２１ 測定部
２２（３３） 代表点設定部
２３（３４） 座標処理部
３１ 制御部
３２ 端抽出部
３５ 物標領域生成部
３２１ 前処理部
３２２ 抽出部

【図1】

【図2】

【図3】

【図4】

【図5】