特許 7514664 物体認識方法及び物体認識システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-03

(45)【発行日】2024-07-11

(54)【発明の名称】物体認識方法及び物体認識システム

(51)【国際特許分類】

   G06T 7/11 20170101AFI20240704BHJP

   G06T 7/00 20170101ALI20240704BHJP

   G06T 7/521 20170101ALI20240704BHJP

   G08G 1/16 20060101ALI20240704BHJP

【ＦＩ】

G06T7/11

G06T7/00 650Z

G06T7/521

G08G1/16 C

【請求項の数】 13

(21)【出願番号】P 2020109119

(22)【出願日】2020-06-24

(65)【公開番号】P2022006716

(43)【公開日】2022-01-13

【審査請求日】2023-02-06

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110002468

【氏名又は名称】弁理士法人後藤特許事務所

(72)【発明者】

【氏名】池上 尭史

(72)【発明者】

【氏名】野田 邦昭

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１７－０８３４３０（ＪＰ，Ａ）

【文献】国際公開第２０１９／１９８７８９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１７／００６１２１９（ＵＳ，Ａ１）

【文献】特開２０１９－１８５３４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／１１

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／５２１

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両の周囲に出射波を出射し、当該出射波に対する物体からの反射波を受波して測距点を求める測距センサと、前記測距センサから取得された複数の前記測距点について判定対象として選択された２つの測距点が同一物体に属するか否かを順次判定するコントローラとを備える物体認識システムを用いた物体認識方法であって、
前記測距センサから前記測距点を取得し、前記測距センサによる測距範囲と撮像範囲が重複する画像を撮像装置から取得する取得ステップと、
前記２つの測距点の三次元点間距離が予め定められた所定の距離である閾値を基準として小さい場合に前記２つの測距点が同一物体に属すると判定する判定ステップと、を含み、
前記判定ステップは、前記反射波を検出できない出射波に対応する出射方向が前記２つの測距点の間に存在する場合には、前記画像に基づいて前記閾値を設定して前記判定を行う、
物体認識方法。

【請求項2】

請求項１に記載の物体認識方法であって、
前記判定ステップは、前記撮像装置から取得された画像のうち、前記反射波を検出できない出射波に対応する出射方向が存在する前記２つの測距点の間の領域に対応する画像を用いて前記閾値を設定する、
物体認識方法。

【請求項3】

請求項２に記載の物体認識方法であって、
前記判定ステップは、前記２つの測距点の間の領域に対応する画像の輝度値が小さい場合には大きい場合に比して前記閾値の大きさを大きな値に設定する、
物体認識方法。

【請求項4】

請求項２に記載の物体認識方法であって、
前記判定ステップは、前記２つの測距点の間の領域に対応する画像の輝度値もしくは色の分散が小さい場合には大きい場合に比して前記閾値の大きさを大きな値に設定する、
物体認識方法。

【請求項5】

請求項２に記載の物体認識方法であって、
前記判定ステップは、前記２つの測距点の間の領域に対応する画像の色が、前記出射波の反射率が低い予め定められた色である場合には、そうでない場合に比して前記閾値の大きさを大きな値に設定する、
物体認識方法。

【請求項6】

請求項１に記載の物体認識方法であって、
前記撮像装置から取得された画像に含まれる物体を検出する物体検出ステップをさらに含み、
前記判定ステップは、前記撮像装置から取得された画像のうち、前記反射波を検出できない出射方向が存在する前記２つの測距点に対応する画像が、前記物体検出ステップで検出された同一の物体に含まれる場合には前記閾値を大きい値に設定する、
物体認識方法。

【請求項7】

請求項６に記載の物体認識方法であって、
前記物体検出ステップは、前記検出された物体の属性をさらに判定し、
前記判定ステップは、前記反射波を検出できない出射方向が存在する前記２つの測距点に対応する画像が、前記物体検出ステップで検出された同一の物体に含まれる場合には、当該物体の属性に基づいて前記閾値の大きさを設定する、
物体認識方法。

【請求項8】

請求項２に記載の物体認識方法であって、
前記判定ステップは、前記反射波を検出できない出射方向が存在する前記２つの測距点の間については、前記２つの測距点の間の領域に対応する画像に基づいて、前記出射波に対する反射率が低い物体表面が存在するか否かを判定し、当該反射率が低い物体表面が存在すると判定された場合には、前記閾値を大きい値に設定する、
物体認識方法。

【請求項9】

請求項８に記載の物体認識方法であって、
前記判定ステップは、前記２つの測距点の間の領域に対応する画像に基づいて、当該画像に対応する物体の表面反射率を推定し、当該推定された反射率に基づいて前記閾値の大きさを設定する、
物体認識方法。

【請求項10】

請求項１から９のいずれかに記載の物体認識方法であって、
前記判定ステップは、前記測距センサから前記２つの測距点までの距離に基づいて前記閾値の大きさを設定する、
物体認識方法。

【請求項11】

請求項１から９のいずれかに記載の物体認識方法であって、
前記判定ステップは、前記測距センサと前記２つの測距点の中点とを通る直線と、前記２つの測距点を通る直線のなす角に基づいて前記閾値の大きさを設定する、
物体認識方法。

【請求項12】

請求項１から１１のいずれかに記載の物体認識方法であって、
前記判定ステップは、複数の前記測距点と前記撮像装置から取得された画像とに基づいて、前記判定対象となる測距点の候補を抽出し、当該抽出された測距点に対して前記判定を行う、
物体認識方法。

【請求項13】

車両の周囲に出射波を出射し、当該出射波に対する物体からの反射波を受波して測距点を求める測距センサと、前記測距センサから得られた複数の前記測距点のうち、判定対象として選択された２つの測距点の三次元点間距離が予め定められた所定の距離である閾値を基準として小さい場合に前記２つの測距点が同一物体に属すると判定するコントローラとを備える物体認識システムであって、
前記測距センサによる測距範囲と撮像範囲とが重複するように前記車両に設置され、前記撮像範囲の画像を生成する撮像装置を備え、
前記コントローラは、前記反射波を検出できない出射波に対応する出射方向が前記２つの測距点の間に存在する場合には、前記撮像装置により生成された画像に基づいて前記閾値を設定して前記判定を行う、
物体認識システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周囲に存在する物体を認識する物体認識方法及び物体認識システムに関する。

【背景技術】

【0002】

従来、車両の周囲に存在する物体を認識する物体認識技術が存在する。例えば、３次元距離センサから出力される測距点のうち、測距点間距離が所定距離としての結合閾値よりも短い測距点同士を、１つの物体に対応するものとしてグループ化するクラスタリングを行う物体認識装置が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１８５３４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した従来技術では、クラスタリングの判定対象となる２つの測距点の反射強度の平均値に基づいて結合閾値を調整する。ここで、認識対象となる物体の中には、表面の反射率が低い物体も存在すると想定される。このような物体が認識対象となった場合には、クラスタリングの判定対象となる２つの測距点間に、出射波に対する反射波を検出できない領域が発生することも想定される。この場合には、判定対象となる２つの測距点を適切にクラスタリングできず、物体を適切に認識できないおそれがある。

【0005】

本発明は、物体を適切に認識することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様は、車両の周囲に出射波を出射し、その出射波に対する物体からの反射波を受波して測距点を求める測距センサと、測距センサから取得された複数の測距点について判定対象として選択された２つの測距点が同一物体に属するか否かを順次判定するコントローラとを備える物体認識システムを用いた物体認識方法である。この物体認識方法は、測距センサから測距点を取得し、測距センサによる測距範囲と撮像範囲が重複する画像を撮像装置から取得する取得ステップと、２つの測距点の三次元点間距離が予め定められた所定の距離である閾値を基準として小さい場合に、その２つの測距点が同一物体に属すると判定する判定ステップとを含む。また、その判定ステップは、反射波を検出できない出射波に対応する出射方向が２つの測距点間に存在する場合には、その画像に基づいて閾値を設定して判定を行う。

【発明の効果】

【0007】

本発明によれば、物体を適切に認識することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、第１実施形態における物体認識システムの機能構成例を示すブロック図である。

【図2】図２は、点群クラスタリング部による測距点群のクラスタリング処理を模式的に示す図である。

【図3】図３は、測距センサにより取得された測距点と、撮像装置により生成された画像との関係を示す図である。

【図4】図４は、ＥＣＵによる測距点群のクラスタリング処理の処理手順の一例を示すフローチャートである。

【図5】図５は、第２実施形態における物体認識システムの機能構成例を示すブロック図である。

【図6】図６は、ＥＣＵによる測距点群のクラスタリング処理の処理手順の一例を示すフローチャートである。

【図7】図７は、第３実施形態における物体認識システムの機能構成例を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照しながら本発明の実施形態について説明する。

【0010】

［第１実施形態］
［物体認識システムの構成例］
図１は、第１実施形態における物体認識システム１の機能構成例を示すブロック図である。物体認識システム１は、車両５０（図２参照）に搭載され、車両５０の周囲の物体を認識するシステムである。

【0011】

図１に示すように、物体認識システム１は、ＥＣＵ（Electronic Control Unit）１０と、測距センサ２０と、撮像装置３０とを備える。

【0012】

ＥＣＵ１０は、各種機器を制御する制御装置であり、例えば中央演算装置（ＣＰＵ（Central Processing Unit））、読み出し専用メモリ（ＲＯＭ（Read Only Memory））、ランダムアクセスメモリ（ＲＡＭ（Random Access Memory））及び入出力インタフェース（Ｉ／Ｏ（input/output）インタフェース）を備えたマイクロコンピュータで構成される。ＥＣＵ１０は、特定のプログラムを実行することにより、車両５０に備えられるエンジン、モータ、インバータ、バッテリ等の各種機器の動作を制御する制御部として機能する。なお、ＥＣＵ１０は、一つのマイクロコンピュータで構成されるのではなく、複数のマイクロコンピュータにより構成されてもよい。例えば、物体認識システムを制御する制御装置と、各種機器を制御する車両制御装置と、エンジンを制御するエンジンＥＣＵ（Engine Control Unit）とにより構成されてもよい。

【0013】

測距センサ２０は、車両５０の周囲に出射波を出射して車両５０の周囲に存在する物体の表面から反射された反射波を受波し、その物体の位置を検出する測距センサであり、車両５０に搭載される。すなわち、測距センサ２０は、車両５０の周囲に存在する物体の表面から反射された反射波を検出することで、出射波の出射方向（照射方向）に存在する物体までの距離を測定し、その測定された距離とその出射方向とに基づいて反射点の三次元座標を計算する。そして、測距センサ２０は、その計算により求められた反射点の三次元座標や出射波の出射方向に関する測距情報を点群取得部１０１に出力する。なお、反射点の三次元座標を、以下では測距点と称して説明する。

【0014】

なお、測距センサ２０として、レーザ光やミリ波を照射してその反射波を受波するＬｉＤＡＲ（Light Detection and Ranging）やミリ波レーダ等のセンサを用いることができる。なお、Ｌｉｄａｒ等の測距センサは格子状に出射方向を走査するものが一般的に普及しているが、各測距点に対応する出射方向の走査格子における位置を表す情報を付加して出力してもよい。

【0015】

撮像装置３０は、車両５０の外部の被写体を撮像して画像を生成するものであり、車両５０に搭載される。なお、撮像装置３０は、測距センサ２０による測距対象となる測距領域と、撮像装置３０による撮像対象となる撮像領域とが重複するように、車両５０の外側の位置に設置される。なお、撮像装置３０として、イメージセンサと画像処理部により構成される１または複数のカメラを採用することができる。また、第１実施形態では、「画像」と記載した場合には、画像そのものを意味する場合と、その画像を表示するための画像データを意味する場合と、その画像とその画像データとの双方を意味する場合があるものとする。

【0016】

ＥＣＵ１０は、点群取得部１０１と、非検出方向抽出部１０２と、点群クラスタリング部１０３と、画像取得部１０４と、画像領域抽出部１０５と、結合距離計算部１０６と、物体識別部１０７と、物体位置・形状・姿勢推定部１０８とを備える。

【0017】

ＥＣＵ１０は、測距センサ２０及び撮像装置３０からの出力に基づいて、車両５０の周囲の物体を検出して認識する。また、ＥＣＵ１０は、その認識された物体の位置、形状、姿勢等を推定し、その推定結果を他のシステムに出力する。なお、その推定結果は、ＥＣＵ１０の内部で使用することも可能である。

【0018】

点群取得部１０１は、測距センサ２０から出力された測距情報を取得するものであり、その測距情報を非検出方向抽出部１０２及び点群クラスタリング部１０３に出力する。なお、測距情報に含まれる測距点の集合を、以下では測距点群と称して説明する。

【0019】

非検出方向抽出部１０２は、点群取得部１０１から出力された測距情報に基づいて、出射波を出射したが、出射波に対する反射波の強度が予め定められた所定の閾値強度以下の出射方向を、反射波が検出されなかった出射方向（以下、非検出方向と称する）として抽出するものであり、その抽出結果を点群クラスタリング部１０３に出力する。なお、非検出方向は、各測距点の三次元座標や出射波の出射方向等の測距情報に基づいて求めることができる。なお、上記閾値強度は、閾値強度以下の反射波を反射波として検出しない事によってノイズ等の影響を除去することを目的として設定された閾値強度であり、予め実験等によって設定された強度が設定されている。

【0020】

点群クラスタリング部１０３は、点群取得部１０１から出力された測距点群についてクラスタリング処理を行うものであり、その処理結果を物体識別部１０７に出力する。具体的には、点群クラスタリング部１０３は、各測距点同士の点間距離（以下では、三次元点間距離と称する）に基づいて、測距点群の部分集合（以下では、クラスタと称する）に分割（以下では、クラスタリングと称する）する。

【0021】

例えば、点群クラスタリング部１０３は、測距点群のうちから、クラスタリング処理の判定対象として所定範囲内に存在する２つの測距点を順次選択する。そして、点群クラスタリング部１０３は、その選択された２つの測距点の三次元点間距離が予め定められた所定の距離である閾値（以下では、結合距離と称する）を基準として小さいか否かに基づいて、その選択された２つの測距点が同一物体に属するか否かを判定する。なお、判定対象として選択する際に用いる所定範囲は、２つの測距点が同一物体に属するか否かを判定する際に用いる結合距離よりも大きい値とする。また、これらの値（所定範囲、結合距離）は、各種の実験データを用いて適宜設定することができる。

【0022】

具体的には、点群クラスタリング部１０３は、その選択された２つの測距点の三次元点間距離が結合距離を基準として小さい場合には、その選択された２つの測距点が同一物体に属すると判定し、同一クラスタに割り当てる。一方、点群クラスタリング部１０３は、その選択された２つの測距点の三次元点間距離が結合距離を基準として大きい場合には、その選択された２つの測距点は同一物体に属しないと判定する。なお、測距点群のうち、所定範囲内に他の測距点が存在しない測距点については、ノイズと判定されて破棄される。

【0023】

ここで、第１実施形態では、出射波に対する反射率が低い物体表面が存在して、当該物体表面からの反射波の強度が弱い（反射波を検出できない）場合でも、クラスタリング処理を適切に実行できるように、非検出方向抽出部１０２により抽出された非検出方向を用いて結合距離を変更する。具体的には、点群クラスタリング部１０３は、非検出方向抽出部１０２から出力された非検出方向の抽出結果に基づいて、判定対象として選択された２つの測距点間に非検出方向が存在するか否かを判定する。そして、点群クラスタリング部１０３は、その選択された２つの測距点間に非検出方向が存在する場合には、その選択された２つの測距点を画像領域抽出部１０５に出力する。この場合には、点群クラスタリング部１０３は、結合距離計算部１０６により求められた結合距離を用いて、その選択された２つの測距点が同一物体に属するか否かを判定する。

【0024】

画像取得部１０４は、撮像装置３０から出力された画像を取得するものであり、その画像を画像領域抽出部１０５に出力する。

【0025】

画像領域抽出部１０５は、画像取得部１０４から出力された画像から、点群クラスタリング部１０３から出力された２つの測距点に対応する画像領域を抽出するものであり、抽出された画像領域を結合距離計算部１０６に出力する。具体的には、画像領域抽出部１０５は、点群クラスタリング部１０３から出力された２つの測距点を、画像取得部１０４から出力された画像上に投影し、２つの測距点間の画像領域を抽出する。すなわち、三次元座標である２つの測距点が二次元画像上に投影されて画像領域が抽出される。

【0026】

結合距離計算部１０６は、画像領域抽出部１０５から出力された画像領域に基づいて、点群クラスタリング部１０３から出力された２つの測距点に適用する結合距離を計算するものであり、その計算結果、すなわち結合距離を点群クラスタリング部１０３に出力する。なお、結合距離の計算方法については、図４を参照して説明する。

【0027】

物体識別部１０７は、点群クラスタリング部１０３から出力されたクラスタリング処理の処理結果に基づいて、車両５０の周囲に存在する物体を認識するものであり、その認識結果を物体位置・形状・姿勢推定部１０８に出力する。具体的には、物体識別部１０７は、クラスタリングされた測距点に基づいて、三次元座標における物体の位置、形状やサイズを判定し、その判定結果に基づいてその物体を認識する。例えば、三次元座標においてクラスタリングされた測距点により特定される形状がＬ字形状であり、クラスタリングされた測距点により特定されるサイズが比較的大きいものである場合には、その物体が車両であると判定される。

【0028】

物体位置・形状・姿勢推定部１０８は、物体識別部１０７から出力された認識結果に基づいて、車両５０の周囲に存在する物体の位置、形状、姿勢等を推定するものであり、その推定結果を他のシステムに出力する。具体的には、物体位置・形状・姿勢推定部１０８は、物体識別部１０７により認識された物体について、三次元座標における物体の位置、形状やサイズに基づいてその物体の位置、形状、姿勢等を推定する。例えば、物体識別部１０７により車両と認識された物体については、クラスタリングされた測距点に車両に相当する直方体をフィッティングして、その車両の位置、形状、姿勢等を推定する。

【0029】

［測距点群のクラスタリング処理例］
図２は、物体認識システム１による測距点群のクラスタリング処理を模式的に示す図である。すなわち、物体認識システム１が周囲に存在する物体、例えば車両６０、７０、壁８０について三次元点間距離に基づくクラスタリング処理を実行する場合の例を示す。なお、図２では、説明を容易にするため、出射波の数を少なくして簡略化した例を示す。また、車両６０のボディカラーは白であり、車両７０のボディカラーは黒であるものとする。また、車両５０を基準として車両６０、７０の遠方には、壁８０が存在するものとする。

【0030】

図２では、車両５０に搭載されている測距センサ２０から出射された複数の出射波２００を実線または点線の直線で示す。また、複数の出射波２００のうち、車両５０の周囲の物体により反射されて反射波が検出された出射波については実線で示し、出射波に対する反射強度が弱く反射波を検出できなかった出射波については点線で示す。すなわち、点線で示す出射波２００は、出射波に対する反射率が低い物体表面に出射されたものである。

【0031】

上述したように、車両６０のボディカラーは白であるため、測距センサ２０から出射された複数の出射波に対する車両６０のボディ表面における反射率が高く、従って反射波の反射強度が強く反射波を検出できる可能性が高い。このため、車両６０については、測距センサ２０から車両６０に出射された複数の出射波に対する反射波の検出により５つの測距点２０１乃至２０５が求められたものとする。また、車両７０のボディカラーは黒であるため、測距センサ２０から出射された複数の出射波に対する車両６０のボディ表面における反射率が低く、従って反射波の反射強度が弱く反射波を検出できない可能性がある。このため、車両７０については、測距センサ２０から車両７０に出射された複数の出射波に対する反射波の検出により６つの測距点２１０乃至２１５が求められたものとする。この場合に、測距点２１３、２１４間には、出射波に対する反射強度が弱く反射波を検出できない領域が存在するものとする。また、壁８０については、反射波の検出により４つの測距点２０６乃至２０９が求められたものとする。

【0032】

また、測距点２０１乃至２０５については、各三次元点間距離が予め設定されている所定の結合距離よりも小さいため、点群クラスタリング部１０３により同一物体に属すると判定される。また、測距点２０６乃至２０９についても、各三次元点間距離が予め設定されている所定の結合距離よりも小さいため、点群クラスタリング部１０３により同一物体に属すると判定される。図２では、同一物体に属すると判定された測距点２０１乃至２０５、２０６乃至２０９を点線の丸２３１、２３３で囲んで示す。

【0033】

ここで、測距点２０５及び測距点２０６間の距離と、測距点２０９及び測距点２１０間の距離と、測距点２１３及び測距点２１４間の距離とは、矢印２４０乃至２４２に示すように、比較的離れている。ただし、測距点２０６、２０９は壁８０からの反射波に対応するものであるのに対し、測距点２０５は車両６０からの反射波に対応し、測距点２１０は車両７０からの反射波に対応するものである。また、測距点２０５及び測距点２０６間の三次元点間距離と、測距点２０９及び測距点２１０間の三次元点間距離とは、予め設定されている所定の結合距離よりも離れているものとする。このため、点群クラスタリング部１０３は、測距点２０５及び測距点２０６、測距点２０９及び測距点２１０は、それぞれ同一物体に属さないと判定する。一方、測距点２１３及び測距点２１４は、両測距点共に車両７０からの反射波に対応するものである。また、測距点２１３及び測距点２１４間の三次元点間距離も、予め設定されている所定の結合距離よりも離れているものとする。ただし、第１実施形態では、測距点２１３及び測距点２１４間の画像領域に基づいて、予め設定されている所定の結合距離を大きな値に変更して測距点２１３及び測距点２１４が同一物体に属すると判定する。すなわち、測距点２１０乃至２１５については、点群クラスタリング部１０３により同一物体に属すると判定される。この判定例については、図４を参照して詳細に説明する。なお、図２では、同一物体に属すると判定された測距点２１０乃至２１５を点線の丸２３２で囲んで示す。

【0034】

［非検出方向の画像領域抽出例］
図３は、測距センサ２０により取得された測距点と、撮像装置３０により生成された画像との関係を示す図である。図３では、ボディが黒である車両９０を例にして説明する。なお、図３では、車両９０を見やすくするため、車両９０を黒色とせず白抜きで示す。

【0035】

図３の左側には、測距センサ２０により取得された測距点を矩形３００内に点線で簡略化して示す。なお、図３では、測距センサ２０により取得された測距点のうち、撮像装置３０の撮像対象となる範囲（撮像範囲）と重複する範囲の測距点を矩形３００内に示す。また、矩形３００内に示す測距点のうちの一部、すなわち、点線の矩形３０１内に示す部分を拡大した画像を矩形３１０内に示す。

【0036】

図３の右側には、撮像装置３０により生成された画像３３０を簡略化して示す。また、画像３３０の下側には、画像３３０の一部、すなわち、点線の矩形３３１内に示す部分を拡大した画像３４０を示す。

【0037】

図３に示すように、測距センサ２０の測距範囲と、撮像装置３０の撮像範囲とが重複するように、測距センサ２０及び撮像装置３０は車両５０に設置される。

【0038】

なお、図３では、矩形３１０内の測距点のうち、測距点３１１、３２０を例にして説明する。上述したように、車両９０のボディは黒であるため、車両９０のボディからの反射強度が弱く、測距点３１１、３２０の間には反射波を検出できない出射方向、すなわち非検出方向が存在するものとする。図３では、非検出方向に対応する部分を、点線の丸３１２乃至３１９で示す。

【0039】

また、画像３４０内には、矢印３５１、３５２に示すように、測距点３１１、３２０を投影した点３４１、３４２を示す。また、点３４１、３４２間の領域を画像領域３４３として点線の矩形で示す。

【0040】

画像領域抽出部１０５は、点群クラスタリング部１０３からの情報、すなわち判定対処となる２つの測距点に関する情報に基づいて画像領域３４３を抽出する。また、結合距離計算部１０６は、画像領域３４３に基づいて、測距点３１１、３２０が同一物体に属するか否かを判定する際に用いる結合距離を算出する。また、点群クラスタリング部１０３は、結合距離計算部１０６により算出された結合距離に基づいて、測距点３１１、３２０が同一物体に属するか否かを判定する。この判定例を図４に示す。

【0041】

［測距点群のクラスタリング処理例］
図４は、ＥＣＵ１０による測距点群のクラスタリング処理の処理手順の一例を示すフローチャートである。なお、この処理手順は、記憶装置（図示省略）に記憶されているプログラムに基づいて実行される。また、この処理手順は、所定間隔（例えば数ミリ秒程度）で繰り返し実行される。

【0042】

ステップＳ４０１において、ＥＣＵ１０は、測距センサ２０から出力された測距情報と、撮像装置３０から出力された画像とを取得する。すなわち、点群取得部１０１は、測距センサ２０から出力された測距情報を取得し、画像取得部１０４は、撮像装置３０から出力された画像を取得する。このように取得された測距情報に含まれる測距点群の各測距点について、ステップＳ４０２からステップＳ４１３において、同一物体に属する測距点を探索、判定する処理を繰り返す。

【0043】

ステップＳ４０２において、点群クラスタリング部１０３は、測距点群のうちから、クラスタリング処理が実行されていない測距点を一点選択する。なお、図４では、測距点群のうち、ステップＳ４０２からステップＳ４１２の処理の対象となる点を対象測距点と称して説明する。また、非検出方向抽出部１０２は、測距センサ２０から出力された測距情報に基づいて非検出方向を抽出する。

【0044】

ステップＳ４０３において、点群クラスタリング部１０３は、対象測距点から所定範囲内に他の測距点が存在するか否かを判定する。ここで、所定範囲内は、例えば対象測距点を中心として所定の長さを半径とする球内とすることができる。なお、所定範囲としての球の半径は、各種の実験データを用いて適宜設定することができる。また、図４では、対象測距点から所定範囲内に存在する他の測距点の集合を対象測距点の近傍点群と称して説明する。対象測距点から所定範囲内に他の測距点が存在しない場合には、ステップＳ４０４に進む。一方、対象測距点から所定範囲内に他の測距点が存在する場合には、ステップＳ４０５に進み、近傍点群に含まれる各測距点について対象測距点と同一物体に属するか否かを判定するステップＳ４０５からステップＳ４１２の各処理を繰り返す。

【0045】

ステップＳ４０４において、点群クラスタリング部１０３は、対象測距点をノイズと判定する。そして、ステップＳ４１３に進む。

【0046】

ステップＳ４０５において、点群クラスタリング部１０３は、近傍点群から一点を選択する。なお、図４では、ステップＳ４０５で選択された近傍点を対象近傍点と称して説明する。すなわち、対象測距点及び対象近傍点は、クラスタリング処理の対象となる２つの測距点である。

【0047】

ステップＳ４０６において、点群クラスタリング部１０３は、非検出方向抽出部１０２による抽出結果に基づいて、対象測距点及び対象近傍点間に非検出方向が存在するか否かを判定する。例えば、図２に示す例では、測距点２１３、２１４間に非検出方向が存在する。この場合には、測距点２１３、２１４のうちの一方が対象測距点であり、他方が対象近傍点であるときに、対象測距点及び対象近傍点間に非検出方向が存在すると判定される。また、図３に示す例では、測距点３１１、３２０間に、点線の丸３１２乃至３１９で示すように非検出方向が存在する。この場合には、測距点３１１、３２０のうちの一方が対象測距点であり、他方が対象近傍点であるときに、対象測距点及び対象近傍点間に非検出方向が存在すると判定される。

【0048】

対象測距点及び対象近傍点間に非検出方向が存在しない場合には、ステップＳ４０９に進む。すなわち、対象測距点及び対象近傍点間に非検出方向が存在しない場合には、ステップＳ４０８で結合距離を計算せずに、予め設定されている所定の結合距離を用いる。また、対象測距点及び対象近傍点間に非検出方向が存在する場合には、ステップＳ４０７に進む。

【0049】

ステップＳ４０７において、画像領域抽出部１０５は、撮像装置３０により生成された画像上に対象測距点及び対象近傍点を投影し、対象測距点及び対象近傍点間の画像領域を抽出する。

【0050】

例えば、図３に示す例において、矩形３１０内の測距点３１１を対象測距点とし、測距点３２０を対象近傍点とする場合を想定する。この場合には、矢印３５１、３５２で示すように、画像領域抽出部１０５は、撮像装置３０により生成された画像３３０上に測距点３１１、測距点３２０を投影し、測距点３１１及び測距点３２０間の画像領域３４３を抽出する。

【0051】

ステップＳ４０８において、結合距離計算部１０６は、画像領域抽出部１０５により抽出された画像領域に基づいて、予め設定されている所定の結合距離よりも大きい値の結合距離を計算して設定する。なお、対象測距点及び対象近傍点間に非検出方向が存在しない場合には、予め設定されている所定の結合距離を用いるため、結合距離は計算されない。

【0052】

第１実施形態では、画像領域抽出部１０５により抽出された画像領域について、その画像の輝度値、その画像の色、その画像により推定される材質、その画像の輝度値の分散、その画像の色の分散を用いて結合距離を計算して設定する例を示す。以下では、これらの計算例について順次説明する。

【0053】

最初に、画像の輝度値を用いる例を示す。具体的には、結合距離計算部１０６は、画像領域抽出部１０５により抽出された画像領域に基づいて、対象測距点及び対象近傍点間の画像の輝度値を求める。なお、輝度値は、車両９０に照射した環境光が車両９０のボディ表面で反射した反射光の明るさの指標である。そして、結合距離計算部１０６は、対象測距点及び対象近傍点間の画像の輝度値に基づいて結合距離を設定する。例えば、画像領域抽出部１０５により抽出された画像領域における各画素の輝度値のうちから最大値を求め、最大値の大きさに応じて、結合距離を設定する。例えば、輝度値の最大値が小さくなるのに応じて、結合距離の値を大きくすることができる。また、例えば、画像領域抽出部１０５により抽出された画像領域における各画素の輝度値のうちから最小値を求め、最小値の大きさに応じて、結合距離を設定する。例えば、輝度値の最小値が小さくなるのに応じて、結合距離の値を大きくすることができる。また、例えば、画像領域抽出部１０５により抽出された画像領域における各画素の輝度値の平均値を求め、平均値の大きさに応じて、結合距離を設定する。例えば、輝度値の平均値が小さくなるのに応じて、結合距離の値を大きくすることができる。すなわち、対象測距点及び対象近傍点間の画像の輝度値（輝度値の最大値、最小値、あるいは平均値）が小さい場合には大きい場合に比して、車両９０のボディ表面反射率が低いために対象測距点及び対象近傍点間に照射した出射波に対する反射波が弱い可能性が高いと判定して、結合距離の値を大きくする。なお、輝度値が所定値以上である場合には、物体の表面反射率が高いと推定できるため、結合距離の値を変更しない（予め設定されている所定の結合距離を設定する）ようにしてもよい。

【0054】

次に、画像の色を用いる例を示す。具体的には、結合距離計算部１０６は、画像領域抽出部１０５により抽出された画像領域に基づいて、対象測距点及び対象近傍点間の画像の色を求める。そして、結合距離計算部１０６は、対象測距点及び対象近傍点間の画像の色に基づいて結合距離を設定する。例えば、画像領域抽出部１０５により抽出された画像領域における色を判定し、この判定された色に特定色が含まれるか否かに応じて、結合距離を決定する。なお、特定色は、例えば、黒や黒に近い色等の暗い色（すなわち反射率が低い色）とすることができる。例えば、画像領域抽出部１０５により抽出された画像領域に特定色が含まれている場合に、所定の結合距離よりも結合距離の値を大きくすることができる。この場合に、画像領域抽出部１０５により抽出された画像領域に含まれる特定色の割合に応じて、結合距離を設定することができる。例えば、特定色の割合が大きくなるのに応じて、結合距離の値を大きくすることができる。また、例えば、画像領域抽出部１０５により抽出された画像領域に含まれる特定色の程度に応じて、結合距離を設定することができる。例えば、黒の濃さが高くなるのに応じて、結合距離の値を大きくすることができる。すなわち、対象測距点及び対象近傍点間の画像の色が黒や黒に近い色のような反射率が低い予め定められた色である場合には、それ以外の色である場合に比して、車両９０のボディ表面反射率が低いために対象測距点及び対象近傍点間に照射した出射波に対する反射波が弱い可能性が高いと判定して、結合距離の値を大きくする。なお、画像領域抽出部１０５により抽出された画像領域における色が特定色でない場合には、物体の表面反射率が高いと推定できるため、結合距離の値を変更しない（予め設定されている所定の結合距離を設定する）ようにしてもよい。

【0055】

次に、画像により推定される材質を用いる例を示す。具体的には、結合距離計算部１０６は、画像領域抽出部１０５により抽出された画像領域に基づいて、対象測距点及び対象近傍点間の材質を推定する。なお、材質として、例えば、金属、繊維、樹脂、路面等の材質を推定する。この推定方法として、例えば、ディープラーニング等を用いて求められた情報に基づいて材質を推定する方法を採用することができる。そして、結合距離計算部１０６は、対象測距点及び対象近傍点間の材質に基づいて結合距離を設定する。例えば、画像領域抽出部１０５により抽出された画像領域における材質を推定し、この推定された材質の推定反射率に応じて、結合距離を設定することができる。例えば、画像領域抽出部１０５により抽出された画像領域における材質が金属であると推定された場合に、金属の反射率は高いと推定されるため、比較的低い値の結合距離を設定する。また、例えば、画像領域抽出部１０５により抽出された画像領域における材質が繊維であると推定された場合に、繊維の反射率は低いと推定されるため、比較的高い値の結合距離を設定する。なお、材質を推定する場合には、画像領域抽出部１０５により抽出された画像領域の周囲の画像も用いて推定するようにしてもよい。

【0056】

このように、第１実施形態では、画像領域抽出部１０５により抽出された画像領域に基づいて、その画像領域に対応する物体の表面反射率を推定し、その推定された反射率に基づいて結合距離の大きさを設定する。すなわち、その画像領域における輝度値や色に基づいて、その画像領域に対応する物体の表面反射率が高いか低いかを推定することができる。そして、その推定された反射率が高い場合には、結合距離を変更しない（予め設定されている所定の結合距離を設定する）。一方、その推定された反射率が低い場合には、予め設定されている所定の結合距離よりも大きな値を設定する。

【0057】

次に、画像の輝度値の分散、画像の色の分散を用いる例を示す。具体的には、結合距離計算部１０６は、対象測距点及び対象近傍点間の画像の輝度値や色の分散に基づいて結合距離を設定する。なお、輝度値の分散は、車両９０に照射した環境光が車両９０のボディ表面で反射した反射光の輝度値の散らばりの度合いを意味する。また、色の分散は、色の散らばりの度合いを意味する。例えば、画像領域抽出部１０５により抽出された画像領域内の色が似ている場合、すなわち色の変化が少ない場合や、その画像領域内の明るさに差がない場合には、その画像領域が同一物体の領域であると推定することができる。そこで、例えば、画像領域抽出部１０５により抽出された画像領域における各画素の輝度値のうちから最大値と最低値を求め、最大値と最低値の差分値が所定範囲内であるか否かに基づいて、結合距離を設定することができる。例えば、その差分値が所定範囲内である場合には、結合距離の値を大きくすることができる。すなわち、対象測距点及び対象近傍点間の画像の輝度値あるいは色の分散が小さい場合には大きい場合に比して、その画像領域が同一物体の領域であるが、車両９０のボディ表面反射率が低いために対象測距点及び対象近傍点間に照射した出射波に対する反射波が弱い可能性が高いと判定して、結合距離の値を大きくする。その差分値が所定範囲よりも大きい場合には、予め設定されている所定の結合距離から結合距離の値を変更しない（予め設定されている所定の結合距離を設定する）。なお、ここで示す所定範囲は、各種の実験データを用いて適宜設定することができる。

【0058】

また、例えば、画像領域抽出部１０５により抽出された画像領域における色を判定し、その判定された色の種類が所定範囲内であるか否かに基づいて、結合距離を設定することができる。例えば、その判定された色の種類が所定範囲内である場合、例えば同一色または略同一色である場合には、結合距離の値を大きくすることができる。その種類が所定範囲よりも多い場合、例えば複数色である場合には、結合距離の値を変更しない（予め設定されている所定の結合距離を設定する）。なお、ここで示す所定範囲は、各種の実験データを用いて適宜設定することができる。

【0059】

このように、画像領域抽出部１０５により抽出された画像領域の色の変化が少ない場合や明るさの変化が少ない場合には、その画像領域が同一物体に含まれると推定し、結合距離の値を大きくする。なお、上述した各要素を適宜組み合わせて結合距離を計算するようにしてもよい。

【0060】

ステップＳ４０９において、点群クラスタリング部１０３は、対象測距点及び対象近傍点間の三次元点間距離と結合距離とを比較する。この比較では、対象測距点及び対象近傍点間に非検出方向が存在しない場合には、予め設定されている所定の結合距離が用いられる。また、対象測距点及び対象近傍点間に非検出方向が存在する場合には、ステップＳ４０８で求められた結合距離が用いられる。

【0061】

そして、対象測距点及び対象近傍点間の距離が結合距離よりも小さい場合には、ステップＳ４１０に進み、点群クラスタリング部１０３は、対象測距点及び対象近傍点は同一物体に属すると判定する。なお、この例では、対象測距点及び対象近傍点間の距離が結合距離よりも小さい場合には、対象測距点及び対象近傍点間の距離と結合距離とが同一の場合も含むものとする。一方、対象測距点及び対象近傍点間の距離が結合距離よりも大きい場合には、ステップＳ４１１に進み、点群クラスタリング部１０３は、対象測距点及び対象近傍点は同一物体に属さないと判定する。

【0062】

ステップＳ４１２において、点群クラスタリング部１０３は、近傍点群の中に未処理の測距点があるか否かを判定する。近傍点群の中に未処理の測距点が存在する場合には、ステップＳ４０５に戻る。一方、近傍点群の中に未処理の測距点が存在しない場合には、ステップＳ４１３に進む。

【0063】

ステップＳ４１３において、点群クラスタリング部１０３は、測距点群の中に未処理の測距点が存在するか否かを判定する。測距点群の中に未処理の測距点が存在する場合には、ステップＳ４０２に戻る。一方、測距点群の中に未処理の測距点が存在しない場合には、測距点群のクラスタリング処理を終了する。

【0064】

ここで、クラスタリング処理の判定対象として選択された２つの測距点間に、反射率が低い物体表面が存在する場合には、反射率が低いことによって反射波が検出されていない可能性がある。このため、第１実施形態では、その２つの測距点間に反射率が低い物体表面が存在すると推定される場合には、結合距離を大きな値に変更する。すなわち、撮像装置３０により生成された画像に基づいて、検出対象物体の表面反射率を推定し、その推定反射率が低い場合には、測距点群クラスタの生成に必要な点群密度を低くする。言い換えると、その推定反射率が低い場合には、結合距離を大きな値に変更し、クラスタを生成しやすくする。これにより、反射率の低い物体、例えば、黒いボディの車両のクラスタリング精度を向上させることができ、対象物体の形状、姿勢の認識性能を向上させることができる。

【0065】

以上では、画像領域抽出部１０５により抽出された画像領域に基づいて結合距離を計算する例を示したが、他の要素を組み合わせて結合距離を計算するようにしてもよい。例えば、測距センサ２０から対象測距点及び対象近傍点までの距離に基づいて、結合距離を計算することができる。なお、測距センサ２０から対象測距点及び対象近傍点までの距離は、例えば、測距センサ２０から、対象測距点及び対象近傍点間の中点等の代表点までの距離とすることができる。例えば、測距センサ２０から対象測距点及び対象近傍点までの距離が大きくなるのに応じて、結合距離をさらに大きくするように計算する。

【0066】

また、測距センサ２０と対象測距点及び対象近傍点の中点とを通る直線と、対象測距点及び対象近傍点を通る直線のなす角に基づいて、結合距離を計算することができる。例えば、図２に示す例において、対象測距点を測距点２１３とし、対象近傍点を測距点２１４とする場合を想定する。この場合には、測距点２１３及び測距点２１４の中点２４３と測距センサ２０とを通る直線２４４と、測距点２１３及び測距点２１４を通る直線２４２とのなす角はθである。例えば、そのなす角θが小さくなるのに応じて、結合距離をさらに大きくするように計算する。

【0067】

［第１実施形態の作用効果］
第１実施形態に係る物体認識方法は、車両５０の周囲に出射波を出射し、その出射波に対する物体からの反射波を受波して測距点を求める測距センサ２０と、測距センサ２０から取得された複数の測距点について判定対象として選択された２つの測距点が同一物体に属するか否かを順次判定するＥＣＵ１０（コントローラの一例）とを備える物体認識システム１を用いた物体認識方法である。この物体認識方法は、測距センサ２０から測距点を取得し、測距センサ２０による測距範囲と撮像範囲が重複する画像を撮像装置３０から取得する取得ステップ（ステップＳ４０１）と、２つの測距点の三次元点間距離が結合距離（予め定められた所定の距離である閾値の一例）を基準として小さい場合に、その２つの測距点が同一物体に属すると判定する判定ステップ（ステップＳ４０２乃至Ｓ４１３）とを含む。この判定ステップは、反射波を検出できない出射波に対応する出射方向（非検出方向）が２つの測距点間に存在する場合には、撮像装置３０から取得された画像に基づいて、結合距離（閾値の一例）を設定して判定を行う。

【0068】

このような物体認識方法によれば、反射率が低く反射波を検出できない領域（以下では、非検出領域と称する）が検出対象物体表面に存在する場合には、結合距離（閾値の一例）を画像に基づいて適切に設定することができる。このため、反射率の低い物体に対するクラスタリング精度を向上させることができる。

【0069】

また、第１実施形態に係る物体認識方法では、判定ステップ（ステップＳ４０８）は、撮像装置３０から取得された画像のうち、反射波を検出できない出射波に対応する出射方向（非検出方向）が存在する２つの測距点間の領域に対応する画像を用いて、結合距離（閾値の一例）を大きな値に設定する。

【0070】

このような物体認識方法によれば、非検出領域が検出対象物体表面に存在する場合には、非検出領域に対応する画像に基づいて結合距離（閾値の一例）を設定することができるため、クラスタリング精度を向上させることができる。

【0071】

また、第１実施形態に係る物体認識方法では、判定ステップ（ステップＳ４０８）は、２つの測距点間の領域に対応する画像の輝度値が小さい場合には大きい場合に比して結合距離（閾値の一例）の大きさを大きな値に設定する。

【0072】

ここで、非検出領域に対応する画像領域の輝度値が全体的に小さいほど、非検出領域の色が暗く、出射波に対する反射率も低い可能性が高いと推測される。そこで、このような物体認識方法によれば、非検出領域に対応する画像領域の輝度値が全体的に小さいほど、結合距離（閾値の一例）を大きな値に設定することにより、反射率の低い物体に対するクラスタリング精度を向上させることができる。

【0073】

また、第１実施形態に係る物体認識方法では、判定ステップ（ステップＳ４０８）は、２つの測距点間の領域に対応する画像の輝度値もしくは色の分散が小さい場合には大きい場合に比して結合距離（閾値の一例）の大きさを大きな値に設定する。

【0074】

ここで、非検出領域に対応する画像領域の輝度値もしくは色の分散が小さいほど、非検出領域の色が均一であり、１つの物体に対応する可能性が高いと推測される。そこで、このような物体認識方法によれば、非検出領域に対応する画像領域の輝度値もしくは色の分散が小さいほど、結合距離（閾値の一例）を大きな値に設定することにより、反射率の低い物体に対するクラスタリング精度を向上させることができる。

【0075】

また、第１実施形態に係る物体認識方法では、判定ステップ（ステップＳ４０８）は、２つの測距点間の領域に対応する画像の色が、出射波の反射率が低い予め定められた色である場合には、そうでない場合に比して結合距離（閾値の一例）の大きさを大きな値に設定する。

【0076】

ここで、非検出領域に対応する画像領域の色が暗い色であれば、出射波に対する反射率も低い可能性が高いと推測される。そこで、このような物体認識方法によれば、非検出領域に対応する画像領域の色が暗い色である場合には、結合距離（閾値の一例）を大きな値に設定することにより、反射率の低い物体に対するクラスタリング精度を向上させることができる。

【0077】

また、第１実施形態に係る物体認識方法では、判定ステップ（ステップＳ４０６乃至Ｓ４０８）は、反射波を検出できない出射方向（非検出方向）が存在する２つの測距点間については、２つの測距点間の領域に対応する画像に基づいて、出射波に対する反射率が低い物体表面が存在するか否かを判定し、反射率が低い物体表面が存在すると判定された場合には、結合距離（閾値の一例）を大きい値に設定する。

【0078】

ここで、物体表面の反射率が小さいほど反射波の強度が弱くなり、物体表面における測距点の密度が疎になる。そこで、このような物体認識方法によれば、反射率が低い物体表面が存在すると判定された場合に結合距離を大きくすることで、離れた測距点同士が同一物体に属すると判定しやすくなる。このため、反射率の低い物体に対するクラスタリング精度を向上させることができる。

【0079】

また、第１実施形態に係る物体認識方法では、判定ステップ（ステップＳ４０６乃至Ｓ４０８）は、２つの測距点間の領域に対応する画像に基づいて、その画像に対応する物体の表面反射率を推定し、その推定された反射率に基づいて、結合距離（閾値の一例）の大きさを設定する。

【0080】

このような物体認識方法によれば、物体の表面反射率の推定結果に基づいて、結合距離を大きくすることで、離れた測距点同士を同一物体に属すると判定しやすくすることができ、反射率の低い物体に対するクラスタリング精度を向上させることができる。

【0081】

また、第１実施形態に係る物体認識方法では、判定ステップ（ステップＳ４０８）は、測距センサ２０から２つの測距点までの距離に基づいて、結合距離（閾値の一例）の大きさを設定する。

【0082】

ここで、検出対象物体が遠方であるほど反射波の強度が弱くなり、物体表面における測距点の密度が疎になる。そこで、このような物体認識方法によれば、測距センサ２０から２つの測距点までの距離が大きくなるのに応じて、結合距離を大きくすることで、離れた測距点同士が同一物体に属すると判定しやすくなる。このため、遠方の反射率の低い物体に対するクラスタリング精度を向上させることができる。

【0083】

また、第１実施形態に係る物体認識方法では、判定ステップ（ステップＳ４０８）は、測距センサ２０と２つの測距点の中点とを通る直線と、その２つの測距点を通る直線のなす角に基づいて、結合距離（閾値の一例）の大きさを設定する。

【0084】

ここで、出射波と検出対象物体表面のなす角が小さいほど、反射波の強度が弱くなり、物体表面における測距点の密度が疎になる。そこで、このような物体認識方法によれば、そのなす角が小さくなるのに応じて、結合距離を大きくすることで、離れた測距点同士が同一物体に属すると判定しやすくなる。このため、反射率の低い物体に対するクラスタリング精度を向上させることができる。

【0085】

また、第１実施形態に係る物体認識システム１は、車両５０の周囲に出射波を出射し、その出射波に対する物体からの反射波を受波して測距点を求める測距センサ２０と、測距センサ２０から得られた複数の測距点のうち、判定対象として選択された２つの測距点の三次元点間距離が結合距離（閾値の一例）を基準として小さい場合に、その２つの測距点が同一物体に属すると判定するＥＣＵ１０（コントローラの一例）とを備える。また、物体認識システム１は、測距センサ２０による測距範囲と撮像範囲とが重複するように車両５０に設置され、その撮像範囲の画像を生成する撮像装置３０を備える。また、ＥＣＵ１０は、反射波を検出できない出射波に対応する出射方向（非検出方向）が２つの測距点間に存在する場合には、撮像装置３０により生成された画像に基づいて、結合距離（閾値の一例）を設定して判定を行う。

【0086】

このような物体認識システム１によれば、非検出領域が検出対象物体表面に存在する場合には、結合距離（閾値の一例）を画像に基づいて適切に設定することができる。このため、反射率の低い物体に対するクラスタリング精度を向上させることができる。

【0087】

［第２実施形態］
第２実施形態では、第１実施形態で示した画像領域抽出部１０５（図１参照）の代わりに物体認識システムが画像物体検出部５０１を備える例を示す。なお、第２実施形態は、第１実施形態の一部を変形した例であり、第１実施形態と共通する部分については、図示及びその説明の一部を省略する。

【0088】

［物体認識システムの構成例］
図５は、第２実施形態における物体認識システム５の機能構成例を示すブロック図である。物体認識システム５は、画像物体検出部５０１をＥＣＵ１１に備える。

【0089】

画像物体検出部５０１は、撮像装置３０により生成された画像に含まれる物体を検出するものであり、その検出結果を結合距離計算部１０６に出力する。例えば、画像物体検出部５０１は、撮像装置３０により生成された画像における各物体の位置、大きさ、属性を検出し、その画像とその検出結果とを結合距離計算部１０６に出力する。なお、各物体の位置は、例えば２次元座標上の位置として特定可能である。また、各物体の大きさは、例えば、矩形状のサイズとして特定可能である。また、各物体の属性として、例えば、乗用車、トラック、バイク、人間を特定可能である。なお、各物体の属性として、それらの色や形状を特定することも可能である。

【0090】

なお、画像物体検出部５０１は、撮像装置３０により生成された画像に含まれる物体のうち、特定の物体のみを検出し、その検出結果を結合距離計算部１０６に出力するようにしてもよい。例えば、車両５０の周囲に存在すると想定される乗用車、トラック、バイク、人間を特定の物体とすることができる。なお、物体検出方法として、公知の検出方法を採用することができる。例えば、時系列で連続する複数の画像間の比較により移動体を検出する検出方法、テンプレートマッチングを用いた検出方法、ディープラーニングを用いた検出方法等を採用することができる。

【0091】

結合距離計算部１０６は、点群クラスタリング部１０３から出力された判定対象の２つの測距点、すなわち対象測距点及び対象近傍点と、画像物体検出部５０１から出力された検出結果とに基づいて、結合距離を計算して設定する。

【0092】

具体的には、結合距離計算部１０６は、点群クラスタリング部１０３から出力された判定対象の２つの測距点が、画像物体検出部５０１により検出された物体に含まれるか否かを判定する。すなわち、結合距離計算部１０６は、画像物体検出部５０１から出力された検出結果に基づいて、その２つの測距点が同一物体上に含まれるか否かを判定する。次に、結合距離計算部１０６は、その２つの測距点が同一物体上に含まれる場合には、結合距離を大きな値に設定する。一方、結合距離計算部１０６は、その２つの測距点が同一物体上に含まれない場合には、所定の結合距離を設定する。

【0093】

また、結合距離計算部１０６は、物体の属性を考慮して結合距離を計算するようにしてもよい。例えば、結合距離計算部１０６は、画像物体検出部５０１により検出された物体の属性に基づいて、その物体の反射率が高いか低いかを判定することができる。例えば、車両の反射率は高いと判定できる。ただし、車両の反射率はボディの色によって異なる。例えば、白いボディの車両の反射率は高いが、黒いボディの車両の反射率は、白いボディの車両の反射率よりも低いと判定できる。また、人間の反射率は低いと判定できる。ただし、人間の反射率も身に着けている服の素材や色によって異なる。

【0094】

このように、結合距離計算部１０６は、画像物体検出部５０１により検出された物体の属性に基づいて、その物体の反射率を推定し、その推定結果に基づいて結合距離を求めることができる。すなわち、結合距離計算部１０６は、画像物体検出部５０１により検出された物体の属性に基づいて、その物体の反射率が高いか低いかを判定し、その判定結果に基づいて、結合距離を計算することができる。例えば、結合距離計算部１０６は、判定対象の２つの測距点が白いボディの車両に含まれる場合には、白いボディの車両の反射率は高いと判定されるため、黒いボディの車両の結合距離よりも小さい値とする。

【0095】

また、結合距離計算部１０６は、画像物体検出部５０１により検出された物体の属性に基づいて、その物体のサイズが大きいか小さいかを判定し、その判定結果に基づいて結合距離を求めることができる。例えば、車両のうち、トラックのサイズは大きく、乗用車のサイズは、トラックのサイズよりも小さいと判定できる。また、人間のサイズは、車両のサイズよりも小さいと判定できる。例えば、結合距離計算部１０６は、判定対象の２つの測距点がトラックに含まれる場合には、トラックのサイズは大きいため、他の物体と比較して結合距離を大きい値に設定する。

【0096】

なお、物体識別部１０７及び物体位置・形状・姿勢推定部１０８は、画像物体検出部５０１の検出結果を用いて、物体の認識、物体の位置、形状や姿勢の推定をするようにしてもよい。

【0097】

［測距点群のクラスタリング処理例］
図６は、ＥＣＵ１１による測距点群のクラスタリング処理の処理手順の一例を示すフローチャートである。なお、この処理手順は、記憶装置（図示省略）に記憶されているプログラムに基づいて実行される。また、この処理手順は、所定間隔（例えば数ミリ秒程度）で繰り返し実行される。なお、図６に示す処理は、図４に示す処理の一部を変形した例であり、図４に示す処理と共通する部分については、同一の符号を付してその説明の一部を省略する。

【0098】

ステップＳ４０１の処理後のステップＳ６０１において、画像物体検出部５０１は、撮像装置３０により生成された画像に含まれる物体と、その検出された物体の属性とを検出する。

【0099】

その後、ステップＳ４０６でＹｅｓの場合、ステップＳ６０２において、結合距離計算部１０６は、画像物体検出部５０１により検出された物体のうちから、対象測距点及び対象近傍点を含む物体を判定する。

【0100】

ステップＳ６０３において、結合距離計算部１０６は、対象測距点及び対象近傍点が、画像物体検出部５０１により検出された何れかの物体に含まれるか否かに基づいて結合距離を計算する。

【0101】

例えば、結合距離計算部１０６は、対象測距点及び対象近傍点が、画像物体検出部５０１により検出された何れかの物体に含まれる場合には、結合距離の値を大きくする。この場合に、結合距離計算部１０６は、画像物体検出部５０１により検出された物体の属性に基づいて、結合距離の大小を決定することができる。

【0102】

なお、第１実施形態と第２実施形態を組み合わせて結合距離を計算するようにしてもよい。すなわち、第１実施形態で示した物体認識システム１に画像物体検出部５０１を追加し、画像領域抽出部１０５により抽出された画像領域と、画像物体検出部５０１による検出結果とに基づいて、結合距離を計算するようにしてもよい。例えば、対象測距点及び対象近傍点間の物体表面の反射率が低い判定され、かつ、対象測距点及び対象近傍点が同一物体に含まれる場合には、結合距離をさらに大きくするように計算する。

【0103】

［第２実施形態の作用効果］
第２実施形態に係る物体認識方法は、撮像装置３０から取得された画像に含まれる物体を検出する物体検出ステップ（ステップＳ６０１）をさらに含む。また、判定ステップ（ステップＳ６０２、Ｓ６０３）は、撮像装置３０から取得された画像のうち、反射波を検出できない出射方向（非検出方向）が存在する２つの測距点に対応する画像が、物体検出ステップ（ステップＳ６０１）で検出された同一の物体に含まれる場合には、結合距離（閾値の一例）を大きい値に設定する。

【0104】

このような物体認識方法によれば、測距点が画像上のどの物体から得られた反射点か分かるため、反射率の低い物体に対するクラスタリング精度を向上させることができる。

【0105】

また、第２実施形態に係る物体認識方法では、物体検出ステップ（ステップＳ６０１）は、検出された物体の属性をさらに判定する。また、判定ステップ（ステップＳ６０２、Ｓ６０３）は、反射波を検出できない出射方向（非検出方向）が存在する２つの測距点に対応する画像が、物体検出ステップで検出された同一の物体に含まれる場合には、その物体の属性に基づいて、結合距離（閾値の一例）の大きさを設定する。

【0106】

このような物体認識方法によれば、画像で認識した検出物体の属性に応じて結合距離を設定できる。このため、１つの物体に対応する測距点群クラスタが複数に分割されたり、複数の物体に対応する測距点群クラスタが結合されたりする誤りを低減し、クラスタリング精度を向上させることができる。

【0107】

［第３実施形態］
第３実施形態では、第１実施形態で示した物体認識システム１（図１参照）において物体点群抽出部７０１を追加する例を示す。なお、第３実施形態は、第１実施形態の一部を変形した例であり、第１実施形態と共通する部分については、図示及びその説明の一部を省略する。

【0108】

［物体認識システムの構成例］
図７は、第３実施形態における物体認識システム７の機能構成例を示すブロック図である。物体認識システム７は、物体点群抽出部７０１をＥＣＵ１２に備える。

【0109】

物体点群抽出部７０１は、点群取得部１０１から出力された測距点群から、非検出対象物体からの反射波に対応する測距点を除去し、検出対象物体からの反射波に対応する測距点のみを抽出するものであり、その抽出結果を点群クラスタリング部１０３に出力する。なお、検出対象物体は、車両５０の周囲に存在し、物体認識システム７の認識対象となる物体であり、例えば、車両、バイク、人間等である。例えば、検出対象物体は、例えば、移動体とすることができる。また、非検出対象物体は、車両５０の周囲に存在する物体のうち、検出対象物体以外の物体であり、例えば、路面等の地面、建物、植え込み等である。

【0110】

物体点群抽出部７０１は、例えば、点群取得部１０１から出力された測距点群から、移動体を検出対象物体として抽出し、その抽出された移動体以外の背景を非検出対象物体として除去することにより実現できる。なお、図４、図６に示すステップＳ４０２において、物体点群抽出部７０１による検出対象物体の抽出処理が実行された後に、点群クラスタリング部１０３による未処理の測距点の選択処理が実行される。

【0111】

なお、第２実施形態で示した画像物体検出部５０１を用いて、点群取得部１０１から出力された測距点群から、非検出対象物体対応する測距点を除去し、非検出対象物体対応する測距点を抽出するようにしてもよい。例えば、画像物体検出部５０１は、撮像装置３０により生成された画像から検出対象物体及び非検出対象物体のうちの少なくとも一方を検出する。そして、物体点群抽出部７０１は、画像物体検出部５０１による検出結果を用いて非検出対象物体からの反射波に対応する測距点を除去し、検出対象物体からの反射波に対応する測距点のみを抽出する。

【0112】

このように、第３実施形態では、測距センサ２０から取得された測距点群と撮像装置３０から取得された画像との少なくとも１つに基づいて、検出対象物体からの反射波に対応する測距点を、判定対象となる測距点の候補として抽出することができる。これにより点群クラスタに非検出対象物体の反射点が混入するのを防ぎ、クラスタリング性能を向上させることができる。

【0113】

［第３実施形態の作用効果］
第３実施形態に係る物体認識方法は、判定ステップ（ステップＳ４０２乃至Ｓ４１３、Ｓ６０２、Ｓ６０３）は、複数の測距点と撮像装置３０から取得された画像とに基づいて、判定対象となる測距点の候補を抽出し、その抽出された測距点に対して判定を行う。

【0114】

このような物体認識方法によれば、路面等の検出対象外の測距点を予め除外することで、測距点群クラスタに路面等の非検出対象物の測距点が混入することを防ぐことができるため、クラスタリング精度を向上させることができる。

【0115】

なお、第１乃至第３実施形態で示した各処理は、各処理手順をコンピュータに実行させるためのプログラムに基づいて実行されるものである。このため、第１乃至第３実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、そのプログラムについては、車両に新機能を追加する際にアップデートにより車両の記憶装置に記憶させることができる。このアップデートは、例えば、車両の定期点検時等に行うことができる。また、ワイヤレス通信によりそのプログラムをアップデートするようにしてもよい。

【0116】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

【符号の説明】

【0117】

１、５、７ 物体認識システム
１０、１１、１２ ＥＣＵ
２０ 測距センサ
３０ 撮像装置
１０１ 点群取得部
１０２ 非検出方向抽出部
１０３ 点群クラスタリング部
１０４ 画像取得部
１０５ 画像領域抽出部
１０６ 結合距離計算部
１０７ 物体識別部
１０８ 物体位置・形状・姿勢推定部
５０１ 画像物体検出部
７０１ 物体点群抽出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】