▶ 株式会社日本自動車部品総合研究所の特許一覧 ▶ 株式会社デンソーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024037536
(43)【公開日】2024-03-19
(54)【発明の名称】認識システム
(51)【国際特許分類】
G08G 1/16 20060101AFI20240312BHJP
G06T 7/00 20170101ALI20240312BHJP
【ＦＩ】
G08G1/16 D
G06T7/00 650B
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022142454
(22)【出願日】2022-09-07
(71)【出願人】
【識別番号】000004695
【氏名又は名称】株式会社ＳＯＫＥＮ
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際弁理士法人
(72)【発明者】
【氏名】楠本 哲也
(72)【発明者】
【氏名】夏目 充啓
(72)【発明者】
【氏名】滝口 昌宏
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181AA28
5H181BB04
5H181BB13
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181EE02
5H181FF13
5H181FF27
5H181FF32
5L096AA06
5L096AA09
5L096BA04
5L096CA05
5L096DA02
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096HA09
(57)【要約】
【課題】周辺環境の物体を精度よく認識することが可能な技術を提供すること。
【解決手段】認識システムは、測距センサ１３と画像センサ１５と情報統合部１７とを備える。情報統合部１７は、測距処理部１９と物標状態推定部２１とを備える。測距処理部１９は、測距センサ１３により推定された情報を処理するように構成されている。物標状態推定部２１は、測距処理部１９にて処理された情報と画像センサ１５により推定された情報とに基づいて、物標の状態を推定するように構成されている。測距処理部１９は、画像センサ１５により推定された物標の境界から所定の範囲内に、測距センサ１３によって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成されている。
【選択図】図２
【解決手段】認識システムは、測距センサ１３と画像センサ１５と情報統合部１７とを備える。情報統合部１７は、測距処理部１９と物標状態推定部２１とを備える。測距処理部１９は、測距センサ１３により推定された情報を処理するように構成されている。物標状態推定部２１は、測距処理部１９にて処理された情報と画像センサ１５により推定された情報とに基づいて、物標の状態を推定するように構成されている。測距処理部１９は、画像センサ１５により推定された物標の境界から所定の範囲内に、測距センサ１３によって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成されている。
【選択図】図２
【特許請求の範囲】
【請求項1】
自身の周囲にある物標の状態を推定する認識システム（５）であって、
前記周囲を探査する探査波による反射波の信号に基づいて、前記物標に対応する点群の情報を求め、当該点群の情報から、前記物標の位置および種別のうち少なくとも前記物標の位置を推定するように構成された測距センサ（１３）と、
前記周囲を撮像した画像の信号に基づいて、前記物標の位置および前記種別のうち少なくとも前記物標の位置を推定するとともに、前記物標の境界を推定するように構成された画像センサ（１５）と、
前記測距センサにより推定された情報と前記画像センサにより推定された情報とに基づいて、前記物標の状態を推定するための処理を行うように構成された情報統合部（１７）と、
を備え、
前記情報統合部は、
前記測距センサにより推定された情報を処理するように構成された測距処理部（１９）と、
前記測距処理部にて処理された情報と前記画像センサにより推定された情報とに基づいて、前記物標の状態を推定するように構成された物標状態推定部（２１）と、
を有し、
前記測距処理部は、
前記画像センサにより推定された前記物標の境界から所定の範囲内に、前記測距センサによって位置が推定された前記物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成された、
認識システム。
前記周囲を探査する探査波による反射波の信号に基づいて、前記物標に対応する点群の情報を求め、当該点群の情報から、前記物標の位置および種別のうち少なくとも前記物標の位置を推定するように構成された測距センサ（１３）と、
前記周囲を撮像した画像の信号に基づいて、前記物標の位置および前記種別のうち少なくとも前記物標の位置を推定するとともに、前記物標の境界を推定するように構成された画像センサ（１５）と、
前記測距センサにより推定された情報と前記画像センサにより推定された情報とに基づいて、前記物標の状態を推定するための処理を行うように構成された情報統合部（１７）と、
を備え、
前記情報統合部は、
前記測距センサにより推定された情報を処理するように構成された測距処理部（１９）と、
前記測距処理部にて処理された情報と前記画像センサにより推定された情報とに基づいて、前記物標の状態を推定するように構成された物標状態推定部（２１）と、
を有し、
前記測距処理部は、
前記画像センサにより推定された前記物標の境界から所定の範囲内に、前記測距センサによって位置が推定された前記物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成された、
認識システム。
【請求項2】
自身の周囲にある物標の状態を推定する認識システム（５）であって、
前記周囲を探査する探査波による反射波の信号に基づいて、前記物標に対応する点群の情報を求め、当該点群の情報から、前記物標の位置および種別のうち少なくとも前記物標の位置を推定するように構成された測距センサ（１３）と、
前記周囲を撮像した画像の信号に基づいて、前記物標の位置および前記種別のうち少なくとも前記物標の位置を推定するとともに、前記物標の境界を推定するように構成された画像センサ（１５）と、
前記測距センサにより推定された情報と前記画像センサにより推定された情報とに基づいて、前記物標の状態を推定するための処理を行うように構成された情報統合部（１７）と、
を備え、
前記情報統合部は、
前記測距センサにより推定された情報を処理するように構成された測距処理部（１９）と、
前記測距処理部にて処理された情報と前記画像センサにより推定された情報とに基づいて、前記物標の状態を推定するように構成された物標状態推定部（２１）と、
を有し、
前記測距処理部は、
前記物標状態推定部により推定された前記物標の状態のうち、前記物標の境界を示す情報に基づいて、当該物標の境界から所定の範囲内に、前記測距センサによって位置が推定された前記物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成された、
認識システム。
前記周囲を探査する探査波による反射波の信号に基づいて、前記物標に対応する点群の情報を求め、当該点群の情報から、前記物標の位置および種別のうち少なくとも前記物標の位置を推定するように構成された測距センサ（１３）と、
前記周囲を撮像した画像の信号に基づいて、前記物標の位置および前記種別のうち少なくとも前記物標の位置を推定するとともに、前記物標の境界を推定するように構成された画像センサ（１５）と、
前記測距センサにより推定された情報と前記画像センサにより推定された情報とに基づいて、前記物標の状態を推定するための処理を行うように構成された情報統合部（１７）と、
を備え、
前記情報統合部は、
前記測距センサにより推定された情報を処理するように構成された測距処理部（１９）と、
前記測距処理部にて処理された情報と前記画像センサにより推定された情報とに基づいて、前記物標の状態を推定するように構成された物標状態推定部（２１）と、
を有し、
前記測距処理部は、
前記物標状態推定部により推定された前記物標の状態のうち、前記物標の境界を示す情報に基づいて、当該物標の境界から所定の範囲内に、前記測距センサによって位置が推定された前記物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成された、
認識システム。
【請求項3】
請求項１または請求項２に記載の認識システムであって、
前記測距センサは、少なくとも前記物標の位置の推定に加え、前記物標の境界を推定するように構成され、
前記測距処理部は、前記測距センサによって推定された前記複数の物標について、前記物標の境界を統合するように構成され、
前記物標状態推定部は、前記測距処理部にて統合された前記物標の境界を用いて、前記物標の大きさを推定するように構成された、
認識システム。
前記測距センサは、少なくとも前記物標の位置の推定に加え、前記物標の境界を推定するように構成され、
前記測距処理部は、前記測距センサによって推定された前記複数の物標について、前記物標の境界を統合するように構成され、
前記物標状態推定部は、前記測距処理部にて統合された前記物標の境界を用いて、前記物標の大きさを推定するように構成された、
認識システム。
【請求項4】
請求項２に記載の認識システムであって、
前記測距処理部は、
前記物標状態推定部が推定した前記物標の状態のうち、前記物標の境界を示す情報に基づいて、当該物標の境界から所定の範囲内に、前記測距センサによって位置が推定された前記物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成されるとともに、
前記画像センサにより推定された前記物標の境界から所定の範囲内に、前記測距センサによって位置が推定された前記物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成された、
認識システム。
前記測距処理部は、
前記物標状態推定部が推定した前記物標の状態のうち、前記物標の境界を示す情報に基づいて、当該物標の境界から所定の範囲内に、前記測距センサによって位置が推定された前記物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成されるとともに、
前記画像センサにより推定された前記物標の境界から所定の範囲内に、前記測距センサによって位置が推定された前記物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成された、
認識システム。
【請求項5】
請求項１または請求項２に記載の認識システムであって、
前記測距センサは、少なくとも前記物標の位置の推定に加え、前記物標の速度を推定し、当該物標の速度の情報を前記測距処理部へ送信するように構成され、
前記測距処理部は、
前記複数の物標の統合の際に、前記速度の情報に基づいて、前記統合する対象の前記物標を決定するように構成された、
認識システム。
前記測距センサは、少なくとも前記物標の位置の推定に加え、前記物標の速度を推定し、当該物標の速度の情報を前記測距処理部へ送信するように構成され、
前記測距処理部は、
前記複数の物標の統合の際に、前記速度の情報に基づいて、前記統合する対象の前記物標を決定するように構成された、
認識システム。
【請求項6】
請求項１または請求項２に記載の認識システムであって、
前記測距処理部は、
前記画像センサまたは前記物標状態推定部が、自動車または自転車と判断した前記物標の境界内に、前記物標として人の存在が推定された場合には、
前記物標の境界内に存在する、前記測距センサにより推定された前記物標を統合するように構成された、
認識システム。
前記測距処理部は、
前記画像センサまたは前記物標状態推定部が、自動車または自転車と判断した前記物標の境界内に、前記物標として人の存在が推定された場合には、
前記物標の境界内に存在する、前記測距センサにより推定された前記物標を統合するように構成された、
認識システム。
【請求項7】
請求項１または請求項２に記載の認識システムであって、
前記測距処理部は、
前記物標状態推定部が、自動車または自転車と判断した前記物標の境界内に、前記物標として人の存在が推定された場合には、
前記物標の境界内に存在する、前記画像センサにより推定された前記人に関する情報の利用を抑制するように構成された、
認識システム。
前記測距処理部は、
前記物標状態推定部が、自動車または自転車と判断した前記物標の境界内に、前記物標として人の存在が推定された場合には、
前記物標の境界内に存在する、前記画像センサにより推定された前記人に関する情報の利用を抑制するように構成された、
認識システム。
【請求項8】
請求項１または請求項２に記載の認識システムであって、
前記測距センサは、
前記反射波の信号をクラスタリングして得られた前記物標に対応する点群の情報に基づいて、前記物標の位置および種別のうち少なくとも前記物標の位置を推定するように構成された、
認識システム。
前記測距センサは、
前記反射波の信号をクラスタリングして得られた前記物標に対応する点群の情報に基づいて、前記物標の位置および種別のうち少なくとも前記物標の位置を推定するように構成された、
認識システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、周辺環境の物体（即ち、物標）を認識する技術に関する。
【背景技術】
【0002】
従来、レーダやカメラを用いて、周囲の物体を認識する技術が知られている（例えば、下記特許文献１参照）。
この特許文献１に記載の技術とは、レーダが検知した物体の種別をデータベースを用いて判断する技術であり、カメラの種別判断の結果を教師としてデータベースを更新することで、レーダの識別性能を高めるものである。
この特許文献１に記載の技術とは、レーダが検知した物体の種別をデータベースを用いて判断する技術であり、カメラの種別判断の結果を教師としてデータベースを更新することで、レーダの識別性能を高めるものである。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６２２３５０４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、発明者の詳細な検討の結果、従来の技術について、下記のような課題が見出された。
レーダからの信号に基づいて、車両を複数の歩行者と誤判断した場合には、その誤判断されたデータを用いてデータベースを更新するために、レーダの識別性能の向上ができない可能性がある。
レーダからの信号に基づいて、車両を複数の歩行者と誤判断した場合には、その誤判断されたデータを用いてデータベースを更新するために、レーダの識別性能の向上ができない可能性がある。
【0005】
本開示の一局面は、周辺環境の物体を精度よく認識することが可能な技術を提供することを目的としている。
【課題を解決するための手段】
【0006】
（１）本開示の一態様は、自身の周囲にある物標の状態を推定する認識システム（５）に関するものである。
この認識システムは、測距センサ（１３）と画像センサ（１５）と情報統合部（１７）とを備える。
この認識システムは、測距センサ（１３）と画像センサ（１５）と情報統合部（１７）とを備える。
【0007】
測距センサは、周囲を探査する探査波による反射波の信号に基づいて、物標に対応する点群の情報を求め、当該点群の情報から、物標の位置および種別のうち少なくとも物標の位置を推定するように構成されている。
【0008】
画像センサは、周囲を撮像した画像の信号に基づいて、物標の位置および種別のうち少なくとも物標の位置を推定するとともに、物標の境界を推定するように構成されている。
情報統合部は、測距センサにより推定された情報と画像センサにより推定された情報とに基づいて、物標の状態を推定するための処理を行うように構成されている。
情報統合部は、測距センサにより推定された情報と画像センサにより推定された情報とに基づいて、物標の状態を推定するための処理を行うように構成されている。
【0009】
この情報統合部は、測距処理部（１９）と物標状態推定部（２１）とを備える。
測距処理部は、測距センサにより推定された情報を処理するように構成されている。
物標状態推定部は、測距処理部にて処理された情報と画像センサにより推定された情報とに基づいて、物標の状態を推定するように構成されている。
測距処理部は、測距センサにより推定された情報を処理するように構成されている。
物標状態推定部は、測距処理部にて処理された情報と画像センサにより推定された情報とに基づいて、物標の状態を推定するように構成されている。
【0010】
さらに、測距処理部は、画像センサにより推定された物標の境界から所定の範囲内に、測距センサによって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成されている。
【0011】
このような構成により、本開示では、周辺環境の物体（即ち、物標）を精度よく認識することが可能である。
具体的には、本開示では、画像センサにより推定された物標の境界から所定の範囲内に、測距センサによって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成されている。
具体的には、本開示では、画像センサにより推定された物標の境界から所定の範囲内に、測距センサによって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成されている。
【0012】
これにより、画像センサにより推定された情報（即ち、物標の境界に関する情報）と、測距センサにより推定されて測距処理部にて統合された情報と、に基づいて、物標の状態を精度良く推定することが可能となる。例えば、画像センサにより位置が推定された物標と測距処理部にて複数の物標が統合された物標とが、同じ物標であるとみなすことにより、その物標の状態（例えば、位置や大きさや種別等）を精度良く推定することができる。
【0013】
（２）本開示の他の態様は、自身の周囲にある物標の状態を推定する認識システム（５）に関するものである。
この認識システムは、測距センサ（１３）と画像センサ（１５）と情報統合部（１７）とを備える。
この認識システムは、測距センサ（１３）と画像センサ（１５）と情報統合部（１７）とを備える。
【0014】
測距センサは、周囲を探査する探査波による反射波の信号に基づいて、物標に対応する点群の情報を求め、当該点群の情報から、物標の位置および種別のうち少なくとも物標の位置を推定するように構成されている。
【0015】
画像センサは、周囲を撮像した画像の信号に基づいて、物標の位置および種別のうち少なくとも物標の位置を推定するとともに、物標の境界を推定するように構成されている。
情報統合部は、測距センサにより推定された情報と画像センサにより推定された情報とに基づいて、物標の状態を推定するための処理を行うように構成されている。
情報統合部は、測距センサにより推定された情報と画像センサにより推定された情報とに基づいて、物標の状態を推定するための処理を行うように構成されている。
【0016】
この情報統合部は、測距処理部（１９）と物標状態推定部（２１）とを備える。
測距処理部は、測距センサにより推定された情報を処理するように構成されている。
物標状態推定部は、測距処理部にて処理された情報と画像センサにより推定された情報とに基づいて、物標の状態を推定するように構成されている。
測距処理部は、測距センサにより推定された情報を処理するように構成されている。
物標状態推定部は、測距処理部にて処理された情報と画像センサにより推定された情報とに基づいて、物標の状態を推定するように構成されている。
【0017】
さらに、測距処理部は、物標状態推定部により推定された物標の状態のうち、物標の境界を示す情報に基づいて、当該物標の境界から所定の範囲内に、測距センサによって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成されている。
【0018】
このような構成により、本開示では、周辺環境の物体（即ち、物標）を精度よく認識することが可能である。
具体的には、本開示では、物標状態推定部により推定された物標の状態のうち、物標の境界を示す情報に基づいて、当該物標の境界から所定の範囲内に、測距センサによって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成されている。
具体的には、本開示では、物標状態推定部により推定された物標の状態のうち、物標の境界を示す情報に基づいて、当該物標の境界から所定の範囲内に、測距センサによって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成されている。
【0019】
これにより、物標状態推定部により推定された情報（即ち、物標の境界に関する情報）と、測距センサにより推定されて測距処理部にて統合された情報と、に基づいて、物標の状態を精度良く推定することが可能となる。例えば、物標状態推定部により位置が推定された物標と測距処理部にて複数の物標が統合された物標とが、同じ物標であるとみなすことにより、その物標の状態（例えば、位置や大きさや種別等）を精度良く推定することができる。
【0020】
また、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【図面の簡単な説明】
【0021】
【図1】第１実施形態の認識システムを使用する路側装置やその周囲の構成を示す説明図である。
【図2】第１実施形態の認識システムを機能的に示すブロック図である。
【図3】第１実施形態の認識システムにおける処理の原理を示す説明図である。
【図4】第１実施形態の認識システムにおいて物標を統合する処理を示す説明図である。
【図5】第１実施形態の認識システムにおける処理を示すフローチャートである。
【図6】第１実施形態の認識システムによる効果を示す説明図である。
【図7】第２実施形態の認識システムにおける処理を示すフローチャートである。
【図8】第３実施形態の認識システムを機能的に示すブロック図である。
【図9】第３実施形態の認識システムにおける処理を示すフローチャートである。
【図10】第４実施形態の認識システムを機能的に示すブロック図である。
【図11】第４実施形態の認識システムにおける処理を示すフローチャートである。
【図12】第５実施形態の認識システムにおける処理を示すフローチャートである。
【図13】第６実施形態の認識システムにおける処理を示すフローチャートである。
【図14】第７実施形態の認識システムにおける処理を示すフローチャートである。
【発明を実施するための形態】
【0022】
以下、本開示の例示的な実施形態について図面を参照しながら説明する。
［１．第１実施形態］
本第１実施形態では、車両（例えば、自動車や自転車）や人等の物体である物標の認識に適用される認識システムについて説明する。
［１．第１実施形態］
本第１実施形態では、車両（例えば、自動車や自転車）や人等の物体である物標の認識に適用される認識システムについて説明する。
【0023】
この認識システムは、例えば、道路に沿って配置される路側装置や、自動車等の車両に使用されるものであり、ここでは、路側装置を例に挙げて説明する。
［１－１．全体構成］
図１に示すように、本第１実施形態では、道路に沿って（例えば、交差点の近傍に）、路側装置１が配置されており、この路側装置１には、道路を走行する車両（例えば、自動車、自転車）３や人等の物標の状態を認識することができる認識システム５が搭載されている。
［１－１．全体構成］
図１に示すように、本第１実施形態では、道路に沿って（例えば、交差点の近傍に）、路側装置１が配置されており、この路側装置１には、道路を走行する車両（例えば、自動車、自転車）３や人等の物標の状態を認識することができる認識システム５が搭載されている。
【0024】
認識システム５は、ハード構成として、測距装置７、撮像装置９、物標の推定等の各種の演算を行うための電子制御装置１１等を備えている。
なお、測距装置７や撮像装置９は、認識システム５とは別の構成としてもよい。また、電子制御装置１１は、路側装置１とは別の構成としてもよい。例えば、電子制御装置１１は、路側装置１に配置された測距装置７や撮像装置９と、通信回線（例えば、インターネット等）を介して接続された構成としてもよい。
なお、測距装置７や撮像装置９は、認識システム５とは別の構成としてもよい。また、電子制御装置１１は、路側装置１とは別の構成としてもよい。例えば、電子制御装置１１は、路側装置１に配置された測距装置７や撮像装置９と、通信回線（例えば、インターネット等）を介して接続された構成としてもよい。
【0025】
測距装置７は、物標の位置（例えば、物標との距離や物標の方位）や、物標との相対速度などを測定するために用いる測定装置であり、自身から周期的に所定の方向に探査波を送信し、その探査波が物標で反射した反射波を受信する構成を有する。
【0026】
この測距装置７としては、周知のＬｉＤＡＲ（即ち、ライダー）、レーダ、ソナー等が挙げられる。なお、ここでは、測距装置７として、探査波としてレーザ光を用いるＬｉＤＡＲを例に挙げる。
【0027】
撮像装置９は、周囲を撮像することができる装置であり、例えば、ＣＣＤカメラ等のカメラが挙げられる。なお、カメラとしては、単眼カメラやステレオカメラを採用できる。
電子制御装置１１は、図示しないが、周知のＣＰＵやＲＯＭ、ＲＡＭ等のメモリなどを備えたＥＣＵである。ＥＣＵは、Electronic Control Unitの略である。つまり、電子制御装置１１は、周知のマイクロコンピュータ（図示せず）を備えた装置である。なお、メモリとしては、マイクロコンピュータ内のメモリに限らず、マイクロコンピュータ外の各種の記憶装置（例えば、ハードディスク等）が挙げられる。
電子制御装置１１は、図示しないが、周知のＣＰＵやＲＯＭ、ＲＡＭ等のメモリなどを備えたＥＣＵである。ＥＣＵは、Electronic Control Unitの略である。つまり、電子制御装置１１は、周知のマイクロコンピュータ（図示せず）を備えた装置である。なお、メモリとしては、マイクロコンピュータ内のメモリに限らず、マイクロコンピュータ外の各種の記憶装置（例えば、ハードディスク等）が挙げられる。
【0028】
ＥＣＵにより実行される各種機能は、ＣＰＵが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。
【0029】
なお、メモリには、各種のプログラム（例えば、物標の状態を推定するためのプログラム）だけではなく、各種のプログラムを実行する際に使用される各種のデータが記憶されている。
【0030】
前記ＥＣＵの各種機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。
【0031】
［１－２．認識システムの機能的な構成］
次に、認識システム５（詳しくは、電子制御装置１１）の機能的な構成について説明する。
次に、認識システム５（詳しくは、電子制御装置１１）の機能的な構成について説明する。
【0032】
図２に示すように、認識システム５は、自身の周囲にある物標の状態を推定するシステムであり、機能的に、測距センサ１３と画像センサ１５と情報統合部１７とを備える。
測距センサ１３は、周囲を探査する探査波（即ち、測距装置７であるＬｉＤＡＲから照射されるレーザ光）による反射波の信号に基づいて、物標に対応する点群の情報を求め、当該点群の情報から、物標の位置および種別のうち少なくとも物標の位置を推定するように構成されている。なお、この測距センサ１３は、例えば、物標との距離、物標の方向、物標の種別、物標の形状、物標の大きさ等を推定することが可能である。
測距センサ１３は、周囲を探査する探査波（即ち、測距装置７であるＬｉＤＡＲから照射されるレーザ光）による反射波の信号に基づいて、物標に対応する点群の情報を求め、当該点群の情報から、物標の位置および種別のうち少なくとも物標の位置を推定するように構成されている。なお、この測距センサ１３は、例えば、物標との距離、物標の方向、物標の種別、物標の形状、物標の大きさ等を推定することが可能である。
【0033】
画像センサ１５は、周囲を撮像した画像（即ち、撮像装置９であるカメラによって撮像された画像）の信号に基づいて、物標の位置および種別のうち少なくとも物標の位置を推定するとともに、物標の境界を推定するように構成されている。なお、この画像センサ１５は、例えば、物標との距離、物標の方向、物標の種別、物標の形状、物標の大きさ等を推定することが可能である。
【0034】
情報統合部１７は、測距センサ１３により推定された情報と画像センサ１５により推定された情報とに基づいて、物標の状態を推定するための処理を行うように構成されている。
この情報統合部１７は、測距処理部１９と物標状態推定部２１とを備える。
この情報統合部１７は、測距処理部１９と物標状態推定部２１とを備える。
【0035】
測距処理部１９は、測距センサ１３により推定された情報を処理するように構成されている。
物標状態推定部２１は、測距処理部１９にて処理された情報と画像センサ１５により推定された情報とに基づいて、物標の状態を推定するように構成されている。なお、この物標状態推定部２１は、例えば、物標との距離、物標の方向、物標の種別、物標の形状、物標の大きさ等を推定することが可能である。
物標状態推定部２１は、測距処理部１９にて処理された情報と画像センサ１５により推定された情報とに基づいて、物標の状態を推定するように構成されている。なお、この物標状態推定部２１は、例えば、物標との距離、物標の方向、物標の種別、物標の形状、物標の大きさ等を推定することが可能である。
【0036】
さらに、測距処理部１９は、画像センサ１５により推定された物標の境界から所定の範囲内に、測距センサ１３によって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合（即ち、マージ）するように構成されている。
【0037】
つまり、測距センサ１３によって推定された複数の物標は、画像センサ１５により推定された物標の境界から所定の範囲内にあるので、その複数の物標は、画像センサ１５によって推定された物標に対応する物標（即ち、同じ車両等を示すもの）として、複数の物標を単一の物標として統合する処理を行う。即ち、複数の物標のデータを、画像センサ１５によって推定された物標に対応する単一の物標として扱う。
【0038】
ここで、物標の境界から所定の範囲内としては、物標の境界から外側（即ち、中心と反対側）に向かって所定の距離だけ離れた距離が挙げられる。この所定の距離は、推定された物標の境界の誤差等を考慮した値であり、実験等によって設定することが可能である。なお、所定の距離としては、実際の距離に換算した場合に、例えば、０ｃｍ～数十ｃｍが挙げられる。ここで、所定の距離を０ｃｍとした場合には、物標の境界と物標の境界から所定の範囲とが一致する。
【0039】
［１－３．認識システムにおける処理の概要］
次に、認識システム５によって物標の状態を推定する場合に実施される処理の概要について、図３及び図４に基づいて説明する。なお、図３及び図４では、道路を上方から見た平面視（即ち、鳥瞰図）で示してある。
次に、認識システム５によって物標の状態を推定する場合に実施される処理の概要について、図３及び図４に基づいて説明する。なお、図３及び図４では、道路を上方から見た平面視（即ち、鳥瞰図）で示してある。
【0040】
図３に示すように、物標の状態を推定するために、路側装置１に配置された撮像装置（即ち、カメラ）９により、道路上の車両３が走行する所定範囲を周期的に撮像する。つまり、道路や道路上を走行する車両３を撮像し、その画像（即ち、撮像画像）を周期的に取得する。なお、ここでは、車両３として、四輪等の自動車を例に挙げる。
【0041】
カメラにより撮像された撮像画像には、道路や道路上を走行する車両３が写っているので、この撮像画像に対して、周知の画像認識の処理を行うことにより、車両３を認識することができる。例えば、周知のように、物体モデルを用いたマッチング処理（即ち、パターマッチング）により、車両３を認識することができる。なお、このパターンマッチングにより、自動車以外に、自転車や人等を認識することができる。
【0042】
従って、認識した車両３の領域とそれ以外の領域とを区分することができる。車両（例えば、自動車）３の領域は、例えば矩形等で表示することができる。
図３では、このようにして得られた車両３の輪郭（即ち、推定された矩形の輪郭）を破線で示している。なお、矩形の輪郭の中心の正方形の斜線部分が、過去のデータから推定された車両３の位置を示しており、矩形の輪郭の範囲は、車両３の中心の斜線部分から、車両３の輪郭に相当するだけ離れた範囲である。
図３では、このようにして得られた車両３の輪郭（即ち、推定された矩形の輪郭）を破線で示している。なお、矩形の輪郭の中心の正方形の斜線部分が、過去のデータから推定された車両３の位置を示しており、矩形の輪郭の範囲は、車両３の中心の斜線部分から、車両３の輪郭に相当するだけ離れた範囲である。
【0043】
なお、破線の矩形の輪郭が、画像センサ１５によって推定された物標の境界に対応しており、ここでは、説明を分かり易くするために、物標の境界と物標の境界から所定の範囲とが一致（又は実質的に一致）する場合を例示している。なお、推定された物標の境界を囲むように、若干離れた位置に、物標の境界から所定の範囲を設定してもよい。
【0044】
また、これとは別に、物標の状態を推定するために、路側装置１に配置された測距装置（即ち、ＬｉＤＡＲ）７は、道路上の車両３が走行する所定範囲に対して（即ち、道路を走行する車両３に対して）、周知的にレーザ光を照射し、その反射光を受光する。
【0045】
このＬｉＤＡＲによる反射光等による検知信号は、測距センサ１３にて処理されて、周知のように、検知対象である物標の位置（即ち、物標の方位、物標との距離、ある座標系における位置）や、物標の種別が検出（即ち、推定）される。
【0046】
詳しくは、ＬｉＤＡＲの反射光は多数あるので、この反射光に対して周知のクラスタリングの処理が実施される。例えば、反射光の位置や強度を要素として、例えばｋ－ｍｅａｎｓ法等を用いて、反射光を物標（詳しくは、物標の種別）に対応する複数のクラスターに分類する処理を行う。
【0047】
なお、周知のように、クラスターの大きさ、形状、位置や時系列的な変化から等から物標の種類を推定することができる。
図３では、１台の車両３に対応する矩形の破線内に、実線の長方形の枠が３箇所示してあり、これがクラスタリングにより分類されて、人（即ち、歩行者）と認識された範囲を示している。なお、この矩形は、図４に示すように、各クラスターの反射点に外接する長方形（即ち、図３及び図４の上下又は左右を辺の方向とする長方形）である。
図３では、１台の車両３に対応する矩形の破線内に、実線の長方形の枠が３箇所示してあり、これがクラスタリングにより分類されて、人（即ち、歩行者）と認識された範囲を示している。なお、この矩形は、図４に示すように、各クラスターの反射点に外接する長方形（即ち、図３及び図４の上下又は左右を辺の方向とする長方形）である。
【0048】
従って、通常では、図３の下側に示すように、カメラの撮像画像に基づいて（即ち、画像センサ１５により）、車１台分の領域を認識し、また、ＬｉＤＡＲの反射光に基づいて（即ち、測距センサ１３により）、この車１台分の領域内に人が３人存在することが認識される。
【0049】
しかし、車両３の領域と歩行者３人の領域が重なっていることは不自然である。そこで、本第１実施形態では、測距センサ１３により認識された車１台分の領域内に存在する３人に対応する物標のデータ（即ち、反射光から得られる物標のデータ）を、車両３のデータ（即ち、同一物標のデータ）として扱うようにする。
【0050】
つまり、３人の歩行者を示す各物標のデータを、同一物標である車両３のデータとして統合する処理を行う。
例えば、図４に示すように、まず、物標のデータとして、各歩行者に対応するように、各反射点のデータ（即ち、反射光が反射する位置のデータ）に外接するような矩形（即ち、実線で示す矩形）を設定する。この場合、物標は、矩形の頂点のデータ（即ち、位置のデータ）と矩形の中心（即ち、重心）のデータ（即ち、位置のデータ）で規定される。
例えば、図４に示すように、まず、物標のデータとして、各歩行者に対応するように、各反射点のデータ（即ち、反射光が反射する位置のデータ）に外接するような矩形（即ち、実線で示す矩形）を設定する。この場合、物標は、矩形の頂点のデータ（即ち、位置のデータ）と矩形の中心（即ち、重心）のデータ（即ち、位置のデータ）で規定される。
【0051】
次に、各歩行者に対応する３個の矩形に外接するような大きな矩形（例えば、同図の一点鎖線で示す矩形ＭＫ）を想定し、その大きな矩形ＭＫが車両３の範囲を示すデータとして採用する。この場合、大きな矩形ＭＫに対応する車両３の物標は、大きな矩形ＭＫの頂点のデータ（位置のデータ）と大きな矩形ＭＫの中心のデータ（位置のデータ）で規定される。
【0052】
そして、歩行者３人に対応する物標のデータを、車両３に対応する物標のデータとして、例えば、車両３の位置（即ち、ある座標系における位置や、路側装置１からの距離や、路側装置１からの方向）や、車両３の相対速度を算出する。
【0053】
例えば、大きな矩形ＭＫの範囲の重心（例えば、鳥瞰図の中心）から、現時点での車両３の位置（例えば、ある座標系における位置）を推定することが可能である。
これにより、ＬｉＤＡＲのデータを用いて、車両３の状態を精度良く推定することができる。つまり、車両３の位置や車両３の相対速度等を精度良く求めることができる。
これにより、ＬｉＤＡＲのデータを用いて、車両３の状態を精度良く推定することができる。つまり、車両３の位置や車両３の相対速度等を精度良く求めることができる。
【0054】
［１－４．制御処理］
次に、認識システム５によって物標の状態を推定する場合に実施される制御処理について、図５のフローチャートに基づいて説明する。本処理は、所定の周期で実施される。
次に、認識システム５によって物標の状態を推定する場合に実施される制御処理について、図５のフローチャートに基づいて説明する。本処理は、所定の周期で実施される。
【0055】
図５のステップ（以下、Ｓ）１００では、測距センサ１３と画像センサ１５とから、物標の情報を受信する。ここで、測距センサ１３から得られる物標の情報とは、ＬｉＤＡＲによる反射点のデータをクラスタリングした後の物標の情報である。また、画像センサ１５から得られる物標の情報とは、カメラによって撮像された撮像画像に対して、画像認識された物標の情報であり、推定された物標の境界の情報も含まれる。
【0056】
続くＳ１１０では、画像センサ１５が推定した物標（即ち、車両３）の境界から所定の範囲内に、測距センサ１３の推定した物標（例えば、人の物標）が複数あるか否かを判定する。ここで肯定判断されるとＳ１２０に進み、一方否定判断されるとＳ１３０に進む。
【0057】
なお、ここでは、物標の境界から所定の範囲内として、例えば、前記図３や図４にて破線で示す車両３の輪郭の範囲内を例に挙げる。つまり、所定の範囲が小さい場合（例えば、物標の境界と実施的に一致する場合）を例に挙げる（以下、他の実施形態も同様）。
【0058】
Ｓ１２０では、画像センサ１５が推定した物標の境界から所定の範囲内に、測距センサ１３の推定した物標が複数あるので、その複数の物標を統合（即ち、マージ）し、Ｓ１３０に進む。
【0059】
つまり、測距センサ１３の推定した複数の物標のデータ（例えば、人とみなしたデータ）は、画像センサ１５が推定した物標（例えば、車両３）に対応したデータであるとする。そして、複数の物標の情報を、前記図４に示すように、一つの物標の情報として（即ち、前記大きな矩形ＭＫのデータとして）扱うようにする。
【0060】
従って、この大きな矩形ＭＫ内のデータを利用して、物標（即ち、車両３）の位置や相対速度等を求めることができる。
Ｓ１３０では、周知の総合認識の処理を行って、一旦本処理を終了する。この総合認識の処理とは、いわゆるフュージョン処理であり、画像センサ１５によって得られた情報と測距センサ１３によって得られた情報とに基づいて、例えば、より精度の高い情報を選択して、精度良く物標の状態を推定する処理である。
Ｓ１３０では、周知の総合認識の処理を行って、一旦本処理を終了する。この総合認識の処理とは、いわゆるフュージョン処理であり、画像センサ１５によって得られた情報と測距センサ１３によって得られた情報とに基づいて、例えば、より精度の高い情報を選択して、精度良く物標の状態を推定する処理である。
【0061】
例えば、ＬｉＤＡＲを用いる場合は、カメラを用いる場合に比べて、距離や相対速度等の計測精度の点において優れているが、種別の認識等の点において劣るという特徴がある。つまり、カメラを用いる場合は、ＬｉＤＡＲを用いる場合に比べて、物標の種別を認識する精度が高いという特徴がある。
【0062】
従って、総合認識の処理では、精度の高い情報が得られる各センサ１３、１５の情報を採用することにより、又は、各情報の重み付け等を調整することにより、各情報の精度を高めることができる。
【0063】
［１－５．効果］
（１）本第１実施形態によれば、周辺環境の物体（即ち、物標）を精度よく認識することが可能である。
（１）本第１実施形態によれば、周辺環境の物体（即ち、物標）を精度よく認識することが可能である。
【0064】
具体的には、本第１実施形態では、画像センサ１５により推定された物標（例えば、車両３）の境界から所定の範囲内に、測距センサ１３によって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標（即ち、前記車両３）とみなして当該複数の物標を統合するように構成されている。
【0065】
これにより、画像センサ１５により推定された情報（即ち、物標の境界に関する情報）と、測距センサ１３により推定されて測距処理部１９にて統合された情報と、に基づいて、物標の状態を精度良く推定することが可能となる。
【0066】
例えば、画像センサ１５により位置が推定された物標と測距処理部１９にて複数の物標が統合された物標とが、同じ車両３の物標であるとみなして、フュージョン処理を行うことにより、その物標の状態（例えば、位置や大きさや種別等）を精度良く推定することができる。
【0067】
（２）例えば、図６の上図に示すように、車両３の周囲（即ち、車両３と同じ領域）に歩行者が存在するというような誤認識が発生するような状況であっても、本第１実施形態では、図６の下図に示すように、測距センサ１３による歩行者のデータを車両３を示すデータとみなして処理するので、車両３の位置等の状況を精度良く推定することが可能である。なお、図６で×（バツ）は瞬時データを示し、○（丸）や□（四角）は過去のデータを加味したものを示している。
【0068】
［１－６．対応関係］
次に、本第１実施形態と本開示との関係について説明する。
認識システム５は認識システムに対応し、測距センサ１３は測距センサに対応し、画像センサ１５は画像センサに対応し、情報統合部１７は情報統合部に対応し、測距処理部１９は測距処理部に対応し、物標状態推定部２１は物標状態推定部に対応する。
次に、本第１実施形態と本開示との関係について説明する。
認識システム５は認識システムに対応し、測距センサ１３は測距センサに対応し、画像センサ１５は画像センサに対応し、情報統合部１７は情報統合部に対応し、測距処理部１９は測距処理部に対応し、物標状態推定部２１は物標状態推定部に対応する。
【0069】
［２．第２実施形態］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
第２実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
【0070】
本第２実施形態では、前記図２に示すように、測距センサ１３は、少なくとも物標の位置の推定に加え、物標の境界を推定するように構成されている。また、測距処理部１９は、測距センサ１３によって推定された複数の物標について、物標の境界を統合するように構成されている。更に、物標状態推定部２１は、測距処理部１９にて統合された物標の境界を用いて、物標の大きさを推定するように構成されている。
【0071】
以下、本第２実施形態の制御処理について説明する。
図７のフローチャートに示すように、Ｓ２００では、測距センサ１３と画像センサ１５とから、物標の情報を受信する。
図７のフローチャートに示すように、Ｓ２００では、測距センサ１３と画像センサ１５とから、物標の情報を受信する。
【0072】
続くＳ２１０では、画像センサ１５が推定した物標（即ち、車両３）の境界から所定の範囲内に、測距センサ１３の推定した物標（例えば、人の物標）が複数あるか否かを判定する。ここで肯定判断されるとＳ２２０に進み、一方否定判断されるとＳ２３０に進む。
【0073】
Ｓ２２０では、画像センサ１５が推定した物標の境界から所定の範囲内に、測距センサ１３の推定した物標が複数あるので、その複数の物標を統合（即ち、複数の物標の情報をマージ）する。そして、統合した物標に基づいて（即ち、統合した物標の情報に基づいて）、物標の位置や物標の境界（従って、物標の大きさ）等を推定し、Ｓ２３０に進む。
【0074】
つまり、前記図４に示すように、複数の物標の情報を一つの物標の情報として（即ち、前記大きな矩形ＭＫのデータとして）扱い、この大きな矩形ＭＫのデータを利用して、物標の境界を求めることができる（例えば、大きな矩形ＭＫを物標の境界とすることができる）。また、この大きな矩形ＭＫの重心（即ち、中心）を、物標（即ち、車両３）の位置とすることができ、更に、物標の相対速度等を求めることもできる。
【0075】
Ｓ２３０では、周知の総合認識の処理を行って、一旦本処理を終了する。この総合認識の処理とは、いわゆるフュージョン処理であり、画像センサ１５によって得られた情報と測距センサ１３によって得られた情報とに基づいて、例えば、より精度の高い情報を選択して、精度良く物標の状態を推定する処理である。
【0076】
本第２実施形態は、第１実施形態と同様な効果を奏する。
また、本第２実施形態は、物標の状態（例えば、大きさ）の推定精度が高いという効果がある。
また、本第２実施形態は、物標の状態（例えば、大きさ）の推定精度が高いという効果がある。
【0077】
［３．第３実施形態］
第３実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
第３実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
【0078】
本第３実施形態では、認識システム５は、図８に示すように、機能的に、第１実施形態と同様に、測距センサ１３と画像センサ１５と情報統合部１７とを備え、情報統合部１７は、測距処理部１９と物標状態推定部２１とを備える。
【0079】
特に、本第３実施形態では、測距処理部１９は、物標状態推定部２１により推定された物標の状態のうち、物標（例えば、車両３）の境界を示す情報に基づいて、当該物標の境界から所定の範囲内に、測距センサ１３によって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標（例えば、前記車両３）とみなして当該複数の物標を統合するように構成されている。
【0080】
以下、本第３実施形態の制御処理について説明する。
図９のフローチャートに示すように、Ｓ３００では、測距センサ１３と画像センサ１５とから、物標の情報を受信する。
図９のフローチャートに示すように、Ｓ３００では、測距センサ１３と画像センサ１５とから、物標の情報を受信する。
【0081】
続くＳ３１０では、前回物標状態推定部２１が推定した物標（即ち、車両３）の境界から所定の範囲内に、測距センサ１３の推定した物標（例えば、人の物標）が複数あるか否かを判定する。ここで肯定判断されるとＳ３２０に進み、一方否定判断されるとＳ３３０に進む。
【0082】
Ｓ３２０では、前回物標状態推定部２１が推定した物標の境界から所定の範囲内に、測距センサ１３の推定した物標が複数あるので、その複数の物標を統合（マージ）する。そして、統合した物標の情報に基づいて、物標の位置や物標の境界を推定し、Ｓ３３０に進む。
【0083】
Ｓ３３０では、周知の総合認識の処理を行って、一旦本処理を終了する。この総合認識の処理とは、上述したフュージョン処理である。
本第３実施形態は、第１実施形態と同様な効果を奏する。
本第３実施形態は、第１実施形態と同様な効果を奏する。
【0084】
また、本第３実施形態では、測距処理部１９は、物標状態推定部２１により推定された物標の境界を示す情報に基づいて、物標の状態（位置や相対速度等）を推定するので、例えば、初回の検出で画像センサ１５からの情報が得られない状況であっても、物標の状態を精度良く推定できるという利点がある。
【0085】
［４．第４実施形態］
第４実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
第４実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
【0086】
本第４実施形態では、認識システム５は、図１０に示すように、機能的に、第１実施形態と同様に、測距センサ１３と画像センサ１５と情報統合部１７とを備え、情報統合部１７は、測距処理部１９と物標状態推定部２１とを備える。
【0087】
特に、本第４実施形態では、測距処理部１９は、物標状態推定部２１が推定した物標の状態のうち、物標の境界を示す情報に基づいて、当該物標の境界から所定の範囲内に、測距センサ１３によって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成されている。しかも、測距処理部１９は、画像センサ１５により推定された物標の境界から所定の範囲内に、測距センサ１３によって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するように構成されている。
【0088】
以下、本第４実施形態の制御処理について説明する。
図１１のフローチャートに示すように、Ｓ４００では、測距センサ１３と画像センサ１５とから、物標の情報を受信する。
図１１のフローチャートに示すように、Ｓ４００では、測距センサ１３と画像センサ１５とから、物標の情報を受信する。
【0089】
続くＳ４１０では、前回物標状態推定部２１が推定した物標（即ち、車両３）の境界から所定の範囲内に、測距センサ１３の推定した物標（例えば、人の物標）が複数あるか否かを判定する。ここで肯定判断されるとＳ４２０に進み、一方否定判断されるとＳ４３０に進む。
【0090】
Ｓ４２０では、前回物標状態推定部２１が推定した物標の境界から所定の範囲内に、測距センサ１３の推定した物標が複数あるので、その複数の物標を統合（マージ）する。そして、統合した物標の情報に基づいて、物標の位置や物標の境界を推定し、Ｓ４３０に進む。
【0091】
Ｓ４３０では、今回画像センサ１５が推定した物標（即ち、車両３）の境界から所定の範囲内に、測距センサ１３の推定した物標（例えば、人の物標）が複数あるか否かを判定する。ここで肯定判断されるとＳ４４０に進み、一方否定判断されるとＳ４６０に進む。
【0092】
Ｓ４４０では、測距センサ１３の推定した複数の物標が、まだ統合されていないか否かを判定する。ここで肯定判断されるとＳ４５０に進み、一方否定判断されるとＳ４６０に進む。
【0093】
Ｓ４５０では、測距センサ１３の推定した複数の物標が、まだ統合されていないので、複数の物標の統合を実施し、Ｓ４６０に進む。
Ｓ４６０では、周知の総合認識の処理を行って、一旦本処理を終了する。この総合認識の処理とは、上述したフュージョン処理である。
Ｓ４６０では、周知の総合認識の処理を行って、一旦本処理を終了する。この総合認識の処理とは、上述したフュージョン処理である。
【0094】
本第４実施形態は、第１実施形態と同様な効果を奏する。
また、本第４実施形態では、物標状態推定部２１が推定した物標の境界を示す情報に基づいて、当該物標の境界から所定の範囲内に、測距センサ１３によって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するとともに、その後、画像センサ１５により推定された物標の境界から所定の範囲内に、測距センサ１３によって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合する。
また、本第４実施形態では、物標状態推定部２１が推定した物標の境界を示す情報に基づいて、当該物標の境界から所定の範囲内に、測距センサ１３によって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合するとともに、その後、画像センサ１５により推定された物標の境界から所定の範囲内に、測距センサ１３によって位置が推定された物標が複数ある場合に、当該複数の物標を同一物標とみなして当該複数の物標を統合する。
【0095】
よって、前回物標状態推定部２１にて推定した過去の状態だけでなく、今回画像センサ１５から得られた情報に基づいて、物標の状態の推定を行うことができるので、物標の状態の推定を早期に行うことができるとともに、物標の状態の推定を精度良く行うことができるという利点がある。
【0096】
［５．第５実施形態］
第５実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
第５実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
【0097】
本第５実施形態では、前記図２又は前記図８に示すように、測距センサ１３は、少なくとも物標の位置の推定に加え、物標の速度を推定し、当該物標の速度の情報を測距処理部１９へ送信するように構成されている。また、測距処理部１９は、複数の物標の統合の際に、前記速度の情報に基づいて、統合する対象の物標を決定するように構成されている。
【0098】
以下、本第５実施形態の制御処理について説明する。
図１２のフローチャートに示すように、Ｓ５００では、測距センサ１３と画像センサ１５とから、物標の情報を受信する。
図１２のフローチャートに示すように、Ｓ５００では、測距センサ１３と画像センサ１５とから、物標の情報を受信する。
【0099】
続くＳ５１０では、画像センサ１５（又は、物標状態推定部２１）が推定した物標（即ち、車両３）の境界から所定の範囲内に、測距センサ１３の推定した物標（例えば、人の物標）が複数あるか否かを判定する。ここで肯定判断されるとＳ５２０に進み、一方否定判断されるとＳ５３０に進む。
【0100】
Ｓ５２０では、画像センサ１５（又は、物標状態推定部２１）が推定した物標の境界から所定の範囲内に、測距センサ１３の推定した物標が複数あるので、その複数の物標の情報のうち、速度が近い物標（例えば、速度の違いが所定の範囲内の物標）を同一の物標とみなして選択し、その選択された物標を統合（マージ）する。そして、統合した物標の情報に基づいて、物標の位置や物標の境界を推定し、Ｓ５３０に進む。
【0101】
Ｓ５３０では、周知の総合認識の処理を行って、一旦本処理を終了する。この総合認識の処理とは、上述したフュージョン処理である。
本第５実施形態は、第１実施形態と同様な効果を奏する。
本第５実施形態は、第１実施形態と同様な効果を奏する。
【0102】
また、本第５実施形態では、複数の物標の統合の際に、各物標の速度の情報に基づいて、速度が近い物標を選択して、その速度が近い物標を統合するので、統合する対象の物標の精度が向上する。その結果、物標の状態の推定の精度が向上するという利点がある。
【0103】
［６．第６実施形態］
第６実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
第６実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
【0104】
本第６実施形態では、前記図２又は前記図８に示すように、測距処理部１９は、画像センサ１５または物標状態推定部２１が、自動車または自転車（即ち、車両３）と判断した物標の境界内に、物標として人を識別した場合には、前記物標の境界内に存在する前記人として識別された物標に対応する、測距センサ１３により推定された物標の情報を統合する。
【0105】
以下、本第６実施形態の制御処理について説明する。
図１３のフローチャートに示すように、Ｓ６００では、測距センサ１３と画像センサ１５とから、物標の情報を受信する。
図１３のフローチャートに示すように、Ｓ６００では、測距センサ１３と画像センサ１５とから、物標の情報を受信する。
【0106】
続くＳ６１０では、画像センサ１５又は物標状態推定部２１が推定した物標（即ち、車両３）の境界から所定の範囲内に、測距センサ１３の推定した人を示す物標が複数あるか否かを判定する。ここで肯定判断されるとＳ６２０に進み、一方否定判断されるとＳ６３０に進む。
【0107】
Ｓ６２０では、画像センサ１５又は物標状態推定部２１が推定した物標の境界から所定の範囲内に、測距センサ１３の推定した人の物標が複数あるので、その複数の物標を同一の車両に該当する物標とみなして統合（マージ）する。
【0108】
Ｓ６３０では、周知の総合認識の処理を行って、一旦本処理を終了する。この総合認識の処理とは、上述したフュージョン処理である。
本第６実施形態は、第１実施形態と同様な効果を奏する。
本第６実施形態は、第１実施形態と同様な効果を奏する。
【0109】
［７．第７実施形態］
第７実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
第７実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
【0110】
本第７実施形態では、前記図２又は前記図８に示すように、測距処理部１９は、物標状態推定部２１が、自動車または自転車（即ち、車両３）と判断した物標の境界内に、例えば画像センサ１５により物標として人を識別した場合には、前記物標の境界内に存在する、画像センサ１５により推定された人に関する情報の使用を抑制する。例えば、画像センサ１５により推定された人に関する情報を削除する。
【0111】
以下、本第７実施形態の制御処理について説明する。
図１４のフローチャートに示すように、Ｓ７００では、測距センサ１３と画像センサ１５とから、物標の情報を受信する。
図１４のフローチャートに示すように、Ｓ７００では、測距センサ１３と画像センサ１５とから、物標の情報を受信する。
【0112】
続くＳ７１０では、物標状態推定部２１が推定した物標（即ち、車両３）の境界から所定の範囲内に、画像センサ１５の推定した人を示す物標があるか否かを判定する。ここで肯定判断されるとＳ７２０に進み、一方否定判断されるとＳ７３０に進む。
【0113】
Ｓ７２０では、物標状態推定部２１が推定した物標の境界から所定の範囲内に、画像センサ１５の推定した人の物標があるので、その物標の情報を削除する。
Ｓ７３０では、周知の総合認識の処理を行って、一旦本処理を終了する。この総合認識の処理とは、上述したフュージョン処理である。
Ｓ７３０では、周知の総合認識の処理を行って、一旦本処理を終了する。この総合認識の処理とは、上述したフュージョン処理である。
【0114】
本第７実施形態は、第１実施形態と同様な効果を奏する。
本第７実施形態は、不要な人と誤認識した情報を削除するので、物標の推定の精度が向上するという利点がある。なお、削除する以外に、画像センサ１５により推定された人に関する情報の重みを低減する等によって、その情報の使用を抑制してもよい。
本第７実施形態は、不要な人と誤認識した情報を削除するので、物標の推定の精度が向上するという利点がある。なお、削除する以外に、画像センサ１５により推定された人に関する情報の重みを低減する等によって、その情報の使用を抑制してもよい。
【0115】
［８．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
【0116】
（８ａ）前記実施形態では、認識システムが路側装置に搭載されている例を挙げたが、それ以外にも、路側に限らず、各所に配置された各種の装置に、認識システムを搭載してもよい。また、自動車等の車両に認識システムを搭載してもよい。
【0117】
この場合には、車両に、測距装置や撮像装置を搭載し、この測距装置や撮像装置を用いて得られた信号に基づいて、自身の周囲の他の車両や車両以外の人等の物標の状態（例えば、位置や相対速度や種別）を推定することができる。
【0118】
（８ｂ）前記実施形態では、鳥瞰図を用いて平面的に物標の位置を示したが、物標の位置や相対速度等を３次元的に把握するようにしてもよい。なお、この場合は、３次元的な情報を路面等の２次元の平面に投影して処理するようにしてもよい。
【0119】
例えば、物標（例えば、車両）の領域を、３次元の直方体として把握する場合に、その車両の領域内（又は車両の境界から所定範囲内）に、複数の物標（例えば、人）が認識された場合に、上述した各実施形態のように、複数の物標を統合する処理を行ってもよい。
【0120】
また、例えば、ある車両から、車両の前方等を撮像した画像において、前方の車両の領域内（又は車両の境界から所定範囲内）に、複数の物標（例えば、人）が認識された場合に、上述した各実施形態のように、複数の物標を統合する処理を行ってもよい。なお、この場合は、車両の領域内等としては、路面に垂直な平面の画像における矩形等の範囲が挙げられる。
（８ｃ）前記実施形態では、測距装置として、ＬｉＤＡＲを例に挙げたが、それ以外も、レーダやソナー等が挙げられる。つまり、探査波に対して反射波の複数の反射点の情報が得られる場合には、その反射点の信号に基づいて、各種の物標を検出する装置が挙げられる。
（８ｃ）前記実施形態では、測距装置として、ＬｉＤＡＲを例に挙げたが、それ以外も、レーダやソナー等が挙げられる。つまり、探査波に対して反射波の複数の反射点の情報が得られる場合には、その反射点の信号に基づいて、各種の物標を検出する装置が挙げられる。
【0121】
（８ｄ）本開示に記載の認識システムは、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。
【0122】
あるいは、本開示に記載の認識システムは、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。
【0123】
もしくは、本開示に記載の認識システムは、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。
【0124】
また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。情報通知システムに含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
【0125】
（８ｅ）上述した認識システムの他、当該認識システムを構成要素とするシステム、当該情報通知システムのコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移有形記録媒体、認識システムの制御方法（例えば、認識方法）など、種々の形態で本開示を実現することもできる。
【0126】
（８ｆ）上記各実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記各実施形態の構成の一部を省略してもよい。また、上記各実施形態の構成の少なくとも一部を、他の実施形態の構成に対して付加または置換してもよい。
【符号の説明】
【0127】
１…路側装置、３…車両、５…認識システム、１３…測距センサ、１５…画像センサ、１７…情報統合部、１９…測距処理部、２１…物標状態推定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】