特開 2024-162321 速度補正方法、運転支援装置、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024162321

(43)【公開日】2024-11-21

(54)【発明の名称】速度補正方法、運転支援装置、および、プログラム

(51)【国際特許分類】

   G01S 13/86 20060101AFI20241114BHJP

   G01S 13/931 20200101ALI20241114BHJP

   G08G 1/16 20060101ALI20241114BHJP

   G01S 13/58 20060101ALI20241114BHJP

   G01S 7/40 20060101ALI20241114BHJP

【ＦＩ】

G01S13/86

G01S13/931

G08G1/16 C

G01S13/58 200

G01S7/40

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023077704

(22)【出願日】2023-05-10

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】520124752

【氏名又は名称】株式会社ミライズテクノロジーズ

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】金田 泰成

【テーマコード（参考）】

5H181

5J070

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC04

5H181CC14

5H181LL01

5H181LL04

5H181LL09

5J070AC02

5J070AC06

5J070AC11

5J070AE01

5J070AF03

5J070AK04

5J070BD08

(57)【要約】

【課題】対象車両の速度を精度よく求める。
【解決手段】速度補正方法は、（Ａ）レーダ１２を用いて、対象車線における少なくとも１つのターゲットからの反射点の集合を表す第１点群を取得するステップと、（Ｂ）第１点群を用いて車両に対するターゲットの相対速度を取得するステップと、（Ｃ）カメラが撮像した入力画像に基づいて、撮像範囲に存在する物体の形状を表す三次元情報を生成するステップと、（Ｄ)三次元情報を用いて平面視画像ＩＭ１を生成するステップと、（Ｅ）平面視画像におけるターゲットが存在する第１範囲内における第１点群の平面視における位置を表す対応情報を生成するステップと、（Ｆ）対応情報を用いて、ターゲットを車両から見た方向と、平面視画像に基づいて求められたターゲットの進行方向と、がなす角度を算出するステップと、（Ｇ）角度を用いて相対速度を補正するステップと、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

運転支援装置（１００）が、車両（５０）に設けられ、前記車両の前方を撮像するカメラ（１１）と、前記車両に設けられ、電磁波を放射して、前記カメラの撮像範囲と少なくとも一部が重複する範囲に存在する複数の物体からの前記電磁波の反射点を取得するレーダ（１２）と、を用いて、着目する物体であるターゲット（Ｔ１）の速度を補正する速度補正方法であって、
（Ａ）前記レーダを用いて、前記車両が走行している車線の隣接の対象車線における少なくとも１つのターゲットからの前記反射点の集合を表す第１点群を取得するステップと、
（Ｂ）前記第１点群を用いて前記車両に対する前記ターゲットの相対速度を取得するステップと、
（Ｃ）前記カメラが撮像した入力画像を用いて、前記撮像範囲に存在する物体の形状を表す三次元情報を生成するステップと、
（Ｄ）前記三次元情報を用いてに基づいて平面視画像（ＩＭ１）を生成するステップと、
（Ｅ）前記平面視画像における前記ターゲットが存在する第１範囲内における前記第１点群の平面視における位置を表す対応情報を生成するステップと、
（Ｆ）前記対応情報を用いて、前記ターゲットを前記車両から見た方向と、前記平面視画像に基づいて求められた前記ターゲットの進行方向と、がなす角度を算出するステップと、
（Ｇ）前記角度を用いて、前記相対速度を補正するステップと、
を含む速度補正方法。

【請求項2】

請求項１に記載の速度補正方法であって、
前記ステップ（Ｃ）は、
前記入力画像から第１機械学習モデルを用いて、前記カメラの前記撮像範囲に存在する物体の前記三次元情報を生成し、
前記ステップ（Ｄ）は、
前記三次元情報を用いて、座標変換により前記平面視画像を生成する、
ことを含む、
速度補正方法。

【請求項3】

請求項２に記載の速度補正方法であって、
前記ステップ（Ｅ）における、
前記第１範囲は、
前記平面視画像において前記ターゲットが存在する範囲をあらかじめ決められた倍率で拡大した範囲である、
速度補正方法。

【請求項4】

請求項３に記載の速度補正方法であって、
前記ステップ（Ａ）は、
前記レーダを用いて、前記少なくとも一部が重複する範囲に存在する前記複数の物体からの前記反射点の集合を取得し、
前記複数の物体からの前記反射点の集合をクラスタリングにより物体ごとに分割することにより、前記ターゲットからの前記反射点を表す前記第１点群を取得する、
ことを含む、
速度補正方法。

【請求項5】

請求項４に記載の速度補正方法であって、
前記ステップ（Ｅ）は、
前記平面視画像に基づいて物体検出用の第２機械学習モデルを用いて、前記平面視画像内の物体が存在する範囲、および、前記物体の種類を表す情報を出力する、
ことを含む、
速度補正方法。

【請求項6】

請求項５に記載の速度補正方法であって、
前記ステップ（Ｅ）は、
前記物体があらかじめ決められた種類の物体であることを含む、あらかじめ決められた条件を満たす場合、前記物体を前記ターゲットとして取り扱い、前記対応情報を出力し、
前記あらかじめ決められた条件を満たさない場合、前記対応情報を出力しない、
ことを含む、
速度補正方法。

【請求項7】

請求項６に記載の速度補正方法であって、
前記ステップ（Ｅ）において前記第１範囲と前記第１点群との対応付けができない場合に、前記ステップ（Ｆ）および前記ステップ（Ｇ）が実行されず、
前記ステップ（Ｅ）において前記第１範囲と前記第１点群との対応付けができる場合に、前記ステップ（Ｆ）および前記ステップ（Ｇ）が実行される、
速度補正方法。

【請求項8】

車両（５０）に設けられ、前記車両の前方を撮像するカメラ（１１）と、前記車両に設けられ、電磁波を放射して、前記カメラの撮像範囲と少なくとも一部が重複する範囲に存在する複数の物体からの前記電磁波の反射点を取得するレーダ（１２）と、を用いて、着目する物体であるターゲット（Ｔ１）の速度を補正する運転支援装置（１００）であって、
前記レーダが取得した第１点群であって、前記車両が走行している車線の隣接の対象車線における少なくとも１つのターゲットからの前記反射点の集合を表す第１点群を用いて、前記車両に対する前記ターゲットの相対速度を取得する相対速度取得部（１１０）と、
前記カメラが撮像した入力画像を用いて、前記撮像範囲に存在する物体の形状を表す三次元情報を生成し、前記三次元情報を用いて平面視画像を生成する画像生成部（１２０）と、
前記平面視画像において前記ターゲットが存在する第１範囲内における前記第１点群の平面視における位置を表す対応情報を生成するフュージョン部（１３０）と、
前記対応情報を用いて、前記ターゲットを前記車両から見た方向と、前記平面視画像に基づいて求められた前記ターゲットの進行方向と、がなす角度を算出し、
前記角度を用いて前記相対速度を補正する補正部（１４０）と、
を備える運転支援装置。

【請求項9】

車両（５０）に設けられ、前記車両の前方を撮像するカメラ（１１）と、前記車両に設けられ、電磁波を放射して、前記カメラの撮像範囲と少なくとも一部が重複する範囲に存在する複数の物体からの前記電磁波の反射点を取得するレーダ（１２）と、を用いて、着目する物体であるターゲット（Ｔ１）の速度を補正するコンピュータ（１００）が実行するプログラムであって、
前記コンピュータに、
前記レーダを用いて、前記車両が走行している車線の隣接の対象車線における少なくとも１つのターゲットからの前記反射点の集合を表す第１点群を取得する機能と、
前記第１点群を用いて前記車両に対する前記ターゲットの相対速度を取得する機能と、
前記カメラが撮像した入力画像を用いて、前記撮像範囲に存在する物体の形状を表す三次元情報を生成する機能と、
前記三次元情報を用いて平面視画像（ＩＭ１）を生成する機能と、
前記平面視画像における前記ターゲットが存在する第１範囲内における前記第１点群の平面視における位置を表す対応情報を生成する機能と、
前記対応情報を用いて、前記ターゲットを前記車両から見た方向と、前記平面視画像に基づいて求められた前記ターゲットの進行方向と、がなす角度を算出する機能と、
前記角度を用いて、前記相対速度を補正する機能と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、速度補正方法、運転支援装置、および、プログラムに関する。

【背景技術】

【0002】

特許文献１には、レーダの検出点から推定された対象車両の進行方向を補正する技術について記載されている。対象車両が対向車線を走行している車両である場合、対象車両の進行方向と、自車両が備えるレーダが電磁波を放射する方向とは正対していない。このため、レーダが検出できるのは電磁波の放射方向に沿った対象車両の速度成分である。対象車両の正確な速度を得るためには、対象車両の進行方向を正確に求める必要がある。

【0003】

特許文献１には、対象車両を上から見た場合の平面視における対象車両が存在する領域として、レーダの検出点すべてを囲むボックスが設定されることが記載されている。また、特許文献１には、基準となる検出点とボックス内に含まれるいずれかの検出点とを結んだ直線が任意の手法で決定された基準方向に対してなす角度を、対象車両の補正後の進行方向の候補とすることが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許出願公開第２０１９／０００４１６６号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の技術においては、レーダの検出点の数があらかじめ決められた数より少ない場合に、対象車両が存在する領域を表すためのボックスを設定することができない。よって、レーダの検出点の数が少ない場合であっても、対象車両の進行方向を求め、対象車両の速度を精度よく求めることができる技術が望まれていた。

【課題を解決するための手段】

【0006】

本開示の一形態によれば、速度補正方法が提供される。この速度補正方法は、運転支援装置（１００）が、車両に設けられ、車両（５０）の前方を撮像するカメラ（１１）と、前記車両に設けられ、電磁波を放射して、前記カメラの撮像範囲と少なくとも一部が重複する範囲に存在する複数の物体からの前記電磁波の反射点を取得するレーダ（１２）と、を用いて、着目する物体であるターゲット（Ｔ１）の速度を補正する速度補正方法であって、（Ａ）前記レーダを用いて、前記車両が走行している車線の隣接の対象車線における少なくとも１つのターゲットからの前記反射点の集合を表す第１点群を取得するステップと、（Ｂ）前記第１点群を用いて前記車両に対する前記ターゲットの相対速度を取得するステップと、（Ｃ）前記カメラが撮像した入力画像を用いて、前記撮像範囲に存在する物体の形状を表す三次元情報を生成するステップと、（Ｄ）前記三次元情報を用いて平面視画像（ＩＭ１）を生成するステップと、（Ｅ）前記平面視画像における前記ターゲットが存在する第１範囲内における前記第１点群の平面視における位置を表す対応情報を生成するステップと、（Ｆ）前記対応情報を用いて、前記ターゲットを前記車両から見た方向と、前記平面視画像に基づいて推定される前記ターゲットの前記進行方向と、がなす角度を算出するステップと、（Ｇ）前記角度を用いて、前記相対速度を補正するステップと、を含む。

【0007】

上記形態によれば、レーダが検出した反射点が少ない場合であっても、カメラが撮像した入力画像から得られる情報を用いてターゲットが存在する範囲とターゲットの進行方向とを特定できる。よって、レーダの検出点の数が少ない場合であっても、対象車両の進行方向を精度よく求め、対象車両の速度を精度よく補正できる。

【図面の簡単な説明】

【0008】

【図1】運転支援システムの概略構成を表すブロック図である。

【図2】ターゲットの相対速度を補正する速度補正処理のフローチャートである。

【図3】平面視画像の一例である。

【図4】平面視画像においてターゲットを囲むボックスの設定についての説明図である。

【図5】平面視画像においてターゲットを囲むボックスの拡大についての説明図である。

【図6】対応情報の生成についての説明図である。

【図7】角度の算出についての説明図である。

【図8】右折するターゲットについての説明図である。

【発明を実施するための形態】

【0009】

Ａ．実施形態：
図１に示すように、運転支援システム１０は車両５０に搭載されている。車両５０はＡＤＡＳ（Advanced Driving Assistant System: 先進運転システム）による走行が可能である。運転支援システム１０は、車両５０が走行する車線に隣接する車線を走行する物標の相対速度を求める。運転支援システム１０は、カメラ１１と、レーダ１２と、運転支援装置１００と、運転制御部２００と、駆動力ＥＣＵ（Electronic Control Unit）３００と、ブレーキＥＣＵ４００と、操舵ＥＣＵ５００と、を備える。運転支援装置１００と、運転制御部２００と、駆動力ＥＣＵ３００と、ブレーキＥＣＵ４００と、操舵ＥＣＵ５００とは、車載ネットワークＶＮを介して接続される。車載ネットワークＶＮは、例えば、ＣＡＮ（Controller Area Network）である。

【0010】

カメラ１１は、車両５０の前方に存在する物標（物体）を検出するための画像センサである。カメラ１１は、例えば、車両５０のフロントガラスの上端近傍に設置されている単眼カメラである。カメラ１１はあらかじめ決められたフレームレートで車両５０の前方の決められた撮像範囲を撮像する。カメラ１１は撮像したフレームのデータを運転支援装置１００に出力する。

【0011】

レーダ１２は、車両５０の前方に存在する物標（物体）を検出するためのミリ波レーダである。レーダ１２は、例えば、車両５０のフロントグリルの中央部の内側に設置されている。レーダ１２は、反射波を受信するまでの時間に基づいて、カメラ１１の撮像範囲と少なくとも一部が重複する範囲の物標（物体）についての測距を行う。レーダ１２はあらかじめ決められた範囲を二次元的に走査しながら測距を行う。また、レーダ１２は受信した反射波に基づいて電磁波が反射した物標に関する測距データを生成する。測距データには、反射波の受信強度、反射点が存在する方位角、反射点までの距離、および、反射点の相対速度が含まれる。レーダ１２は測距データを運転支援装置１００に出力する。

【0012】

運転支援装置１００は、カメラ１１が取得したフレームおよびレーダ１２が取得した測距データを用いて、車両５０の対向車の相対速度を求める。運転支援装置１００は、プロセッサ１０１、メモリ１０２を備えたマイクロコンピュータである。プロセッサ１０１はメモリ１０２に格納されたプログラムを実行することにより様々な機能を実現する。実施形態において、プロセッサ１０１はメモリ１０２に格納されているプログラムを実行することにより、レーダ物標検出部１１０と、画像物標検出部１２０と、フュージョン部１３０と、補正部１４０の機能を実現する。

【0013】

レーダ物標検出部１１０は、レーダ１２により取得された測距データに基づいて物標を検出する。さらに、レーダ物標検出部１１０は、検出した物標から少なくとも１つのターゲットを特定する。ターゲットは着目すべき物標である。ターゲットは、車両５０が走行する車線に隣接する対向車線（以下、対象車線）を走行している他の車両であって、車両５０との距離があらかじめ決められた距離以下となる範囲に存在する車両である。車両は、四輪車、二輪車、自転車を含む。また、レーダ物標検出部１１０は測距データを用いてターゲットの相対速度を求める。レーダ物標検出部１１０の処理の詳細については後述する。レーダ物標検出部１１０を相対速度取得部ともよぶ。

【0014】

画像物標検出部１２０は、入力画像に基づいた推定処理によりカメラ１１の撮像範囲に存在する物標の形状を表す三次元情報を生成する。入力画像はカメラ１１が撮像したフレームである。画像物標検出部１２０は、生成した三次元情報を用いて平面視画像を生成する。画像物標検出部１２０は、平面視画像に基づいて物標を検出する。さらに、画像物標検出部１２０は、検出した物標からターゲットを特定する。また、画像物標検出部１２０は、平面視画像を用いてターゲットの進行方向を特定する。画像物標検出部１２０の処理の詳細については後述する。画像物標検出部１２０を画像生成部ともよぶ。

【0015】

フュージョン部１３０は、平面視画像においてターゲットが存在する範囲と、測距データにおけるターゲットを表す反射点との対応付けを行う。フュージョン部１３０は対応付けを表す対応情報を生成する。フュージョン部１３０の処理の詳細については後述する。

【0016】

補正部１４０は、フュージョン部１３０により生成された対応情報とターゲットの進行方向とを用いて、レーダ１２の電磁波の放射方向とターゲットの進行方向とがなす角度を算出する。補正部１４０は、算出した角度を用いて測距データに基づくターゲットの相対速度を補正する。補正部１４０の処理の詳細については後述する。

【0017】

運転制御部２００は、プロセッサ、メモリを備えたマイクロコンピュータである。プロセッサがメモリに格納されたプログラムを実行することにより、運転制御部２００の機能が実現される。運転制御部２００は、駆動力ＥＣＵ３００と、ブレーキＥＣＵ４００と、操舵ＥＣＵ５００とを制御する。

【0018】

駆動力ＥＣＵ３００は車両５０のエンジンの動作状態を制御する。運転手が手動で運転を行う場合、駆動力ＥＣＵ３００は、アクセルペダルの操作量に応じて車両５０の動力源であるエンジンまたは電気モータを制御する。一方、自動運転を行う場合、駆動力ＥＣＵ３００は、運転制御部２００で演算された要求駆動力に応じてエンジンまたは電気モータを制御する。

【0019】

ブレーキＥＣＵ４００は車両５０のブレーキ機構の動作を制御する。運転手が手動で運転を行う場合、ブレーキＥＣＵ４００はブレーキペダルの操作量に応じてブレーキ機構を構成する各装置を制御する。一方、自動運転を行う場合、ブレーキＥＣＵ４００は、運転制御部２００で演算された要求制動力に応じてブレーキ機構を構成する各装置を制御する。

【0020】

操舵ＥＣＵ５００は車両５０の操舵機構の動作を制御する。運転手が手動で運転を行う場合、操舵ＥＣＵ５００は、ステアリングハンドルの操作に応じてモータを制御して、ステアリング操作に対するアシストトルクを発生させる。これにより、運転手は少量の力でステアリングを操作できる。一方、自動運転を行う場合、操舵ＥＣＵ５００は、運転制御部２００で演算された要求操舵角に応じてモータを制御することにより操舵を行う。

【0021】

図２に、運転支援装置１００が測距データに基づいたターゲットの相対速度を補正する速度補正処理を示す。運転支援装置１００は、運転制御部２００から指示を受け付けると図２に示す処理を開始する。なお、カメラ１１は、車両５０の前方を決められた時間間隔で撮像している。運転支援装置１００は、カメラ１１から受け付けたフレームのデータをメモリ１０２に順次格納している。レーダ１２は、車両５０の前方の測距を決められた時間間隔で行っている。運転支援装置１００は、レーダ１２から受け付けた測距データをメモリ１０２に順次格納している。

【0022】

ステップＳ１０１において、レーダ物標検出部１１０は、測距データを用いてターゲットからの反射点の集合である点群を取得する。

【0023】

まず、レーダ物標検出部１１０は測距データが表す複数の反射点のうち、同じ物標で反射した反射点である１または複数の反射点を１つのセグメントに分類する。例えば、反射点の相対速度、または、ＸＹ平面内における反射点の位置に応じて、測距データが表す複数の反射点が分割される。本実施形態では、車両５０の車幅方向をＸ軸、車長方向をＹ軸と設定する。レーダ物標検出部１１０は、測距データが表す複数の反射点すべてをクラスタリングの手法を用いて複数のセグメントに分割する。

【0024】

さらに、レーダ物標検出部１１０は、反射点の方位角、距離、および、相対速度に基づいて、複数のセグメントからターゲットを表すセグメントを特定する。特定されたターゲットを表すセグメントに含まれる反射点の集合である点群を第１点群ともよぶ。

【0025】

ステップＳ１０３において、レーダ物標検出部１１０はターゲットの相対速度を取得する。

【0026】

まず、レーダ物標検出部１１０は、ターゲットを表すセグメント（以下、対象セグメントという）に属する複数の反射点から、ターゲットを代表する反射点を選ぶ。ターゲットを代表する反射点を代表点という。例えば、レーダ物標検出部１１０は、対象セグメントに属する複数の反射点のうち、受信強度が最も大きい反射点を代表点として選ぶ。なお、対象セグメントに属する反射点が１つだけの場合、その反射点が代表点となる。レーダ物標検出部１１０は、対象セグメントの代表点の相対速度をセグメントの相対速度として特定する。なお、代表点を含む反射点それぞれの相対速度は測距データに含まれている。

【0027】

ステップＳ１０５において、画像物標検出部１２０は、入力画像を用いて三次元情報を生成する。

【0028】

まず、画像物標検出部１２０は、入力画像を用いて奥行きを推定する。入力画像は、カメラ１１が撮像したフレームである。奥行きの推定には、深度推定用の機械学習モデルが用いられる。深度推定用の機械学習モデルを第１機械学習モデルともよぶ。深度推定用の機械学習モデルを用いることにより、二次元情報である入力画像から奥行きを容易に推定できる。画像物標検出部１２０は、推定した奥行きを表す奥行き情報と入力画像が表す二次元情報とを用いて、三次元情報を生成する。生成された三次元情報は撮像範囲に存在する物標の形状を表す。画像物標検出部１２０は、生成した三次元情報をメモリ１０２に格納する。

【0029】

ステップＳ１０７において、画像物標検出部１２０は三次元情報を用いて平面視画像ＩＭ１を生成する。平面視画像ＩＭ１は、上方から見た場合の視点画像である。平面視画像ＩＭ１の生成には、例えば、鳥瞰変換に関する周知の座標変換の手法が用いられる。

【0030】

図３に示すように、生成される平面視画像ＩＭ１は、上方から路面を見た場合の視点画像である。生成された平面視画像ＩＭ１には、合成された車両５０が含まれている。平面視画像ＩＭ１の生成により、物標の位置情報がＸＹ平面に対応付けられる。画像物標検出部１２０は生成した平面視画像ＩＭ１をメモリ１０２に格納する。

【0031】

図２に示す、ステップＳ１０９において、画像物標検出部１２０は、平面視画像ＩＭ１においてターゲットが存在する範囲を囲むボックスとターゲットの向きとを特定する。

【0032】

まず、画像物標検出部１２０は、物体検出用の機械学習モデルを用いて、平面視画像ＩＭ１における物標が存在する範囲および物標に関する種類を検出する。物体検出用の機械学習モデルを第２機械学習モデルともよぶ。物体検出用の機械学習モデルを用いることにより、物標が存在する範囲および物標に関する種類を容易に検出できる。検出される物標は、四輪車、二輪車、自転車、電動カート、車椅子、歩行者、標識、ガードレール、路面上の白線等である。画像物標検出部１２０は、平面視画像ＩＭ１における物標が存在する範囲および物標に関する種類を表す情報をメモリ１０２に格納する。

【0033】

画像物標検出部１２０は、平面視画像ＩＭ１から検出した物標のうち、あらかじめ決められた条件を満たす物標をターゲットとして特定する。あらかじめ決められた条件は、車両５０との距離があらかじめ決められた距離以下となる位置に存在している物標であること、および、物標があらかじめ決められた種類の物体であることである。あらかじめ決められた種類の物体は、例えば、四輪車、二輪車、自転車である。例えば、対象車線を走行している他の四輪車であって、車両５０との距離があらかじめ決められた距離以下となる位置に存在する四輪車が、ターゲットとして特定される。平面視画像ＩＭ１における車両間の距離と実際の距離との対応付けに用いられる情報は、あらかじめメモリ１０２に格納されている。画像物標検出部１２０は、平面視画像ＩＭ１におけるターゲットの位置を表す座標値と、ターゲットの種類を表す情報をメモリ１０２に格納する。

【0034】

画像物標検出部１２０は、特定したターゲットが存在する範囲を囲むボックスを平面視画像ＩＭ１に設定する。図４に示す例では、特定したターゲットＴ１が存在する範囲を囲むボックスＢ１が設定されている。ここで、設定されるボックスＢ１は、平面視画像ＩＭ１においてターゲットの周縁に接するボックスである。画像物標検出部１２０は、平面視画像ＩＭ１におけるボックスＢ１の位置を表す座標値をメモリ１０２に格納する。

【0035】

さらに、画像物標検出部１２０はターゲットの向きを特定する。画像物標検出部１２０は、例えば、異なる複数の車種の車両を上方から撮像した学習用画像を用いて機械学習により生成された機械学習モデルを用いてターゲットの進行方向を特定する。機械学習モデルを用いることにより、ターゲットの進行方向を容易に認識できる。画像物標検出部１２０は、ターゲットの進行方向を表す情報をメモリ１０２に格納する。

【0036】

図２に示す、ステップＳ１１１において、フュージョン部１３０は、平面視画像ＩＭ１におけるボックスＢ１と、測距データにおけるターゲットを表す反射点との対応付けを行う。

【0037】

まず、フュージョン部１３０は、平面視画像ＩＭ１に設定されているボックスＢ１をあらかじめ決められた倍率で拡大する。あらかじめ決められた倍率は、例えば、１．１倍である。

【0038】

図５に、拡大後のボックスＢ２が設定されている平面視画像ＩＭ１を示す。平面視画像ＩＭ１は、奥行き推定により入力画像から生成された三次元情報から生成されている。このため、平面視画像ＩＭ１内のターゲットが存在する範囲についての確度は、ターゲットを実際にカメラで上方から撮像する画像に比べて低くなる。よって、入力画像に基づいて生成された平面視画像ＩＭ１内のターゲットが存在する範囲についての誤差を減らすため、平面視画像ＩＭ１内のターゲットを囲む範囲をあらかじめ決められた倍率で拡大する。拡大されたボックスＢ２が示す範囲を第１範囲ともよぶ。

【0039】

フュージョン部１３０は、測距データに基づくターゲットを表す反射点の方位角、距離、および、受信強度を用いて、ターゲットを表す反射点の位置が表された２次元の画像ＩＭ３を生成する。図６に示すように、生成された画像ＩＭ３にターゲットを表す４つの反射点ＲＰ１が含まれているとする。図６においては画像ＩＭ３に表されている反射点を黒丸で示す。フュージョン部１３０は、平面視画像ＩＭ１と、画像ＩＭ３とを用いて、ターゲットを表す反射点を、平面視画像ＩＭ１における拡大されたボックスＢ２内に配置する。フュージョン部１３０は、例えば、ターゲットを表す複数の反射点のうち、最も受信強度が高い反射点をターゲットの右前方のコーナー部分と判別する。ここで、右前方とはターゲットの運転手から見た場合の方向である。フュージョン部１３０は、平面視画像ＩＭ１における拡大されたボックスＢ２内における４つの反射点それぞれの位置を決定すると、決定されたボックスＢ２内における４つの反射点それぞれの位置を表す画像ＩＭ５を生成する。

【0040】

フュージョン部１３０は、平面視画像ＩＭ１におけるターゲットが存在する範囲（ボックスＢ２が示す範囲）における、ターゲットを表すセグメントに含まれる点群（第１点群）の平面視における位置を表す対応情報をメモリ１０２に格納する。対応情報は、画像ＩＭ５におけるボックスＢ２の位置を表す座標値、ボックスＢ２内における反射点それぞれの位置を表す座標値、を含む。

【0041】

図２に示す、ステップＳ１１３において、補正部１４０は、ターゲットの進行方向と対応情報とを用いて、レーダ１２の電磁波の放射方向とターゲットの進行方向とがなす角度θ１を算出する。実施形態においては、レーダ１２の電磁波の放射方向が、車両５０からターゲットを見た方向と同じであるとする。

【0042】

図７に示すように、ターゲットを囲むボックスＢ２の対向する短辺それぞれの中心を通る直線Ｌ１がターゲットの進行方向である仮定される。図７に示す例では、角度θ１は、ターゲットの進行方向を表す直線Ｌ１と、車両５０からターゲットを見た方向を表す直線Ｌ２とがなす角度である。直線Ｌ２は、車両５０の前端中央部とボックスＢ２の短辺の中央部とを結んだ直線である。

【0043】

図２に示す、ステップＳ１１５において、補正部１４０は、算出した角度θ１を用いてターゲットの相対速度を補正する。補正の対象となる相対速度は、ステップＳ１０３で取得された、測距データに基づくターゲットの相対速度である。補正後の相対速度ｖ１は下記式（１）により求められる。相対速度ｖ１は、ターゲットの進行方向に沿った相対速度である。相対速度ｖ０は、ステップＳ１０３で取得された、測距データに基づくターゲットの相対速度である。
ｖ１＝ｖ０／ｃｏｓθ１・・・・（１）

【0044】

補正部１４０は算出した相対速度ｖ１をメモリ１０２に格納する。例えば、補正部１４０は、算出した相対速度ｖ１を運転制御部２００に出力する。

【0045】

ステップＳ１１７において、処理を終了すべき場合（ステップＳ１１７；ＹＥＳ）、図２に示す処理が終了される。例えば、不図示のＡＤＡＳ－ＥＣＵ（Electronic Control Unit）から処理を終了すべき旨の指示を受けた場合に、図２に示す処理が終了される。一方、処理を継続する場合（ステップＳ１１７；ＮＯ）、ステップＳ１０１の処理が再び実行される。次のサイクルにおいては、メモリ１０２に格納されている複数の測距データのうち、次のひとつの測距データと、メモリ１０２に格納されている複数の入力画像のうち、次のひとつの入力画像と、が用いられて、相対速度の補正の処理が行われる。以上が、速度補正にかかる一連の処理となる。

【0046】

以上説明したように、実施形態においては、運転支援装置１００は、カメラ１１が撮像した入力画像から生成された平面視画像ＩＭ１を用いて、ターゲットが存在する範囲とターゲットの進行方向を特定する。さらに、運転支援装置１００は、平面視画像ＩＭ１において特定したターゲットが存在する範囲を表す情報を、測距データを補足する情報として用いる。例えば、ターゲットを表す反射点が１つだけ取得された場合、その反射点をターゲットの右前方のコーナー部分と特定し、反射点を平面視画像ＩＭ１に設定したボックス内に配置することにより、ターゲットの進行方向を特定できる。よって、レーダ１２が検出した反射点の数が少ない場合であっても、カメラ１１が撮像した入力画像から得られる平面視画像ＩＭ１を用いてターゲットが存在する範囲を特定できる。このように、カメラ１１が撮像した入力画像から推定される情報を、測距データを補足する情報として用いる。

【0047】

また、前述したように、レーダ１２が検出できるのは電磁波の放射方向に沿ったターゲットの速度成分である。特定したターゲットの進行方向を用いて、測距データに基づいたターゲットの相対速度を補正するので、より正確なターゲットの相対速度を求めることができる。

【0048】

図８に示すように、車両５０が車線Ｌｎ１を走行しており、ターゲットＴ１が対向車線である車線Ｌｎ２を走行しているとする。ターゲットＴ１が交差点ＣＰで右折する状況が発生することがある。運転支援装置１００は、測距データに基づく相対速度ｖ０を補正することにより求めた相対速度ｖ１をターゲットの相対速度として運転制御部２００に出力する。運転制御部２００は、運転支援装置１００から受け付けたターゲットＴ１の相対速度ｖ１に基づいて、ターゲットＴ１への衝突を回避することが必要であると判定した場合には、駆動力ＥＣＵ３００、ブレーキＥＣＵ４００、および、操舵ＥＣＵ５００を制御して、車両５０を減速、あるいは、停止させることができる。

【0049】

従来のように、測距データに基づく相対速度をターゲットの相対速度として用いる場合、測距データに基づく相対速度と、ターゲットＴ１の進行方向に沿った相対速度とに誤差があるため、安全を担保するため、運転制御部２００は時間的に余裕を持って車両５０の減速の開始または停止を制御していた。しかしながら、実施形態にかかる速度補正方法を用いることにより、ターゲットＴ１の進行方向に沿った相対速度を精度よく求めることができるので、車両５０の減速の開始または停止についてより高精度に制御を行うことができる。

【0050】

Ｂ．他の実施形態：
Ｂ１．他の実施形態１：
実施形態においては、三次元情報を生成するため、単眼カメラであるカメラ１１が撮像した入力画像から機械学習モデルを用いて奥行きを推定する例を説明した。あるいは、カメラ１１としてステレオカメラを用いることができる。この場合、ステレオカメラが出力する三次元画像に含まれる奥行き情報を用いて三次元情報を生成できる。

【0051】

Ｂ２．他の実施形態２：
また、測距データに基づくターゲットを表すセグメントに含まれる反射点の集合が、平面視画像ＩＭ１において特定されたターゲットに対応付けられない場合も生じうる。この場合、測距データに基づくターゲットの相対速度を補正しなくてよい。平面視画像ＩＭ１において特定された第１範囲との対応付けができない第１点群が表すターゲットについては測距データに基づく相対速度の補正を行わないため、処理の効率化を図ることができる。

【0052】

実施形態においては、平面視画像ＩＭ１から検出した物標からターゲットを特定するための条件が、車両５０との距離があらかじめ決められた距離以下となる位置に存在している物標であること、および、物標があらかじめ決められた種類の物体であることであった。あるいは、ターゲットを特定するための条件は、車両５０との距離があらかじめ決められた距離以下となる位置に存在している物標であること、物標があらかじめ決められた種類の物体であること、および、物標が移動していること、であってもよい。あるいは、ターゲットを特定するための条件は、車両５０との距離があらかじめ決められた距離以下となる位置に存在している物標であること、物標があらかじめ決められた種類の物体であること、および、物標が一定速度以上で移動していること、であってもよい。

【0053】

Ｂ３．他の実施形態３：
実施形態においては、平面視画像ＩＭ１において特定したターゲットが存在する範囲を囲むボックスＢ１を拡大する例を説明した。しかしながら、平面視画像ＩＭ１においてターゲットが存在する範囲を囲むボックスＢ１は拡大しなくてもよい。

【0054】

実施形態においては、測距データが表す複数の反射点すべてをクラスタリングの手法を用いてセグメントに分割する例を説明した。あるいは、クラスタリングの手法によらず、例えば、車両５０から一定の距離内にある点群をターゲットからの反射点を表す第１点群として選択してもよい。この場合、その他の点群については、処理の対象としない。

【0055】

Ｂ４．他の実施形態４：
実施形態においては、ターゲットを表す反射点の集合である第１点群を取得するため、測距データが表す複数の反射点をクラスタリングの手法を用いてセグメントに分割する例を説明した。しかしながら、測距データに基づいて、ターゲットを含む物標を検出する手法はこれに限られない。例えば、ディープニューラルネットワークに基づく手法を用いて、複数の反射点を物標ごとに分類してもよい。

【0056】

実施形態においては、物体検出用の機械学習モデルを用いて平面視画像に含まれる物標を検出する例を説明した。あるいは、平面視画像に含まれる物標を検出するため、セグメンテーションの手法が用いられてもよい。

【0057】

本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部およびその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【0058】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0059】

１０…運転支援システム、１１…カメラ、１２…レーダ、５０…車両、１００…運転支援装置、１１０…レーダ物標検出部、１２０…画像物標検出部、１３０…フュージョン部、１４０…補正部、２１０…運転制御部、ＩＭ１…平面視画像、Ｔ１…ターゲット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】