(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-04
(45)【発行日】2023-07-12
(54)【発明の名称】物体検出装置
(51)【国際特許分類】
G08G 1/16 20060101AFI20230705BHJP
G06T 7/00 20170101ALI20230705BHJP
G01C 3/06 20060101ALI20230705BHJP
【FI】
G08G1/16 E
G06T7/00 650B
G01C3/06 110V
G01C3/06 120S
G01C3/06 130
G01C3/06 140
(21)【出願番号】P 2020064073
(22)【出願日】2020-03-31
【審査請求日】2022-06-02
(73)【特許権者】
【識別番号】000004695
【氏名又は名称】株式会社SOKEN
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】100121821
【氏名又は名称】山田 強
(74)【代理人】
【識別番号】100139480
【氏名又は名称】日野 京子
(74)【代理人】
【識別番号】100125575
【氏名又は名称】松田 洋
(74)【代理人】
【識別番号】100175134
【氏名又は名称】北 裕介
(72)【発明者】
【氏名】石神 裕丈
(72)【発明者】
【氏名】桑原 正樹
【審査官】増子 真
(56)【参考文献】
【文献】国際公開第2015/045504(WO,A1)
【文献】特開2016-068684(JP,A)
【文献】特開2017-211957(JP,A)
【文献】特開2015-087323(JP,A)
【文献】特開2010-079582(JP,A)
【文献】特開2016-206773(JP,A)
【文献】米国特許出願公開第2017/0217428(US,A1)
【文献】韓国公開特許第10-2019-0017241(KR,A)
【文献】特開2013-033312(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 99/00
G01C 3/00 - 3/32
G01C 21/00 - 21/36
G01C 23/00 - 25/00
B60W 10/00 - 10/30
B60W 30/00 - 60/00
B60R 21/00 - 21/13
B60R 21/34 - 21/38
G06T 7/00 - 7/90
G06V 10/00 - 20/90
G06V 30/418
G06V 40/16
G06V 40/20
(57)【特許請求の範囲】
【請求項1】
視差を含む第1画像及び第2画像を撮影する第1カメラ(11)及び第2カメラ(12)が搭載された移動体(50)に適用され、前記第1画像及び前記第2画像に基づいて、前記移動体の周囲に存在する物体を検出する物体検出装置(20)であって、
前記第1画像上の前記物体の位置と前記第2画像上の前記物体の位置とから求められる視差に基づいて、前記移動体と前記物体との間の距離を複眼距離として算出する複眼距離算出部と、
前記第1画像及び前記第2画像の一方を用い、当該一方の画像上の前記物体の大きさに基づいて、前記移動体と前記物体との間の距離を単眼距離として算出する単眼距離算出部と、
前記複眼距離及び前記単眼距離の少なくとも一方が所定の距離閾値よりも大きいことを判定する距離判定部と、
前記距離判定部により前記距離閾値よりも大きいと判定された場合に、前記複眼距離及び前記単眼距離のうち、前記単眼距離に基づいて前記移動体の移動様態を制御する移動制御量を算出し、前記距離判定部により前記距離閾値よりも小さいと判定された場合に、前記複眼距離及び前記単眼距離のうち、前記複眼距離に基づいて前記移動制御量を算出する制御量算出部と、を備え、
前記第1カメラ及び前記第2カメラは、所定方向に並んで配置されており、
前記物体について、前記所定方向における寸法を示す寸法情報を取得する寸法取得部を備え、
前記距離判定部は、前記寸法情報が示す前記物体の寸法が大きいほど前記距離閾値を小さく設定す
る物体検出装置。
【請求項2】
前記距離判定部は、前記移動体と前記物体との間の距離の増加又は減少を判定し、
前記移動体と前記物体との間の距離が増加している場合に用いられる前記距離閾値である増加閾値と、
前記移動体と前記物体との間の距離が減少している場合に用いられる前記距離閾値である減少閾値とを有し、
前記増加閾値は、前記減少閾値よりも大きい値に設定されている請求項
1に記載の物体検出装置。
【請求項3】
視差を含む第1画像及び第2画像を撮影する第1カメラ(11)及び第2カメラ(12)が搭載された移動体(50)に適用され、前記第1画像及び前記第2画像に基づいて、前記移動体の周囲に存在する物体を検出する物体検出装置(20)であって、
前記第1画像上の前記物体の位置と前記第2画像上の前記物体の位置とから求められる視差に基づいて、前記移動体と前記物体との間の距離を複眼距離として算出する複眼距離算出部と、
前記第1画像及び前記第2画像の一方を用い、当該一方の画像上の前記物体の大きさに基づいて、前記移動体と前記物体との間の距離を単眼距離として算出する単眼距離算出部と、
前記複眼距離及び前記単眼距離の少なくとも一方が所定の距離閾値よりも大きいことを判定する距離判定部と、
前記距離判定部により前記距離閾値よりも大きいと判定された場合に、前記複眼距離及び前記単眼距離のうち、前記単眼距離に基づいて前記移動体の移動様態を制御する移動制御量を算出し、前記距離判定部により前記距離閾値よりも小さいと判定された場合に、前記複眼距離及び前記単眼距離のうち、前記複眼距離に基づいて前記移動制御量を算出する制御量算出部と、を備え、
前記距離判定部は、前記移動体と前記物体との間の距離の増加又は減少を判定し、
前記移動体と前記物体との間の距離が増加している場合に用いられる前記距離閾値である増加閾値と、
前記移動体と前記物体との間の距離が減少している場合に用いられる前記距離閾値である減少閾値とを有し、
前記増加閾値は、前記減少閾値よりも大きい値に設定されてい
る物体検出装置。
【請求項4】
前記第1カメラ及び前記第2カメラの間の距離である基準長を変更可能に構成されており、
前記基準長を示す基準長情報を取得する基準長取得部を備え、
前記距離判定部は、前記基準長情報が示す前記基準長が長いほど前記距離閾値を大きく設定する請求項1から
3までのいずれか一項に記載の物体検出装置。
【請求項5】
視差を含む第1画像及び第2画像を撮影する第1カメラ(11)及び第2カメラ(12)が搭載された移動体(50)に適用され、前記第1画像及び前記第2画像に基づいて、前記移動体の周囲に存在する物体を検出する物体検出装置(20)であって、
前記第1画像上の前記物体の位置と前記第2画像上の前記物体の位置とから求められる視差に基づいて、前記移動体と前記物体との間の距離を複眼距離として算出する複眼距離算出部と、
前記第1画像及び前記第2画像の一方を用い、当該一方の画像上の前記物体の大きさに基づいて、前記移動体と前記物体との間の距離を単眼距離として算出する単眼距離算出部と、
前記複眼距離及び前記単眼距離の少なくとも一方が所定の距離閾値よりも大きいことを判定する距離判定部と、
前記距離判定部により前記距離閾値よりも大きいと判定された場合に、前記複眼距離及び前記単眼距離のうち、前記単眼距離に基づいて前記移動体の移動様態を制御する移動制御量を算出し、前記距離判定部により前記距離閾値よりも小さいと判定された場合に、前記複眼距離及び前記単眼距離のうち、前記複眼距離に基づいて前記移動制御量を算出する制御量算出部と、を備え、
前記第1カメラ及び前記第2カメラの間の距離である基準長を変更可能に構成されており、
前記基準長を示す基準長情報を取得する基準長取得部を備え、
前記距離判定部は、前記基準長情報が示す前記基準長が長いほど前記距離閾値を大きく設定す
る物体検出装置。
【請求項6】
前記第1カメラ及び前記第2カメラは、所定方向に並んで配置されており、
前記単眼距離算出部は、
前記物体が、前記所定方向における前記第1カメラと前記第2カメラとの間の中心に対して、前記第1カメラ側に存在しているか又は前記第2カメラ側に存在しているかを判定し、
前記物体が前記第1カメラ側に存在していると判定した場合に、前記第1画像を用いて前記単眼距離を算出し、
前記物体が前記第2カメラ側に存在していると判定した場合に、前記第2画像を用いて前記単眼距離を算出する請求項1から
5までのいずれか一項に記載の物体検出装置。
【請求項7】
前記移動制御量は、前記物体に対する前記移動体の相対速度である請求項1から
6までのいずれか一項に記載の物体検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両などの移動体における物体検出装置に関する。
【背景技術】
【0002】
従来、カメラを車両に搭載し、カメラから入力された撮影画像に基づいて車両周囲に存在する物体を検出する装置が知られている(例えば、特許文献1)。この装置では、カメラから入力された画像から物体の画像領域を特定し、この画像領域の大きさに基づいて車両の走行制御量を算出する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
走行制御量には車両の目標車速が含まれ、目標車速の算出では、車両と物体との間の距離が算出される。つまり、画像上の物体の大きさに基づいて移動体と物体との間の距離が算出される。ここで画像上の物体の大きさは、その物体に相当する画素の数である画素数を用いて表される。この場合、画像上の物体の大きさには、最大で1画素分の大きさに依存する誤差が生じ、この大きさに基づいて算出される移動体と物体との間の距離にも誤差が生じるといった不具合が懸念される。
【0005】
本発明は、上記事情に鑑みてなされたものであり、その目的は、画像に基づいて、移動体の移動制御量を精度良く算出できる物体検出装置を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するための手段は、視差を含む第1画像及び第2画像を撮影する第1カメラ及び第2カメラが搭載された移動体に適用され、前記第1画像及び前記第2画像に基づいて、前記移動体の周囲に存在する物体を検出する物体検出装置であって、前記第1画像上の前記物体の位置と前記第2画像上の前記物体の位置とから求められる視差に基づいて、前記移動体と前記物体との間の距離を複眼距離として算出する複眼距離算出部と、前記第1画像及び前記第2画像の一方を用い、当該一方の画像上の前記物体の大きさに基づいて、前記移動体と前記物体との間の距離を単眼距離として算出する単眼距離算出部と、前記複眼距離及び前記単眼距離の少なくとも一方が所定の距離閾値よりも大きいことを判定する距離判定部と、前記距離判定部により前記距離閾値よりも大きいと判定された場合に、前記複眼距離及び前記単眼距離のうち、前記単眼距離に基づいて前記移動体の移動様態を制御する移動制御量を算出し、前記距離判定部により前記距離閾値よりも小さいと判定された場合に、前記複眼距離及び前記単眼距離のうち、前記複眼距離に基づいて前記移動制御量を算出する制御量算出部と、を備える。
【0007】
第1カメラ及び第2カメラにより撮影された第1画像及び第2画像の一方を用い、当該一方の画像上の物体の大きさに基づいて移動体と物体との間の距離を単眼距離として算出する場合、単眼距離には、最大で1画素相当分の長さに依存する誤差が生じ、その誤差の大きさは概ね移動物と物体との間の距離に比例したものとなる。また、第1画像上の物体の位置と第2画像上の物体の位置との視差に基づいて、移動体と物体との間の距離を複眼距離として算出する場合、複眼距離は、第1画像及び第2画像における視差から、三角測量の原理によって算出される。この場合、複眼距離と視差とは互いに反比例の関係にあり、複眼距離が長くなるほど視差が小さくなる。また、視差が小さいほど複眼距離の算出精度が低下する。そのため、複眼距離に含まれる誤差は、視差が小さくなるに従って急激に大きくなる。したがって、物体が移動体の遠方に存在していると、単眼距離の誤差は複眼距離の誤差よりも小さくなり、物体が移動体の近方に存在していると、単眼距離の誤差は複眼距離の誤差よりも大きくなる。
【0008】
そこで、上記構成では、複眼距離及び単眼距離の少なくとも一方が距離閾値よりも大きいことを判定し、大きいと判定された場合に単眼距離に基づいて移動体の移動制御量を算出し、小さいと判定された場合に複眼距離に基づいて移動体の移動制御量を算出するようにした。複眼距離及び単眼距離のうち、誤差の小さい距離に基づいて移動物の移動制御量を算出することで、移動物の移動制御量を精度良く算出することができる。
【図面の簡単な説明】
【0009】
【
図4】第1実施形態に係る切替処理の手順を示すフローチャート。
【
図6】第1実施形態に係る複眼距離と複眼誤差との関係、及び単眼距離と単眼誤差との関係を示すグラフ。
【
図8】第2実施形態に係る切替処理の手順を示すフローチャート。
【
図9】第3実施形態に係る切替処理の手順を示すフローチャート。
【
図10】第3実施形態に係る複眼距離と複眼誤差との関係、及び単眼距離と単眼誤差との関係を示すグラフ。
【
図12】第4実施形態に係る切替処理の手順を示すフローチャート。
【
図13】第4実施形態に係る複眼距離と複眼誤差との関係、及び単眼距離と単眼誤差との関係を示すグラフ。
【発明を実施するための形態】
【0010】
(第1実施形態)
以下、本発明を具体化した実施形態を図面に基づいて説明する。本実施形態は、車両に搭載された物体検知システムを具体化している。当該システムは、例えば、車両に搭載される車両システムの一例であり、車両の周囲に存在する物体(例えば、他車両)を検知する。
【0011】
まず、本実施形態に係る車両の物体検知システムの概略構成について
図1を用いて説明する。移動体としての車両50は、ステレオカメラ10と、物体検出装置としてのECU20と、ECU20の制御対象としての被制御装置30とを備えている。
【0012】
ステレオカメラ10は、車両50の前方を撮影できるよう光軸を車両50の前方に向けた状態で車両50の前部に設置されている。ステレオカメラ10は、右カメラ11及び左カメラ12を備えている。右カメラ11及び左カメラ12は、重力方向において同じ高さに配置されるとともに左右(水平)方向に離れた位置に配置されている。なお、本実施形態において、左右方向が「所定方向」に相当し、右カメラ11及び左カメラ12がそれぞれ「第1カメラ及び第2カメラ」に相当する。
【0013】
右カメラ11及び左カメラ12は、車両50の前方に位置する同一の他車両を異なる方向から撮影する。右カメラ11及び左カメラ12は、所定周期で同時に撮影を行い、右カメラ11で撮影された右画像及び左カメラ12で撮影された左画像は、それぞれECU20に出力される。右カメラ11及び左カメラ12は、例えば、それぞれがCCDイメージセンサやCMOSイメージセンサで構成されている。なお、本実施形態において、右画像及び左画像がそれぞれ「第1画像及び第2画像」に相当する。
【0014】
ECU20は、CPUや各種メモリ等を備えたコンピュータを主体として構成されている。ECU20は、ステレオカメラ10の右カメラ11及び左カメラ12によってそれぞれ出力された右画像及び左画像に基づいて、車両前方に位置する他車両を検出し、その他車両までの距離を算出する。
【0015】
他車両までの距離の算出には、周知のステレオマッチング処理を用いた手法が適用される。簡単に説明すると、ECU20は、同時に撮影された右画像及び左画像を取得し、これらの画像に共通に存在する他車両の位置の視差DP(画像上のずれ量)に基づき、三角測量の原理を用いて他車両までの距離を算出する。以下、視差DPに基づいて算出された他車両までの距離を、複眼距離LPという。
【0016】
また、他車両までの距離は、以下の手法でも算出することができる。具体的には、ECU20は、右画像及び左画像のうち、一方の右画像上の他車両の左右方向における大きさである画像幅WGを取得し、この画像幅WGと他車両の左右方向における寸法である車幅WRとの比に基づいて、他車両までの距離を算出する。以下、画像上の他車両の画像幅WGに基づいて算出された他車両までの距離を、単眼距離LSという。なお、単眼距離LSの算出に用いられる画像は、左画像でもよい。
【0017】
また、ECU20は、算出された複眼距離LP又は単眼距離LSに基づいて、車両50に対する他車両の相対速度VRを算出し、その他車両に対するACC(Adaptive Cruise Control)などの追従制御処理を実施する。具体的には、被制御装置30であるアクセル装置31及びブレーキ装置32を、それぞれ所定の作動タイミングで作動させる。アクセル装置31は、ドライバのアクセル操作又はECU20からの制御指令により、車両50に駆動力を付与する。また、ブレーキ装置32は、車両50の制動力を変化させるブレーキ機構と、このブレーキ機構の動作を制御するブレーキECUとを備えている。ブレーキECUは、ECU20と通信可能に接続されており、ECU20からの制御指令により、ブレーキ機構を制御する。
【0018】
ところで、単眼距離LSの算出に用いられる画像幅WGは、その他車両に相当する画素の数である画素数を用いて表される。この場合、単眼距離LSには、最大で1画素相当分の長さに依存する誤差が生じ、その誤差の大きさは概ね車両50と他車両との間の距離に比例したものとなる。具体的には、単眼距離LSは、右カメラ11及び左カメラ12の焦点距離LFと、車幅WRと、画像幅WGとを用いて、以下の(式1)のように表される。
【0019】
LS=WR×LF/WG・・・(式1)
ここで、他車両の車幅WRは、周知のパターンマッチングにより右画像又は左画像上の物体の種別を判定した場合に、その種別に応じて定められた一定値に設定される。
【0020】
また、複眼距離LPの算出では、右画像及び左画像における視差DPから、三角測量の原理によって複眼距離LPを算出する。
図2を用いて、三角測量の原理について説明する。
図2の上側には、右カメラ11、左カメラ12及び他車両を重力方向上側から見た様子が示されており、
図2の下側には、右カメラ11及び左カメラ12で撮影された右画像及び左画像がそれぞれ示されている。
図2に示すように、複眼距離LPは、右カメラ11及び左カメラ12の間の左右方向における距離である基準長LCと、右カメラ11及び左カメラ12の焦点距離LFと、右画像及び左画像における視差DPとを用いて、以下の(式2)のように表される。
【0021】
LP=LC×LF/DP・・・(式2)
(式2)によれば、複眼距離LPと視差DPとは互いに反比例の関係にあり、複眼距離LPが長くなるほど視差DPが小さくなる。また、視差DPが小さいほど複眼距離LPの算出精度が低下する。そのため、複眼距離LPに含まれる誤差は、視差DPが小さくなるに従って急激に大きくなる。したがって、他車両が車両50の遠方に存在していると、単眼距離LSの誤差は複眼距離LPの誤差よりも小さくなり、他車両が車両50の近方に存在していると、単眼距離LSの誤差は複眼距離LPの誤差よりも大きくなる。
【0022】
そこで、本実施形態では、単眼距離LSが距離閾値Lthよりも大きいことを判定し、大きいと判定された場合に単眼距離LSに基づいて相対速度VRを算出し、小さいと判定された場合に複眼距離LPに基づいて相対速度VRを算出するようにした。つまり、単眼距離LSが距離閾値Lthよりも大きいか否かにより、相対速度VRの算出に用いる距離を切り替える切替処理を実施するようにした。なお、本実施形態において、相対速度VRが「移動体の移動様態を制御する移動制御量」に相当する。
【0023】
本実施形態におけるECU20の具体的な構成について、
図1を用いて説明する。
図1に示すように、ECU20は、画像取得部21、領域特定部22、単眼距離算出部23、複眼距離算出部24、幅拡大率算出部25、距離判定部26及び相対速度算出部27として機能する。
【0024】
画像取得部21は、右カメラ11及び左カメラ12により撮影された右画像及び左画像をそれぞれ取得する。右画像及び左画像は同時に撮影された画像であり、画像取得部21は、これらの対の画像を所定周期で取得する。領域特定部22は、画像取得部21により取得された右画像及び左画像に共通の他車両が存在する場合に、右画像及び左画像の一方を用い、当該一方の画像上で当該他車両が存在する領域である画像領域XAを特定する。領域特定部22により特定された画像領域XAの左右方向における大きさ(画素数)が画像幅WGである。
【0025】
単眼距離算出部23は、領域特定部22により特定された画像幅WGを用いて単眼距離LSを算出し、複眼距離算出部24は、画像取得部21により取得された右画像及び左画像を用いて複眼距離LPを算出する。幅拡大率算出部25は、領域特定部22により特定された画像幅WGと基準幅WKとの比である幅拡大率RWを算出する。ここで基準幅WKは、例えば所定の基準タイミングに取得された右画像又は左画像上の画像幅である。ECU20内のメモリには、右画像用の基準幅WKと左画像用の基準幅WKとがそれぞれ記憶されており、領域特定部22において右画像の画像領域XAが特定された場合には、右画像用の基準幅WKを用いて幅拡大率RWを算出する。また、領域特定部22において左画像の画像領域XAが特定された場合には、左画像用の基準幅WKを用いて幅拡大率RWを算出する。
【0026】
図3を用いて、幅拡大率RWについて説明する。例えば、基準タイミングから現在までの期間TAにおいて、他車両が車両50よりも速く、車両50に対する他車両の相対速度VRが正である場合、
図3(A)に示すように、特定された画像領域XAの画像幅WGが
図2(B)に示す基準幅WKよりも小さくなる。この場合、幅拡大率RWが「1」よりも大きくなる。また、基準タイミングから現在までの期間TAにおいて、他車両が車両50よりも遅く、車両50に対する他車両の相対速度VRが負である場合、
図3(C)に示すように、取得された画像幅WGが基準幅WKよりも大きくなる。この場合、幅拡大率RWが「1」よりも小さくなる。
【0027】
距離判定部26は、単眼距離算出部23により算出された単眼距離LSが距離閾値Lthよりも大きいことを判定する。ここで距離閾値Lthは、複眼距離LPの誤差と単眼距離LSの誤差とが略等しくなる距離であり、車幅WR及びステレオカメラ10の基準長LCにより定まる値である。複眼距離LPの誤差は、車両50と他車両との間の距離が増加するほど大きくなる。一方、単眼距離LSの誤差は、車両50と他車両との間の距離によらず略一定となる。そのため、距離判定部26により単眼距離LSが距離閾値Lthよりも大きいと判定された場合、複眼距離LPの誤差は単眼距離LSの誤差よりも大きくなる。また、距離判定部26により単眼距離LSが距離閾値Lthよりも小さいと判定された場合、複眼距離LPの誤差は単眼距離LSの誤差よりも小さくなる。
【0028】
相対速度算出部27は、複眼距離LP又は単眼距離LSに基づいて相対速度VRを算出する。相対速度VRは、基準タイミングにおける車両50と他車両との間の距離である基準距離LK、基準タイミングから現在までの期間TA及び幅拡大率RWを用いて、以下の(式3)のように表される。
【0029】
VR=LK×(1-RW)/(TA×RW)・・・(式3)
そして、相対速度算出部27は、相対速度VRの算出に用いる基準距離LKを、複眼距離LPと単眼距離LSとで切り替える。
【0030】
次に、本実施形態における切替処理の手順について、
図4のフローチャートを参照して説明する。本処理は、ECU20が所定間隔で繰り返し実施する。
【0031】
まず、ステップS10では、右カメラ11により撮影された右画像を取得する。ステップS12では、左カメラ12により撮影された左画像を取得する。ステップS10及びステップS12で取得される右画像及び左画像は、右カメラ11及び左カメラ12により同時に撮影された画像である。
【0032】
ステップS14では、ステップS10及びステップS12で取得された右画像及び左画像に、同一の他車両が存在するか否かを判定する。ステップS14で否定判定すると、補正処理を終了する。一方、ステップS14で肯定判定すると、ステップS16において、画像領域XAを特定する。
【0033】
ステップS16では、ステップS10及びステップS12で取得された右画像及び左画像のうち、画像領域XAを特定するのに用いる一方の画像を選択する。具体的には、他車両が、左右方向における右カメラ11と左カメラ12との間の中心に対して、右カメラ11側に存在しているか又は左カメラ12側に存在しているかを判定する。つまり、右カメラ11と左カメラ12とを結ぶ線分の垂直二等分線よりも右カメラ11側に存在しているか、又は左カメラ12側に存在しているかを判定する。他車両が右カメラ11及び左カメラ12のどちら側に存在しているかは、例えば左右方向における右画像及び左画像上の他車両の位置により判定することができる。
【0034】
ステップS16では、他車両が右カメラ11側に存在していると判定した場合、右画像の画像領域XAを特定する。また、他車両が左カメラ12側に存在していると判定した場合、左画像の画像領域XAを特定する。
【0035】
ステップS18では、ステップS16で特定された画像領域XAの画像幅WGに基づいて、単眼距離LSを算出する。そのため、ステップS16では、他車両が右カメラ11及び左カメラ12のどちら側に存在しているかの判定結果に基づいて、右画像及び左画像のうち、単眼距離LSの算出に用いる画像を切り替える。続くステップS20では、ステップS18で算出された単眼距離LSが距離閾値Lthよりも大きいか否かを判定する。なお、本実施形態において、ステップS18の処理が「単眼距離算出部」に相当し、ステップS20の処理が「距離判定部」に相当する。
【0036】
単眼距離LSが距離閾値Lthよりも大きいと判定した場合、ステップS20で肯定判定する。この場合、ステップS22において、幅拡大率RWを算出する。続くステップS24において、ステップS18で算出された単眼距離LS、及びステップS22で算出された幅拡大率RWに基づいて相対速度VRを算出する。つまり、単眼距離LSが距離閾値Lthよりも大きいと判定した場合、複眼距離LP及び単眼距離LSのうち、単眼距離LSに基づいて相対速度VRを算出する。
【0037】
ステップS22では、前回の切替処理で特定された画像幅WGを基準幅WKとして用いる。つまり、本実施形態では、基準タイミングは、前回の切替処理が行われたタイミングである。(式3)によれば、ステップS24では、前回の切替処理で算出された単眼距離LSに基づいて相対速度VRを算出する。切替処理が所定間隔で繰り返し実施されている場合、前回の切替処理で算出された単眼距離LSと今回の切替処理で算出された単眼距離LSとは略同一である。そのため、ステップS24では、今回の切替処理で算出された単眼距離LSに基づいて相対速度VRを算出する。ステップS28,S30についても同様である。
【0038】
単眼距離LSが距離閾値Lthよりも小さいと判定した場合、ステップS20で否定判定する。この場合、ステップS26において、ステップS10及びステップS12で取得された右画像及び左画像を用いて複眼距離LPを算出する。続くステップS22において、幅拡大率RWを算出する。なお、本実施形態において、ステップS26の処理が「複眼距離算出部」に相当する。
【0039】
ステップS30では、ステップS26で算出された複眼距離LP、及びステップS28で算出された幅拡大率RWに基づいて相対速度VRを算出する。つまり、単眼距離LSが距離閾値Lthよりも小さいと判定した場合、複眼距離LP及び単眼距離LSのうち、複眼距離LPに基づいて相対速度VRを算出する。なお、本実施形態において、ステップS24,S30の処理が「制御量算出部」に相当する。
【0040】
続いて、
図5~
図7に、切替処理の一例を示す。
図5は、車両50が一定速度で他車両から遠ざかる場合における複眼距離LP及び単眼距離LSの推移を示している。
図5に示すように、他車両が車両50の近方に存在している場合、他車両までの実距離LT(破線)と複眼距離LP(実線)との差である複眼誤差ΔLPが小さく、車両50が他車両から遠ざかるに従ってその誤差が小さくなる。なお、ステレオカメラ10では、ステレオカメラ10の仕様によって複眼距離LPが実距離LTに対して大きい側にずれるものと、小さい側にずれるものとが存在し、
図4にはその両方の推移が示されている。以下では、実距離LTに対して大きい側にずれる複眼距離LPの複眼誤差ΔLPを複眼上側誤差ΔLPUといい、実距離LTに対して小さい側にずれる複眼距離LPの複眼誤差ΔLPを複眼下側誤差ΔLPDという。
【0041】
また、単眼距離LS(一点鎖線)は、右画像又は左画像上の他車両の画像幅WGに基づいて算出される。画像幅WGは、その他車両に相当する画素の数である画素数を用いて表され、画素単位で増減する。具体的には、単眼距離LSが増加する場合には、車両50と他車両との間の距離によらず1画素ずつ減少し、単眼距離LSが減少する場合には、車両50と他車両との間の距離によらず1画素ずつ増加する。そのため、単眼距離LSでは、画素数の増減に伴う変動が生じ、極大値と極小値とが繰り返し生じる。以下では、変動する単眼距離LSのうち、その極大値を繋いだものと実距離LTとの差を単眼上側誤差ΔLSUといい、極小値をつないだものと実距離LTとの差を単眼下側誤差ΔLSDといい、単眼上側誤差ΔLSUと単眼下側誤差ΔLSDとをあわせたものを単眼誤差ΔLSという。
【0042】
図6は、
図5に対応する複眼距離LPと複眼誤差ΔLPとの関係、及び単眼距離LSと単眼誤差ΔLSとの関係を示している。
図6に示すように、他車両が車両50の近方に存在している場合、複眼誤差ΔLPは単眼誤差ΔLSの誤差よりも小さくなる。一方、他車両が車両50の遠方に存在している場合、複眼誤差ΔLPは単眼誤差ΔLSの誤差よりも大きくなる。
【0043】
そこで、本実施形態では、複眼誤差ΔLPと単眼誤差ΔLSとが等しくなる距離を、距離閾値Lthとして設定する。具体的には、複眼距離LPが実距離LTに対して大きい側にずれるステレオカメラ10では、複眼上側誤差ΔLPUと単眼上側誤差ΔLSUとが等しくなる距離を、距離閾値Lthとして設定する。また、複眼距離LPが実距離LTに対して小さい側にずれるステレオカメラ10では、複眼下側誤差ΔLPDと単眼下側誤差ΔLSDとが等しくなる距離を、距離閾値Lthとして設定する。そして、単眼距離LSが距離閾値Lthよりも大きいと判定された場合に、単眼距離LSに基づいて相対速度VRを算出する。また、単眼距離LSが距離閾値Lthよりも小さいと判定された場合に複眼距離LPに基づいて相対速度VRを算出する。つまり、車両50と他車両との間の距離により、相対速度VRの算出に用いる距離を複眼距離LPと単眼距離LSとで切り替える。
【0044】
図7は、車両50が一定速度で他車両から遠ざかる場合における相対速度VRの推移を示している。
図7では、一定の目標相対速度Vtgを設定した場合における実際の相対速度VRと目標相対速度Vtgとの速度ずれ量が示されている。
図7に破線で示すように、車両50と他車両との間の距離に関わらず基準距離LKとして複眼距離LPが用いられた場合、複眼距離LPの増加による複眼誤差ΔLPの増大に起因して、速度ずれ量が増大する。本実施形態では、車両50と他車両との間の距離により相対速度VRの算出に用いる距離を複眼距離LPと単眼距離LSとで切り替える。そのため、
図7に実線で示すように、速度ずれ量の増大を抑制することができる。
【0045】
以上説明した本実施形態によれば、以下の効果を奏する。
【0046】
・右カメラ11及び左カメラ12により撮影された右画像及び左画像の一方を用い、当該一方の画像上の他車両の大きさである画像幅WGに基づいて車両50と他車両との間の距離を単眼距離LSとして算出する場合、単眼距離LSには、最大で1画素相当分の長さに依存する誤差が生じ、その誤差の大きさは概ね車両50と他車両との間の距離に比例したものとなる。また、右画像上の他車両の位置と左画像上の他車両の位置とから求められる視差DPに基づいて、車両50と他車両との間の距離を複眼距離LPとして算出する場合、複眼距離LPは、右画像及び左画像における視差DPから、三角測量の原理によって算出される。この場合、複眼距離LPと視差DPとは互いに反比例の関係にあり、複眼距離LPが長くなるほど視差DPが小さくなる。また、視差DPが小さいほど複眼距離LPの算出精度が低下する。そのため、複眼距離LPに含まれる誤差は、視差DPが小さくなるに従って急激に大きくなる。したがって、他車両が車両50の遠方に存在していると、単眼距離LSの誤差は複眼距離LPの誤差よりも小さくなり、他車両が車両50の近方に存在していると、単眼距離LSの誤差は複眼距離LPの誤差よりも大きくなる。
【0047】
そこで、本実施形態では、単眼距離LSが距離閾値Lthよりも大きいことを判定し、大きいと判定された場合に単眼距離LSに基づいて相対速度VRを算出し、小さいと判定された場合に複眼距離LPに基づいて相対速度VRを算出するようにした。複眼距離LP及び単眼距離LSのうち、誤差の小さい距離に基づいて相対速度VRを算出することで、相対速度VRを精度良く算出することができる。
【0048】
・他車両が左右方向における右カメラ11と左カメラ12との間の中心に対して右カメラ11側に存在している場合、右カメラ11の光軸から他車両までのずれ幅は、左カメラ12の光軸から他車両までのずれ幅に比べて小さくなる。そのため、右カメラ11により撮影された右画像を用いて単眼距離LSを算出することで、単眼距離LSを精度よく算出することができ、複眼距離LPの誤差を抑制することができる。また、他車両が左右方向における右カメラ11と左カメラ12との間の中心に対して左カメラ12側に存在している場合、左カメラ12の光軸から他車両までのずれ幅は右カメラ11の光軸からの他車両のずれ幅に比べて小さくなる。そのため、左カメラ12により撮影された右画像を用いて単眼距離LSを算出することで、単眼距離LSを精度よく算出することができ、複眼距離LPの誤差を抑制することができる。
【0049】
・本実施形態では、相対速度VRの算出に用いる距離を切り替える場合に、複眼距離LP及び単眼距離LSのうち、単眼距離LSを距離閾値Lthと比較する。単眼距離LSは、画素数の変化に伴う変動を含むものの、その誤差は車両50と他車両との間の距離に比例したものとなり、急激に大きくなることがない。そのため、単眼距離LSを距離閾値Lthと比較することで、車両50と他車両との間の距離が距離閾値Lthよりも大きいか否かを適正に判定することができる。
【0050】
(第2実施形態)
以下、第2実施形態について、第1実施形態との相違点を中心に
図8を参照しつつ説明する。本実施形態では、車両50と他車両との間の距離が増加している場合と、減少している場合とで、単眼距離LSと比較する距離閾値Lthを切り替える点で第1実施形態と異なる。
【0051】
図8に、本実施形態の切替処理のフローチャートを示す。なお、
図8において、先の
図4に示した処理と同一の処理については、便宜上、同一のステップ番号を付して説明を省略する。
【0052】
本実施形態の切替処理では、ステップS18で単眼距離LSを算出すると、ステップS40において、単眼距離LSが増加しているか否かを判定する。ステップS18で算出された単眼距離LSは、ECU20内のメモリに記憶されている。ステップS40では、現在から所定期間前までに実施された複数の切替処理において算出された単眼距離LSの変化傾向から、単眼距離LSが増加しているか否かを判定する。
【0053】
単眼距離LSが増加していると判定した場合、つまり車両50と他車両との間の距離が増加している場合、ステップS40で肯定判定する。この場合、ステップS42において、距離閾値LthをECU20内のメモリに予め記憶された増加閾値LUに設定し、ステップS20に進む。この場合、ステップS20では、ステップS18で算出された単眼距離LSが増加閾値LUよりも大きいか否かを判定する。
【0054】
一方、単眼距離LSが減少していると判定した場合、つまり車両50と他車両との間の距離が減少している場合、ステップS40で否定判定する。この場合、ステップS42において、距離閾値LthをECU20内のメモリに予め記憶された減少閾値LDに設定し、ステップS20に進む。この場合、ステップS20では、ステップS18で算出された単眼距離LSが減少閾値LDよりも大きいか否かを判定する。
【0055】
本実施形態では、増加閾値LUが減少閾値LDよりも大きい値に設定されている。車両50と他車両との間の距離が増加している場合と減少している場合とにおいて距離閾値Lthが同じ値に設定されていると、例えばチャタリングなどにより単眼距離LSが距離閾値Lthを挟んで変動を繰り返した場合に、相対速度VRの算出に用いられる距離の切り替えが繰り返さる。これにより複眼距離LPと単眼距離LSとの間の差分値により相対速度VRが変動してしまい、相対速度VRの算出に影響を及ぼす。
【0056】
その点、本実施形態では、車両50と他車両との間の距離が増加している場合に用いられる増加閾値LUが、車両50と他車両との間の距離が減少している場合に用いられる減少閾値LDよりも大きい値に設定するようにした。つまり、相対速度VRの算出に用いられる距離が切り替えられる場合に、ヒステリシスを設けるようにした。これにより、相対速度VRの算出に用いられる距離の切り替えが頻繁に行われることを抑止することができ、相対速度VRを適正に算出することができる。
【0057】
(第3実施形態)
以下、第3実施形態について、第1実施形態との相違点を中心に
図9~
図11を参照しつつ説明する。本実施形態では、画像領域XAとは別に、他車両の車幅WRを示す情報を取得する点で第1実施形態と異なる。詳細には、他車両の車幅WRを示す情報として、その車両の大きさにより分類される車両タイプを特定する点で第1実施形態と異なる。車両タイプは、例えば乗用車(小型車及び中型車)やトラック(大型車)である。そして、本実施形態では、特定した車両タイプに基づいた車幅WRを取得する点で第1実施形態と異なる。そのため、取得される車幅WRは、車両に対して定められた一定値(以下、単に一定値)とは異なる。
【0058】
図9に、本実施形態の切替処理のフローチャートを示す。なお、
図9において、先の
図4に示した処理と同一の処理については、便宜上、同一のステップ番号を付して説明を省略する。
【0059】
本実施形態の切替処理では、ステップS16で画像領域XAを特定すると、ステップS50において、画像領域XAに存在する他車両の車両タイプを特定する。具体的には、他車両の後部に存在するテールランプの左右方向における幅などの特徴点を抽出し、抽出した特徴点から他車両の車両タイプを特定する。ECU20内のメモリには、車両タイプと車幅WRとが対応付けられた対応情報が記憶されており、特定した車両タイプに応じた車幅WRを取得する。なお、本実施形態において、ステップS50の処理が「寸法取得部」に相当し、車両タイプが「寸法情報」に相当する。
【0060】
ステップS52では、ステップS50で取得された車幅WRに基づいて距離閾値Lthを設定する。具体的には、ステップS50で取得された車幅WRが大きいほど、距離閾値Lthを小さく設定する。そのため、例えばトラックに対する距離閾値Lthは、乗用車に対する距離閾値Lthよりも小さい値に設定される。
【0061】
図10は、本実施形態における複眼距離LPと複眼誤差ΔLPとの関係、及び単眼距離LSと単眼誤差ΔLSとの関係を示している。
図10では、他車両はトラックであり、他車両の車幅WRは、乗用車の車幅及びトラックの車幅の平均値に設定された一定値よりも大きくなる。車幅WRが大きくなると、画素数を用いて表される画像幅WGの影響が比較的小さくなるため、単眼誤差ΔLSが小さくなる。したがって、
図10に示すように、車幅WRに対応する単眼誤差ΔLSA(実線)は、一定値に対応する単眼誤差ΔLSB(破線)に比べて小さくなり、複眼誤差ΔLPと単眼誤差ΔLSとが等しくなる距離が短くなる。
【0062】
そこで、本実施形態では、車幅WRが大きいほど距離閾値Lthが小さくなるように距離閾値Lthを設定するようにした。具体的には、
図11に示すように、単眼誤差ΔLSAに対応する距離閾値LthAを、単眼誤差ΔLSBに対応する距離閾値LthBよりも小さい値に設定するようにした。これにより、単眼誤差ΔLSに応じて設定された距離閾値Lthを用いて、複眼誤差ΔLPと単眼誤差ΔLSとの大小関係を適正に判定することができ、誤差の小さい距離に基づいて相対速度VRを精度良く算出することができる。
【0063】
(第4実施形態)
以下、第4実施形態について、第1実施形態との相違点を中心に
図12~
図14を参照しつつ説明する。本実施形態では、右カメラ11及び左カメラ12の間の基準長LCが変更可能に構成されている点で第1実施形態と異なる。具体的には、ステレオカメラ10は、左右方向に一列に並べて配置された3つ以上のカメラを有し、その3つ以上のカメラのうち、2つのカメラを右カメラ11及び左カメラ12として選択する。そのため、選択されたカメラが異なれば、右カメラ11及び左カメラ12の間の基準長LCも異なる。そして、本実施形態では、選択されたカメラの情報を取得する点で第1実施形態と異なる。
【0064】
図12に、本実施形態の切替処理のフローチャートを示す。なお、
図12において、先の
図4に示した処理と同一の処理については、便宜上、同一のステップ番号を付して説明を省略する。
【0065】
本実施形態の切替処理では、まず、ステップS60において、いずれのカメラが選択されたかを示す選択結果を取得する。ECU20内のメモリには、各カメラ間の左右方向における距離を示す距離情報が記憶されており、取得された選択結果に応じた基準長LCを取得する。なお、本実施形態において、ステップS60の処理が「基準長取得部」に相当し、選択結果が「基準長情報」に相当する。
【0066】
ステップS62では、ステップS60で取得された基準長LCに基づいて距離閾値Lthを設定する。具体的には、ステップS60で取得された基準長LCが長いほど、距離閾値Lthを大きく設定する。
【0067】
図13は、本実施形態における複眼距離LPと複眼誤差ΔLPとの関係、及び単眼距離LSと単眼誤差ΔLSとの関係を示している。
図13では、実線で示す複眼誤差ΔLPCの基準長LCが、破線で示す複眼誤差ΔLPBの基準長LCよりも長くなっている。基準長LCが長くなると、視差DPの検出精度の低下の影響が比較的小さくなるため、複眼誤差ΔLPが小さくなる。したがって、
図13に示すように、実線で示す複眼誤差ΔLPCは、破線で示す複眼誤差ΔLPBに比べて小さくなり、複眼誤差ΔLPと単眼誤差ΔLSとが等しくなる距離が長くなる。
【0068】
そこで、本実施形態では、基準長LCが長いほど距離閾値Lthが大きくなるように距離閾値Lthを設定するようにした。具体的には、
図13に示すように、複眼誤差ΔLPCに対応する距離閾値LthCを、複眼誤差ΔLPBに対応する距離閾値LthBよりも大きい値に設定するようにした。これにより、複眼誤差ΔLPに応じて設定された距離閾値Lthを用いて、複眼誤差ΔLPと単眼誤差ΔLSとの大小関係を適正に判定することができ、誤差の小さい距離に基づいて相対速度VRを精度良く算出することができる。
【0069】
(その他の実施形態)
本発明は上記実施形態の記載内容に限定されず、次のように実施されてもよい。
【0070】
・移動体は、車両50に限られず、例えばドローンであってもよい。
【0071】
・距離閾値Lthと比較に用いる距離は、単眼距離LSに限られず、例えば複眼距離LPであってもよい。つまり、複眼距離LP及び単眼距離LSの少なくとも一方が距離閾値Lthよりも大きいことを判定すればよい。
【0072】
また、複眼距離LPと単眼距離LSとを切り替えてもよい。例えば、車両50と他車両との間の距離が増加している場合には、現在の車両50と他車両との間の距離は距離閾値Lthよりも短いことが多いため、比較的誤差の小さい複眼距離LPと距離閾値Lthとを比較するようにしてもよい。また、車両50と他車両との間の距離が減少している場合には、現在の車両50と他車両との間の距離は距離閾値Lthよりも長いことが多いため、比較的誤差の小さい単眼距離LSと距離閾値Lthとを比較するようにしてもよい。
【0073】
・移動体の移動様態を制御する移動制御量は、相対速度VRに限られず、アクセル装置31への制御命令に含まれる制御量、ブレーキ機構の制御量、車両50の加速度や減速度であってもよい。
【0074】
・第2実施形態において、車両50と他車両との間の距離の増加又は減少を判定する方法は、単眼距離LSを用いる方法に限られない。例えば複眼距離LPを用いてもよい。さらには、車両50の速度やアクセル操作量などの情報に基づいて、車両50と他車両との間の距離の増加又は減少を判定してもよい。
【0075】
・第3実施形態において、寸法情報である車両タイプを、右画像又は左画像から特定する例を示したが、これに限られない。例えば他車両との間の車両間通信により他車両の車両タイプを取得してもよい。
【0076】
・第4実施形態において、基準長を変更可能な構成として、左右方向に一列に並べて配置された3つ以上のカメラを有する例を示したが、これに限られない。例えばステレオカメラ10が2つのカメラを有しており、このうちの少なくとも一方のカメラが、左右方向にスライド可能に構成されていてもよい。この場合、基準長情報として、カメラのスライド量を取得すればよい。
【0077】
・本開示に記載の制御装置及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御装置及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御装置及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
【符号の説明】
【0078】
11…右カメラ、12…左カメラ、20…ECU、50…車両。