▶ パナソニックオートモーティブシステムズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024129213
(43)【公開日】2024-09-27
(54)【発明の名称】障害物検知装置、障害物検知方法およびプログラム
(51)【国際特許分類】
G01S 15/86 20200101AFI20240919BHJP
G01S 15/87 20060101ALI20240919BHJP
G01S 15/931 20200101ALI20240919BHJP
【ＦＩ】
G01S15/86
G01S15/87
G01S15/931
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023038265
(22)【出願日】2023-03-13
(71)【出願人】
【識別番号】322003857
【氏名又は名称】パナソニックオートモーティブシステムズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】高畑 敦志
【テーマコード（参考）】
5J083
【Ｆターム（参考）】
5J083AA02
5J083AB13
5J083AD04
5J083AE01
5J083AE08
5J083AF06
5J083AG05
5J083CA01
5J083CA02
(57)【要約】
【課題】障害物検知装置および方法において、障害物の検知精度の向上を図る。
【解決手段】超音波を送信し、超音波の反射波を受信し、超音波の送受信方向に交差する方向に間隔を空けて車両に配置される複数の測距センサと、車両に配置されて複数の測距センサによる検知領域に対応する画像を取得可能なカメラと、複数の測距センサが受信した反射波とカメラが取得した画像に基づいて前記車両の周囲の障害物を検知する制御回路と、を備え、制御回路は、複数の測距センサのうちの一つの測距センサが超音波を送信してから反射波を受信するまでの所定期間に、その他の測距センサによる検知領域に対して、カメラが取得した画像に基づいて障害物を検知する。
【選択図】図１
【解決手段】超音波を送信し、超音波の反射波を受信し、超音波の送受信方向に交差する方向に間隔を空けて車両に配置される複数の測距センサと、車両に配置されて複数の測距センサによる検知領域に対応する画像を取得可能なカメラと、複数の測距センサが受信した反射波とカメラが取得した画像に基づいて前記車両の周囲の障害物を検知する制御回路と、を備え、制御回路は、複数の測距センサのうちの一つの測距センサが超音波を送信してから反射波を受信するまでの所定期間に、その他の測距センサによる検知領域に対して、カメラが取得した画像に基づいて障害物を検知する。
【選択図】図１
【特許請求の範囲】
【請求項1】
超音波を送信し、超音波の反射波を受信し、前記超音波の送受信方向に交差する方向に間隔を空けて車両に配置される複数の測距センサと、
前記車両に配置されて前記複数の測距センサによる検知領域に対応する画像を取得可能なカメラと、
前記複数の測距センサが受信した反射波と前記カメラが取得した画像に基づいて前記車両の周囲の障害物を検知する制御回路と、
を備え、
前記制御回路は、前記複数の測距センサのうちの一つの測距センサが超音波を送信してから反射波を受信するまでの所定期間に、その他の測距センサによる検知領域に対して、前記カメラが取得した画像に基づいて障害物を検知する、
障害物検知装置。
前記車両に配置されて前記複数の測距センサによる検知領域に対応する画像を取得可能なカメラと、
前記複数の測距センサが受信した反射波と前記カメラが取得した画像に基づいて前記車両の周囲の障害物を検知する制御回路と、
を備え、
前記制御回路は、前記複数の測距センサのうちの一つの測距センサが超音波を送信してから反射波を受信するまでの所定期間に、その他の測距センサによる検知領域に対して、前記カメラが取得した画像に基づいて障害物を検知する、
障害物検知装置。
【請求項2】
前記制御回路は、前記カメラが取得した画像を認識した後にその他の測距センサによる検知領域に対して障害物を検知する、
請求項１に記載の障害物検知装置。
請求項１に記載の障害物検知装置。
【請求項3】
前記制御回路は、前記カメラが取得した画像に基づいて障害物を検知した場合、前記測距センサによる障害物検知の感度を大きくする、
請求項１または請求項２に記載の障害物検知装置。
請求項１または請求項２に記載の障害物検知装置。
【請求項4】
前記制御回路は、前記カメラが取得した画像のうち、前記車両の周囲で前記複数の測距センサの検知死角となる死角領域の画像に基づいて障害物を検知する、
請求項１に記載の障害物検知装置。
請求項１に記載の障害物検知装置。
【請求項5】
前記制御回路は、前記複数の測距センサのうち、反射波を受信しなかった測距センサによる検知領域に対して、前記カメラが取得した画像に基づいて障害物を検知する、
請求項１に記載の障害物検知装置。
請求項１に記載の障害物検知装置。
【請求項6】
前記複数の測距センサと前記カメラとが前記車両の後部に設置され、
前記制御回路が、前記車両の後部に他の車両が接続されていると判断した場合、前記カメラが取得した画像のうち、前記車両の周囲で前記複数の測距センサの検知死角となる死角領域の画像に基づいた障害物の検知を停止する、
請求項１に記載の障害物検知装置。
前記制御回路が、前記車両の後部に他の車両が接続されていると判断した場合、前記カメラが取得した画像のうち、前記車両の周囲で前記複数の測距センサの検知死角となる死角領域の画像に基づいた障害物の検知を停止する、
請求項１に記載の障害物検知装置。
【請求項7】
超音波を送信し、超音波の反射波を受信し、前記超音波の送受信方向に交差する方向に間隔を空けて車両に配置される複数の測距センサと、
前記車両に配置されて前記複数の測距センサによる検知領域に対応する画像を取得可能なカメラと、
を備える障害物検知装置による障害物検知方法において、
前記複数の測距センサのうちの一つの測距センサが超音波を送信し、
前記一つの測距センサが反射波を受信し、
前記一つの測距センサが超音波を送信してから反射波を受信するまでの所定期間に、その他の測距センサによる検知領域に対して、前記カメラが取得した画像に基づいて障害物を検知する、
を有する障害物検知方法。
前記車両に配置されて前記複数の測距センサによる検知領域に対応する画像を取得可能なカメラと、
を備える障害物検知装置による障害物検知方法において、
前記複数の測距センサのうちの一つの測距センサが超音波を送信し、
前記一つの測距センサが反射波を受信し、
前記一つの測距センサが超音波を送信してから反射波を受信するまでの所定期間に、その他の測距センサによる検知領域に対して、前記カメラが取得した画像に基づいて障害物を検知する、
を有する障害物検知方法。
【請求項8】
超音波を送信し、超音波の反射波を受信し、前記超音波の送受信方向に交差する方向に間隔を空けて車両に配置される複数の測距センサと、
前記車両に配置されて前記複数の測距センサによる検知領域に対応する画像を取得可能なカメラと、
を備える障害物検知装置に、
前記複数の測距センサのうちの一つの測距センサが超音波を送信し、
前記一つの測距センサが反射波を受信し、
前記複数の測距センサのうちの一つの測距センサが超音波を送信するステップと、
前記一つの測距センサが反射波を受信するステップと、
前記一つの測距センサが超音波を送信してから反射波を受信するまでの所定期間に、その他の測距センサによる検知領域に対して、前記カメラが取得した画像に基づいて障害物を検知するステップと、
を実行させるプログラム。
前記車両に配置されて前記複数の測距センサによる検知領域に対応する画像を取得可能なカメラと、
を備える障害物検知装置に、
前記複数の測距センサのうちの一つの測距センサが超音波を送信し、
前記一つの測距センサが反射波を受信し、
前記複数の測距センサのうちの一つの測距センサが超音波を送信するステップと、
前記一つの測距センサが反射波を受信するステップと、
前記一つの測距センサが超音波を送信してから反射波を受信するまでの所定期間に、その他の測距センサによる検知領域に対して、前記カメラが取得した画像に基づいて障害物を検知するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、障害物検知装置、障害物検知方法およびプログラムに関する。
【背景技術】
【0002】
障害物検知装置は、車両に搭載される。障害物検知装置は、先行車両、障害物、または歩行者などの物体を検知する。障害物検知装置は、測距センサを有する。障害物検知装置は、測距センサによる物体検知結果に基づいて、車両の走行安全性を向上させるための各種制御、例えば、自動ブレーキの作動や、運転者への報知等を行う技術が知られている。
【0003】
既存の技術による障害物検知装置として、例えば、特許文献１に記載されたものがある。特許文献１に記載された技術は、車両から送信した探査波の反射波を受信して物体までの距離を計測する超音波センサと、車両の周囲を撮像する車載カメラとを備え、物体に対して車両が近づいている状況下にあるとき、物体に対する車両の位置に応じて、超音波センサ検知感度を異ならせるものである。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第６７０３４７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
既存の技術による障害物検知装置は、超音波センサと車載カメラとを備える。しかし、例えば、超音波センサは、探査波を送信した後、送信した探査波の反射波を受信するまでの間、物体を検知する方法は開示されていない。
【0006】
本開示の非限定的な実施例は、障害物の検知精度の向上を図る障害物検知装置、障害物検知方法およびプログラムを提供する。
【課題を解決するための手段】
【0007】
本開示の障害物検知装置は、超音波を送信し、超音波の反射波を受信し、前記超音波の送受信方向に交差する方向に間隔を空けて車両に配置される複数の測距センサと、前記車両に配置されて前記複数の測距センサによる検知領域に対応する画像を取得可能なカメラと、前記複数の測距センサが受信した反射波と前記カメラが取得した画像に基づいて前記車両の周囲の障害物を検知する制御回路と、を備え、前記制御回路は、前記複数の測距センサのうちの一つの測距センサが超音波を送信してから反射波を受信するまでの所定期間に、その他の測距センサによる検知領域に対して、前記カメラが取得した画像に基づいて障害物を検知する。
【発明の効果】
【0008】
本開示の障害物検知装置、障害物検知方法およびプログラムによれば、障害物の検知精度の向上を図ることができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下に図面を参照して、本開示の好適な実施形態を詳細に説明する。なお、この実施形態により本開示が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含むものである。また、実施形態における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。
【0011】
［第１実施形態］
＜障害物検知装置＞
図１に示すように、障害物検知装置１０は、車両１００に搭載される。障害物検知装置１０は、複数のソナー（測距センサ）１１，１２，１３，１４と、カメラ１５と、制御回路１６とを有する。
＜障害物検知装置＞
図１に示すように、障害物検知装置１０は、車両１００に搭載される。障害物検知装置１０は、複数のソナー（測距センサ）１１，１２，１３，１４と、カメラ１５と、制御回路１６とを有する。
【0012】
ソナー１１，１２，１３，１４は、車両１００の後端部１０１に車幅方向に間隔を空けて配置される。但し、ソナー１１，１２，１３，１４は、車両１００の後端部１０１以外にも、前端部１０２や左右の側部１０３，１０４に設けられていてもよい。また、第１実施形態では、４個のソナー１１，１２，１３，１４を設けたが、４個に限定されるものではなく、２個以上設けられていればよい。
【0013】
ソナー１１，１２，１３，１４は、送信部と受信部を有する。なお、送信部と受信部は、１つのマイクで構成してもよいし、２つ以上のマイクで送信部と受信部とを分離して構成してもよい。送信部は、超音波を送信する。受信部は、送信部が送信した超音波の反射波を受信する。ソナー１１，１２，１３，１４は、車両１００の後端部１０１から後方に向けて超音波を送信し、超音波が物体に衝突して反射した反射波を受信する。ここで、物体や障害物は、他の車両、障害物、歩行者などであり、車両１００が走行するのに障害とならないもの、例えば、路面の凹凸などは障害物に含まれない。
【0014】
ソナー１１，１２，１３，１４は、それぞれ検知領域Ａ１，Ａ２，Ａ３，Ａ４が設定される。検知領域Ａ１，Ａ２，Ａ３，Ａ４は、送信部による超音波の送信領域であり、受信部の受信領域でもある。検知領域Ａ１，Ａ２，Ａ３，Ａ４は、楕円形状をなし、一部の領域が重複する。例えば、ソナー１１，１２，１３，１４は、検知領域Ａ１，Ａ２，Ａ３，Ａ４における一部の領域が重複するように、超音波の送受信方向に交差する方向、例えば、車幅方向に間隔を空けて車両１００の後端部１０１に配置される。
【0015】
カメラ１５は、車両１００の後端部１０１における車幅方向に中央部に配置される。但し、カメラ１５は、車両１００の後端部１０１以外にも、前端部１０２や左右の側部１０３，１０４に設けられていてもよい。また、カメラ１５は、車両１００の後端部１０１に車幅方向に間隔を空けて複数設けられていてもよい。
【0016】
カメラ１５は、撮像装置であり、車両１００の後方の画像を取得する。カメラ１５は、撮像領域Ａ５が設定される。撮像領域Ａ５は、半円形状をなす。カメラ１５は、複数のソナー１１，１２，１３，１４による検知領域Ａ１，Ａ２，Ａ３，Ａ４に対応する撮像領域Ａ５の画像を取得する。この場合、ソナー１１，１２，１３，１４による検知領域Ａ１，Ａ２，Ａ３，Ａ４と、カメラ１５による撮像領域Ａ５とは、ほぼ重複するが、一部が重複しない。カメラ１５による撮像領域Ａ５は、車両１００の後端部１０１に近い領域であり、ソナー１１，１２，１３，１４による検知領域Ａ１，Ａ２，Ａ３，Ａ４は、車両１００の後端部１０１から若干遠い領域である。
【0017】
制御回路１６は、車両１００に配置される。制御回路１６は、ソナー制御回路２１と、カメラ制御回路２２と、メイン制御回路２３とを有する。第１実施形態では、制御回路１６として、ソナー制御回路２１とカメラ制御回路２２とメイン制御回路２３を設けたが、これは、それぞれの機能をわかりやすく説明するためのものであり、ソナー制御回路２１とカメラ制御回路２２を１つの制御回路としてもよく、ソナー制御回路２１とカメラ制御回路２２とメイン制御回路２３を１つの制御回路としてもよい。
【0018】
制御回路１６は、ソナー１１，１２，１３，１４の検知結果と、カメラ１５が取得した画像に基づいて車両の後方の障害物を検知する。この場合、車両１００の後端部１０１以外にも、車両１００の前端部１０２や左右の側部１０３，１０４にソナーとカメラが配置されていれば、制御回路１６は、ソナーの検知結果とカメラが取得した画像に基づいて車両１００の全周囲の障害物を検知することができる。
【0019】
ソナー制御回路２１は、ソナー１１，１２，１３，１４が接続される。ソナー１１，１２，１３，１４は、送信部が超音波を送信し、車両１００の周囲の物体から反射した反射波を受信する。ソナー１１，１２，１３，１４は、ソナー制御回路２１は、ソナー１１，１２，１３，１４の送信部に対して超音波を送信するタイミングを出力する。ソナー制御回路２１は、ソナー１１，１２，１３，１４が車両１００の周囲の物体から反射した反射波を受信した信号が入力される。ソナー制御回路２１は、超音波を送信してから反射波を受信するまでの時間を計測することで、車両１００の周囲の物体を検知すると共に、検知した物体までの距離を算出する。
【0020】
カメラ制御回路２２は、カメラ１５が接続される。カメラ１５は、車両１００の後方の画像を取得する。カメラ制御回路２２は、カメラ１５が取得した画像データが入力される。カメラ１５からカメラ制御回路２２に入力する画像データは、動画または静止画である。カメラ制御回路２２は、カメラ１５から入力した画像データを画像処理することで、物体を認識する。カメラ制御回路２２は、ＩＳＰ（イメージシグナルプロセッサ）機能を有する。
【0021】
メイン制御回路２３は、ソナー制御回路２１とカメラ制御回路２２に接続される。メイン制御回路２３は、ソナー制御回路２１からソナー１１，１２，１３，１４の検知領域Ａ１，Ａ２，Ａ３，Ａ４における物体の検知結果が入力される。メイン制御回路２３は、カメラ制御回路２２からカメラ１５の撮像領域Ａ５における画像処理後の画像データが入力される。メイン制御回路２３は、検知領域Ａ１，Ａ２，Ａ３，Ａ４における物体の検知結果と、撮像領域Ａ５における画像データに基づいて車両１００の後方の障害物を検知する。
【0022】
また、メイン制御回路２３は、ソナー１１，１２，１３，１４のうちの一つのソナーの送信部が超音波を送信してから受信部が反射波を受信するまでの所定期間に、その他のソナーによる検知領域に対して、カメラ１５が取得した画像に基づいて障害物を検知する。この場合、メイン制御回路２３は、カメラ１５が取得した画像を認識した後に、一つのソナーによる検知領域に対して障害物を検知する。また、メイン制御回路２３は、カメラ１５が取得した画像に基づいて障害物を検知すると、ソナー制御回路２１に対してソナー１１，１２，１３，１４による障害物検知の感度を大きくする。
【0023】
＜カメラとソナーによる検知処理方法＞
図１および図２に示すように、ソナー１１，１２，１３，１４は、検知領域Ａ１，Ａ２，Ａ３，Ａ４が一部重複することから、ソナー１２、ソナー１１、ソナー１４、ソナー１３の順に超音波の送受信を行う。一方、カメラ１５は、常時作動し、撮像領域Ａ５の画像を取得する。
図１および図２に示すように、ソナー１１，１２，１３，１４は、検知領域Ａ１，Ａ２，Ａ３，Ａ４が一部重複することから、ソナー１２、ソナー１１、ソナー１４、ソナー１３の順に超音波の送受信を行う。一方、カメラ１５は、常時作動し、撮像領域Ａ５の画像を取得する。
【0024】
ソナー１１，１２，１３，１４とカメラ１５を用いた障害物検知の検知時間は、４個のソナー１１，１２，１３，１４に対応した第１検知時間、第２検知時間、第３検知時間、第４検知時間に分割される。ソナー１２は、第１検知時間に超音波を送信し、ソナー１１は、第２検知時間に超音波を送信し、ソナー１４は、第３検知時間に超音波を送信し、ソナー１３は、第４検知時間に超音波を送信する。また、カメラ１５は、第１検知時間、第２検知時間、第３検知時間、第４検知時間の全てで、画像を取得する。
【0025】
まず、第１検知時間にて、ソナー１２が超音波を送信し、ソナー１１，１２が反射波を受信し、ソナー制御回路２１に出力する。また、第１検知時間にて、ソナー１２が超音波を送信する時期にカメラ１５が第１画像を取得し、ソナー１１，１２が反射波を受信する時期にカメラ１５が第２画像を取得し、カメラ制御回路２２に出力する。次に、第２検知時間にて、ソナー１１が超音波を送信し、ソナー１１，１２が反射波を受信し、ソナー制御回路２１に出力する。また、第２検知時間にて、ソナー１１が超音波を送信する時期にカメラ１５が第３画像を取得し、ソナー１１，１２が反射波を受信する時期にカメラ１５が第４画像を取得し、カメラ制御回路２２に出力する。
【0026】
カメラ制御回路２２は、第１検知時間の後半にて、第１画像を画像処理して物体を画像認識し、第２検知時間の前半にて、第２画像を画像処理して物体を画像認識する。また、カメラ制御回路２２は、第２検知時間の後半にて、第３画像を画像処理して物体を画像認識し、第３検知時間の前半にて、第４画像を画像処理して物体を画像認識する。
【0027】
同様に、第３検知時間にて、ソナー１４が超音波を送信し、ソナー１３，１４が反射波を受信し、ソナー制御回路２１に出力する。また、第３検知時間にて、ソナー１４が超音波を送信する時期にカメラ１５が第５画像を取得し、ソナー１１，１２が反射波を受信する時期にカメラ１５が第６画像を取得し、カメラ制御回路２２に出力する。そして、第４検知時間にて、ソナー１３が超音波を送信し、ソナー１３，１４が反射波を受信し、ソナー制御回路２１に出力する。また、第４検知時間にて、ソナー１３が超音波を送信する時期にカメラ１５が第７画像を取得し、ソナー１３，１４が反射波を受信する時期にカメラ１５が第８画像を取得し、カメラ制御回路２２に出力する。
【0028】
カメラ制御回路２２は、第３検知時間の後半にて、第５画像を画像処理して物体を画像認識し、第４検知時間の前半にて、第６画像を画像処理して物体を画像認識する。また、カメラ制御回路２２は、第４検知時間の後半にて、第７画像を画像処理して物体を画像認識し、次の第１検知時間の前半にて、第８画像を画像処理して物体を画像認識する。
【0029】
メイン制御回路２３は、第１検知時間と第２検知時間と第３検知時間と第４検知時間から構成される検知時間にて、ソナー制御回路２１から入力される検知領域Ａ１，Ａ２，Ａ３，Ａ４における物体の検知結果と、カメラ制御回路２２から入力される撮像領域Ａ５における画像データに基づいて車両１００の後方の障害物を検知する。
【0030】
このとき、ソナー１２の送信部が超音波を送信してから受信部が反射波を受信するまでの第１検知時間と、ソナー１１の送信部が超音波を送信してから受信部が反射波を受信するまでの第２検知時間では、検知領域Ａ１，Ａ２における物体の検知を行うことができる。しかし、第１検知時間と第２検知時間では、ソナー１３，１４が作動していないことから、検知領域Ａ３，Ａ４における物体の検知を行うことが困難である。
【0031】
そこで、ソナー１３，１４が作動していない第１検知時間と第２検知時間では、カメラ１５が取得した画像に基づいて検知領域Ａ３，Ａ４における物体の検知を行う。例えば、第１検知時間と第２検知時間では、カメラ１５が取得してカメラ制御回路２２が画像認識した第１画像と第２画像と第３画像に基づいて検知領域Ａ３，Ａ４における物体の検知を行う。
【0032】
同様に、ソナー１１，１２が作動していない第３検知時間と第４検知時間では、カメラ１５が取得した画像に基づいて検知領域Ａ１，Ａ２における物体の検知を行う。例えば、第３検知時間と第４検知時間では、カメラ１５が取得してカメラ制御回路２２が画像認識した第４画像と第５画像と第６画像と第７画像に基づいて検知領域Ａ１，Ａ２における物体の検知を行う。
【0033】
また、メイン制御回路２３は、第１検知時間と第２検知時間にて、カメラ１５が取得した第１画像と第２画像と第３画像に基づいて検知領域Ａ３，Ａ４で障害物を検知すると、ソナー制御回路２１に対して第３検知時間と第４検知時間で作動させるソナー１３，１４による障害物検知の感度を大きくする。
【0034】
なお、上述の説明では、ソナー１１，１２，１３，１４のうちのいずれかが作動していない検知時間にて、カメラ１５が取得してカメラ制御回路２２が画像認識した時間遅れの画像を用いて物体の検知を行ったが、画像の時間遅れ周期は、カメラ１５やカメラ制御回路２２の性能に応じて適宜設定すればよい。また、ソナー１１，１２，１３，１４が作動していない検知時間で、カメラ１５が取得した画像に基づいて物体の検知を行うとき、カメラ制御回路２２は、歪み補正処理を行わずに処理時間を短縮させることが好ましい。
【0035】
＜障害物検知方法＞
図１および図３に示すように、ソナー１１，１２，１３，１４の作動およびソナー制御回路２１の処理にて、ステップＳ１１にて、ソナー１２が送信し、ステップＳ１２にて、ソナー１１，１２が受信する。ステップＳ１３にて、ソナー１１が送信し、ステップＳ１４にて、ソナー１１，１２が受信する。ステップＳ１５にて、ソナー１３，１４の感度を調整する。続いて、ステップＳ１６にて、ソナー１４が送信し、ステップＳ１７にて、ソナー１３，１４が受信する。ステップＳ１８にて、ソナー１３が送信し、ステップＳ１９にて、ソナー１３，１４が受信する。ステップＳ２０にて、ソナー１１，１２の感度を調整する。
図１および図３に示すように、ソナー１１，１２，１３，１４の作動およびソナー制御回路２１の処理にて、ステップＳ１１にて、ソナー１２が送信し、ステップＳ１２にて、ソナー１１，１２が受信する。ステップＳ１３にて、ソナー１１が送信し、ステップＳ１４にて、ソナー１１，１２が受信する。ステップＳ１５にて、ソナー１３，１４の感度を調整する。続いて、ステップＳ１６にて、ソナー１４が送信し、ステップＳ１７にて、ソナー１３，１４が受信する。ステップＳ１８にて、ソナー１３が送信し、ステップＳ１９にて、ソナー１３，１４が受信する。ステップＳ２０にて、ソナー１１，１２の感度を調整する。
【0036】
カメラ１５の作動およびカメラ制御回路２２の処理にて、ステップＳ３１にて、第１画像を取得した後に第１画像の認識処理をする。ステップＳ３２にて、第２画像を取得した後に第２画像の認識処理をする。ステップＳ３３にて、第３画像を取得した後に第３画像の認識処理をする。ステップＳ３４にて、第４画像を取得した後に第４画像の認識処理をする。ステップＳ３５にて、第５画像を取得した後に第５画像の認識処理をする。ステップＳ３６にて、第６画像を取得した後に第６画像の認識処理をする。ステップＳ３７にて、第７画像を取得した後に第７画像の認識処理をする。ステップＳ３８にて、第８画像を取得した後に第８画像の認識処理をする。
【0037】
ステップＳ４１にて、メイン制御回路２３は、ソナー制御回路２１から入力される検知領域Ａ１，Ａ２，Ａ３，Ａ４における物体の検知結果と、カメラ制御回路２２から入力される撮像領域Ａ５における画像データに基づいて車両１００の後方の障害物を検知する。このとき、メイン制御回路２３は、ソナー１１，１２，１３，１４のうちの一つのソナーの送信部が超音波を送信してから受信部が反射波を受信するまでの所定期間に、その他のソナーによる検知領域に対して、カメラ１５が取得した画像に基づいて障害物を検知する。
【0038】
また、メイン制御回路２３は、カメラ１５が取得した第１画像と第２画像と第３画像に基づいて検知領域Ａ３，Ａ４で障害物を検知すると、ソナー制御回路２１に対して第３検知時間と第４検知時間で作動させるソナー１３，１４による障害物検知の感度を大きくする。
【0039】
［第２実施形態］
図４に示すように、障害物検知装置１０Ａは、車両１００に搭載される。障害物検知装置１０は、複数のソナー１１，１２，１３，１４と、カメラ１５と、制御回路１６Ａとを有する。制御回路１６Ａは、ソナー制御回路２１と、カメラ制御回路２２と、メイン制御回路２３Ａとを有する。
図４に示すように、障害物検知装置１０Ａは、車両１００に搭載される。障害物検知装置１０は、複数のソナー１１，１２，１３，１４と、カメラ１５と、制御回路１６Ａとを有する。制御回路１６Ａは、ソナー制御回路２１と、カメラ制御回路２２と、メイン制御回路２３Ａとを有する。
【0040】
メイン制御回路２３は、カメラ１５が取得した画像のうち、車両１００の周囲で複数のソナー１１，１２，１３，１４の検知死角となる死角領域Ａ６の画像に基づいて障害物を検知する。なお、死角領域Ａ６とは、ソナー１１，１２，１３，１４の検知領域Ａ１，Ａ２，Ａ３，Ａ４の外側の領域をであってもよいし、検知領域Ａ１，Ａ２，Ａ３，Ａ４の内側の領域で、車両に取り付け部品（例えば、トレーラーヒッチ）がある場合に、ソナー１１，１２，１３，１４の検知対象外とした領域であってもよい。また、検知領域Ａ１，Ａ２，Ａ３，Ａ４の内側の領域で、車両に取り付け部品（例えば、車両の後部に設置されたトレーラーヒッチ）がある場合に、制御回路１６Ａは、ある一定期間は、ソナー検知は行わないとしても良い。例えば、制御回路１６Ａは、トレーラーヒッチにトレーラを接続されていると、車両の他の制御回路より入力があった場合、制御回路１６Ａは、ソナー検知を行わない制御を行ってもよい。
【0041】
ソナー１１，１２，１３，１４は、検知領域Ａ１，Ａ２，Ａ３，Ａ４が設定され、検知領域Ａ１，Ａ２，Ａ３，Ａ４における一部の領域が重複する。カメラ１５は、撮像領域Ａ５が設定される。ソナー１１，１２，１３，１４による検知領域Ａ１，Ａ２，Ａ３，Ａ４と、カメラ１５による撮像領域Ａ５とは、ほぼ重複するが、一部が重複しない。カメラ１５による撮像領域Ａ５は、車両１００の後端部１０１に近い領域であり、ソナー１１，１２，１３，１４による検知領域Ａ１，Ａ２，Ａ３，Ａ４は、車両１００の後端部１０１から若干遠い領域である。そのため、複数のソナー１１，１２，１３，１４は、車両１００の後端部１０１に近い領域に死角領域Ａ６が発生する。
【0042】
そのため、車両１００の後端部１０１の近傍で、複数のソナー１１，１２，１３，１４が検知することが困難である死角領域Ａ６に対して、メイン制御回路２３は、カメラ１５が取得してカメラ制御回路２２が画像認識した画像に基づいて障害物を検知する。
【0043】
なお、複数のソナー１１，１２，１３，１４は、車両１００の後端部１０１に露出して配置されることから、表面に異物が付着して超音波の送信や反射波の受信が困難になるおそれがある。そのため、ソナー制御回路２１は、ソナー１１，１２，１３，１４から反射波を受信した信号が入力しないとき、反射波を受信しなかった複数のソナー１１，１２，１３，１４の検知領域Ａ１，Ａ２，Ａ３，Ａ４に対して、カメラ１５が取得してカメラ制御回路２２が画像認識した画像に基づいて障害物を検知する。
【0044】
図５に示すように、メイン制御回路２３は、第１検知時間に対して、カメラ制御回路２２が画像認識した第１画像に基づいて障害物を検知する。メイン制御回路２３は、第２検知時間に対して、カメラ制御回路２２が画像認識した第２画像に基づいて障害物を検知する。同様に、メイン制御回路２３は、第３検知時間に対して、カメラ制御回路２２が画像認識した第４画像、第５画像に基づいて障害物を検知する。メイン制御回路２３は、第４検知時間に対して、カメラ制御回路２２が画像認識した第６画像、第７画像に基づいて障害物を検知する。
【0045】
［制御系統］
図６に示すように、制御回路１６は、ソナー制御回路２１と、カメラ制御回路２２と、メイン制御回路２３とを有する。ソナー制御回路２１は、電源部２１ａと、インチ―フェース（ＩＦ）２１ｂとを有する。ソナー制御回路２１は、インチ―フェース２１ｂにソナー１１，１２，１３，１４と、ソナー１１Ａ，１２Ａ，１３Ａ，１４Ａと、ソナー１１Ｂ，１２Ｂ，１３Ｂ，１４Ｂとが接続される。ソナー１１，１２，１３，１４は、前方ソナーであり、ソナー１１Ａ，１２Ａ，１３Ａ，１４Ａは、後方ソナーであり、ソナー１１Ｂ，１２Ｂ，１３Ｂ，１４Ｂは、側方ソナーである。
図６に示すように、制御回路１６は、ソナー制御回路２１と、カメラ制御回路２２と、メイン制御回路２３とを有する。ソナー制御回路２１は、電源部２１ａと、インチ―フェース（ＩＦ）２１ｂとを有する。ソナー制御回路２１は、インチ―フェース２１ｂにソナー１１，１２，１３，１４と、ソナー１１Ａ，１２Ａ，１３Ａ，１４Ａと、ソナー１１Ｂ，１２Ｂ，１３Ｂ，１４Ｂとが接続される。ソナー１１，１２，１３，１４は、前方ソナーであり、ソナー１１Ａ，１２Ａ，１３Ａ，１４Ａは、後方ソナーであり、ソナー１１Ｂ，１２Ｂ，１３Ｂ，１４Ｂは、側方ソナーである。
【0046】
カメラ制御回路２２は、電源部２２ａと、画像処理部２２ｂと、メモリ２２ｃと、インチ―フェース（ＩＦ）２２ｄとを有する。画像処理部２２ｂは、ＩＳＰ（イメージシグナルプロセッサ）を含む。カメラ制御回路２２は、インチ―フェース２２ｄにカメラ１５，１５Ａ，１５Ｂ，１５Ｃが接続される。カメラ１５は、後方カメラ、カメラ１５Ａは、前方カメラ、カメラ１５Ｂ，１５Ｃは、左右の側方カメラである。
【0047】
メイン制御回路２３は、電源部２３ａと、制御回路２３ｂと、外部インチ―フェース（ＩＦ）２３ｃとを有する。制御回路２３ｂは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有するＳＯＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）により構成される。但し、ソナー制御回路２１とカメラ制御回路２２の一部の機能を統合し、画像処理部２２ｂをＳＯＣとし、制御回路２３ｂは、ＭＰＵとしてもよい。
【0048】
［制御系統の変形例］
図７に示すように、制御回路１６は、ソナー制御回路２１と、カメラ制御回路２２とを有し、ソナー制御回路２１は、ソナー１１，１２，１３，１４が接続され、カメラ制御回路２２は、カメラ１５が接続される。また、ソナー制御回路２１は、カメラ１５が接続される。ここで、制御回路２３ｂは、ＳＯＣにより構成され、カメラ制御回路２２は、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）により構成され、ソナー制御回路２１は、ＭＣＵにより構成される。但し、ソナー制御回路２１は、簡易画像処理用のＭＣＵを有する。そのため、ソナー制御回路２１は、例えば、ソナー１１，１２，１３，１４の一部が故障したとき、カメラ１５が取得した画像に基づいて故障したソナーの検知領域の物体を検知する。
図７に示すように、制御回路１６は、ソナー制御回路２１と、カメラ制御回路２２とを有し、ソナー制御回路２１は、ソナー１１，１２，１３，１４が接続され、カメラ制御回路２２は、カメラ１５が接続される。また、ソナー制御回路２１は、カメラ１５が接続される。ここで、制御回路２３ｂは、ＳＯＣにより構成され、カメラ制御回路２２は、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）により構成され、ソナー制御回路２１は、ＭＣＵにより構成される。但し、ソナー制御回路２１は、簡易画像処理用のＭＣＵを有する。そのため、ソナー制御回路２１は、例えば、ソナー１１，１２，１３，１４の一部が故障したとき、カメラ１５が取得した画像に基づいて故障したソナーの検知領域の物体を検知する。
【0049】
［本実施形態の作用効果］
第１の態様に係る障害物検知装置は、超音波を送信し、超音波の反射波を受信し、超音波の送受信方向に交差する方向に間隔を空けて車両１００に配置される複数のソナー（測距センサ）１１，１２，１３，１４と、車両１００に配置されて複数のソナー１１．１２，１３，１４による検知領域Ａ１，Ａ２，Ａ３，Ａ４に対応する画像を取得可能なカメラ１５と、複数の測距センサが受信した反射波とカメラ１５が取得した画像に基づいて車両１００の周囲の障害物を検知する制御回路１６，１６Ａとを備え、制御回路１６，１６Ａは、複数のソナー１１．１２，１３，１４のうちの一つのソナーが超音波を送信してから反射波を受信するまでの所定期間に、その他のソナーによる検知領域に対して、カメラ１５が取得した画像に基づいて障害物を検知する。
第１の態様に係る障害物検知装置は、超音波を送信し、超音波の反射波を受信し、超音波の送受信方向に交差する方向に間隔を空けて車両１００に配置される複数のソナー（測距センサ）１１，１２，１３，１４と、車両１００に配置されて複数のソナー１１．１２，１３，１４による検知領域Ａ１，Ａ２，Ａ３，Ａ４に対応する画像を取得可能なカメラ１５と、複数の測距センサが受信した反射波とカメラ１５が取得した画像に基づいて車両１００の周囲の障害物を検知する制御回路１６，１６Ａとを備え、制御回路１６，１６Ａは、複数のソナー１１．１２，１３，１４のうちの一つのソナーが超音波を送信してから反射波を受信するまでの所定期間に、その他のソナーによる検知領域に対して、カメラ１５が取得した画像に基づいて障害物を検知する。
【0050】
第１の態様に係る障害物検知装置によれば、例えば、ソナー１１．１２が超音波を送信してから反射波を受信するまでの所定期間は、ソナー１３，１４が超音波を送信していないことから、この所定期間に、ソナー１３，１４の検知領域Ａ３，Ａ４に対して、カメラ１５が取得した画像に基づいて障害物を検知する。そのため、常時、複数のソナー１１．１２，１３，１４による検知領域Ａ１，Ａ２，Ａ３，Ａ４に対して障害物を検知することができ、障害物の検知精度の向上を図ることができる。
【0051】
第２の態様に係る障害物検知装置は、カメラ１５が取得した画像を認識した後にその他のソナー１１，１２，１３，１４による検知領域に対して障害物を検知する。そのため、カメラ１５が取得した画像による障害物の検知精度の向上を図ることができる。
【0052】
第３の態様に係る障害物検知装置は、カメラ１５が取得した画像に基づいて障害物を検知した場合、ソナー１１，１２，１３，１４による障害物検知の感度を大きくする。そのため、ソナー１１，１２，１３，１４による障害物検知の精度を向上することができる。
【0053】
第４の態様に係る障害物検知装置は、カメラ１５が取得した画像のうち、車両１００の周囲で複数のソナー１１，１２，１３，１４の検知死角となる死角領域Ａ６の画像に基づいて障害物を検知する。そのため、ソナー１１，１２，１３，１４の死角領域Ａ６に対してカメラ１５が取得した画像に基づいて障害物を検知するため、車両１００の近傍における障害物を適切に検知することができる。
【0054】
第５の態様に係る障害物検知装置は、複数のソナー１１，１２，１３，１４のうち、反射波を受信しなかったソナー１１，１２，１３，１４による検知領域に対して、カメラ１５が取得した画像に基づいて障害物を検知する。そのため、ソナー１１，１２，１３，１４のうちの一部に故障などが発生した場合であっても、検知領域Ａ１，Ａ２，Ａ３，Ａ４に対して障害物を適切に検知することができる。
【0055】
第６の態様に係る障害物検知装置は、複数のソナー１１，１２，１３，１４とカメラ１５とが車両１００の後部に設置され、制御回路１６，１６Ａが、車両１００の後部に他の車両が接続されていると判断した場合、カメラ１５が取得した画像のうち、車両１００の周囲で複数のソナー１１，１２，１３，１４の検知死角となる死角領域の画像に基づいた障害物の検知を停止する。そのため、ソナー１１，１２，１３，１４による障害物検知の精度を向上することができる。
【0056】
なお、上述した実施形態では、４個のソナー１１，１２，１３，１４に対して、ソナー１１，１２とソナー１３，１４とをそれぞれユニットとして、ソナー１１，１２とソナー１３，１４の一方のユニットが作動していないときは、他方のユニットの検知領域Ａ１，Ａ２，Ａ３，Ａ４に対してカメラ１５が取得した画像を用いて障害物を検知するように構成した。但し、この構成に限定されるものではない。例えば、４個のソナー１１，１２，１３，１４のうちの一つのソナー１１が作動しているとき、残り３つのソナー１２，１３，１４の検知領域Ａ２，Ａ３，Ａ４に対してカメラ１５が取得した画像を用いて障害物を検知するように構成してもよい。
【0057】
また、上述した実施の形態における「・・・部」という表記は、「・・・回路（circuitry）」、「・・・アッセンブリ」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。
【0058】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
【0059】
以上、本開示の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
【符号の説明】
【0060】
１０，１０Ａ 障害物検知装置
１１，１２，１３，１４ ソナー
１５ カメラ
１６，１６Ａ 制御回路
２１ ソナー制御回路
２２ カメラ制御回路
２３，２３Ａ メイン制御回路
１００ 車両
Ａ１，Ａ２，Ａ３，Ａ４ 検知領域
Ａ５ 撮像領域
Ａ６ 死角領域
１１，１２，１３，１４ ソナー
１５ カメラ
１６，１６Ａ 制御回路
２１ ソナー制御回路
２２ カメラ制御回路
２３，２３Ａ メイン制御回路
１００ 車両
Ａ１，Ａ２，Ａ３，Ａ４ 検知領域
Ａ５ 撮像領域
Ａ６ 死角領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】