特許 7195200 車載装置、車載システムおよび周辺監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-15

(45)【発行日】2022-12-23

(54)【発明の名称】車載装置、車載システムおよび周辺監視方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221216BHJP

   G08G 1/16 20060101ALI20221216BHJP

   H04N 7/18 20060101ALI20221216BHJP

【ＦＩ】

G06T7/00 650Z

G08G1/16 C

H04N7/18 J

【請求項の数】 9

(21)【出願番号】P 2019064655

(22)【出願日】2019-03-28

(65)【公開番号】P2020166409

(43)【公開日】2020-10-08

【審査請求日】2021-09-30

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】村角 周樹

(72)【発明者】

【氏名】松本 武生

(72)【発明者】

【氏名】須佐美 博丈

【審査官】松浦 功

(56)【参考文献】

【文献】特開２０１５－１７０２３３（ＪＰ，Ａ）

【文献】特開２０１８－１６５０９８（ＪＰ，Ａ）

【文献】特開２０１２－０１４５２７（ＪＰ，Ａ）

【文献】特開２０１７－０９７５２２（ＪＰ，Ａ）

【文献】特開２０１４－２２２４２１（ＪＰ，Ａ）

【文献】特開２００９－１４６２１７（ＪＰ，Ａ）

【文献】特開２０１２－１２３４７０（ＪＰ，Ａ）

【文献】特開２０１０－０８６４０６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１６２３８７（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０９０７０７９９（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ ２１／０１３ －２１／０１３６

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

車両に搭載された複数のカメラの撮像映像に基づいて前記車両の周辺の物体を検知する車載装置であって、
前記車両の走行状況を取得する取得部と、
前記取得部によって取得された前記走行状況に応じて物体の検知対象領域を決定する決定部と、
前記決定部によって決定された前記検知対象領域および前記走行状況に応じて、前記検知対象領域に対する前記車両の進入角度を算出する角度算出部と、
前記角度算出部によって算出された前記進入角度に応じて、物体の検知に関する検知条件を変更する検知制御部と、
前記検知制御部によって変更された前記検知条件および前記カメラの撮像映像に基づいて物体を検知する検知部と
を備えることを特徴とする車載装置。

【請求項2】

前記角度算出部は、
前記検知対象領域の延在方向と、前記車両の進行方向とがなす角度を前記進入角度として算出する
ことを特徴とする請求項１に記載の車載装置。

【請求項3】

前記検知制御部は、
前記カメラそれぞれの撮像範囲および前記進入角度に基づいて、前記カメラの撮像映像それぞれに対して、前記検知部が物体を検知するときの重み付けをする
ことを特徴とする請求項１または２に記載の車載装置。

【請求項4】

前記検知制御部は、
前記カメラそれぞれの撮像映像を比較して、相対的に横ベクトルの動きが多い撮像映像を撮像した前記カメラを選定する
ことを特徴とする請求項１、２または３に記載の車載装置。

【請求項5】

前記検知制御部は、
前記カメラの撮像映像において前記検知対象領域に該当する領域のうちの領域端に相当するエリアについて、前記検知部に重点的に物体の特徴点を抽出させる
ことを特徴とする請求項１～４のいずれか一つに記載の車載装置。

【請求項6】

前記検知制御部は、
前記進入角度が直角に近づくに連れて前記車両の前方を主な撮像範囲とする前記カメラの検知強度を上げる
ことを特徴とする請求項１～５のいずれか一つに記載の車載装置。

【請求項7】

前記検知制御部は、
前記進入角度が所定の角度より小さい場合は、前記車両の前方を主な撮像範囲とする前記カメラの検知強度よりも、内輪側となる前記車両の側方を撮像範囲とする前記カメラの検知強度を上げる
ことを特徴とする請求項１～６のいずれか一つに記載の車載装置。

【請求項8】

請求項１～７のいずれか一つに記載の車載装置と、
複数の前記カメラを含む、前記走行状況を示すセンサ情報を出力可能な車載センサと
を備えることを特徴とする車載システム。

【請求項9】

車両に搭載された複数のカメラの撮像映像に基づいて前記車両の周辺の物体を検知する車載装置を用いた周辺監視方法であって、
前記車両の走行状況を取得する取得工程と、
前記取得工程によって取得された前記走行状況に応じて物体の検知対象領域を決定する決定工程と、
前記決定工程によって決定された前記検知対象領域および前記走行状況に応じて、前記検知対象領域に対する前記車両の進入角度を算出する角度算出工程と、
前記角度算出工程によって算出された前記進入角度に応じて、物体の検知に関する検知条件を変更する検知制御工程と、
前記検知制御工程によって変更された前記検知条件および前記カメラの撮像映像に基づいて物体を検知する検知工程と
を含むことを特徴とする周辺監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、車載装置、車載システムおよび周辺監視方法に関する。

【背景技術】

【0002】

従来、交差点等において車両の移動方向に対し存在する物体をカメラ等の周辺監視センサによって検知する技術が知られている（たとえば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－２３０５６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した従来技術には、物体の検知精度を向上させるうえで更なる改善の余地がある。

【0005】

たとえば、交差点を右左折等で曲がる場合、車両が曲がる先を横切る横断歩道は、車両が曲がり始める前と、曲がっている途中と、曲がり終えた後では、車両の移動方向に対して位置や向きが異なる。

【0006】

このため、たとえばフロントカメラの映像に基づいて物体を検知しようとする場合、その映像上において、上述のように見え方の異なる横断歩道を常に含むような固定領域を検知対象領域にしてしまうと、検知する必要のない物体を検知してしまう誤検知や、物体を見落してしまう未検知の発生頻度が高まるおそれがある。

【0007】

実施形態の一態様は、上記に鑑みてなされたものであって、物体の検知精度を向上させることができる車載装置、車載システムおよび周辺監視方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

実施形態の一態様に係る車載装置は、車両に搭載された複数のカメラの撮像映像に基づいて前記車両の周辺の物体を検知する車載装置であって、取得部と、決定部と、角度算出部と、検知制御部と、検知部とを備える。前記取得部は、前記車両の走行状況を取得する。前記決定部は、前記取得部によって取得された前記走行状況に応じて物体の検知対象領域を決定する。前記角度算出部は、前記決定部によって決定された前記検知対象領域および前記走行状況に応じて、前記検知対象領域に対する前記車両の進入角度を算出する。前記検知制御部は、前記角度算出部によって算出された前記進入角度に応じて、物体の検知に関する検知条件を変更する。前記検知部は、前記検知制御部によって変更された前記検知条件および前記カメラの撮像映像に基づいて物体を検知する。

【発明の効果】

【0009】

実施形態の一態様によれば、物体の検知精度を向上させることができる。

【図面の簡単な説明】

【0010】

【図1A】図１Ａは、実施形態に係る周辺監視方法の概要説明図（その１）である。

【図1B】図１Ｂは、実施形態に係る周辺監視方法の概要説明図（その２）である。

【図1C】図１Ｃは、実施形態に係る周辺監視方法の概要説明図（その３）である。

【図1D】図１Ｄは、実施形態に係る周辺監視方法の概要説明図（その４）である。

【図2】図２は、実施形態に係る車載システムのブロック図である。

【図3A】図３Ａは、実施形態に係る検知条件の変更の具体例を示す図（その１）である。

【図3B】図３Ｂは、実施形態に係る検知条件の変更の具体例を示す図（その２）である。

【図3C】図３Ｃは、実施形態に係る検知条件の変更の具体例を示す図（その３）である。

【図3D】図３Ｄは、実施形態に係る検知条件の変更の具体例を示す図（その４）である。

【図4A】図４Ａは、変形例に係る検知条件の変更の具体例を示す図（その１）である。

【図4B】図４Ｂは、変形例に係る検知条件の変更の具体例を示す図（その２）である。

【図4C】図４Ｃは、変形例に係る検知条件の変更の具体例を示す図（その３）である。

【図5】図５は、実施形態に係る車載装置が実行する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して、本願の開示する車載装置、車載システムおよび周辺監視方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0012】

また、以下では、実施形態に係る周辺監視方法の概要について図１Ａ～図１Ｄを用いて説明した後に、実施形態に係る周辺監視方法を適用した車載システム１について、図２～図５を用いて説明することとする。

【0013】

まず、実施形態に係る周辺監視方法の概要について図１Ａ～図１Ｄを用いて説明する。図１Ａ～図１Ｄは、実施形態に係る周辺監視方法の概要説明図（その１）～（その４）である。

【0014】

なお、以下では、図１Ａに示すように、交差点において車両Ｖが右折する場合を想定して説明を行う。図１Ａに示すように、車両Ｖが右折するシーンでは、たとえば車両Ｖが曲がる先の横断歩道に自転車Ｂが進入してくることがある。実施形態に係る周辺監視方法は、このようなケースのたとえば横断歩道を、重点的に物体を検知したい検知対象領域ＤＲとして、かかる検知対象領域ＤＲにおける検知精度を高めようとするものである。

【0015】

ただし、図１Ｂに示すように、車両Ｖが右折する各シーンにおいて、時々刻々と変化する検知対象領域ＤＲをすべて含むように、たとえば映像の全体や固定領域ＦＲを物体の検知範囲としてしまうと、誤検知や未検知の発生機会を増やしてしまうおそれがある。

【0016】

たとえば、図１Ｂの上段のシーンでは、図中にＭ１部として示すように、車両Ｖが曲がる方向とは逆の歩道が固定領域ＦＲに含まれると、かかる歩道を歩行中の歩行者等を検知してしまうおそれがある。

【0017】

また、たとえば、図１Ｂの中段のシーンでは、図中にＭ２部として示すように、検知対象領域ＤＲには含まれない横断歩道が固定領域ＦＲに含まれると、かかる横断歩道を歩行中の歩行者等を検知してしまうおそれがある。

【0018】

また、たとえば、図１Ｃの下段のシーンでは、図中にＭ３部として示すように、車両Ｖが曲がった先の、検知対象領域ＤＲには含まれない歩道が固定領域ＦＲに含まれると、かかる歩道を歩行中の歩行者等を検知してしまうおそれがある。

【0019】

そこで、実施形態に係る周辺監視方法では、車両Ｖの走行状況に応じて検知対象領域ＤＲを決定し、かかる検知対象領域ＤＲに対する車両Ｖの進入角度を算出して、算出した進入角度に応じ、物体の検知条件を変更することとした。

【0020】

なお、ここに言う検知条件は、たとえば車両Ｖに搭載された複数の周辺監視カメラそれぞれの重み付けや、検知強度（「信頼度」と言い換えても可）等である。

【0021】

具体的には、図１Ｃに示すように、実施形態に係る周辺監視方法では、車両Ｖに搭載された複数のカメラ４を用いる。カメラ４は、たとえば車両Ｖの前方を撮像範囲とするフロントカメラ４－Ｆと、車両Ｖの右側方を撮像範囲とするライトサイドカメラ４－Ｒと、車両Ｖの左側方を撮像範囲とするレフトサイドカメラ４－Ｌと、車両Ｖの後方を撮像範囲とするバックカメラ４－Ｂである。なお、図１Ｃは、カメラ４それぞれの搭載箇所や撮像範囲を限定するものではない。

【0022】

そして、実施形態に係る周辺監視方法では、まず車両Ｖの走行状況を随時取得する。かかる走行状況は、たとえばナビ情報に基づく予測経路や現在位置、車速、ウィンカー操作の態様、舵角等である。そして、実施形態に係る周辺監視方法では、取得した走行状況に基づき、検知対象領域ＤＲを決定する。

【0023】

そのうえで、実施形態に係る周辺監視方法では、決定した検知対象領域ＤＲに対する車両Ｖの進入角度を算出する。ここで、「進入角度」は、図１Ｄに示すように、決定した「検知対象領域ＤＲの延在方向」と、「車両Ｖの進行方向」とがなす角度θである。したがって、かかる進入角度θは、車両Ｖが曲がり終えるまでに鋭角から徐々に大きくなることになる。そして、実施形態に係る周辺監視方法では、かかる進入角度θの変化に応じて、物体の検知条件を動的に変更する。

【0024】

ここで、検知対象領域ＤＲの延在方向とは、物理形状的には検知対象領域ＤＲの形状に沿った方向と考えることができる。たとえば検知対象領域ＤＲが横断歩道であれば、入口の歩道と出口の歩道を結ぶ直線を延在方向とすることができる。また検知対象領域ＤＲが道路であれば、道路に沿う方向を延在方向とすることができる。

【0025】

また、検知対象領域ＤＲの延在方向とは、機能意味的には検知対象領域ＤＲにおいて検知対象物が主に動くと想定する方向と考えることもできる。たとえば検知対象領域ＤＲが横断歩道であれば、検知対象物である歩行者や自転車が主に動く方向を延在方向とすることができる。また検知対象領域ＤＲが道路であれば、検知対象物である自動車が主に動く方向を延在方向とすることができる。

【0026】

つまり、進入角度とは、想定する検知対象物の移動方向に対して自車の進行方向とが交差するときの角度と考えることができる。

【0027】

たとえば、実施形態に係る周辺監視方法では、かかる検知条件の変更の一例として、図１Ｄに示すように、検知対象領域ＤＲにおける物体の検知に関し、ライトサイドカメラ４－Ｒを主たる「メイン」のカメラと重み付けし、フロントカメラ４－Ｆを従たる「サブ」のカメラと重み付けする。言い換えれば、ライトサイドカメラ４－Ｒをメインカメラとして選定し、フロントカメラ４－Ｆをサブカメラとして選定し、その他のカメラ４については選定しない。

【0028】

そのうえで、実施形態に係る周辺監視方法では、ライトサイドカメラ４－Ｒ，フロントカメラ４－Ｆそれぞれの撮像範囲によってカバーされた各領域の撮像映像を、前述の重み付けに応じて用いつつ物体を検知する。

【0029】

これにより、進入角度θの変化に応じた検知対象領域ＤＲに対する最適なカメラ４の撮像映像による検知が可能となり、車両Ｖのドライバーの死角をフォローしつつ、精度のよい物体の検知が可能となる。なお、検知条件の変更のより具体的な例については、図３Ａ～図４Ｃを用いた説明で後述する。

【0030】

このように、実施形態に係る周辺監視方法では、車両Ｖの走行状況に応じて検知対象領域ＤＲを決定し、かかる検知対象領域ＤＲに対する車両Ｖの進入角度θを算出して、かかる進入角度θの変化に応じ、カメラ４それぞれの重み付けを含む物体の検知条件を動的に変更することとした。

【0031】

したがって、実施形態に係る周辺監視方法によれば、車両Ｖの移動方向に対し存在する物体の検知精度を向上させることができる。以下、実施形態に係る周辺監視方法を適用した車載装置１０を含む、車載システム１の構成例について、図２以降を用いてより具体的に説明する。

【0032】

図２は、実施形態に係る車載システム１のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

【0033】

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0034】

図２に示すように、車載システム１は、ＧＰＳ（Global Positioning System）センサ２、舵角センサ３を含む各種センサと、カメラ４、たとえばフロントカメラ４－Ｆ，ライトサイドカメラ４－Ｒ，レフトサイドカメラ４－Ｌ，バックカメラ４－Ｂと、車載装置１０と、車両制御装置２０とを含む。

【0035】

車載装置１０は、記憶部１１と、制御部１２とを備える。また、車載装置１０は、車両Ｖの各種の挙動を制御する車両制御装置２０、および、ＧＰＳセンサ２、舵角センサ３、カメラ４等とは、ＣＡＮ（Controller Area Network）等の通信ネットワークを介して通信可能に接続される。

【0036】

車両制御装置２０は、車載装置１０による物体の検知結果に基づいて、たとえばＰＣＳ（Pre-crash Safety System）やＡＥＢ(Advanced Emergency Braking System)等の車両制御を行う。また、車両制御装置２０は、車載装置１０による物体の検知結果に基づいて、自動運転制御を行う自動運転制御装置であってもよい。

【0037】

記憶部１１は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図２の例では、ナビ情報１１ａを記憶する。ナビ情報１１ａは、車両Ｖのカーナビゲーションシステムに関する情報であり、地図情報や、走行予定ルート等を含む。

【0038】

制御部１２は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、車載装置１０内部の記憶デバイスに記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

【0039】

制御部１２は、取得部１２ａと、決定部１２ｂと、角度算出部１２ｃと、検知制御部１２ｄと、検知部１２ｅとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

【0040】

取得部１２ａは、ＧＰＳセンサ２や舵角センサ３といった各種センサのセンサ値、および、ナビ情報１１ａに基づいて、車両Ｖの走行状況を取得する。車両Ｖの走行状況とは、たとえば車両Ｖの位置、進行方向、右左折などの進路設定状況などを含む。また、取得部１２ａは、取得した走行状況を決定部１２ｂへ通知する。

【0041】

決定部１２ｂは、取得部１２ａによって取得された車両Ｖの走行状況に基づいて、上述した検知対象領域ＤＲを決定する。たとえば図１Ａに示すように、車両Ｖの位置が交差点進入位置であり、進路設定状況が右折の場合は、車両Ｖから見て交差点右側の横断歩道を検知対象領域ＤＲとして決定する。なお、一度検知対象領域ＤＲが決定されたら、所定の条件を満たすまで変更されないことが好ましい。所定の条件とは、たとえば決定してから所定の時間が経過する、決定してから所定の距離を走行する、検知対象領域ＤＲを交差して通過した、などである。また、決定部１２ｂは、検知した検知対象領域ＤＲを角度算出部１２ｃへ通知する。

【0042】

角度算出部１２ｃは、取得部１２ａによって取得された走行状況、および、決定部１２ｂによって決定された検知対象領域ＤＲに基づいて、上述した進入角度θを算出する。また、角度算出部１２ｃは、取得部１２ａによって随時取得される走行状況の変化に基づいて都度、進入角度θを更新する。また、角度算出部１２ｃは、算出した進入角度θを検知制御部１２ｄへ通知する。

【0043】

検知制御部１２ｄは、角度算出部１２ｃによって算出される進入角度θに応じて検知条件を動的に変更する。

【0044】

検知部１２ｅは、検知制御部１２ｄによって変更される検知条件に応じつつ、カメラ４からの撮像映像に基づいて物体を検知する。また、検知部１２ｅは、検知結果をたとえば車両制御装置２０へ通知する。

【0045】

なお、検知部１２ｅは、図示略の車載装置１０の出力部へ検知結果を出力するようにしてもよい。出力部は、たとえば車室内に設けられたディスプレイやスピーカである。

【0046】

ここで、実施形態に係る検知条件の変更の具体例について、図３Ａ～図３Ｄを用いて説明する。図３Ａ～図３Ｄは、実施形態に係る検知条件の変更の具体例を示す図（その１）～（その４）である。

【0047】

図３Ａに示すように、角度算出部１２ｃによって算出された進入角度θが所定の角度より小さい場合を考える。たとえば所定の角度を５０°とし、進入角度θが「０°≦θ＜２０°」であった場合、検知制御部１２ｄは、ライトサイドカメラ４－Ｒを「メイン」と重み付けし、フロントカメラ４－Ｆを「サブ」と重み付けする。

【0048】

つまり、進入角度θが小さく、検知対象領域ＤＲが車両Ｖの内輪側側方にある場合、主な撮像範囲が車両Ｖの内輪側の側方となるライトサイドカメラ４－Ｒを「メイン」と重み付けする。これにより「メイン」と重み付けしたカメラ４の主な撮像範囲内に検知対象領域ＤＲを収めることができる。一方で、検知対象領域ＤＲは写るかもしれないが、主な撮像範囲内には収められない可能性が高いフロントカメラ４－Ｆを「サブ」と重み付けする。なお、主な撮像範囲とは、カメラ４の撮像映像において検知処理を精度よく行うことができる範囲を指す。これは、たとえば画像の中央付近などである。

【0049】

そして、検知制御部１２ｄは、ライトサイドカメラ４－Ｒ，フロントカメラ４－Ｆそれぞれの撮像範囲によってカバーされた各領域の撮像映像をかかる重み付けに応じて用いさせ、検知部１２ｅに物体を検知させる。

【0050】

重み付けに応じて用いさせる、とは具体的には、検知部１２ｅが物体を検知する際、複数のカメラ４の撮像映像それぞれの検出結果を統合するときの信頼度を変えるとよい。たとえば「メイン」と重み付けされたカメラ４の撮像映像に基づく検出結果の信頼度を、「サブ」と重み付けされたカメラ４の撮像映像に基づく検出結果よりも高く設定するなどである。

【0051】

また、複数のカメラ４の撮像映像それぞれの検出処理を行う際の順序を変えるとよい。たとえば、「メイン」と重み付けされたカメラ４の撮像映像は、「サブ」と重み付けされたカメラ４の撮像映像より先に検出処理を行うなどである。

【0052】

また、複数のカメラ４の撮像映像それぞれの検出処理を行う際の頻度を変えるとよい。たとえば、「メイン」と重み付けされたカメラ４の撮像映像は、「サブ」と重み付けされたカメラ４の撮像映像より高い頻度に検出処理を行うなどである。具体的には、「メイン」の重み付けの場合は毎フレーム検出を行い、「サブ」の重み付けの時は数フレームおきの検出にするなどである。

【0053】

また、設定する重みとして例えばゼロなどを設定することもできる。ゼロと設定されたカメラ４の撮像映像は、検知部１２ｅにおいて物体の検出に用いない処理としてもよい。この場合は、換言すると、検知部１２ｅにおいて物体の検出に用いるカメラ４と用いないカメラ４とを設定する、と言うこともできる。たとえば図３Ａの場合、レフトサイドカメラ４－Ｌやバックカメラ４－Ｂには検知対象領域ＤＲが写らない可能性が高い。そのため、検知部１２ｅでは検出に用いない、としても支障がない。またフロントカメラ４－Ｆのように「サブ」と設定したカメラ４も、検知対象領域ＤＲを主な撮像範囲に収められない可能性が高いため、検出に用いない、としてもよい。

【0054】

また、図３Ｂに示すように、角度算出部１２ｃによって算出された進入角度θが大きくなったが、未だ所定の角度より小さいたとえば「２０°≦θ＜５０°」である場合を考える。この場合も、検知制御部１２ｄは、ライトサイドカメラ４－Ｒを「メイン」と重み付けし、フロントカメラ４－Ｆを「サブ」と重み付けする。

【0055】

なお、図３Ｂの場合は、図３Ａの場合に比べて、ライトサイドカメラ４－Ｒ，フロントカメラ４－Ｆそれぞれの撮像範囲によってカバーされる各領域は、時計回りに回転することとなる。そして、検知制御部１２ｄは、図３Ａの場合と同様に、かかる各領域の撮像映像を前述の重み付けに応じて用いさせ、検知部１２ｅに物体を検知させる。

【0056】

また、図３Ｃに示すように、角度算出部１２ｃによって算出された進入角度θが所定の角度を超えて直角に近くなる場合を考える。たとえば進入角度θが「５０°≦θ＜８０°」であった場合、検知制御部１２ｄは、今度はフロントカメラ４－Ｆを「メイン」と重み付けし、ライトサイドカメラ４－Ｒを「サブ」と重み付けする。つまり、進入角度θが直角に近づいて検知対象領域ＤＲが車両Ｖの前方に来た場合、主な撮像範囲が車両Ｖ正面となるフロントカメラ４－Ｆを「メイン」と重み付けする。これにより、「メイン」と重み付けしたカメラ４の主な撮像範囲内に検知対象領域ＤＲを収めることができる。一方で、検知対象領域ＤＲは写るかもしれないが、主な撮像範囲内には収められない可能性が高いライトサイドカメラ４－Ｒを「サブ」と重み付けする。

【0057】

無論、図３Ｃの場合は、図３Ｂの場合に比べて、ライトサイドカメラ４－Ｒ，フロントカメラ４－Ｆそれぞれの撮像範囲によってカバーされる各領域は、さらに時計回りに回転することとなる。そして、検知制御部１２ｄは、図３Ａおよび図３Ｂの場合と同様に、かかる各領域の撮像映像を前述の重み付けに応じて用いさせ、検知部１２ｅに物体を検知させる。

【0058】

また、図３Ｄに示すように、角度算出部１２ｃによって算出された進入角度θが直角に近いたとえば「８０°≦θ＜１２０°」であった場合、検知制御部１２ｄは、フロントカメラ４－Ｆを「メイン」と重み付けし、ライトサイドカメラ４－Ｒおよびレフトサイドカメラ４－Ｌを「サブ」と重み付けする。

【0059】

言うまでもなく、図３Ｄの場合は、図３Ｃの場合に比べて、ライトサイドカメラ４－Ｒ，フロントカメラ４－Ｆそれぞれの撮像範囲によってカバーされる各領域は、さらに時計回り回転することとなる。また、レフトサイドカメラ４－Ｌの撮像範囲によってカバーされる領域が加わることとなる。そして、検知制御部１２ｄは、図３Ａ～図３Ｃの場合と同様に、かかる各領域の撮像映像を前述の重み付けに応じて用いさせ、検知部１２ｅに物体を検知させる。

【0060】

ここで、所定の角度は、どちらのカメラ４の主な撮像範囲に検知対象領域ＤＲが主として写るかに基づいて決定するとよい。たとえば、上記の説明では一例として所定の角度を５０°とした。これは５０°を境にライトサイドカメラ４－Ｒの主な撮像範囲よりもフロントカメラ４－Ｆの主な撮像範囲に検知対象領域ＤＲが主に写るようになる、と考えてもよい。所定の角度は、カメラ４の光学系などに基づき事前に設定しておくとよい。また検知対象領域ＤＲと車両Ｖとの距離によって変化するようにしてもよい。

【0061】

なお、実施形態に係る検知条件の変更の具体例は、図３Ａ～図３Ｄに示したものに限られない。次に、変形例に係る検知条件の変更の具体例について、図４Ａ～図４Ｃを用いて説明する。図４Ａ～図４Ｃは、変形例に係る検知条件の変更の具体例を示す図（その１）～（その３）である。

【0062】

ところで、検知部１２ｅは、物体を検知するに際し、決定部１２ｂによって決定された検知対象領域ＤＲがカメラ４の撮像映像において該当する領域（以下、「該当領域ＡＲ」と言う）を抽出し、かかる該当領域ＡＲにおいて物体の位置や速度ベクトルといった物体の特徴点を抽出することとなる。しかし、かかる特徴点の抽出において、該当領域ＡＲ全体に一律の定数を用いることは処理効率を低下させる一因となりうる。

【0063】

そこで、図４Ａに示すように、たとえば該当領域ＡＲのうち、領域端、すなわち物体がカメラ４の撮像範囲に新たに写り込んでくる領域に相当するエリアＡＲ－１に対し、重点的に特徴点を抽出するようにすれば、処理効率を向上させることができる。具体的には、図４Ａに示すように、検知制御部１２ｄは、自転車Ｂ等の物体が進入してくるエリアＡＲ－１の重み付けを大きくし、かかるエリアＡＲ－１に対し、検知部１２ｅに重点的に特徴点を抽出させることができる。

【0064】

また、移動する物体は、たとえば横ベクトルの動きが多ければ検知しやすい。そこで、図４Ｂに示すように、検知制御部１２ｄが、横ベクトルの動きが多い映像を撮像したカメラ４を、進入角度θに応じた「メイン」として選定するようにしてもよい。これにより、移動物を検知しやすくすることが可能となる。

【0065】

また、図４Ｃに示すように、検知制御部１２ｄは、たとえば右折時において進入角度θが０°から１２０°へと変化するのに応じ、各カメラ４の検知強度を変化させるようにしてもよい。前述の説明では、２つのカメラ４に対して検知強度として「メイン」と「サブ」の２段階の重み付けを設定する処理を行った。これに対して、たとえば図４Ｃに示すように、検知制御部１２ｄは、右折時において進入角度θが０°から１２０°へと変化するのに応じ、フロントカメラ４－Ｆの検知強度を「弱」→「中」→「強」と変化させてもよい。

【0066】

また、検知制御部１２ｄは、ライトサイドカメラ４－Ｒについては、その検知強度を「中」→「強」→「強」と変化させてもよい。また、検知制御部１２ｄは、レフトサイドカメラ４－Ｌについては、その検知強度を「弱」→「中」→「強」と変化させてもよい。

【0067】

なお、先の例とは異なり、進入角度θが直角に近い状態でも、側方カメラであるライトサイドカメラ４－Ｒ、および、レフトサイドカメラ４－Ｌの検知強度を高く設定しておいてもよい。たとえば検知対象領域ＤＲが横断歩道の場合、横断歩道の入口および出口など、フロントカメラ４－Ｆでは撮像範囲の端に来るような前側方の物体検知を行うためである。

【0068】

なお、検知強度は、上述したが「信頼度」と言い換えてもよい。また、「優先度」といってもよい。かかる検知強度は、たとえばカメラ４それぞれの撮像映像に基づく検知結果を総合判定する際の係数として用いることができ、これにより、進入角度θに応じて精度よく物体を検知するのに資することができる。

【0069】

次に、実施形態に係る車載装置１０が実行する処理手順について、図５を用いて説明する。図５は、実施形態に係る車載装置１０が実行する処理手順を示すフローチャートである。

【0070】

図５に示すように、まず取得部１２ａが走行状況を取得する（ステップＳ１０１）。そして、決定部１２ｂが、取得された走行状況に応じて検知対象領域ＤＲを決定する（ステップＳ１０２）。

【0071】

そして、角度算出部１２ｃが、決定された検知対象領域ＤＲおよび走行状況に基づいて、検知対象領域ＤＲに対する進入角度θを算出する（ステップＳ１０３）。そして、検知制御部１２ｄが、算出された進入角度θに応じて検知条件を変更する（ステップＳ１０４）。

【0072】

そして、検知部１２ｅが、検知制御部１２ｄの変更した検知条件に応じて物体を検知すし（ステップＳ１０５）、ステップＳ１０１からの処理を繰り返す。

【0073】

上述してきたように、実施形態に係る車載装置１０は、車両Ｖに搭載された複数のカメラ４の撮像映像に基づいて車両Ｖの周辺の物体を検知する車載装置１０であって、取得部１２ａと、決定部１２ｂと、角度算出部１２ｃと、検知制御部１２ｄと、検知部１２ｅとを備える。取得部１２ａは、車両Ｖの走行状況を取得する。決定部１２ｂは、取得部１２ａによって取得された走行状況に応じて物体の検知対象領域ＤＲを決定する。角度算出部１２ｃは、決定部１２ｂによって決定された検知対象領域ＤＲおよび走行状況に応じて、検知対象領域ＤＲに対する車両Ｖの進入角度θを算出する。検知制御部１２ｄは、角度算出部１２ｃによって算出された進入角度θに応じて、物体の検知に関する検知条件を変更する。検知部１２ｅは、検知制御部１２ｄによって変更された検知条件およびカメラ４の撮像映像に基づいて物体を検知する。

【0074】

したがって、実施形態に係る車載装置１０によれば、物体の検知精度を向上させることができる。

【0075】

また、角度算出部１２ｃは、検知対象領域ＤＲの延在方向と、車両Ｖの進行方向とがなす角度を進入角度θとして算出する。

【0076】

したがって、実施形態に係る車載装置１０によれば、車両Ｖの右左折時において車両Ｖの移動方向に存在する物体を精度よく検知することが可能となる。

【0077】

また、検知制御部１２ｄは、カメラ４それぞれの撮像範囲および進入角度θに基づいて、カメラ４の撮像映像それぞれに対して、検知部１２ｅが物体を検知するときの重み付けをする。

【0078】

したがって、実施形態に係る車載装置１０によれば、主な撮像範囲内に検知対象領域ＤＲを収めることができるカメラ４を「メイン」と重み付けしたり、検知対象領域ＤＲは写るかもしれないが、主な撮像範囲内には検知対象領域ＤＲを収められない可能性が高いカメラ４を「サブ」と重み付けしたりするなど、検知対象領域ＤＲの撮像に適した検知条件設定を行うことができる。

【0079】

また、検知制御部１２ｄは、カメラ４それぞれの撮像映像を比較して、相対的に横ベクトルの動きが多い撮像映像を撮像したカメラ４を選定する。

【0080】

したがって、実施形態に係る車載装置１０によれば、移動する物体の検知精度を向上させることが可能となる。

【0081】

また、検知制御部１２ｄは、カメラ４の撮像映像において検知対象領域ＤＲに該当する領域のうちの領域端に相当するエリアＡＲ－１について、検知部１２ｅに重点的に物体の特徴点を抽出させる。

【0082】

したがって、実施形態に係る車載装置１０によれば、処理効率よく移動する物体を検知させることが可能となる。

【0083】

また、検知制御部１２ｄは、進入角度θが直角に近づくに連れて車両Ｖの前方を主な撮像範囲とするカメラ４の検知強度を上げる。

【0084】

したがって、実施形態に係る車載装置１０によれば、検知対象領域ＤＲに対する車両Ｖの移動方向が直角となるに連れて検知対象領域ＤＲの撮像に最適となるフロントカメラ４－Ｆの検知強度を上げることにより、物体の検知精度を向上させることができる。

【0085】

また、検知制御部１２ｄは、進入角度θが所定の角度より小さい場合は、車両Ｖの前方を主な撮像範囲とするカメラ４の検知強度よりも、内輪側となる車両Ｖの側方を撮像範囲とするカメラ４の検知強度を上げる。

【0086】

したがって、実施形態に係る車載装置１０によれば、検知対象領域ＤＲが車両Ｖの側方に位置する場合は、かかる場合の検知対象領域ＤＲの撮像に最適となるライトサイドカメラ４－Ｒまたはレフトサイドカメラ４－Ｌの検知強度を上げることにより、物体の検知精度を向上させることができる。

【0087】

なお、上述した実施形態では、右折時を例に挙げたが、左折時についても右折時とは左右対称となるだけで、他は同様に上述した実施形態を適用することができる。

【0088】

また、上述した実施形態では、交差点を例に挙げたが、無論、公道からのコンビニエンスストア等への進入時や、駐車場内での移動時等、様々なシーンで上述した実施形態を適用することができる。

【0089】

また、上述した実施形態では、カメラ４が４個設けられることとしたが、複数であればよく、２個または３個であってもよいし５個以上であってもよい。

【0090】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0091】

１ 車載システム
４ カメラ
４－Ｂ バックカメラ
４－Ｆ フロントカメラ
４－Ｌ レフトサイドカメラ
４－Ｒ ライトサイドカメラ
１０ 車載装置
１１ａ ナビ情報
１２ａ 取得部
１２ｂ 決定部
１２ｃ 角度算出部
１２ｄ 検知制御部
１２ｅ 検知部
２０ 車両制御装置
ＤＲ 検知対象領域
Ｖ 車両
θ 進入角度

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図4C】

【図5】