特開2021-196614(P2021-196614A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アイシン精機株式会社の特許一覧

特開2021-196614周辺車両検出システムおよび周辺車両検出プログラム
<>
  • 特開2021196614-周辺車両検出システムおよび周辺車両検出プログラム 図000003
  • 特開2021196614-周辺車両検出システムおよび周辺車両検出プログラム 図000004
  • 特開2021196614-周辺車両検出システムおよび周辺車両検出プログラム 図000005
  • 特開2021196614-周辺車両検出システムおよび周辺車両検出プログラム 図000006
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-196614(P2021-196614A)
(43)【公開日】2021年12月27日
(54)【発明の名称】周辺車両検出システムおよび周辺車両検出プログラム
(51)【国際特許分類】
   G08G 1/16 20060101AFI20211129BHJP
【FI】
   G08G1/16 D
【審査請求】未請求
【請求項の数】5
【出願形態】OL
【全頁数】16
(21)【出願番号】特願2020-99905(P2020-99905)
(22)【出願日】2020年6月9日
(71)【出願人】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110000660
【氏名又は名称】Knowledge Partners 特許業務法人
(72)【発明者】
【氏名】▲廣▼田 智明
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181CC04
5H181CC24
5H181FF05
5H181FF22
5H181FF32
5H181LL01
5H181LL04
5H181LL15
(57)【要約】
【課題】周辺車両が検出できなくなった場合であっても、周辺車両の位置の変化を推定できる可能性を高める技術の提供。
【解決手段】車両の周辺に存在する周辺車両を検出する周辺車両検出部と、前記周辺車両が存在する道路の道路形状を取得する道路形状取得部と、前記周辺車両が検出される状態から検出されない状態に変化した場合、最後に検出された前記周辺車両の位置が前記道路形状に沿って変化すると推定する挙動推定部と、を備える構成とする。
【選択図】図1
【特許請求の範囲】
【請求項1】
車両の周辺に存在する周辺車両を検出する周辺車両検出部と、
前記周辺車両が存在する道路の道路形状を取得する道路形状取得部と、
前記周辺車両が検出される状態から検出されない状態に変化した場合、最後に検出された前記周辺車両の位置が前記道路形状に沿って変化すると推定する挙動推定部と、
を備える周辺車両検出システム。
【請求項2】
前記挙動推定部による推定は、
前記周辺車両が検出される状態が一定期間以上継続した後、検出されない状態に変化した場合に実施される、
請求項1に記載の周辺車両検出システム。
【請求項3】
前記周辺車両検出部は、
道路上の白線を検出し、
前記周辺車両と前記白線との位置関係から前記周辺車両が走行している車線を取得する、
請求項1または請求項2に記載の周辺車両検出システム。
【請求項4】
前記挙動推定部は、
前記周辺車両が走行している車線において進行可能な進行方向に基づいて前記周辺車両の位置の変化を推定する、
請求項3に記載の周辺車両検出システム。
【請求項5】
前記挙動推定部は、
前記周辺車両と前記車両との相対車速を取得し、
前記相対車速の大きさに応じて、前記車両におけるリスクを判定するリスク判定部をさらに備える、
請求項1〜請求項4のいずれか一項に記載の周辺車両検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、周辺車両検出システムおよび周辺車両検出プログラムに関する。
【背景技術】
【0002】
従来、車両の周辺に存在する周辺車両の挙動を認識する技術が知られている。例えば、特許文献1においては、ステレオカメラによって先行車領域を検出し、先行車の位置と白線位置との関係で走行レーンを判断し、先行車の白線に対する横方向位置の時間的変動で車線変更などの挙動を認識する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−153406号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術においては、カメラによって検出された先行車の位置を利用して先行車の挙動を認識している。従って、カーブや他の車両の存在によって先行車の少なくとも一部が隠されて先行車が検出できなくなった場合には、先行車の挙動を推定することができない。
本発明は、上記課題にかんがみてなされたもので、周辺車両が検出できなくなった場合であっても、周辺車両の位置の変化を推定できる可能性を高める技術の提供を目的とする。
【課題を解決するための手段】
【0005】
上記の目的を達成するため、周辺車両検出システムは、車両の周辺に存在する周辺車両を検出する周辺車両検出部と、周辺車両が存在する道路の道路形状を取得する道路形状取得部と、周辺車両が検出される状態から検出されない状態に変化した場合、最後に検出された周辺車両の位置が道路形状に沿って変化すると推定する挙動推定部と、を備える。
【0006】
また、上記の目的を達成するため、周辺車両検出プログラムは、コンピュータを、車両の周辺に存在する周辺車両を検出する周辺車両検出部、周辺車両が存在する道路の道路形状を取得する道路形状取得部、周辺車両が検出される状態から検出されない状態に変化した場合、最後に検出された周辺車両の位置が道路形状に沿って変化すると推定する挙動推定部、として機能させる。
【0007】
すなわち、周辺車両検出システム、プログラムにおいては、周辺車両が検出される状態から検出されない状態に変化した場合、最後に検出された周辺車両の位置が道路形状に沿って変化すると推定する。従って、周辺車両が検出できなくなった場合であっても、周辺車両の位置の変化を推定できる可能性を高めることができる。
【図面の簡単な説明】
【0008】
図1】周辺車両検出システムの構成を示すブロック図。
図2図2Aは撮影された画像の例を示す図、図2Bは車幅軸と車長軸とを含む平面を示す図。
図3図3A図3Dは、周辺車両が検出されなくなる原因を説明する図。
図4】リスク判定処理のフローチャート。
【発明を実施するための形態】
【0009】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)周辺車両検出システムの構成:
(2)リスク判定処理:
(3)他の実施形態:
【0010】
(1)周辺車両検出システムの構成:
図1は、本発明の一実施形態にかかる周辺車両検出システムを含むナビゲーションシステム10の構成を示すブロック図である。ナビゲーションシステム10は、車両に備えられており、CPU,RAM,ROM等を備える制御部20、記録媒体30を備えている。ナビゲーションシステム10は、記録媒体30やROMに記憶されたプログラムを制御部20で実行することができる。記録媒体30には、予め地図情報30aが記録されている。
【0011】
地図情報30aは、車両の位置の特定や、経路案内等に利用される情報であり、車両が走行する道路上に設定されたノードの位置等を示すノードデータ,ノード間の道路の形状を特定するための形状補間点の位置等を示す形状補間点データ,ノード同士の連結を示すリンクデータ,道路やその周辺に存在する地物の位置や形状等を示す地物データ等を含んでいる。なお、本実施形態においてノードは交差点を示している。
【0012】
また、リンクデータには、当該リンクデータが示す道路区間に存在する車線を示す車線情報が対応づけられている。車線情報には、車線の数、車線の幅、車線上で進行可能な方向を示す情報が含まれる。車線上で進行可能な方向は、各車線から交差点に進入し、退出する際に進行可能な方向を示しており、例えば、右折専用車線においては、右折方向に進行可能であることを示す情報が対応づけられる。本実施形態においてノードや形状補間点が示す位置は道路区間上の中央線の位置を示しており、当該位置と車線の数および車線の幅によって車線の位置や車線が存在する範囲が特定可能である。
【0013】
本実施形態における車両は、カメラ40とGNSS受信部41と車速センサ42とジャイロセンサ43とユーザI/F部44とを備えている。GNSS受信部41は、Global Navigation Satellite Systemの信号を受信する装置であり、航法衛星からの電波を受信、図示しないインタフェースを介して車両の現在地を算出するための信号を出力する。制御部20は、この信号を取得して地図の座標系における車両の現在地(緯度、経度等)を取得する。車速センサ42は、車両が備える車輪の回転速度に対応した信号を出力する。制御部20は、図示しないインタフェースを介してこの信号を取得し、車速を取得する。ジャイロセンサ43は、車両の水平面内の旋回についての角加速度を検出し、車両の向きに対応した信号を出力する。制御部20は、この信号を取得して車両の進行方向を取得する。車速センサ42およびジャイロセンサ43等は、車両の走行軌跡を特定するために利用され、本実施形態においては、車両の出発地と走行軌跡とに基づいて現在地が特定され、当該出発地と走行軌跡とに基づいて特定された車両の現在地がGNSS受信部41の出力信号に基づいて補正される。
【0014】
カメラ40は、車両の前方に向けられた視野内の画像を取得する装置である。カメラ40の光軸は車両に対して固定されており、ナビゲーションシステム10において当該光軸の方向が既知であればよい。本実施形態において、カメラ40は車両の車幅方向と光軸中心が垂直で、車両の進行方向前方が視野に含まれるような姿勢で車両に取り付けられている。制御部20は、当該カメラ40の出力する画像を取得し、特徴量の抽出等によって画像を解析することによって車両の前方に存在する周辺車両を検出することができる。
【0015】
ユーザI/F部44は、利用者の指示を入力し、また利用者に各種の情報を提供するためのインタフェース部であり、図示しないタッチパネル方式のディスプレイやスピーカ等を備えている。すなわち、ユーザI/F部44は画像や音の出力部およびユーザによる指示の入力部を備えている。
【0016】
制御部20は、図示しないナビゲーションプログラムの機能により図示しないユーザI/F部44の入力部を介して利用者による目的地の入力を受け付け、地図情報30aに基づいて車両の現在地から目的地までの走行予定経路を探索する。また、制御部20は、当該ナビゲーションプログラムの機能によりユーザI/F部44を制御し、走行予定経路に沿って走行するための案内を実行する。本実施形態において制御部20は、当該ナビゲーションプログラムの付加機能として、カメラ40で撮影した先行車両の挙動を推定し、当該挙動からリスクを判定する機能を実行可能である。
【0017】
当該機能を実行するため、ナビゲーションプログラムは周辺車両検出プログラム21を備えている。周辺車両検出プログラム21は、周辺車両検出部21aと、道路形状取得部21bと、挙動推定部21cと、リスク判定部21dと、を備えている。
【0018】
周辺車両検出部21aは、車両の周辺に存在する周辺車両を検出する機能を制御部20に実行させるプログラムモジュールである。本実施形態においては、車両が走行している過程において制御部20が、一定周期毎にカメラ40を制御し、車両の前方の道路を含む風景を撮影する。撮影によってカメラ40から出力された画像は、画像情報30bとして記録媒体30に記録される。なお、本実施形態において制御部20は、GNSS受信部41,車速センサ42,ジャイロセンサ43の出力信号に基づいて車両の現在地を取得し、画像情報30bを撮影した際の車両の現在地および撮影時刻を当該画像情報30bに対応づけて記録媒体30に記録する。
【0019】
さらに、制御部20は、周辺車両検出部21aの機能により、画像認識処理を行って周辺車両を検出する。具体的には、制御部20は、画像情報30bを取得し、レンズによる歪み補正等を施す。さらに、制御部20は、YOLO(You Only Look Once)やパターンマッチング等を用いて、周辺車両を対象とした画像認識処理を実行する。この結果、制御部20は、画像情報30bに含まれる周辺車両の画像を検出する。
【0020】
本実施形態において、制御部20は、周辺車両を認識すると、当該周辺車両を囲むバウンディングボックスを画像内で特定する。バウンディングボックスの大きさおよび位置は、周辺車両の画像の大きさや、撮影された画像内における周辺車両の位置を示している。図2Aは、カメラ40によって撮影され、歪み補正が行われた後の画像Iの一例を示す図である。この例は、画像認識処理によって周辺車両が認識された例である。図2Aに示すように、本実施形態においてバウンディングボックスBは、画像Iから検出された周辺車両を囲む矩形領域である。
【0021】
バウンディングボックスBの大きさや位置は、例えばバウンディングボックスBの左上の頂点の座標と右下の頂点の座標によって表される。制御部20は、バウンディングボックスBの対角2頂点の座標から、バウンディングボックスBの高さh(画素数)と、バウンディングボックスBの代表座標Bo(x、y)を取得する。代表座標Boは、例えばバウンディングボックスBの中心座標(幅方向および高さ方向の中点)等である。制御部20は、バウンディングボックスBの代表座標Boの位置に基づいて、車両から見た周辺車両の相対方位を特定する。また、制御部20は、バウンディングボックスBの高さhおよび周辺車両の種類に基づいて、車両から周辺車両までの距離を特定する。
【0022】
具体的には、画像I内の各座標には、車両を基準とした場合の、当該座標に写る物体の相対方位が対応付けられており、対応関係を示す情報が記録媒体30に記憶されている。制御部20はこの対応関係に基づいて、代表座標Boに写る周辺車両の相対方位を取得する。本実施形態においては、車両を基準とした車両座標系が定義される。車両座標系は、互いに直交する車幅軸(図2Bに示すX軸)と車長軸(図2Bに示すY軸)とで定義される座標系である。
【0023】
図2Bは車幅軸と車長軸とを含む平面を示している。同図において点Oは、車両における車両座標系の原点である。図2Bの例において、車長軸は車両が走行している道路区間を示すリンクと平行である。相対方位は、例えば、車両座標系の原点Oと代表座標Boに対応する地点とを結ぶ直線SLと車長軸とのなす角度(θ)で表現される(例えばθが負値の場合は進行方向前方に向かって車長軸の左側、正値の場合は右側であることを示す)。
【0024】
さらに、制御部20は、画像認識処理により、バウンディングボックスB内の周辺車両の種類を特定する。周辺車両の種類は、車体の大きさを示す種類であればよく、例えば貨物自動車、乗用車、2輪車等のように分類されてよい。また、本実施形態においては周辺車両の種類毎に、代表的な車高(例えば乗用車の場合、1.5[m]等)が規定されている。さらに、車両と周辺車両との直線距離と、当該周辺車両をカメラ40で撮影した場合のバウンディングボックスBの高さhとが予め計測されている。そして、車両の種類毎に、バウンディングボックスBの高さhと、車両座標系の原点を基準とした直線距離との対応関係を示す情報が記録媒体30に記憶されている。
【0025】
例えば、車高の代表的な実寸が1.5[m]の乗用車を囲むバウンディングボックスの高さがh1画素であれば直線距離がD1[m]であり、h2画素であれば直線距離がD2[m]であることが対応付けられている。貨物自動車や2輪車等の他の種類についてもそれぞれ対応関係を示す情報が記録媒体30に記憶されている。制御部20は、この対応関係に基づいて、バウンディングボックスBの高さhに対応する直線距離D(図2Bを参照)を算出する。以上のようにして、制御部20は、カメラ40が撮影した画像に基づいて、画像内に含まれる周辺車両の相対方位θと、車両との直線距離Dを取得する。
【0026】
本実施形態においては、カメラ40による撮影周期毎に画像が撮影され、各画像について周辺車両の特定および直線距離、相対方位の特定が行われる。従って、数フレームの撮影過程に渡って同一の周辺車両が認識され得る。そこで、本実施形態において、制御部20は、同一の周辺車両が撮影されている間、当該周辺車両に対して同一の識別情報を付与する。このため、制御部20は、相対方位θと直線距離Dが特定された各周辺車両の画像の特徴(例えば、色、バウンディングボックスB内の模様等)を特定し、当該特徴に対応した識別情報(例えば、番号等)を、相対方位θ、直線距離D、周辺車両の特徴を示す情報および画像の撮影時刻に対応付けた周辺車両情報30cを生成し、記録媒体30に記録する。
【0027】
画像が撮影されるたびに同一の周辺車両に対して同一の識別情報を付与するため、制御部20は、記録媒体30を参照し、直前の画像と最新の画像で認識された周辺車両に対応づけられた画像の特徴と一致するか否か判定する。一致する場合、制御部20は、直前の画像において周辺車両に付与された識別情報を、最新の画像で認識された周辺車両に対しても付与する。この結果、カメラ40によって撮影され続けられる周辺車両に対しては同一の識別情報が付与される。むろん、連続するフレームにおいて特徴が同一の画像が撮影されたとしても、制御部20は、両者の画像の距離が閾値以上である場合に同一とみなさないなどの各処理が行われてよい。いずれにしても、同一の識別情報が付与された画像が検出されている期間においては、同一の周辺車両が検出され続けているとみなすことができる。
【0028】
制御部20は、周辺車両検出部21aの機能により、周辺車両の車速を取得する。具体的には、制御部20は、ステップS100の画像認識処理で認識された各周辺車両の相対方位θと直線距離Dと特徴に対応した識別情報を取得する。すなわち、画像情報30bが取得されるたびに行われるため、制御部20は、現在以前の既定期間内に撮影された画像情報30bにおいて実施された画像認識処理の結果から、当該既定期間分に得られた相対方位θと直線距離Dと特徴に対応した識別情報とを時系列で取得する。
【0029】
また、制御部20は、相対方位θおよび直線距離Dの算出元となった画像情報30bのそれぞれに対応づけられていた車両の現在地(カメラ40で画像情報30bを撮影した際の現在地)を取得する。そして、制御部20は、時系列の相対方位θ、直線距離Dおよび車両の現在地に基づいて、周辺車両の位置および車速を取得する。すなわち、制御部20は、現在以前の数フレーム分の周辺車両のデータに基づいて、車両から見た周辺車両の相対位置(図2Bに示すP)および相対車速(図2Bに示すdd)を特定する。
【0030】
そして、制御部20は、車両の現在地と各周辺車両の相対位置とに基づいて、各周辺車両の車速を取得する。また、制御部20は、車両の現在の車速(例えば、車速センサ42の検出値)を特定し、当該現在の車速と各周辺車両の相対車速とに基づいて、各周辺車両の車速(道路に対する速度)を取得する。周辺車速の位置および車速が取得されると、制御部20は、周辺車両情報30cに、周辺車両の位置および車速を追記する。以上の処理により、周辺車両が検出される状態が継続すると、検出されている期間における周辺車両の位置および車速が時系列で記録された状態になる。
【0031】
本実施形態においては、以上のような周辺車両の認識に加え、白線の認識も実施される。白線認識処理は、種々の手法で実施されてよい。例えば、制御部20が、ハフ変換等を利用した直線検出処理を実行し、検出された直線によって挟まれる領域の色が白であり、当該白い領域の幅が既定距離以内である場合に白線として認識する処理等が挙げられる。本実施形態においては、車線の幅方向の端に存在し、車両進行方向に延びる白線(車線の境界線を示す白い実線や白い破線等)を認識することが想定されているため、白線が消失点に向けて延びている等の条件が付加されてもよい。
【0032】
以上のようにして、道路上の白線と周辺車両の位置が取得されると、制御部20は、周辺車両と白線との位置関係から周辺車両が走行している車線を取得する。すなわち、制御部20は、地図情報30aを参照し、周辺車両が存在する道路区間を特定する。また、制御部20は、地図情報30aを参照し、当該道路区間のノードデータおよび形状補間データに基づいて当該道路区間上の中央線の位置を特定する。さらに、制御部20は、地図情報30aを参照し、当該道路区間の車線情報に基づいて当該道路区間上の車線の幅を特定する。
【0033】
そして、制御部20は、中央線と周辺車両との距離とに基づいて周辺車両が走行している車線を取得する。周辺車両が走行している車線が取得されると、制御部20は、周辺車両の位置に当該周辺車両が走行している車線を対応付け、周辺車両情報30cに追記する。なお、複数の周辺車両が検出された場合、制御部20は、各周辺車両について周辺車両情報30cを生成し、記録媒体30に記録する。
【0034】
このように、車両の周辺には複数の周辺車両が存在し得るが、本実施形態においては、車両の前方において当該車両が存在する車線上またはその延長車線上に存在する周辺車両である先行車両が、リスクの判定対象となる。そこで、制御部20は、地図情報30aに基づいて車両が現在走行している車線を特定し、当該車線上またはその延長車線上を走行している周辺車両が存在する場合、当該周辺車両を先行車両とみなす。周辺車両情報30cにおいては、先行車両の識別情報に先行車両であることを示す情報が対応づけられる。むろん、挙動の推定やリスクの判定の対象となる周辺車両は、先行車両以外の車両であっても良い。
【0035】
道路形状取得部21bは、周辺車両が存在する道路の道路形状を取得する機能を制御部20に実行させるプログラムモジュールである。本実施形態においては、周辺車両の中の先行車両がリスク判定の対象であるため、制御部20は、地図情報30aを参照し、先行車両の位置が存在する道路区間のノードデータおよび形状補間データを取得する。ノードデータによれば道路区間両端に存在する交差点の位置が特定され、形状補間データによれば道路区間上の中央線の位置が特定されるため、当該道路区間の道路形状が特定される。
【0036】
挙動推定部21cは、周辺車両が検出される状態から検出されない状態に変化した場合、最後に検出された周辺車両の位置が道路形状に沿って変化すると推定する機能を制御部20に実行させるプログラムモジュールである。周辺車両の中の先行車両がリスク判定の対象であるため、先行車両が検出される状態であれば、制御部20は、当該検出結果に基づいて先行車両の挙動を特定する。
【0037】
しかし、カメラ40によって検出されていた先行車両がカメラ40の視野に入らなくなる(または一部が視野に入らなくなる)と、最新の先行車両の状態が検出されなくなる。この場合、カメラ40の出力結果からは、最新の先行車両の位置や車速が特定できない状態になる。そこで、本実施形態において制御部20は、先行車両が検出される状態から検出されない状態に変化した場合に、各種の情報に基づいて先行車両の挙動を推定する。
【0038】
本実施形態において制御部20は、先行車両の位置の変化および現在以降の車速を挙動として推定する。先行車両の位置の変化は、道路形状に基づいて推定される。すなわち、制御部20は、先行車両が走行している車線において進行可能な進行方向に基づいて先行車両の位置の変化を推定する。具体的には、制御部20は、周辺車両情報30cを参照し、先行車両が走行している車線を取得する。さらに、制御部20は、最後に取得された先行車両の位置以後、道路区間上においては、道路形状取得部21bの機能によって取得された道路形状に沿って先行車両の位置が変化すると推定する。
【0039】
当該道路区間の端点(交差点)以後は、先行車両が走行している車線において進行可能な方向に沿って先行車両の位置が変化すると推定する。すなわち、地図情報30aには車線情報が含まれているため、制御部20は、当該車線情報を参照し、先行車両が走行している車線から交差点に進入した後に交差点から退出する場合に進行可能な方向を特定する。そして、制御部20は、交差点以後において、先行車両の位置が当該進行可能な方向に変化すると推定する。当該推定は、直進、右左折などのような推定であっても良いし、交差点以後の道路形状に沿った軌跡の推定であっても良い。
【0040】
さらに、本実施形態において制御部20は、先行車両の現在以降の車速を推定する。具体的には、制御部20は、周辺車両としての先行車両が検出される状態から検出されない状態に変化した原因を特定し、原因に応じて先行車両の車速を推定する。本実施形態においては、他の車両および地物が原因となり得る。なお、他の車両とは、ナビゲーションシステム10が搭載された車両、先行車両のいずれでもない車である。
【0041】
本実施形態においては、他の車両が原因となるシーンとして、車両と先行車両との間に他の車両が存在するシーンが想定されている。このようなシーンとしては、他の車両自体が移動して車両と先行車両との間に達することで形成される場合と、他の車両は駐車されているが車両と先行車両とが移動することで形成される場合とがある。
【0042】
図3Aおよび図3Bは、他の車両自体が移動して車両と先行車両との間に達するシーンの例を示している。図3Cは、他の車両は移動せず、車両と先行車両とが移動するシーンの例を示している。図3Aは、車両C0と先行車両C1との間に他の車両C2が割り込んだ状態を示している。このように、他の車両C2による割込が行われると、車両C0に搭載されたカメラ40の視野に先行車両C1の少なくとも一部が含まれなくなり、画像認識によって先行車両C1が検出されない状態になり得る。なお、車両C0と同一方向に走行中の他の車両C2による車線変更等でも画像認識によって先行車両C1が検出されない状態は起こりえる。ここでは、以上のように、車両C0と先行車両C1との間に他の車両C2が進行し、その後、車両C0と先行車両C1と同一方向に他の車両C2が走行する動作を割込と呼ぶ。
【0043】
図3Bは、車両C0と先行車両C1との間を他の車両C3が横切った状態を示している。このように、他の車両C3が車両C0と先行車両C1との間を横切ると、車両C0に搭載されたカメラ40の視野に先行車両C1の少なくとも一部が含まれなくなり、画像認識によって先行車両C1が検出されない状態になり得る。なお、図3Bに示す例において、車両C0と先行車両C1との間を横切る車両は対向車両であるが、例えば、車両C0が走行する道路に交差する交差道路を走行する他の車両が車両C0の前方を横切るなどした場合にも、画像認識によって先行車両C1が検出されない状態は発生し得る。
【0044】
図3Cは、車両C0と先行車両C1との間に他の車両C4が駐車している状態を示している。このように、他の車両C4が車両C0と先行車両C1との間に駐車していると、車両C0に搭載されたカメラ40の視野に先行車両C1の少なくとも一部が含まれなくなり、画像認識によって先行車両C1が検出されない状態になり得る。
【0045】
図3A図3B図3Cに示す状態においては、カメラ40によって他の車両C2〜C4が撮影されるため、制御部20は、周辺車両検出部21aの機能によって、先行車両の一つとして他の車両を検出する。そして、制御部20は、他の車両に対して識別情報を付与しつつ、位置、車速、走行している車線を時系列で記録媒体30に記録する。
【0046】
そこで、制御部20は、他の車両の位置の変化および走行している車線等に基づいて、どのシーンであるのかを判定する。例えば、先行車両C1が検出されない状態になり、先行車両C1が検出されていた位置に他の車両が存在する状態となり、車両C0が走行する道路と同一の道路に向けて他の車両が移動している場合、制御部20は、図3Aのような割込が行われたと判定する。
【0047】
また、先行車両C1が検出されない状態になり、先行車両C1が検出されていた位置に他の車両が存在する状態となり、車両C0が走行する道路と異なる道路に向けて他の車両が移動している場合、制御部20は、図3Bのように他の車両が車両C0の前方を横切っていると判定する。
【0048】
さらに、先行車両C1が検出されない状態になり、先行車両C1が検出されていた位置に他の車両が存在する状態となり、他の車両が移動していない場合、制御部20は、図3Cのように他の車両が車両C0の前方に駐車していると判定する。
【0049】
地物が原因となり得るシーンとして、本実施形態においては、カーブにおいて地物が死角を形成するシーンが想定されている。図3Dは、車両C0の前方の道路がカーブしており、地物Fが死角を形成している状態を示している。このように、地物等によって死角が形成されると、車両C0に搭載されたカメラ40の視野に先行車両C1の少なくとも一部が含まれなくなり、画像認識によって先行車両C1が検出されない状態になり得る。
【0050】
そこで、制御部20は、地図情報30aを参照し、現在地が存在する道路のノードデータおよび形状補間データに基づいて、車両C0が走行している道路がカーブであるか否か判定する。なお、カーブであるか否かの判定としては、例えば、曲率半径が閾値以下である場合にカーブと判定する手法等を採用可能である。
【0051】
車両C0が走行している道路がカーブである場合、制御部20は、地図情報30aを参照して当該道路がカーブしている方向に存在する地物の位置および形状を特定する。そして、車両C0に搭載されたカメラ40の視野範囲(既定角度の範囲)に地物が存在する場合、制御部20は、地物によって先行車両が検出されない状態になったと判定する。
【0052】
以上のようにして、先行車両が検出されない状態になった原因が特定されると、制御部20は、原因に応じて先行車両の車速を推定する。具体的には、先行車両が検出されない状態になった原因が車両と先行車両との間に割り込んだ他の車両である場合、制御部20は、割込を行った当該他の車両を新たに先行車両とみなす。さらに、制御部20は、割込を行った当該他の車両の車速が先行車両の車速であると推定する。
【0053】
すなわち、割込が行われた場合、割込を行った他の車両が車両C0の前方を走行し続け、検出されなくなった元の先行車両C1は継続して検出されないことが推定される。そこで、制御部20は、車両C0の直前に現れた他の車両C2を先行車両とみなす。このため、これ以後、制御部20は、他の車両C2を先行車両とみなし、当該先行車両を位置の変化、車速、走行している車線の検出対象とする。以上の構成によれば、割込が行われたとしても、車両の直前の先行車両についての解析を行うことが可能になる。
【0054】
先行車両が検出されない状態になった原因が車両と先行車両との間を横切る他の車両である場合、制御部20は、最後に検出された先行車両の車速が維持されると推定する。すなわち、車両の前方を他の車両が横切る場合、他の車両はすぐに移動し、短期間のうちに、先行車両が再度検出される状態になると推定される。そこで、制御部20は、最後に検出された先行車両を、位置の変化、車速、走行している車線の検出対象とし続ける。この際、制御部20は、最後に検出された先行車両の車速が維持されると推定する。制御部20は、走行している車線も維持されると推定する。位置の変化は、上述のように道路形状に基づいて推定される。以上の構成によれば、先行車両が検出されない状態があったとしても、その状態での先行車両の挙動が不明になることはない。
【0055】
先行車両が検出されない状態になった原因が道路上に駐車する他の車両である場合、先行車両が走行している道路の制限車速が先行車両の車速であると推定する。すなわち、車両C0の前方に駐車している車両は、駐車し続ける場合が多く、駐車車両の運転者から先行車両が見えることはあり得るものの、当該駐車車両は継続して先行車両を隠し続ける原因となる可能性が高い。そこで、制御部20は、検出されていない先行車両の車速が既定の車速であると推定する。本実施形態においては、既定の車速が制限車速である。すなわち、検出されない先行車両の挙動を推定する際には、リスクに対して余裕をもって対処できるように推定が行われることが好ましい。
【0056】
そこで、制御部20は、先行車両の通常の挙動である制限車速で走行していると推定する。この構成によれば、制限車速より高速で走行していると推定する場合よりも、先行車両と車両との車間距離が短くなると推定されるため、よりハイリスクの状態が推定される。従って、この推定に基づいて運転者がリスクに備えれば、先行車両に対する対処が行いやすくなる。むろん、制限速度であるとの推定は一例であり、制限車速より低い一定の車速であると推定される構成や、停止していると推定される構成、一定加速度で減速されると推定される構成等であっても良い。なお、この場合においても、制御部20は、走行している車線も維持されると推定する。位置の変化は、上述のように道路形状に基づいて推定される。
【0057】
先行車両が検出されない状態になった原因が道路外の地物である場合、検出されていた先行車両において減速が行われていたならば、制御部20は、最後に検出された先行車両の車速より小さい車速であると推定する。一方、検出されていた先行車両において減速が行われていなかったならば、制御部20は、最後に検出された先行車両の車速が維持されていると推定する。すなわち、地物によって死角が存在する場合、先行車両が検出されない状態がしばらく継続し、さらに、車両の運転者からも先行車両が視認されないと考えられる。そこで、制御部20は、最後に検出された先行車両の車速に基づいて、リスクに対して余裕をもって対処できるように推定を行う。
【0058】
具体的には、検出されていた先行車両において減速が行われていたならば、その後も減速が続くことを想定すべきであるため、制御部20は、最後に検出された先行車両の車速より小さい車速であると推定する。この構成によれば、死角発生後に想定外のリスクが生じる可能性を低減することができる。なお、最後に検出された先行車両の車速より小さい車速は、予め決められていてもよいし、0km/hであっても良いし、先行車両において行われていた減速の程度等に応じて決められても良い。
【0059】
一方、検出されていた先行車両において減速が行われていないなら、制御部20は、その挙動が継続されると推定する。むろん、制御部20は、先行車両の車速が制限車速であると推定しても良い。この構成によれば、死角に存在する先行車両の挙動を推定することができる。なお、車線、位置の変化について制御部20は、上述と同様に、走行している車線が維持されると推定し、道路形状に基づいて位置の変化を推定する。
【0060】
リスク判定部21dは、相対車速の大きさに応じて、車両におけるリスクを判定する機能を制御部20に実行させるプログラムモジュールである。先行車両が検出される状態において制御部20は、周辺車両検出部21aの機能によって、検出結果として先行車両の挙動(位置および車速)を特定している。また、先行車両が検出される状態において制御部20は、挙動推定部21cの機能によって、先行車両の挙動(位置および車速)を推定している。
【0061】
そこで、制御部20は、車両と先行車両との相対車速に基づいてリスクの判定を行う。本実施形態において、リスクは車両と先行車両とが接触する可能性が高いほどハイリスクとなるように判定されれば良く、種々の手法で判定が行われてよい。例えば、相対車速が負(車両と先行車両とが接近する状態)であり、かつ、その絶対値が大きい程リスクが高いと判定される構成を採用可能である。また、既定期間後における車両と先行車両との距離が相対車速に基づいて取得され、当該距離が短い程リスクが高いと判定される構成等を採用可能である。
【0062】
リスクは、各種の態様で表現されて良く、例えば、複数の段階でリスクが表現されても良いし、連続的に変化する態様でリスクが表現されても良い。いずれにしても、リスクが判定されると、制御部20は、リスク判定部21dの機能により、ユーザI/F部44の出力部を制御し、先行車両のリスクを示す表示を行う。当該表示の態様としては、種々の態様が想定されて良く、例えば、カメラ40で撮影された画像が表示されるとともに、当該画像内の先行車両の画像(隠れている場合にはその付近)にリスクを示す色やアイコン等が表示される構成を採用可能である。むろん、このような構成以外にも、警告の文字や図形が表示される構成であっても良いし、地図上に先行車両の位置やリスクが表示される構成等であってもよく、種々の態様を採用可能である。
【0063】
(2)リスク判定処理:
次に、制御部20が実行するリスク判定処理を、図4を参照しながら説明する。ナビゲーションシステム10の制御部20は、ナビゲーションシステム10の動作中において、所定期間毎にリスク判定処理を実行する。リスク判定処理が開始されると、制御部20は、周辺車両検出部21aの機能によって、周辺車両認識処理を行う(ステップS100)。すなわち、制御部20は、カメラ40による撮影を行い、撮影された画像を画像情報30bとして記録媒体30に記録する。さらに、制御部20は、周辺車両検出部21aの機能により、画像認識処理を行って周辺車両を検出する。
【0064】
さらに、制御部20は、検出された周辺車両を囲むバウンディングボックスおよび当該周辺車両の種類に基づいて車両からみた周辺車両の相対方位θと、車両から周辺車両までの距離Dを特定する。これらの情報には周辺車両の特徴、当該特徴に対応した識別情報、画像の撮影時刻が対応づけられ、周辺車両情報30cとして記録媒体30に記録される。さらに、制御部20は、時系列の相対方位θ、直線距離Dおよび車両の現在地に基づいて、車両と周辺車両との相対車速を取得し、周辺車両の位置および車速を取得する。周辺車速の位置および車速は、周辺車両情報30cに、追記される。
【0065】
次に、制御部20は、周辺車両検出部21aの機能により、画像情報30bに基づいて白線認識処理を行う(ステップS105)。また、制御部20は、周辺車両と白線との位置関係から周辺車両が走行している車線を取得し(ステップS110)、周辺車両の位置に当該周辺車両が走行している車線を対応付け、周辺車両情報30cに追記する。以上の処理は、画像情報30bに含まれる各周辺車両について実施される。
【0066】
次に、制御部20は、周辺車両検出部21aの機能により、先行車両を特定する(ステップS115)。すなわち、制御部20は、地図情報30aに基づいて車両が現在走行している車線を特定し、当該車線上またはその延長車線上を走行している周辺車両が存在する場合、当該周辺車両を先行車両とみなす。先行車両が特定された場合、当該先行車両の位置や撮影時刻を示す周辺車両情報30cに対して先行車両であることを示す情報を対応づける。当該車線上またはその延長車線上を走行している周辺車両が存在しない場合、先行車両の情報は周辺車両情報30cに追記されない。
【0067】
次に、制御部20は、先行車両の認識期間を特定する(ステップS120)。すなわち、制御部20は、周辺車両情報30cに含まれる先行車両の撮影時刻を特定し、ステップS100における画像情報30bの撮影周期に応じた一定の期間毎の撮影時刻が途切れることなく記録されている場合に、先行車両が継続して認識されていると判定する。そして、制御部20は、当該撮影時刻に基づいて先行車両が継続して認識されている期間を特定し、認識期間とみなす。なお、認識期間には現在時刻が含まれなくても良い。すなわち、先行車両が過去に認識されており、現在認識されていなくても、認識期間が特定される。
【0068】
次に、制御部20は、先行車両が検出される状態が一定期間以上継続したか否かを判定する(ステップS125)。すなわち、制御部20は、ステップS120で特定された認識期間が一定期間以上である場合に、先行車両が検出される状態が一定期間以上継続したと判定する。
【0069】
ステップS125において、先行車両が検出される状態が一定期間以上継続したと判定されない場合、制御部20はステップS130以降の処理をスキップし、リスクの判定やリスクの表示を行わない。すなわち、先行車両が一定期間以上継続して検出されていない場合、制御部20は、リスクを判定するために充分な情報が得られていないとみなし、ステップS130以降をスキップする。このような判定を行うため、一定期間は、先行車両の挙動を解析するために必要な情報が撮影されたか否かを判定するための期間であれば良く、例えば、1秒など、予め決められていれば良い。
【0070】
次に、制御部20は、挙動推定部21cの機能により、先行車両が検出されない状態であるか否かを判定する(ステップS130)。すなわち、制御部20は、周辺車両情報30cを参照し、先行車両の識別情報に対応づけられた撮影時刻の中から最も現在時刻に近い撮影時刻を選択する。そして、制御部20は、撮影時刻と現在時刻との差分が既定期間(例えば、画像情報30bの撮影周期のN周期分等(Nは1以上の整数))以上である場合、先行車両が検出されない状態であると判定する。
【0071】
ステップS130において、先行車両が検出されない状態であると判定された場合、制御部20は、先行車両の位置の変化および車速を推定する(ステップS135)。すなわち、制御部20は、周辺車両情報30cに基づいて先行車両が走行している車線を特定し、地図情報30aを参照して当該先行車両が走行している道路区間の道路形状を取得する。そして、制御部20は、最後に取得された先行車両の位置以後、最後に先行車両が存在した道路区間上では、当該道路形状に沿って先行車両の位置が変化すると推定する。当該道路区間より先に関しては、制御部20は、先行車両が走行している車線において進行可能な方向に沿って先行車両の位置が変化すると推定する。さらに、本実施形態において制御部20は、周辺車両としての先行車両が検出される状態から検出されない状態に変化した原因を特定し、原因に応じて先行車両の車速を推定する。原因ごとの車速の推定法は上述の通りである。
【0072】
ステップS135が実行された場合は、推定によって先行車両の現在の挙動(位置や車速)が特定されており、ステップS135がスキップされた場合には、ステップS100の処理によって先行車両の現在の挙動が特定されている。そこで、制御部20は、リスク判定部21dの機能により、車両と先行車両との相対車速に基づいてリスクの判定を行う(ステップS140)。また、制御部20は、リスク判定部21dの機能により、ユーザI/F部44の出力部を制御し、先行車両のリスクを示す表示を行う(ステップS145)。
【0073】
(3)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、周辺車両検出システムは、車両等に搭載された装置であっても良いし、可搬型の端末によって実現される装置であっても良いし、複数の装置(例えば、ナビゲーションシステム内の制御部とカメラ40内の制御部等)によって実現されるシステムであっても良い。
【0074】
周辺車両検出システムを構成する周辺車両検出部21a、道路形状取得部21b、挙動推定部21c、リスク判定部21dの少なくとも一部が複数の装置に分かれて存在していても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。例えば、周辺車両検出部21aの機能によって検出される周辺車両は、特定の車両(例えば、先行車両と割込車両等)に限定されても良い。
【0075】
周辺車両検出部は、車両の周辺に存在する周辺車両を検出することができればよい。すなわち、周辺車両検出部は、位置変化等の挙動を推定する対象となる車両を検出することができればよい。周辺車両は、先行車両に限定されず、後続車両であっても良いし、並走車両であっても良いし、他の道路(例えば、車両が走行中の道路に交差する道路)を走行している車両であっても良い。
【0076】
周辺車両の検出は、種々の手法で実施されてよく、車両が備えるカメラ以外にも、種々のセンサ、例えば、レーダーやLIDAR(Light Detection and Ranging)、超音波センサ等の各種センサを利用可能である。検出によって得られる情報は種々の情報であって良く、例えば、周辺車両の位置、車両から見た方向、車速等のいずれかまたは組み合わせであって良い。また、周辺車両の位置や方向、車速は車両から見た相対値として取得されても良い。
【0077】
道路形状取得部は、周辺車両が存在する道路の道路形状を取得することができればよい。従って、上述の実施形態のように地図情報に基づいて取得される構成以外にも種々の構成を採用可能である。例えば、カメラによって撮影された画像に基づいて道路形状が取得されても良いし、各種のセンサによって道路形状が取得されても良いし、外部の機器から道路形状が取得されても良い。また、道路形状は周辺車両の位置の変化を推定するために利用されれば良い。従って、周辺車両が存在する道路全体の道路形状が取得されても良いし、周辺車両が存在する車線の道路形状が取得されても良い。
【0078】
挙動推定部は、周辺車両が検出される状態から検出されない状態に変化した場合、最後に検出された周辺車両の情報に基づいて周辺車両の挙動を推定することができればよい。周辺車両の位置の変化を推定するのであれば、最後に検出された周辺車両の位置が道路形状に沿って変化すると推定することができればよい。周辺車両の車速を推定するのであれば、最後に検出された周辺車両の車速や、道路の制限車速等に基づいて、周辺車両の車速を推定することができればよい。
【0079】
さらに、リスクの判定態様は、上述の実施形態に限定されない。例えば、車両の経路に基づいてリスクが判定されても良い。この場合、制御部20は、経路案内の基になる走行予定経路を取得する。そして、制御部20は、当該走行予定経路と、周辺車両の位置の変化とを比較し、両者が交差する場合や、両者の最短距離が閾値以下である場合にリスクの判定を行う。他にも、種々の態様でリスクが判定されて良く、例えば、制御部20は、走行予定経路と、周辺車両の位置の変化とに基づいて走行予定経路上を移動する車両と移動する周辺車両とが最接近する距離を特定し、当該距離が近いほどリスクが高いと判定してもよい。
【0080】
さらに、リスクの判定結果の利用態様は、上述の実施形態のような表示に限定されない。例えば、リスクに応じた車両制御が行われてもよい。車両制御を行うためには、例えば、図1に示す構成に対して、車両内の制御対象を制御するためのインタフェースを追加し、制御部20からの制御指示に応じて制御対象を制御できるように構成される。そして、制御部20が、例えば、リスクを低減させるように車両制御を行う。リスクを低減させるための車両制御は、種々の態様で実現されて良く、例えば、リスクが基準を超える場合にはブレーキやシフトを制御して車両を減速させる構成や、ステアリングを制御して進行方向を変更させる構成等が挙げられる。
【0081】
さらに、周辺車両の位置の変化は、上述の要素以外にも、各種の要素に基づいて推定されて良い。例えば、周辺車両における方向指示器の点滅が検出された場合に、当該方向指示器で指示された方向に位置が変化すると推定する構成が採用されてもよい。
【0082】
さらに、原因に応じた車速の推定態様としても、種々の態様が採用されてよい。例えば、上述の構成において、制御部20は、周辺車両が検出されない状態が継続する期間が基準よりも長い原因である場合、最後に検出された周辺車両の車速より小さい車速が周辺車両の車速であると推定する構成を採用可能である。また、この場合、制御部20は、周辺車両が検出されない状態が継続する期間が基準よりも短い原因である場合、最後に検出された周辺車両の車速が周辺車両の車速であると推定する。ここで、基準は、検出されなくなった周辺車両が再度検出されるまでの期間を評価するための期間であり、予め決められた閾値等である。
【0083】
すなわち、周辺車両が検出されない状態が長くなるほど、周辺車両の挙動は、最後に検出された周辺車両の挙動と異なっている可能性が高くなる。そこで、周辺車両が検出されない状態が短ければ、最後に検出された周辺車両の挙動に基づいて現在の周辺車両の挙動を推定すれば、妥当な推定となる。一方、周辺車両が検出されない状態が長ければ、最後に検出された周辺車両からの変化が大きくなる。そこで、周辺車両の最後に検出された周辺車両の車速より小さい車速であると推定すれば、車両に対するリスクが増加するように周辺車両の車速が推定することになる。従って、推定した車速が実際の周辺車両の車速と異なっていたとしても、リスクに対して余裕をもって対処できるように推定が行われる。
【0084】
さらに、本発明のように、周辺車両が検出される状態から検出されない状態に変化した場合、最後に検出された周辺車両に基づいて現在の周辺車両の挙動を推定する処理を行う手法は、方法やコンピュータに実行させるプログラムとしても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのプログラムの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【符号の説明】
【0085】
10…ナビゲーションシステム、20…制御部、21…周辺車両検出プログラム、21a…周辺車両検出部、21b…道路形状取得部、21c…挙動推定部、21d…リスク判定部、30…記録媒体、30a…地図情報、30b…画像情報、30c…周辺車両情報、40…カメラ、41…GNSS受信部、42…車速センサ、43…ジャイロセンサ、44…ユーザI/F部
図1
図2
図3
図4