IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アイシン精機株式会社の特許一覧

<>
  • 特許-障害物情報取得システム 図1
  • 特許-障害物情報取得システム 図2
  • 特許-障害物情報取得システム 図3
  • 特許-障害物情報取得システム 図4
  • 特許-障害物情報取得システム 図5
  • 特許-障害物情報取得システム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-06
(45)【発行日】2024-03-14
(54)【発明の名称】障害物情報取得システム
(51)【国際特許分類】
   G08G 1/16 20060101AFI20240307BHJP
   G06T 7/00 20170101ALI20240307BHJP
   G16Y 10/40 20200101ALI20240307BHJP
   G16Y 20/20 20200101ALI20240307BHJP
   G16Y 40/10 20200101ALI20240307BHJP
【FI】
G08G1/16 C
G06T7/00 650Z
G16Y10/40
G16Y20/20
G16Y40/10
【請求項の数】 4
(21)【出願番号】P 2022556410
(86)(22)【出願日】2021-07-19
(86)【国際出願番号】 JP2021026924
(87)【国際公開番号】W WO2022085258
(87)【国際公開日】2022-04-28
【審査請求日】2023-04-06
(31)【優先権主張番号】P 2020177046
(32)【優先日】2020-10-22
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110000660
【氏名又は名称】Knowledge Partners弁理士法人
(72)【発明者】
【氏名】藤田 邦光
(72)【発明者】
【氏名】竹内 鋭典
(72)【発明者】
【氏名】二村 光宏
【審査官】上野 博史
(56)【参考文献】
【文献】特開2019-171893(JP,A)
【文献】特開2018-089990(JP,A)
【文献】特開2007-034684(JP,A)
【文献】国際公開第2018/179275(WO,A1)
【文献】特開2013-037601(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00-99/00
G06T 7/00-7/90
G16Y 10/40
G16Y 20/20
G16Y 40/10
(57)【特許請求の範囲】
【請求項1】
車両が走行中の道路を撮影した画像を取得する画像取得部と、
前記画像から道路上の障害物と車線とを検出する画像認識部と、
前記画像における前記障害物が位置する車線の通行可能幅に基づいて、前記障害物の位置と前記画像とを対応付けた障害物情報を取得する障害物情報取得部と、
前記障害物情報に基づいて案内部に案内を行わせる案内制御部を備え、
前記案内制御部は、前記障害物が位置する車線を走行しており、前記障害物の位置を未通過の案内車両において、
道路上の前記障害物の位置と、前記障害物が位置する車線の前記通行可能幅を示す情報と、を含む前記障害物情報を取得させ、
前記障害物の位置と前記通行可能幅とに基づいて、前記障害物に関する案内を行わせ、
前記画像取得部が搭載された車両は前記案内車両とは異なり、
前記障害物の位置と前記案内車両の現在位置に基づいて、前記案内車両が、前記障害物が位置する車線を走行しており前記障害物の位置を未通過か否かが判定される、
障害物情報取得システム。
【請求項2】
車両が走行中の道路を撮影した画像を取得する画像取得部と、
前記画像から道路上の障害物と車線とを検出する画像認識部と、
前記画像における前記障害物が位置する車線の通行可能幅に基づいて、前記障害物の位置と前記画像とを対応付けた障害物情報を取得する障害物情報取得部と、
前記障害物情報に基づいて案内部に案内を行わせる案内制御部を備え、
前記案内制御部は、前記障害物が位置する車線を走行しており、前記障害物の位置を未通過の案内車両において、
前記障害物の存在を報知させ、
前記案内車両の通行幅が前記通行可能幅より大きい場合には、前記障害物が位置する車線以外の車線を推奨車線とする車線変更案内を行わせ、
前記画像取得部が搭載された車両は前記案内車両とは異なり、
前記障害物の位置と前記案内車両の現在位置に基づいて、前記案内車両が、前記障害物が位置する車線を走行しており前記障害物の位置を未通過か否かが判定される、
障害物情報取得システム。
【請求項3】
前記通行可能幅は、前記障害物が位置する車線の全幅のうち前記障害物に占有されていない部分の幅であり、
前記通行可能幅が既定値以下である場合に前記障害物情報が取得される、
請求項1または請求項2に記載の障害物情報取得システム。
【請求項4】
前記障害物の高さが基準以下である場合、前記障害物情報は取得されない、
請求項1または請求項2に記載の障害物情報取得システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、障害物情報取得システムに関する。
【背景技術】
【0002】
従来、道路上の落下物(障害物)を車両において検知することが知られている。特許文献1には、落下物に対して車両が回避操作を行ったか否かを示す情報と落下物の位置情報とを当該車両からサーバに送信し、サーバでは、同一の落下物に対して回避操作を行った車両の割合が所定以上である場合に後続車に落下物を回避すべきであることを通知することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2020-087309号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来の技術では、次のような場合に落下物を回避すべきものとして判定することができない。例えば、落下物の横を落下物から至近距離で通過した場合(僅かなステアリング操作で通過)や、落下物が存在する車線に隣接している車線を走行している場合(回避操作をしない)等である。
本発明は、上記課題にかんがみてなされたもので、障害物に対する回避操作が実施されたか否かに関わらず障害物の情報を取得することができる技術の提供を目的とする。
【課題を解決するための手段】
【0005】
上記の目的を達成するため、障害物情報取得システムは、車両が走行中の道路を撮影した画像を取得する画像取得部と、画像から道路上の障害物と車線とを検出する画像認識部と、画像における障害物が位置する車線の通行可能幅に基づいて、障害物の位置と画像とを対応付けた障害物情報を取得する障害物情報取得部と、を備える。
【0006】
すなわち、障害物情報取得システムでは、障害物が位置する車線の通行可能幅を画像から特定し、車線の通行可能幅に基づいて、障害物の位置と画像とを対応付けた障害物情報を取得する。従ってこの障害物情報取得システムによれば、実際に回避操作が実施されたか否かに関わらず障害物情報を取得することができる。
【図面の簡単な説明】
【0007】
図1】障害物情報取得システムの構成を示すブロック図。
図2図2Aは撮影された画像の例を示す図、図2Bは車幅軸と車長軸とを含む平面を示す図。
図3図3A図3Cは、障害物情報取得処理のフローチャート。
図4図4A図4Bは、第2実施形態にかかる障害物情報取得処理のフローチャート。
図5】第3実施形態にかかる障害物情報取得処理のフローチャート。
図6】撮影された画像の例を示す図。
【発明を実施するための形態】
【0008】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)第1実施形態:
(1-1)障害物情報取得システムの構成:
(1-2)障害物情報取得処理:
(2)第2実施形態:
(3)第3実施形態:
(4)他の実施形態:
【0009】
(1)第1実施形態:
(1-1)障害物情報取得システムの構成:
図1は、本発明にかかる障害物情報取得システムの構成を示すブロック図である。本実施形態において、障害物情報取得システムは、車載システム100とサーバ200と車載システム300とを備える。車載システム100は、本実施形態においてプローブ車両として機能する車両に備えられており、当該車両の周囲の画像を撮影しサーバ200に送信する機能を有している。車載システム300は、サーバ200から配信された情報に基づいて案内を実施する車両(案内車両)に備えられている。
【0010】
車載システム100は、制御部120と、記録媒体130と、カメラ140と、GNSS受信部141と、車速センサ142と、ジャイロセンサ143と、ユーザI/F部144と、通信部145を備えている。制御部120は、CPU,RAM,ROM等を備えるコンピュータである。車載システム100は、記録媒体130やROMに記憶されたプログラムを制御部120で実行することができる。記録媒体130には、予め地図情報130aと車体情報130bが記録されている。また、記録媒体130には、走行過程で撮影された画像および当該画像に対応付けられた情報を含む画像情報130cが記録される。
【0011】
地図情報130aは、プローブ車両の現在位置の特定や、経路案内等に利用される情報であり、プローブ車両が走行する道路上に設定されたノードの位置等を示すノードデータ,ノード間の道路の形状を特定するための形状補間点の位置等を示す形状補間点データ,ノード同士の連結を示すリンクデータ,道路やその周辺に存在する地物の位置や形状等を示す地物データ等を含んでいる。なお、本実施形態においてノードは交差点を示している。また、リンクデータには、当該リンクデータが示す道路区間に存在する車線の数および種別、車線の幅を示す情報が対応づけられている。本実施形態においてノードや形状補間点が示す位置は道路区間上の中央線の位置を示しており、当該位置と車線の数および車線の幅によって車線の位置や車線が存在する範囲が特定可能である。車体情報130bは、車載システム100を搭載しているプローブ車両の車体の情報であり、車体情報130bには、プローブ車両の全長、全幅、高さ等の車体の寸法を示す情報が含まれている。
【0012】
GNSS受信部141は、Global Navigation Satellite Systemの信号を受信する装置であり、航法衛星からの電波を受信、図示しないインタフェースを介してプローブ車両の現在位置を算出するための信号を出力する。制御部120は、この信号を取得して地図の座標系におけるプローブ車両の現在位置(緯度、経度等)を取得する。車速センサ142は、プローブ車両が備える車輪の回転速度に対応した信号を出力する。制御部120は、図示しないインタフェースを介してこの信号を取得し、車速を取得する。ジャイロセンサ143は、プローブ車両の水平面内の旋回についての角加速度を検出し、プローブ車両の向きに対応した信号を出力する。制御部120は、この信号を取得してプローブ車両の進行方向を取得する。車速センサ142およびジャイロセンサ143等は、プローブ車両の走行軌跡を特定するために利用され、本実施形態においては、プローブ車両の出発地と走行軌跡とに基づいて現在位置が特定され、当該出発地と走行軌跡とに基づいて特定されたプローブ車両の現在位置がGNSS受信部141の出力信号に基づいて補正される。
【0013】
カメラ140は、プローブ車両の前方に向けられた視野内の画像を取得する装置である。カメラ140の光軸はプローブ車両に対して固定されており、車載システム100において当該光軸の方向が既知であればよい。本実施形態において、カメラ140はプローブ車両の車幅方向と光軸中心が垂直で、プローブ車両の進行方向前方が視野に含まれるような姿勢でプローブ車両に取り付けられている。制御部120は、当該カメラ140の出力する画像を取得し、特徴量の抽出等により画像を解析することによって、撮影画像に含まれる検出対象の画像を検出することができる。
【0014】
ユーザI/F部144は、利用者の指示を入力し、また利用者に各種の情報を提供するためのインタフェース部であり、図示しないタッチパネル方式のディスプレイやスピーカ等を備えている。すなわち、ユーザI/F部144は画像や音の出力部およびユーザによる指示の入力部を備えている。ユーザI/F部144の出力部は、当該出力部の出力によって任意の情報を案内する案内部として機能し得る(後述のユーザI/F部344も同様)。通信部145は、他の装置と無線通信を行うための回路を含んでいる。本実施形態において、制御部120は、通信部145を介して、無線通信によってサーバ200と様々な情報を授受することができる。
【0015】
制御部120は、現在位置を含む地図の表示や、目的地までの経路を案内する図示しないナビゲーションプログラムを実行可能である。また、制御部120は、カメラ140で撮影した画像から道路上に存在する障害物を検出すると、障害物の位置と当該画像とを対応付けた障害物情報を取得する機能を実現することができる。当該機能は障害物情報取得プログラム121によって実現可能である。当該機能を実現するため、障害物情報取得プログラム121は、画像取得部121aと、画像認識部121bと、障害物情報取得部121cと、を備えている。案内制御部121dについては、第3実施形態にて説明する。
【0016】
画像取得部121aは、プローブ車両が走行中の道路を撮影した画像を取得する機能を制御部120に実行させるプログラムモジュールである。本実施形態においては、プローブ車両が走行している過程において制御部120が一定周期毎にカメラ140を制御し、プローブ車両の前方の道路を含む風景を撮影する。撮影によってカメラ140から出力された画像は、画像情報130cとして記録媒体130に記録される。なお、本実施形態において、制御部120は、GNSS受信部141,車速センサ142,ジャイロセンサ143の出力信号に基づいてプローブ車両の現在位置を取得し、画像を撮影した際のプローブ車両の現在位置および撮影時刻を対応付けて画像情報130cとして記録媒体130に記録する。なお、制御部120は、マップマッチング処理によりプローブ車両が走行中の道路区間を取得する。また、制御部120は、後述する画像認識処理によって車線の境界線や中央線、車道外側線等の区画線の位置を検出することにより、プローブ車両が走行中の車線を取得することが可能である。
【0017】
画像認識部121bは、画像から道路上の障害物と車線とを検出する機能を制御部120に実現させるプログラムモジュールである。制御部120は、画像認識処理を行って検出対象を検出する。本実施形態において、検出対象には、周辺車両(乗用車、トラック、バス、2輪車等)、交通標識、信号機、道路周辺の構造物(電柱、ガードレール等)、路面標示(文字、横断歩道、中央線、車線境界線、車道外側線等)等が含まれる。
【0018】
制御部120は、画像情報130cを取得し、レンズによる歪み補正等を施す。制御部120は、歪み補正後の画像に対して、車道外側線や車線境界線や中央線等の路上にペイントされた線を認識する。区画線認識処理は、種々の手法で実施されてよい。例えば、制御部120が、ハフ変換等を利用した直線検出処理を実行し、検出された直線によって挟まれる領域の色が白等の所定の色であり、当該領域の幅が既定距離以内である場合に車線境界線等や中央線等の路上にペイントされた線であるとして認識する処理等が挙げられる。
【0019】
さらに、制御部120は、YOLO(You Only Look Once)やパターンマッチング等を用いて、上述の検出対象を検出するための画像認識処理を実行する。画像認識処理の結果、制御部120は、撮影画像から検出対象の画像を検出する。なお上述の区画線認識処理がYOLOやパターンマッチング等によって行われても良い。例えば制御部120は、検出対象の1つである周辺車両を認識すると、当該周辺車両を囲むバウンディングボックスを画像内で特定する。バウンディングボックスの大きさおよび位置は、周辺車両の画像の大きさや、撮影された画像内における周辺車両の位置を示している。図2Aは、カメラ140によって撮影され、歪み補正が行われた後の画像Iの一例を示す図である。図2Aに示すように、本実施形態においてバウンディングボックスBは、画像Iから検出された周辺車両を囲む矩形領域である。
【0020】
バウンディングボックスBの大きさや位置は、例えばバウンディングボックスBの左上の頂点の座標と右下の頂点の座標によって表される。制御部120は、バウンディングボックスBの対角2頂点の座標から、バウンディングボックスBの高さh(画素数)と、バウンディングボックスBの代表座標Bo(x、y)を取得する。代表座標Boは、例えばバウンディングボックスBの中心座標(幅方向および高さ方向の中点)等である。制御部120は、バウンディングボックスBの代表座標Boの位置に基づいて、プローブ車両から見た周辺車両の相対方位を特定する。また、制御部120は、バウンディングボックスBの高さhおよび周辺車両の種類に基づいて、プローブ車両から周辺車両までの距離を特定する。
【0021】
具体的には、画像I内の各座標には、プローブ車両を基準とした場合の、当該座標に写る物体の相対方位が対応付けられており、対応関係を示す情報が記録媒体130に記憶されている。制御部120はこの対応関係に基づいて、代表座標Boに写る周辺車両の相対方位を取得する。本実施形態においては、プローブ車両を基準とした車両座標系が定義される。車両座標系は、互いに直交する車幅軸(図2Bに示すX軸)と車長軸(図2Bに示すY軸)とで定義される座標系である。
【0022】
図2Bは車幅軸と車長軸とを含む平面を示している。同図において点Oは、プローブ車両における車両座標系の原点である。図2Bの例において、車長軸はプローブ車両が走行している道路区間を示すリンクと平行である。相対方位は、例えば、車両座標系の原点Oと代表座標Boに対応する地点Pとを結ぶ直線SLと車長軸とのなす角度(θ)で表現される(例えばθが負値の場合は進行方向前方に向かって車長軸の左側、正値の場合は右側であることを示す)。
【0023】
さらに、制御部120は、画像認識処理により、バウンディングボックスB内の周辺車両の種類を特定する。周辺車両の種類は、例えばバス、トラック、乗用車、2輪車等のように分類されてよい。また、本実施形態においては周辺車両の種類毎に、代表的な車高(例えば乗用車の場合、1.5[m]等)が規定されている。さらに、プローブ車両と周辺車両との直線距離と、当該周辺車両をカメラ140で撮影した場合のバウンディングボックスBの高さhとが予め計測されている。そして、周辺車両の種類毎に、バウンディングボックスBの高さhと、車両座標系の原点を基準とした直線距離との対応関係を示す情報が記録媒体130に記憶されている。
【0024】
例えば、車高の代表的な実寸が1.5[m]の乗用車を囲むバウンディングボックスの高さがh1画素であれば直線距離がD1[m]であり、h2画素であれば直線距離がD2[m]であることが対応付けられている。バスやトラック、2輪車等の他の種類についてもそれぞれ対応関係を示す情報が記録媒体130に記憶されている。制御部120は、この対応関係に基づいて、バウンディングボックスBの高さhに対応する直線距離D(図2Bを参照)を算出する。以上のようにして、制御部120は、カメラ140が撮影した画像に基づいて、画像内に含まれる周辺車両の相対方位θと、プローブ車両との直線距離Dを取得する。
【0025】
本実施形態においては、カメラ140による撮影周期毎に画像が撮影され、各画像について周辺車両の特定および直線距離、相対方位の特定が行われる。従って、数フレームの撮影過程に渡って同一の周辺車両が認識され得る。そこで、本実施形態において、制御部120は、同一の周辺車両が撮影されている間、当該周辺車両に対して同一の識別情報を付与する。このため、制御部120は、相対方位θと直線距離Dが特定された各周辺車両の画像の特徴(例えば、色、バウンディングボックスB内の模様等)を特定し、当該特徴に対応した識別情報(例えば、番号等)を、相対方位θ、直線距離D、周辺車両の特徴を示す情報および画像の撮影時刻に対応付けて記録媒体130に記録する。
【0026】
画像が撮影されるたびに同一の周辺車両に対して同一の識別情報を付与するため、制御部120は、記録媒体130を参照し、直前の画像と最新の画像で認識された周辺車両に対応づけられた画像の特徴と一致するか否か判定する。一致する場合、制御部120は、直前の画像において周辺車両に付与された識別情報を、最新の画像で認識された周辺車両に対しても付与する。この結果、カメラ140によって撮影され続けられる周辺車両に対しては同一の識別情報が付与される。むろん、連続するフレームにおいて特徴が同一の画像が撮影されたとしても、制御部120は、両者の画像の距離が閾値以上である場合に同一とみなさないなどの各処理が行われてよい。いずれにしても、同一の識別情報が付与された画像が検出されている期間においては、同一の周辺車両が検出され続けているとみなすことができる。
【0027】
続いて制御部120は、画像認識処理で認識された各周辺車両の相対方位θと直線距離Dと特徴に対応した識別情報を取得する。すなわち、画像認識処理は画像情報130cが取得されるたびに行われるため、制御部120は、現在以前の既定期間内に撮影された画像情報130cにおいて実施された画像認識処理の結果から、当該既定期間分に得られた相対方位θと直線距離Dと特徴に対応した識別情報とを時系列で取得する。
【0028】
また、制御部120は、相対方位θおよび直線距離Dの算出元となった画像情報130cのそれぞれに対応づけられていたプローブ車両の現在位置(カメラ140で画像情報130cを撮影した際の現在位置)や進行方位(車長軸が示す方位)を取得する。そして、制御部120は、相対方位θ、直線距離D、プローブ車両の現在位置およびプローブ車両の進行方位に基づいて、地図の座標系における周辺車両の位置を取得する。すなわち同じ識別情報が対応付けられた周辺車両毎に地図の座標系における位置を取得する。
【0029】
さらに、制御部120は、周辺車両が位置する道路区間および車線を特定する。すなわち、制御部120は、プローブ車両が走行中の道路区間およびその周辺の道路区間のノードデータおよび形状補間データと、周辺車両の位置とに基づいて、当該周辺車両が存在する道路区間を特定し、当該道路区間のノードデータおよび形状補間データに基づいて当該道路区間上の中央線の位置を特定する。さらに、制御部120は、地図情報130aを参照し、当該道路区間の車線情報に基づいて当該道路区間上の車線の幅を特定する。そして、制御部120は、中央線と周辺車両との距離に基づいて周辺車両が位置している車線を取得する。なお、画像から検出した周辺車両が位置する車線の領域の幅方向の両端の区画線の線種と、地図情報130aから取得した車線情報に基づいて、周辺車両が位置する車線を特定してもよい。
【0030】
現在以前の既定期間内に撮影された画像情報130cにおいて、ある識別情報の周辺車両の位置の変化量が閾値以下である場合、制御部120は当該周辺車両を停止車両と見なす。また、本実施形態において、交通渋滞によって停止している周辺車両は、障害物とみなされない。具体的には例えば、プローブ車両と、当該プローブ車両の進行方向と同じ進行方向を向いている周辺車両と、がともに停止している場合、制御部120は、停止している周辺車両を障害物と見なさない。一方、特定の位置に周辺車両が停止している一方で、プローブ車両や、当該プローブ車両の進行方向と同じ進行方向を向いている他の周辺車両が移動している場合、制御部120は、停止している周辺車両を障害物と見なす。また例えば、当該周辺車両が位置する車線の進行方向とプローブ車両の進行方向が同じであり、プローブ車両が当該周辺車両の横を通過したが当該周辺車両は継続的に停止していると判断した場合にも、制御部120は、当該周辺車両を障害物と見なす。
【0031】
次に、車両以外の障害物の検出について説明する。制御部120は、画像内において区画線に挟まれた領域を路面(車線)の領域として特定する。制御部120は、区画線以外の路面標示が画像内に存在する場合には当該路面標示を認識する。そして、制御部120は、路面(車線)の領域に少なくとも一部が含まれる物体であって路面標示以外の物体を検出した場合、プローブ車両を基準とした当該物体の相対位置を取得する。例えば制御部120は、当該物体の例えば中央部の画像内における座標から、当該物体とプローブ車両との直線距離や相対方位を取得することができる。制御部120は画像撮影時のプローブ車両の現在位置および進行方位と当該直線距離と相対方位に基づいて、地図の座標系における当該物体の位置を特定する。現在以前の既定期間内に撮影された画像情報130cにおいて、同一の物体について位置を時系列に取得する。当該物体の位置の変化量が閾値以下である場合に、制御部120は、当該物体を障害物と見なす。
【0032】
障害物情報取得部121cは、画像における障害物が位置する車線の通行可能幅に基づいて、障害物の位置と画像とを対応付けた障害物情報を取得する機能を制御部120に実現させるプログラムモジュールである。本実施形態においては、画像に基づいて、障害物が位置する車線の通行可能幅を算出し、通行可能幅が既定値以下である場合に障害物情報をサーバ200に送信する。通行可能幅は、車線の全幅のうち障害物に占有されていない部分の幅である。制御部120は、障害物が位置する車線における障害物の位置から、車線において障害物に占有されていない部分を特定し、当該部分の実空間における幅を算出する。具体的には例えば、制御部120は、障害物の画像の底部の水平方向における端部の画像内の座標を取得し、画像内において当該端部から水平方向に延びる直線と、障害物が位置する車線の境界を示す区画線との交点の座標を算出する。制御部120は、端部と交点とを結ぶ線分の長さ(画素数)を取得する。図2Aのwは、障害物を含む画像の一例におけるこの線分を示している。画像Iにおいてy座標毎にx方向の画素数と実空間における距離との対応関係が予め定義されており、この対応関係は記録媒体130に記録されている。端部および交点のy座標と、端部と交点とを結ぶ線分の長さ(画素数)と、この対応関係とから、制御部120は障害物の端部と車線の境界を示す区画線との実際の距離(通行可能幅)を取得することができる。
【0033】
制御部120は、この通行可能幅が既定値以下であるか否かを判定する。既定値は、障害物を回避するために、障害物が位置する車線の外側にはみ出して走行する可能性があるか否かを判別するための値である。例えば、車線の幅そのものの値から、想定しうる車両最大幅に既定のマージンを追加した値までの値を既定値として採用可能である。制御部120は、通行可能幅が既定値以下である場合に、画像情報130cのうち対象とする障害物を含む少なくとも1個の画像と、当該障害物の位置とを対応付けた障害物情報を取得し、サーバ200に送信する。障害物の位置には、地図の座標系における座標、障害物が位置する道路区間を示すリンクID、障害物が位置する車線の識別情報が含まれる。なお、障害物情報には、画像の撮影日時、撮影時のプローブ車両の位置も含まれてよい。通行可能幅が既定値より大きい場合、本実施形態においては、制御部120は、障害物情報をサーバ200に送信しない。従ってこの場合、本実施形態においては案内車両において当該障害物に関する案内はなされない。
【0034】
なお、本実施形態において、障害物の種類が車両であり、なおかつ画像認識処理により得られた車両の種別がバスである場合、制御部120は、車線の通行可能幅を算出せず、また、障害物情報をサーバ200に送信しない。なお、障害物として検出されたバスの停止位置がバス停であるか否かを判定し、バス停である場合に、障害物情報をサーバ200に送信しないように構成されてもよい。バスがバス停に停止している場合、制御部120は、乗降のための一時的な停車であると見なし、本実施形態においては、バスについての障害物情報をサーバ200送信しない。この結果、無用に多くの障害物情報がサーバ200に送信されることを防止できる。なお、バス停の位置は、地図情報130aに基づいて取得可能であり、プローブ車両の位置や向き(進行方位)と撮影画像に基づいてバスの位置を算出し、バスの位置とバス停の位置とを照合することでバスがバス停に停車しているか否かを判定することができる。なお、画像に含まれるバス停を示す看板等を検出することにより、バスの位置がバス停に該当すると判定することもできる。
【0035】
また、本実施形態において、障害物の高さが基準以下である場合、制御部120は当該障害物についてのサーバ200に障害物情報を送信しない。障害物の高さが基準以下である場合(ここでは、平らな状態の段ボール、平らな状態のビニール袋、つぶれた空き缶等の薄く平らな物体を想定している)、回避せずとも走行できる可能性があると見なし、障害物情報を送信しない。この結果、無用に多くの障害物情報がサーバ200に送信されることを防止できる。なお、画像内における物体の底部の座標と、当該底部から画像の高さ方向(y方向)における物体の画素数と、当該物体の実際の高さとの対応関係が予め記録媒体130に記録されており、障害物の高さは、画像内における障害物の座標と、画像の高さ方向(y方向)における障害物の画素数と、この対応関係に基づいて取得可能である。
【0036】
以上のように、本実施形態によれば、プローブ車両に備えられたカメラ140で撮影した画像に基づいて障害物を回避するために車線をはみ出して走行する可能性がある場合に、障害物の位置と画像とを対応付けた障害物情報をサーバ200に送信することができる。そのため、実際に回避操作が行われたか否かに関わらず障害物情報を取得することができる。例えば、急ハンドル等の回避操作を行わずに回避操作と判断されない程度の緩やかなハンドル操作等で障害物を通過したプローブ車両や、障害物が位置する車線以外の車線(例えば隣りの車線や対向車線)を走行しているために回避操作を行わなかったプローブ車両が撮影した画像からも障害物情報を取得することができる。
【0037】
次に、サーバ200の構成について説明する。本実施形態においてサーバ200は、障害物情報を案内車両に配信する機能を有する。サーバ200は、一台で構成されても良いし、複数台で構成されても良い。サーバ200は、制御部220、記録媒体230、通信部240を備えている。制御部220は、CPU,RAM,ROM等を備えるコンピュータである。制御部220は、記録媒体230やROMに記憶された障害物情報取得プログラム221を実行することができる。
【0038】
通信部240は、他の装置と通信を行う回路を備えている。制御部220は、障害物情報取得プログラム221の処理によって、通信部240を介して、車載システム100,300等と無線通信することができる。記録媒体230には、地図情報230aが記録されている。地図情報230aは地図情報130aの構成と共通である。
【0039】
本実施形態において、障害物情報取得プログラム221が実行されると、制御部220は、障害物情報取得部221a、案内制御部221bとして機能する。本実施形態において、制御部220は、障害物情報取得部221aの機能により、プローブ車両として機能する車両に搭載された車載システム100から障害物情報を受信すると、記録媒体230に保存する(障害物情報230b)。また、制御部220は、障害物情報に含まれる画像に対して上述した画像認識処理を行い、障害物を検出し、障害物が位置する車線における通行可能幅を算出する。制御部220は、複数のプローブ車両から同一地点に位置する障害物についての障害物情報をそれぞれ取得している場合には、例えば、各障害物情報に含まれる画像からそれぞれ通行可能幅を算出し、通行可能幅の統計値を算出するようにしてもよい。また、障害物の位置が変化している可能性もあることから、現在時刻から一定時間より以前に算出した通行可能幅は統計値算出の対象外としてもよい。
【0040】
案内制御部221bは、障害物情報に基づいて障害物に関する案内を行わせる機能を制御部220に実現させるプログラムモジュールである。なお、本実施形態において案内制御部は、サーバ200の案内制御部221bと案内車両の案内制御部32aの協働によって実現される。本実施形態においてサーバ200における案内制御部221bは、障害物の位置を含む既定範囲内に位置する車両を特定し、当該車両に障害物情報を配信し、当該車両において障害物情報に基づく案内を行わせる機能である。本実施形態において、障害物の位置を含む既定範囲は、障害物の位置を中心とする既定距離四方の範囲や、半径既定距離の範囲、障害物の位置を含むメッシュ等を想定してよい。
【0041】
この機能を実現するため、制御部220は、通信可能な車載システム(案内車両となりうる車両に搭載された車載システム)から送信された車両位置情報を取得し、記録媒体230に、案内車両となりうる車両の位置を保存する。制御部220は、障害物情報230bに基づいて、障害物の位置を含む既定範囲を設定し、当該既定範囲内に位置する車両を特定する。なお特定した車両の中にプローブ車両が含まれていてもよい。そして、特定した車両に対して障害物情報を配信する。本実施形態において、サーバ200から配信される障害物情報には、障害物の位置、障害物の位置する道路区間および車線、通行可能幅(あるいはその統計値)が含まれている。本実施形態において、サーバ200から配信される障害物情報には、障害物を含む画像は含まれていなくてもよい。
【0042】
次に、案内車両に搭載される車載システム300の構成を説明する。車載システム300は、制御部320と、記録媒体330と、カメラ340と、GNSS受信部341と、車速センサ342と、ジャイロセンサ343、ユーザI/F部344と、通信部345を備えている。車載システム300が備えるこれらの構成は、車載システム100が備える140から145の構成と同様の機能を有する。また、記録媒体330に記録されている地図情報330aは、地図情報130aと共通の構成である。車体情報330bは、車載システム300を搭載している案内車両の車体の情報であり、当該案内車両の全長、全幅、高さ等の情報が含まれる。
【0043】
制御部320は、案内車両の現在位置を含む地図の表示や、目的地までの経路を案内する図示しないナビゲーションプログラムを実行可能である。本実施形態において、制御部320は、ナビゲーションプログラムの一機能としての障害物情報取得プログラム321を実行することができる。障害物情報取得プログラム321は、案内制御部321aを備えている。案内制御部321aは、障害物情報に基づいて案内を行う機能を制御部320に実現させるプログラムモジュールである。制御部320は、案内制御部321aの機能により、案内車両の現在位置を取得する。また、案内車両の現在位置を示す車両位置情報を既定のタイミングでサーバ200に送信するように構成されている。さらに制御部320は、サーバ200から障害物情報を取得すると、障害物情報から障害物の位置や、障害物が位置する道路区間および車線を特定する。障害物の位置する道路区間および車線を案内車両が走行中であり、障害物の位置を未通過である場合に、制御部320は、案内車両の通行幅が通行可能幅より大きいか否かを判定する。すなわち制御部320は、車体情報330bを参照し、案内車両の全幅を取得し、全幅に既定のマージン分の幅を加えた通行幅を算出する。
【0044】
障害物情報として受信した通行可能幅より案内車両の通行幅の方が大きい場合、障害物を回避するために隣りの車線にはみ出すことが予想されるとし、制御部320は、障害物が位置する車線以外の車線を推奨車線とする車線変更案内を行う。案内車両の通行幅が通行可能幅以下である場合、隣りの車線にはみ出さずとも障害物を回避することができると判断し、制御部320は、障害物が存在することを報知し注意喚起を促す案内を行う。案内車両の通行幅は案内車両の全幅等に応じて異なるため、本実施形態のように、案内車両毎に案内車両の通行幅を算出し通行可能幅と比較することによって、車線変更が必要な案内車両に対して車線変更案内を行うことができる。
【0045】
制御部320は、ユーザI/F部344のタッチパネルディスプレイに表示された地図において、障害物の位置に障害物を示すアイコンを表示することで、障害物の位置を報知する。また、案内車両と障害物までの道路に沿った距離K[m]を算出し、音声によってK[m]前方に障害物が存在することを報知してもよい。また、車線変更案内を行う場合、制御部320は、走行中の道路区間の車線のうち、障害物が位置する車線と当該車線とは異なる推奨車線とを、レーンリスト図等を表示することによって報知する。
【0046】
なお、案内車両の車載システム300もプローブ車両の車載システム100と同等の機能を備えていて良い。すなわち、サーバ200から送信された障害物情報が示す障害物の位置を通過する際に、案内車両にて撮影された画像と障害物の位置とを対応付けた障害物情報をサーバ200に送信するように構成されていてもよい。このようにすることで、サーバ200は、案内車両から送信された画像に基づいて、障害物がまだ道路上に存在すること(道路から撤去されていないこと)を認識することができる。また、同一の障害物を撮影した画像の蓄積数が増えるため、当該画像に基づいて算出される通行可能幅の統計値の信頼度が高まる。
【0047】
なお、当該障害物の位置の既定距離前(カメラ340の視野内に障害物の位置が含まれる程度の距離)にカメラ340にて撮影した画像を案内車両の制御部320が解析し、障害物の存在が画像から認識されなかったとしても、撮影時の案内車両の位置と撮影日時と対応付けて画像を、サーバ200に送信するように構成されていてもよい。このようにすることで、サーバ200では案内車両から当該画像や撮影日時や撮影位置を取得すると、画像に対して画像認識処理を行い、障害物が撤去されていた場合は障害物が画像に含まれていないことを認識することができる。それまで障害物が存在していた位置を撮影した画像に障害物が含まれないことを1以上の画像に基づいて認識した場合、サーバ200の制御部220は、障害物が路上から撤去されたと判定し、以降は当該障害物にかかる障害物情報の配信を終了してもよい。
【0048】
(1-2)障害物情報取得処理:
次に、プローブ車両の車載システム100において制御部120が実行する障害物情報取得処理を、図3Aを参照しながら説明する。図3Aの処理は、一定時間経過毎に実行される。図3Aの障害物情報取得処理が開始されると、制御部120は、プローブ車両の現在位置を取得する(ステップS100)。すなわち、制御部120は、GNSS受信部141,車速センサ142,ジャイロセンサ143の出力と、地図情報130aを用いたマップマッチング処理により、プローブ車両の現在位置および走行中の道路区間(リンク)を取得する。また、カメラ140が撮影した画像に含まれる区画線を検出しプローブ車両が走行中の車線を特定する。
【0049】
続いて制御部120は、画像取得部121aの処理により、撮影画像を取得する(ステップS102)。すなわち、制御部120はカメラ140が撮影した画像を取得する。続いて制御部120は、画像認識部121bの機能により、画像認識を行う(ステップS105)。すなわち、制御部120は、ステップS102にて取得した画像について、検出対象を検出するための画像認識処理を行う。そして上述したように車線や障害物の検出を行う。
【0050】
続いて、制御部120は、画像認識部121bの機能により、障害物が存在するか否かを判定する(ステップS110)。すなわち、制御部120は、ステップS105の画像認識処理の結果、障害物が検出されたか否かを判定する。ステップS110において障害物が存在すると判定されなかった場合、制御部120は障害物情報取得処理を終了する。ステップS110において障害物有りと判定された場合、制御部120は、画像認識部121bの機能により、障害物は車両であるか否かを判定する(ステップS115)。すなわち制御部120は、画像において、周囲の車両が走行しているにも関わらず継続的に停止している車両が検出されたか否かを判定する。
【0051】
ステップS115において障害物が車両であると判定された場合、制御部120は、障害物がバスであるか否かを判定する(ステップS120)。すなわち制御部120は、画像認識処理によって得られた周辺車両の種別がバスであるか否かを判定する。ステップS120において障害物がバスであると判定された場合、制御部120は障害物情報取得処理を終了する。
【0052】
ステップS115において障害物が車両であると判定されなかった場合、制御部120は、車両以外の障害物の高さが基準以上であるか否かを判定する(ステップS125)。すなわち制御部120は、画像の高さ方向における障害物の画素数と障害物の画像における座標等に基づいて、障害物の高さを算出する。ステップS125において高さが基準以上であると判定されなかった場合、制御部120は障害物情報取得処理を終了する。
【0053】
ステップS120において障害物はバスであると判定されなかった場合、すなわち、乗用車やトラック等のバス以外の停止車両である場合、制御部120は、障害物情報取得部121cの機能により、通行可能幅を算出する(ステップS130)。また、ステップS125において高さが基準以上であると判定された場合も制御部120はステップS130を実行する。ステップS130では、車線の全幅のうち障害物に占有されていない部分の幅が通行可能幅として算出される。
【0054】
ステップS130を実行後、制御部120は、障害物情報取得部121cの機能により、通行可能幅は既定値以下であるか否かを判定し(ステップS135)、既定値以下である場合、障害物の位置と画像とを対応付けた障害物情報をサーバ200に送信する(ステップS140)。本実施形態において、障害物情報には、障害物を含む少なくとも1個の画像と、当該障害物の位置(地図の座標系における座標、障害物が位置する道路区間を示すリンクID、障害物が位置する車線の識別情報)、画像の撮影日時、撮影時のプローブ車両の位置等が含まれる。ステップS135において通行可能幅が既定値以下であると判定されなかった場合、制御部120は、障害物情報取得処理を終了する。
【0055】
図3Bは、サーバ200にて実行される障害物情報取得処理のフローチャートである。図3Bの処理は、一定時間経過毎に繰り返し実行される。図3Bの処理が開始されると、制御部220は、障害物情報取得部221aの機能により、障害物情報を取得する(ステップS200)。すなわち、制御部220は、プローブ車両の車載システム100から受信した障害物情報を取得し、障害物情報から、障害物が位置する道路区間(リンク)を取得する。
【0056】
続いて、制御部220は、案内制御部221bの機能により、車両位置情報を取得する(ステップS205)。すなわち、制御部220は、案内車両の車載システム300から送信された車両位置情報を取得する。
【0057】
続いて、制御部220は、障害物の位置を含む既定範囲内の案内車両に障害物情報を送信する(ステップS210)。すなわち、制御部220は、ステップS200で取得した障害物情報とステップS205で取得した車両位置情報に基づいて、障害物の位置を含む既定範囲内に位置する案内車両を特定し、当該案内車両の車載システム300に対して障害物情報を配信する。
【0058】
図3Cは、車載システム300にて実行される障害物情報取得処理のフローチャートである。図3Cに示す処理は一定時間経過毎に繰り返し実行される。図3Cに示す障害物情報取得処理が開始されると、制御部320は、案内制御部321aの機能により、現在位置を取得する(ステップS300)。すなわち、制御部320は、GNSS受信部341,車速センサ342,ジャイロセンサ343の出力と、地図情報330aを用いたマップマッチング処理により、案内車両の現在位置および走行中の道路区間(リンク)を取得する。また、制御部320は、カメラ340が撮影した画像に含まれる区画線を検出し案内車両が走行中の車線を特定する。
【0059】
続いて制御部320は、案内制御部321aの機能により、障害物情報を取得する(ステップS305)。すなわち、制御部320は、サーバ200から配信された障害物情報を取得する。障害物情報には障害物が位置する道路区間および車線が含まれている。
【0060】
続いて制御部320は、案内制御部321aの機能により、障害物が位置する道路区間および車線を案内車両が走行中であり、且つ、障害物を未通過であるか否かを判定する(ステップS310)。すなわち、制御部320は、案内車両が障害物と同じ道路区間を走行中であり、障害物が位置する車線と同じ車線を走行中であるか否かを判定する。道路区間も車線も同じである場合に、案内車両の現在位置と障害物の位置と、道路区間の形状と、車線の進行方向とに基づいて、制御部320は、案内車両は障害物を未通過であるか既に通過したかを判定する。
【0061】
ステップS310において、障害物が位置する道路区間および車線を案内車両が走行中であり且つ障害物を未通過であると判定されなかった場合、制御部320は図3Cの処理を終了する。ステップS310において、障害物が位置する道路区間および車線を案内車両が走行中であり且つ障害物を未通過であると判定された場合、制御部320は、案内制御部321aの機能により、案内車両の通行幅が通行可能幅よりも大きいか否かを判定する(ステップS315)。すなわち制御部320は、車体情報330bに基づいて案内車両の通行幅を取得し、当該通行幅と、サーバ200から取得した通行可能幅とを比較する。ステップS315において、案内車両の通行幅が通行可能幅より大きいと判定された場合、制御部320は、案内制御部321aの機能により、車線変更案内を行う(ステップS320)。ステップS315において、案内車両の通行幅が通行可能幅より大きいと判定されなかった場合、制御部320は、案内制御部321aの機能により、注意喚起案内を行う(ステップS325)。なお、ステップS320やステップS325の案内は、目的地までの経路案内中であるか否かに関わらず行われて良い。
【0062】
(2)第2実施形態:
第2実施形態が第1実施形態と相違する点は、通行可能幅に応じてサーバ200に送信される障害物情報の内容である。図3Aを参照しながら具体的に説明する。ステップS130において画像に基づいて通行可能幅を算出した後、通行可能幅が既定値以下であるか否かを判定し、既定値以下でない場合(ステップS135:N)には、障害物の位置を含み画像を含まない障害物情報をサーバ200に送信する。通行可能幅が既定値以下である(ステップS135:Y)場合には、第1実施形態と同様に、障害物の位置と画像とを対応付けた障害物情報をサーバ200に送信する(ステップS140)。この場合、既定値としては例えば、想定しうる車両最大幅に既定のマージンを追加した値を採用可能である。すなわち、最も全幅が大きい車両でも車線外にはみ出すことなく通行できると判断される場合は、障害物の位置はサーバ200にアップロードするが障害物を含む画像はサーバ200にアップロードしない(この場合の障害物情報には画像は含まれず障害物の位置は含まれる)。このように、本実施形態の場合、多くの車両において通行に大きな影響を及ぼさない程度の障害物については画像が送信されないため、無用に多くの画像がサーバ200に送信されることを防止できる。
【0063】
図4Aは第2実施形態のサーバ200における障害物情報取得処理のフローチャートであり、図4Bは第2実施形態の案内車両の車載システム300における障害物情報取得処理のフローチャートである。図4Aおよび図4Bにおいては、第1実施形態と相違する処理ステップを太線枠で示している。サーバ200においては、障害物の位置を含むが画像を含まない障害物情報を受信した場合(図4AのステップS206においてN判定)、制御部220は、障害物の位置を含む既定範囲内に位置する案内車両に、障害物の位置と注意喚起案内を実施する旨を含む障害物情報を送信する(ステップS207)。車載システム300においては、サーバ200から受信した障害物情報に注意喚起案内を行う旨が含まれている場合(図4BのステップS306においてY判定)、障害物の位置に到達する前に障害物の位置を報知し注意喚起案内を行う(ステップS325)。
【0064】
一方、サーバ200において、障害物の位置と画像とを対応付けた障害物情報を受信した場合(図4AのステップS206においてY判定)、制御部220は、第1実施形態と同様に、受信した画像について画像認識処理を行って通行可能幅を算出し、車載システム300に障害物の位置と通行可能幅とを含む障害物情報を送信する(ステップS210)。車載システム300では、サーバ200から受信した障害物情報に注意喚起案内を行う旨が含まれていない場合(図4BのステップS306においてN判定)、第1実施形態と同様にステップS310以降の処理を行う。
【0065】
(3)第3実施形態:
第3実施形態では、プローブ車両の車載システム100の制御部120は、画像取得部121aと画像認識部121bと障害物情報取得部121cに加えて、案内制御部121dをさらに備えている。図5は第3実施形態にかかるプローブ車両の障害物情報取得処理のフローチャートである。図5において第1実施形態と相違する処理ステップを太枠で示している。第3実施形態において、車載システム100の制御部120は、撮影画像に対する画像認識処理によって案内すべき障害物の存在を認識すると、画像に基づいて通行可能幅を算出する(ステップS130)。そして制御部120は、案内制御部121dの機能により、プローブ車両は障害物が位置する車線を走行中であるか否かを判定する(ステップS145)。ステップS145において障害物の車線を走行中であると判定されない場合、制御部120は障害物情報取得処理を終了する。ステップS145にて障害物の車線を走行中であると判定された場合、制御部120は案内制御部121dの機能により、プローブ車両の通行幅が通行可能幅より大きいか否かを判定する(ステップS150)。プローブ車両の通行幅が通行可能幅より大きい場合(ステップS150においてY判定)、制御部120は、案内制御部121dの機能により、障害物が位置する車線以外の車線を推奨車線とする車線変更案内を行う(ステップS155)。また、プローブ車両の通行幅が通行可能幅以下である場合(ステップS150においてN判定)、制御部120は案内制御部121dの機能により、障害物の位置を報知することで注意喚起案内を行う(ステップS160)。なお、プローブ車両の通行幅は車体情報130bの全幅に所定のマージンを追加した値である。本実施形態によれば、障害物を検知したプローブ車両において、障害物に対処するための案内を、サーバ200を介さずとも行うことができる。
【0066】
(4)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、障害物情報取得システムは、車両等に搭載された装置であっても良いし、可搬型の端末によって実現される装置であっても良いし、複数の装置(例えば、車載システム100内の制御部120とカメラ140内の制御部等)によって実現されるシステムであっても良い。また、障害物情報取得システムを構成する画像認識部、障害物情報取得部の機能がサーバで実現されてもよい。また、画像認識部や障害物情報取得部の機能が案内車両の車載システムで実現されてもよい。車載システム300や車載システム100は共に、プローブ車両の車載システムにもなり得、案内車両の車載システムにもなり得る。上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。
【0067】
画像取得部は、プローブ車両が走行中の道路を撮影した画像を取得することができればよい。プローブ車両に取り付けられたカメラは、プローブ車両の前方の道路を視野に含むカメラであってもよいし、後方の道路や側方の道路を視野に含むカメラであってもよい。カメラが撮影した画像に含まれる物体の位置(プローブ車両を基準とした相対位置)を特定できるように予め調整されていればよい。プローブ車両を基準とした相対位置が取得できれば、当該相対位置とプローブ車両の絶対位置とに基づいて物体の絶対位置を取得することができる。
【0068】
画像認識部は、画像から道路上の障害物と車線とを検出することができればよく、どのような手法が採用されてもよい。例えば、撮影された画像に障害物が含まれるか否かは、障害物が有するパターンと照合することによって行われても良いし、障害物の画像を教師データとして機械学習されたモデルを用いて行われても良い。また、画像認識部は、障害物が位置する道路区間における全車線のうち障害物が位置する車線を画像に基づいて特定することができればよい。なお、障害物や、車線の境界を示す区画線は、カメラとカメラ以外の検出装置(例えばレーダやLiDAR等)を併用することで検出されてもよい。
【0069】
障害物情報取得部は、画像における障害物が位置する車線の通行可能幅に基づいて、障害物の位置と画像とを対応付けた障害物情報を取得することができればよい。障害物は、車両が通行する際の妨げとなりうる物であればよい。障害物は、路面の上に存在するものであってもよいし、例えば道路に形成された凹部であってもよい。凹部の場合、大きさが大きさの基準より小さい場合や深さが深さの基準より浅い場合は、障害物情報取得の対象外としてもよい。
【0070】
障害物情報は、少なくとも、障害物を含む画像と当該障害物の位置とを対応付けた情報であればよい。障害物の位置は障害物の位置を直接的に示す座標であってもよいし、間接的に示す情報であってもよい。後者の場合、例えば障害物情報は、障害物を含む画像撮影時のプローブ車両の位置および進行方位と撮影画像とが対応付けられた情報であってもよい。
【0071】
サーバと通信可能な車載システムは、当該車載システムを搭載している車両のIDと対応付けて車両位置情報もサーバに送信するように構成され、さらに車両のIDに対応付けて車体情報も送信するように構成されていてもよい。その場合、サーバにおいて各車両の車体情報に基づいて各車両の通行幅を特定することが可能であり、通行可能幅と案内車両の通行幅との大小比較はサーバにおいて行うことが可能である。そして、通行幅が通行可能幅より大きい案内車両の車載システムに対しては、障害物が位置する車線を走行中であれば車線変更案内をするように通知し、通行幅が通行可能幅以下である案内車両の車載システムに対しては、注意喚起案内をするように通知してもよい。そして案内車両の車載システムにおいては当該通知に従って案内を行うように構成されていてもよい。
【0072】
また、上記実施形態においては、障害物の位置を含む既定範囲内に位置する案内車両に障害物情報を配信していたが、配信先をさらに限定してもよい。例えば、障害物が位置する道路区間を走行中の車両に障害物情報を送信してもよいし、さらに障害物が位置する車線を走行中の車両に絞って障害物情報を送信してもよい。また、目的地までの経路が設定済みの場合であって、経路に障害物が位置する道路区間が含まれる場合に当該車両に障害物情報を送信してもよい。
【0073】
なお上記実施形態においては、プローブ車両において画像認識処理を行って通行可能幅を算出し、サーバにおいても再度画像に対して画像認識処理を行って通行可能幅を算出する構成であったが、プローブ車両において通行可能幅を算出した場合、サーバにおいて再度画像認識処理を行わなくても良い。すなわち、プローブ車両による画像認識処理の結果取得された通行可能幅を障害物情報に含めてサーバに送信し、サーバにおいてはプローブ車両から送信された通行可能幅を採用して案内制御部の処理を行っても良い。また例えば、サーバでは画像に対する画像認識処理を行わず案内車両において画像に対する画像認識処理を行って通行可能幅を取得する構成を採用してもよい。この場合、サーバから案内車両に配信される障害物情報には、障害物の位置、障害物を含む少なくとも1枚の画像が含まれる。
【0074】
また、サーバがプローブ車両から受信した、障害物を含む画像は、通行可能幅を算出するための画像認識処理に利用される以外に用いられても良い。例えばサーバでは、障害物の種類(車両、タイヤ、箱、袋、動物の死骸等)を特定するために画像認識処理がなされてもよい。また例えば、画像に障害物が含まれるか否かを取得するモデルや、障害物を含む画像から障害物の種類を取得するモデル等を機械学習により生成するための教師データとして画像が収集されてもよい。また例えば、案内車両の案内制御部において当該画像の障害物部分を表示するために用いられても良い。
【0075】
また、上記実施形態は、画像内に含まれる障害物の個数が1個の例を挙げて説明したが、同一車線に複数の障害物が存在している場合にも通行可能幅に基づいて障害物情報を取得することができればよい。同一車線に障害物が複数存在する場合、道路の延びる方向における各障害物の間隔が予め決められた値未満であり道路の幅方向における各障害物の間隔が例えば予め決められた値未満であれば1個の障害物と見なして通行可能幅を算出してもよい。
【0076】
案内制御部は、障害物が位置する第1車線以外の第2車線を走行中の第2車両においても注意喚起案内をしてもよい。障害物が位置する第1車線を走行している第1車両が第1車線以外の車線(例えば第2車線)に急にはみ出す可能性があるため、注意喚起案内を行っても良い。第2車線は第1車線と進行方向が同じ車線であってもよいし、対向車線(中央分離帯無し)であってもよい。第2車線は第1車線と隣接する車線であってもよいし、第2車線と第1車線とは1以上の車線を挟んで隣り合っていても良い。
【0077】
なお、複数の車線を有する道路区間に障害物が存在する場合だけでなく、道路区間に単一の車線しか存在しない場合にも障害物の位置を通知し注意喚起する案内を行っても良い。単一の車線しか存在しない道路区間において、障害物の位置の通行可能幅が車両の通行幅以下である場合、案内制御部は、当該道路区間の回避を案内するように構成されていてもよい。
案内制御部は、サーバによって実現されてもよい。すなわち、サーバの案内制御部221bが、案内車両の特定を行い、案内車両における案内の内容(車線変更案内、注意喚起等)の選定と、案内車両における案内タイミング(案内実施地点)の決定とを行って、案内内容や案内タイミングの情報を案内対象に送信う。案内車両では当該情報に従ってユーザI/F部344を制御して案内を実行するように構成されていてもよい。
【0078】
通行可能幅は、障害物が位置する車線において、路面からの高さ方向における、障害物に占有されていない部分の長さであってもよい。例えば、図6は、道路上に、路面から空間を介して障害物が存在する例を示している。このような障害物としては、例えば、樹木の枝や、看板、あるいはそれらにかかっている飛来物等を想定してよい。図6は、道路脇の樹木の枝の一部が道路にせり出している例を模式的に示している。画像認識部は、YOLOやパターンマッチング、輪郭検出等の画像認識処理により、車線と、障害物とを検出する。この例の場合、障害物は、道路にせり出した枝や葉の部分である。画像認識部は、障害物の下端部を鉛直上方から路面に投影した場合の地点Pの、プローブ車両から見た相対方位θと直線距離Dとを取得する。そして画像認識部は、当該相対方位θと直線距離Dとプローブ車両の現在位置および進行方位とに基づいて、障害物の地点Pの、地図の座標系における位置を取得する。また、障害物情報取得部は、障害物の下端と地点Pとを両端とする線分wの長さを取得する。線分wの画像内における長さおよび線分wの下端(P)の画像内における位置と、実空間における線分wの長さの対応関係が予め特定されており、この対応関係を用いて、画像認識部は、障害物の下端部と路面との実空間における長さ(w)を取得する。実空間における当該長さ(w)は、障害物が位置する車線において、路面からの高さ方向における、障害物に占有されていない部分の長さ(高さ方向における通行可能幅)である。案内制御部は、障害物の位置と、障害物が位置する車線の高さ方向の通行可能幅を含む障害物情報を案内車両に取得させる。案内車両においては、案内車両の高さ方向における通行幅(車体情報から案内車両の全高を取得し、全高に既定のマージン分の高さを加えて、高さ方向における通行幅とする)が、高さ方向における通行可能幅と比較され、障害物に関する案内が行われる。例えば、案内車両の高さ方向における通行幅が高さ方向における通行可能幅よりも大きい場合、障害物が位置する車線以外の車線を推奨車線とする車線変更案内が行われる。また例えば、案内車両の高さ方向における通行幅が高さ方向における通行可能幅以下の場合、障害物の存在を報知させる注意喚起案内が行われる。なおもちろん、障害物情報には、車線の幅方向における通行可能幅と、高さ方向における通行可能幅の両方が含まれていてもよく、案内車両の全幅方向における通行幅と幅を方向における通行可能幅との比較と、案内車両の高さ方向における通行幅と高さ方向における通行可能幅(w)との比較が行われ、それらの結果に応じた内容の障害物に関する案内が行われても良い。
【0079】
さらに、本発明のように、走行中の道路を撮影した画像から道路上の障害物と車線とを検出し、画像における障害物が位置する車線の通行可能幅に基づいて障害物の位置と画像とを対応付けた障害物情報を取得する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのプログラムの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【符号の説明】
【0080】
100…車載システム、120…制御部、121…障害物情報取得プログラム、121a…画像取得部、121b…画像認識部、121c…障害物情報取得部、121d…案内制御部、130…記録媒体、130a…地図情報、130b…車体情報、130c…画像情報、140…カメラ、141…GNSS受信部、142…車速センサ、143…ジャイロセンサ、144…ユーザI/F部、145…通信部、200…サーバ、220…制御部、221…障害物情報取得プログラム、221a…障害物情報取得部、221b…案内制御部、230…記録媒体、230a…地図情報、230b…障害物情報、240…通信部、300…車載システム、320…制御部、321…障害物情報取得プログラム、321a…案内制御部、330…記録媒体、330a…地図情報、330b…車体情報、340…カメラ、341…GNSS受信部、342…車速センサ、343…ジャイロセンサ、344…ユーザI/F部、345…通信部、B…バウンディングボックス、Bo…代表座標
図1
図2
図3
図4
図5
図6