IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日本自動車部品総合研究所の特許一覧 ▶ 株式会社デンソーの特許一覧

特許7437296運転支援システム、運転支援装置及び運転支援方法
<>
  • 特許-運転支援システム、運転支援装置及び運転支援方法 図1
  • 特許-運転支援システム、運転支援装置及び運転支援方法 図2
  • 特許-運転支援システム、運転支援装置及び運転支援方法 図3
  • 特許-運転支援システム、運転支援装置及び運転支援方法 図4
  • 特許-運転支援システム、運転支援装置及び運転支援方法 図5
  • 特許-運転支援システム、運転支援装置及び運転支援方法 図6
  • 特許-運転支援システム、運転支援装置及び運転支援方法 図7
  • 特許-運転支援システム、運転支援装置及び運転支援方法 図8
  • 特許-運転支援システム、運転支援装置及び運転支援方法 図9
  • 特許-運転支援システム、運転支援装置及び運転支援方法 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-14
(45)【発行日】2024-02-22
(54)【発明の名称】運転支援システム、運転支援装置及び運転支援方法
(51)【国際特許分類】
   G01C 21/26 20060101AFI20240215BHJP
   G08G 1/0969 20060101ALI20240215BHJP
   G06T 7/00 20170101ALI20240215BHJP
   G16Y 10/40 20200101ALI20240215BHJP
   G16Y 20/20 20200101ALI20240215BHJP
   G16Y 40/60 20200101ALI20240215BHJP
【FI】
G01C21/26 B
G08G1/0969
G06T7/00 300
G16Y10/40
G16Y20/20
G16Y40/60
【請求項の数】 10
(21)【出願番号】P 2020210163
(22)【出願日】2020-12-18
(65)【公開番号】P2022096906
(43)【公開日】2022-06-30
【審査請求日】2023-02-15
(73)【特許権者】
【識別番号】000004695
【氏名又は名称】株式会社SOKEN
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】100121821
【弁理士】
【氏名又は名称】山田 強
(74)【代理人】
【識別番号】100139480
【弁理士】
【氏名又は名称】日野 京子
(74)【代理人】
【識別番号】100125575
【弁理士】
【氏名又は名称】松田 洋
(74)【代理人】
【識別番号】100175134
【弁理士】
【氏名又は名称】北 裕介
(72)【発明者】
【氏名】谷川 右京
(72)【発明者】
【氏名】熊野 俊也
(72)【発明者】
【氏名】末久 泰士
【審査官】白石 剛史
(56)【参考文献】
【文献】特開2019-020782(JP,A)
【文献】特開2016-156973(JP,A)
【文献】特開2020-160291(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 21/26
G08G 1/0969
G06T 7/00
G16Y 10/40
G16Y 20/20
G16Y 40/60
(57)【特許請求の範囲】
【請求項1】
測定車両(102)から取得した走行軌跡情報に基づいて、地図情報を更新するとともに、前記地図情報の利用車両(102)に対して前記地図情報を提供する運転支援装置(101)を備える運転支援システム(100)において、
前記走行軌跡情報に含まれる道路標識に係る標識データを時系列で記憶するデータ記憶部(23)と、
前記データ記憶部に記憶された前記標識データに基づいて、前記地図情報を更新する地図更新部(24)と、を備え、
前記地図更新部は、前記データ記憶部に記憶された前記標識データを参照して、時系列に記憶されている前記標識データの変化点を特定し、当該変化点に基づいて前記地図情報を更新するものであり、
前記標識データには、少なくとも前記道路標識の位置情報及び種類が含まれており、
前記地図更新部は、位置情報が互いに対応する前記標識データにおいて、種類ごとに、前記標識データの記憶数に基づく尤度の時系列変化を演算し、当該尤度の増減に基づいて、標識データの変化点を特定する運転支援システム。
【請求項2】
前記標識データには、前記道路標識の認識時における認識自信度がそれぞれ含まれており、
前記地図更新部は、前記各標識データについてその認識自信度による重みづけを行ったうえで、種類ごとに前記尤度の時系列変化を演算する請求項に記載の運転支援システム。
【請求項3】
前記地図更新部は、前記地図情報の生成根拠となる前記走行軌跡情報のデータ数によって正規化したうえで、前記尤度を算出する請求項1又は2に記載の運転支援システム。
【請求項4】
前記測定車両から取得した走行軌跡情報に基づいて、工事区間を特定するための判定するシーン判定を実施してその判定結果を取得し、又は前記測定車両から前記シーン判定の判定結果を取得し、
前記地図更新部は、位置情報が前記工事区間に対応する前記標識データの変化点を特定する場合、位置情報が前記工事区間に対応しない場合に比較して、変化幅が小さくても変化点として特定する請求項1~のうちいずれか1項に記載の運転支援システム。
【請求項5】
前記利用車両は、
自車両が走行する走行路を撮像した画像情報を取得する画像情報取得部(41)と、
前記画像情報に基づいて、道路標識を認識する標識認識部(42)と、
前記運転支援装置から提供された前記地図情報を受信する受信部(43)と、
前記受信部により受信した前記地図情報を参照して、前記道路標識を特定する標識特定部(44)と、
前記標識認識部により認識された前記道路標識と、前記地図情報に基づく前記道路標識とを照合して、いずれか一方を照合結果として選択する、若しくはいずれも選択しない照合部(46)と、
前記照合結果を出力する出力部(47)と、を備える請求項1~のうちいずれか1項に記載の運転支援システム。
【請求項6】
前記照合部は、
前記標識認識部により認識された道路標識と、前記地図情報に基づく道路標識とが一致した場合には、一致した道路標識を照合結果とする一方、
一致しなかった場合には、前記標識認識部により認識された道路標識を照合結果とする請求項に記載の運転支援システム。
【請求項7】
前記利用車両は、前記画像情報に基づいて、工事区間を特定するシーン判定を実施するシーン判定部(33)を備え、
前記照合部は、前記標識認識部により認識された道路標識と、前記地図情報に基づく道路標識とが一致しなかった場合であって、前記シーン判定部により工事区間において当該道路標識が設けられていると判定された場合、前記標識認識部により認識された道路標識を照合結果とする請求項5又は6に記載の運転支援システム。
【請求項8】
前記利用車両は、前記測定車両を兼ねており、前記標識認識部により認識された道路標識の標識データを走行軌跡情報に含ませて、前記運転支援装置に送信する送信部を、備える請求項5~7のうちいずれか1項に記載の運転支援システム。
【請求項9】
測定車両(102)から取得した走行軌跡情報に基づいて、地図情報を更新するとともに、前記地図情報の利用車両(102)に対して前記地図情報を提供する運転支援装置(101)において、
前記走行軌跡情報に含まれる道路標識に係る標識データを時系列で記憶するデータ記憶部(23)と、
前記データ記憶部に記憶された前記標識データに基づいて、前記地図情報を更新する地図更新部(24)と、を備え、
前記地図更新部は、前記データ記憶部に記憶された前記標識データを参照して、時系列に記憶されている前記標識データの変化点を特定し、当該変化点に基づいて前記地図情報を更新するものであり、
前記標識データには、少なくとも前記道路標識の位置情報及び種類が含まれており、
前記地図更新部は、位置情報が互いに対応する前記標識データにおいて、種類ごとに、前記標識データの記憶数に基づく尤度の時系列変化を演算し、当該尤度の増減に基づいて、標識データの変化点を特定する運転支援装置。
【請求項10】
測定車両(102)から取得した走行軌跡情報に基づいて、地図情報を更新するとともに、前記地図情報の利用車両(102)に対して前記地図情報を提供する運転支援装置(101)が実行する運転支援方法において、
前記走行軌跡情報に含まれる道路標識に係る標識データを時系列で記憶するデータ記憶ステップと、
前記データ記憶ステップで記憶された前記標識データに基づいて、前記地図情報を更新する地図更新ステップと、を備え、
前記地図更新ステップでは、前記データ記憶ステップで記憶された前記標識データを参照して、時系列に記憶されている前記標識データの変化点を特定し、当該変化点に基づいて前記地図情報を更新するものであり、
前記標識データには、少なくとも前記道路標識の位置情報及び種類が含まれており、
前記地図更新ステップでは、位置情報が互いに対応する前記標識データにおいて、種類ごとに、前記標識データの記憶数に基づく尤度の時系列変化を演算し、当該尤度の増減に基づいて、標識データの変化点を特定する運転支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の運転支援システム、運転支援装置、及び運転支援方法に関するものである。
【背景技術】
【0002】
カメラ画像に基づいて、車両が走行する道路の道路標識を適切に認識するための技術が知られている(特許文献1)。特許文献1では、道路標識の検出位置と、地図データに記憶されている道路標識の位置とを比較することにより、認識した道路標識が、固定標識であるか、それとも臨時標識であるかを区別している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2012-164254号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、サーバが、通信網を介して、車両から走行軌跡情報(プローブデータ)を取得し、それらの走行軌跡情報から地図(プローブデータ地図、以下PD地図と示す)を生成する技術の開発が進められている。
【0005】
しかしながら、PD地図では、上記のような固定標識であるか、それとも臨時標識であるかの区別を行っていない。このため、臨時標識の設置や撤去が、PD地図において適切に更新されず、誤認識の原因となってしまう場合があった。
【0006】
本発明は、上記事情に鑑みてなされたものであり、道路標識を適切に認識できる運転支援システム、運転支援装置、及び運転支援方法を提供することを主たる目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するための第1の手段は、測定車両から取得した走行軌跡情報に基づいて、地図情報を更新するとともに、前記地図情報の利用車両に対して前記地図情報を提供する運転支援装置を備える運転支援システムにおいて、前記走行軌跡情報に含まれる道路標識に係る標識データを時系列で記憶するデータ記憶部と、前記データ記憶部に記憶された前記標識データに基づいて、前記地図情報を更新する地図更新部と、を備え、前記地図更新部は、前記データ記憶部に記憶された前記標識データを参照して、時系列に記憶されている前記標識データの変化点を特定し、当該変化点に基づいて前記地図情報を更新するものであり、前記標識データには、少なくとも前記道路標識の位置情報及び種類が含まれており、前記地図更新部は、位置情報が互いに対応する前記標識データにおいて、種類ごとに、前記標識データの記憶数に基づく尤度の時系列変化を演算し、当該尤度の増減に基づいて、標識データの変化点を特定することである。
【0008】
第2の手段は、測定車両から取得した走行軌跡情報に基づいて、地図情報を更新するとともに、前記地図情報の利用車両に対して前記地図情報を提供する運転支援装置において、前記走行軌跡情報に含まれる道路標識に係る標識データを時系列で記憶するデータ記憶部と、前記データ記憶部に記憶された前記標識データに基づいて、前記地図情報を更新する地図更新部と、を備え、前記地図更新部は、前記データ記憶部に記憶された前記標識データを参照して、時系列に記憶されている前記標識データの変化点を特定し、当該変化点に基づいて前記地図情報を更新するものであり、前記標識データには、少なくとも前記道路標識の位置情報及び種類が含まれており、前記地図更新部は、位置情報が互いに対応する前記標識データにおいて、種類ごとに、前記標識データの記憶数に基づく尤度の時系列変化を演算し、当該尤度の増減に基づいて、標識データの変化点を特定することである。
【0009】
第3の手段は、測定車両から取得した走行軌跡情報に基づいて、地図情報を更新するとともに、前記地図情報の利用車両に対して前記地図情報を提供する運転支援装置が実行する運転支援方法において、前記走行軌跡情報に含まれる道路標識に係る標識データを時系列で記憶するデータ記憶ステップと、前記データ記憶ステップで記憶された前記標識データに基づいて、前記地図情報を更新する地図更新ステップと、を備え、前記地図更新ステップでは、前記データ記憶ステップで記憶された前記標識データを参照して、時系列に記憶されている前記標識データの変化点を特定し、当該変化点に基づいて前記地図情報を更新するものであり、前記標識データには、少なくとも前記道路標識の位置情報及び種類が含まれており、前記地図更新ステップでは、位置情報が互いに対応する前記標識データにおいて、種類ごとに、前記標識データの記憶数に基づく尤度の時系列変化を演算し、当該尤度の増減に基づいて、標識データの変化点を特定することである。
【0010】
道路標識に係る標識データは、一旦設置されたのちは、誤認識されない限り、同じデータが取得されるはずである。逆に言えば、道路標識が新たに設置された場合、又は撤去された場合、若しくは変更された際、走行軌跡情報に含まれる道路標識に係る標識データが変化する。そこで、上記第1~第3の手段では、時系列に記憶されている標識データの変化点を特定し、当該変化点に基づいて地図情報を更新するようにした。これにより、適切なタイミングに、地図情報を適切に更新することができる。また、時系列に記憶されている標識データの変化点を特定するため、取得されたタイミングにかかわらず多数決などにより種類を決定する場合に比較して、誤認識を抑制することができる。
【図面の簡単な説明】
【0014】
図1】運転支援システムの概略構成図。
図2】運転支援装置及び画像認識装置の機能ブロック図。
図3】第1実施形態の画像認識処理のフローチャート。
図4】第1実施形態の地図更新処理のフローチャート。
図5】尤度の遷移を示すタイムチャート。
図6】尤度の遷移を示すタイムチャート。
図7】第2実施形態の画像認識処理のフローチャート。
図8】第3実施形態の地図生成処理のフローチャート。
図9】第3実施形態の画像認識処理のフローチャート。
図10】第4実施形態の画像認識処理のフローチャート。
【発明を実施するための形態】
【0015】
以下、運転支援システムについての実施形態を図面に基づいて説明する。なお、以下の実施形態及び変形例相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。
【0016】
(第1実施形態)
本実施形態にかかる運転支援システムについて、図面を参照しつつ説明する。図1に示すように、運転支援システム100は、運転支援装置としてのクラウドサーバ101と、クラウドサーバ101とネットワークを介して通信可能な複数台の車両102とを備える。
【0017】
クラウドサーバ101は、測定車両としての車両102から取得した走行軌跡情報であるプローブデータに基づいて、地図情報としてのプローブデータ地図(以下、PD地図と示す)を更新するとともに、PD地図を利用する利用車両としての車両102に対してPD地図を提供するものである。クラウドサーバ101は、CPU、ROM、RAM、入出力ポート、通信モジュール等を備えたコンピュータである。具体的には、クラウドサーバ101は、PD地図やプローブデータを送受信する通信装置11と、PD地図やプローブデータを記憶するデータ記憶装置12と、PD地図を生成及び更新する地図生成装置13と、を備える。通信装置11は、データ記憶装置12に接続されており、プローブデータやPD地図を入出力可能に構成されている。データ記憶装置12は、地図生成装置13と接続されており、各種データを送受信可能に構成されている。
【0018】
クラウドサーバ101は、これらの装置を利用して各種機能を実現する。図2にクラウドサーバ101の機能ブロック図を示す。図2に示すように、このクラウドサーバ101は、PD地図を記憶する地図記憶部21と、車両102からプローブデータを受信するデータ受信部22と、プローブデータを記憶するデータ記憶部23と、PD地図を更新する地図更新部24と、PD地図を送信する地図送信部25等、を備える。本実施形態では、通信装置11が、データ受信部22及び地図送信部25を実現し、データ記憶装置12が、地図記憶部21及びデータ記憶部23を実現し、地図生成装置13が地図更新部24を実現している。これらの各種機能については後述する。
【0019】
なお、各種機能は、ハードウェアである電子回路等によって実現されてもよく、あるいは、少なくとも一部をソフトウェア、すなわちコンピュータ上で実行される処理によって実現されてもよい。また、クラウドサーバ101は、車両102の外部に設置されている。
【0020】
車両102は、撮影装置(画像センサ)としての単眼のカメラ31と、GPS(Global Positioning System)受信装置32と、画像認識装置33と、地図記憶装置34と、車載通信装置35と、表示装置36等を備える。
【0021】
カメラ31は、CCDやCOMS等の撮像素子が用いられているカメラである。カメラ31は、例えば車両のフロントガラスの上端付近に配置されており、自車両の前方の道路(走行路)を含む周辺環境を撮影(撮像)する。カメラ31で撮影された撮影画像は、画像認識装置33に出力される。なお、複数台のカメラ(複眼カメラ)を備えてもよい。
【0022】
GPS受信装置32は、GPSの測位機能による位置情報(車両102の現在位置)を受信し、画像認識装置33に出力する機能を有する。地図記憶装置34は、クラウドサーバ101から提供されたPD地図を記憶する装置であり、PD地図を画像認識装置33に出力する。車載通信装置35は、クラウドサーバ101と通信を行い、プローブデータの送信や、PD地図の受信を行う。表示装置36は、画像認識装置33に接続されており、画像認識装置33から出力された認識結果を表示する。
【0023】
画像認識装置33は、CPU、ROM、RAM、入出力ポート等を備えたコンピュータである。画像認識装置33は、各種機能を備え、例えば、画像認識などを行う。各種機能は、画像認識装置33が備えるROMなどに記憶されたプログラムが実行されることで、実現される。図2に画像認識装置33の機能ブロック図を示す。図2に示すように、この画像認識装置33は、画像情報取得部41、標識認識部42、地図受信部43、地図記憶部44、標識特定部45、照合部46、出力部47、及びデータ送信部48としての機能を備える。これらの各種機能については後述する。なお、各種機能は、ハードウェアである電子回路によって実現されてもよく、あるいは、少なくとも一部をソフトウェア、すなわちコンピュータ上で実行される処理によって実現されてもよい。
【0024】
次に、図2を参照して、クラウドサーバ101及び画像認識装置33が備える各種機能について説明する。まず、画像認識装置33の側の機能について説明する。
【0025】
画像情報取得部41は、カメラ31により撮影された撮影画像(画像情報)を所定周期で取得する。標識認識部42は、画像情報取得部41により取得された撮影画像から、道路標識を識別する。具体的には、標識認識部42は、取得された撮像画像と予め用意された道路標識識別用の辞書情報とに基づいて、自車両前方に存在する道路標識の種類を判定する。道路標識識別用の辞書情報は、例えば案内標識、警戒標識、規制標識、指示標識、補助標識といった道路標識の種類に応じて個別に用意され、ROMなどのメモリに予め記憶されている。
【0026】
標識認識部42は、撮像画像と辞書情報とをパターンマッチングにより照合することで、道路標識の種類を判定する。道路標識の認識方法は、これに限らず任意に変更してもよい。また、道路標識の種類を認識する際、ディープニューラルネットワーク(DNN)などの機械学習を利用してもよい。
【0027】
また、標識認識部42は、道路標識の位置情報を特定する。具体的には、標識認識部42は、自車両を基準とする道路標識の相対位置と、GPS受信装置32から受信した自車両の位置情報(経度、緯度)に基づいて、道路標識が検出された位置情報(経度、緯度)を特定する。
【0028】
そして、標識認識部42は、道路標識の種類及び位置情報(経度、緯度)に関する情報を標識データとして出力する。その際、標識認識部42は、撮影画像に基づいて道路標識を認識する際の認識自信度を標識データに含めてもよい。認識自信度は、実際に設定されている道路標識が、標識データに示す種類であることの尤もらしさを確率などで示すものであり、例えば、パターンマッチングにより照合する場合には、どれだけ一致したかに基づいて算出される。
【0029】
地図受信部43は、車載通信装置35を介してクラウドサーバ101から提供されたPD地図を受信する。PD地図は、所定のタイミングでクラウドサーバ101から送信される。また、地図受信部43は、所定のタイミングで、PD地図の送信をクラウドサーバ101に対して要求してもよい。地図記憶部44は、地図受信部43が受信したPD地図を地図記憶装置34に記憶する。
【0030】
標識特定部45は、地図受信部43により受信したPD地図、すなわち、地図記憶装置34に記憶されているPD地図を参照して、GPS受信装置32から受信した自車両の位置情報(経度、緯度)に基づいて、自車両周辺の道路標識(道路標識の位置情報や種類など)を特定する。
【0031】
照合部46は、標識認識部42により認識された道路標識と、PD地図に基づいて標識特定部45により特定された道路標識とを照合して、いずれか一方を照合結果として選択する。具体的には、照合部46は、位置情報を比較して、標識特定部45により特定された自車両の道路標識のうち、標識認識部42により認識された道路標識の位置情報に最も近い道路標識を特定する。そして、照合部46は、特定したその道路標識の種類と、標識認識部42により認識された道路標識の種類と、を比較し、一致するか否かを判定する。一致した場合には、照合部46は、一致した道路標識の種類を照合結果とする。一方、一致しなかった場合、照合部46は、標識認識部42により認識された道路標識の種類を照合結果とする。
【0032】
出力部47は、照合部46による照合結果を表示装置36に出力し、表示装置36に照合結果としての道路標識を表示させる。データ送信部48は、プローブデータを、車載通信装置35を介して、クラウドサーバ101に送信する。本実施形態において、プローブデータには、少なくとも標識認識部42による認識結果、すなわち、道路標識に係る標識データが含まれる。
【0033】
なお、プローブデータには、自車両の走行履歴(車速、前後加速度、左右加速度など)、車両102の位置情報、道路形状、信号機の位置情報、時間情報(検出した時刻など)、交差点から交差点までの通過時間などを含めてもよい。
【0034】
次に、クラウドサーバ101の側における機能について説明する。地図記憶部21は、最新のPD地図を記憶している。データ受信部22は、車両102からプローブデータを受信し、データ記憶部23に出力する。データ記憶部23は、データ受信部22から入力したプローブデータを記憶する。その際、データ記憶部23は、少なくともプローブデータに含まれる道路標識に係る標識データを時系列で記憶する。
【0035】
地図更新部24は、データ記憶部23に記憶された標識データに基づいて、PD地図を更新し、最新のPD地図を地図記憶部21に記憶する。その際、地図更新部24は、データ記憶部23により記憶された標識データを参照して、時系列に記憶されている標識データの変化点を特定し、当該変化点に基づいてPD地図を更新する。
【0036】
より詳しく説明すると、地図更新部24は、位置情報が互いに対応する標識データにおいて、種類ごとに、標識データの記憶数に基づく尤度の時系列変化を演算し、当該尤度の増減に基づいて、標識データの変化点を特定する。
【0037】
位置情報が互いに対応する標識データとは、標識データに含まれる位置情報の違いが所定範囲内である標識データのことである。例えば、経度の差分が所定範囲内であって、緯度の差分が所定範囲内にある標識データのことである。
【0038】
尤度とは、位置情報が互いに対応する標識データが示す道路標識の種類のうち、実際の道路標識の種類としての尤もらしさ(確信度)を示すものである。尤度は、種類ごとに演算される。地図更新部24は、所定の単位期間において、対象となる種類の標識データの記憶数が多ければ多いほど、尤度を高く算出する。なお、同じ記憶数であっても、生成根拠となるプローブデータのデータ数、つまりサンプリング数の違いにより、尤度が異なる。つまり、同じ記憶数であっても、プローブデータのデータ数が多い場合には、少ない場合に比較して尤度が低いといえる。
【0039】
このため、地図更新部24は、生成根拠となるプローブデータのデータ数によって正規化したうえで、尤度を算出している。具体的には、地図更新部24は、所定の単位期間において、生成根拠となるプローブデータのデータ数に対する記憶数の割合に基づいて尤度を算出している。生成根拠となるプローブデータのデータ数は、単位期間あたりに受信(又は記憶)したプローブデータの総数であればよい。あるいは、対象とする道路標識の位置情報を中心とする所定範囲内に存在した車両102から受信した単位期間あたりのプローブデータの総数であってもよい。
【0040】
また、各標識データに、道路標識を認識した際の認識自信度が含まれている場合、地図更新部24は、各標識データについてその認識自信度による重みづけを行ったうえで、種類ごとの尤度を演算してもよい。例えば、地図更新部24は、所定の単位期間において、対象となる種類の標識データの認識自信度を積算することにより、重みづけを行ってもよい。つまり、標識データの記憶数「1」に対してその認識自信度を乗算した値を積算することにより、重みづけを行ってもよい。
【0041】
そして、地図更新部24は、上記のように、位置情報が互いに対応する標識データが示す道路標識において、道路標識の種類ごとの尤度の時系列変化を演算する。そして、地図更新部24は、道路標識の種類ごとの尤度の時系列変化に基づいて、尤度の変化点を特定する。具体的には、地図更新部24は、所定期間において、尤度が第1判定値以上増加した場合、若しくは、尤度が第2判定値以上減少した場合、尤度の変化点として特定する。
【0042】
つまり、道路標識が設置された場合、当該道路標識の種類を示す標識データの記憶数が増加する傾向がある。このため、地図更新部24は、所定期間において、尤度が第1判定値以上増加した場合、当該期間において、道路標識が設置されたと判定して、PD地図を更新する。
【0043】
一方、道路標識が撤去された場合、当該道路標識の種類を示す標識データの記憶数が低下する傾向がある。このため、地図更新部24は、所定期間において、尤度が第2判定値以上減少した場合、当該期間において、道路標識が撤去されたと判定して、PD地図を更新する。
【0044】
なお、道路標識が変更された場合、道路標識の設置と撤去が同時に行われたに等しい。つまり、道路標識が変更された場合、変更前の道路標識の種類を示す標識データの記憶数が低下するとともに、変更後の道路標識の種類を示す標識データの記憶数が増加する傾向がある。このため、地図更新部24は、所定期間において、変更前の道路標識の種類を示す尤度が第2判定値以上減少するとともに、変更後の道路標識の種類を示す尤度が第1判定値以上増加した場合、当該期間において、道路標識が変更されたと判定して、PD地図を更新する。
【0045】
地図更新部24は、PD地図を更新した場合、更新後のPD地図を最新のPD地図として地図記憶部21に記憶する。地図送信部25は、所定のタイミングにおいて、地図記憶部21から最新のPD地図を読み出し、車両102に送信する。例えば、地図送信部25は、所定時刻又は所定の日にちに、PD地図を車両102に送信してもよいし、車両102からの要求に基づいてPD地図を車両102に送信してもよい。
【0046】
次に、車両102の側において、道路標識を認識する際に実行される画像認識処理(画像認識方法)の流れについて図3に基づいて説明する。画像認識処理は、画像認識装置33により所定周期ごとに実行される。
【0047】
まず、画像認識装置33は、GPS受信装置32から車両102(自車両)の位置情報を取得する(ステップS101)。次に、画像認識装置33は、地図記憶装置34に記憶されているPD地図を参照して、GPS受信装置32から受信した自車両の位置情報(経度、緯度)に基づいて、自車両周辺の道路標識を特定する(ステップS102)。このステップS102により、画像認識装置33は、標識特定部45として機能する。また、ステップS102が、標識特定ステップである。
【0048】
そして、画像認識装置33は、カメラ31から撮影画像を取得し、撮影画像に基づいて、道路標識を認識する(ステップS103)。このとき、前述したように、画像認識装置33は、道路標識の種類及び位置情報を認識する。また、併せて認識自信度も算出する。ステップS103の処理により、画像認識装置33は、画像情報取得部41として機能する。また、画像認識装置33は、標識認識部42として機能する。また、ステップS103が、画像情報取得ステップであり、標識認識ステップである。
【0049】
次に、画像認識装置33は、前述したように、ステップS103において認識された道路標識と、PD地図に基づく道路標識とを照合する(ステップS104)。そして、画像認識装置33は、ステップS103において認識された道路標識と、PD地図に基づく道路標識とが異なるか否かを判定する(ステップS105)。この判定結果が肯定の場合、すなわち、異なった場合、画像認識装置33は、ステップS103において認識された道路標識の種類を照合結果とし、照合結果を表示装置36に出力する(ステップS106)。すなわち、表示装置36に照合結果としての撮影画像に基づく道路標識を表示させる。
【0050】
なお、ステップS105では、PD地図において、撮影画像に基づく道路標識の位置情報に対応する道路標識が存在しなかった場合、画像認識装置33は、道路標識が異なると判定する(肯定判定する)。同様に、撮影画像において、PD地図に基づく道路標識の位置情報に対応する道路標識が存在しなかった場合、画像認識装置33は、道路標識が異なると判定する(肯定判定する)。
【0051】
一方、ステップS105の判定結果が否定の場合、すなわち、一致した場合、画像認識装置33は、一致した種類の道路標識を照合結果とし、照合結果を表示装置36に出力する(ステップS107)。このステップS104~S107により、画像認識装置33は、照合部46として機能する。また、ステップS104~S107が、照合ステップである。また、ステップS107により、画像認識装置33は、出力部47として機能する。また、ステップS107が、出力ステップである。
【0052】
ステップS106,S107の処理が終了すると、画像認識装置33は、撮影画像に基づいて認識した標識データを含むプローブデータを作成し、そのプローブデータを、車載通信装置35を介して、クラウドサーバ101に送信する(ステップS108)。このステップS108により、画像認識装置33は、データ送信部48として機能する。また、ステップS108が、データ送信ステップである。
【0053】
次に、クラウドサーバ101の側における処理(運転支援方法)について説明する。まず、プローブデータを受信した際に実行される記憶処理について説明する。クラウドサーバ101は、プローブデータを受信すると、プローブデータを時系列で記憶する。より詳しくは、通信装置11は、プローブデータを受信すると、データ記憶装置12に出力する。データ記憶装置12は、入力したプローブデータを時系列で記憶する。その際、プローブデータに含まれる標識データも時系列で記憶されることとなる。この記憶処理が、データ記憶ステップに相当する。
【0054】
次に、PD地図を更新する際に実行される地図更新処理の流れについて図4に基づいて説明する。地図更新処理は、クラウドサーバ101により所定のタイミングに実行される。地図更新処理が地図更新ステップに相当する。
【0055】
クラウドサーバ101は、記憶されているプローブデータを読み出す(ステップS201)。つまり、地図生成装置13は、データ記憶装置12から時系列で記憶されている複数のプローブデータを読み出す。次に、クラウドサーバ101は、記憶されている最新のPD地図を読み出す(ステップS202)。つまり、地図生成装置13は、データ記憶装置12から最新のPD地図を読み出す。
【0056】
次に、クラウドサーバ101は、前述したように、読みだしたプローブデータに含まれる標識データのうち、位置情報が互いに対応する標識データを特定する(ステップS203)。つまり、地図生成装置13が、位置情報が互いに対応する標識データを特定する。
【0057】
そして、クラウドサーバ101は、ステップS203において特定した位置情報が互いに対応する標識データについて、種類ごとに、標識データの記憶数に基づく尤度の時系列変化を演算する(ステップS204)。つまり、地図生成装置13は、ステップS203において特定した位置情報が互いに対応する標識データについて、種類ごとに標識データの数(すなわち、記憶数)を積算する。その際、地図生成装置13は、所定の単位期間あたりの記憶数を積算し、時系列で並べることにより、種類ごとの尤度の遷移を求める。なお、標識データに認識自信度が含まれる場合、地図生成装置13は、認識自信度により重みづけを行ったうえで、記憶数を積算し、種類ごとの尤度を算出する。また、その際、地図生成装置13は、単位期間ごとのプローブデータのデータ数によって記憶数を正規化することにより、種類ごとの尤度を演算する。つまり、地図生成装置13は、単位期間ごとのプローブデータのデータ数に対する標識データの記憶数の割合に基づいて、種類ごとの尤度を演算する。
【0058】
なお、本実施形態では、プローブデータのデータ数によって正規化しているが、正規化しなくてもよい。また、認識自信度による重みづけを行わなくてもよい。つまり、地図生成装置13は、単純に、所定の単位期間あたりの記憶数の遷移を演算するだけでもよい。
【0059】
次に、クラウドサーバ101は、ステップS204により演算された、種類ごとの尤度の時系列変化から、変化点を特定する(ステップS205)。例えば、所定の検査期間(例えば、2単位期間~100単位期間)において、種類ごとの尤度が第2判定値以上減少した場合、地図生成装置13は、第2判定値以上減少した時点T2において変化点が発生したと特定する(図5参照)。一方、所定の検査期間(例えば、2単位期間~100単位期間)において、種類ごとの尤度が第1判定値以上増加した場合、地図生成装置13は、第1判定値以上増加した時点T1において変化点が発生したと特定する(図6参照)。
【0060】
なお、ステップS205において、複数種類の尤度が特定された場合、記憶数が多いものから1種類又は2種類の尤度の時系列変化から変化点を特定すればよい。また、複数種類の尤度が特定された場合、尤度又は記憶数が所定数以下である種類の尤度は、無視してもよい。
【0061】
そして、クラウドサーバ101は、ステップS205において変化点を特定できたか否か(変化点が発生していたか否か)を判定する(ステップS206)。ステップS206の判定結果が否定の場合、そのまま地図更新処理を終了する。
【0062】
一方、ステップS206の判定結果が肯定の場合、クラウドサーバ101は、PD地図を更新する(ステップS207)。具体的には、地図生成装置13は、ある種類の尤度が第1判定値以上増加する変化点を特定した場合、当該種類の道路標識が設置されたと判定して、PD地図を更新し、データ記憶装置12に記憶する。その際、地図生成装置13は、当該種類を示す標識データから、当該種類の道路標識の位置情報を平均し、PD地図における道路標識の位置情報とする。
【0063】
一方、地図生成装置13は、ある種類の尤度が第2判定値以上減少する変化点を特定した場合、当該種類の道路標識が撤去されたと判定して、PD地図を更新し、データ記憶装置12に記憶する。そして、地図更新処理を終了する。
【0064】
上記実施形態によれば、以下のような優れた効果を有することができる。
【0065】
道路標識に係る標識データは、一旦設置されたのちは、誤認識されない限り、同じデータが取得されるはずである。逆に言えば、道路標識が新たに設置された場合、又は撤去された場合、若しくは変更された際、プローブデータに含まれる道路標識に係る標識データが変化する。そこで、クラウドサーバ101は、時系列において記憶されている標識データの変化点を特定し、当該変化点に基づいてPD地図を更新することによって、適切なタイミングに、PD地図を適切に更新することができる。また、時系列に記憶されている標識データの変化点を特定するため、取得されたタイミングにかかわらず多数決などにより道路標識の種類を決定する場合に比較して、誤認識を抑制することができる。
【0066】
道路標識が新たに設置された場合、又は撤去された場合、若しくは変更された場合、種類ごとに標識データの記憶数に顕著な変化が生じる場合が多い。そこで、クラウドサーバ101は、位置情報が対応する標識データにおいて、単位期間ごとに、各種類の標識データの記憶数を積算し、当該記憶数に基づいて尤度の時系列変化を演算している。このため、クラウドサーバ101は、その時系列変化から、尤度の増減を監視することによって、標識データの変化点を適切に特定することができる。
【0067】
また、クラウドサーバ101は、車両が道路標識を認識する際に、誤認識している可能性を考慮して、認識自信度による重みづけを行ったうえで、種類ごとに尤度の時系列変化を演算するようにした。これにより、誤認識している可能性を考慮したうえで、標識データの変化点を適切に特定することができる。
【0068】
また、単位期間あたりにおける標識データの記憶数が同じであっても、生成根拠となるプローブデータのデータ数、つまりサンプリング数の違いにより、尤度が異なる。このため、クラウドサーバ101は、生成根拠となるプローブデータのデータ数によって正規化したうえ尤度を算出することとした。これにより、より正確に変化点を特定することができる。
【0069】
PD地図を利用する車両102の画像認識装置33は、撮影画像に基づいて認識された道路標識と、PD地図に基づく道路標識とを照合して、いずれか一方を照合結果として選択する照合部46を備える。これにより、PD地図を利用する車両102も道路標識を認識して照合するために、より正確な道路標識に関する情報を出力することができる。
【0070】
照合部46は、撮影画像に基づいて認識された道路標識と、地図情報に基づく道路標識とが一致しなかった場合には、撮影画像に基づいて認識された道路標識を照合結果とした。すなわち、PD地図に比較して、撮影画像に基づいて認識された道路標識のほうが、情報が新しく、正確である可能性が高い。このため、道路標識が一致しなかった場合、標識認識部により認識された道路標識を優先して出力するようにした。
【0071】
PD地図を利用する車両102は、測定車両を兼ねており、画像認識装置33により認識された道路標識の標識データをプローブデータに含ませて、クラウドサーバ101は、に送信する。これにより、車両102は、正確な道路標識の出力を行うことができ、かつ、クラウドサーバ101は、車両102の利用に応じて、よりたくさんのプローブデータを集めることができる。
【0072】
画像認識装置33は、機械学習を利用して、道路標識を認識している。これにより、道路標識をより正確に認識することができる。
【0073】
(第2実施形態)
上記第1実施形態の運転支援システムの一部を以下のように変更してもよい。なお、以下の第2実施形態において、第1実施形態と同一もしくは均等である部分には、第1実施形態の説明を援用して、その説明を省略する。
【0074】
第2実施形態において、車両102の画像認識装置33は、撮影画像から工事区間を特定するシーン判定を実施可能に構成されている。すなわち、画像認識装置33は、撮影画像から工事区間を特定するシーン判定部を備える。シーン判定部としての画像認識装置33は、撮影画像において、工事中であることを示す物体が存在しているか否かに基づいて、工事区間を特定する。具体的には、画像認識装置33は、撮影画像から、工事中であることを示す標識や看板を認識できる場合、若しくは、工事区間特有の物体(パイロン、バリケード、工事車両など)を一定数以上認識できる場合、工事区間であると判定する。なお、工事中であることを示す物体の認識方法は、道路標識の認識方法(パターンマッチング等)と同様に行えばよい。
【0075】
次に、第2実施形態における画像認識処理の流れについて図7に基づいて説明する。まず、画像認識装置33は、第1実施形態と同様にして、ステップS101~S105の処理を実施する。
【0076】
ステップS105の判定結果が肯定の場合、すなわち、撮影画像に基づく道路標識と、PD地図に基づく道路標識とが異なった場合、画像認識装置33は、撮影画像から工事区間を特定するシーン判定を実施する(ステップS301)。そして、画像認識装置33は、撮影画像から工事区間が特定できたか否かを判定する(ステップS302)。このステップS301~S302により、画像認識装置33は、シーン判定部として機能する。また、ステップS301~S302が、シーン判定ステップである。
【0077】
ステップS302の判定結果が肯定の場合、すなわち、工事区間であると認識できた場合、画像認識装置33は、ステップS103において認識された道路標識の種類を照合結果とし、照合結果を表示装置36に出力する(ステップS106)。すなわち、表示装置36に照合結果としての撮影画像に基づく道路標識を表示させる。
【0078】
一方、ステップS302の判定結果が否定の場合、すなわち、工事区間であると認識できなかった場合、画像認識装置33は、撮影画像に基づく道路標識の認識自信度が所定値以上であれば、ステップS103において認識された道路標識の種類を照合結果とし、照合結果を表示装置36に出力し、所定値未満であれば、判定不能とする(ステップS303)。なお、判定不能とした場合、画像認識装置33は、照合結果を表示させない。
【0079】
一方、ステップS105の判定結果が否定の場合、すなわち、一致した場合、画像認識装置33は、一致した種類の道路標識を照合結果とし、照合結果を表示装置36に出力する(ステップS107)。
【0080】
ステップS106,S107,S303の処理が終了すると、画像認識装置33は、撮影画像に基づいて認識した標識データを含むプローブデータを作成し、そのプローブデータを、車載通信装置35を介して、クラウドサーバ101に送信する(ステップS108)。
【0081】
この第2実施形態によれば、臨時の道路標識が設置される頻度が多い工事区間において照合対象となる道路標識が設けられている場合であって、道路標識が一致しなかった場合、画像認識装置33は、撮影画像により認識された道路標識を優先して出力するようにした。これにより、より正確に道路標識を表示させることができる。
【0082】
(第3実施形態)
上記第1実施形態の運転支援システムの一部を以下のように変更してもよい。なお、以下の第3実施形態において、第1実施形態と同一もしくは均等である部分には、その説明を省略する。
【0083】
まず、第3実施形態の記憶処理について説明する。クラウドサーバ101は、プローブデータを受信すると、プローブデータを記憶する。より詳しくは、通信装置11は、プローブデータを受信すると、データ記憶装置12に出力する。データ記憶装置12は、入力したプローブデータを記憶する。この記憶処理が、データ記憶ステップに相当する。
【0084】
次に第3実施形態の地図生成処理の流れについて図8に基づいて説明する。地図生成処理は、クラウドサーバ101により所定のタイミングに実行される。クラウドサーバ101は、記憶されているプローブデータを読み出す(ステップS401)。つまり、地図生成装置13は、データ記憶装置12から記憶されている複数のプローブデータを読み出す。次に、クラウドサーバ101は、前述したように、読みだしたプローブデータに含まれる標識データのうち、位置情報が互いに対応する標識データを特定する(ステップS402)。つまり、地図生成装置13が、位置情報が互いに対応する標識データを特定する。
【0085】
そして、クラウドサーバ101は、ステップS402において特定した位置情報が互いに対応する標識データについて、道路標識の種類の多数決を行い、最も記憶数が多い種類の道路標識をPD地図に掲載する道路標識として決定する(ステップS403)。なお、ステップS403において、最も多い記憶数が所定数以下である場合には、誤認識として無視してもよい。この所定数は、プローブデータの総数に応じて適宜設定すればよい。
【0086】
また、クラウドサーバ101は、ステップS402において特定した標識データの位置情報を平均して、ステップS403で決定した道路標識の位置情報(PD地図に掲載する位置情報)として、決定する(ステップS404)。
【0087】
また、クラウドサーバ101は、ステップS402において特定した標識データから、データ数、認識自信度の平均値、位置分散値、種類分散値を算出する(ステップS405)。
【0088】
データ数は、ステップS402において特定した標識データ(を含むプローブデータ)の総数である。認識自信度の平均値は、ステップS402において特定した各標識データに含まれる認識自信度を平均することにより算出される。位置分散値は、ステップS403で決定された道路標識の生成根拠となったプローブデータの標識データに含まれる当該道路標識が検出された位置情報の散らばりの大きさを示すものである。位置分散値は、ステップS402において特定された標識データの位置情報の散らばり(バラツキ)に基づいて、算出される。散らばりが大きいほど位置分散値は、大きくなり、散らばりが少ないほど、位置分散値は小さくなる。
【0089】
種類分散値は、ステップS403で決定された道路標識の生成根拠となった標識データに含まれる道路標識の種類の散らばりの大きさを示すものである。種類分散値は、ステップS402において特定された標識データの種類の散らばり(バラツキ)に基づいて、算出される。散らばりが大きいほど種類分散値は、大きくなり、散らばりが少ないほど、種類分散値は小さくなる。
【0090】
そして、クラウドサーバ101は、ステップS403~S405で決定又は算出した情報に基づいて、PD地図を生成し、更新する(ステップS406)。つまり、地図生成装置13は、ステップS404で決定した位置情報が示す位置に、ステップS403で決定した種類の道路標識が存在するものとしてPD地図を生成し、データ記憶装置12に記憶する。PD地図を生成し、更新する際、地図生成装置13は、各道路標識の種類及び位置情報とともに、ステップS405で算出されたデータ数、認識自信度の平均値、位置分散値、種類分散値を対応付けてデータ記憶装置12に記憶する。そして、地図生成処理を終了する。
【0091】
更新されたPD地図は、上記実施形態と同様にクラウドサーバ101から所定のタイミングで車両102に送信される。PD地図が送信される際、道路標識に対応付けられた各種情報(データ数、認識自信度の平均値、位置分散値、種類分散値)も送信される。
【0092】
次に、第3実施形態における画像認識処理について図9に基づいて説明する。画像認識処理は、車両102の画像認識装置33によって、所定周期ごとに実行される。
【0093】
画像認識処理を開始すると、画像認識装置33は、第1実施形態と同様に、ステップS101~S105の処理を実施する。ステップS105の判定結果が否定の場合、画像認識装置33は、ステップS107,S108を実施して、画像認識処理を終了する。
【0094】
一方、ステップS105の判定結果が肯定の場合、すなわち、撮影画像に基づく道路標識とPD地図に基づく道路標識の種類が異なった場合、画像認識装置33は、ステップS103において認識された道路標識の認識自信度が、第1閾値以下であるか否かを判定する(ステップS501)。この判定結果が肯定の場合、画像認識装置33は、PD地図に基づいて特定された道路標識の種類を照合結果とし、照合結果を表示装置36に出力する(ステップS502)。
【0095】
一方、ステップS501の判定結果が否定の場合、画像認識装置33は、PD地図に基づいて照合対象となった道路標識の生成根拠となったプローブデータのデータ数を特定し、当該データ数が第2閾値以下であるか否かを判定する(ステップS503)。つまり、画像認識装置33は、PD地図において、道路標識に対応付けられているデータ数を取得し、当該データ数が第2閾値以下であるか否かを判定する。この判定結果が肯定の場合、画像認識装置33は、ステップS103において撮影画像に基づいて認識された道路標識の種類を照合結果とし、照合結果を表示装置36に出力する(ステップS504)。
【0096】
また、ステップS503の判定結果が否定の場合、画像認識装置33は、PD地図に基づいて、照合対象となった道路標識の認識自信度の平均値を特定し、平均値が第3閾値以下であるか否かを判定する(ステップS505)。つまり、画像認識装置33は、PD地図において、道路標識に対応付けられている認識自信度の平均値を取得し、当該平均値が第3閾値以下であるか否かを判定する。この判定結果が肯定の場合、画像認識装置33は、ステップS504に移行し、ステップS103において撮影画像に基づいて認識された道路標識の種類を照合結果とし、照合結果を表示装置36に出力する。
【0097】
一方、ステップS505の判定結果が否定の場合、画像認識装置33は、PD地図に基づいて、照合対象となった道路標識の位置分散値を特定し、位置分散値が第4閾値以上であるか否かを判定する(ステップS506)。つまり、画像認識装置33は、PD地図において、道路標識に対応付けられている位置分散値を取得し、当該位置分散値が第4閾値以上であるか否かを判定する。この判定結果が肯定の場合、画像認識装置33は、ステップS504に移行し、ステップS103において撮影画像に基づいて認識された道路標識の種類を照合結果とし、照合結果を表示装置36に出力する。
【0098】
一方、ステップS506の判定結果が否定の場合、画像認識装置33は、PD地図に基づいて、照合対象となった道路標識の種類分散値を特定し、種類分散値が第5閾値以上であるか否かを判定する(ステップS507)。つまり、画像認識装置33は、PD地図において、道路標識に対応付けられている種類分散値を取得し、当該種類分散値が第5閾値以上であるか否かを判定する。この判定結果が肯定の場合、画像認識装置33は、ステップS504に移行し、ステップS103において撮影画像に基づいて認識された道路標識の種類を照合結果とし、照合結果を表示装置36に出力する。
【0099】
そして、ステップS507の判定結果が否定の場合、画像認識装置33は、ステップS402に移行し、PD地図に基づいて特定された道路標識の種類を照合結果とし、照合結果を表示装置36に出力する。
【0100】
ステップS502,S504の処理が終了すると、画像認識装置33は、撮影画像に基づいて認識した標識データを含むプローブデータを作成し、そのプローブデータを、車載通信装置35を介して、クラウドサーバ101に送信する(ステップS108)。そして、画像認識処理を終了する。
【0101】
第3実施形態によれば、次のような効果を得ることができる。
【0102】
照合部46としての画像認識装置33は、道路標識が一致しなかった場合、撮影画像に基づいてステップS103にて認識された道路標識の認識自信度が第1閾値以下の場合には、撮影画像に基づいて認識された道路標識を照合結果として選択(決定)しない。これにより、より信頼度の高い情報を選択し、照合結果として表示させることができる。
【0103】
また、照合部46としての画像認識装置33は、道路標識が一致しなかった場合、PD地図に基づいて照合対象となった道路標識の生成根拠となった標識データのデータ数を特定し、当該データ数が第2閾値以下の場合には、PD地図の道路標識を照合結果として選択(決定)しない。つまり、生成根拠となったプローブデータのデータ数が少ない場合、誤認識している可能性が高いことを考慮することができ、より信頼度の高い情報を選択し、照合結果として表示させることができる。
【0104】
また、照合部46としての画像認識装置33は、道路標識が一致しなかった場合、PD地図に基づいて照合対象となった道路標識の認識自信度の平均値を特定し、当該平均値が第3閾値以下の場合には、PD地図の道路標識を照合結果として選択(決定)しない。すなわち、生成根拠となった標識データの認識自信度の平均値が小さい場合に、誤認識している可能性が高いことを考慮することができ、より信頼度の高い情報を選択し、照合結果として表示させることができる。
【0105】
また、照合部46としての画像認識装置33は、道路標識が一致しなかった場合、PD地図に基づいて照合対象となった道路標識の位置分散値を特定し、当該位置分散値が第4値以上の場合には、PD地図の道路標識を照合結果として選択(決定)しない。すなわち、生成根拠となった標識データの位置情報のバラツキが大きい場合に、誤認識している可能性が高いことを考慮することができ、より信頼度の高い情報を選択し、照合結果として表示させることができる。
【0106】
また、照合部46としての画像認識装置33は、道路標識が一致しなかった場合、PD地図に基づいて照合対象となった道路標識の種類分散値を特定し、当該種類分散値が第5値以上の場合には、PD地図の道路標識を照合結果として選択(決定)しない。すなわち、生成根拠となった標識データの種類のバラツキが大きい場合に、誤認識している可能性が高いことを考慮することができ、より信頼度の高い情報を選択し、照合結果として表示させることができる。
【0107】
(第4実施形態)
上記第1実施形態の運転支援システムの一部を以下のように変更してもよい。なお、以下の第4実施形態において、第1実施形態と同一もしくは均等である部分には、その説明を省略する。
【0108】
第4実施形態において、クラウドサーバ101が実行する記憶処理及び地図生成処理は、第3実施形態と同様であるため、第3実施形態の説明を流用し、説明を省略する。
【0109】
次に、第4実施形態における画像認識処理について図10に基づいて説明する。画像認識処理は、車両102の画像認識装置33によって、所定周期ごとに実行される。
【0110】
画像認識処理を開始すると、画像認識装置33は、第1実施形態と同様に、ステップS101~S105の処理を実施する。ステップS105の判定結果が否定の場合、画像認識装置33は、ステップS107,S108を実施する。
【0111】
一方、ステップS105の判定結果が肯定の場合、すなわち、撮影画像に基づく道路標識とPD地図に基づく道路標識の種類が異なった場合、画像認識装置33は、ステップS103において認識された道路標識の認識自信度に基づいて、撮影画像に基づく道路標識の信頼度を算出する(ステップS601)。ステップS601において、道路標識の認識自信度をそのまま撮影画像に基づく道路標識の信頼度として採用してもよいし、道路状態(天候や時間帯(夜間であるか否かなど))を考慮して、認識自信度を調整して信頼度としてもよい。
【0112】
次に、画像認識装置33は、PD地図に含まれる各種情報を利用して、PD地図に基づく道路標識の信頼度を算出する(ステップS602)。具体的には、画像認識装置33は、PD地図を参照して、照合対象となる道路標識に対応付けられた認識自信度の平均値を取得し、当該平均値を、PD地図に基づく道路標識の信頼度の基礎値とする。このため、認識自信度の平均値が高い場合には、小さい場合に比較して信頼度が高くなる。
【0113】
次に、画像認識装置33は、PD地図を参照して、照合対象となる道路標識に対応付けられた当該道路標識の生成根拠となった標識データ(プローブデータ)のデータ数を特定し、データ数により信頼度の調整を行う。具体的には、標識データのデータ数が多い場合には、少ない場合に比較して信頼度が高くなるように基礎値を調整する。
【0114】
さらに、画像認識装置33は、PD地図を参照して、照合対象となる道路標識に対応付けられた位置分散値を取得し、位置分散値により信頼度の調整を行う。具体的には、位置分散値が大きい場合には、小さい場合に比較して信頼度が低くなるように、基礎値(データ数により調整済みの基礎値)を調整する。
【0115】
同様に、画像認識装置33は、PD地図を参照して、照合対象となる道路標識に対応付けられた種類分散値を取得し、種類分散値により信頼度の調整を行う。具体的には、種類分散値が大きい場合には、小さい場合に比較して信頼度が低くなるように、基礎値(データ数及び位置分散値により調整済みの基礎値)を調整する。
【0116】
ステップS601,S602において信頼度を算出すると、画像認識装置33は、撮影画像に基づく道路標識の信頼度と、PD地図に基づく道路標識の信頼度を比較し、信頼度の高い道路標識を照合結果として選択(決定)する(ステップS603)。
【0117】
そして、画像認識装置33は、ステップS603で決定された道路標識の種類を照合結果とし、照合結果を表示装置36に出力する(ステップS604)。ステップS604の処理が終了すると、画像認識装置33は、撮影画像に基づいて認識した標識データを含むプローブデータを作成し、そのプローブデータを、車載通信装置35を介して、クラウドサーバ101に送信する(ステップS108)。そして、画像認識処理を終了する。
【0118】
第4実施形態によれば、次のような効果を得ることができる。
【0119】
照合部46としての画像認識装置33は、道路標識が一致しなかった場合、撮影画像に基づく道路標識の信頼度と、PD地図に基づく道路標識の信頼度を算出して、それらを比較することにより、照合結果を選択(決定)する。このため、より信頼度の高い情報を選択し、照合結果として表示させることができる。
【0120】
撮影画像に基づく道路標識の信頼度は、当該道路標識の認識自信度に基づいて算出される。また、PD地図に基づく道路標識の信頼度は、当該道路標識に対応付けられている生成根拠となった標識データ(プローブデータ)のデータ数、認識自信度の平均値、位置分散値、及び種類分散値に基づいて調整される。これにより、より信頼度の高い情報を選択し、照合結果として表示させることができる。
【0121】
なお、第4実施形態では、PD地図に基づく道路標識の信頼度は、データ数、認識自信度の平均値、位置分散値、及び種類分散値に基づいて算出されたが、このうちいずれか1又は2つ以上の値に基づいて算出されてもよい。
【0122】
(他の実施形態)
上記実施形態の構成の一部を変更してもよい。以下、上記実施形態の構成の一部を変更した他の実施形態(変形例)について説明する。
【0123】
・上記第2実施形態において、画像認識装置33は、画像認識装置33によるシーン判定の判定結果(すなわち、工事区間であるか否かの判定結果)をプローブデータに含ませてもよい。そして、クラウドサーバ101は、シーン判定の判定結果を利用して、PD地図を更新するか否かの判断材料としてもよい。
【0124】
例えば、クラウドサーバ101は、位置情報が工事区間に対応する標識データに基づいて尤度の変化点を特定する際、判定値(第1判定値及び第2判定値)を小さくしてもよい。つまり、工事区間においては、臨時の道路標識が設置される頻度が多いことを考慮して、変化点の判断基準を下げてもよい。すなわち、変化幅が小さくても変化点としてもよい。これにより、工事区間中において設置される臨時の道路標識に対応してPD地図を迅速に更新することが可能となる。
【0125】
なお、この変形例の場合、プローブデータに工事中であることを示す物体に係る情報を含ませて、クラウドサーバ101が、プローブデータに基づいて、工事区間を特定するための判定するシーン判定を実施してもよい。
【0126】
上記第2実施形態のステップS302の判定結果が否定の場合、すなわち、工事区間であると認識できなかった場合、画像認識装置33は、認識自信度にかかわらず判定不能としてもよい。また、道路標識の認識自信度が所定値未満であれば、PD地図に基づく道路標識を照合結果としてもよい。そのほか、第3実施形態のステップS501~S507の処理や、第4実施形態のステップS601~S604の処理を実行してもよい。
【0127】
・上記第3実施形態において、ステップS501、S503~S507の処理順序を任意に変更してもよい。例えば、ステップS501よりも先に、ステップS503~S507の判定を行い、ステップS507の判定結果が否定の場合、ステップS501を実行してもよい。
【0128】
・上記第3実施形態において、第1閾値~第5閾値は、それぞれ任意の数を設定すればよい。
【0129】
・上記第3実施形態において、ステップS501の判定結果が否定の場合、判定不能としてもよい。その際、結果を表示させなくてもよい。
【0130】
・上記実施形態において、車両102は、計測したプローブデータをクラウドサーバ101に送信する測定車両と、PD地図がクラウドサーバ101から提供され、PD地図を利用する利用車両とを兼ねていたが、いずれか一方の役割のみであってもよい。
【0131】
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
【符号の説明】
【0132】
23…データ記憶部、24…地図更新部、41…画像情報取得部、42…標識認識部、45…標識特定部、46…照合部、47…出力部、100…運転支援システム、101…クラウドサーバ、102…車両。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10