(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-21
(45)【発行日】2022-01-17
(54)【発明の名称】地物検出システム
(51)【国際特許分類】
G01C 21/28 20060101AFI20220107BHJP
G09B 29/00 20060101ALI20220107BHJP
G06T 1/00 20060101ALI20220107BHJP
【FI】
G01C21/28
G09B29/00 Z
G06T1/00 330A
(21)【出願番号】P 2017110512
(22)【出願日】2017-06-05
【審査請求日】2020-04-15
(73)【特許権者】
【識別番号】597151563
【氏名又は名称】株式会社ゼンリン
(72)【発明者】
【氏名】岩田 繁幸
(72)【発明者】
【氏名】宮▲崎▼ 康平
【審査官】久保田 創
(56)【参考文献】
【文献】国際公開第2017/208396(WO,A1)
【文献】特開2016-173321(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 21/28
G09B 29/00
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
データ記憶部に記憶された特定の地物が存在する可能性のある第1の領域に対応する第1の領域情報を参照して特定の地物の誤検出を判定する判定部を有する地物検出システムであって、
前記データ記憶部は、前記特定の地物が別の位置から変更して設置される可能性のある第2の領域に対応する第2の領域情報を有し、
前記判定部は、画像から前記特定の地物を検出する検出部によって検出された前記特定の地物の
位置と、
前記特定の地物の前記第1の領域情報に基づく前記第1の領域
との位置関係に基づいて、前記検出された特定の地物の誤検出を判定
し、
前記特定の地物が誤検出でないと判定した場合、前記検出された特定の地物の位置と、前記特定の地物の前記第2の領域情報に基づく前記第2の領域との位置関係に基づいて、前記検出された特定の地物が以前に別の位置に設置されていた地物であるかを判定する地物検出システム。
【請求項2】
前記地物検出システムは、さらに更新部を有し、
前記更新部は、前記判定部が前記検出された特定の地物の各々に関する位置と、前記特定の地物の前記第2の領域との位置関係に基づき、前記検出された特定の地物が以前に別の位置に設置されていた地物であると判定した場合、前記データ記憶部に記憶された特定の地物に関する位置の情報を前記検出された特定の地物の前記位置の情報に基づいて更新する請求項1記載の地物検出システム。
【請求項3】
前記地物検出システムは、さらに更新部を有し、
前記更新部は、前記判定部が前記検出された特定の地物の各々に関する位置と、前記特定の地物の前記第2の領域との位置関係に基づき、前記検出された特定の地物が以前に別の位置に設置されていた地物ではないと判定した場合、前記データ記憶部に前記検出された特定の地物の情報を追加する請求項1または請求項2記載の地物検出システム。
【請求項4】
前記データ記憶部は、道路を構成する車線の走行方向に沿った位置の情報及び車線の繋がりをあらわす情報を含む車線に関する情報の一部を構成する情報であって、前記車線の一部である所定の区間の走行方向に沿った位置の情報及び前記所定の区間に隣接する区間との繋がりをあらわす情報とを含む区間情報とを有し、
前記判定部は、前記検出された特定の地物の位置と、前記区間情報に関連する第1の領域情報に基づく前記第1の領域との位置関係に基づいて、前記検出された特定の地物の誤検出を判定し、
前記検出部によって検出される前記特定の地物は前記道路を構成する車線の走行方向に沿って存在する地物である請求項1から請求項3のいずれか1項記載の地物検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、地物検出システム及び地図データのデータ構造技術に関する。
【背景技術】
【0002】
近年、地物を精度よく検出し、もって車両の運転を支援する装置が普及している。これに関連して、自車両に搭載された画像認識装置を備え、各地物の画像認識に成功する可能性をあらわす認識可能性情報に基づいて画像認識処理の対象とする地物を決定する技術が提案されている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、地物を適切に検出することを可能とする地物検出システム及び地図データのデータ構造を提供することを課題とする。
【課題を解決するための手段】
【0005】
本発明の一形態によれば、データ記憶部に記憶された特定の地物が存在する可能性のある第1の領域に対応する第1の領域情報を参照して特定の地物の誤検出を判定する判定部を有する地物検出システムを提供する。この地物検出システムは、データ記憶部は、特定の地物が別の位置から変更して設置される可能性のある第2の領域に対応する第2の領域情報を有し、判定部は、画像から特定の地物を検出する検出部によって検出された特定の地物の位置と、特定の地物の第1の領域情報に基づく第1の領域との位置関係に基づいて、検出された特定の地物の誤検出を判定し、特定の地物が誤検出でないと判定した場合、検出された特定の地物の位置と、特定の地物の第2の領域情報に基づく第2の領域との位置関係に基づいて、検出された特定の地物が以前に別の位置に設置されていた地物であるかを判定する。
【0006】
上記の地物検出システムにおいて、さらに更新部を有し、データ記憶部は、既存の特定の地物の各々に関する位置の情報の情報を有し、更新部は、判定部が検出された特定の地物の各々に関する位置と、特定の地物の第2の領域との位置関係に基づき、検出された特定の地物が以前に別の位置に設置されていた地物であると判定した場合、既存の特定の地物に関する位置の情報を検出された特定の地物の位置の情報に基づいて更新する。
【0007】
上記の地物検出システムにおいて、さらに更新部を有し、データ記憶部は、既存の特定の地物の各々に関する位置の情報を有し、更新部は、判定部が検出された特定の地物の各々に関する位置と、特定の地物の第2の領域との位置関係に基づき、検出された特定の地物が以前に別の位置に設置されていた地物ではないと判定した場合、検出された特定の地物の位置の情報を追加する。
【0008】
上記の地物検出システムにおいて、データ記憶部は、道路を構成する車線の走行方向に沿った位置の情報及び車線の繋がりをあらわす情報を含む車線に関する情報の一部を構成する情報であって、車線の一部である所定の区間の走行方向に沿った位置の情報及び所定の区間に隣接する区間との繋がりをあらわす情報とを含む区間情報とを有し、判定部は、検出された特定の地物の位置と、区間情報に関連する第1の領域情報に基づく第1の領域との位置関係に基づいて、検出された特定の地物の誤検出を判定し、検出部によって検出される特定の地物は道路を構成する車線の走行方向に沿って存在する交通に関する地物である。
【図面の簡単な説明】
【0011】
【
図1】実施形態1乃至変形例の地物検出システムを説明するための図である。
【
図2】実施形態1の地図データのデータ構造の概念を説明するための図である。
【
図3】実施形態1の地図データのデータ構造の詳細を説明するための図である。
【
図4】実施形態1の地図データのデータ構造の詳細を説明するための図である。
【
図5】実施形態1の地図データのデータ構造の詳細を説明するための図である。
【
図6】実施形態1の地図データのデータ構造の概念を説明するための図である。
【
図7】実施形態1の地図データのデータ構造の詳細を説明するための図である。
【
図8】実施形態1の地図データのデータ構造の詳細を説明するための図である。
【
図9】実施形態1の地物検出処理の動作フローの詳細を説明するための図である。
【
図10】実施形態1の地物検出処理の動作フローの詳細を説明するための図である。
【
図11】実施形態1の地物検出処理の動作フローの詳細を説明するための図である。
【
図12】実施形態1の地物検出処理の動作フローの詳細を説明するための図である。
【
図13】実施形態1の地物検出処理の動作フローの詳細を説明するための図である。
【
図14】変形例の地図データのデータ構造の詳細を説明するための図である。
【
図15】変形例の地図データのデータ構造の詳細を説明するための図である。
【
図16】変形例の地図データのデータ構造の詳細を説明するための図である。
【
図17】変形例の地図データのデータ構造の詳細を説明するための図である。
【発明を実施するための形態】
【0012】
図1は、制御システムの一例である実施形態1乃至2における地物検出システム1である。その地物検出システム1は、移動体である車両2に搭載され、情報制御部3、記憶部4、入力部5、位置取得部6、車速情報取得部7、検出部8及び車両制御部9を有する。情報制御部3は、地図データ取得部10、経路探索部11、位置特定部12、経路特定部13、誘導部14、地物誤検出判断部15、地物情報更新部16等の所定の機能を実現する機能部を含み、図示していないCPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)を備える。情報制御部のCPUは、ROMに格納された各種プログラムを読み出して、RAMに展開して実行することで、各種プログラムに関する機能を実現する。なお、地図データ取得部10、経路探索部11、位置特定部12、経路割当部13、誘導部14、地物誤検出判断部15、地物情報更新部16等の機能部は、プログラムによって実現される機能である。
【0013】
記憶部4は、ハードディスクやSD-RAM等の大容量記憶媒体で構成されている。 記憶部4には、経路探索処理、車両の位置特定、車両誘導制御等に用いられる地図データ20が記憶されている。地図データ20は、道路ネットワーク情報30、車線ネットワーク情報31、地物情報32、関連情報33、基本情報テーブル34、存在可能領域テーブル35、存在確率テーブル36、存在確率閾値テーブル37、移動可能領域テーブル38、移動確率テーブル39、移動確率閾値テーブル40を有している。また、地図データ20には2次メッシュを256分割したメッシュ情報を含んでおり、道路ネットワーク情報30、車線ネットワーク情報31、地物情報32、関連情報33、基本情報テーブル34、存在可能領域テーブル35、存在確率テーブル36、存在確率閾値テーブル37、移動可能領域テーブル38、移動確率テーブル39、移動確率閾値テーブル40を構成する各々の情報とメッシュ情報とが関連付けられた状態で記憶されている。
【0014】
道路ネットワーク情報30は、道路の特定地点(例えば、道路の分岐地点)に関する情報を含む複数の地点情報及び道路の所定区間に関する情報を含む複数の道路区間情報を有し、その複数の地点情報及びその複数の道路区間情報により道路の繋がりをあらわす情報である。車線ネットワーク情報31は、道路を構成する車線の走行方向に沿った位置の情報及び車線の繋がりをあらわす情報を含む車線に関する情報の一部を構成する情報であり、その車線の一部である所定の区間の走行方向に沿った位置の情報及びその所定の区間に隣接する区間との繋がりをあらわす情報とを含む複数の車線区間情報から構成されている。この車線ネットワーク情報31は、道路を構成する車線の走行方向に沿った位置の情報及び車線の繋がりをあらわす情報を含む車線に関する情報の一部を構成する情報であって、車線の一部である所定の区間の走行方向に沿った位置の情報及び所定の区間に隣接する区間との繋がりをあらわす情報とを含む区間情報の一例である。
地物情報32は、道路沿いに存在する標識をあらわす標識情報、道路の区画線をあらわす区画線情報等を含むものである。関連情報33は、車線ネットワーク情報31の車線区間情報と地物情報とを関連付けるための情報であり、具体的には、車線区間情報と標識情報とを関連付ける標識関連情報、車線区間情報と区画線情報とを関連付ける区画線関連情報等を含むものである。なお、車線区間情報、地物情報及び関連情報の詳細については、後述で説明する。
【0015】
地図データ取得部10は、地図データの取得要求に応じて、記憶部4に記憶されている所望の地図データ20を抽出する。経路探索部11は、記憶部4に記憶されている道路ネットワーク情報30を用いて経路探索処理を実行する。具体的には、経路探索部11は、道路ネットワーク情報30に含まれる道路区間情報と地点情報とを用いて出発地から目的地に至る経路探索処理を実行する。そして、経路探索処理により出発地から目的地に至るまでの道順(出発地から目的地までを接続する複数の地点情報と複数の道路区間情報)を示す経路情報が作成される。なお、経路探索の手法としては、ダイクストラ法など周知の方法を採用し、道路区間情報に含まれるコスト情報を用いて出発地から目的地までの最短経路を探索する。
【0016】
入力部5は、利用者から経路設定や車両誘導のための指示入力を受付ける。位置取得部6は、GPS(Global Positioning System)を構成する人工衛星から受信した電波や、車両に備えられたジャイロからの信号に基づいて、緯度及び経度を含む車両の位置に関する位置情報を取得する。車速情報取得部7は、車速センサから取得したパルス信号に基づいて、車両の速度に関する情報を取得する。検出部8は、車両周辺の標識や信号機や道路の標示ペイント(例えば、区画線)等の被写体の画像情報である車両の周辺情報を取得する。
位置特定部12は、位置取得部6により取得された位置情報から車両の位置が道路上のいずれの位置であるかを特定したり、地物情報33及び画像取得部8により取得された
周辺情報から車両の位置が道路上のいずれの位置であるかを特定する。
【0017】
経路特定部13は、経路探索部11で作成された道路ネットワーク情報30の経路情報を用いて車線ネットワーク情報31に経路を特定する処理を行う。なお、以下で説明する実施形態は、経路特定部13により車線ネットワーク情報31に特定された経路を走行する例である。 誘導部14は、車両制御部が道路の所定の車線に沿って移動するように車両を制御するための誘導情報を生成し、車両制御部9に出力する。車両制御部9は、誘導情報に基づき道路の所定の車線に沿って移動するように車両を制御(操舵、加速・減速、停止等)する。
【0018】
なお、地物検出システム1は、情報制御部3及び記憶部4が、車両2内に搭載されず、サーバ内に搭載され、サーバ内の情報制御部3が、通信情報として、入力部5、位置取得部6、車速情報取得部7及び画像取得部8の情報を受領するとともに、地物誤検出判断部15及び地物情報更新部16の処理を行い、通信情報として誘導情報を車両制御部9に出力する構成であっても良い。また、地物検出システム1は、記憶部20が、車両2内に搭載されず、サーバ内に搭載され、車両内の情報制御部3が、地図データの取得要求に応じて、記憶部4に記憶されている所望の地図データ20を通信情報によって抽出及び受領する構成であっても良い。
【0019】
(実施形態1)
図2は、本実施形態の地図データ20のデータ構造の概念を説明するための図である。50は、地図データ20のデータ構造の概念図であり、車線区間情報LL1~LL6、標識情報M1及びM2、信号機情報TL1、境界線情報BL1及びBL2、区画線情報CL1~CL3、停止線情報S1等を含んでいる。車線区間情報LL1と標識情報M1とが関連情報R1により、車線区間情報LL2と標識情報M1とが関連情報R2により、車線区間情報LL3と標識情報M2とが関連情報R3により、車線区間情報LL4と標識情報M2が関連情報R4により、車線区間情報LL3と信号機情報TL1とが関連情報R5により、車線区間情報LL4と信号機情報TL1とが関連情報R6により各々関連付けられている。また、車線区間情報LL1と境界線情報BL1とが関連情報R7により、車線区間情報LL3と境界線情報BL1とが関連情報R8により、車線区間情報LL5と境界線情報BL1とが関連情報R9により、車線区間情報LL2と境界線情報BL2とが関連情報R10により、車線区間情報LL4と境界線情報BL2とが関連情報R11により、車線区間情報LL6と境界線情報BL2とが関連情報R12により各々関連付けられている。また、車線区間情報LL1と区画線情報CL1及び区画線情報CL2が関連情報L13により、車線区間情報LL2と区画線情報CL2及び区画線情報CL3が関連情報R14により、車線区間情報LL3と停止線情報S1とが関連情報R15により、車線区間情報LL4と停止線情報S1とが関連情報R16により、車線区間情報LL6と停止線情報S1とが関連情報R17により各々関連付けられている。51は実際の道路をあらわす図であり、2つの車線を含む道路と50km走行の速度規制をあらわす速度標識、一時停止をあらわす規制標識、停止線、及び信号機をあらわしている。また特定の地物Aは検出部8によって検出された特定の地物をあらわしている。
【0020】
図3~
図6は、本実施形態の地図データ20のデータ構造の詳細を説明するための図である。
【0021】
図3(a)は、車線ネットワーク情報31の車線区間情報LL1~LL6の詳細を説明するための図である。車線区間情報LL1~LL6の各々は、その車線区間情報LL1~LL6を識別するための識別情報、その車線区間情報LL1~LL6に対応する車線の中心線の座標点列をあらわす座標情報、その車線区間情報座標情報LL1~LL6に対応する区間の退出側の区間に対応する車線区間情報の識別情報である退出側識別情報、その車線区間情報LL1~LL6に対応する区間の進入側の区間に対応する車線区間情報の識別情報である進入側識別情報等が含まれている。そして、座標情報により道路を構成する車線の走行方向に沿った位置をあらわし、退出側識別情報及び進入側接続識別情報により車線の繋がりをあらわしている。
【0022】
図3(b)は、地物情報32の詳細を説明するための図である。地物情報32は、その地物情報を識別するための識別情報、その地物の種別をあらわす地物種別情報、その地物の中心をあらわす座標情報を緯度経度(x、y)及び高さ(z)で含んでいる。なお、地物情報32に含まれる座標情報は、その地物の中心座標を含んでいても、その地物の形状をあらわす座標を複数含んでいても良い。
【0023】
図4は、関連情報33の詳細を説明するための図である。関連情報R1~R17は、その関連情報を識別するための識別情報、地物情報を識別するための地物の識別情報、車線区間情報を識別するための車線区間識別情報、地物情報が対応する車線区間情報に対して左右いずれに位置するかを示す地物位置情報を含んでいる。
【0024】
図5(a)は、基本情報テーブル34の詳細を説明するための図である。基本情報テーブル34は、存在可能領域及び移動可能領域の緯度経度(x、y)及び高さ(y)を構成する各要素の基準をなす情報を含んでいる。標識高さHHは標識の地表面からの高さをあらわす情報である。縁石高さEHは縁石の地表面からの高さをあらわす情報である。歩道幅情報HWは歩道の幅をあらわす情報である。レーン幅LWは道路を構成するレーンの幅をあらわす情報である。信号高さSHは信号機の地表面からの高さをあらわす情報である。外側線と歩道間の幅MWは外側線と歩道間の幅をあらわす情報である。
【0025】
図5(b)は、存在可能領域テーブル35(相対座標)の詳細を説明するための図である。存在可能領域テーブル35(相対座標)は、特定の地物が存在する可能性のある領域であり、存在可能領域テーブル35(相対座標)は存在可能領域に対応する情報を含んでいる。より具体的には、存在可能領域テーブル35(相対座標)は、その特定の地物に対応する地物種別の情報をあらわす検出地物の情報、その特定の地物が存在する可能性のある領域の基準となる基準地物の情報、その特定の地物の基準地物に対する相対的な位置の方向をあらわす基準地物との相対位置方向の情報、その基準地物の位置を基準とした相対位置座標に対応する地物の存在する存在可能領域A0~Anを含んでいる。そして、その存在可能領域A0~Anに含まれる相対位置座標により存在可能領域A0~Anの領域の矩形の位置の絶対的な緯度情報(x)及び高さ情報(z)を判断することが可能となる。例えば、検出地物である標識M1であれば、基準地物のx方向の座標の位置を基準にして左方向にHWの位置までの幅を有するとともに、基準地物のz方向の座標の位置を基準にして高さ方向にEHの位置からHHの位置までの高さを有する存在可能領域をあらわしている。存在可能領域テーブル35は、特定の地物が存在する可能性のある存在可能領域に対応する存在可能領域情報の一例である。
【0026】
図5(c)は、存在確率テーブル36の詳細を説明するための図である。存在確率テーブル36は、存在可能領域との距離に応じて、特定の地物が存在する確率をあらわしている。例えば、存在可能領域との距離がプラスマイナス0%である場合、特定の地物が存在する確率は100%である。存在可能領域との距離がプラスマイナス10%である場合、特定の地物が存在する確率は80%である。このように、存在可能領域との距離が大きくなるにつれて、特定の地物が存在する確率が低くなっている。
【0027】
図5(d)は存在確率閾値テーブル37の詳細を説明するための図である。存在確率閾値テーブル37は、特定の地物に対応する閾値を含んでいる。例えば、特定の地物が標識である場合、閾値は80%である。また、特定の地物が道路標示である場合、閾値は50%である。
【0028】
図6は、
図5(a)及び
図5(b)に基づく存在可能領域35(相対座標)の概念を説明するための図である。
図6(a)は、基本情報テーブル34であり、
図5(a)と同一である。
図6(b)は、検出地物が標識M1であり、基準地物が道路境界線BL1である場合の存在可能領域A1をあらわしている。存在可能領域A1のAL1は、車線区間情報NWLL1の幅であるLL1Wと同一である。存在可能領域A1のAL2は、EH及びHHと同一である。存在可能領域A1のAL3は-HWと同一である。基準点pは、車線区間情報LL1の始点座標から道路境界線BL1に対して垂線を引いた交点をあらわしている。基準点pは、存在可能領域A1のAL1~AL3と接続している。
図6(c)は、基準地物が道路境界線BL1である場合の存在可能領域A1の一例をあらわしている。基準点pと存在可能領域A1におけるAL1~AL3とは、150cm幅としている。この150cm幅は、標識の設置高さの下限値である150cmに対応している。
【0029】
図7(a)は、移動可能領域テーブル38の詳細を説明するための図である。移動可能領域テーブル38は、画像から特定の地物を検出する検出部によって検出される特定の地物が以前に別の位置に設置されていた場合に、別の位置として可能性のある領域であり、移動可能領域テーブルは移動可能領域に対応する情報を含んでいる。より具体的には、移動可能領域テーブルは、特定の地物に対応する地物の種別をあらわす基準地物情報、その基準地物の位置を基準とした相対位置座標をあらわす緯度経度情報(x、y)及び高さ情報(z)を含んでいる。そして、その相対位置座標により配置可能領域の周縁となる位置の絶対的な緯度経度情報(x、y)及び高さ情報(z)を判断することが可能となる。例えば、基準地物が標識あれば、配置可能領域は、基準地物のx方向の座標の位置を基準にして-x方向にHA1、+y方向にHA1の位置までの幅を有し、基準地物のy方向の座標の位置を基準にして-y方向にHB1、+y方向にHB1の位置までの幅を有し、基準地物のz方向の座標の位置を基準にして-z方向にHC1、+z方向にHC1の位置までの幅を持つ領域を有している。なお、移動可能領域テーブル38は、以前設置されていた固定型の標識等の地物に対して定義しても良いし、移動型の標識等の地物に対して定義するものとしても良い。移動可能領域テーブル38は、検出された特定の地物が以前に別の位置に設置されていた場合に、別の位置として可能性のある移動可能領域に対応する移動可能領域情報の一例である。
【0030】
図7(b)は、移動確率テーブル39の詳細を説明するための図である。移動確率テーブル39は、移動可能領域との距離に応じて、特定の地物が存在する確率をあらわしている。例えば、移動可能領域との距離がプラスマイナス0%である場合、地物が移動している確率は0%である。また、移動可能領域との距離がプラスマイナス40%である場合、特定の地物が移動している確率は80%である。このように、移動可能領域との距離が大きくなるにつれて、特定の地物が移動している確率が高くなる。
【0031】
図7(c)は移動確率閾値テーブル40の詳細を説明するための図である。移動確率閾値テーブル40は、特定の地物に対応する閾値を含んでいる。例えば、特定の地物が標識である場合、閾値は80%である。また、特定の地物が道路標示である場合、閾値は50%である。
【0032】
図8は、
図7(a)に基づく移動可能領域テーブル38の詳細を説明するための図である。
図8(a)は、標識M1における移動可能領域B1、標識M2における移動可能領域B2をあらわしている。また、移動可能領域B1及び移動可能領域B2は、それぞれ標識M1及び標識M2の縦横幅の領域に対して、検出精度等で補正された領域をあらわしている。
図8(b)は、移動可能領域B1による移動有無判定の例を示している。検出地物Aは検出部8によって検出された地物であり、距離D2は、検出地物Aと移動可能領域B1との距離をあらわしている。なお、距離D2の算出は、検出地物Aと標識情報M1との距離でも良い。
【0033】
図9は、実施形態1の地物検出処理の動作フローを説明するための図である。
情報制御部3は、地物検出情報取得処理、存在可能領域算出処理、判定処理、地物情報更新処理を行う。以下では
図2~
図13を適宜参照しながら、地物検出情報取得処理、存在可能領域算出処理、判定処理、地物情報更新処理の詳細を説明する。
【0034】
図10は、地物検出情報取得処理の動作フローを説明するための図である。
情報制御部3は、地物検出情報取得処理として以下の処理を行う。
(1)画像から特定の地物を検出する検出部8によって検出された特定の地物Aを検出する。例えば、予め地物の形状に関するパターンデータと特定の地物Aの形状を比較するパターンマッチングや学習モデルに記憶された地物の形状、模様、色彩等と特定の地物Aの形状、模様、色彩等を比較することにより特定の地物Aを検出する(ステップS100)。
(2)検出された特定の地物Aの位置A0を取得する。特定の地物Aの位置A0は、緯度経度などの絶対位置でも良く、車両と特定の地物Aの相対位置でも良い(ステップS101)。
(3)検出された特定の地物である特定の地物Aの地物の種別を取得する。予め地物の形状に関するパターンデータと特定の地物Aの形状を比較しパターンマッチングや学習モデルに記憶された地物の形状、模様、色彩等と特定の地物Aの形状、模様、色彩等を比較することにより地物の種別を取得する。地物の種別には、標識、信号機、道路標示等の地物毎の大分類の種別を取得するものとしても良い。また地物が標識である場合規制標識、案内標識、指示標識としても良いし、地物が信号機である場合、矢印信号や歩行者信号等の小分類の種別を取得するものとしても良い(ステップS102)。この特定の地物Aは、検出部によって検出される道路を構成する車線の走行方向に沿って存在する交通に関する地物の一例である。
(4)検出部8の検出精度情報を取得する。検出精度情報は検出部8において画像を取得した際の精度を示すものであり、例えばメートル単位の精度や、センチメートル単位の精度でも良い。また、横方向に10cm、縦方向に50cmのように縦方向と横方向で異なる精度でもよい(ステップS103)。
【0035】
図11は、存在可能領域算出処理の動作フローを説明するための図である。情報制御部3は、存在可能領域算出処理として以下の処理を行う。
(1)特定の地物Aの位置情報と車線ネットワークデータ31に含まれる複数の車線区間情報の各々の座標情報とを比較し、特定の地物Aに最も近い位置座標を有する車線ネットワークデータ31が車線区間情報LL3であることを特定し車線区間情報LL3を取得する(ステップS200)。
(2)特定の地物Aの地物の種別である標識に基づいて、存在可能領域テーブル35から
特定の地物Aである標識に対応する基準地物の道路境界線BL1を取得する。(ステップS201)。
(3)基準地物の道路境界線BL1の中心座標と存在可能領域テーブルの領域A0~領域ANに基づいて、道路境界線BL1に関する存在可能領域情報A1を算出する。ここで、存在可能領域情報A1のy方向の範囲は、車線区間情報LL3の一方の端点から他方の端点までの範囲(
図6(b)参照)である。ここで、車線区間情報LL3の退出側識別情報LL5及び進入側識別情報LL1(
図3(a)参照)に基づいて、存在可能領域情報A1のy方向の範囲は、車線区間情報LL3の車線変更情報LL1とは反対側の端点から車線区間情報LL5の車線変更情報LL1とは反対側の端点までの範囲としても良い(ステップS202)。
(4)関連情報33に基づいて取得した車線区間情報LL3に関連する地物を取得する。車線区間情報LL3には、関連情報R3により標識情報M2、関連情報R5により信号機情報TL1、関連情報R7により道路境界線情報BL1、関連情報R15により停止線情報S1が関連付けられているため、標識情報M2、信号機情報TL1,道路境界線情報BL1,停止線情報S1を取得する(ステップS203)。
(5)取得された関連する地物である標識情報M2、信号機情報TL1,道路境界線情報BL1、停止線情報S1に基づいて、存在可能領域情報A1から標識情報M2、信号機情報TL1,道路境界線情報BL1、停止線情報S1に対応する領域情報を削除する(ステップS204)。(6)存在可能領域A1が属するメッシュ情報を取得し、当該メッシュに関連付けられたすべての車線区間情報の座標点列に基づいて。車線区間の座標点列から車線区間情報の存在する車線区間情報存在領域を作成する。そして、存在可能領域情報A1から車線区間情報存在領域に対応する領域情報を削除する(ステップS205)
【0036】
図12は、判定処理の動作フローを説明するための図である。情報制御部3は、判定処理として以下の処理を行う。
(1)取得した車線ネットワークデータ31の関連地物に地物種別T1の存在可能領域情報A1が存在するか判定する。関連地物に地物種別T1である道路境界線情報BL1の存在可能領域情報A1が存在する場合(ステップ300でYes)、取得したレーンネットワークデータ31には特定の地物Aの存在可能領域情報A1があると判定する。一方で関連地物に地物種別T1である道路境界線情報BL1の存在可能領域情報A1が存在しない場合(ステップS300でNO)、特定の地物Aは誤検出であると判定し(ステップS310)、判定処理を終了する。
(2)検出部8の精度情報を基に、道路境界線情報BL1の存在可能領域情報A1を補正する。例えば検出部8の精度情報が横方向1m、縦方向1mである場合、道路境界線情報BL1の存在可能領域A1の緯度経度情報をそれぞれ1m補正し存在可能領域情報A2とする(ステップS301)。
(3)特定の地物Aの位置A0が存在可能領域情報A2の範囲内に含まれる場合(ステップS302でYES)、地物情報更新処理に進む.一方で、特定の地物Aの位置A0が存在可能領域情報A2の範囲内に含まれない場合(ステップS302でNO)、特定の地物Aと存在可能領域情報A2との距離D0を算出する。距離D0は、地物の重心からの距離でも良いし、別途計算した地物自体の存在領域との距離を用いても良い(ステップS303)。
(4)検出部8の精度情報を基に、距離D0を補正する。例えば検出部8の精度情報が横方向1m、縦方向1mである場合、距離D0の緯度経度情報をそれぞれ1m補正し距離D1とする(ステップS304)。
(5)距離D1と存在確率テーブルとに基づいて特定の地物Aの存在確率α0を算出する。例えば、補正された距離D0と存在可能領域との距離がプラスマイナス10%であれば、特定の地物Aの存在確率α0が80%であると算出する(ステップS305)。
(6)特定の地物Aの存在確率閾値β0を取得する。特定の地物Aは標識であるため、対応する存在確率閾値β080%を取得する(ステップS306)。
(7)算出した存在確率α0と取得した存在確率閾値β0を比較し、存在確率α0が存在確率閾値β0よりも大きい場合(ステップS307でYES)、地物情報更新処理に進む。一方で、存在確率α0が存在確率閾値β0以下の場合(ステップS307でNO)、検出した特定の地物Aは誤検出であると判定し(ステップS310)、判定処理を終了する。
上記の処理は、判定部が画像から特定の地物を検出する検出部によって検出された特定の地物の存在可能領域情報に基づく存在可能領域に対する位置関係に基づいて、検出された特定の地物の誤検出を判定する処理の一例である。
【0037】
図13は、地物情報更新処理の動作フローを説明するための図である。情報制御部3は、地物情報更新処理として以下の処理を行う。
(1)特定の地物Aと車線区間情報LL3に関連する地物に同じ種別T0の地物Bが存在するか判定する。特定の地物Aと車線区間情報LL3に関連する地物である標識情報M2とは同じ種別であるため、特定の地物Aと標識情報M2とは同一である可能性があると判定する(ステップS400でYES)、一方で、関連する地物と特定の地物Aとが同じ種別でない場合(ステップS400でNO)、特定の地物Aは新規地物として地図情報に登録し(ステップS408)、特定の地物Aは新規地物と判定し(ステップS409)、地物情報更新処理を終了する。上記の処理は、判定部が検出された特定の地物の移動可能領域に対する位置関係に基づき、検出された特定の地物が以前に別の位置に設置されていた地物ではないと判定した場合、検出された特定の地物の位置の情報を追加する処理の一例である。
(2)標識情報M2と同様に特定の地物Aと同じ種別T0の地物情報を地物情報32から全て取得し(ステップS401)、そのうち一つを処理対象として、地物情報32から取得した同じ種別T0の地物情報の地物数分、以下(3)~(6)の処理を繰り返す(ステップS402)。
(3)地物情報32から地物Bに対応する標識情報M2の位置情報B0を取得する(ステップS403)。
(4)移動可能領域テーブル40から標識情報M2の移動可能領域情報B2を算出する(ステップS404)。
(5)検出部8の精度情報を基に、標識情報M2の移動可能領域情報B2を補正する。例えば検出部8の精度情報が横方向1m、縦方向1mである場合、標識情報M2の移動可能領域情報B2の位置情報を横方向1m、縦方向1m補正し移動可能領域情報B3とする(ステップS405)。
(6)特定の地物Aの位置A0が移動可能領域情報B3の範囲内に含まれているか判定する。特定の地物Aの位置A0が移動可能領域情報B3の範囲内に含まれている場合(ステップS406でYES)、特定の地物Aと標識情報M2は同一であると判定する。一方で特定の地物Aが移動可能領域情報B3の範囲内に含まれていない場合(ステップS406でNO)、繰り返し処理において、ステップS401で取得した地物の中で未処理状態の地物を一つ選択し、新たな処理対象として、(3)の処理を行う(ステップS407)。
(7)特定の地物Aと同一であると判断した地物が一つも存在しなかった場合(ステップS407)、特定の地物Aは新規地物として地図情報に登録し(ステップS408)、特定の地物Aは新規地物と判定し(ステップS409)、地物情報更新処理を終了する。上記の処理は、判定部が検出された特定の地物の移動可能領域に対する位置関係に基づき、検出された特定の地物が以前に別の位置に設置されていた地物ではないと判定した場合、検出された特定の地物の位置の情報を追加する処理の一例である。
(8)特定の地物Aの位置A0と移動可能領域情報B3との距離D2を算出する(ステップS410)。
(9)検出部8の精度情報を基に、距離D2を補正する。例えば検出部8の精度情報が横方向1m、縦方向1mである場合、距離D2の位置情報を横方向1m、縦方向1m補正し距離D3とする(ステップS411)。
(10)距離D3と移動確率テーブル41に基づいて移動確率α1を算出する。例えば、距離D3と移動可能領域との距離がプラスマイナス20%であれば、特定の地物Aの移動確率α1が40%であると算出する(ステップS412)。
(11)移動確率閾値テーブル42から標識情報M2の移動確率閾値β1を取得する。標識の移動確率閾値は80%であるため、標識情報M2の移動確率閾値β1は80%を取得する(ステップS413)。
(12)算出した移動確率α1と取得した移動確率閾値β1を比較し、移動確率α1が移動確率閾値β1以下の場合(ステップS414でYES)、特定の地物Aは標識情報M2と同一であると判定し(ステップS415)、地物情報更新処理を終了する。一方で、移動確率α1が移動確率閾値β1よりも大きい場合(ステップS414でNO)、標識情報M2の位置B0を特定の地物Aの位置A0で更新する(ステップS420)、そして特定の地物Aは標識情報M2と同一でかつ移動していると判定し(ステップS421)、地物情報更新処理を終了する。上記の処理(ステップS401~S407、ステップS410~S414)が、判定部は特定の地物が誤検出でないと判定した場合、検出された特定の地物の、移動可能領域情報に基づく移動可能領域に対する位置関係に基づいて、検出された特定の地物が以前に別の位置に設置されていた地物であるかを判定する処理の一例である。また、上記の処理(ステップS414、ステップS420)は、判定部が検出された特定の地物の移動可能領域に対する位置関係に基づき、検出された特定の地物が以前に別の位置に設置されていた地物であると判定した場合、既に存在している地物として取り扱われている特定の地物に関する位置の情報を検出された特定の地物の位置の情報に基づいて更新する処理の一例である。
ここで、移動確率α1が移動確率閾値β1以下の場合(ステップS414でYES)、標識情報M2の位置B0を特定の地物Aの位置A0で更新するものとしても良く(ステップS420)、特定の地物Aは標識情報M2と同一でかつ移動していると判定してもよい(ステップS421)。
【0038】
<変形例>
なお、この発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。例えば次のような変形も可能である。
【0039】
上記の実施形態において、存在可能領域35(相対座標)は1の領域を構成する例を説明した。上記に代えて、存在可能領域35(相対座標)は複雑な幾何形状を含む領域を構成するとしても良い。
図14(a)は、存在可能領域テーブル35(相対座標)の詳細を説明するための図である。存在可能領域テーブル35(相対座標)は、検出地物、基準地物情報、基準地物に対する相対的位置方向をあらわす情報、存在可能領域A0~A1の緯度経度(x、y)及び高さ(z)を含んでいる。
【0040】
上記の実施形態において、存在可能領域テーブル35(相対座標)はその特定の地物が存在する可能性のある領域の基準となる基準地物情報に対応する地物の存在する領域A0~Anの緯度経度及び高さを用いた例を説明した。この存在可能領域テーブル35(相対座標)に代えて、レーンネットワークID毎に領域A0~Anの緯度経度及び高さを含む存在可能領域テーブル35(絶対座標)を用いるものとしても良い。
【0041】
図14(b)は、存在可能領域テーブル35(絶対座標)の例を説明するための図である。 その存在可能領域テーブル35は、特定の地物Aを含むレーンネットワークID毎に領域A0~Anの緯度経度(x、y)及び高さ(Z)を含んでいる。
図14(b)の存在可能領域テーブル35(絶対座標)によれば、存在可能領域算出処理(
図9のステップS20及び
図9)、検出部8の精度情報を基に地物種別Tの存在可能領域A1の補正処理(
図12のステップS300、ステップS301、ステップS304~ステップS307、
図13のステップS403、ステップS406)は行わなくてもよい。そのため、存在可能領域テーブル35(絶対座標)によれば、存在可能領域テーブル35(相対座標)を用いる場合に比べては処理を簡略化することができる。
【0042】
存在可能領域テーブル35(相対座標)及び存在可能領域テーブル35(絶対座標)に対応する存在可能領域の形状は、平面形状でもよく、五角形、六角形などの幾何形状でもよい。 また、存在可能領域は複数の幾何形状により構成されるものであっても良い。
【0043】
図15(a)は、存在可能領域テーブル35(絶対座標)の詳細を説明するための図である。存在可能領域テーブル35(絶対座標)は、レーンNWID、基準地物、存在可能領域A0~A1の緯度経度(x、y)及び高さ(z)を含んでいる。
図15(b)における60は、地図データ20のデータ構造の概念図であり、
図15(a)の存在可能領域テーブル35(絶対座標)に対応する存在可能領域A0~A1の概念を説明するための図である。存在可能領域A0は頂点p0~p7、存在可能領域A1は頂点p10~p17を含んでいる。存在可能領域A0及び存在可能領域A1により複数の幾何形状を構成している。
【0044】
図16(a)は、存在可能領域テーブル35(絶対座標)の詳細を説明するための図である。存在可能領域テーブル35(絶対座標)は、レーンNWID、基準地物、存在可能領域A0~A2の緯度経度(x、y)及び高さ(z)を含んでいる。
図16(b)における70は、地図データ20のデータ構造の概念図であり、
図16(a)の存在可能領域テーブル35(絶対座標)に対応する存在可能領域A0~A2の概念を説明するための図である。存在可能領域A0は頂点p0~p7、存在可能領域A1は頂点p10~p17、存在可能領域A2は頂点p20~p27を含んでいる。存在可能領域A0~A2によりトンネル状の幾何形状を構成している。
【0045】
存在可能領域テーブル35は検出部8の中に組み込み、検出部8によって検出された検出結果が存在可能領域内に存在する場合に、地物検出情報取得処理に用いてもよい。この構成によれば、地物検出情報取得処理は、検出部8によって検出された検出結果が存在可能領域に存在する場合にのみ行われるため、処理対象を削減することができる。
【0046】
上記の実施形態には、さらに誤検出判断処理の処理結果を報知する検出結果報知部を含んでも良い。この検出結果報知部によれば、検出部8を用いた検出結果の処理内容の把握、検出部8の検出精度の補正及び検出部8の性能改善をすることが可能となる。
【0047】
上記の実施形態には、さらに検出処理の判定結果とともに検出部8を識別する識別IDや精度情報を含む記録情報記録するデータ記録部を含んでも良い。このデータ記録部によれば、記録情報の確からしさの判定や、記録情報の改ざん防止に用いることができる。また、第1の検出部8による記録情報と第2の検出部8による記録情報とを比較することにより、第1の検出部8と第2の検出部8との性能を比較することが可能となる。
【0048】
上記の実施形態において、車両を移動体として用いた例を説明した。この車両に代えて、歩行者、ドローン等の飛翔体を含む移動体により用いられるものとしても良い。
【0049】
移動確率による同一地物の移動有無判定処理(ステップS414)は、移動確率テーブルによる判断でも良いし、地物同士の距離に関する移動有無閾値テーブル(
図17参照)に基づいて判断しても良い。
【0050】
特許文献1により実現される画像認識装置の技術は、各地物の画像認識に施工する可能性をあらわす認識可能情報を得られない場合、必ずしも画像認識処理の対象とする地物を決定することができないことがあった。上記で説明した実施形態は、これらの課題を解決するものである。以上の実施形態の全部又は一部に記載された態様は、地物を適切に検出することを可能とする地物検出システム及び地図データのデータ構造を提供すること、処理速度の向上、処理精度の向上、使い勝手の向上、データを利用した機能の向上又は適切な機能の提供その他の機能向上又は適切な機能の提供、データ及び/又はプログラムの容量の削減、装置及び/又はシステムの小型化等の適切なデータ、プログラム、記録媒体、装置及び/又はシステムの提供、並びにデータ、プログラム、装置又はシステムの制作・製造コストの削減、制作・製造の容易化、制作・製造時間の短縮等のデータ、プログラム、記録媒体、装置及び/又はシステムの制作・製造の適切化のいずれか一つの課題を解決する。
【符号の説明】
【0051】
1 走行支援システム
2 車両
3 情報制御部
4 記憶部
5 入力部
6 位置取得部
7 車速情報取得部
8 検出部
9 車両制御部
10 地図データ取得部
11 経路探索部
12 位置特定部
13 経路特定部
14 誘導部
15 地物誤検出判断部
16 地物情報更新部
20 地図データ
30 道路ネットワーク情報
31 車線ネットワーク情報
32 地物情報
33 関連情報
34 基本情報テーブル
35 存在可能領域テーブル
36 存在確率テーブル
37 存在確率閾値テーブル
38 移動可能領域テーブル
39 移動確率テーブル
40 移動確率閾値テーブル