特許 7472759 位置推定装置、位置推定方法、及び位置推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-15

(45)【発行日】2024-04-23

(54)【発明の名称】位置推定装置、位置推定方法、及び位置推定プログラム

(51)【国際特許分類】

   G01C 21/28 20060101AFI20240416BHJP

【ＦＩ】

G01C21/28

【請求項の数】 8

(21)【出願番号】P 2020187512

(22)【出願日】2020-11-10

(65)【公開番号】P2022076876

(43)【公開日】2022-05-20

【審査請求日】2023-03-09

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】千葉 元気

【審査官】増子 真

(56)【参考文献】

【文献】特開２０１１－１６４０６９（ＪＰ，Ａ）

【文献】特開２０１１－２５２８３３（ＪＰ，Ａ）

【文献】特開２００８－１７２４４１（ＪＰ，Ａ）

【文献】特開２０１８－０９６９３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／２８

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｇ０１Ｃ ２３／００ － ２５／００

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０１Ｓ ７／４８ － ７／５１

Ｇ０１Ｓ １７／００ － １７／９５

(57)【特許請求の範囲】

【請求項1】

光照射に対する反射光を検出することで車両（Ａ）の周囲環境の特徴点の点群である環境点群を検出する光センサ（１１）と、前記周囲環境を撮像するカメラ（１２）とを搭載した前記車両の位置を推定する位置推定装置であって、
前記カメラによる撮像画像から、前記周囲環境におけるランドマーク（Ｌ）を検出する検出部（１１０）と、
前記環境点群から、前記ランドマークが存在すると推定される範囲である推定範囲（Ｒｅ）内の点群を、範囲内点群として抽出する抽出部（１２０）と、
前記ランドマークに対応する点群であるランドマーク点群を、前記範囲内点群の中から特定する特定部（１３０）と、
前記ランドマーク点群を点群地図とマッチングさせて、推定される前記車両の位置を決定する位置決定部（１４０）と、
を備え、
前記特定部は、前記ランドマークに推定される反射強度範囲と、前記範囲内点群の反射強度とに基づいて、前記ランドマーク点群を特定する位置推定装置。

【請求項2】

前記抽出部は、推定される前記車両から前記ランドマークまでの距離が大きいほど、前記カメラの撮像方向における前記推定範囲の大きさを大きくする請求項１に記載の位置推定装置。

【請求項3】

前記抽出部は、前記撮像画像に基づき認識した前記ランドマークにおける特定面の面積が大きいほど、前記カメラの撮像方向における前記推定範囲の大きさを小さくする請求項１又は請求項２に記載の位置推定装置。

【請求項4】

前記抽出部は、前記カメラの撮像方向における前記推定範囲の大きさを、前記撮像方向の直交方向における大きさよりも大きく設定する請求項１から請求項３のいずれか１項に記載の位置推定装置。

【請求項5】

前記抽出部は、前記ランドマークの位置情報を含むベクトル地図に基づいて、前記推定範囲の位置を確定する請求項１から請求項４のいずれか１項に記載の位置推定装置。

【請求項6】

前記特定部は、前記撮像画像に基づき推定した前記ランドマークの高さ情報に基づいて、前記ランドマーク点群を特定する請求項１から請求項５のいずれか１項に記載の位置推定装置。

【請求項7】

光照射に対する反射光を検出することで車両（Ａ）の周囲環境の特徴点の点群である環境点群を検出する光センサ（１１）と、前記周囲環境を撮像するカメラ（１２）とを搭載した前記車両の位置を推定するために、プロセッサ（１０２）により実行される位置推定方法であって、
前記カメラによる撮像画像から、前記周囲環境におけるランドマーク（Ｌ）を検出する検出プロセス（Ｓ１０，Ｓ２０）と、
前記環境点群から、前記ランドマークが存在すると推定される範囲である推定範囲（Ｒｅ）内の点群を、範囲内点群として抽出する抽出プロセス（Ｓ３０，Ｓ４０）と、
前記ランドマークに対応する点群であるランドマーク点群を、前記範囲内点群の中から特定する特定プロセス（Ｓ５０）と、
前記ランドマーク点群を点群地図とマッチングさせて、推定される前記車両の位置を決定する位置決定プロセス（Ｓ６０）と、
を含み、
前記特定プロセスでは、前記ランドマークに推定される反射強度範囲と、前記範囲内点群の反射強度とに基づいて、前記ランドマーク点群を特定する位置推定方法。

【請求項8】

光照射に対する反射光を検出することで車両（Ａ）の周囲環境の特徴点の点群である環境点群を検出する光センサ（１１）と、前記周囲環境を撮像するカメラ（１２）とを搭載した前記車両の位置を推定するために、プロセッサ（１０２）に実行させる命令を含む位置推定プログラムであって、
前記命令は、
前記カメラによる撮像画像から、前記周囲環境におけるランドマーク（Ｌ）を検出させる検出プロセス（Ｓ１０，Ｓ２０）と、
前記環境点群から、前記ランドマークが存在すると推定される範囲である推定範囲（Ｒｅ）内の点群を、範囲内点群として抽出させる抽出プロセス（Ｓ３０，Ｓ４０）と、
前記ランドマークに対応する点群であるランドマーク点群を、前記範囲内点群の中から特定させる特定プロセス（Ｓ５０）と、
前記ランドマーク点群を点群地図とマッチングさせて、推定される前記車両の位置を決定させる位置決定プロセス（Ｓ６０）と、
を含み、
前記特定プロセスでは、前記ランドマークに推定される反射強度範囲と、前記範囲内点群の反射強度とに基づいて、前記ランドマーク点群を特定させる位置推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この明細書における開示は、車両の位置を推定する技術に関する。

【背景技術】

【0002】

特許文献１には、車両に地図情報を提供するシステムが開示されている。このシステムでは、車両のセンサによる検出情報に基づく高精度地図がサーバにて生成される。車両は、サーバから高精度地図を取得し、走行中に検出したＬｉＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）のスキャンデータと、高精度地図とに基づき、現在位置を推定する。スキャンデータと高精度地図とに基づく現在位置の推定方法としては、スキャンデータの点群と、高精度地図に含まれる点群とをマッチングさせるスキャンマッチングが挙げられる。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許出願公開第２０１８／０１８８０６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したスキャンマッチングによる位置推定は、大量の点同士をマッチングさせるため、処理負荷が大きくなり易い。

【0005】

開示される目的は、処理負荷を低減した位置推定が可能な位置推定装置、位置推定方法、及び位置推定プログラムを提供することである。

【課題を解決するための手段】

【0006】

この明細書に開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。また、特許請求の範囲及びこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、技術的範囲を限定するものではない。

【0007】

開示された位置推定装置のひとつは、光照射に対する反射光を検出することで車両（Ａ）の周囲環境の特徴点の点群である環境点群を検出する光センサ（１１）と、周囲環境を撮像するカメラ（１２）とを搭載した車両の位置を推定する位置推定装置であって、
カメラによる撮像画像から、周囲環境におけるランドマーク（Ｌ）を検出する検出部（１１０）と、
環境点群から、ランドマークが存在すると推定される範囲である推定範囲（Ｒｅ）内の点群を、範囲内点群として抽出する抽出部（１２０）と、
ランドマークに対応する点群であるランドマーク点群を、範囲内点群の中から特定する特定部（１３０）と、
ランドマーク点群を点群地図とマッチングさせて、推定される車両の位置を決定する位置決定部（１４０）と、
を備え、
特定部は、ランドマークに推定される反射強度範囲と、範囲内点群の反射強度とに基づいて、ランドマーク点群を特定する。

【0008】

開示された位置推定方法のひとつは、光照射に対する反射光を検出することで車両（Ａ）の周囲環境の特徴点の点群である環境点群を検出する光センサ（１１）と、周囲環境を撮像するカメラ（１２）とを搭載した車両の位置を推定するために、プロセッサ（１０２）により実行される位置推定方法であって、
カメラによる撮像画像から、周囲環境におけるランドマーク（Ｌ）を検出する検出プロセス（Ｓ１０，Ｓ２０）と、
環境点群から、ランドマークが存在すると推定される範囲である推定範囲（Ｒｅ）内の点群を、範囲内点群として抽出する抽出プロセス（Ｓ３０，Ｓ４０）と、
ランドマークに対応する点群であるランドマーク点群を、範囲内点群の中から特定する特定プロセス（Ｓ５０）と、
ランドマーク点群を点群地図とマッチングさせて、推定される車両の位置を決定する位置決定プロセス（Ｓ６０）と、
を含み、
特定プロセスでは、ランドマークに推定される反射強度範囲と、範囲内点群の反射強度とに基づいて、ランドマーク点群を特定する。

【0009】

開示された位置推定プログラムのひとつは、光照射に対する反射光を検出することで車両（Ａ）の周囲環境の特徴点の点群である環境点群を検出する光センサ（１１）と、周囲環境を撮像するカメラ（１２）とを搭載した車両の位置を推定するために、プロセッサ（１０２）に実行させる命令を含む位置推定プログラムであって、
命令は、
カメラによる撮像画像から、周囲環境におけるランドマーク（Ｌ）を検出させる検出プロセス（Ｓ１０，Ｓ２０）と、
環境点群から、ランドマークが存在すると推定される範囲である推定範囲（Ｒｅ）内の点群を、範囲内点群として抽出させる抽出プロセス（Ｓ３０，Ｓ４０）と、
ランドマークに対応する点群であるランドマーク点群を、範囲内点群の中から特定させる特定プロセス（Ｓ５０）と、
ランドマーク点群を点群地図とマッチングさせて、推定される車両の位置を決定させる位置決定プロセス（Ｓ６０）と、
を含み、
特定プロセスでは、ランドマークに推定される反射強度範囲と、範囲内点群の反射強度とに基づいて、ランドマーク点群を特定させる。

【0010】

これらの開示によれば、カメラによる撮像画像から検出されたランドマークが存在すると推定される推定範囲内の範囲内点群が、光センサによる環境点群から抽出される。そして、当該範囲内点群からランドマーク点群が特定され、当該ランドマーク点群と点群地図とのマッチングにより、推定される車両の位置が決定される。故に、光センサにより検出された環境点群が、撮像画像に基づき範囲内点群までに限定され、さらに範囲内点群からランドマーク点群までに限定されたうえで、点群地図とのマッチングに使用される。したがって、ランドマーク点群が確保されることでマッチングによる位置の推定が確実に可能になりながらも、マッチングに使用される環境点群の数自体は抑制され得る。以上により、処理負荷を低減した位置の推定が可能な位置推定装置、位置推定方法、及び位置推定プログラムが提供され得る。

【図面の簡単な説明】

【0011】

【図1】位置推定装置を含むシステムを示す図である。

【図2】位置推定装置が有する機能の一例を示すブロック図である。

【図3】規定される推定範囲の一例を示す模式図である。

【図4】位置推定装置が実行する位置推定方法の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

（第１実施形態）
第１実施形態の位置推定装置１００について、図１～図４を参照しながら説明する。位置推定装置１００は、車両Ａに搭載された電子制御装置である。位置推定装置１００は、例えばＬＡＮ（Local Area Network）、ワイヤハーネス及び内部バス等のうち、少なくとも一種類を介して、他の車載構成と接続されている。他の車載構成には、周辺監視センサ１０、自動運転ＥＣＵ４０及び車両制御ＥＣＵ５０が含まれている。

【0013】

周辺監視センサ１０は、車両Ａの周辺環境を監視する自律センサであり、ＬｉＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）１１、及び車両Ａの前方を含んだ所定範囲を撮像する外界カメラ１２を含む。また、周辺監視センサ１０は、ミリ波レーダ及びソナー等を含んでいてもよい。

【0014】

ＬｉＤＡＲ１１は、光照射に対する反射光を検出することで車両Ａの周囲環境の点群である環境点群を検出する光センサの一例である。ＬｉＤＡＲ１１は、発光素子、撮像素子及び撮像回路を有している。発光素子は、例えばレーザダイオード等の、指向性レーザ光を発する半導体素子である。発光素子は、車両Ａの外界へ向かうレーザ光を、断続的なパルスビーム状に照射する。撮像素子は、例えばＳＰＡＤ（Single Photon Avalanche Diode）等の、光に対して高感度な半導体素子である。撮像素子の外界側には、ＬｉＤＡＲ１１専用の入射面が、配置されている。外界のうち、撮像素子の画角により決まるセンシング領域から、入射面へ入射する光により、当該撮像素子が露光される。

【0015】

撮像回路は、撮像素子における複数画素の露光及び走査を制御すると共に、当該撮像素子からの信号を処理してデータ化する、集積回路である。撮像回路は、発光素子からの光照射により撮像素子を露光する。反射光モードでは、少なくとも周囲環境におけるセンシング領域内の物点が、レーザ光の反射点となる。その結果、反射点での反射されたレーザ光（以下、反射光という）が、入射面を通して撮像素子に入射する。このとき撮像回路は、撮像素子の複数画素を走査することで、反射光をセンシングする。撮像回路は、各画素において照射タイミングから反射光を感知するまでのビーム飛行時間の半値を、撮像素子から反射点までの距離値へと変換する。撮像回路は、変換した距離値を各画素に関連付けしてデータ化する。これにより、撮像回路は、環境点群の各点に三次元の距離情報が関連付けられた環境点群データを取得する。

【0016】

外界カメラ１２は、周囲環境におけるＬｉＤＡＲ１１のセンシング領域と少なくとも一部が重複するセンシング領域を撮像する。外界カメラ１２は、撮像素子及び撮像回路を有している。撮像素子は、例えばＣＭＯＳ等の半導体素子である。撮像素子の外界側には、外界カメラ１２専用の入射面が、配置されている。外界のうち、撮像素子の画角により決まるセンシング領域から、入射面へ入射する光により、当該撮像素子が露光される。

【0017】

撮像回路は、撮像素子における複数画素の露光及び走査を制御すると共に、同素子からの信号を処理してデータ化する、集積回路である。撮像回路は、撮像素子の制御により、撮像素子を露光する。このとき、センシング領域内の物点が外光の反射点となる。その結果、反射点で反射された外光が、入射面を通して撮像素子に入射する。このとき撮像回路は、撮像素子の複数画素を走査することで、反射された外光をセンシングする。ここで特に撮像回路は、センシングした外光の強度に応じて複数画素毎に取得される輝度値を、各画素値として二次元データ化することで、外光強度に応じた撮像画像を取得する。

【0018】

なお、撮像回路は、例えば、ＬｉＤＡＲ１１から取得した点群画像やカメラから取得した撮像画像等に基づき、画像解析処理によって、進行経路上の障害物や、先行車、並走車、対向車等の他車両の有無及びその位置を認識する。

【0019】

自動運転ＥＣＵ４０は、自律運転制御及び高度運転支援制御の少なくとも一方を、自動運転モードとして定常的もしくは一時的に実行する電子制御装置である。自動運転ＥＣＵ４０は、位置推定装置１００から車両Ａの推定自己位置を取得し、当該位置に基づいて、自動運転モードにおける車両Ａの加減速又は操舵に関する制御指示を生成する。

【0020】

車両制御ＥＣＵ５０は、車両Ａの加減速制御及び操舵制御を行う電子制御装置である。車両制御ＥＣＵ５０としては、操舵制御を行う操舵ＥＣＵ、加減速制御を行うパワーユニット制御ＥＣＵ及びブレーキＥＣＵ等がある。車両制御ＥＣＵ５０は、車両Ａに搭載された舵角センサ、車速センサ等の各センサから出力される検出信号を取得し、電子制御スロットル、ブレーキアクチュエータ、ＥＰＳ（Electric Power Steering）モータ等の各走行制御デバイスへ制御信号を出力する。車両制御ＥＣＵ５０は、車両Ａの制御指示を自動運転ＥＣＵ４０から取得することで、当該制御指示に従う自律走行又は高度運転支援を実現するように、各走行制御デバイスを制御する。

【0021】

位置推定装置１００は、少なくとも１つの専用コンピュータを含んで構成される。位置推定装置１００を構成する専用コンピュータは、例えば、自己位置を含んだ車両Ａの状態量を推定する、ロケータＥＣＵである。位置推定装置１００は、こうした専用コンピュータを含んで構成されることで、メモリ１０１及びプロセッサ１０２を少なくとも１つずつ有している。

【0022】

メモリ１０１は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する。メモリ１０１は、例えば半導体メモリ、磁気媒体及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。メモリ１０１は、プロセッサ１０２によって実行されるプログラムとして、少なくとも後述の位置推定プログラムを格納している。

【0023】

また、メモリ１０１は、所定のデータ記憶領域に、ランドマーク地図データベース（以下、「ＤＢ」）１２５及び点群地図ＤＢ１４５を記憶している。各地図ＤＢ１２５，１４５は、それぞれ異なる種類の地図データを格納しているデータベースである。

【0024】

ランドマーク地図ＤＢ１２５は、道路上及び道路周辺の地物であるランドマークＬに関する情報を格納している。ランドマークＬには、例えば、路面標示（走行区画線及び停止線等）、道路標識及び構造物等が含まれる。構造物には、例えば、街路灯及び信号機等が含まれる。また、構造物には、歩道橋、高架及び特定施設の建造物等が含まれていてもよい。

【0025】

ランドマーク地図ＤＢ１２５は、ランドマークＬの位置及び形状をベクトル情報として保持するベクトル地図のデータベースである。ランドマーク地図ＤＢ１２５は、各ランドマークＬの属性情報を含んでいてもよい。ランドマーク地図ＤＢ１２５の地図データは、例えば、外界カメラ１２を搭載した測量車両にて収集された、当該外界カメラ１２による撮像画像に基づいて生成される。なお、ランドマーク地図１２５の地図データは、測量車両又は一般車両の外界カメラ１２からの撮像画像に基づき、適宜更新されてよい。

【0026】

点群地図ＤＢ１４５は、道路形状及び構造物の特徴点の点群からなる三次元点群の地図データを格納している。点群地図ＤＢ１４５の当該地図データには、点群の各点についての三次元座標情報が少なくとも含まれている。点群地図ＤＢ１４５の当該地図データには、各点の属性情報が含まれていてもよい。点群地図ＤＢ１４５の地図データは、例えば、ＬｉＤＡＲ１１を搭載した測量車両にて収集された、当該ＬｉＤＡＲ１１による点群データに基づいて生成される。なお、点群地図ＤＢ１４５の地図データは、測量車両又は一般車両のＬｉＤＡＲ１１からの点群データに基づき、適宜更新されてよい。

【0027】

プロセッサ１０２は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）及びＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ等のうち、少なくとも一種類をコアとして含む。プロセッサ１０２は、メモリ１０１に格納された位置推定プログラムに含まれる複数の命令を、実行する。これにより位置推定装置１００は車両Ａの位置を推定するための機能部を、複数構築する。機能部は、機能ブロックと言い換えることもできる。このように位置推定装置１００では、メモリ１０１に格納された位置推定プログラムが複数の命令をプロセッサ１０２に実行させることで、複数の機能部が構築される。位置推定装置１００により構築される複数の機能部には、図２に示すように、ランドマーク検出部１１０、抽出部１２０、特定部１３０及び位置決定部１４０が含まれる。

【0028】

ランドマーク検出部１１０は、外界カメラ１２から送信された撮像画像を取得する。ランドマーク検出部１１０は、画像認識処理により撮像画像からランドマークＬを検出する。ランドマークＬは、例えば、路面標示、道路標識及び構造物の少なくとも１つである。ランドマーク検出部１１０は、ランドマークＬの相対位置、形状及び大きさを画像認識により検出し、それらの情報を検出情報として抽出部１２０に提供する。なお、ランドマーク検出部１１０は、撮像画像からランドマークＬを検出できなかった場合には、次の制御サイクルにて別の撮像画像からランドマークＬの検出を実施する。

【0029】

抽出部１２０は、ランドマーク検出部１１０によるランドマークＬの検出情報に基づいて、実際のランドマークＬが存在すると推定される位置範囲を、推定範囲Ｒｅとして設定する。抽出部１２０は、ＬｉＤＡＲ１１にて検出された環境点群から、推定範囲Ｒｅ内の点群を、範囲内点群として抽出する。

【0030】

詳記すると、抽出部１２０は、推定範囲Ｒｅを、検出情報に基づくランドマークＬの位置（カメラ検出位置）を中心とした範囲に設定する（図３参照）。なお、図３において格子のハッチングを付した円が、代表位置としてのカメラ検出位置を示しており、破線のハッチングを付した円が、実際のランドマークＬの位置を示している。カメラ検出位置は、例えば、ランドマークＬの重心位置等の代表位置とされる。又は、カメラ検出位置は、検出されたランドマークＬの輪郭位置とされてもよい。

【0031】

なお、抽出部１２０は、ランドマーク地図ＤＢに格納されたランドマーク地図情報に基づいて、当該推定範囲Ｒｅの位置を確定する。具体的には、抽出部１２０は、ランドマーク地図情報に含まれている位置情報とカメラ検出位置とを比較し、ランドマークＬとは異なる物体がランドマークＬとして誤認識されているか否かを判定する。ここで誤認識されていると判定した場合、ランドマーク検出部１１０にて検出処理がやり直される。誤認識されていないと判定した場合、当該推定範囲Ｒｅの位置を、カメラ検出位置に基づく位置として確定する。

【0032】

抽出部１２０は、確定した位置における推定範囲Ｒｅの大きさを、車両Ａからカメラ検出位置までの距離（カメラ検出距離）及びランドマークＬの面積に基づいて決定する。具体的には、抽出部１２０は、カメラ検出距離が大きいほど、外界カメラ１２の撮像方向における推定範囲Ｒｅの大きさを大きく設定する。なお、図３に示す例では、撮像方向は、車両Ａの進行方向と実質一致しているとする。例えば、抽出部１２０は、外界カメラ１２の撮像方向における位置精度とカメラ検出距離との関係に関連する係数に基づいて、カメラ検出距離に応じた撮像方向の大きさを調整すればよい。カメラ検出距離と推定範囲Ｒｅの撮像方向の大きさとの対応関係は、線形であってもよいし、非線形であってもよい。

【0033】

また、抽出部１２０は、撮像画像から認識される、ランドマークＬにおける特定面の面積が大きいほど、推定範囲Ｒｅの撮像方向の大きさを小さくする。ここで特定面とは、画像認識によって撮像画像から認識されたランドマークＬの面である。例えば、ランドマークＬが看板標識である場合、当該標識における外界カメラ１２側に面する面が、特定面とされる。また、ランドマークＬが路面表示である場合、当該路面表示の路面上の面が、特定面とされる。面積の大きさと推定範囲Ｒｅの撮像方向における大きさとの対応関係は、線形であってもよいし、非線形であってもよい。

【0034】

なお、抽出部１２０は、推定範囲Ｒｅの撮像方向における大きさを、撮像方向に直交する方向（直交方向）の大きさよりも大きく設定する。例えば、カメラ検出位置が代表位置である場合、抽出部１２０は、撮像方向を長径、その直交方向を短径とする、カメラ位置を中心とした楕円形状に推定範囲Ｒｅを規定する。

【0035】

抽出部１２０は、ＬｉＤＡＲ１１から環境点群データを取得し、以上により設定された推定範囲Ｒｅ内の環境点群を、範囲内点群として抽出する。これにより、推定範囲Ｒｅ外の環境点群は棄却される。図３に示す例では、ドットのハッチングを付した円が、範囲内点群を示している。図３における範囲内点群は、あくまで簡易的に例示したものであり、実際にはより多くの範囲内点群が抽出されてもよい。なお、取得される環境点群データには、ＬｉＤＡＲ１１又は抽出部１２０等により、セマンティックセグメンテーション等の処理に基づく種別情報が付与されている。又は、抽出部１２０にて範囲内点群のみに種別情報が付与されていてもよい。抽出部１２０は、抽出した範囲内点群のデータを特定部１３０に提供する。

【0036】

特定部１３０は、抽出された範囲内点群の中から、ランドマークＬに対応する点群を、ランドマーク点群として特定する。一例として、特定部１３０は、範囲内点群の位置情報、及び範囲内点群の反射強度情報に基づいて、ランドマーク点群を特定する。範囲内点群の位置情報に基づく特定について詳記すると、特定部１３０は、範囲内点群においてランドマーク点群の候補となる各候補点群の重心位置と、撮像画像から検出されたランドマークＬの重心位置との一致度を算出する。特定部１３０は、一致度の最も高い候補点群を、ランドマーク点群として仮決定する。なお、ここで候補点群とは、範囲内点群において種別情報に基づきグループ化された点群の各グループを意味する。

【0037】

範囲内点群の反射強度情報に基づく特定について詳記すると、特定部１３０は、ランドマークＬの検出情報に基づき推定される反射強度と、実際の各候補点群の反射強度とを比較する。具体的には、特定部１３０は、撮像画像から検出されたランドマークＬの種別から、ランドマーク点群に推定される反射強度の範囲を規定する。以下において、当該範囲を反射強度範囲と表記する場合がある。ランドマークＬの種別と反射強度範囲との対応関係は、例えば、メモリ１０１等に予め格納されている。なお、特定部１３０は、ランドマークＬの種別に加え、ランドマークＬまでの距離に応じた反射強度範囲を規定してもよい。

【0038】

特定部１３０は、規定した反射強度範囲と、範囲内点群における候補点群の反射強度とを比較し、ランドマーク点群を確定する。例えば、特定部１３０は、候補点群における各点の反射強度の平均値を算出し、当該平均値が反射強度範囲内となる場合に、当該候補点群をランドマーク点群として確定すればよい。

【0039】

なお、特定部１３０は、反射強度に基づいてランドマーク点群となる候補点群を仮決定し、位置情報に基づいて当該候補点群をランドマーク点群として確定するか否かを判断してもよい。また、特定部１３０は、範囲内点群から移動物体の点群を除去した後に、ランドマーク点群の特定を実行してもよい。

【0040】

位置決定部１４０は、特定されたランドマーク点群を点群地図ＤＢに格納された点群地図データとマッチングさせる。位置決定部１４０は、ＩＣＰアルゴリズム又はＮＤＴアルゴリズム等、規定のアルゴリズムに従って、マッチングを実施する。これにより、位置決定部１４０は、点群地図データから、ランドマーク点群と対応する対応点群を特定する。位置決定部１４０は、ランドマーク点群に対する車両Ａの相対位置と、対応点群の座標位置情報とに基づき、点群地図データ上での車両Ａの絶対位置を、推定される車両Ａの位置（推定自己位置）として決定する。位置決定部１４０は、決定した推定自己位置を、自動運転ＥＣＵ４０に提供する。

【0041】

次に、機能ブロックの共同により、位置推定装置１００が実行する位置推定方法のフローを、図４に従って以下に説明する。なお、後述するフローにおいて「Ｓ」とは、プログラムに含まれた複数命令によって実行される、フローの複数ステップを意味する。

【0042】

まずＳ１０では、ランドマーク検出部１１０が、外界カメラ１２による撮像画像を取得する。次に、Ｓ２０では、ランドマーク検出部１１０が、撮像画像に画像認識処理を行い、当該撮像画像にランドマークＬが存在するか否かを判定する。存在しないと判定されると、本フローが、Ｓ１０へと戻り、別の撮像画像を対象として再度判定が行われる。

【0043】

一方で、Ｓ２０にて撮像画像にランドマークＬが存在すると判定すると、本フローがＳ３０へと移行する。Ｓ３０では、抽出部１２０が、撮像画像からのランドマークＬの検出情報に基づいて、ランドマークＬが存在すると推定される推定範囲Ｒｅを設定する。具体的には、Ｓ３０では、抽出部１２０が、ランドマーク地図情報に基づいて推定範囲Ｒｅの位置を確定し、カメラ検出距離及びランドマークＬの特定面の面積に基づいて、推定範囲Ｒｅの撮像方向の大きさを規定する。このとき、推定範囲Ｒｅの撮像方向に直交する方向の大きさは、撮像方向における大きさよりも小さく規定される。続くＳ４０では、抽出部１２０が、設定した推定範囲Ｒｅに基づき、環境点群から範囲内点群を抽出する。

【0044】

さらに、Ｓ５０では、特定部１３０が、ランドマークＬの高さ情報を含む位置情報、及び範囲内点群の反射強度に基づいて、範囲内点群からランドマーク点群の特定を実行する。範囲内点群からランドマーク点群の特定ができなかった場合には、本フローがＳ１０へと戻る。一方で、Ｓ５０にて、範囲内点群からランドマーク点群が特定された場合には、本フローがＳ６０へと移行する。そして、Ｓ６０では、位置決定部１４０が、点群地図ＤＢ１４５に格納された点群地図データと、ランドマーク点群とをマッチングさせ、車両Ａの推定自己位置を決定する。

【0045】

なお、上述のＳ１０，Ｓ２０が「検出プロセス」、Ｓ３０，Ｓ４０が「抽出プロセス」、Ｓ５０が「特定プロセス」、Ｓ６０が「位置決定プロセス」の一例である。

【0046】

以上の第１実施形態によれば、外界カメラ１２による撮像画像から検出されたランドマークＬが存在すると推定される推定範囲Ｒｅ内の範囲内点群が、ＬｉＤＡＲ１１による環境点群から抽出される。そして、当該範囲内点群からランドマーク点群が特定され、当該ランドマーク点群と点群地図とのマッチングにより、推定される車両Ａの位置が決定される。故に、ＬｉＤＡＲ１１により検出された環境点群が、撮像画像に基づき範囲内点群までに限定され、さらに範囲内点群からランドマーク点群までに限定されたうえで、点群地図とのマッチングに使用される。したがって、ランドマーク点群が確保されることでマッチングによる位置の推定が確実に可能になりながらも、マッチングに使用される環境点群の数自体は抑制され得る。以上により、処理負荷を低減した位置の推定が可能となりうる。

【0047】

また、第１実施形態によれば、推定される車両ＡからランドマークＬまでの距離が大きいほど、外界カメラ１２の撮像方向における推定範囲Ｒｅの大きさが大きく規定される。故に、撮像画像に基づく撮像方向位置の検出精度がより低くなる遠方のランドマークＬについて、撮像方向における大きさのより大きい推定範囲Ｒｅが規定され得る。したがって、推定範囲Ｒｅ内に実際のランドマークＬが含まれる可能性が高くなり、ランドマーク点群がより確実に抽出され得る。

【0048】

加えて、第１実施形態によれば、撮像画像に基づき認識されたランドマークＬにおける特定面の面積が大きいほど、撮像方向における推定範囲Ｒｅの大きさが小さく設定される。故に、撮像画像に基づく撮像方向位置の検出精度がより高くなり得る、特定面の大きなランドマークＬについて、撮像方向における大きさのより小さい推定範囲Ｒｅが規定され得る。したがって、推定範囲Ｒｅ内に含まれる点群が少なくなり、処理負荷がより低減され得る。

【0049】

さらに、第１実施形態によれば、推定範囲Ｒｅの撮像方向における大きさが、撮像方向の直交方向における大きさよりも大きく設定される。故に、撮像画像に基づく位置の検出精度がより低くなる撮像方向における大きさのより大きい推定範囲Ｒｅが規定され得る。したがって、推定範囲Ｒｅ内に実際のランドマークＬが含まれる可能性が高くなり、ランドマーク点群がより確実に抽出され得る。

【0050】

また、第１実施形態によれば、ランドマークＬの位置情報を含むベクトル地図に基づいて、推定範囲Ｒｅが確定される。故に、撮像画像に基づくランドマークＬの誤検出が発生した場合に、ランドマークＬの位置情報に基づいてこれが補正され得る。

【0051】

加えて、第１実施形態によれば、撮像画像に基づき推定されたランドマークＬの高さ情報に基づいて、ランドマーク点群が特定される。したがって、ランドマーク点群がより正確に特定され得る。

【0052】

また、第１実施形態によれば、ランドマークＬに推定される反射強度範囲と、範囲内点群の反射強度とに基づいて、ランドマーク点群が特定される。故に、反射強度が推定される反射強度範囲から外れた点群に関して、ランドマーク点群から除外され得る。したがって、ランドマーク点群の誤検出が回避され得る。

【0053】

（他の実施形態）
この明細書における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品及び／又は要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品及び／又は要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品及び／又は要素の置き換え、又は組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味及び範囲内での全ての変更を含むものと解されるべきである。

【0054】

上述の実施形態の変形例として、位置推定装置１００は、カメラ検出位置の精度に基づいて、位置推定に用いるランドマークＬを選定してもよい。例えば、抽出部１２０が、推定範囲Ｒｅの大きさが許容範囲を超えたランドマークＬについて、範囲内点群の抽出を中断してもよい。この場合の許容範囲は、検出されたランドマークＬの数等に基づいて、適宜変更されてもよい。

【0055】

上述の実施形態において、位置推定装置１００にて推定された自己位置は、自動運転ＥＣＵ４０における自動運転モードの実行にて利用されるとしたが、他のアプリケーションの実行に利用されてもよい。例えば、自己位置は、車載表示器における経路案内表示の実行に利用されてもよい。

【0056】

上述の実施形態において、位置推定装置１００を構成する専用コンピュータは、ロケータＥＣＵであるとした。これに代えて、位置推定装置１００を構成する専用コンピュータは、自動運転ＥＣＵ４０であってもよい。又は、位置推定装置１００を構成する専用コンピュータは、車両Ａの走行アクチュエータを個別制御する、アクチュエータＥＣＵであってもよい。位置推定装置１００を構成する専用コンピュータは、車両Ａの走行経路をナビゲートする、ナビゲーションＥＣＵであってもよい。位置推定装置１００を構成する専用コンピュータは、車両Ａの情報提示系の情報提示を制御する、ＨＣＵ（HMI（Human Machine Interface） Control Unit）であってもよい。

【0057】

位置推定装置１００は、デジタル回路及びアナログ回路のうち少なくとも一方をプロセッサ１０２として含んで構成される、専用のコンピュータであってもよい。ここで特にデジタル回路とは、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＯＣ（System on a Chip）、ＰＧＡ（Programmable Gate Array）、及びＣＰＬＤ（Complex Programmable Logic Device）等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリ１０１を、備えていてもよい。

【0058】

位置推定装置１００は、１つのコンピュータ、又はデータ通信装置によってリンクされた一組のコンピュータ資源によって提供され得る。例えば、上述の実施形態における位置推定装置１００の提供する機能の一部は、他のＥＣＵによって実現されてもよい。

【符号の説明】

【0059】

１１ ＬｉＤＡＲ（光センサ）、 １２ 外界カメラ（カメラ）、 １００ 位置推定装置、 １０２ プロセッサ、 １１０ ランドマーク検出部（検出部）、 １２０ 抽出部、 １３０ 特定部、 １４０ 位置決定部、 Ａ 車両、 Ｌ ランドマーク、 Ｒｅ 推定範囲。

【図1】

【図2】

【図3】

【図4】