特開 2024-14180 自己位置推定装置および車両システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024014180

(43)【公開日】2024-02-01

(54)【発明の名称】自己位置推定装置および車両システム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240125BHJP

   G06T 7/00 20170101ALI20240125BHJP

   G01C 21/26 20060101ALI20240125BHJP

【ＦＩ】

G06T7/70 A

G06T7/00 650Z

G01C21/26 A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022116818

(22)【出願日】2022-07-22

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】520124752

【氏名又は名称】株式会社ミライズテクノロジーズ

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】宮崎 憲一

【テーマコード（参考）】

2F129

5L096

【Ｆターム（参考）】

2F129AA03

2F129BB03

2F129BB23

2F129BB24

2F129BB25

2F129BB27

2F129BB28

2F129BB29

2F129BB49

2F129CC15

2F129CC16

2F129DD14

2F129DD15

2F129DD21

2F129GG04

2F129GG05

2F129GG06

5L096BA04

5L096CA04

5L096EA35

5L096FA69

5L096JA11

(57)【要約】      （修正有）

【課題】自己位置推定のための演算量の増加を抑制するとともに、自己位置推定の精度の低下を抑制する自己位置推定装置及び車両システムを提供する。
【解決手段】情報取得装置と、車両システムと、車両動作装置とを備える車両において、車両システムの自己位置推定装置２１０は、カメラ１１０を有する車両Ｍ１に搭載され、車両の位置を推定する自己位置推定装置２１０は、カメラにより車両の進行方向に向かって撮像された画像から特徴点を抽出し、特徴点ごとに特徴量を算出する特徴量算出部２１１と、特徴点のうち、信頼度の高い特徴点を優先特徴点として優先的に選別する特徴点選別部２１２と、優先特徴点を利用して自己位置を算出する自己位置算出部２１３と、予め設定された時間間隔を空けて撮像された複数の画像ごとに推定された自己位置の再投影誤差を算出し、再投影誤差を修正した修正自己位置を算出する誤差修正部２１４と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラ（１１０）を有する車両（Ｍ１）に搭載され、前記車両の位置を推定する自己位置推定装置（２１０）であって、
前記カメラにより前記車両の進行方向に向かって撮像された画像から特徴点を抽出し、前記特徴点ごとに特徴量を算出する特徴量算出部（２１１）と、
前記特徴点のうち、信頼度の高い特徴点を優先特徴点として優先的に選別する特徴点選別部（２１２）と、
前記優先特徴点を利用して自己位置を算出する自己位置算出部（２１３）と、
予め設定された時間間隔を空けて撮像された複数の前記画像ごとに推定された前記自己位置の再投影誤差を算出し、前記再投影誤差を修正した修正自己位置を算出する誤差修正部（２１４）と、
を備える、
自己位置推定装置。

【請求項2】

請求項１に記載の自己位置推定装置であって、
前記特徴量算出部は、前記特徴量を算出するアルゴリズムとして、ＳＩＦＴ（Scale Invariant Feature Transform）、ＯＲＢ（Oriented FAST and Rotated BRIEF）、ＳＵＲＦ（Speeded Up Robust Features）、ＡＫＡＺＥ（Accelerated KAZE）、ＨＯＧ（Histograms of Oriented Gradients）もしくはＣＮＮ（Convolutional Neural Network）を用いて、前記特徴量の算出を行う、
自己位置推定装置。

【請求項3】

請求項１または請求項２に記載の自己位置推定装置であって、
前記特徴点選別部は、時系列に連続する複数の前記画像において共通して含まれる特徴点を前記優先特徴点として優先的に選別する、
自己位置推定装置。

【請求項4】

請求項３に記載の自己位置推定装置であって、
前記特徴点選別部は、前記特徴点の総数に対する前記優先特徴点の数の割合が少なくとも５０％以上となるように、前記優先特徴点を選別する、
自己位置推定装置。

【請求項5】

請求項１または請求項２に記載の自己位置推定装置であって、
切取範囲指定部（２１５）をさらに備え、
前記切取範囲指定部は、前記画像に含まれる、前記画像の大きさよりも小さい画像範囲である切取範囲（ＴＦ）を指定し、
前記特徴点選別部は、前記特徴点のうち、前記切取範囲内に存在する特徴点を前記優先特徴点として優先的に選別する、
自己位置推定装置。

【請求項6】

請求項５に記載の自己位置推定装置であって、
前記切取範囲は、前記画像において、前記画像の撮像後、前記時間間隔の経過後に新たに撮像される画像においては撮像範囲外となる領域を除いた領域以下の大きさの範囲である、
自己位置推定装置。

【請求項7】

請求項５に記載の自己位置推定装置であって、
前記切取範囲の大きさは、水平方向の画角が４０°よりも大きく、かつ、垂直方向の画角が３０°よりも大きくなるように設定されている、
自己位置推定装置。

【請求項8】

請求項５に記載の自己位置推定装置であって、
前記切取範囲指定部は、算出された前記自己位置を利用して生成された経路計画を利用して、前記切取範囲の大きさおよび画像内における位置を設定する、
自己位置推定装置。

【請求項9】

請求項５に記載の自己位置推定装置であって、
前記切取範囲指定部は、前記車両の進行方向および走行速度を計測するセンサから取得した前記車両の走行状況に関する情報を利用して、前記切取範囲の大きさおよび画像内における位置を設定する、
自己位置推定装置。

【請求項10】

車両システム（２００）であって、
カメラを有する車両に搭載され、前記車両の位置を推定する自己位置推定装置であって、
前記カメラにより前記車両の進行方向に向かって撮像された画像から特徴点を抽出し、前記特徴点ごとに特徴量を算出する特徴量算出部と、
前記特徴点のうち、信頼度の高い特徴点を優先特徴点として優先的に選別する特徴点選別部と、
前記優先特徴点を利用して自己位置を算出する自己位置算出部と、
予め設定された時間間隔を空けて撮像された複数の前記画像ごとに推定された前記自己位置の再投影誤差を算出し、前記再投影誤差を修正した修正自己位置を算出する誤差修正部と、
を備える、
自己位置推定装置と、
地図情報を取得する地図情報取得部（２２０）と、
前記自己位置推定装置により算出された前記修正自己位置と、前記地図情報と、ＧＮＳＳ（Global Navigation Satellite System）信号を受信して取得された前記車両の位置と、前記車両が備えるセンサから取得された前記車両の走行状況に関する情報と、を利用して前記車両のフュージョン自己位置を推定するフュージョン処理部（２３０）と、
推定された前記フュージョン自己位置を利用して経路計画を生成する経路計画部（２４０）と、
生成された前記経路計画に従って前記車両の制御を行う車両制御部（２５０）と、
を備える、
車両システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、自己位置推定装置および車両システムに関する。

【背景技術】

【0002】

自己位置推定装置として、車両に搭載されたカメラで認識した車両の周辺の地物と地図情報とを照合して、位置を推定するものが知られている。特許文献１に記載の自己位置推定装置は、事前に取得した参照画像と位置情報との予めデータベースを作成しておき、走行中に撮像した画像と参照画像とのマッチングにより自己位置を推定している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－８９８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の自己位置推定装置では、参照すべきデータの量が多く、自己位置推定処理の演算量が増加することにより、リアルタイムに自己位置を推定できないおそれがあるという問題がある。

【課題を解決するための手段】

【0005】

本開示は、以下の形態として実現することが可能である。

【0006】

本開示の一形態によれば、自己位置推定装置（２１０）が提供される。この自己位置推定装置は、カメラ（１１０）を有する車両（Ｍ１）に搭載され、前記車両の位置を推定する自己位置推定装置であって、前記カメラにより前記車両の進行方向に向かって撮像された画像から特徴点を抽出し、前記特徴点ごとに特徴量を算出する特徴量算出部（２１１）と、前記特徴点のうち、信頼度の高い特徴点を優先特徴点として優先的に選別する特徴点選別部（２１２）と、前記優先特徴点を利用して自己位置を算出する自己位置算出部（２１３）と、予め設定された時間間隔を空けて撮像された複数の前記画像ごとに推定された前記自己位置の再投影誤差を算出し、前記再投影誤差を修正した修正自己位置を算出する誤差修正部（２１４）と、を備える。

【0007】

この形態の自己位置推定装置によれば、取得された画像に含まれる特徴点のうち、信頼度の高い特徴点を優先的に選別し自己位置を算出するので、演算対象となる特徴点の数を削減でき、自己位置推定のための演算量の増加を抑制できるとともに、自己位置推定の精度の低下を抑制できる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態の車両システムの概略構成を示すブロック図である。

【図2】第１実施形態の自己位置推定装置の概略構成を示すブロック図である。

【図3】第１実施形態の車両制御処理の手順を示すフローチャートである。

【図4】第１実施形態の自己位置推定処理の手順を示すフローチャートである。

【図5】取得された画像の一例を示す説明図である。

【図6】取得された画像の一例を示す説明図である。

【図7】取得された画像の一例を示す説明図である。

【図8】第２実施形態の車両システムの概略構成を示すブロック図である。

【図9】第２実施形態の自己位置推定装置の概略構成を示すブロック図である。

【図10】第２実施形態の車両制御処理の手順を示すフローチャートである。

【図11】第２実施形態の自己位置推定処理の手順を示すフローチャートである。

【図12】切取範囲の一例を示す説明図である。

【図13】切取範囲の一例を示す説明図である。

【図14】第３実施形態の車両システムの概略構成を示すブロック図である。

【図15】第３実施形態の車両制御処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

Ａ．第１実施形態：
Ａ－１．システム構成：
図１に示すように、車両Ｍ１は、情報取得装置１００と、車両システム２００と、車両動作装置３００とを備える。本実施形態において、車両Ｍ１は、エンジンを搭載した車両である。また、車両Ｍ１は、自動運転を実行可能な車両であり、自動運転と手動運転とが切り替え可能に構成されている。「自動運転」とは、エンジン制御とブレーキ制御と操舵制御とを、乗員に代わって自動的に実行する運転を意味する。「手動運転」とは、エンジン制御のための操作（アクセルペダルの踏込）と、ブレーキ制御のための操作（ブレーキベダルの踏込）と、操舵制御のための操作（ステアリングホイールの回転）とを、乗員が実行する運転を意味する。なお、車両Ｍ１は、エンジンを搭載した車両に限らず、電気自動車（ＥＶ）や燃料電池自動車（ＦＣＶ）であってもよい。

【0010】

情報取得装置１００は、車両Ｍ１の位置情報、走行状況および周辺状況に関する情報を取得する。本実施形態では、情報取得装置１００は、カメラ１１０と、ＧＮＳＳ受信機１２０と、慣性センサ１３０とを備える。カメラ１１０は、車両Ｍ１の進行方向を撮像して画像を取得する。ＧＮＳＳ受信機１２０は、ＧＮＳＳ（Global Navigation Satellite System）を構成する人工衛星から受信するＧＮＳＳ信号に基づいて、車両Ｍ１の現在位置（経度・緯度）を検出する。慣性センサ１３０は、加速度センサおよびヨーレートセンサを備え、車両Ｍ１の走行によって生じる３軸加速度、３軸角速度等を検出する。

【0011】

車両システム２００は、車両Ｍ１の位置情報、走行状況および周辺状況に関する情報を情報取得装置１００から取得して車両Ｍ１の自己位置を推定し、推定された自己位置に応じて、車両Ｍ１の車両動作装置３００を制御する。本実施形態の車両システム２００は、ＣＰＵやメモリを搭載したＥＣＵ（Electronic Control Unit）により構成されている。ＥＣＵが備えるＣＰＵは、メモリに予め記憶されているプログラムを実行することにより、自己位置推定装置２１０、地図情報取得部２２０、フュージョン処理部２３０、経路計画部２４０および車両制御部２５０として機能する。

【0012】

自己位置推定装置２１０は、カメラ１１０から取得した画像を利用して車両Ｍ１の自己位置を推定する。地図情報取得部２２０は、車両システム２００が備えるメモリに予め記憶された地図情報を取得する。フュージョン処理部２３０は、自己位置推定装置２１０により推定された自己位置と、地図情報取得部２２０により取得された地図情報と、情報取得装置１００により取得された情報とを利用してフュージョン処理を行い、より信頼性の高い車両Ｍ１の自己位置を推定する。経路計画部２４０は、フュージョン処理部２３０により推定された自己位置を利用して、車両Ｍ１の経路計画を生成する。車両制御部２５０は、経路計画部２４０により生成された経路計画に従って、車両Ｍ１の制御を行う。各機能部における具体的な処理については、後述する車両制御処理において説明する。

【0013】

図２に示すように、自己位置推定装置２１０は、特徴量算出部２１１と、特徴点選別部２１２と、自己位置算出部２１３と、誤差修正部２１４とを備える。特徴量算出部２１１は、カメラ１１０により撮像された画像に含まれる特徴点を抽出し、特徴点ごとに特徴量を算出する。特徴点選別部２１２は、自己位置推定の演算対象とする特徴点を選別する。自己位置算出部２１３は、選別された特徴点を利用して車両Ｍ１の自己位置を算出する。誤差修正部２１４は、複数画像における自己位置の再投影誤差を算出し、再投影誤差を修正した自己位置を算出する。各機能部における具体的な処理については、後述する自己位置推定処理において説明する。

【0014】

車両動作装置３００は、エンジン機構３１０と、ブレーキ機構３２０と、操舵機構３３０とを備える。エンジン機構３１０は、スロットルバルブの開閉動作や、イグナイタの点火動作や、吸気弁の開閉動作等を行う装置群（アクチュエータ）により構成される。ブレーキ機構３２０は、センサ、モータ、バルブおよびポンプ等のブレーキ制御に関わる装置群（アクチュエータ）により構成される。操舵機構３３０は、パワーステアリングモータ等操舵に関わる装置群（アクチュエータ）により構成される。

【0015】

Ａ－２．車両制御処理：
車両システム２００は、図３に示す車両制御処理を実行し、情報取得装置１００から取得した情報および２２０から取得した地図情報を利用して自己位置を推定し、かかる自己位置を基に生成した経路計画に従って走行するように車両Ｍ１を制御する。車両制御処理は、車両Ｍ１の走行中繰り返し実行される。

【0016】

車両システム２００は、自己位置推定処理（ステップＳ１００）、ＧＮＳＳ受信機１２０からのＧＮＳＳ情報の取得（ステップＳ１１０）および慣性センサ１３０からの慣性情報の取得（ステップＳ１２０）を並列して実行する。

【0017】

ステップＳ１００において、自己位置推定装置２１０は、図４に示す自己位置推定処理を実行する。ステップＳ１１０において、自己位置推定装置２１０は、カメラ１１０から画像を取得する。

【0018】

ステップＳ１２０において、特徴量算出部２１１は、取得した画像から特徴点を抽出し、特徴点ごとに特徴量を算出する。本実施形態では、特徴量算出部２１１は、特徴点抽出アルゴリズムとして、ＦＡＳＴ（Features from Accelerated Segment Test）を用いて特徴点を抽出する。また、特徴量算出部２１１は、特徴量算出アルゴリズムとして、ＳＩＦＴ（Scale Invariant Feature Transform）、ＯＲＢ（Oriented FAST and Rotated BRIEF）およびＳＵＲＦ（Speeded Up Robust Features）を用いて、特徴量を算出する。なお、特徴量算出部２１１は、かかる特徴量算出アルゴリズムに限らず、例えば、ＡＫＡＺＥ（Accelerated KAZE）、ＨＯＧ（Histograms of Oriented Gradients）もしくはＣＮＮ（Convolutional Neural Network）を用いて特徴量抽出を行ってもよい。また、特徴量算出部２１１は、上記処理の前処理として、画像の縮小、切り出しおよびガウシアン処理等を実行する。

【0019】

ステップＳ１３０において、特徴点選別部２１２は、抽出された特徴点ごとに、各特徴点の特徴量に応じて信頼度を設定する。「信頼度」は、自己位置推定の精度に対する寄与の度合いを意味する。例えば、建造物に由来する特徴点の信頼度は高く、偶発的に撮像された対向車両や歩行者に由来する特徴点の信頼度は低いといえる。本実施形態では、特徴点選別部２１２は、信頼度を管理するパラメータとして、ＩＤ、特徴点の座標、Ａｇｅ、クラスおよび特徴量情報を特徴点ごとに付与する。「ＩＤ」は、複数の画像に共通して現れる特徴点を識別するために特徴点ごとに識別子を意味する。互いに異なる画像間における特徴点の同一性は、例えば、画像における特徴点の座標や特徴量の種類および大きさ等により識別することができる。また、「Ａｇｅ」は、各特徴点について時系列に連続する複数の画像において抽出された回数を示すパラメータを意味する。特徴点選別部２１２は、過去取得された画像中に存在した特徴点が、新たに取得された画像中にも存在する場合に、かかる特徴点についてのＡｇｅの値を「１」加算する。また、「クラス」は、特徴点管理のための管理パラメータを意味する。特徴点を構成する画素の集合（ブロブ）の面積、方向および長さ等を利用してクラス分けすることにより、特徴点ごとのパラメータ管理の煩雑さを抑制できる。「特徴量情報」は、特徴量の大きさおよび特徴量の種類を示す情報を意味する。

【0020】

Ａｇｅの加算処理について、図５～７に示す例を用いてより具体的に説明する。図５～７は、時系列に連続する、この順序でカメラ１１０により撮像された画像の一例を示している。なお、本来画像中には無数の特徴点が含まれるが、図５～７においては、説明のために必要な特徴点だけ表している。図５に示す画像ＩＭ１中には特徴点ＦＰ１、ＦＰ２およびＦＰ３が存在するため、特徴点ＦＰ１、ＦＰ２およびＦＰ３についてのＡｇｅの値がそれぞれ「１」加算される。図６に示す画像ＩＭ２中には特徴点ＦＰ２およびＦＰ３が存在するため、特徴点ＦＰ２およびＦＰ３についてのＡｇｅの値がそれぞれ「１」加算される。図７に示す画像ＩＭ３中には特徴点ＦＰ３のみが存在するため、特徴点ＦＰ３についてのＡｇｅの値のみが「１」加算される。このように、図５～７に示す例においては、図５における各特徴点ＦＰ１、ＦＰ２およびＦＰ３のＡｇｅの値が同じであった場合、画像ＩＭ１～ＩＭ３に現れる回数が多かった特徴点ＦＰ３、ＦＰ２、ＦＰ１の順に、Ａｇｅの値が大きくなる。

【0021】

図４に示すステップＳ１４０において、特徴点選別部２１２は、設定された信頼度に応じて、優先特徴点を選別する。「優先特徴点」は、自己位置推定処理において優先的に処理の対象とする特徴点を意味する。本実施形態では、特徴点選別部２１２は、特徴点を各特徴点のＡｇｅの値が大きい順に順位付けし、順位の高い順に、予め設定された割合の特徴点を優先特徴点として選別する。Ａｇｅの値が大きい場合、つまり、ある特徴点が複数の画像中に現れた回数が多い場合、かかる特徴点は偶発的に撮像された対向車両等に由来する特徴点ではなく、自己位置推定の精度に寄与する建造物等に由来する特徴点である可能性が高いといえるからである。なお、ステップＳ１２０において抽出された特徴点の総数に対する優先特徴点の数の割合は、自己位置推定の精度を確保するために、少なくとも５０％以上となるように設定されるのが好ましい。このように、時系列に連続する複数の画像において共通して含まれる優先特徴点を優先的に選別することにより、演算対象となる特徴点の数を削減でき、自己位置推定のための演算量の増加を抑制できるとともに、自己位置推定の精度の低下を抑制できる。

【0022】

ステップＳ１５０において、自己位置算出部２１３は、選別された優先特徴点を利用して車両Ｍ１の自己位置を推定する。より具体的には、自己位置算出部２１３は、画像における優先特徴点と、地図情報取得部２２０に記憶された三次元地図情報とのマッチングを行うことにより、車両Ｍ１の自己位置を算出する。

【0023】

ステップＳ１６０において、自己位置推定装置２１０は、予め設定された枚数の画像について自己位置推定が完了したか否かを判定し、画像の枚数が予め設定された枚数に達していない場合には（ステップＳ１６０：Ｎｏ）、予め設定された時間間隔（以下「撮像間隔」とも呼ぶ）を空けて再びステップＳ１１０を実行して新たに画像を取得する。このように、自己位置推定装置２１０は、予め設定された枚数の画像について自己位置推定が完了するまで、各画像を対象としてステップＳ１２０、Ｓ１３０，Ｓ１４０およびＳ１５０の処理を実行する。なお、「予め設定された枚数」は、安定して自己位置推定精度を確保できるように、予め実験等を行うことにより決定される。

【0024】

予め設定された枚数の画像について自己位置推定が完了したのち（ステップＳ１６０：Ｙｅｓ）、誤差修正部２１４は、複数の画像ごとに推定された自己位置の再投影誤差を算出し、かかる再投影誤差を修正した自己位置を算出する（ステップＳ１７０）。本実施形態では、誤差修正部２１４は、バンドル調整を行うことにより、自己位置の再投影誤差を修正する。バンドル調整は、入力画像から、幾何学的な三次元のモデルパラメータを推定するための手法を意味する。バンドル調整では、複数の画像間の各特徴点の対応関係に基づいて、各特徴点の三次元座標を算出する。そして、算出した各特徴点の三次元座標を画像面に再投影し、再投影点と特徴点との距離として算出される再投影誤差を反復的に再推定していくことで、より正確な特徴点の三次元座標値を推定する。なお、本ステップで算出される再投影誤差修正後の自己位置は、本開示における「修正自己位置」に相当する。本ステップの終了後、自己位置推定装置２１０は、自己位置推定処理を終了する。

【0025】

図３に示すステップＳ２００において、フュージョン処理部２３０は、地図情報取得部２２０に記憶された三次元地図情報と、車両Ｍ１の自己位置と、ＧＮＳＳ情報と、慣性情報とを利用してフュージョン処理を行い、より信頼性の高い車両Ｍ１の自己位置を推定する。本ステップにおいて推定される自己位置は、本開示における「フュージョン自己位置」に相当する。このようにカメラ１１０、ＧＮＳＳ受信機１２０および慣性センサ１３０から並列して取得した情報を利用することにより、これらの機器のうち一部の機器からの情報取得が途切れた状況であっても、残りの機器から取得された情報を基に、安定的に車両Ｍ１の自己位置を推定することができる。一部の機器からの情報取得が途切れる状況として、例えば、トンネル内を車両Ｍ１が走行する際にＧＮＳＳ受信機１２０からの位置情報の取得が途切れる状況が考えられる。

【0026】

ステップＳ３００において、経路計画部２４０は、フュージョン処理部２３０により推定された自己位置に応じて、車両Ｍ１の経路計画を生成する。より具体的には、経路計画部２４０は、車両Ｍ１の現在の自己位置から予め設定された目的地までの長期的な経路計画および、地図情報に予め設定された通行制限および信号や周辺車両との距離等の車両Ｍ１の周辺状況に応じた１０秒程度の短期的な経路計画を生成する。なお、経路計画は、計画経路上の各地点における車両Ｍ１の走行速度や進行方向等の車両制御を指定する情報を含む。

【0027】

ステップＳ４００において、車両制御部２５０は、経路計画部２４０により生成された経路計画に従って、車両Ｍ１を制御する。車両制御部２５０は、指定された走行速度で走行するように、エンジン機構３１０を構成するアクチュエータを制御する。また、車両制御部２５０は、指定されたタイミングで指定されたブレーキ量が得られるように、ブレーキ機構３２０を構成するアクチュエータを制御する。また、車両制御部２５０は、指定された進行方向に沿って走行するように操舵機構３３０を構成するアクチュエータを制御する。本ステップの終了後、車両システム２００は、車両制御処理を終了する。

【0028】

以上説明した実施形態の自己位置推定装置２１０によれば、時系列に連続する複数の画像において共通して含まれる優先特徴点を優先的に選別して自己位置を算出するので、演算対象となる特徴点の数を削減でき、自己位置推定のための演算量の増加を抑制できるとともに、自己位置推定の精度の低下を抑制できる。

【0029】

また、特徴点選別部２１２は、取得された画像から抽出された特徴点の総数に対する優先特徴点の数の割合が、少なくとも５０％以上となるように優先特徴点を選別するので、自己位置推定の精度の低下を抑制できる。

【0030】

Ｂ．第２実施形態：
第２実施形態の自己位置推定装置２１０Ａは、図９に示すように切取範囲指定部２１５をさらに備え、図８に示すように経路計画部２４０から経路計画を取得する点で、第１実施形態の自己位置推定装置２１０と異なる。また、自己位置推定装置２１０Ａは、図１０に示す車両制御処理において、ステップＳ１００に代えてステップＳ５０およびステップＳ１００Ａを実行する点と、図１１に示す自己位置推定処理において、ステップＳ１３０およびステップＳ１４０に代えてステップＳ１３２およびステップＳ１４２を実行する点で、第１実施形態の自己位置推定装置２１０と異なる。なお、第２実施形態の自己位置推定装置２１０Ａの装置構成および処理におけるその他の手順は、第１実施形態の自己位置推定装置２１０と同じであるので、同一の構成および同一の手順には同一の符号を付し、その詳細な説明を省略する。

【0031】

図１０に示す車両制御処理において、自己位置推定装置２１０Ａは、経路計画部２４０から経路計画を取得し（ステップＳ５０）、自己位置推定処理を実行する（ステップＳ１００Ａ）。

【0032】

図１１に示す自己位置推定処理において、特徴量算出部２１１は、上述のステップＳ１１０およびＳ１２０と同様に、カメラ１１０から画像を取得し、取得した画像からの特徴点の抽出および特徴量の算出を実行する。

【0033】

ステップＳ１３２において、切取範囲指定部２１５は、取得した経路計画を利用して、切取範囲ＴＦの大きさおよび画像内における位置を指定する。「切取範囲ＴＦ」は、取得した画像において特徴点を優先的に選別する範囲を意味する。本実施形態では、切取範囲指定部２１５は、画像の撮像後、撮像間隔の経過後に撮像される画像の撮像範囲（以下「次回取得予定画像範囲」とも呼ぶ）以下の大きさの矩形領域を切取範囲ＴＦとして指定する。次回取得予定画像範囲の大きさは、経路計画に含まれる車両Ｍ１の走行速度や進行方向等の車両制御に関する情報から予測することができる。

【0034】

図１２および図１３は、画像ＩＭ４および画像ＩＭ５において指定される切取範囲ＴＦの一例を示している。切取範囲ＴＦは、道路に描かれたレーンマーカＬＭが道路の幅方向にすべて含まれるように指定されることが好ましく、より具体的には、水平方向の画角が４０°よりも大きく、かつ、垂直方向の画角が３０°よりも大きくなるように指定されることが好ましい。また、本実施形態では、図１３に示すように、カーブ走行時には、切取範囲ＴＦの画像ＩＭ５における位置は、車両Ｍ１の進行方向に応じてオフセットされる。本実施形態では、切取範囲指定部２１５は、予め実験等によって特定された、進行方向とオフセット量との関係に基づいて、オフセット量を決定する。

【0035】

図１１に示すステップＳ１４２において、特徴点選別部２１２は、切取範囲ＴＦ内の特徴点を優先特徴点として選別する。切取範囲ＴＦの外側の領域（以下「外側領域Ａｒ」とも呼ぶ）に含まれる特徴点は上述の次回取得予定画像範囲には含まれず、自己位置推定の精度に対する寄与の度合いが低い、つまり信頼度が低い特徴点といえるからである。図１２に示す例においては、画像ＩＭ４中に含まれる特徴点ＦＰ４～ＦＰ９のうち、ハッチングを付して示す外側領域Ａｒを除いた切取範囲ＴＦに含まれる特徴点ＦＰ５～ＦＰ７が優先特徴点として選別される。また、図１３に示す例においては、画像ＩＭ５中に含まれる特徴点ＦＰ１０～ＦＰ１５のうち、切取範囲ＴＦに含まれる特徴点ＦＰ１３～ＦＰ１５が優先特徴点として選別される。

【0036】

以上説明した第２実施形態の自己位置推定装置２１０Ａによれば、経路計画を利用して切取範囲ＴＦを指定し、切取範囲ＴＦに含まれる特徴点を優先的に選別するので、演算対象となる特徴点の数を削減でき、自己位置推定のための演算量の増加を抑制できるとともに、自己位置推定の精度の低下を抑制できる。

【0037】

Ｃ．第３実施形態：
第３実施形態の自己位置推定装置２１０Ｂは、図１４に示すように、経路計画に代えて、情報取得装置１００Ｂが備える車両走行情報取得装置１４０から車両Ｍ１の車両走行情報を取得する点で、第２実施形態の自己位置推定装置２１０Ａと異なる。また、自己位置推定装置２１０Ｂは、図１５に示す車両制御処理において、ステップＳ５０に代えてステップＳ５２を実行する点で、第２実施形態の自己位置推定装置２１０Ａと異なる。なお、第３実施形態の自己位置推定装置２１０Ｂの装置構成および処理におけるその他の手順は、第２実施形態の自己位置推定装置２１０Ａと同じであるので、同一の構成および同一の手順には同一の符号を付し、その詳細な説明を省略する。

【0038】

図１４に示すように、本実施形態の情報取得装置１００Ｂは、第１実施形態の情報取得装置１００の構成に加えて、車両走行情報取得装置１４０をさらに備える。車両走行情報取得装置１４０は、車両Ｍ１に搭載されて、車両Ｍ１の走行中の走行速度や進行方向等の車両走行情報を計測する。車両Ｍ１の走行速度は、車速センサやエンコーダを利用して計測することができる。また、車両Ｍ１の進行方向は、ハンドルの操舵角度やヨーレートセンサの検出値を利用して予測することができる。なお、車両走行情報は、本開示における「車両の走行状況に関する情報」に相当する。

【0039】

図１５に示す車両制御処理において、自己位置推定装置２１０Ｂは、車両走行情報取得装置１４０から車両走行情報を取得する（ステップＳ５２）。自己位置推定処理（ステップＳ１００Ａ）において、切取範囲指定部２１５は、経路計画に代えて車両走行情報を利用して上述の次回取得予定画像範囲を予測し、切取範囲ＴＦを指定する。

【0040】

以上説明した第３実施形態の自己位置推定装置２１０Ｂによれば、車両走行情報を利用して切取範囲ＴＦを指定するので、車両Ｍ１の実際の進行方向に現れる特徴点を優先的に選別でき、自己位置推定の精度の低下をより抑制できる。

【0041】

Ｄ．他の実施形態：
（Ｄ１）上記実施形態において、地図情報取得部２２０は、ＥＣＵが備えるメモリから、メモリに予め記憶された地図情報を取得するが、本開示はこれに限定されない。地図情報取得部２２０は、車両Ｍ１とは別に設けられた装置から通信により地図情報を取得してもよい。

【0042】

（Ｄ２）上記実施形態において、切取範囲指定部２１５は、矩形領域を切取範囲ＴＦとして指定するが、本開示はこれに限定されない。切取範囲指定部２１５は、円形領域を切取範囲ＴＦとして指定してもよい。かかる形態においても、上記実施形態と同様の効果を奏する。

【0043】

（Ｄ３）上記実施形態において、切取範囲指定部２１５は、上述の次回取得予定画像範囲以下の大きさとなるように切取範囲ＴＦを指定するが、本開示はこれに限定されない。切取範囲指定部２１５は、取得された画像よりも小さく、次回取得予定画像範囲よりも大きい任意の大きさに切取範囲ＴＦを設定してもよい。かかる形態においても、取得された画像に含まれる特徴点すべてを演算対象として自己位置を算出する場合に比べて演算対象となる特徴点の数を削減できるので、自己位置推定のための演算量の増加を抑制できる。

【0044】

本開示に記載の車両システム２００及びそれら手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の車両システム２００及びそれら手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の車両システム２００及びそれら手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【0045】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した形態中の技術的特徴に対応する各実施形態中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0046】

１１０…カメラ、２００…車両システム、２１０…自己位置推定装置、２１１…特徴量算出部、２１２…特徴点選別部、２１３…自己位置算出部、２１４…誤差修正部、２２０…地図情報取得部、２３０…フュージョン処理部、２４０…経路計画部、２５０…車両制御部、Ｍ１…車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】