特許 7499399 自律走行車及び自律走行車における自己位置推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-05

(45)【発行日】2024-06-13

(54)【発明の名称】自律走行車及び自律走行車における自己位置推定方法

(51)【国際特許分類】

   G01C 21/26 20060101AFI20240606BHJP

   G01C 21/30 20060101ALI20240606BHJP

   G06T 7/00 20170101ALI20240606BHJP

   G06T 7/70 20170101ALI20240606BHJP

【ＦＩ】

G01C21/26 A

G01C21/30

G06T7/00 650A

G06T7/70 A

【請求項の数】 5

(21)【出願番号】P 2023503912

(86)(22)【出願日】2022-03-02

(86)【国際出願番号】 JP2022008879

(87)【国際公開番号】W WO2022186277

(87)【国際公開日】2022-09-09

【審査請求日】2023-08-29

(31)【優先権主張番号】17/190,049

(32)【優先日】2021-03-02

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000003218

【氏名又は名称】株式会社豊田自動織機

(73)【特許権者】

【識別番号】500116694

【氏名又は名称】サウスウェスト リサーチ インスティテュート

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】上田 祐規

(72)【発明者】

【氏名】宇野 峰志

(72)【発明者】

【氏名】デスーザ ダニエル

(72)【発明者】

【氏名】オークター ジョセフ

【審査官】上野 博史

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１０７４００（ＵＳ，Ａ１）

【文献】国際公開第２０１６／０５９９３０（ＷＯ，Ａ１）

【文献】特開２００８－２２５８２２（ＪＰ，Ａ）

【文献】特開２０２１－０８１２７２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００１５３１７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０４０１８１９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／２６

Ｇ０１Ｃ ２１／３０

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

車体と、
前記車体の下面に設置され、前記車体の下方の路面の画像を取得する第１路面画像取得装置と、
前記車体の下面に設置され、前記車体の下方の路面の画像を取得する第２路面画像取得装置と、
地理的位置情報が紐付けされた路面の地図画像を記憶する記憶部と、
前記第１路面画像取得装置により取得された前記路面の画像から抽出された特徴を、前記地図画像から抽出された特徴と比較することにより自律走行車の自己位置を推定する第１自己位置推定部と、
前記第２路面画像取得装置により取得された前記路面の画像から抽出された特徴を、前記地図画像から抽出された特徴と比較することにより自律走行車の自己位置を推定する第２自己位置推定部と、を備え、
前記第１路面画像取得装置と前記第２路面画像取得装置とは、特定の時間間隔で時間的に交互に前記路面の画像を取得し、
前記第１自己位置推定部と前記第２自己位置推定部とは、特定の時間間隔で時間的に交互に自律走行車の自己位置推定結果を出力し、
前記第２路面画像取得装置は、前記第１自己位置推定部が自律走行車の自己位置を推定する処理を行っている間に前記路面の画像の取得を開始し、
前記第１路面画像取得装置は、前記第２自己位置推定部が自律走行車の自己位置を推定する処理を行っている間に前記路面の画像の取得を開始する自律走行車。

【請求項2】

前記第１路面画像取得装置及び前記第２路面画像取得装置が前記車体の左右に設けられている請求項１に記載の自律走行車。

【請求項3】

前記第１路面画像取得装置及び前記第２路面画像取得装置の少なくとも一方が、前記車体の前部及び後部の各々に設けられている請求項１に記載の自律走行車。

【請求項4】

車体の下面に設置された複数台の路面画像取得装置に、時間的に互いにずらして前記車体の下方の路面の画像を取得させることと、
前記複数台の路面画像取得装置の各々によって取得された前記路面
の画像から抽出された特徴を、地理的位置情報が紐付けされた路面の地図画像から抽出された特徴と比較することにより自律走行車の自己位置を推定することと、
前記複数台の路面画像取得装置によって取得された前記路面の画像をそれぞれ用いて得られた自律走行車の自己位置推定結果を、時間的に互いにずらして出力することと、
前記複数台の路面画像取得装置のうちの１つによって取得された前記路面の画像に基づき自律走行車の自己位置を推定する処理を行っている間に、前記複数台の路面画像取得装置のうちの他の１つが前記路面の画像の取得を開始することと、を有する
自律走行車における自己位置推定方法。

【請求項5】

前記車体の左右にそれぞれ設けられた前記路面画像取得装置の各々によって前記車体の下方の路面の画像を取得することを有する請求項４に記載の自律走行車における自己位置推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、自律走行車及び自律走行車における自己位置推定方法に関するものである。

【背景技術】

【0002】

近年、無人搬送車などの自己位置を正確に計測する検討が進んでいる。自己位置を計測する方法は、無人搬送車が床に敷設された磁気テープを検知することによって自己位置を計測する方法を含む。この方法では、無人搬送車は検知した磁気テープに沿って移動する。また、磁気テープを使用しない方法として、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）と呼ばれる、自己位置推定と環境地図作成とを同時に行う方法がある。ＳＬＡＭにおいてはレーザレンジファインダ（ＬＲＦ）等の距離センサ、またはカメラを用いた計測などによって得られた情報と地図情報とに基づいて自己位置が推定される。ＳＬＡＭは環境に特徴が少ない場合（広い屋外空間や単調な廊下が続く場合）や、環境が変化する場面において、自己位置の推定精度が低下することがある。このような自己位置の推定精度が低下する環境に対応するため、環境内に目印となる特徴のある物体（マーカ）が設置されることがある。しかしながら、マーカ以外の物体であって金属などの反射率の高い物体が環境内に存在する場合、マーカと誤判定し、自己位置推定精度が低下することがある。また、屋外の自己位置推定方法として人工衛星を用いるＲＴＫ－ＧＮＳＳ（Real Time Kinematic-Global Navigation Satellite System）を利用する方法がある。しかし、ＲＴＫ－ＧＮＳＳでは周囲に高い建物がある場合や、ＧＮＳＳアンテナの上空視野を阻害する構造物が存在する場合、自己位置検知が不能になる、あるいは精度が悪化することがある。また、特許文献１は、路面の画像から特徴を抽出して、抽出した特徴に地理的位置情報を関連付けた地図データベースを準備し、自己位置推定時にも同様に路面の画像から特徴を抽出し、地図データベースと照らし合わせることで自己位置推定を行う技術を開示している。ＳＬＡＭやＲＴＫ－ＧＮＳＳでは自己位置推定が困難な環境においても上記特許文献１に開示の技術を用いることにより自己位置推定が可能である。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許第８７２５４１３号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献１に開示の技術を用いて自己位置推定を行う場合においては、日射条件が異なっている場合や路面を砂が覆っていたりする場合がある。この場合、例えば図１２Ａに示すように、撮像画像（カメラ画像）には、本来の路面模様である特徴（パターン）３００，３０１に対し砂３１０，３１１の形状が加わる。その結果、図１２Ａに示す撮像画像と図１２Ｂに示す地図画像とをマッチングする際に、地図データの特徴（パターン）３２０，３２１に対する路面画像の特徴（パターン）３００，３０１の類似度が低下し、位置推定精度が低下することがある。

【課題を解決するための手段】

【0005】

本開示の一態様において、自律走行車は、車体と、前記車体の下面に設置され、前記車体の下方の路面の画像を取得する第１路面画像取得装置と、前記車体の下面に設置され、前記車体の下方の路面の画像を取得する第２路面画像取得装置と、地理的位置情報が紐付けされた路面の地図画像を記憶する記憶部と、前記第１路面画像取得装置により取得された前記路面の画像から抽出された特徴を、前記地図画像から抽出された特徴と比較することにより自律走行車の自己位置を推定する第１自己位置推定部と、前記第２路面画像取得装置により取得された前記路面の画像から抽出された特徴を、前記地図画像から抽出された特徴と比較することにより自律走行車の自己位置を推定する第２自己位置推定部と、を備える。前記第１路面画像取得装置と前記第２路面画像取得装置とは、特定の時間間隔で時間的に交互に前記路面の画像を取得し、前記第１自己位置推定部と前記第２自己位置推定部とは、特定の時間間隔で時間的に交互に自律走行車の自己位置推定結果を出力する。

【0006】

これによれば、第１自己位置推定部が、第１路面画像取得装置により取得された路面の画像から抽出された特徴を、地図画像から抽出された特徴と比較することにより自律走行車の自己位置を推定する。第２自己位置推定部が、第２路面画像取得装置により取得された路面の画像から抽出された特徴を、地図画像から抽出された特徴と比較することにより自律走行車の自己位置を推定する。よって、例えば日射条件が異なっている場合や路面を砂が覆っていたりする場合においては、１つの路面画像取得装置で路面の特徴を取得できなくても他の路面画像取得装置で路面の特徴を取得して、地図画像の特徴と取得された路面画像の特徴との類似度を大きくして自己位置推定精度の低下を回避することができる。また、第１自己位置推定部の処理と第２自己位置推定部の処理とが並列して実行されることにより、自己位置推定結果の出力周期を短くすることができ、自己位置推定結果を時系列で連続して速やかに得ることができる。その結果、高精度に自己位置を推定することができる。

【0007】

また、前記第１路面画像取得装置及び前記第２路面画像取得装置が前記車体の左右に設けられているとよい。
これによれば、車体の左右にある路面の模様を第１路面画像取得装置及び第２路面画像取得装置によりそれぞれ取得することができる。

【0008】

また、前記第１路面画像取得装置及び前記第２路面画像取得装置の少なくとも一方が、前記車体の前部及び後部の各々に設けられているとよい。
これによれば、車体の前部及び後部に設けられた２つの路面画像取得装置を用いて車体の姿勢を推定することにより、１つの路面画像取得装置を用いて車体の姿勢を推定する場合に比べ、車体の姿勢推定精度を向上することができる。

【0009】

本開示の別の態様において、自律走行車における自己位置推定方法は、車体の下面に設置された複数台の路面画像取得装置に、時間的に互いにずらして前記車体の下方の路面の画像を取得させることと、前記複数台の路面画像取得装置の各々によって取得された前記路面の画像から抽出された特徴を、地理的位置情報が紐付けされた路面の地図画像から抽出された特徴と比較することにより自律走行車の自己位置を推定することと、前記複数台の路面画像取得装置によって取得された前記路面の画像をそれぞれ用いて得られた自律走行車の自己位置推定結果を、時間的に互いにずらして出力することと、を有する。

【0010】

これによれば、複数台の路面画像取得装置の各々によって取得された路面の画像から抽出された特徴を、地理的位置情報が紐付けされた路面の地図画像から抽出された特徴と比較することにより自律走行車の自己位置を推定することができる。よって、例えば日射条件が異なっている場合や路面を砂が覆っていたりする場合においては、１つの路面画像取得装置で路面の特徴を取得できなくても他の路面画像取得装置で路面の特徴を取得して、地図画像の特徴と取得された路面画像の特徴との類似度を大きくして自己位置推定精度の低下を回避することができる。また、自己位置推定結果の出力周期を短くすることができ、自己位置推定結果を時系列で連続して速やかに得ることができる。その結果、高精度に自己位置を推定することができる。

【0011】

また、前記車体の左右にそれぞれ設けられた前記複数台の路面画像取得装置によって前記車体の下方の路面の画像が取得されるとよい。
これによれば、路面における車体の左右の模様を複数台の路面画像取得装置により取得することができる。

【図面の簡単な説明】

【0012】

【図1】実施形態における自律走行車の側面図。

【図2】図１の自律走行車の平面図。

【図3】図１の自律走行車の正面図。

【図4】図１の自律走行車の電気的構成を示すブロック図。

【図5】自己位置推定動作タイミングを説明するためのタイミングチャート。

【図6】光源、カメラ、画像処理についての動作を示すタイミングチャート。

【図7】図７Ａは第１カメラ画像を示す図、図７Ｂは地図画像を示す図。

【図8】図１の自律走行車の平面図。

【図9】図９Ａは第１カメラ画像を示す図、図９Ｂは地図画像を示す図。

【図10】図１０Ａは第１カメラ画像を示す図、図１０Ｂは地図画像を示す図、図１０Ｃは第２カメラ画像を示す図、図１０Ｄは地図画像を示す図。

【図11】別例の自律走行車の平面図。

【図12】図１２Ａはカメラ画像を示す図、図１２Ｂは地図画像を示す図。

【図13】光源、カメラ、画像処理についての動作を示すタイミングチャート。

【発明を実施するための形態】

【0013】

以下、本開示の一実施形態を図面に従って説明する。
図１、図２に示すように、自律走行車１０は、四輪車両であって、車体１１と、車体１１の下部に配置された駆動輪１０２と、車体１１の下部に配置された操舵輪１０５と、を備える。

【0014】

図１、図２、図３に示すように、自律走行車１０は、第１カメラ２０と第２カメラ２１を備える。第１カメラ２０は、車体１１の前部の下面における左側に設置され、車体１１の下方の路面１５０を撮影することができる。第１路面画像取得装置である第１カメラ２０により、路面１５０の画像を一定周期で取得することができるようになっている。第２カメラ２１は、車体１１の前部の下面における右側に設置され、車体１１の下方の路面１５０を撮影することができる。第２路面画像取得装置である第２カメラ２１により、路面１５０の画像を一定周期で取得することができるようになっている。第１カメラ２０及び第２カメラ２１が車体１１の左右に設けられている。

【0015】

図７Ａには、第１カメラ２０により取得された画像１６０の一例を示す。画像１６０は、四角形状をなしている。図１０Ｃには、第２カメラ２１により取得された画像１６１の一例を示す。画像１６１は、四角形状をなしている。

【0016】

図１、図２、図３、図７Ａ、図７Ｂ、図８、図９Ａ、図９Ｂ、図１０Ａ～図１０Ｄにおいて、上下方向をＺ方向とし、Ｚ方向と直交する水平方向であるＸ方向を車両の幅方向とし、Ｘ方向と直交する水平方向であるＹ方向を車両の前後方向としている。水平面であるＸＹ平面を、自律走行車１０がカメラ画像を得ながら走行する。

【0017】

図３に示すように、自律走行車１０は、第１カメラ２０用の第１光源（照明）３０と、第２カメラ２１用の第２光源（照明）３１を備える。第１光源３０は、車体１１の下面に設置されている。第１光源３０は、例えば発光ダイオード（以下、単にＬＥＤという）よりなる。第１光源３０は、路面１５０における第１カメラ２０の撮影領域に光を照射するためのものである。第１光源３０は、第１カメラ２０の撮影タイミングに同期して点灯する。第２光源３１は、車体１１の下面に設置されている。第２光源３１は、例えばＬＥＤよりなる。第２光源３１は、路面１５０における第２カメラ２１の撮影領域に光を照射するためのものである。第２光源３１は、第２カメラ２１の撮影タイミングに同期して点灯する。

【0018】

図４に示すように、自律走行車１０は、制御装置４０と、モータドライバ１００，１０３と、走行モータ１０１と操舵モータ１０４を備える。制御装置４０にはカメラ２０，２１が接続されている。制御装置４０は、モータドライバ１００を介して走行モータ１０１を制御して駆動輪１０２を駆動することができるようになっている。制御装置４０は、モータドライバ１０３を介して操舵モータ１０４を制御して操舵輪１０５を駆動することができるようになっている。

【0019】

図４に示すように、自律走行車１０は、第１光源ドライバ８０を備える。制御装置４０は、第１光源ドライバ８０を介して第１光源３０を制御することができる。自律走行車１０は、第２光源ドライバ８１を備える。制御装置４０は、第２光源ドライバ８１を介して第２光源３１を制御することができる。

【0020】

図４に示すように、制御装置４０は、記憶部５０と、第１処理部６０と、第２処理部７０と、を備える。第１処理部６０は、第１自己位置推定部６１を備える。第１自己位置推定部６１は、特徴抽出部６２とマッチング部６３を有する。第２処理部７０は、第２自己位置推定部７１を備える。第２自己位置推定部７１は、特徴抽出部７２とマッチング部７３を有する。

【0021】

記憶部５０には、自律走行車１０を制御するための種々のプログラムが記憶されている。制御装置４０は、各種処理のうち少なくとも一部の処理を実行する専用のハードウェア、例えば、特定用途向け集積回路：ＡＳＩＣを備えていてもよい。すなわち、制御装置４０は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ＡＳＩＣ等の１つ以上の専用のハードウェア回路、あるいは、それらの組み合わせ、を含む回路として構成し得る。プロセッサは、ＣＰＵ、並びに、ＲＡＭ及びＲＯＭ等のメモリを含む。メモリは、処理をＣＰＵに実行させるように構成されたプログラムコードまたは指令を格納している。メモリ、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆるものを含む。

【0022】

制御装置４０は、記憶部５０に記憶されたプログラムに従い、走行モータ１０１及び操舵モータ１０４を制御することで、自律走行車１０を動作させる。本実施形態の自律走行車１０は、搭乗者による操作が行われることなく、制御装置４０による制御によって自動で走行、操舵の動作を行う車両である。

【0023】

記憶部５０には、路面の地図画像５１、即ち、予め路面１５０を撮影しておいた地図画像５１が記憶されている。地図画像５１は、地理的位置情報が紐付けられた状態で作成されている。図２に示す姿勢での走行中に地図画像を作成しており、この状態が車体１１の姿勢角θ＝０となる。

【0024】

地図画像５１を予め記憶部５０に記憶する場合、路面の模様の座標を環境地図として記憶する。環境地図は、ＳＬＡＭ（Simultaneous Localization and Mapping）によるマッピングにより作成される。ＳＬＡＭは、移動体の自己位置推定と環境地図作成を同時に行うものであり、移動体が未知の環境下で環境地図を作成できる。構築した地図情報を使って特定のタスクを遂行する。自己位置は、車体１１の位置及び車体１１の姿勢である。車体１１の位置は、より詳しくは、図２に示すように車体１１の一点を示す座標、例えば、車体１１の水平方向の中央１７０の座標である。自己位置推定の際、カメラで取得した路面画像と事前に取得した地図画像を比較することで自律走行車の自己位置を推定する。

【0025】

制御装置４０は、地図上での自律走行車１０の位置を推定する自己位置推定を行いながら走行モータ１０１及び操舵モータ１０４を制御することで、所望の位置に自律走行車１０を移動させることが可能である。

【0026】

本実施形態においては、デュアルプロセッサシステムが採用されている。一方のプロセッサは第１処理部６０として機能するとともに、他方のプロセッサは第２処理部７０として機能しており、第１処理部６０と第２処理部７０とは同時並列処理が可能となっている。

【0027】

次に、作用について説明する。
図５には、制御装置４０による自己位置推定動作タイミングを示し、詳しくは、図６に示す光源（照明）の点灯、カメラ撮影、画像処理が実行される。

【0028】

図２に示すように車体１１の姿勢角θが０の場合に対し、図８に示すように車体１１の姿勢角θが所定値となっている場合においては、図７Ａに代わり図９Ａに示すような撮像画像（カメラ画像）が得られる。

【0029】

図１０Ａ、図１０Ｂには、第１カメラ２０によって取得された画像１６０、及び、対応する地図画像５１ａを示す。図１０Ｃ、図１０Ｄには、第２カメラ２１によって取得された画像１６１、及び、対応する地図画像５１ｂを示す。

【0030】

制御装置４０は、図６に示すように、第１カメラ２０により車体１１の下方の路面１５０の画像を一定周期で取得させる。詳しくは、第１光源３０の点灯に同期して、第１カメラ２０で路面が撮像される。そして、第１カメラ２０により得られた画像について、画像処理が行われる。

【0031】

第１自己位置推定部６１は、第１カメラ２０により取得された路面１５０の画像から抽出された特徴と、地図画像５１から抽出された特徴とを比較することにより自律走行車の自己位置を推定する。

【0032】

詳しくは、第１自己位置推定部６１の特徴抽出部６２は、図７Ａに示すように、第１カメラ２０により取得された路面１５０の画像１６０から特徴セット１８０を抽出する。図７Ａに示すカメラ画像の例では、特徴セット１８０として、路面の表面の凹凸による模様を▲と■で表しており、特徴セット１８０は、離間する組をなす特徴部１８１，１８２よりなる。また、マッチング部６３は、抽出された特徴セット１８０と、図７Ｂに示すような、地図画像５１から抽出された特徴セット１９０とを比較する。図７Ｂに示す地図画像の例では、特徴セット１９０として、路面の表面の凹凸による模様を▲と■で表しており、特徴セット１９０は、離間する組をなす特徴部１９１，１９２よりなる。そして、第１自己位置推定部６１は、図２、図８に示すように、自律走行車の自己位置として車体１１の位置（車体１１の中心１７０の座標）及び車体１１の姿勢（車体１１の姿勢角θ）を推定する。

【0033】

制御装置４０は、図６に示すように、第２カメラ２１により車体１１の下方の路面１５０の画像を一定周期で取得させる。詳しくは、第２光源（照明）３１の点灯に同期して、第２カメラ２１で路面が撮像される。そして、第２カメラ２１により得られた画像について、画像処理が行われる。

【0034】

第２自己位置推定部７１は、第２カメラ２１により取得された路面１５０の画像から抽出された特徴と、地図画像５１から抽出された特徴とを比較することにより自律走行車の自己位置を推定する。

【0035】

詳しくは、第２自己位置推定部７１の特徴抽出部７２は、図１０Ｃに示すように、第２カメラ２１により取得された路面１５０の画像１６１から特徴セット２００を抽出する。図１０Ｃに示すカメラ画像の例では、特徴セット２００として、路面の表面の凹凸による模様を黒塗りの長方形と●で表しており、特徴セット２００は、離間する組をなす特徴部２０１，２０２よりなる。また、マッチング部７３は、抽出された特徴セット２００と、図１０Ｄに示すような、地図画像５１ｂから抽出された特徴セット２１０とを比較する。図１０Ｄに示す地図画像の例では、特徴セット２１０として、路面の表面の凹凸による模様を黒塗りの長方形と●で表しており、特徴セット２１０は、離間する組をなす特徴部２１１，２１２よりなる。そして、第２自己位置推定部７１は、自律走行車の自己位置として車体１１の位置及び車体１１の姿勢を推定する。

【0036】

制御装置４０は、図５に示すように、第１カメラ２０と第２カメラ２１とに、特定の時間間隔で時間的に交互に路面の画像を取得させる。
図６に示すように、第１自己位置推定部６１と第２自己位置推定部７１とは、特定の時間間隔で時間的に交互に自律走行車の自己位置推定結果を出力する。

【0037】

図７Ａに示す第１撮像画像（カメラ画像）と、図７Ｂに示す地図画像とのマッチングが行われて、両画像の特徴が類似していると、地図画像に紐付けされた地理的位置情報から現在位置が分かる。

【0038】

一方、図９Ａの第１撮像画像（カメラ画像）１６０に対し、図９Ｂに示す地図画像５１のマッチングが行われて、撮像画像（カメラ画像）１６０での特徴セット１８０の向きと、地図画像５１での特徴セット１９０の向きとの差から、車体１１の姿勢角θが算出される。

【0039】

また、例えば図１０Ａに示すように路面を砂２２０，２２１が覆っていたりする場合においては、地図画像５１ａとのマッチングにおいて、第１カメラ２０で路面の特徴を取得できない。

【0040】

この場合には、図１０Ｃに示す第２撮像画像（カメラ画像）１６１と、図１０Ｄに示す地図画像５１ｂとのマッチングが行われて、両画像の特徴が類似していると、地図画像に紐付けされた地理的位置情報から現在位置が分かる。

【0041】

このようにして、第１自己位置推定部６１が第１カメラ２０により取得された路面の画像から抽出された特徴と、地図画像５１から抽出された特徴とを比較することにより、自律走行車の自己位置が推定される。第２自己位置推定部７１が第２カメラ２１により取得された路面の画像から抽出された特徴と、地図画像５１から抽出された特徴とを比較することにより、自律走行車の自己位置が推定される。

【0042】

第１カメラ２０と第２カメラ２１とは、特定の時間間隔で時間的に交互に路面の画像を取得する。図６において、第１自己位置推定部６１の自己位置推定結果の出力タイミングはｔ１，ｔ３，ｔ５，ｔ７，・・・である。その自己位置推定結果の出力の周期、即ち、ｔ１～ｔ３の期間、ｔ３～ｔ５の期間等はＴ１である。図６において、第２自己位置推定部７１の自己位置推定結果の出力タイミングはｔ２，ｔ４，ｔ６，・・・である。その自己位置推定結果の出力の周期、即ち、ｔ２～ｔ４の期間、ｔ４～ｔ６の期間はＴ１である。よって、第１自己位置推定部６１と第２自己位置推定部７１とは特定の時間間隔で時間的に交互に自律走行車の自己位置推定結果を出力するとともに、両推定部６１，７１からの自己位置推定結果の出力の周期がＴ１／２となる。

【0043】

このようにして、広い屋外空間やＲＴＫ－ＧＮＳＳが使えない環境において、マーカなどを設置することなく高精度に自己位置を推定できる。そのためには、カメラによるカメラ画像から特徴セットを抽出する。この特徴セットと一致する特徴セットを地図データベース上で検索する。地図データベースの特徴セットには地理的位置情報が紐づけされており、カメラ画像の特徴セットと地図画像の特徴セットの相対位置と地理的位置情報から、移動体の位置が推定算出される。ここで、図３に示すように、画像を取得する装置を車体１１に複数台設置（例えば光学カメラを複数台設置）し、それぞれのカメラで取得した画像から車体１１の位置及び車体１１の姿勢をそれぞれ算出する。複数のカメラそれぞれで得られた画像から求められた位置・姿勢情報の出力タイミングをずらすことで位置出力周波数を高め車両誘導精度を高める。

【0044】

図９Ａ及び図９Ｂに示すように、車体１１に設置した２台のカメラ２０，２１のそれぞれで取得した画像の特徴セットと地図画像の特徴セットのマッチング結果を基に車体１１の位置及び車体１１の姿勢をそれぞれ推定算出する。図５に示すように、それぞれのカメラで得られた画像から算出した位置・姿勢情報は互いにずらして出力される。タイミングを互いにずらして出力することで位置出力周波数を向上させる。そうすることで、車両誘導精度が向上する。また、図１０Ａ～図１０Ｄに示すように、１つのカメラで自己位置推定ができない場合でも残りのカメラで自己位置推定を行うことができ、冗長性を向上させることができる。

【0045】

よって、測距センサによるＳＬＡＭ（Simultaneous Localization and Mapping）では自己位置推定が困難な環境（広い屋外空間や周囲環境が変わる環境）やＲＴＫ－ＧＮＳＳ（Real Time Kinematic-Global Navigation Satellite System）での自己位置推定が困難な環境（周囲に高い建物がある環境やＧＮＳＳアンテナの上空視野を阻害する構造体がある環境）において、マーカなどを設置することなく高精度に自己位置を推定することができる。また、複数のカメラでそれぞれ得られた画像に基づき車体１１の位置及び車体１１の姿勢を推定し、推定結果をタイミングをずらして出力することで、推定結果を短い周期で出力することができ、車両の誘導精度を高めることができる。また、複数のカメラでそれぞれ得られた画像に基づき車体１１の位置及び車体１１の姿勢を推定しているので、路面が砂で覆われている場合など１つのカメラで得られた画像に基づき自己位置推定ができない場合でも、他のカメラで得られた画像に基づき自己位置推定ができ、冗長性を持たせることができる。

【0046】

以下、詳しく説明する。
従来のように、路面画像取得装置である一つのカメラにより一定周期で路面の画像を取得して、カメラにより取得された路面の画像から抽出された特徴と、地図画像から抽出された特徴とを比較することにより自律走行車の自己位置を推定する場合には以下のようになる。

【0047】

例えば日射条件が異なっていたり路面を砂が覆っていたりするとする。この場合、図１２Ａの撮像画像（カメラ画像）には、本来の路面模様である特徴（パターン）３００，３０１に対し砂３１０，３１１の形状が加わる。その結果、図１２Ａの撮像画像（カメラ画像）と図１２Ｂの地図画像とをマッチングする際に、地図画像の特徴（パターン）３２０，３２１と路面画像の特徴（パターン）３００，３０１との類似度が低下し、位置推定精度が低下する。また、図１３に示すように、カメラ撮影に同期して光源（照明）を点灯させて撮像画像（カメラ画像）を処理する際に、撮像画像（カメラ画像）の特徴抽出処理、マッチング処理に時間がかかることから、自己位置推定部の処理に時間がかかる。このことから、自己位置推定結果の出力タイミングはｔ１１，ｔ１２，ｔ１３，・・・であり、その出力の周期はＴ１０である。このように、自己位置推定結果の出力周期Ｔ１０を短くできずに自己位置推定結果を時系列で連続して速やかに得ることができない（位置推定結果の出力周期を高められない）。

【0048】

これに対し、本実施形態においては、次のようになる。例えば日射条件が異なっている場合や路面を砂が覆っていたりする場合、１つのカメラで路面の特徴を取得できなくても他のカメラで路面の特徴を取得して、地図画像の特徴と路面画像の特徴との類似度を大きくして自己位置推定精度の低下を回避することができる。また、第１自己位置推定部６１の処理と第２自己位置推定部７１の処理とが並列して実行される、言い換えれば、時間的に少なくとも部分的に同時に実行される。これにより、自己位置推定結果の出力周期Ｔ１／２（図６参照）を短くすることができ、自己位置推定結果を時系列で連続して速やかに得ることができる。具体的には、図６に示す周期Ｔ１／２は、図１３に示す周期Ｔ１０の半分であり、出力周期を半分にでき、周波数を２倍にできる。その結果、高精度に自己位置を推定することができる。

【0049】

上記実施形態によれば、以下のような効果を得ることができる。
（１）自律走行車１０は、車体１１の下面に設置され、車体１１の下方の路面１５０の画像１６０を取得する第１路面画像取得装置である第１カメラ２０と、車体１１の下面に設置され、車体１１の下方の路面１５０の画像１６１を取得する第２路面画像取得装置である第２カメラ２１とを備える。自律走行車１０はまた、地理的位置情報が紐付けされた路面１５０の地図画像５１を記憶する記憶部５０を備える。自律走行車１０はさらに、第１カメラ２０により取得された路面１５０の画像１６０から抽出された特徴を、地図画像５１から抽出された特徴と比較することにより自律走行車の自己位置を推定する第１自己位置推定部６１を備える。自律走行車１０はまた、第２カメラ２１により取得された路面１５０の画像１６１から抽出された特徴を、地図画像５１から抽出された特徴と比較することにより自律走行車の自己位置を推定する第２自己位置推定部７１を備える。よって、例えば日射条件が異なっている場合や路面を砂が覆っていたりする場合においては、１つの路面画像取得装置で路面の特徴を取得できなくても他の路面画像取得装置で路面の特徴を取得して、地図画像の特徴と取得された路面画像の特徴との類似度を大きくして自己位置推定精度の低下を回避することができる。

【0050】

（２）第１カメラ２０と第２カメラ２１とは、特定の時間間隔で時間的に交互に路面１５０の画像を取得する。第１自己位置推定部６１と第２自己位置推定部７１とは、特定の時間間隔で時間的に交互に自律走行車の自己位置推定結果を出力する。よって、第１自己位置推定部６１の処理と第２自己位置推定部７１の処理とが並列して実行されることにより、自己位置推定結果の出力周期を短くすることができ、自己位置推定結果を時系列で連続して速やかに得ることができる。その結果、高精度に自己位置を推定することができる。

【0051】

（３）第１カメラ２０及び第２カメラ２１が車体１１の左右にそれぞれ設けられている。よって、車体１１の左右にある路面１５０の模様を第１カメラ２０及び第２カメラ２１によりそれぞれ取得することができる。

【0052】

（４）第１自己位置推定部６１は、第１カメラ２０により取得された路面１５０の画像１６０から抽出された特徴セット１８０を、地図画像５１から抽出された特徴セット１９０と比較することにより、自律走行車の自己位置として車体１１の位置及び車体１１の姿勢（車体１１の姿勢角θ）を推定する。第２自己位置推定部７１は、第２カメラ２１により取得された路面１５０の画像１６１から抽出された特徴セット２００と、地図画像５１から抽出された特徴セット２１０とを比較することにより、自律走行車の自己位置として車体１１の位置及び車体１１の姿勢（車体１１の姿勢角θ）を推定する。よって、路面１５０の画像１６０，１６１から取得された特徴セットを用いて自律走行車の自己位置として車体１１の位置及び車体１１の姿勢を推定することができる。

【0053】

（５）自律走行車における自己位置推定方法は、車体１１の下面に設置された複数台の路面画像取得装置であるカメラ２０，２１の各々によって車体１１の下方の路面１５０の画像を取得するステップを有する。自己位置推定方法はまた、複数台のカメラ２０，２１の各々によって取得された路面１５０の画像から抽出された特徴を、地理的位置情報が紐付けされた路面１５０の地図画像５１から抽出された特徴と比較することにより自律走行車の自己位置を推定するステップを有する。よって、例えば日射条件が異なっている場合や路面を砂が覆っていたりする場合においては、１つの路面画像取得装置で路面の特徴を取得できなくても他の路面画像取得装置で路面の特徴を取得して、地図画像の特徴と取得された路面画像の特徴との類似度を大きくして自己位置推定精度の低下を回避することができる。

【0054】

（６）自律走行車における自己位置推定方法において、複数台のカメラ２０，２１が時間的に互いにずらして路面１５０の画像を取得し、取得された路面１５０の画像をそれぞれ用いて得られた自律走行車の自己位置推定結果が時間的に互いにずらして出力される。よって、自己位置推定結果の出力周期を短くすることができ、自己位置推定結果を時系列で連続して速やかに得ることができる。その結果、高精度に自己位置を推定することができる。

【0055】

（７）自律走行車における自己位置推定方法において、車体１１の左右にそれぞれ設けられた複数台のカメラ２０，２１によって、車体の左右にある路面の模様を取得することができる。

【0056】

実施形態は前記に限定されるものではなく、例えば、次のように具体化してもよい。
○図１１に示すように、車体１１の前部及び後後部にそれぞれ複数台のカメラ２５，２６，２７，２８を設置してもよい。図１１では、車体１１の前部に２台のカメラ２５，２６が左右に並んで設置され、車体１１の後部に２台のカメラ２７，２８が左右に並んで設置されている。カメラ２５とカメラ２７とは、車体１１の前部及び後部にそれぞれ設けられた２つの第１カメラである。カメラ２６とカメラ２８とは、車体１１の前部及び後部にそれぞれ設けられた２つの第２カメラである。

【0057】

それぞれのカメラ２５～２８で取得した画像の特徴と地図画像の特徴とのマッチング結果を基に車体の位置をそれぞれ推定する。また、前後一対のカメラで取得された画像に基づき車体１１の姿勢を推定する。このとき、車両の前後方向において離間する２つの箇所で得られた画像から車体１１の姿勢を推定するので、１つのカメラでの車体１１の姿勢の推定を行う場合に比べ、姿勢推定精度を向上することができる。

【0058】

左右のカメラが画像を出力するタイミングを互いにずらしてもよい。詳細には、前側の左右のカメラ２５，２６の組及び後ろ側の左右のカメラ２７，２８の組のうちの少なくとも一組の左右のカメラの出力タイミングを互いにずらして、左右のカメラで取得された画像に基づきそれぞれ得られる車体の位置・姿勢情報をタイミングを互いにずらして出力してもよい。これにより、位置出力周波数を向上させることができる。また、前後一対のカメラで得られた画像に基づき車体の姿勢を推定するので、１つのカメラで車体１１の姿勢を推定する場合に比べて車体の姿勢推定精度を高めることができる。

【0059】

このように、自律走行車は、第１路面画像取得装置である第１カメラ及び第２路面画像取得装置である第２カメラの少なくとも一方が、車体１１の前部及び後部の各々に設けられている。これによれば、車体の前部及び後部にそれぞれ設けられた２つの路面画像取得装置を用いて車体の姿勢を推定することにより、１つの路面画像取得装置を用いて車体の姿勢を推定する場合に比べ、車体の姿勢推定精度を向上することができる。

【0060】

〇カメラの台数は問わない。カメラは２台以上あればよい。路面１５０に対する複数のカメラの撮像領域は、互いに異なる領域であっても、部分的に重なっていてもよい。また、複数のカメラにより路面１５０の同じ領域を異なる方向から撮影してもよい。

【0061】

〇上記実施形態では、路面画像取得装置としてカメラ２０，２１を用いたが、カメラ以外の機器を路面画像取得装置として用いてもよい。路面画像取得装置として、例えば、リニアセンサ（リニアイメージセンサ）を用いることもできる。

【0062】

○上記実施形態では、同時並列処理が可能な２つのプロセッサを含むデュアルプロセッサシステムを使用し、一方のプロセッサにより第１処理部６０を構成するとともに他方のプロセッサにより第２処理部７０を構成したが、これに限らない。一つのプロセッサを第１処理部６０と第２処理部７０として機能するように使用してもよい。この場合、第１処理部６０と第２処理部７０とは、時間的に互いにずらして画像処理を行う。

【符号の説明】

【0063】

１０…自律走行車、１１…車体、２０…第１カメラ、２１…第２カメラ、５０…記憶部、５１…地図画像、６１…第１自己位置推定部、７１…第２自己位置推定部、１５０…路面、１６０…撮像画像、１６１…撮像画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】