特許 6872426 環境地図生成方法、環境地図生成装置、及び環境地図生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6872426

(24)【登録日】2021年4月21日

(45)【発行日】2021年5月19日

(54)【発明の名称】環境地図生成方法、環境地図生成装置、及び環境地図生成プログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20210510BHJP

   G05D 1/02 20200101ALI20210510BHJP

   G06T 7/70 20170101ALI20210510BHJP

   G06T 7/00 20170101ALI20210510BHJP

   G01C 11/06 20060101ALI20210510BHJP

   G09B 29/00 20060101ALN20210510BHJP

【ＦＩ】

   G06T1/00 330Z

   G05D1/02 K

   G06T7/70 A

   G06T7/00 650Z

   G01C11/06

   !G09B29/00 Z

【請求項の数】4

【全頁数】14

(21)【出願番号】特願2017-109065(P2017-109065)

(22)【出願日】2017年6月1日

(65)【公開番号】特開2018-205949(P2018-205949A)

(43)【公開日】2018年12月27日

【審査請求日】2019年11月29日

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】浅海 周

(72)【発明者】

【氏名】浅井 彰司

(72)【発明者】

【氏名】石黒 博

(72)【発明者】

【氏名】早川 和孝

(72)【発明者】

【氏名】鈴木 崇士

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１６−１５７１９７（ＪＰ，Ａ）

【文献】 特開２０１５−１１４９５４（ＪＰ，Ａ）

【文献】 特開２０１４−１８６６９５（ＪＰ，Ａ）

【文献】 小野晋太郎, 外３名，“複数車載カメラ映像の時空間マッチングによる広域都市モデリングシステム”，第１６回画像センシングシンポジウム講演論文集，日本，画像センシング技術研究会，２０１０年 ６月 ９日，p.(IS4-08-1)-(IS4-08-8)

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０１Ｃ １１／０６

Ｇ０５Ｄ １／０２

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

Ｇ０９Ｂ ２９／００

(57)【特許請求の範囲】

【請求項1】

移動方向に制約のある移動体に設けられた第１撮影装置により、前記移動体を第１移動経路に沿って前記移動体が駐車する駐車場の駐車位置まで移動させながら複数の位置の各々で前記移動体の前後の何れかの撮影方向に向かって第１画像を撮影し、
前記第１移動経路に対して交差する方向に、全方位に移動可能な第２移動体に設けられた第２撮影装置を移動させながら前記駐車位置に向かう前記第１移動経路とは異なる第２移動経路上の複数の位置の各々で前記撮影方向に向かって前記第２撮影装置により第２画像を撮影し、
撮影して得られた複数の前記第１画像、及び複数の前記第２画像を含む画像群の画像各々から特徴点を抽出し、
複数の前記第１画像の一方の画像から抽出した特徴点、及び他方の画像から抽出した特徴点を対応付けるとともに、複数の前記第２画像の一方の画像から抽出した特徴点、及び他方の画像から抽出した特徴点を対応付け、
対応付けた各特徴点の３次元位置を算出し、各特徴点の３次元位置を含む環境地図を生成する、
処理を含む環境地図生成方法。

【請求項2】

前記第１移動経路に対して交差する方向は、前記第１移動経路に対して直交する方向である、
請求項１に記載の環境地図生成方法。

【請求項3】

移動方向に制約のある移動体に設けられた第１撮影装置により、前記移動体を第１移動経路に沿って前記移動体が駐車する駐車場の駐車位置まで移動させながら複数の位置の各々で前記移動体の前後の何れかの撮影方向に向かって撮影して得られた複数の第１画像、及び前記第１移動経路に対して交差する方向に、全方位に移動可能な第２移動体に設けられた第２撮影装置を移動させながら前記駐車位置に向かう前記第１移動経路とは異なる第２移動経路上の複数の位置の各々で前記撮影方向に向かって前記第２撮影装置により撮影して得られた複数の第２画像を取得する取得部と、
複数の前記第１画像、及び複数の前記第２画像を含む画像群の画像各々から特徴点を抽出する抽出部と、
複数の前記第１画像の一方の画像から抽出された特徴点、及び他方の画像から抽出された特徴点を対応付けるとともに、複数の前記第２画像の一方の画像から抽出した特徴点、及び他方の画像から抽出した特徴点を対応付ける対応付け部と、
対応付けられた各特徴点の３次元位置を算出し、各特徴点の３次元位置を含む環境地図を生成する生成部と、
を含む環境地図生成装置。

【請求項4】

移動方向に制約のある移動体に設けられた第１撮影装置により、前記移動体を第１移動経路に沿って前記移動体が駐車する駐車場の駐車位置まで移動させながら複数の位置の各々で前記移動体の前後の何れかの撮影方向に向かって撮影して得られた複数の第１画像、及び前記第１移動経路に対して交差する方向に、全方位に移動可能な第２移動体に設けられた第２撮影装置を移動させながら前記駐車位置に向かう前記第１移動経路とは異なる第２移動経路上の複数の位置の各々で前記撮影方向に向かって前記第２撮影装置により撮影して得られた複数の第２画像を取得し、
撮影して得られた複数の前記第１画像、及び複数の前記第２画像を含む画像群の画像各々から特徴点を抽出し、
複数の前記第１画像の一方の画像から抽出した特徴点、及び他方の画像から抽出した特徴点を対応付けるとともに、複数の前記第２画像の一方の画像から抽出した特徴点、及び他方の画像から抽出した特徴点を対応付け、
対応付けた各特徴点の３次元位置を算出し、各特徴点の３次元位置を含む環境地図を生成する、
処理をコンピュータに実行させる環境地図生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、環境地図生成方法、環境地図生成装置、及び環境地図生成プログラムに関する。

【背景技術】

【0002】

従来、環境内を移動する移動体に設けられた撮影装置により撮影された画像を用いて、移動体の自己位置を推定する技術が知られている。

【0003】

例えば、特許文献１には、環境内を撮影した画像の特徴点と、移動体周囲を撮影した画像の特徴点とを対応付け、対応付けた各特徴点の位置の幾何学的な位置関係に基づいて、移動体の自己位置を推定する推定装置が開示されている。

【0004】

また、特許文献２には、搭載された撮影装置を用いて撮影した画像に基づいて環境地図を生成し、生成した環境地図を用いて自己位置を推定する歩行ロボット装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１７−２１４２７号公報

【特許文献2】特開２０１２−２１６０５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、環境内を移動する移動体の自己位置を精度良く推定するためには、精度の良い環境地図を生成することが望ましい。例えば、単眼カメラで環境内を撮影した画像を用いて環境地図を生成する場合、撮影方向に対する距離情報が十分には得られないため、環境地図が精度良く生成されない場合がある。

【0007】

しかしながら、上記特許文献１に記載の技術では、環境地図を精度良く生成することについては考慮されていない。また、上記特許文献２に記載の技術では、環境地図を安価に生成することは考慮されているものの、環境地図を精度良く生成することについては考慮されていない。

【0008】

本発明は、以上の事情を鑑みて成されたものであり、環境地図を精度良く生成することができる環境地図生成方法、環境地図生成装置、及び環境地図生成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明に係る環境地図生成方法は、移動方向に制約のある移動体に設けられた第１撮影装置により、前記移動体を第１移動経路に沿って前記移動体が駐車する駐車場の駐車位置まで移動させながら複数の位置の各々で前記移動体の前後の何れかの撮影方向に向かって第１画像を撮影し、前記第１移動経路に対して交差する方向に、全方位に移動可能な第２移動体に設けられた第２撮影装置を移動させながら前記駐車位置に向かう前記第１移動経路とは異なる第２移動経路上の複数の位置の各々で前記撮影方向に向かって前記第２撮影装置により第２画像を撮影し、撮影して得られた複数の前記第１画像、及び複数の前記第２画像を含む画像群の画像各々から特徴点を抽出し、複数の前記第１画像の一方の画像から抽出した特徴点、及び他方の画像から抽出した特徴点を対応付けるとともに、複数の前記第２画像の一方の画像から抽出した特徴点、及び他方の画像から抽出した特徴点を対応付け、対応付けた各特徴点の３次元位置を算出し、各特徴点の３次元位置を含む環境地図を生成する、処理を含む。

【0010】

なお、本発明に係る環境地図生成方法は、前記第１移動経路に対して交差する方向が、前記第１移動経路に対して直交する方向であってもよい。

【0012】

一方、上記目的を達成するために、本発明に係る環境地図生成装置は、移動方向に制約のある移動体に設けられた第１撮影装置により、前記移動体を第１移動経路に沿って前記移動体が駐車する駐車場の駐車位置まで移動させながら複数の位置の各々で前記移動体の前後の何れかの撮影方向に向かって撮影して得られた複数の第１画像、及び前記第１移動経路に対して交差する方向に、全方位に移動可能な第２移動体に設けられた第２撮影装置を移動させながら前記駐車位置に向かう前記第１移動経路とは異なる第２移動経路上の複数の位置の各々で前記撮影方向に向かって前記第２撮影装置により撮影して得られた複数の第２画像を取得する取得部と、複数の前記第１画像、及び複数の前記第２画像を含む画像群の画像各々から特徴点を抽出する抽出部と、複数の前記第１画像の一方の画像から抽出された特徴点、及び他方の画像から抽出された特徴点を対応付けるとともに、複数の前記第２画像の一方の画像から抽出した特徴点、及び他方の画像から抽出した特徴点を対応付ける対応付け部と、対応付けられた各特徴点の３次元位置を算出し、各特徴点の３次元位置を含む環境地図を生成する生成部と、を含む。

【0013】

また、上記目的を達成するために、本発明に係る環境地図生成プログラムは、移動方向に制約のある移動体に設けられた第１撮影装置により、前記移動体を第１移動経路に沿って前記移動体が駐車する駐車場の駐車位置まで移動させながら複数の位置の各々で前記移動体の前後の何れかの撮影方向に向かって撮影して得られた複数の第１画像、及び前記第１移動経路に対して交差する方向に、全方位に移動可能な第２移動体に設けられた第２撮影装置を移動させながら前記駐車位置に向かう前記第１移動経路とは異なる第２移動経路上の複数の位置の各々で前記撮影方向に向かって前記第２撮影装置により撮影して得られた複数の第２画像を取得し、撮影して得られた複数の前記第１画像、及び複数の前記第２画像を含む画像群の画像各々から特徴点を抽出し、複数の前記第１画像の一方の画像から抽出した特徴点、及び他方の画像から抽出した特徴点を対応付けるとともに、複数の前記第２画像の一方の画像から抽出した特徴点、及び他方の画像から抽出した特徴点を対応付け、対応付けた各特徴点の３次元位置を算出し、各特徴点の３次元位置を含む環境地図を生成する、処理をコンピュータに実行させるものである。

【発明の効果】

【0014】

本発明によれば、環境地図を精度良く生成することができる。

【図面の簡単な説明】

【0015】

【図1】実施形態に係る環境地図生成装置の機能ブロック図である。

【図2】第１撮影装置により画像を撮影する場合の移動経路の一例を示す平面図である。

【図3】第２撮影装置により画像を撮影する場合の移動経路の一例を示す平面図である。

【図4】抽出された特徴点を示す図である。

【図5】実施形態に係る車両制御装置の機能ブロック図である。

【図6】実施形態に係る環境地図生成装置のハードウェア構成を示すブロック図である。

【図7】実施形態に係る車両制御装置のハードウェア構成を示すブロック図である。

【図8】実施形態に係る環境地図情報を生成する処理の一例を示すフローチャートである。

【図9】実施形態に係る環境地図生成処理の一例を示すフローチャートである。

【図10】環境地図情報に含まれる特徴点の一例を示す模式図である。

【図11】実施形態に係る自己位置推定処理の一例を示すフローチャートである。

【図12】第２撮影装置により画像を撮影する場合の移動経路の変形例を示す平面図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。なお、本実施形態では、移動体の移動経路に制約がある局所的な空間内での局所的な環境地図を生成する場合の形態例を説明する。具体的には、車両のユーザの自宅の駐車場における環境地図を生成する場合の形態例を説明する。

【0017】

まず、図１を参照して、本実施形態に係る環境地図生成装置１０の機能的な構成を説明する。なお、環境地図生成装置１０の例としては、パーソナルコンピュータ及びサーバコンピュータ等の情報処理装置が挙げられる。

【0018】

図１に示すように、環境地図生成装置１０は、取得部１２、抽出部１４、対応付け部１６、及び生成部１８を含む。また、環境地図生成装置１０の所定の記憶領域には、第１撮影装置の一例としてのカメラ３０により複数の位置で撮影された複数の画像（以下、「第１画像」という）の各々を示す画像データ（以下、「第１画像データ」という）２０が記憶される。また、環境地図生成装置１０の所定の記憶領域には、第２撮影装置の一例としてのカメラ３２により複数の位置で撮影された複数の画像（以下、「第２画像」という）の各々を示す画像データ（以下、「第２画像データ」という）２２が記憶される。

【0019】

図２及び図３を参照して、第１画像及び第２画像について説明する。図２に示すように、カメラ３０は、移動方向に制約のある移動体の一例としての車両３４の後部に設けられ、車両３４の後方の第１画像を撮影する。本実施形態では、カメラ３０は、車両３４が駐車場の駐車位置に駐車する際の車両３４の移動経路Ｒ１上の複数の位置の各々で第１画像を撮影する。

【0020】

一方、図３に示すように、カメラ３２は、上記駐車位置に向かう移動経路Ｒ１とは異なる移動経路Ｒ２上の複数の位置の各々で第２画像を撮影する。具体的には、移動経路Ｒ２は、移動経路Ｒ１に対して直交する方向を含む経路である。また、カメラ３２は、移動経路Ｒ２上において、対応する移動経路Ｒ１上でのカメラ３０の撮影方向と同じ方向に向かって第２画像を撮影する。本実施形態では、車両の納車時に車両のディーラーの担当者等の作業者がカメラ３２を手で持ち、移動経路Ｒ２上を移動しながらカメラ３２を操作して複数の位置で第２画像を撮影する。本実施形態に係る第２画像データ２２群には、移動経路Ｒ２上における移動経路Ｒ１に対して直交する方向の経路で撮影された第２画像を示す画像データが含まれる。

【0021】

取得部１２は、環境地図生成装置１０の記憶領域に記憶された第１画像データ２０群から、第１画像データ２０を時系列の順番に１つずつ取得する。また、取得部１２は、環境地図生成装置１０の記憶領域に記憶された第２画像データ２２群から、第２画像データ２２を時系列の順番に１つずつ取得する。なお、取得部１２は、第１画像データ２０及び第２画像データ２２を、ネットワークを介して取得してもよいし、フラッシュメモリ等の記録媒体を介して取得してもよい。

【0022】

抽出部１４は、取得部１２により取得された第１画像データ２０について、時系列に連続する２つの第１画像データ２０のペアを生成する。また、抽出部１４は、ペアの第１画像データ２０の各々が示す画像から特徴点を抽出する。また、抽出部１４は、取得部１２により取得された第２画像データ２２について、時系列に連続する２つの第２画像データ２２のペアを生成する。また、抽出部１４は、ペアの第２画像データ２２の各々が示す画像から特徴点を抽出する。

【0023】

抽出部１４による特徴点の抽出処理には、例えば、ＯＲＢ−ＳＬＡＭを適用することができる。ＯＲＢ−ＳＬＡＭは、特徴量の記述にＯＲＢ（Oriented FAST and Rotated BRIEF）を用いる。ＯＲＢ−ＳＬＡＭは、特徴点としてコーナーを検出し、検出手法にＦＡＳＴ（Features from Accelerated Segment Test）を用いるものである。また、ＯＲＢの特徴量記述は、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）をベースとして、スケール不変性と回転不変性とを有するように発展させたものである。ＯＲＢ−ＳＬＡＭについては以下の参考文献１に開示されているため、詳細な説明を省略する。なお、ＯＲＢ−ＳＬＡＭでは、特徴点がランダムに抽出されるため、同じ画像に対して特徴点の抽出処理を複数回繰り返してもよい。これにより、より多くの特徴点が抽出される。
［参考文献１］Raul Mur-Artal, J.M.M.Montiel and Juan D.Tardos. ORB-SLAM: A Versatile and Accurate Monocular SLAM System. IEEE Transactions on Robotics, vol.31, no.5, pp.1147-1163, 2015.

【0024】

図４に、抽出部１４により抽出された特徴点の一例を示す。図４では、特徴点が正方形の印で示されている。

【0025】

対応付け部１６は、抽出部１４により抽出されたペアの第１画像データ２０の各々が示す画像の特徴点を対応付ける。また、対応付け部１６は、ペアの第２画像データ２２の各々が示す画像の特徴点を対応付ける。

【0026】

生成部１８は、対応付け部１６により対応付けられた各特徴点の位置に基づいて、環境地図を示す環境地図情報２４を生成する。本実施形態では、生成部１８は、初期化段階において、対応付け部１６により対応付けられた複数組の特徴点のペアから、例えば、５点法及び７点法等を用いて、一方の画像を基準とする基本行列を推定する。なお、生成部１８は、他方の画像を基準とする基本行列を推定してもよい。ここで、上記で取得された画像データの画像を、他方の画像とし、一つ前の画像データの画像を、一方の画像として説明する。

【0027】

また、生成部１８は、特異値分解等によって、推定して得られた基本行列から並進ベクトル及び回転行列を算出する。この並進ベクトル及び回転行列の算出により、生成部１８は、一方の画像の撮影時のカメラの位置及び姿勢を基準とする他方の画像の撮影時のカメラの位置及び姿勢を推定する。なお、生成部１８は、一方の画像の撮影時のカメラの位置を原点とし、一方の画像の撮影時のカメラの姿勢を基準として、３次元の地図座標系を設定する。

【0028】

また、生成部１８は、対応付けられた特徴点のペアの一方の画像内の位置及び他方の画像内の位置と、推定した、一方の画像の撮影時のカメラの位置及び姿勢に対する他方の画像の撮影時のカメラの位置及び姿勢とを用いて、三角測量の原理によって、一方の画像の撮影時のカメラの位置及び姿勢に対する、特徴点の三次元座標を算出する。生成部１８は、この三次元座標を、地図座標系の三次元座標に変換する。

【0029】

そして、生成部１８は、各特徴点について求めた地図座標系の三次元座標及び特徴量を含めた環境地図情報２４を生成する。また、生成部１８は、地図座標系における一方の画像の撮影時のカメラの位置及び姿勢と、他方の画像の撮影時のカメラの位置及び姿勢とを求め、画像データ、及び画像に含まれる特徴点情報と共に、環境地図情報２４に格納する。

【0030】

そして、生成部１８は、初期化段階ではない場合、環境地図情報２４の各特徴点と、他方の画像の特徴点とを照合して、地図座標系における他方の画像の撮影時のカメラの位置及び姿勢を求める。

【0031】

また、生成部１８は、対応付け部１６により対応付けられた特徴点のうち、環境地図情報２４に登録されていない新しい特徴点が存在する場合には、以下に示す処理を行う。すなわち、この場合、生成部１８は、当該新しい特徴点の一方の画像内の位置及び他方の画像内の位置と、環境地図情報２４から得られる、一方の画像の撮影時のカメラの位置及び姿勢と、求められた他方の画像の撮影時のカメラの位置及び姿勢とを用いて、三角測量の原理によって、一方の画像の撮影時のカメラの位置及び姿勢に対する、特徴点の三次元座標を算出する。生成部１８は、この三次元座標を、地図座標系の三次元座標に変換する。

【0032】

そして、生成部１８は、新しい特徴点について求めた地図座標系の三次元座標及び特徴量を環境地図情報２４に格納する。また、生成部１８は、求められた他方の画像の撮影時のカメラの位置及び姿勢を、画像データ、及び画像に含まれる特徴点情報と共に、環境地図情報２４に格納する。

【0033】

次に、図５を参照して、車両３４の自己位置を推定する場合の車両制御装置３６の機能的な構成を説明する。車両制御装置３６は、車両３４の内部に設けられる。なお、車両制御装置３６の例としては、ＥＣＵ（Electronic Control Unit）等のマイクロコンピュータが挙げられる。

【0034】

図５に示すように、車両制御装置３６は、撮影制御部４０、抽出部４２、及び推定部４４を含む。車両制御装置３６の所定の記憶領域には、環境地図生成装置１０により生成された環境地図情報２４が記憶される。

【0035】

撮影制御部４０は、カメラ３０に対して画像を撮影させる制御を行い、カメラ３０により撮影された画像を示す画像データを取得する。抽出部４２は、環境地図生成装置１０の抽出部１４と同様の処理により、撮影制御部４０による制御によってカメラ３０により撮影された画像から特徴点を抽出する。

【0036】

推定部４４は、抽出部４２により抽出された特徴点の特徴量に基づいて、抽出された特徴点と、環境地図情報２４に含まれる特徴点とを照合して、地図座標系における画像の撮影時のカメラ３０の位置及び姿勢を求め、車両３４の自己位置及び姿勢とする。なお、車両３４の自己位置の基準を後輪の軸の中央部等のカメラ３０の位置以外とした場合は、カメラ３０の位置と車両３４の自己位置の基準との相対的な位置関係に基づき、推定したカメラ３０の位置及び姿勢から車両３４の自己位置及び姿勢を求めてもよい。

【0037】

次に、図６を参照して、環境地図生成装置１０のハードウェア構成を説明する。図６に示すように、環境地図生成装置１０は、ＣＰＵ（Central Processing Unit）６１、一時記憶領域としてのメモリ６２、及び不揮発性の記憶部６３を備える。また、環境地図生成装置１０は、表示装置及び入力装置等の入出力装置６４を備える。また、環境地図生成装置１０は、ネットワークに接続されるネットワークＩ／Ｆ６５を備える。ＣＰＵ６１、メモリ６２、記憶部６３、入出力装置６４、及びネットワークＩ／Ｆ６５は、バス６６を介して互いに接続される。

【0038】

記憶部６３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等によって実現することができる。記憶媒体としての記憶部６３には、環境地図生成プログラム７０が記憶される。また、記憶部６３は、第１画像データ２０、第２画像データ２２、及び環境地図情報２４が記憶される情報記憶領域７１を有する。ＣＰＵ６１は、環境地図生成プログラム７０を記憶部６３から読み出してメモリ６２に展開して実行する。ＣＰＵ６１が、環境地図生成プログラム７０を実行することによって、図１に示す取得部１２、抽出部１４、対応付け部１６、及び生成部１８として機能する。

【0039】

次に、図７を参照して、車両制御装置３６のハードウェア構成を説明する。図７に示すように、車両制御装置３６は、ＣＰＵ８１、一時記憶領域としてのメモリ８２、及び不揮発性の記憶部８３を備える。また、車両制御装置３６は、カメラ３０が接続される入出力Ｉ／Ｆ８４、及びネットワークに接続されるネットワークＩ／Ｆ８５を備える。ＣＰＵ８１、メモリ８２、記憶部８３、入出力Ｉ／Ｆ８４、及びネットワークＩ／Ｆ８５は、バス８６を介して互いに接続される。

【0040】

記憶部８３は、ＨＤＤ、ＳＳＤ、及びフラッシュメモリ等によって実現することができる。記憶媒体としての記憶部８３には、自己位置推定プログラム９０が記憶される。また、記憶部８３は、環境地図情報２４が記憶される情報記憶領域９１を有する。ＣＰＵ９１は、自己位置推定プログラム９０を記憶部８３から読み出してメモリ８２に展開して実行する。ＣＰＵ８１が、自己位置推定プログラム９０を実行することによって、図５に示す撮影制御部４０、抽出部４２、及び推定部４４として機能する。

【0041】

次に、図８〜図１１を参照して、本実施形態に係る環境地図情報２４を生成する処理の流れを説明する。

【0042】

図８に示すステップＳ１０で、作業者は、車両３４を運転し、移動経路Ｒ１に沿って車両３４を移動させる。車両３４が移動経路Ｒ１上を移動している間、車両制御装置３６は、カメラ３０を制御し、所定の時間間隔で第１画像を撮影させる。ステップＳ１２で、作業者は、車両３４を移動経路Ｒ１の終点である所定の駐車位置に駐車した後、ステップＳ１０でのカメラ３０による撮影により得られた複数の第１画像データ２０を、環境地図生成装置１０の記憶部６３に格納する。

【0043】

ステップＳ１４で、作業者は、前述したように、カメラ３２を手に持ち、移動経路Ｒ２上を移動しながらカメラ３２を操作して複数の位置で第２画像を撮影する。ステップＳ１６で、作業者は、ステップＳ１４でのカメラ３２による撮影により得られた複数の第２画像データ２２を、環境地図生成装置１０の記憶部６３に格納する。

【0044】

ステップＳ１６の作業が終了すると、作業者は、入出力装置６４の入力装置を介して、環境地図生成プログラム７０の実行指示を入力する。この実行指示が入力されると、ステップＳ１８で、環境地図生成装置１０のＣＰＵ６１は、環境地図生成プログラム７０を実行する。ＣＰＵ６１が環境地図生成プログラム７０を実行することにより、図９に示す環境地図生成処理が実行される。

【0045】

図９に示すステップＳ３０で、取得部１２は、記憶部６３に記憶された第１画像データ２０群から、１つの第１画像データ２０を取得する。なお、本実施形態では、ステップＳ３０の処理が繰り返し実行される場合に、取得部１２は、第１画像データ２０を時系列の順番に取得する。ステップＳ３４で、抽出部１４は、直前のステップＳ３０で取得された第１画像データ２０と、前回の繰り返し処理におけるステップＳ３０で取得された第１画像データ２０とのペアを生成する。

【0046】

ステップＳ３６で、抽出部１４は、ステップＳ３４で生成されたペアの画像データの各々を用いて、一方の画像及び他方の画像から特徴点を抽出する。ステップＳ３８で、対応付け部１６は、ステップＳ３６で抽出された一方の画像の特徴点と、他方の特徴点とを対応付ける。

【0047】

ステップＳ４０で、生成部１８は、環境地図情報２４を生成する初期化段階であるか否かを判定する。環境地図情報２４に、何らデータが格納されていない場合には、処理はステップＳ４２へ移行する。一方、環境地図情報２４に、データが既に格納されている場合には、処理はステップＳ４８へ移行する。

【0048】

ステップＳ４２で、生成部１８は、ステップＳ３８で対応付けられた複数組の特徴点のペアから、一方の画像を基準とする基本行列を推定する。また、生成部１８は、特異値分解等によって、推定して得られた基本行列から並進ベクトル及び回転行列を算出し、一方の画像の撮影時のカメラ３０の位置及び姿勢を基準とする他方の画像の撮影時のカメラ３２の位置及び姿勢を推定する。

【0049】

ステップＳ４４で、生成部１８は、対応付けられた特徴点のペアの一方の画像内の位置及び他方の画像内の位置と、推定した、一方の画像の撮影時のカメラの位置及び姿勢に対する他方の画像の撮影時のカメラの位置及び姿勢とを用いて、三角測量の原理によって、一方の画像の撮影時のカメラの位置及び姿勢に対する、特徴点の三次元座標を算出する。また、生成部１８は、この三次元座標を、地図座標系の三次元座標に変換する。

【0050】

ステップＳ４６で、生成部１８は、各特徴点についてステップＳ４４で求めた地図座標系の三次元座標及び特徴量を含めた環境地図情報２４を生成する。また、生成部１８は、地図座標系における一方の画像の撮影時のカメラの位置及び姿勢と、他方の画像の撮影時のカメラの位置及び姿勢とを求め、画像データ、及び画像に含まれる特徴点情報と共に、環境地図情報２４に格納する。

【0051】

一方、ステップＳ４８で、生成部１８は、初期化段階ではない場合、環境地図情報２４の各特徴点と、他方の画像の特徴点とを照合して、地図座標系における他方の画像の撮影時のカメラの位置及び姿勢を求める。

【0052】

ステップＳ５０で、生成部１８は、ステップＳ３８で対応付けられた特徴点のうち、環境地図情報２４に登録されていない新しい特徴点が存在する場合には、以下に示す処理を行う。すなわち、この場合、生成部１８は、当該新しい特徴点の一方の画像内の位置及び他方の画像内の位置と、環境地図情報２４から得られる、一方の画像の撮影時のカメラの位置及び姿勢と、ステップＳ４８で求めた他方の画像の撮影時のカメラの位置及び姿勢とを用いて、三角測量の原理によって、一方の画像の撮影時のカメラの位置及び姿勢に対する、特徴点の三次元座標を算出する。生成部１８は、この三次元座標を、地図座標系の三次元座標に変換する。

【0053】

ステップＳ５２で、生成部１８は、新しい特徴点についてステップＳ５０で求めた地図座標系の三次元座標及び特徴量を環境地図情報２４に格納する。また、生成部１８は、求められた他方の画像の撮影時のカメラの位置及び姿勢を、画像データ、及び画像に含まれる特徴点情報と共に、環境地図情報２４に格納する。

【0054】

ステップＳ５４で、生成部１８は、全ての画像について、ステップＳ３０からステップＳ５２までの処理が完了したか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ３０に戻る。また、第１画像データ２０群の全ての画像について、ステップＳ３０からステップＳ５２までの処理が終了した場合、第２画像データ２２群の全ての画像についても同様に、ステップＳ３０からステップＳ５２までの処理が実行される。そして、第１画像データ２０群及び第２画像データ２２群の全ての画像についてステップＳ３４からステップＳ５２までの処理が終了すると、環境地図生成処理が終了する。なお、第２画像データ２２群に対して上記ステップＳ３０からＳ５２までの処理を実行した後に、第１画像データ２０群に対して上記ステップＳ３０からＳ５２までの処理を実行してもよい。

【0055】

以上の環境地図生成処理により生成された環境地図情報２４に含まれる特徴点をプロットした模式図の一例を図１０に示す。また、作業者は、この環境地図情報２４を、車両制御装置３６の記憶部８３に格納する。

【0056】

次に、例えば、車両３４の運転者により自己位置推定プログラム９０の実行指示が入力されると、車両制御装置３６のＣＰＵ８１は、自己位置推定プログラム９０を実行する。ＣＰＵ８１が自己位置推定プログラム９０を実行することにより、図１１に示す自己位置推定処理が実行される。

【0057】

図１１に示すステップＳ６０で、撮影制御部４０は、カメラ３０に対して画像を撮影させる制御を行い、カメラ３０により撮影された画像を示す画像データを取得する。ステップＳ６２で、抽出部４２は、ステップＳ６０で撮影された画像から特徴点を抽出する。ステップＳ６４で、推定部４４は、ステップＳ６２で抽出された特徴点と、環境地図情報２４に含まれる特徴点とを照合して、地図座標系における画像の撮影時のカメラ３０の位置及び姿勢を求め、車両３４の自己位置及び姿勢とする。

【0058】

ステップＳ６４の処理が終了すると、自己位置推定処理が終了する。自己位置推定処理により推定された車両３４の自己位置は、例えば、車両３４が自動運転による駐車を行う場合等に用いられる。

【0059】

以上説明したように、本実施形態によれば、移動方向に制約のある車両３４に設けられたカメラ３０により、車両３４を移動経路Ｒ１に沿って移動させながら複数の位置の各々で車両３４の後方である撮影方向に向かって第１画像を撮影する。また、移動経路Ｒ１に対して直交する方向にカメラ３２を移動させながら複数の位置の各々で撮影方向に向かってカメラ３２により第２画像を撮影する。そして、撮影された複数の第１画像及び複数の第２画像を用いて、環境地図を生成する。

【0060】

すなわち、複数の第２画像には、第１画像の撮影位置から撮影方向に直交する方向に移動した位置で撮影された第２画像が含まれる。この第２画像は、第１画像との視差が大きいものとなるため、撮影方向に対する距離情報がより正確なものとなる。従って、本実施形態によれば、環境地図を精度良く生成することができる。

【0061】

なお、上記実施形態では、カメラ３２により第２画像を撮影する際の移動経路Ｒ２に移動経路Ｒ１に対して直交する方向が含まれる場合について説明したが、これに限定されない。移動経路Ｒ２には、移動経路Ｒ１に対して交差する方向が含まれていればよい。この場合の移動経路Ｒ２の一例を図１２に示す。

【0062】

また、上記実施形態において、カメラ３２を、例えば、水平方向に３６０度回転可能な車輪を有する台車等の全方位に移動可能な移動体に設ける形態としてもよい。この場合、この移動体を、移動経路Ｒ２上を移動させながらカメラ３２により複数の第２画像を撮影する形態が例示される。

【0063】

また、上記実施形態では、カメラ３０が車両３４の後部に設けられ、車両３４の後方を撮影する場合について説明したが、これに限定されない。例えば、カメラ３０が車両３４の前部に設けられ、車両３４の前方を撮影する形態としてもよい。

【0064】

また、上記実施形態において環境地図生成装置１０により実現される機能を、車両制御装置３６により実現してもよい。

【0065】

また、上記実施形態では、環境地図生成プログラム７０が記憶部６３に予め記憶されている態様を説明したが、これに限定されない。環境地図生成プログラム７０は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、環境地図生成プログラム７０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0066】

また、上記実施形態では、自己位置推定プログラム９０が記憶部８３に予め記憶されている態様を説明したが、これに限定されない。自己位置推定プログラム９０は、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、及びＵＳＢメモリ等の記録媒体に記録された形態で提供されてもよい。また、自己位置推定プログラム９０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【符号の説明】

【0067】

１０ 環境地図生成装置
１２ 取得部
１４、４２ 抽出部
１６ 対応付け部
１８ 生成部
２０ 第１画像データ
２２ 第２画像データ
２４ 環境地図情報
３０、３２ カメラ
３４ 車両
３６ 車両制御装置
４０ 撮影制御部
４４ 推定部
６１、８１ ＣＰＵ
６２、８２ メモリ
６３、８３ 記憶部
７０ 環境地図生成プログラム
９０ 自己位置推定プログラム
Ｒ１、Ｒ２ 移動経路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】