特許 7393987 地図作成装置、位置推定装置、車両制御システム、地図作成方法、コンピュータプログラム、および位置推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-29

(45)【発行日】2023-12-07

(54)【発明の名称】地図作成装置、位置推定装置、車両制御システム、地図作成方法、コンピュータプログラム、および位置推定方法

(51)【国際特許分類】

   G06T 7/55 20170101AFI20231130BHJP

   G06T 7/00 20170101ALI20231130BHJP

   G06T 7/70 20170101ALI20231130BHJP

   G01B 11/00 20060101ALI20231130BHJP

   G08G 1/16 20060101ALI20231130BHJP

   G09B 29/00 20060101ALI20231130BHJP

【ＦＩ】

G06T7/55

G06T7/00 650Z

G06T7/70 A

G01B11/00 H

G08G1/16 C

G09B29/00 Z

【請求項の数】 8

(21)【出願番号】P 2020047487

(22)【出願日】2020-03-18

(65)【公開番号】P2021149396

(43)【公開日】2021-09-27

【審査請求日】2023-01-25

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】100160691

【弁理士】

【氏名又は名称】田邊 淳也

(74)【代理人】

【識別番号】100157277

【弁理士】

【氏名又は名称】板倉 幸恵

(74)【代理人】

【識別番号】100182718

【弁理士】

【氏名又は名称】木崎 誠司

(72)【発明者】

【氏名】浅井 彰司

(72)【発明者】

【氏名】早川 和孝

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２０１８－１４６３２６（ＪＰ，Ａ）

【文献】特開２０１９－１３２６６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５５

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

Ｇ０１Ｂ １１／００

Ｇ０８Ｇ １／１６

Ｇ０９Ｂ ２９／００

(57)【特許請求の範囲】

【請求項1】

地図作成装置であって、
車両に搭載され、前記車両の周辺の環境を撮影する車載カメラと、
前記車載カメラにより撮影された撮影画像から特徴点を検出する検出部と、
前記車載カメラの位置および姿勢を用いて、複数の前記撮影画像に含まれる同一の前記特徴点の三次元位置を算出する算出部と、
前記車載カメラの位置および姿勢と、前記算出部により算出された前記特徴点の位置への方位角とを用いて、同一の前記特徴点が前記複数の撮影画像に含まれるように、前記車両の上限車速を制御する車速制御部と、
前記複数の撮影画像からそれぞれ算出された複数の異なる前記特徴点の三次元位置を用いて、各前記三次元位置の情報を含む地図を作成する地図作成部と、
を備える、地図作成装置。

【請求項2】

請求項１に記載の地図作成装置であって、
前記車速制御部は、前記車載カメラのフレームレートおよび画角を用いて、予め設定された枚数以上の前記撮影画像において、同一の前記特徴点が検出される車速以下となるように、前記上限車速を設定する、地図作成装置。

【請求項3】

請求項１または請求項２に記載の地図作成装置であって、
前記車速制御部は、出発地から目的地までの経路のうち、前記地図作成部による前記地図の作成区間に限って、前記上限車速を制御する、地図作成装置。

【請求項4】

位置推定装置であって、
車両に搭載され、前記車両の周辺の環境を撮影する車載カメラと、
複数の特徴点の三次元位置の情報を含む地図を記憶している地図記憶部と、
前記車載カメラにより撮影された撮影画像から特徴点を検出する検出部と、
前記車載カメラの位置および姿勢と、前記検出部により検出された前記特徴点の位置への方位角とを用いて、同一の前記特徴点が前記複数の撮影画像に含まれるように、前記車両の上限車速を制御する車速制御部と、
前記車速制御部により前記上限車速が制御されている状態で、前記検出部により検出された前記特徴点を、前記地図記憶部に記憶された前記地図内の前記特徴点に照合することにより、前記車両の位置を推定する位置推定部と、
を備える、位置推定装置。

【請求項5】

車両制御システムであって、
請求項４に記載の位置推定装置と、
前記車両の過去の走行軌跡を記憶する軌跡記憶部と、
前記車両が走行する経路が前記軌跡記憶部に記憶されている前記走行軌跡に対応する経路と同じである場合に、前記位置推定部により推定された前記車両の位置を、前記走行軌跡に追従させるように前記車両を制御する追従制御部と、
を備える、車両制御システム。

【請求項6】

地図作成方法であって、情報処理装置が、
車両に搭載された車載カメラにより、前記車両の周辺の環境を撮影する撮影工程と、
前記車載カメラにより撮影された撮影画像から特徴点を検出する検出工程と、
前記車両に対する前記車載カメラの位置および姿勢を用いて、複数の前記撮影画像に含まれる同一の前記特徴点の三次元位置を算出する算出工程と、
前記車載カメラの位置および姿勢と、算出された前記特徴点の位置への方位角とを用いて、同一の前記特徴点が前記複数の撮影画像に含まれるように、前記車両の上限車速を制御する車速制御工程と、
前記複数の撮影画像からそれぞれ算出された複数の異なる前記特徴点の三次元位置を用いて、各前記三次元位置の情報を含む地図を作成する地図作成工程と、
を備える、地図作成方法。

【請求項7】

コンピュータプログラムであって、
車両に搭載された車載カメラにより、前記車両の周辺の環境を撮影する撮影機能と、
前記車載カメラにより撮影された撮影画像から特徴点を検出する検出機能と、
前記車両に対する前記車載カメラの位置および姿勢を用いて、複数の前記撮影画像に含まれる同一の前記特徴点の三次元位置を算出する算出機能と、
前記車載カメラの位置および姿勢と、算出された前記特徴点の位置への方位角とを用いて、同一の前記特徴点が前記複数の撮影画像に含まれるように、前記車両の上限車速を制御する車速制御機能と、
前記複数の撮影画像からそれぞれ算出された複数の異なる前記特徴点の三次元位置を用いて、各前記三次元位置の情報を含む地図を作成する地図作成機能と、
を情報処理装置に実現させる、コンピュータプログラム。

【請求項8】

位置推定方法であって、情報処理装置が、
車両に搭載された車載カメラにより、前記車両の周辺の環境を撮影する撮影工程と、
前記車載カメラにより撮影された撮影画像から特徴点を検出する検出工程と、
前記車載カメラの位置および姿勢と、検出された前記特徴点の位置への方位角とを用いて、同一の前記特徴点が前記複数の撮影画像に含まれるように、前記車両の上限車速を制御する車速制御工程と、
検出された前記特徴点を、地図記憶部に記憶された複数の特徴点の三次元位置の情報を含む地図内の前記特徴点に照合することにより、前記車両の位置を推定する位置推定工程と、
を備える、位置推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、地図作成装置、位置推定装置、車両制御システム、地図作成方法、コンピュータプログラム、および位置推定方法に関する。

【背景技術】

【0002】

車両に搭載された車載カメラの撮影画像内の特徴点を用いて、車両の自動運転を行う自動運転制御装置が知られている（例えば、特許文献１参照）。特許文献１に記載された自動運転制御装置は、車載カメラにより撮影された特徴点を用いて、駐車枠線のない駐車スペースに車両を駐車させる。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６５６４７１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された装置は、運転者の手動運転時に撮影された撮影画像内から特徴点を検出し、検出した特徴点を用いて駐車スペースの地図を作成する。特徴点の検出時に、車両速度が速いと、地図作成のために必要な特徴点を検出できず、自動運転を実現できないおそれがある。一方で、特徴点検出時の車両速度を遅くし過ぎてしまうと、地図を作成するために必要以上の時間がかかるおそれがある。そのため、自動運転制御を効率的かつ安定的に実現したい課題があった。

【0005】

本発明は、上述した課題を解決するためになされたものであり、自動運転制御を効率的かつ安定的に実現するための技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現できる。

【0007】

（１）本発明の一形態によれば、地図作成装置が提供される。この地図作成装置は、車両に搭載され、前記車両の周辺の環境を撮影する車載カメラと、前記車載カメラにより撮影された撮影画像から特徴点を検出する検出部と、前記車載カメラの位置および姿勢を用いて、複数の前記撮影画像に含まれる同一の前記特徴点の三次元位置を算出する算出部と、前記車載カメラの位置および姿勢と、前記算出部により算出された前記特徴点の位置への方位角とを用いて、同一の前記特徴点が前記複数の撮影画像に含まれるように、前記車両の上限車速を制御する車速制御部と、前記複数の撮影画像からそれぞれ算出された複数の異なる前記特徴点の三次元位置を用いて、各前記三次元位置の情報を含む地図を作成する地図作成部と、を備える。

【0008】

この構成によれば、上限車速が設定されることにより、最小限の減速の下で、異なる地点で撮影された同一の特徴点が複数の撮影画像に含まれる。これにより、三角測量の原理に基づいて、地図を作成するために必要な特徴点の三次元位置の情報が十分に得られ、安定的に複数の特徴点の位置情報を含む地図が作成される。このように、最小限の減速の下で、複数の特徴点の位置情報を含む地図が安定的に作成されることにより、自動運転制御における地図内の情報の欠落を抑制することができ、車両の自動運転制御が効率的かつ安定的に実現される。

【0009】

（２）上記態様の地図作成装置において、前記車速制御部は、前記車載カメラのフレームレートおよび画角を用いて、予め設定された枚数以上の前記撮影画像において、同一の前記特徴点が検出される車速以下となるように、前記上限車速を設定してもよい。
この構成によれば、車載カメラのフレームレートおよび画角を用いて、地図を作成するために必要最低限の車速に上限車速を留める。これにより、最小限の減速の下、複数の特徴点の位置情報を含む地図がより効率的に作成される。

【0010】

（３）上記態様の地図作成装置において、前記車速制御部は、出発地から目的地までの経路のうち、前記地図作成部による前記地図の作成区間に限って、前記上限車速を制御してもよい。
この構成によれば、地図を作成しない区間では、車両の上限車速が設定されないため、作成区間では地図が安定的に作成された上で、車両の運転が必要以上に制限されずに済む。

【0011】

（４）本発明の他の一形態によれば、位置推定装置が提供される。この位置推定装置は、車両に搭載され、前記車両の周辺の環境を撮影する車載カメラと、複数の特徴点の三次元位置の情報を含む地図を記憶している地図記憶部と、前記車載カメラにより撮影された撮影画像から特徴点を検出する検出部と、前記車載カメラの位置および姿勢と、前記検出部により検出された前記特徴点の位置への方位角とを用いて、同一の前記特徴点が前記複数の撮影画像に含まれるように、前記車両の上限車速を制御する車速制御部と、前記車速制御部により前記上限車速が制御されている状態で、前記検出部により検出された前記特徴点を、前記地図記憶部に記憶された前記地図内の前記特徴点に照合することにより、前記車両の位置を推定する位置推定部と、を備える。
この構成によれば、車載カメラの撮影画像から特徴点が検出される際に、車速が上限車速以下に設定されている。そのため、走行中の連続する撮影画像間で同一の特徴点を追跡できるため、車両の現在位置が安定的に推定される。これにより、車両において自動運転制御が安定的に行われる。

【0012】

（５）本発明の他の一形態によれば、車両制御システムが提供される。この車両制御システムは、上記記載の位置推定装置と、前記車両の過去の走行軌跡を記憶する軌跡記憶部と、前記車両が走行する経路が前記軌跡記憶部に記憶されている前記走行軌跡に対応する経路と同じである場合に、前記位置推定部により推定された前記車両の位置を、前記走行軌跡に追従させるように前記車両を制御する追従制御部と、を備える。
この構成によれば、過去の走行軌跡に追従した車両の自動運転を実現できる。

【0013】

なお、本発明は、種々の態様で実現することが可能であり、例えば、地図作成装置、位置推定装置、および車両制御システムおよびこれらの装置を備える車両、および地図作成方法、位置推定方法、これら装置や方法を実行するためのコンピュータプログラム、このコンピュータプログラムを配布するためのサーバ装置、コンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の第１実施形態としての地図作成システムの概略ブロック図である。

【図2】車載カメラの位置および姿勢の変化量についての説明図である。

【図3】車載カメラの位置および姿勢の変化量についての説明図である。

【図4】撮影画像から検出される特徴点と上限車速との関係についての説明図である。

【図5】撮影画像から検出される特徴点と上限車速との関係についての説明図である。

【図6】撮影画像から検出される特徴点と上限車速との関係についての説明図である。

【図7】地図作成部により作成される地図についての説明図である。

【図8】地図作成部により作成される地図についての説明図である。

【図9】地図作成方法のフローチャートである。

【図10】算出工程のサブフローのフローチャートである。

【図11】第２実施形態の車両制御システムの概略ブロック図である。

【図12】車両制御方法のフローチャートである。

【図13】位置推定工程のサブフローのフローチャートである。

【発明を実施するための形態】

【0015】

＜第１実施形態＞
図１は、本発明の第１実施形態としての地図作成システム１００の概略ブロック図である。地図作成システム（地図作成装置）１００は、車両１０に搭載された車載カメラ１１の撮影画像を用いて、車庫などの三次元構造の情報を含む地図を作成する。図１に示されるように、地図作成システム１００は、車両１０の後方周辺の環境を撮影する車載カメラ１１と、車両１０に搭載された制御装置２０と、を備えている。

【0016】

車載カメラ１１は、単眼カメラである。本実施形態の車載カメラ１１の画角は、水平１００°、垂直５５°、対角１２５°である。また、車載カメラ１１のフレームレートは、３０．０ｆｐｓである。制御装置２０は、車載カメラ１１により撮影された撮影画像を用いて、車両１０に対して各種制御を行う。

【0017】

図１に示されるように、制御装置２０は、ユーザの各種操作を受け付ける入力部６０と、各種画像を表示するモニタおよび音声を出力するスピーカで構成される出力部７０と、ＣＰＵ（Central Processing Unit）３０と、ＲＯＭ（Read Only Memory）２１と、ＲＡＭ（Random Access Memory）２２と、各種情報を記憶する記憶部４０と、を備えている。

【0018】

本実施形態の入力部６０は、キーボードと、音声入力を受け付けるマイクとにより構成されている。ＣＰＵ３０は、ＲＯＭ２１に格納されているコンピュータプログラムをＲＡＭ２２に展開して実行することにより、検出部３１、算出部３２、車速制御部３３、および地図作成部３４として機能する。

【0019】

記憶部４０は、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）などで構成されている。記憶部４０は、経路案内に使用される地図データを記憶している地図データベース（地図ＤＢ）４２を備えている。地図ＤＢ４２は、さらに、後述する地図作成部３４により作成される三次元情報を含む地図データも記憶する。

【0020】

検出部３１は、車載カメラ１１により撮影された複数の撮影画像のそれぞれから、ＦＡＳＴ（Features from Accelerated Segment Test）アルゴリズムなどを用いて、特徴点を検出する。ここで「特徴点」とは、撮影画像の特徴を表す点（例えば、撮影画像中の建造物の角部等）を意味する。算出部３２は、車載カメラ１１の位置および姿勢を用いて、検出部３１により検出された特徴点の三次元位置を算出する。本実施形態の算出部３２は、ＯＲＢ（Oriented FAST and Rotated BRIEF）等を用いて、複数の撮影画像に含まれる同一の特徴点を対応付ける。

【0021】

図２および図３は、車載カメラ１１の位置および姿勢の変化量についての説明図である。車載カメラ１１が起動すると、初めに、ワールド座標系における車載カメラ１１の位置および姿勢を特定する必要がある。そのため、初めに、検出部３１が、図２に示される（ｎ－１）番目の撮影画像ＩＭ_n-1を１番目の画像として、ＦＡＳＴ等により特徴点画像ＦＰ１を検出する。算出部３２は、検出された特徴点画像ＦＰ１に対して、ＯＢＲ等によって特徴量を算出する。

【0022】

次に、検出部３１は、ｎ番目の撮影画像ＩＭ_nを２番目の画像として、特徴点画像ＦＰ２を検出する。算出部３２は、検出された特徴点画像ＦＰ２の特徴量を算出する。算出部３２は、撮影画像ＩＭ_n-1から算出した特徴点画像ＦＰ１の特徴量と、撮影画像ＩＭ_nから算出した特徴点画像ＦＰ２の特徴量とを用いて、各撮影画像ＩＭ_n-1，ＩＭ_nにおける特徴点画像ＦＰ１，ＦＰ２を対応付ける。算出部３２は、対応付けた特徴点画像ＦＰ１，ＦＰ２から、８点アルゴリズムおよびＲＡＮＳＡＣ（Random Sampling consensus）を用いることにより、基礎行列Ｆを算出する。

【0023】

算出部３２は、算出した基礎行列Ｆと、車載カメラ１１の内部パラメータとを用いて、車載カメラ１１の位置および姿勢を算出する。なお、図２に示される２つの撮影画像ＩＭ_n-1，ＩＭ_nのみでは、車載カメラ１１の位置の単位（スケール）が不明である。そのため、本実施形態の算出部３２は、車輪回転角センサ等を用いて車載カメラ１１の移動距離を算出する。算出部３２は、車載カメラ１１の移動距離を用いて、車載カメラ１１の位置の単位を確定する。算出部３２は、確定させた車載カメラ１１の位置および姿勢を用いて、三角測量の原理により特徴点Ｐ１の三次元位置を算出する。なお、本実施形態では、「位置」として現在地点を表す座標を例示し、「姿勢」として位置（座標値）とは異なる向きの要素（例えば、ロール・ピッチ・ヨーの回転角）を例示する。また、以降では、特徴点に対応して撮影画像内に含まれる特徴点画像を、単に「特徴点」とも呼ぶ。

【0024】

図３には、ｍ（≧３）番目に撮影される撮影画像ＩＭ_m-1，ＩＭ_m内に含まれる、特徴点Ｐ１～Ｐ３の特徴点画像ＦＰ３～ＦＰ８が示されている。検出部３１は、図２の特徴点Ｐ１に対する処理と同じように、撮影画像ＩＭ_m-1，ＩＭ_mの特徴点画像ＦＰ３～ＦＰ８を検出する。算出部３２は、図２の特徴点Ｐ１に対する処理と同じように、特徴点画像ＦＰ３～ＦＰ８の特徴量を算出する。算出部３２は、算出した特徴点画像ＦＰ３～ＦＰ８の特徴量を用いて、各撮影画像ＩＭ_m-1，ＩＭ_mにおける特徴点画像ＦＰ３～ＦＰ８を対応付ける。

【0025】

算出部３２は、対応付けた特徴点画像ＦＰ３～ＦＰ８の内の三次元位置が既知の特徴点Ｐ１の特徴点画像ＦＰ３，ＦＰ６を用いて、再投影誤差の和が最小となる、車載カメラ１１の位置および姿勢を算出する。再投影誤差とは、特徴点Ｐ１が撮影画像ＩＭ_mに再投影された仮特徴点画像ＦＰ０１と、特徴点画像ＦＰ６との矢印で表される差である。なお、３番目以降に撮影される撮影画像ＩＭ_mでは、既知の特徴点Ｐ１の三次元位置の単位が確定しているため、車載カメラ１１の位置の単位が確定している。そのため、算出部３２は、車輪回転角センサ等を用いた車載カメラ１１の移動距離を用いずに、特徴点Ｐ２，Ｐ３の三次元位置を算出できる。算出部３２は、対応付けた三次元位置が未知の特徴点Ｐ２，Ｐ３について、車載カメラ１１の位置および姿勢を用いて、三角測量の原理により三次元位置を算出する。

【0026】

車速制御部３３は、算出部３２により特定された車載カメラ１１の位置および姿勢と、車載カメラ１１から特徴点の三次元位置への方位角とを用いて、同一の特徴点が複数の撮影画像に含まれるように、車両１０の上限車速を制御する。具体的には、車速制御部３３は、車載カメラ１１のフレームレートおよび画角を用いて、予め設定された枚数以上の撮影画像に同一の特徴点が検出される車速以下に上限車速を設定する。

【0027】

図４ないし図６は、撮影画像から検出される特徴点と上限車速との関係についての説明図である。図４には、特徴点Ｐ５に対応する特徴点ＦＰ９が含まれているｋ番目の撮影画像ＩＭ_kが示されている。図５には、特徴点Ｐ５に対応する特徴点ＦＰ１０が含まれている（ｋ＋１）番目の撮影画像ＩＭ_k+1が示されている。車両１０の移動により車載カメラ１１の位置および姿勢が変化すると、図４および図５に示されるように、同一の特徴点Ｐ５が対応する撮影画像ＩＭ_k，ＩＭ_k+1中の特徴点ＦＰ９，ＦＰ１０の位置が変化する。ｋ番目の撮影画像ＩＭ_kを撮影した車載カメラ１１の位置および姿勢から、（ｋ＋１）番目の撮影画像ＩＭ_k+1を撮影した車載カメラ１１の位置および姿勢までの変化量が所定値を超えると、撮影画像ＩＭ_k+1に特徴点Ｐ５に対応する特徴点ＦＰ１０が含まれない場合がある。そのため、車速制御部３３は、車両１０の上限車速を設定することにより、複数枚の撮影画像に同一の特徴点を含ませる。

【0028】

図６には、車載カメラ１１の位置の変化量と、特徴点Ｐ５との位置関係が示されている。車速制御部３３は、設定する上限車速Ｖ_maxを、下記式（１）を用いて算出する。なお、図６では、一例として、車載カメラ１１の姿勢が変化していない例が示されている。

【0029】

【数1】

ΔＴ：撮影時間間隔（フレームレートの逆数）
α：方位角
θ：車載カメラ１１の画角

【0030】

上記式（１）における特徴点Ｐ５までの距離Ｄは、車載カメラ１１の光軸を基準として横方向距離の仮定値である。本実施形態の車速制御部３３は、距離Ｄとして、車両１０の横幅の０．５倍を仮定値として用いる。この仮定値が用いられることにより、車載カメラ１１は、車両１０の車体側面よりも外側に存在する特徴点Ｐ５を、連続して撮影できる。

【0031】

方位角αは、ｋ番目の撮影画像ＩＭ_kが撮影されたときの車載カメラ１１の光軸と、特徴点Ｐ５とが成す角度である。図４に示されるように、画像座標系における特徴点Ｐ５のｘ座標がｘｐ、画像中心ＯＣのｘ座標がｘｃ、車載カメラ１１の焦点距離がｆ、画素ピッチがｐの場合、方位角αを式（２）で算出する。

【0032】

【数2】

【0033】

車速制御部３３は、上記式（１）から算出される上限車速Ｖ_maxを設定することにより、予め設定された枚数以上の撮影画像において、同一の特徴点Ｐ５が撮影画像内に含まれる。算出部３２は、複数の撮影画像内に含まれる同一の特徴点に対して、三角測量との原理に基づいて、特徴点の三次元位置を算出する。

【0034】

地図作成部３４は、算出された複数の特徴点の三次元位置と特徴量とを含む地図を作成する。三次元位置を含む地図としては、車庫などの駐車スペースが挙げられる。地図に含める各特徴点の特徴量は、複数の撮影画像における特徴量の中央値とする。地図作成部３４は、作成した地図を地図ＤＢ４２に記憶させる。

【0035】

図７および図８は、地図作成部３４により作成される地図についての説明図である。図７には、車両１０が車庫の駐車スペースに駐車される際の車載カメラ１１の撮影画像ＩＭ_iが示されている。図８には、図７の状態を上方から見た平面視が示されている。図７および図８に示される状態では、経路ＲＴに沿って、車両１０の運転手が手動運転によって駐車スペースに駐車する。その際に、車速制御部３３は、撮影画像ＩＭ_iから検出された複数の特徴点Ｐｎに対応する特徴点画像ＦＰｎが複数枚の撮影画像に含まれるように、上限車速Ｖ_maxを設定する。そのため、車速制御部３３の制御により、運転手のアクセルの踏み込み量にかかわらず、地図作成中の車両１０の車速は上限車速Ｖ_max以下になる。

【0036】

図９は、地図作成方法のフローチャートである。図９に示されるように、地図作成フローでは、初めに、車両１０に搭載された車載カメラ１１が、車両１０の周辺環境を撮影する撮影工程を開始する（ステップＳ１）。次に、検出部３１は、ＦＡＳＴアルゴリズムなどを用いて、車載カメラ１１の撮影画像から特徴点を検出する検出工程を行う（ステップＳ２）。

【0037】

算出部３２は、検出部３１により検出された特徴点を用いて、複数の撮影画像に含まれる特徴点の三次元位置を算出する算出工程を行う（ステップＳ３）。図１０は、算出工程のサブフローのフローチャートである。図１０に示されるように、算出工程では、算出部３２は、初めに、検出部３１により特徴点が検出された撮影画像が車載カメラ１１により撮影された３番目以降の撮影画像であるか否かを判定する（ステップＳ３１）。算出部３２は、撮影画像が３番目の画像ではないと判定した場合には（ステップＳ３１：ＮＯ）、図２の特徴点Ｐ１の三次元位置を算出するように、８点アルゴリズムなどを用いて、車載カメラ１１の位置および姿勢を算出する（ステップＳ３２）。具体的には、算出部３２は、検出部３１により検出された特徴点の特徴量を算出し、算出した特徴量を用いて１，２枚目の撮影画像に含まれる同一の特徴点を対応付ける。算出部３２は、対応付けた同一の特徴点から、８点アルゴリズムおよびＲＡＮＳＡＣを用いることにより、基礎行列Ｆを算出する。算出部３２は、基礎行列Ｆと、車載カメラ１１の移動距離とを用いることにより、車載カメラ１１の位置および姿勢を算出する。

【0038】

ステップＳ３１の処理において撮影画像が３番目以降の画像であると判定された場合には（ステップＳ３１：ＹＥＳ）、算出部３２は、図３の特徴点Ｐ２，Ｐ３の三次元位置を算出するように、再投影誤差の和が最小となる車載カメラ１１の位置および姿勢を算出する（ステップＳ３３）。具体的には、算出部３２は、検出部３１により検出された特徴点の特徴量を算出し、複数の撮影画像に含まれる同一の特徴点を対応付ける。算出部３２は、対応付けた特徴点の内の三次元位置が既知の特徴点を用いて、再投影誤差の和が最小となる車載カメラ１１の位置および姿勢を算出する。その後、算出部３２は、対応付けた各特徴点について、算出した車載カメラ１１の位置および姿勢を用いて、図６に示される三角測量の原理により三次元位置を算出し（ステップＳ３４）、算出工程を終了する。

【0039】

図９のステップＳ３の処理が行われると、車速制御部３３は、車両１０の上限車速Ｖ_maxを制御する車速制御工程を行う（ステップＳ４）。車速制御部３３は、図６に示されるように、車載カメラ１１から特徴点Ｐ５までの方位角αを用いて、上記式（１）を解くことにより、上限車速Ｖ_maxを算出する。車速制御部３３は、車両の速度が上限車速Ｖ_max以下になるように制御する。次に、地図作成部３４は、算出部３２に算出された複数の異なる特徴点の三次元位置を用いて、図７に示されるような三次元位置の情報を含む地図を作成する地図作成工程を行う（ステップＳ５）。

【0040】

地図作成部３４は、地図の作成が完了したか否かを判定する（ステップＳ６）。地図作成部３４は、地図の作成がまだ完了していないと判定した場合には（ステップＳ６：ＮＯ）、ステップＳ１以降の処理を繰り返す。地図作成部３４は、地図の作成が完了したと判定した場合には（ステップＳ６：ＹＥＳ）、地図作成フローを終了する。

【0041】

以上説明したように、第１実施形態の地図作成システム１００では、算出部３２が、車載カメラ１１の位置および姿勢を用いて、複数の撮影画像に含まれる同一の特徴点の三次元位置を算出する。車速制御部３３は、車載カメラ１１から特徴点の三次元位置への方位角αを用いて、同一の特徴点が複数の撮影画像に含まれるように、車両１０の上限車速Ｖ_maxを制御する。地図作成部３４は、算出された複数の特徴点の三次元位置を用いて、三次元位置の情報を含む地図を作成する。そのため、第１実施形態の地図作成システム１００は、複数の特徴点の三次元位置の情報を含む地図を作成する際に、車載カメラ１１により撮影される複数の撮影画像に同一の特徴点が含まれるように上限車速Ｖ_maxを設定している。すなわち、上限車速Ｖ_maxが設定されることにより、最小限の減速の下で、異なる地点で撮影された同一の特徴点が複数の撮影画像に含まれる。これにより、三角測量の原理に基づいて、地図を作成するために必要な特徴点の三次元位置の情報が十分に得られ、安定的に複数の特徴点の位置情報を含む地図が作成される。このように、最小限の減速の下で、複数の特徴点の位置情報を含む地図が安定的に作成されることにより、自動運転制御における地図内の情報の欠落を抑制することができ、車両１０の自動運転制御が効率的かつ安定的に実現される。

【0042】

また、第１実施形態の車速制御部３３は、車載カメラ１１のフレームレートおよび画角を用いて、予め設定された枚数以上の撮影画像に同一の特徴点が検出される車速以下に上限車速Ｖ_maxを設定する。すなわち、第１実施形態の地図作成システム１００は、車載カメラ１１のフレームレートおよび画角を用いて、地図を作成するために必要最低限の車速に上限車速Ｖ_maxを求める。これにより、最小限の減速の下、複数の特徴点の位置情報を含む地図がより効率的に作成される。

【0043】

＜第１実施形態の変形例＞
上記第１実施形態では、図７および図８に示されるように、車両１０が駐車スペースに駐車する場合の地図作成について説明したが、出発地から、設定された目的地に向かうまでの経路のうち、所定の区間における地図が作成されてもよい。例えば、特徴点の三次元位置の情報を含む地図が作成されていない車庫から所定の目的地まで車両１０が移動する場合に、車両１０が車庫を出るまでの区間に限って地図が作成されてもよい。この場合に、車速制御部３３は、出発地から目的地までの経路のうち、地図作成部３４により地図が作成される作成区間である車庫を出るまで区間に限って、車両の上限車速Ｖ_maxを設定する。車速制御部３３は、作成区間を過ぎると、設定していた車両１０の上限車速Ｖ_maxを解除する。

【0044】

以上説明したように、車速制御部３３は、地図作成部３４により地図が作成される作成区間に限って、車両の上限車速Ｖ_maxを設定してもよい。この変形例の地図作成システム１００では、地図を作成しない区間では、車両の上限車速Ｖ_maxが設定されないため、地図作成が必要な区間では地図が安定的に作成された上で、車両１０の運転が必要以上に制限されずに済む。

【0045】

＜第２実施形態＞
図１１は、第２実施形態の車両制御システム２００の概略ブロック図である。車両制御システム２００は、複数の特徴点の三次元位置の情報を含む地図を用いて、車両１０の自動運転を行うシステムである。第２実施形態の車両制御システム２００では、第１実施形態の地図作成システム１００と比較して、ＣＰＵ３０ａが目的地設定部３５、位置推定部３６、および追従制御部３７として機能し、記憶部４０ａが軌跡データベース（軌跡ＤＢ）４３を備える点と、算出部３２として機能しない点とが異なる。そのため、第２実施形態では、第１実施形態と異なる構成等について説明し、第１実施形態と同じ構成等についての説明を省略する。

【0046】

目的地設定部３５は、ＧＰＳ（Global Positioning System）を構成する人工衛星から送信された電波を受信する。目的地設定部３５は、位置推定部３６により特定された車両１０の現在位置と、入力部６０が受け付けた目的地と、地図ＤＢ４２に記憶された地図データとを用いて、現在位置から目的地までの経路を設定する。目的地設定部３５は、設定した複数の経路候補を出力部７０のモニタに表示させる。入力部６０が複数の経路候補から１つの経路を選択する操作を受け付けると、目的地設定部３５は、モニタに表示させる画像とスピーカから出力させる音声とを用いて、目的地までの経路を案内する。

【0047】

図１１に示される軌跡ＤＢ４３は、車両１０が過去に走行した走行軌跡を地図ＤＢに記憶された地図と関連付けて記憶している。地図ＤＢ４２は、例えば第１実施形態の地図作成システム１００などによって作成された、複数の特徴点の三次元位置と特徴量との情報を含む地図を記憶している。

【0048】

位置推定部３６は、車速制御部３３により車両１０の上限車速Ｖ_maxが制御されている状態で、検出部３１により検出した特徴点を用いて、車両１０の現在位置を推定する。具体的には、位置推定部３６は、複数の撮影画像に含まれ、検出部３１により検出された同一の特徴点を対応付ける。対応付けられた特徴点のペアが予め設定された所定値（例えば３０ペア）以上の組み合わせの場合に、位置推定部３６は、第１実施形態の算出部３２が行った、再投影誤差の和が最小となる車載カメラ１１の位置および姿勢を算出する。なお、複数の撮影画像から所定値以上の特徴点が対応付けられない場合、および、１番目の撮影画像から特徴点が検出された場合には、位置推定部３６は、検出部３１により検出された特徴点と、地図ＤＢ４２に記憶された地図内の特徴点とを対応付ける。位置推定部３６は、対応付けた特徴点に対して、再投影誤差の和が最小となる車載カメラ１１の位置および姿勢を算出する。位置推定部３６は、算出した車載カメラ１１の位置および姿勢を用いて、車両１０の現在位置を推定する。

【0049】

追従制御部３７は、位置推定部３６により推定された車両１０の現在位置と、軌跡ＤＢ４３に記憶された車両１０の過去の走行軌跡とを用いて、車両１０の操舵角を制御する。具体的には、追従制御部３７は、推定された車両１０の現在位置を、過去の走行軌跡に追従するように操舵角を制御する。例えば、追従制御部３７は、既に三次元位置の情報を含む地図が完成された駐車スペースに対して、過去の駐車時の走行軌跡と同じ軌跡を追従するように、自動運転によって車両１０を制御する。

【0050】

図１２は、車両制御方法のフローチャートである。図１２に示される車両制御フローでは、初めに、目的地設定部３５が、入力部６０が受け付けた操作に応じて、車両１０の目的地を設定する（ステップＳ１１）。第２実施形態では、地図ＤＢ４２に予め三次元位置が既知である複数の特徴点を含む地図が登録された車庫に自動駐車する場合について説明する。目的地としての駐車後の位置が設定されると、ステップＳ１２～Ｓ１４の処理が行われる。なお、ステップＳ１２～Ｓ１４の各処理は、第１実施形態（図９）のステップＳ１，Ｓ２，Ｓ４の各処理と同じであるため、図１２のステップＳ１５以降の処理について説明する。

【0051】

図１２のステップＳ１４の処理が行われると、位置推定部３６は、車両１０の現在位置を推定する位置推定工程を行う（ステップＳ１５）。図１３は、位置推定工程のサブフローのフローチャートである。図１３に示されるように、位置推定部３６は、初めに、検出部３１が特徴点を検出した撮影画像が１番目の画像であるか否かを判定する（ステップＳ１５１）。位置推定部３６は、特徴点が検出された撮影画像が１番目ではないと判定した場合（ステップＳ１５１：ＮＯ）、当該撮影画像と、１つ前の撮影画像との間で同一の特徴点を対応付ける（ステップＳ１５２）。位置推定部３６は、対応付けた特徴点のペアが所定値以上の組み合わせか否かを判定する（ステップＳ１５３）。所定値以上の組み合わせの場合には（ステップＳ１５３：ＹＥＳ）、位置推定部３６は、対応付けられた特徴点を用いて、後述のステップＳ１５５の処理を行う。

【0052】

ステップＳ１５３の処理において、対応付けられた特徴点のペアが所定値未満の組み合わせだった場合には（ステップＳ１５３：ＮＯ）、後述のステップＳ１５４の処理を行う。ステップＳ１５１の処理において、位置推定部３６は、検出部により特徴点が検出された撮影画像が１番目である判定した場合には（ステップＳ１５１：ＹＥＳ）、検出された特徴点と、地図ＤＢ４２に記憶された地図内の特徴点とを対応付ける（ステップＳ１５４）。位置推定部３６は、ステップＳ１５３またはステップＳ１５４の処理において対応付けられた特徴点に対して、再投影誤差の和が最小となる車載カメラ１１の位置および姿勢を算出し（ステップＳ１５５）、位置推定工程を終了する。なお、位置推定部３６は、ステップＳ１５２で対応付けられた特徴点を用いることにより、ステップＳ１５４で対応付けられた特徴点を用いるよりも、車載カメラ１１の位置および姿勢を短時間で算出できる。短時間で車載カメラ１１の位置および姿勢が算出されると、追従制御部３７の追従制度が向上する。

【0053】

図１２のステップＳ１５の処理が行われると、追従制御部３７は、位置推定部３６により推定された位置から目的地まで、車両１０を過去の走行軌跡に追従させる追従工程を行う（ステップＳ１６）。追従制御部３７は、目的地である駐車スペースに駐車した際の走行軌跡を、軌跡ＤＢ４３から取得する。追従制御部３７は、現在位置から、取得した走行軌跡に車両１０が追従して走行するように、車両１０の操舵角を制御する。なお、この際に、車速制御部３３は、車両１０の速度を上限車速Ｖ_max以下に制御する。

【0054】

追従制御部３７は、車両１０を設定された目的地まで移動させる追従制御が終了したか否かを判定する（ステップＳ１７）。追従制御が終了していないと判定された場合には（ステップＳ１７：ＮＯ）、ステップＳ１２以降の処理が繰り返される。追従制御部３７は、追従制御が終了したと判定した場合には（ステップＳ１７：ＹＥＳ）、車両制御フローを終了する。

【0055】

以上説明したように、第２実施形態の位置推定部３６は、車速制御部３３により車両１０の上限車速Ｖ_maxが制御されている状態で、検出部３１により検出された特徴点を、地図ＤＢ４２に記憶された地図内の特徴点と照合することにより（図１３のステップＳ１５４）、車両１０の現在位置を推定する。この時、車速が上限車速Ｖ_max以下に設定されている。そのため、走行中の連続する撮影画像間で同一の特徴点を追跡できるため、車両１０の現在位置が安定的に推定される。これにより、車両１０において自動運転制御が安定的に行われる。

【0056】

また、第２実施形態の車両制御システム２００では、軌跡ＤＢ４３は、車両１０が過去に走行した走行軌跡を記憶している。追従制御部３７は、位置推定部３６により推定された車両１０の現在位置を、軌跡ＤＢ４３に記憶された過去の走行軌跡に追従するように車両１０を制御する。そのため、第２実施形態の車両制御システム２００は、過去の走行軌跡に追従した車両１０の自動運転を実現できる。

【0057】

＜その他の変形例＞
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

【0058】

上記第１実施形態の地図作成システム１００および第２実施形態の車両制御システム２００の構成は、一例であり、種々変形可能である。例えば、地図作成システム１００は、車載カメラ１１を備え、検出部３１、算出部３２、車速制御部３３、および地図作成部３４として機能すればよく、入力部６０、および出力部７０を備えていなくてもよい。車両制御システム２００は、車載カメラ１１を備え、検出部３１、算出部３２、車速制御部３３、および位置推定部３６として機能すればよく、入力部６０、および出力部７０を備えておらず、目的地設定部３５として機能しなくてもよい。

【0059】

車両制御システム２００は、追従制御部３７として機能せずに、車両１０の現在位置を推定する位置推定装置として機能してもよい。車両制御システム２００により実行される車両制御フロー（図１２）は、目的地が設定される工程（ステップＳ１１）および追従工程（ステップＳ１６）を備えていなくてもよい。

【0060】

上記第１実施形態の車載カメラ１１のフレームレートおよび画角は、一例であって、異なる数値であってもよい。また、車両１０に搭載される車載カメラ１１の位置は、車両１０の後方でなくてもよく、側方や前方であってもよい。また、車両１０に複数の車載カメラ１１が搭載されていてもよい。複数の車載カメラ１１のフレームレートおよび画角については異なっていてもよい。車載カメラ１１のフレームレートおよび画角に応じて、特徴点を特定するために撮影する撮影画像の枚数が設定されてもよい。

【0061】

検出部３１が撮影画像から特徴点を検出する方法については、上記第１実施形態のＦＡＳＴアルゴリズム、８点アルゴリズム、およびＲＡＮＳＡＣに限られず、周知の技術を適用できる。算出部３２が複数の撮影画像に含まれる同一の特徴点を対応付ける方法については、上記第１実施形態のＯＲＢに限られず、周知の技術を適用できる。

【0062】

車速制御部３３の上限車速Ｖ_maxの設定方法については、種々変形可能である。上記式（１）に示された以外の周知の方法によって上限車速Ｖ_maxが設定されてもよい。また、上記式（１）における距離Ｄについて、上記第１実施形態では、車両１０の横幅の０．５倍を仮定値として用いたが、０．５倍よりも大きくてもよいし、別の値が設定されてもよい。上記第１実施形態では、図６に示されるように、車載カメラ１１の姿勢が変化していない例について説明したが、車載カメラ１１の姿勢が変化していても、車速制御部３３は、上限車速Ｖ_maxを算出できる。

【0063】

上記第１実施形態および上記第２実施形態では、１つの制御装置２０，２０ａが検出部３１、算出部３２、および車速制御部３３等として機能したが、これらの機能は、複数の制御装置に分散して行われてもよい。この場合に、変形例の制御装置が備える通信部を介した無線通信によって、各種データがやり取りされてもよい。

【0064】

上記第１実施形態および第２実施形態の入力部６０および出力部７０については、一例であり、種々変形可能である。例えば、入力部６０は、出力部７０に表示されたタッチパネルであってもよいし、モニタ７０の回りに配置されたプッシュ式のボタンであってもよい。出力部７０は、通信部を介して携帯型の端末に画像や音声が出力されてもよい。

【0065】

以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。

【符号の説明】

【0066】

１０…車両
１１…車載カメラ
２０，２０ａ…制御装置
２１…ＲＯＭ
２２…ＲＡＭ
３０，３０ａ…ＣＰＵ
３１…検出部
３２…算出部
３３…車速制御部
３４…地図作成部
３５…目的地設定部
３６…位置推定部
３７…追従制御部
４０，４０ａ…記憶部
４２…地図ＤＢ
４３…軌跡ＤＢ
６０…入力部
７０…出力部
１００…地図作成システム（地図作成装置）
２００…車両制御システム（位置推定装置）
Ｄ…距離
ＦＰ１～ＦＰ１０，ＦＰｎ…特徴点画像（特徴点）
ＦＰ０１…仮特徴点画像
ＩＭ_i，ＩＭ_k，ＩＭ_k+1，ＩＭ_m，ＩＭ_n-1，ＩＭ_n…撮影画像
ＯＣ…画像中心
Ｐ１～Ｐ３，Ｐ５，Ｐｎ…特徴点
ＲＴ…経路
Ｖ_max…上限車速
θ…車載カメラの画角
α…方位角
ΔＴ…撮影時間間隔

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】