IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社豊田自動織機の特許一覧

<>
  • 特開-自律走行車及び地図データ作成装置 図1
  • 特開-自律走行車及び地図データ作成装置 図2
  • 特開-自律走行車及び地図データ作成装置 図3
  • 特開-自律走行車及び地図データ作成装置 図4
  • 特開-自律走行車及び地図データ作成装置 図5
  • 特開-自律走行車及び地図データ作成装置 図6
  • 特開-自律走行車及び地図データ作成装置 図7
  • 特開-自律走行車及び地図データ作成装置 図8
  • 特開-自律走行車及び地図データ作成装置 図9
  • 特開-自律走行車及び地図データ作成装置 図10
  • 特開-自律走行車及び地図データ作成装置 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024117489
(43)【公開日】2024-08-29
(54)【発明の名称】自律走行車及び地図データ作成装置
(51)【国際特許分類】
   G05D 1/43 20240101AFI20240822BHJP
   G01C 21/26 20060101ALI20240822BHJP
【FI】
G05D1/02 K
G01C21/26 B
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023023617
(22)【出願日】2023-02-17
(71)【出願人】
【識別番号】000003218
【氏名又は名称】株式会社豊田自動織機
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】山田 彩加
【テーマコード(参考)】
2F129
5H301
【Fターム(参考)】
2F129AA03
2F129BB02
2F129BB22
2F129BB26
2F129BB33
2F129BB50
2F129CC16
2F129CC20
2F129EE78
2F129GG17
2F129HH20
2F129HH21
5H301AA01
5H301BB01
5H301BB05
5H301BB07
5H301CC03
5H301CC06
5H301DD01
5H301DD06
5H301DD07
5H301DD15
5H301EE31
5H301FF11
5H301GG09
5H301HH01
5H301QQ06
(57)【要約】
【課題】画像データと地図画像データとの誤マッチングを抑制すること。
【解決手段】制御装置は、カメラによって路面を撮像することで得られた画像データを取得する。制御装置は、画像データに含まれるパターン模様であって同一の模様が規則的に繰り返されるパターン模様をマスクする。制御装置は、パターン模様をマスクした後の画像データと地図画像データとをマッチングすることによって自己位置を推定する。
【選択図】図3
【特許請求の範囲】
【請求項1】
路面を撮像するように配置された撮像装置と、
前記路面を予め撮像した地図画像データと位置情報とを紐付けた地図データを記憶した記憶装置と、
自己位置の推定を行う制御装置と、を備え、
前記制御装置は、
前記撮像装置によって前記路面を撮像することで得られた画像データを取得し、
前記画像データに含まれるパターン模様であって同一の模様が規則的に繰り返されるパターン模様をマスクし、
前記パターン模様をマスクした後の前記画像データと前記地図画像データとをマッチングすることによって前記自己位置を推定する、自律走行車。
【請求項2】
前記制御装置は、
前記パターン模様をマスクする前の前記画像データからエッジを検出するエッジ検出をし、
前記エッジ検出を行った後の前記画像データと前記パターン模様をマスクするマスク画像とをマッチングすることで、前記エッジ検出を行った後の前記画像データと前記マスク画像との相対位置及び前記エッジ検出を行った後の前記画像データと前記マスク画像との相対角度を導出し、
前記相対位置及び前記相対角度に基づいて前記マスク画像を前記エッジ検出前の前記画像データに重ね合わせることによって前記パターン模様をマスクする、請求項1に記載の自律走行車。
【請求項3】
前記マスク画像のサイズは、前記画像データのサイズよりも大きい、請求項2に記載の自律走行車。
【請求項4】
前記制御装置は、前記路面に前記パターン模様が存在する位置であって予め把握した位置で取得された前記画像データについて、前記パターン模様をマスクする、請求項1~請求項3のうちいずれか一項に記載の自律走行車。
【請求項5】
自律走行車が自己位置の推定を行う際に用いる地図データであって前記自律走行車が備える撮像装置から取得した画像データとの照合に用いられる地図データを作成する地図データ作成装置であって、
前記地図データ作成装置は、制御装置を備え、
前記制御装置は、
車両が備える撮像装置によって路面を撮像することで得られた地図画像データを取得し、
前記地図画像データに含まれるパターン模様であって同一の模様が規則的に繰り返されるパターン模様をマスクし、
前記パターン模様をマスクした後の前記地図画像データに当該地図画像データを取得した地点の座標を含む位置情報を紐付ける、地図データ作成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、自律走行車及び地図データ作成装置に関する。
【背景技術】
【0002】
特許文献1に開示の自律走行車は、カメラと、記憶装置と、制御装置と、を備える。カメラは、路面を撮像するように配置されている。記憶装置は、地図データを記憶している。地図データは、予め路面を撮像した地図画像データと位置情報とが紐付けされたデータである。制御装置は、カメラから画像データを取得する。制御装置は、画像データと地図画像データとのマッチングにより自己位置を推定する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2016-166853号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
路面には、同一の模様が規則的に繰り返されるパターン模様が存在する場合がある。このようなパターン模様は、エッジが同一形状である。このため、パターン模様を含む画像データは、特徴点が同一になりやすい。結果として、パターン模様が存在する場所では、画像データと地図画像データとの誤マッチングが生じるおそれがある。
【課題を解決するための手段】
【0005】
上記課題を解決する自律走行車は、路面を撮像するように配置された撮像装置と、前記路面を予め撮像した地図画像データと位置情報とを紐付けた地図データを記憶した記憶装置と、自己位置の推定を行う制御装置と、を備え、前記制御装置は、前記撮像装置によって前記路面を撮像することで得られた画像データを取得し、前記画像データに含まれるパターン模様であって同一の模様が規則的に繰り返されるパターン模様をマスクし、前記パターン模様をマスクした後の前記画像データと前記地図画像データとをマッチングすることによって前記自己位置を推定する。
【0006】
制御装置は、パターン模様をマスクした後の画像データと地図画像データとをマッチングすることによって自己位置を推定する。パターン模様をマスクすることによって、パターン模様による特徴点を原因として画像データと地図画像データとの誤マッチングが生じることを抑制できる。
【0007】
上記自律走行車について、前記制御装置は、前記パターン模様をマスクする前の前記画像データからエッジを検出するエッジ検出をし、前記エッジ検出を行った後の前記画像データと前記パターン模様をマスクするマスク画像とをマッチングすることで、前記エッジ検出を行った後の前記画像データと前記マスク画像との相対位置及び前記エッジ検出を行った後の前記画像データと前記マスク画像との相対角度を導出し、前記相対位置及び前記相対角度に基づいて前記マスク画像を前記エッジ検出前の前記画像データに重ね合わせることによって前記パターン模様をマスクしてもよい。
【0008】
上記自律走行車について、前記マスク画像のサイズは、前記画像データのサイズよりも大きくてもよい。
上記自律走行車について、前記制御装置は、前記路面に前記パターン模様が存在する位置であって予め把握した位置で取得された前記画像データについて、前記パターン模様をマスクしてもよい。
【0009】
上記課題を解決する地図データ作成装置は、自律走行車が自己位置の推定を行う際に用いる地図データであって前記自律走行車が備える撮像装置から取得した画像データとの照合に用いられる地図データを作成する地図データ作成装置であって、前記地図データ作成装置は、制御装置を備え、前記制御装置は、車両が備える撮像装置によって路面を撮像することで得られた地図画像データを取得し、前記地図画像データに含まれるパターン模様であって同一の模様が規則的に繰り返されるパターン模様をマスクし、前記パターン模様をマスクした後の前記地図画像データに当該地図画像データを取得した地点の座標を含む位置情報を紐付ける。
【0010】
制御装置は、パターン模様をマスクした後の地図画像データに位置情報を紐付ける。パターン模様をマスクすることによって、パターン模様による特徴点を原因として画像データと地図画像データとの誤マッチングが生じることを抑制できる。
【発明の効果】
【0011】
本発明によれば、画像データと地図画像データとの誤マッチングを抑制できる。
【図面の簡単な説明】
【0012】
図1】車両の側面図である。
図2図1の車両の概略構成図である。
図3図2の制御装置が実行する自己位置推定制御を示すフローチャートである。
図4図2のカメラで撮像を行った画像データの一例を示す図である。
図5図4の画像データにエッジ検出を行うことで得られたエッジを示す図である。
図6図3の自己位置推定制御で行われる画像データとマスク画像とのマッチングを示す図である。
図7図4の画像データにマスク画像を重ね合わせた状態を示す図である。
図8図2の制御装置が実行する地図データ作成制御を示すフローチャートである。
図9】マスク画像の変更例を示す図である。
図10】画像データとマスク画像とのマッチングを示す図である。
図11】所定範囲がマスクされた画像データを示す図である。
【発明を実施するための形態】
【0013】
自律走行車及び地図データ作成装置の一実施形態について説明する。
<車両>
図1に示すように、車両10は、車体11と、駆動輪21と、操舵輪31と、を備える。車両10は、乗用車であってもよいし、産業車両であってもよい。産業車両は、フォークリフト、トーイングトラクタ、及び無人搬送車を含む。本実施形態の車両10は、自律走行可能な自律走行車である。
【0014】
図2に示すように、車両10は、走行モータ22と、走行モータドライバ23と、操舵モータ32と、操舵モータドライバ33と、を備える。走行モータ22は、駆動輪21を回転させるためのモータである。走行モータドライバ23は、走行モータ22を駆動させる。走行モータ22の駆動により駆動輪21が回転することで、車両10は走行する。操舵モータ32は、操舵輪31を操舵するためのモータである。操舵モータドライバ33は、操舵モータ32を駆動させる。操舵モータ32の駆動により操舵輪31が操舵されることで、車両10は旋回する。
【0015】
車両10は、制御装置12を備える。制御装置12は、プロセッサ13と、記憶部14と、を備える。プロセッサ13としては、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、及びDSP(Digital Signal Processor)を挙げることができる。記憶部14は、RAM(Random Access Memory)及びROM(Read Only Memory)を含む。記憶部14は、処理をプロセッサ13に実行させるように構成されたプログラムコードまたは指令を格納している。記憶部14、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。制御装置12は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェア回路によって構成されていてもよい。処理回路である制御装置12は、コンピュータプログラムに従って動作する1つ以上のプロセッサ、ASICやFPGA等の1つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。
【0016】
車両10は、カメラ41を備える。カメラ41は、撮像装置である。カメラ41は、単眼カメラである。カメラ41は、デジタルカメラである。カメラ41は、撮像素子を備える。撮像素子としては、例えば、CCDイメージセンサ(Charge Coupled Device image sensor)、及びCMOSイメージセンサ(Complementary Metal Oxide Semiconductor image sensor)を挙げることができる。カメラ41としては、例えば、RGBカメラ、赤外線カメラ、グレースケールカメラ、及び可視光カメラを挙げることができる。
【0017】
カメラ41は、所定のフレームレートで撮像を行って画像データを生成する。この画像データは、カメラ41で撮像した画像のデジタルデータである。
図1に示すように、カメラ41は、路面Srを撮像するように配置されている。カメラ41は、路面Srを撮像した画像を示す画像データを生成する。カメラ41は、鉛直方向を向いた状態で車体11の底部に設けられている。
【0018】
図2に示すように、車両10は、照明装置51を備える。照明装置51は、路面Srの照明を行うように配置されている。詳細にいえば、照明装置51は、路面Srのうちカメラ41によって撮像される範囲の照明を行う。本実施形態において、照明装置51は、鉛直方向を向いた状態で車体11の底部に設けられている。照明装置51としては、例えば、発光ダイオードを用いることができる。照明装置51により路面Srの照明が行われることによって、車両10の周辺環境によって路面Srの輝度に差が生じることを抑制している。
【0019】
車両10は、測位装置61を備える。測位装置61は、衛星航法装置62と、慣性測定装置63と、を備える。衛星航法装置62は、GNSS(Global Navigation Satellite System)衛星から送信される衛星信号を受信する。衛星航法装置62は、衛星信号を用いて位置を測定する。慣性測定装置63は、ジャイロセンサ、及び加速度センサを含む。
【0020】
車両10は、補助記憶装置71を備える。補助記憶装置71は、制御装置12が読み取り可能な情報を記憶している。補助記憶装置71は、例えば、ハードディスクドライブ、ソリッドステートドライブ、又はフラッシュメモリである。
【0021】
補助記憶装置71は、地図データM1を記憶している。地図データM1は、路面Srを予め撮像した地図画像データと位置情報とを紐付けたものである。車両10が走行する範囲は、予め定められている。位置情報は、座標と、姿勢と、を含む。座標は、絶対位置を表す座標系である地図座標系の座標である。地図座標系は、直交座標系であってもよいし、地理座標系であってもよい。地図座標系は、X軸と、Y軸と、を備える。X軸とY軸とは互いに直交している。X軸及びY軸は、水平方向を表す座標系である。姿勢は、地図座標系の座標軸に対する車両10の傾きを示す情報である。本実施形態の姿勢は、X軸に対する傾きを示す情報である。補助記憶装置71は、地図データM1を記憶した記憶装置の一例である。
【0022】
車両10は、無線通信機81を備える。無線通信機81は、無線LAN(Local Area Network)、ZigBee(登録商標)、LPWA(Low Power Wide Area)、又は移動通信システム等、任意の無線通信方式で通信を行うことが可能な通信機器である。無線通信機81は、無線信号を送受信可能である。この無線信号には、トータルステーションによって検出された位置情報が含まれている。トータルステーションは、車両10の位置情報を検出する装置である。無線通信機81を介して、制御装置12は、トータルステーションによって検出された位置情報を取得可能である。
【0023】
<自己位置推定制御>
制御装置12は、自己位置推定制御を行う。自己位置推定制御は、所定の制御周期で繰り返し行われる。自己位置推定制御は、車両10が自律走行する際に行われる。例えば、車両10は、目標地点までの走行経路を生成する。そして、車両10は、自己位置推定制御により自己位置を認識しつつ走行経路に沿って走行する。自己位置は、地図座標系での車両10の座標、及び車両10の姿勢を含む。
【0024】
図3及び図4に示すように、ステップS1において、制御装置12は、カメラ41から画像データIM1を取得する。図4に示すように、カメラ41で生成される画像データIM1は、例えば、円形の範囲を撮像したデータである。画像データIM1は、円形の範囲の一部を切り出したデータであってもよい。例えば、画像データIM1は、半円の範囲を撮像したデータであってもよい。画像データIM1には、路面Srの特徴部分F1が写っている。路面Srの特徴部分F1は、例えば、路面Srに存在する微細な凹凸である。路面Srには、同一の模様が規則的に繰り返されるパターン模様P1が存在する場合がある。パターン模様P1の存在する位置は、例えば、縞鋼板の配置位置、又はグレーチングの配置位置である。
【0025】
図3に示すように、次に、ステップS2において、制御装置12は、車両10の位置が路面Srにパターン模様P1が存在する位置であって予め把握した位置か否かを判定する。車両10が走行する範囲は、予め定められている。この範囲について、パターン模様P1の存在する位置を事前に把握しておき、パターン模様P1が存在する位置と車両10の位置とが一致しているか否かを制御装置12が判定すればよい。ステップS2の判定は、例えば、1回前の制御周期で取得した自己位置によって行うことができる。例えば、1回前の制御周期で取得した自己位置が路面Srにパターン模様P1が存在する位置の場合、制御装置12は、車両10の位置が路面Srにパターン模様P1が存在する位置であって予め把握した位置であると判断してもよい。制御装置12は、衛星航法装置62によって得られる位置情報からステップS2の判定を行ってもよい。ステップS2の判定結果が否定の場合、制御装置12は、ステップS6の処理を行う。ステップS2の判定結果が肯定の場合、制御装置12は、ステップS3の処理を行う。
【0026】
ステップS2の判定結果が肯定の場合、ステップS1で取得された画像データIM1は、路面Srにパターン模様P1が存在する位置であって予め把握した位置で取得された画像データである。この画像データIM1には、パターン模様P1が含まれる。
【0027】
ステップS3において、制御装置12は、エッジ検出を行う。エッジ検出は、画像データIM1からエッジを検出することである。
図5には、一例として図4に示す画像データIM1に対してエッジ検出を行った後の画像データIM2を示す。画像データIM1にパターン模様P1が含まれている場合、パターン模様P1の外縁となるエッジE1を検出することができる。エッジ検出は、例えば、輝度勾配を用いて行うことができる。制御装置12は、画像データIM1の各画素に対応付けられた輝度値から、隣接する画素への輝度勾配を算出する。そして、制御装置12は、輝度勾配を用いてエッジE1を検出する。例えば、制御装置12は、画素のうち輝度勾配が閾値以上の画素をエッジE1として検出する。
【0028】
図3及び図6に示すように、次に、ステップS4において、制御装置12は、エッジ検出を行った後の画像データIM2とマスク画像IM3とのマッチングを行う。マスク画像IM3は、路面Srに存在するパターン模様P1と同一形状のマスク箇所M11を備える。一例として、図6には、縞鋼板のパターン模様P1に対応したマスク画像IM3を示す。マスク画像IM3は、例えば、路面Srに存在するパターン模様P1を予め撮像した画像データに対してエッジ検出を行い、エッジ検出によって検出されたエッジに囲まれる範囲をマスク箇所M11とすることによって得ることができる。車両10が走行する範囲に複数種類のパターン模様P1が存在する場合、制御装置12は、車両10の位置に応じてマスク画像IM3の種類を変更してもよい。例えば、車両10が縞鋼板の存在する位置を走行している場合、制御装置12は、縞鋼板のパターン模様P1に対応したマスク画像IM3を用いてマッチングを行ってもよい。車両10がグレーチングの存在する位置を走行している場合、制御装置12は、グレーチングのパターン模様に対応したマスク画像を用いてマッチングを行ってもよい。マスク画像IM3は、例えば、補助記憶装置71に記憶されている。
【0029】
マッチングは、画像データIM2のエッジE1とマスク箇所M11の外縁とが重なり合うように行われる。マッチングは、例えば、画像データIM2の特徴点とマスク画像IM3の特徴点との比較によって行われる。このマッチングによって、制御装置12は、エッジ検出を行った後の画像データIM2とマスク画像IM3との相対位置及びエッジ検出を行った後の画像データIM2とマスク画像IM3との相対角度を導出する。相対位置は、画像データIM2に含まれるエッジE1とマスク画像IM3に含まれるマスク箇所M11とのずれ量である。相対角度は、画像データIM2に含まれるエッジE1とマスク画像IM3に含まれるマスク箇所M11とのずれ角である。
【0030】
図3及び図7に示すように、次に、ステップS5において、制御装置12は、マスク画像IM3をエッジ検出前の画像データIM1に重ね合わせることによって画像データIM1をマスクする。制御装置12は、ステップS4で導出された相対位置及び相対角度に基づいてマスク画像IM3をエッジ検出前の画像データIM1に重ね合わせる。制御装置12は、画像データIM1とマスク画像IM3との位置が一致している状態からステップS4で導出した相対位置の分だけマスク画像IM3の位置をずらす。制御装置12は、画像データIM1とマスク画像IM3との角度が一致している状態からステップS4で導出した相対角度の分だけマスク画像IM3を回転させる。画像データIM1のうちマスク箇所M11に重なり合う部分は、マスクされる。これにより、画像データIM1のパターン模様P1はマスク画像IM3によってマスクされる。
【0031】
次に、ステップS6において、制御装置12は、画像データIM1と地図画像データとをマッチングする。ステップS2の判定結果が否定の場合、制御装置12は、マスクを行っていない画像データIM1と地図画像データとのマッチングを行う。ステップS2の判定結果が肯定の場合、制御装置12は、パターン模様P1をマスクした後の画像データIM1と地図画像データとのマッチングを行う。
【0032】
制御装置12は、画像データIM1から特徴点を抽出する。制御装置12は、特徴点の特徴量を記述する。特徴量としては、例えば、特徴量ベクトル、及び輝度値を挙げることができる。また、制御装置12は、地図画像データを用いて特徴点の抽出、及び特徴量の記述を行う。制御装置12は、画像データIM1から得られた特徴点及び特徴量と、地図画像データから得られた特徴点及び特徴量とを照合し、特徴量が類似する特徴点のペアを探索する。制御装置12は、特徴点のペアに基づき、画像データIM1に対応する地図画像データを特定する。例えば、制御装置12は、特徴点のペアが集中している地図画像データを画像データIM1に対応する地図画像データと特定する。上記したマッチングは、特徴量記述子を用いて行うことができる。特徴量記述子は、例えば、ORB(Oriented FAST and Rotated BRIEF)、SIFT(Scale-Invariant Feature Transform)、又はSURF(Speeded Up Robust Features)である。制御装置12は、マスクされた範囲については、特徴点の抽出を行わない。従って、画像データIM1がマスクされている場合、画像データIM1のうちマスクされた範囲を除く部分と地図画像データとのマッチングが行われる。
【0033】
次に、ステップS7において、制御装置12は、画像データIM1に対応する地図画像データに基づき、自己位置の推定を行う。制御装置12は、地図画像データと画像データIM1との相対位置、及び地図画像データと画像データIM1との相対角度を算出する。地図画像データと画像データIM1との相対位置とは、画像データIM1と地図画像データとのずれ量である。画像データIM1と地図画像データとの相対角度とは、画像データIM1と地図画像データとのずれ角である。画像データIM1と地図画像データとは、完全には一致しない場合が多い。これは、地図画像データを取得した時点と、画像データIM1を取得した時点とで車両10の位置及び姿勢が完全に一致することが少ないためである。このため、画像データIM1は、地図画像データの一部にのみ一致することが多い。地図画像データを取得した時点と、画像データIM1を取得した時点で、車両10の位置がずれていた場合、車両10の位置の差によって地図画像データに写る路面Srの位置と画像データIM1に写る路面Srの位置にずれが生じる。このずれ量が、地図画像データと画像データIM1との相対位置である。ずれ量は、地図画像データの特徴点と画像データIM1の特徴点との位置関係から把握することができる。同様に、地図画像データを取得した時点と、画像データIM1を取得した時点での車両10の姿勢の差によって、画像データIM1は、地図画像データを回転させたものになる。この回転により生じるずれ角が、画像データIM1と地図画像データとの相対角度である。制御装置12は、画像データIM1に対応する地図画像データに紐付けられた位置情報と、画像データIM1と地図画像データとの相対位置と、画像データIM1と地図画像データとの相対角度とに基づき自己位置を推定する。制御装置12は、地図画像データに紐付けられた座標を相対位置に対応する座標だけずらす。制御装置12は、地図画像データに紐付けられた姿勢を相対角度だけずらす。これにより得られる地図座標系での座標、及び姿勢を制御装置12は自己位置とする。ステップS7の処理を終えると、制御装置12は、自己位置推定制御を終了する。
【0034】
<地図データ作成制御>
地図データ作成制御について説明する。地図データ作成制御は、地図データM1を作成する際に制御装置12によって行われる制御である。地図データ作成制御は、車両10の走行中に行われる。地図データM1を作成する際、車両10は、人の操作によって走行してもよいし、制御装置12による制御によって走行してもよい。
【0035】
図8に示すように、ステップS11において、制御装置12は、位置情報を取得する。位置情報は、例えば、測位装置61及び無線通信機81の少なくとも1つから取得することができる。測位装置61から取得できる位置情報は、衛星航法装置62を用いて取得した経緯度、及び慣性測定装置63を用いて算出する自己移動量の少なくとも1つによって算出可能である。本明細書において使用される「少なくとも1つ」という表現は、所望の選択肢の「1つ以上」を意味する。一例として、本明細書において使用される「少なくとも1つ」という表現は、選択肢の数が2つであれば「1つの選択肢のみ」または「2つの選択肢の双方」を意味する。他の例として、本明細書において使用される「少なくとも1つ」という表現は、選択肢の数が3つ以上であれば「1つの選択肢のみ」または「2つ以上の任意の選択肢の組み合わせ」を意味する。
【0036】
次に、ステップS12において、制御装置12は、カメラ41から地図画像データを取得する。カメラ41から取得する画像データであって地図データM1に用いられる画像データが地図画像データである。ステップS11とステップS12とは同期して行われる。従って、ステップS11で取得される位置情報は、地図画像データを取得した地点の座標を含む位置情報である。
【0037】
次に、ステップS13において、制御装置12は、車両10の位置が路面Srにパターン模様P1が存在する位置であって予め把握した位置か否かを判定する。ステップS13の判定は、ステップS11で取得した位置情報によって行われればよい。ステップS13の判定結果が否定の場合、制御装置12は、ステップS17の処理を行う。ステップS13の判定結果が肯定の場合、制御装置12は、ステップS14の処理を行う。
【0038】
ステップS14において、制御装置12は、エッジ検出を行う。エッジ検出は、ステップS3のエッジ検出と同一である。制御装置12は、ステップS3で行われたエッジ検出を地図画像データに対して行えばよい。
【0039】
次に、ステップS15において、制御装置12は、地図画像データとマスク画像IM3とをマッチングする。制御装置12は、ステップS4で行った処理を地図画像データに対して行えばよい。このマッチングによって、制御装置12は、エッジ検出を行った後の地図画像データとマスク画像IM3との相対位置及びエッジ検出を行った後の地図画像データとマスク画像IM3との相対角度を導出する。
【0040】
次に、ステップS16において、制御装置12は、地図画像データをマスクする。制御装置12は、ステップS5で行った処理を地図画像データに対して行えばよい。これにより、地図画像データに含まれるパターン模様P1は、マスク画像IM3によってマスクされる。
【0041】
次に、ステップS17において、制御装置12は、ステップS11で取得した位置情報を地図画像データに紐付ける。制御装置12は、ステップS13の判定結果が否定の場合、マスクを行っていない地図画像データに位置情報を紐付ける。制御装置12は、ステップS13の判定結果が肯定の場合、パターン模様P1をマスクした地図画像データに位置情報を紐付ける。
【0042】
制御装置12は、ステップS11~ステップS17の処理を繰り返し行う。これにより、制御装置12は、カメラ41から地図画像データを複数回取得する。各地図画像データには、位置情報が紐付けられる。車両10が地図データM1の作成を行う範囲の走行を終えると、制御装置12は、地図データ作成制御は終了する。上記したように、制御装置12は、地図データ作成制御を行うことによって地図データM1を作成する。制御装置12は地図データ作成装置である。
【0043】
[本実施形態の作用]
路面Srには、パターン模様P1が存在している場合がある。パターン模様P1が存在している位置では、同一の模様が規則的に繰り返される。画像データIM1と地図画像データとのマッチングの際に抽出される特徴点は、模様の外縁から生じやすい。また、パターン模様P1は画像データIM1に占める割合が大きくなりやすい。結果として、パターン模様P1を含む画像データIM1は、取得した場所が異なっている場合であっても特徴点が類似しやすい。同様に、パターン模様P1を含む地図画像データは、取得した場所が異なっている場合であっても特徴点が類似しやすい。これにより、画像データIM1及び地図画像データの少なくとも1つがパターン模様P1を含む場合、画像データIM1と地図画像データとの誤マッチングが生じる原因になる。詳細にいえば、画像データIM1が、当該画像データIM1を撮像した位置とは異なる位置を撮像した地図画像データと誤ってマッチングするおそれがある。
【0044】
本実施形態において、制御装置12は、パターン模様P1をマスクした後の画像データIM1と地図画像データとをマッチングすることによって自己位置を推定する。また、制御装置12は、パターン模様P1をマスクした後の地図画像データに位置情報を紐付けることによって地図データM1を作成する。制御装置12が自己位置を推定する際に、マスクされた範囲については特徴点が抽出されない。従って、画像データIM1のうちマスクされた範囲を除いた部分と地図画像データのうちマスクされた範囲を除いた部分とでマッチングが行われる。即ち、制御装置12が自己位置を推定する際には、パターン模様P1によって生じる特徴点が除外されることによって、パターン模様P1とは異なる特徴部分F1によるマッチングが行われる。
【0045】
[本実施形態の効果]
(1)制御装置12は、画像データIM1のパターン模様P1をマスクする。パターン模様P1をマスクすることによって、パターン模様P1による特徴点を原因として画像データIM1と地図画像データとの誤マッチングが生じることを抑制できる。
【0046】
(2)制御装置12は、マスク画像IM3をエッジ検出前の画像データIM1に重ね合わせることによってパターン模様P1をマスクする。エッジ検出をすることによって画像データIM2とマスク画像IM3とのマッチングをすることができる。エッジ検出をすることなく画像データIM1のパターン模様P1をマスクする場合、マスク画像IM3に対応する画像データと画像データIM1とのマッチングをすることによって、画像データIM1とマスク画像IM3との相対位置及び画像データIM1とマスク画像IM3との相対角度を導出する必要がある。マスク画像IM3に対応する画像データは、例えば、マスク画像IM3を生成する元になった画像データである。エッジ検出をすることによって画像データIM2とマスク画像IM3とのマッチングをすることができるため、マスク画像IM3に対応する画像データを記憶しておく必要がない。
【0047】
(3)制御装置12は、路面Srにパターン模様P1が存在する位置であって予め把握した位置で取得された画像データIM1について、パターン模様P1をマスクする。路面Srにパターン模様P1が存在する位置は、予め把握することができる。路面Srにパターン模様P1が存在しない位置については、マスクを行う必要がない。路面Srにパターン模様P1が存在しない位置についてはマスクを行う処理を行わないことによって、制御装置12が行う処理の円滑化を図ることができる。
【0048】
(4)制御装置12は、地図データM1を作成する際に、パターン模様P1をマスクした後の地図画像データに位置情報を紐付ける。パターン模様P1をマスクすることによって、パターン模様P1による特徴点を原因として画像データIM1と地図画像データとの誤マッチングが生じることを抑制できる。また、地図画像データのパターン模様P1をマスクする際にも、画像データIM1のパターン模様P1をマスクする際と同様の処理を行うことによって、(2)及び(3)と同様の効果を得ることができる。
【0049】
[変更例]
実施形態は、以下のように変更して実施することができる。実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
【0050】
図9に示すように、マスク画像IM21のサイズは、画像データIM1のサイズより大きくてもよい。この場合、マスク画像IM21のうちマスク範囲IM22を画像データIM1に重ね合わせることによって画像データIM1のパターン模様P1をマスクする。マスク範囲IM22のサイズは、画像データIM1のサイズと同一である。制御装置12は、エッジ検出を行った後の画像データIM2とマスク画像IM21との相対位置及びエッジ検出を行った後の画像データIM2とマスク画像IM21との相対角度を導出する。制御装置12は、相対位置の分だけマスク画像IM21をずらす。制御装置12は、相対角度の分だけマスク画像IM21を回転させる。これにより、マスク範囲IM22のマスク箇所M11と画像データIM1のパターン模様P1との位置は同一になる。制御装置12は、マスク範囲IM22を画像データIM1に重ねることによって、画像データIM1のパターン模様P1をマスクする。マスク画像IM21のサイズを画像データIM1のサイズよりも大きくすることによって、画像データIM1に含まれるパターン模様P1を漏れなくマスクすることができる。
【0051】
制御装置12は、地図画像データに含まれるパターン模様P1をマスクする場合に、地図画像データのサイズよりも大きいサイズのマスク画像IM21を用いてマスクを行ってもよい。マスク画像IM21のサイズを地図画像データのサイズよりも大きくすることによって、地図画像データに含まれるパターン模様P1を漏れなくマスクすることができる。
【0052】
○制御装置12は、路面Srにパターン模様P1が存在する位置か否かの判定を行うことなく、画像データIM1に含まれるパターン模様P1をマスクする処理を行ってもよい。即ち、ステップS2の処理を行うことなく、ステップS1の処理の後にステップS3の処理を行うようにしてもよい。この場合、制御装置12は、エッジ検出を行った後の画像データIM2とマスク画像IM3とのマッチングが成立しなかった場合、画像データIM1にはパターン模様P1が含まれていないと判定してもよい。この場合、制御装置12は、画像データIM1のマスクを行わなくてもよい。同様に、制御装置12は、路面Srにパターン模様P1が存在する位置か否かの判定を行うことなく、地図画像データに含まれるパターン模様P1をマスクする処理を行ってもよい。
【0053】
○制御装置12は、マスク画像IM3に対応する画像データの特徴点と画像データIM1の特徴点とのマッチングをすることによって、画像データIM1とマスク画像IM3との相対位置及び画像データIM1とマスク画像IM3との相対角度を導出してもよい。同様に、制御装置12は、マスク画像IM3に対応する画像データの特徴点と地図画像データの特徴点とのマッチングをすることによって、地図画像データとマスク画像IM3との相対位置及び地図画像データとマスク画像IM3との相対角度を導出してもよい。マスク画像IM3に対応する画像データは、例えば、マスク画像IM3を生成する元になった画像データである。
【0054】
○制御装置12は、エッジ検出を行った後の画像データIM2を用いてマスクを行ってもよい。この場合、制御装置12は、画像データIM2を画像データIM1に重ねる。そして、エッジ検出によって検出されたエッジE1に囲まれる範囲をマスクする。この場合、制御装置12は、エッジ検出によって検出されたエッジE1を膨張させてもよい。
【0055】
図10に示すように、画像データIM11に含まれるパターン模様P2がグレーチングによるパターン模様P2の場合、画像データIM11の所定範囲A11がパターン模様P2に占められる。この場合、制御装置12は、実施形態と同様に、画像データIM11にマスク画像IM23を重ね合わせることによってパターン模様P1をマスクしてもよい。マスク画像IM23は、グレーチングに対応するマスク箇所M12を備える。制御装置12は、図11に示すように、パターン模様P2によって占められる所定範囲A11の全体をマスクしてもよい。この場合、制御装置12は、エッジ検出によってエッジが検出された範囲をパターン模様P2に占められる所定範囲A11としてもよい。制御装置12は、エッジとマスク箇所M12とが重なり合う範囲をパターン模様P2に占められる所定範囲A11としてもよい。
【0056】
○地図データM1は、車両10とは異なる車両の走行によって作成されてもよい。即ち、地図データM1の作成に用いられる車両と、地図データM1が用いられる自律走行車とは、異なっていてもよい。地図データM1の作成に用いられる車両は、自律走行を行えない車両であってもよい。
【0057】
○撮像装置は、リニアイメージセンサであってもよい。
○地図データM1が記憶される記憶装置は、記憶部14であってもよい。
○地図データ作成装置は、車両10とは異なる装置に設けられた制御装置を備えていてもよい。この場合、制御装置は、車両10の走行によって得られた画像データIM1及び位置情報を用いて地図データ作成制御を行えばよい。
【0058】
○パターン模様P1のマスクは、画像データIM1及び地図画像データの少なくとも1つについて行われればよい。画像データIM1及び地図画像データの少なくとも1つについてパターン模様P1がマスクされていれば、パターン模様P1から生じる特徴点のペアが成立しないため、パターン模様P1による特徴点を原因として画像データIM1と地図画像データとの誤マッチングが生じることを抑制できる。
【符号の説明】
【0059】
M1…地図データ、Sr…路面、10…自律走行車である車両、12…地図データ作成装置である制御装置、41…撮像装置であるカメラ、71…記憶装置である補助記憶装置。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11