IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ニチユ三菱フォークリフト株式会社の特許一覧

特許7167097位置推定装置、車両、位置推定方法およびプログラム
<>
  • 特許-位置推定装置、車両、位置推定方法およびプログラム 図1
  • 特許-位置推定装置、車両、位置推定方法およびプログラム 図2
  • 特許-位置推定装置、車両、位置推定方法およびプログラム 図3
  • 特許-位置推定装置、車両、位置推定方法およびプログラム 図4
  • 特許-位置推定装置、車両、位置推定方法およびプログラム 図5
  • 特許-位置推定装置、車両、位置推定方法およびプログラム 図6
  • 特許-位置推定装置、車両、位置推定方法およびプログラム 図7
  • 特許-位置推定装置、車両、位置推定方法およびプログラム 図8
  • 特許-位置推定装置、車両、位置推定方法およびプログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-28
(45)【発行日】2022-11-08
(54)【発明の名称】位置推定装置、車両、位置推定方法およびプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20221031BHJP
   G06T 7/55 20170101ALI20221031BHJP
   G01C 21/10 20060101ALI20221031BHJP
   G05D 1/02 20200101ALN20221031BHJP
   G01C 15/00 20060101ALN20221031BHJP
【FI】
G06T7/00 300F
G06T7/55
G01C21/10
G05D1/02 K
G01C15/00 101
【請求項の数】 9
(21)【出願番号】P 2020114804
(22)【出願日】2020-07-02
(65)【公開番号】P2022022715
(43)【公開日】2022-02-07
【審査請求日】2021-03-31
(73)【特許権者】
【識別番号】000232807
【氏名又は名称】三菱ロジスネクスト株式会社
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】北島 克将
(72)【発明者】
【氏名】木内 裕介
(72)【発明者】
【氏名】藤田 匠
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】国際公開第2015/125300(WO,A1)
【文献】特開2017-223483(JP,A)
【文献】特開2014-203145(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
G01C 15/00 - 21/36
G05D 1/02 - 1/03
G06V 20/56 - 20/58
(57)【特許請求の範囲】
【請求項1】
車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定装置であって、
前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出する抽出部と、
今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定する位置推定部と、
前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定する特定部と、
を備え、
前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さく、
前記特定部は、前記車両であるフォークリフトが、「積荷作業を行っている状態」または「積荷を運搬している状態」である場合に、前記走行速度が小さいほど前記処理対象領域の面積が小さくなるように特定することを制限する、
位置推定装置。
【請求項2】
前記特定部は、前記走行速度が小さいほど前記処理対象領域の面積が小さくなるように特定する、
請求項1に記載の位置推定装置。
【請求項3】
前記特定部は、所定の速度閾値を境にステップ状に前記処理対象領域の面積を変化させる、
請求項1に記載の位置推定装置。
【請求項4】
前記特定部は、前記車両の走行方向に沿って前記処理対象領域の面積を変化させる、
請求項1から請求項3のいずれか一項に記載の位置推定装置。
【請求項5】
前記車両の加速度又は角速度が閾値以上となった期間に取得された前記画像を除外する除外部をさらに備える、
請求項1から請求項4のいずれか一項に記載の位置推定装置。
【請求項6】
前記車両が地図上に予め規定された所定エリアを走行中の間に取得された前記画像を除外する除外部をさらに備える、
請求項1から請求項5のいずれか一項に記載の位置推定装置。
【請求項7】
請求項1から請求項6のいずれか一項に記載の位置推定装置と、
前記車載カメラと、
前記走行速度検出手段と、
を備える車両。
【請求項8】
車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定方法であって、
位置推定装置が、前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出するステップと、
前記位置推定装置が、今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定するステップと、
前記位置推定装置が、前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定するステップと、
を有し、
前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さく、
前記処理対象領域を特定するステップでは、前記位置推定装置は、前記車両であるフォークリフトが、「積荷作業を行っている状態」または「積荷を運搬している状態」である場合に、前記走行速度が小さいほど前記処理対象領域の面積が小さくなるように特定することを制限する、
位置推定方法。
【請求項9】
車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定のコンピュータに、
前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出するステップと、
今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定するステップと、
前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定するステップと、
を実行させ、
前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さく、
前記処理対象領域を特定するステップでは、前記車両であるフォークリフトが、「積荷作業を行っている状態」または「積荷を運搬している状態」である場合に、前記走行速度が小さいほど前記処理対象領域の面積が小さくなるように特定することを制限する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、位置推定装置、車両、位置推定方法およびプログラムに関する。
【背景技術】
【0002】
車両に搭載したカメラを用いて自己位置推定が実現できれば、屋内を走行する車両の動線分析等に応用できる。カメラはGNSS(Global Navigation Satellite System)と異なり屋内使用が可能であり、また、同じく屋内使用が可能なセンサであるLiDAR(Laser Imaging Detection and Ranging)と比べて価格が低いという長所がある。
【0003】
車載カメラを用いて自己位置推定を行う方法に、環境の「地図」、すなわち環境中の画像特徴の3次元分布を記録したものを作成し、この地図中の特徴点とカメラ画像中の特徴点とを照合することで自己位置推定を行う方式がよく用いられる(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第2019/188391号
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述の自己位置推定処理は、各カメラ画像から特徴点を抽出する必要があるが、特徴点の抽出処理は計算負荷が大きいという課題がある。
【0006】
本開示の目的は、カメラ画像を用いた自己位置推定処理の計算負荷を低減可能な位置推定装置、車両、位置推定方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0007】
本開示の一態様によれば、位置推定装置は、車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定装置であって、前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出する抽出部と、今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定する位置推定部と、前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定する特定部と、を備え、前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さい。
【0008】
本開示の一態様によれば、位置推定方法は、車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定方法であって、前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出するステップと、今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定するステップと、前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定するステップと、を有し、前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さい。
【0009】
本開示の一態様によれば、プログラムは、車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定のコンピュータに、前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出するステップと、今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定するステップと、前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定するステップと、を実行させ、前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さい。
【発明の効果】
【0010】
上述の各態様によれば、カメラ画像を用いた自己位置推定処理の計算負荷を軽減できる。
【図面の簡単な説明】
【0011】
図1】本開示の少なくとも一実施形態に係る車両の全体構成を示す図である。
図2】本開示の少なくとも一実施形態に係る車両の機能構成を示す図である。
図3】本開示の少なくとも一実施形態に係る車両の処理フローを示す図である。
図4】本開示の少なくとも一実施形態に係る特定部の処理の詳細な説明に用いる図である。
図5】本開示の少なくとも一実施形態に係る特定部の処理の詳細な説明に用いる図である。
図6】本開示の少なくとも一実施形態に係る車両の機能構成を示す図である。
図7】本開示の少なくとも一実施形態に係る車両の処理フローを示す図である。
図8】本開示の少なくとも一実施形態に係る除外部の処理の詳細な説明に用いる図である。
図9】本開示の少なくとも一実施形態に係る除外部の処理の詳細な説明に用いる図である。
【発明を実施するための形態】
【0012】
<第1の実施形態>
以下、第1の実施形態に係る検証処理装置について、図1図5を参照しながら説明する。
【0013】
(車両の構成)
図1は、第1の実施形態に係る車両の全体構成を示す図である。
図2は、第1の実施形態に係る車両の機能構成を示す図である。
以下、図1図2を参照しながら、本実施形態に係る車両の構成について詳しく説明する。
【0014】
本実施形態に係る車両1は、物流に用いられる産業用車両であって、例えば、倉庫内で荷役作業を行うべく、予め定められたルートを自律走行する無人フォークリフトである。なお、他の実施形態においてはこの態様に限定されることはなく、あらゆる技術分野に応用可能である。
【0015】
図1図2に示すように、車両1は、位置推定装置10と、車載カメラ11と、IMU12と、エンコーダ13と、記録媒体14とを備えている。
【0016】
位置推定装置10は、V-SLAM(Visual-Simultaneous Localization and Mapping)による自己位置推定処理を行う。V-SLAMでは、例えば、車載カメラ等の撮像装置を用いて取得した周辺環境の画像から特徴点を抽出し、地図作成と自己位置推定が同時に実行される。V-SLAMを実行する手法としては様々なものが提案されているが、例えば、ORB-SLAM等の手法を用いることができる。具体的には、位置推定装置10は、車載カメラ11から逐次取得される画像に基づいて、車両1の位置及び姿勢を推定する。
位置推定装置10は、内部にCPU100を備えている。このCPU100の詳細な構成及び機能については後述する。
【0017】
車載カメラ11は、動画撮影、即ち、連続的に画像を取得可能な撮影装置である。画像の1つ1つは、動画を構成する“フレーム”に相当する。図1に示すように、本実施形態に係る車載カメラ11は、車両1の上方を撮影可能に設置される。これは、地図作成時点から環境が大きく変化すると照合に失敗する恐れがあり、荷に覆われやすい水平向き画像よりも真上向き画像の方が倉庫環境では有利と考えられるためである。ただし、これは車載カメラ11の設置方法の一態様にすぎず、他の実施形態においてはこの態様に限定されない。
【0018】
IMU12は、車両1の3軸(X、Y、Z軸)加速度を検出可能な加速度センサ、および、車両1の3軸(ロール、ピッチ、ヨー)角速度を検出可能なジャイロセンサ等を含む慣性計測装置(IMU;Inertial Measurement Unit)である。
【0019】
エンコーダ13は、車両1のタイヤの回転数(回転速度)を検出可能なセンサである。本実施形態においては、エンコーダ13は、タイヤの回転数から車両1の走行速度を検出可能な走行速度検出手段の一態様である。
なお、他の実施形態においては、速度検出手段はエンコーダ13に限られることはない。速度検出手段は、例えば、IMU12による加速度の検出結果を時間積分することで走行速度を算出する態様であってもよいし、位置推定装置10による自己位置推定結果の時刻歴を時間微分することで走行速度を算出する態様であってもよい。
【0020】
記録媒体14は、HDD、SSDなどのいわゆる補助記憶装置であって、不揮発性の大容量記憶デバイスである。本実施形態においては、ORB-SLAMに用いられる倉庫の地図情報などが事前に格納されている。
【0021】
次に、CPU100は、予め用意されたプログラムに従って動作することで種々の機能を発揮する。具体的には、本実施形態に係るCPU100は、取得部1000、抽出部1001、位置推定部1002、及び、特定部1003としての機能を有する。
【0022】
取得部1000は、車載カメラ11から画像(以下、「フレーム」とも表記する。)を逐次取得する。また、取得部1000は、IMU12、エンコーダ13のそれぞれから各々のセンサ情報(加速度、角速度、及び、走行速度)を取得する。
【0023】
抽出部1001は、車載カメラ11にて取得された画像の処理対象領域(後述)から特徴点を抽出する。
【0024】
位置推定部1002は、今回取得されたフレーム(第1フレーム)と直前に取得されたフレーム(第2フレーム)とのオーバーラップ領域にて、特徴点のマッチング処理を行う。そして、位置推定部1002は、そのマッチング結果を用いて自己位置(車両1の位置)を推定する。
【0025】
特定部1003は、エンコーダ13によって検出された車両1の走行速度に基づいて処理対象領域を特定する。「処理対象領域」とは、抽出部1001が特徴点を抽出する処理の対象とする、画像内の一部または全部の領域である。特定部1003は、車両1の走行速度が小さいほど、処理対象領域の面積が小さくなるように特定する。
【0026】
(位置推定装置の処理フロー)
図3は、第1の実施形態に係る位置推定装置の処理フローを示す図である。
図3に示す処理フローは、車両1が倉庫内を走行中に、位置推定装置10によって繰り返し実行される処理フローである。
【0027】
位置推定装置10の取得部1000は、車載カメラ11を通じて現在のフレーム(第1フレーム)を取得する(ステップS00)。
【0028】
同時に、取得部1000は、エンコーダ13の検出結果を通じて、車両1の現在の走行速度を取得する(ステップS01)。
【0029】
次に、位置推定装置10の特定部1003は、ステップS00で取得したフレームのうち、特徴点抽出の対象とする領域である処理対象領域を特定する(ステップS02)。ここで、特定部1003は、処理対象領域を特定するにあたり、ステップS01で取得された走行速度を用いる。この処理については、後に図4および図5を参照しながら詳しく説明する。
【0030】
次に、位置推定装置10の抽出部1001は、ステップS00で取得されたフレームのうち、ステップS02で特定された処理対象領域について特徴点を抽出する(ステップS03)。
【0031】
次に、位置推定装置10の位置推定部1002は、ステップS00の直前に取得したフレーム(第2フレーム)から抽出された特徴点とのマッチング処理を行う(ステップS04)。マッチング処理とは、今回撮影フレーム(第1フレーム)と前回撮影フレーム(第2フレーム)とのオーバーラップ領域に属する特徴点(つまり、今回撮影フレームと前回撮影フレームとの間で共通する特徴点)を特定する処理である。
ここで、今回撮影フレームで抽出された特徴点のうち前回撮影フレームと共通する特徴点が、当該今回撮影フレームにてどのような配置で写っているかを検出することで、前回撮影フレーム取得時における車両1の位置・姿勢の推定結果を基準に、現在の車両1の位置・姿勢を簡単な処理で大まかに絞り込むことができる。これは、V-SLAMの技術分野で一般によく用いられている技術である。
【0032】
位置推定装置10は、ステップS04のマッチング処理で、十分な数の特徴点をマッチングできたか否かを判定する(ステップS05)。
【0033】
十分な数の特徴点をマッチングできなかった場合(ステップS05;NO)、位置推定装置10は、大域的な復帰処理(いわゆるリローカリゼーション)を行う(ステップS07)。この大域的な復帰処理は、一例としては、現在取得されている画像における特徴点の配置を、倉庫の地図情報全域を総当たりで検索する処理であるため、非常に処理負荷が高い。
【0034】
一方、十分な数の特徴点をマッチングできた場合(ステップS05;YES)、位置推定装置10の位置推定部1002は、マッチングした特徴点に基づいて、現在の車両1の位置・姿勢を大まかに絞り込む。そして、位置推定部1002は、この絞り込みの後、地図情報を用いて、現在の車両1の位置・姿勢を高精度に推定する(ステップS06)。
【0035】
(処理対象領域の特定処理)
図4図5は、第1の実施形態に係る特定部の処理の詳細な説明に用いる図である。
以下、図4図5を参照しながら、特定部1003による図3のステップS02の処理について詳しく説明する。
【0036】
図4は、車両1がある走行速度v1で走行している例を示している。図5は、車両1が走行速度v1よりも低い速度である走行速度v2で走行している例を示している。
【0037】
図4図5において、ある時刻t0で取得されたフレームをフレームF0とする(図3の説明における前回撮影フレーム(第2フレーム))。同様に、図4図5において、ある時刻t1で取得されたフレームをフレームF1(図3の説明における今回撮影フレーム(第1フレーム))とする。ここで、時刻t1は、時刻t0の次の画像取得のタイミングである。
【0038】
図4を参照しながら、車両1が高速(第2の走行速度)で走行している場合の処理を説明する。
車両1が高速で走行している場合、フレームF1およびフレームF0で共通する背景が撮影される領域は、車両1が低速で走行している場合と比較して面積が小さくなる。そのため、位置推定装置10は、十分なマッチング数を確保すべく(図3のステップS05)、オーバーラップ領域O(フレームF1の処理対象領域P1とフレームF0の処理対象領域P0とが重なる領域)をなるべく広く確保する必要がある。そこで、位置推定装置10の特定部1003は、特徴点の抽出処理を行う処理対象領域P1(処理対象領域P0)を画像全体に設定する。このようにすることで、オーバーラップ領域Oの面積をできるだけ広くとることができ、十分な数のマッチング数を確保しやすくなる。
【0039】
次に、図5を参照しながら、車両1が低速(第1の走行速度)で走行している場合の処理を説明する。
車両1が低速で走行している場合、フレームF1およびフレームF0で共通する背景が撮影される領域は、車両1が高速で走行している場合と比較して面積が大きくなる。そのため、位置推定装置10は、フレームF1の画像全体に渡って特徴点を抽出しなくとも十分なオーバーラップ領域Oを確保できる可能性が高い。そこで、位置推定装置10の特定部1003は、フレームF1の画像全体から走行速度に応じた量だけ狭めた領域を処理対象領域P1(処理対象領域P0)に設定する。具体的には、図5に示す例のように、フレームF1の画像全体から走行方向に沿った方向にマージンmだけ狭めた領域を処理対象領域P1(処理対象領域P0)に設定する。
このようにすることで、オーバーラップ領域Oの面積を十分に確保しつつ、フレームF1(フレームF0)から特徴点を抽出する処理の負担を軽減することができる。
【0040】
本実施形態においては、マージンmの量は、車両1の走行速度に反比例するように滑らかに変化させる態様としてよい。換言すれば、車両1の走行速度が小さいほど処理対象領域の面積が小さくなる態様としてよい。ただし、他の実施形態においてはこの態様に限定されることはなく、例えば、車両1の走行速度が予め規定した速度閾値以上か否かの判定結果に応じて、マージンmの量を2段階又は3段階以上でステップ状に変化させる態様としてもよい。換言すれば、特定部1003は、所定の速度閾値を境にステップ状に処理対象領域の面積を変化させてもよい。
すなわち、少なくとも、車両1の走行速度が第1の走行速度(低速)であるときの処理対象領域の面積が、車両1の走行速度が第1の走行速度よりも大きい第2の走行速度(高速)であるときの前記処理対象領域の面積よりも小さくなる態様であればよい。
【0041】
(作用・効果)
以上の通り、第1の実施形態に係る位置推定装置10は、走行速度検出手段(エンコーダ13)によって検出された車両1の走行速度に基づいて処理対象領域P1を特定する特定部1003を備える。そして、特定部1003は、車両1の走行速度が小さいほど、処理対象領域P1の面積が小さくなるように特定する。
このようにすることで、いかなる走行速度であっても十分なオーバーラップ領域Oを確保しながらも、低速走行時には処理対象領域の面積を狭くすることで特徴点抽出処理の負担を軽減することができる。
【0042】
また、第1の実施形態に係る位置推定装置10は、車両1の走行方向に沿って処理対象領域P1の面積を変化させる。このようにすることで、特に、車載カメラ11が上向きに設置されている場合において、マッチング数を確保可能な必要最小限のオーバーラップ領域Oを確保しながら、効果的に処理対象領域P1の面積を低減することができる。
【0043】
(第1の実施形態の変形例)
また、第1の実施形態に係る位置推定装置10は、以下のように変形可能である。
変形例に係る位置推定装置10の特定部1003は、更に、車両1の運転条件によっては、走行速度に応じて処理対象領域P1を変化させる機能を制限する機能を有していてもよい。
【0044】
ここで、「運転状態」とは、例えば、無人フォークリフトである車両1が“積荷作業を行っている状態”や“積荷を運搬している状態”などである。車両1が“積み込み作業を行っている状態”である場合、車両1の走行速度が低速であったとしても積み込み中は高精度な位置検出が求められる場合がある。したがって、運転状態が“積み込み作業を行っている状態”と判定される場合には、特定部1003は、車両1の走行速度が低速であったとしても、当該走行速度に応じて処理対象領域P1の面積を狭める処理を行わない。このようにすることで、車両1が“積荷を運搬している状態”である場合には、オーバーラップ領域Oが一層広がって多くのマッチング数を得ることができるようになるので、自己位置推定の高精度化を図ることができる。
【0045】
また、別の変形例においては、「運転状態」は、事前に地図上に規定された所定エリア(「高精度要求エリア」とも表記する。)を走行中か否かを示す情報であってもよい。この場合、利用者は、倉庫内で高精度な自己位置推定が要求されるエリアを高精度要求エリアとして地図上に規定しておく。そして、位置推定装置10は、車両1の現在位置が当該高精度要求エリアに属している場合には、走行速度に寄らず、常に、処理対象領域P1を最大(画像全体)に設定するようにしてもよい。このようにすることで、車両1が高精度要求エリアを走行中の場合には、常に高精度な自己位置推定が実行される。
【0046】
以上のように、変形例に係る位置推定装置10は、車両1が予め規定された運転状態である場合に、走行速度が小さいほど処理対象領域P1の面積が小さくなるように特定することを制限するようにしてもよい。
【0047】
<第2の実施形態>
以下、第2の実施形態に係る検証処理装置について、図6図9を参照しながら説明する。
【0048】
(車両の構成)
図6は、第2の実施形態に係る車両の機能構成を示す図である。
第2の実施形態に係る車両1の位置推定装置10は、CPU100が除外部1004としての機能を有する点で第1の実施形態とは異なる。
除外部1004は、車両1の加速度又は角速度が急峻に変化した期間に取得されたフレームを除外し、当該フレームを用いた自己位置推定が行われないようにする。
【0049】
(位置推定装置の処理フロー)
図7は、第2の実施形態に係る位置推定装置の処理フローを示す図である。
図7に示す処理フローのうち、第1の実施形態(図3)と同じ処理内容のステップについては、同一の符号を付して説明を省略する。
【0050】
第2の実施形態に係る位置推定装置10は、第1の実施形態の処理フローに加えて、ステップS00aの処理を有する。即ち、除外部1004は、車両1の角速度が所定の閾値以上となったか否かを判定する(ステップS00a)。
【0051】
車両1の角速度が所定の閾値未満であった場合(ステップS00a;NO)、位置推定装置10は、第1の実施形態と同様の処理(ステップS01~ステップS09)を通じて、自己位置推定処理を行う。
【0052】
他方、車両1の角速度が所定の閾値以上であった場合(ステップS00a;YES)、除外部1004は、ステップS00で取得したフレームを自己位置推定処理(ステップS01~ステップS09)に用いることなく、処理を完了する。
【0053】
(除外処理)
図8は、第2の実施形態に係る特定部の処理の詳細な説明に用いる図である。
図8に示すように、倉庫内にわずかな段差Dが存在する場合、車両1がこの段差Dを横切る際に車体が揺れて車載カメラ11の姿勢が急峻に変化する。そうすると、車載カメラ11の画像にぶれが発生してしまい、正常に特徴点を検出できなくなる場合がある。そうすると、その画像を用いた自己位置推定処理ができない。
そこで、本実施形態に係る位置推定装置10は、特に、水平軸周りの角速度が所定の判定閾値以上となった場合には、その間に取得されたフレームを自己位置推定処理への入力から除外する。このようにすることで、正常に特徴点を検出できない可能性が高い画像を自己位置推定処理の対象から除外されるため、無駄な特徴点抽出処理が実行されることが抑制される。したがって、自己位置推定処理の負荷を一層軽減することができる。
【0054】
なお、第2の実施形態に係る位置推定装置10は、上述したように、車両1の角速度を画像除外の判定に用いたが、他の実施形態においてはこれに限定されない。他の実施形態に係る位置推定装置10は、例えば、車両1の加速度を画像除外の判定に用いてもよいし、角速度および加速度の両方を用いてもよい。
【0055】
(第2の実施形態の変形例)
図9は、第2の実施形態の変形例に係る除外部の処理の説明に用いる図である。
以下、図9を参照しながら、第2の実施形態の変形例に係る除外部1004の処理について詳しく説明する。
第2の実施形態の変形例に係る除外部1004は、事前に用意された地図Mを参照して、フレームを自己位置推定処理の入力から除外するか否かを判定する。具体的には、図9に示すように、地図Mには、画像のぶれが繰り返し発生しやすい倉庫内の所定エリア(段差エリアL)が事前に規定されている。本変形例にかかる除外部1004は、図8のステップS00aにて、車両1の現在位置がこの段差エリアL内に属しているか否かを判定し、段差エリアL内に属している場合には、得られた画像を、自己位置推定処理に用いることなく除外する。
このように、画像の除外が繰り返される段差エリアLを地図上に保存しておくことで、角速度の変化を捉える前から、より安全側に画像の除外ができる。したがって、一層自己位置推定処理の負荷を軽減することができる。
【0056】
上述の実施形態においては、位置推定装置10の各種処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記各種処理が行われる。また、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
【0057】
上記プログラムは、上述した機能の一部を実現するためのものであってもよい。更に、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0058】
以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0059】
<付記>
各実施形態に記載の位置推定装置、位置推定方法およびプログラムは、例えば以下のように把握される。
【0060】
(1)第1の態様に係る位置推定装置10は、車載カメラ11及び走行速度検出手段(エンコーダ13)を備える車両1の位置を推定する位置推定装置であって、車載カメラ11にて取得された画像の処理対象領域から特徴点を抽出する抽出部1001と、今回取得された画像である第1フレームと直前に取得された画像である第2フレームとのオーバーラップ領域にて特徴点のマッチング処理を行い、車両1の位置を推定する位置推定部1002と、走行速度検出手段によって検出された車両1の走行速度に基づいて処理対象領域を特定する特定部1003と、を備え、走行速度が第1の走行速度であるときの処理対象領域の面積は、走行速度が第1の走行速度よりも大きい第2の走行速度であるときの処理対象領域の面積よりも小さい。
【0061】
(2)第2の態様に係る特定部1003は、走行速度が小さいほど処理対象領域の面積が小さくなるように特定する。
【0062】
(3)第3の態様に係る特定部1003は、所定の速度閾値を境にステップ状に処理対象領域の面積を変化させる。
【0063】
(4)第3の態様に係る特定部1003は、車両1の走行方向に沿って処理対象領域の面積を変化させる。
【0064】
(5)第5の態様に係る特定部1003は、車両1が予め規定された運転状態である場合に、走行速度が小さいほど処理対象領域の面積が小さくなるように特定することを制限する。
【0065】
(6)第6の態様に係る位置推定装置10は、車両1の加速度又は角速度が閾値以上となった期間に取得された画像を除外する除外部1004をさらに備える。
【0066】
(7)第7の態様に係る位置推定装置10は、車両1が地図上に予め規定された所定エリアを走行中の間に取得された画像を除外する除外部1004をさらに備える。
【0067】
(8)第8の態様に係る車両1は、上記の位置推定装置10と、車載カメラ11と、走行速度検出手段と、を備える。
【0068】
(9)第9の態様に係る位置推定方法は、車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定方法であって、前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出するステップと、今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定するステップと、前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定するステップと、を有し、前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さい。
【0069】
(10)第10の態様に係るプログラムは、車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定のコンピュータに、前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出するステップと、今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定するステップと、前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定するステップと、を実行させ、前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さい。
【符号の説明】
【0070】
1 車両
10 位置推定装置
100 CPU
1000 取得部
1001 抽出部
1002 位置推定部
1003 特定部
1004 除外部
11 車載カメラ
12 IMU
13 エンコーダ
14 記録媒体
図1
図2
図3
図4
図5
図6
図7
図8
図9