IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特許7552608情報処理装置、情報処理方法、及びプログラム
<>
  • 特許-情報処理装置、情報処理方法、及びプログラム 図1
  • 特許-情報処理装置、情報処理方法、及びプログラム 図2
  • 特許-情報処理装置、情報処理方法、及びプログラム 図3
  • 特許-情報処理装置、情報処理方法、及びプログラム 図4
  • 特許-情報処理装置、情報処理方法、及びプログラム 図5
  • 特許-情報処理装置、情報処理方法、及びプログラム 図6
  • 特許-情報処理装置、情報処理方法、及びプログラム 図7
  • 特許-情報処理装置、情報処理方法、及びプログラム 図8
  • 特許-情報処理装置、情報処理方法、及びプログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-09
(45)【発行日】2024-09-18
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
   G05D 1/43 20240101AFI20240910BHJP
【FI】
G05D1/43
【請求項の数】 5
(21)【出願番号】P 2021550396
(86)(22)【出願日】2020-08-11
(86)【国際出願番号】 JP2020030584
(87)【国際公開番号】W WO2021065212
(87)【国際公開日】2021-04-08
【審査請求日】2023-06-23
(31)【優先権主張番号】P 2019183058
(32)【優先日】2019-10-03
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】豊浦 雅貴
(72)【発明者】
【氏名】津高 圭祐
【審査官】影山 直洋
(56)【参考文献】
【文献】国際公開第2016/139747(WO,A1)
【文献】特開2005-190089(JP,A)
【文献】特開2014-149622(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G05D 1/43
(57)【特許請求の範囲】
【請求項1】
第2のセンシングデータに基づいて移動体の第2の自己位置を同定する第2自己位置同定部を備える第2のモジュールと、
第1のセンシングデータに基づいて前記移動体の第1の自己位置を同定する第1自己位置同定部と、同定された前記第1の自己位置の各成分について有効であるか否かを評価する第1評価部と、前記第1評価部の評価結果と前記第1の自己位置と前記第2の自己位置を用いて前記移動体の自己位置を生成する自己位置生成部と、を備える第1のモジュールと、
第3のセンシングデータに基づいて前記移動体の第3の自己位置を同定する第3自己位置同定部と、同定された前記第3の自己位置の各成分について有効であるか否かを評価する第3評価部と、前記第3評価部の評価結果と前記第3の自己位置と前記第1のモジュールで生成された自己位置とを用いて、前記移動体の最終的な自己位置を生成する自己位置生成部と、を備える第3のモジュールと
を具備する情報処理装置。
【請求項2】
請求項に記載の情報処理装置であって、
前記第1のセンシングデータを出力する第1のセンサと、前記第2のセンシングデータを出力する第2のセンサと、前記第3のセンシングデータを出力する第3のセンサとは互いに異なる
情報処理装置。
【請求項3】
請求項に記載の情報処理装置であって、
前記第1のセンサは前記移動体に搭載されるLiDAR(Light Detection and Ranging)であり、前記第2のセンサは前記移動体に搭載される内界センサであり、前記第3のセンサは前記移動体に搭載されるカメラである
情報処理装置。
【請求項4】
第2のセンシングデータに基づいて移動体の第2の自己位置を同定し、
第1のセンシングデータに基づいて前記移動体の第1の自己位置を同定し、
同定された前記第1の自己位置の各成分について有効であるか否かを評価し、
前記評価の結果と前記第1の自己位置と前記第2の自己位置を用いて前記移動体の自己位置を生成し、
第3のセンシングデータに基づいて前記移動体の第3の自己位置を同定し、
同定された前記第3の自己位置の各成分について有効であるか否かを評価し、
前記第3の自己位置の各成分について有効であるか否かの評価結果と前記第3の自己位置と生成された前記移動体の自己位置とを用いて、前記移動体の最終的な自己位置を生成する
ことを情報処理装置が実行する情報処理方法。
【請求項5】
第2のセンシングデータに基づいて移動体の第2の自己位置を同定するステップと、
第1のセンシングデータに基づいて前記移動体の第1の自己位置を同定するステップと、
同定された前記第1の自己位置の各成分について有効であるか否かを評価するステップと、
前記評価の結果と前記第1の自己位置と前記第2の自己位置を用いて前記移動体の自己位置を生成するステップと、
第3のセンシングデータに基づいて前記移動体の第3の自己位置を同定するステップと、
同定された前記第3の自己位置の各成分について有効であるか否かを評価するステップと、
前記第3の自己位置の各成分について有効であるか否かの評価結果と前記第3の自己位置と生成された前記移動体の自己位置とを用いて、前記移動体の最終的な自己位置を生成するステップ
を含む処理を情報処理装置に実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、自動車やロボット等の移動体の自律走行に係る情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
自動車やロボット等の移動体の自律走行では、LiDAR(Light Detection and Ranging)等により取得される3次元点群を用いて、予め用意している地図とのマッチングを行ったり、3次元点群を用いてSLAM(Simultaneous Localization and Mapping)を行うことによって、自己位置同定を行うのが一般的である。
しかしながら、移動体が移動する環境が、顕著な特徴を有さない場合、正しくマッチングが行えず自己位置の同定ができないことがある。また、完全にマッチングが成立したにも関わらず誤った自己位置を同定することがある。
【0003】
特許文献1には、ロボットが移動する環境に特徴がない場合に生じる位置推定(位置同定)の精度が悪い状況に陥ることを防ぐためのロボットの自己位置推定方法が記載されている。
特許文献1に記載される発明では、シミュレーションにより、地図データの各ブロックに対応する、環境や地形に起因する自己位置推定のしやすさ(困難性)を示す自己位置推定容易性パラメータを算出し、ユーザに提示する。ユーザは、提示された自己位置推定容易性パラメータに基づいて、例えば特徴のない廊下等に障害物を設置し、自己位置推定が容易になるような行為を行う。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2012-141662号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1においては、自己位置同定の精度が悪くなる状況をリアルタイムにロボットが判断することができず、シミュレーション等によって事前に精度が悪くなる状況を想定する必要がある。
【0006】
以上のような事情に鑑み、本技術の目的は、移動体が移動する環境に特徴がない無特徴環境下においても継続して自己位置を生成することができる情報処理装置、情報処理方法、及びプログラムを提供する。
【課題を解決するための手段】
【0007】
本技術の一形態に係る情報処理装置は、第1自己位置同定部と、評価部とを具備する。
上記第1自己位置同定部は、第1のセンシングデータに基づいて移動体の第1の自己位置を同定する。
上記評価部は、同定された上記第1の自己位置の各成分について、有効であるか否かを評価する。
【0008】
このような構成によれば、同定された第1の自己位置の成分のうち有効なものを決定することができる。
【0009】
上記評価部によって有効であると評価された成分を採用して、上記移動体の最終的な自己位置を生成する自己位置生成部を更に具備してもよい。
【0010】
第1のセンシングデータとは異なる第2のセンシングデータに基づいて上記移動体の第2の自己位置を同定する第2自己位置同定部を更に具備し、上記自己位置生成部は、上記評価部によって有効でないと判断された成分を、上記第2自己位置同定部で同定された上記第2の自己位置の成分に置き換えて、上記移動体の最終的な自己位置を生成してもよい。
【0011】
上記第1のセンシングデータを出力する第1のセンサと、上記第2のセンシングデータを出力する第2のセンサとは異なってもよい。
上記第2のセンサは、上記第1のセンサよりも無特徴環境下におけるロバスト性が高くてもよい。
上記第2のセンサは、上記移動体に搭載される内界センサであってもよい。
上記第1のセンサは、上記移動体に搭載されるLiDAR(Light Detection and Ranging)であってもよい。
【0012】
上記第1自己位置同定部は、上記第1のセンシングデータである上記移動体の周囲環境の点群と、予め取得されているマッチング用の点群とのマッチング処理結果により、上記第1の自己位置を同定してもよい。
【0013】
上記評価部は、上記マッチング処理結果を用いて上記第1の自己位置の各成分について有効であるか否かを評価してもよい。
上記評価部は、有効でないと評価した成分は棄却してもよい。
【0014】
本技術の一形態に係る情報処理装置は、第1のモジュールと、第2のモジュールと、第3のモジュールと、自己位置生成部とを具備する。
上記第1のモジュールは、第1のセンシングデータに基づいて移動体の第1の自己位置を同定する第1自己位置同定部と、同定された上記第1の自己位置の各成分について有効であるか否かを評価する第1評価部と、を備える。
上記第2のモジュールは、第2のセンシングデータに基づいて上記移動体の第2の自己位置を同定する第2自己位置同定部を備える。
上記第3のモジュールは、第3のセンシングデータに基づいて上記移動体の第3の自己位置を同定する第3自己位置同定部と、同定された上記第3の自己位置の各成分について有効であるか否かを評価する第3評価部と、を備える。
上記自己位置生成部は、上記第1評価部及び上記第3評価部の評価結果と、上記第1の自己位置と、上記第2の自己位置と、上記第3の自己位置を用いて、上記移動体の最終的な自己位置を生成する。
【0015】
本技術の一形態に係る情報処理装置は、第2のモジュールと、第1のモジュールと、第3のモジュールとを具備する。
上記第2のモジュールは、第2のセンシングデータに基づいて移動体の第2の自己位置を同定する第2自己位置同定部を備える。
上記第1のモジュールは、第1のセンシングデータに基づいて上記移動体の第1の自己位置を同定する第1自己位置同定部と、同定された上記第1の自己位置の各成分について有効であるか否かを評価する第1評価部と、上記第1評価部の評価結果と上記第1の自己位置と上記第2の自己位置を用いて上記移動体の自己位置を生成する自己位置生成部と、を備える。
上記第3のモジュールは、第3のセンシングデータに基づいて上記移動体の第3の自己位置を同定する第3自己位置同定部と、同定された上記第3の自己位置の各成分について有効であるか否かを評価する第3評価部と、上記第3評価部の評価結果と上記第3の自己位置と上記第1のモジュールで生成された自己位置とを用いて、上記移動体の最終的な自己位置を生成する自己位置生成部と、を備える。
【0016】
上記第1のセンシングデータを出力する第1のセンサと、上記第2のセンシングデータを出力する第2のセンサと、上記第3のセンシングデータを出力する第3のセンサとは互いに異なってもよい。
上記第1のセンサは上記移動体に搭載されるLiDAR(Light Detection and Ranging)であり、上記第2のセンサは上記移動体に搭載される内界センサであり、上記第3のセンサは上記移動体に搭載されるカメラであってもよい。
【0017】
本技術の一形態に係る情報処理方法は、第1のセンシングデータに基づいて移動体の第1の自己位置を同定し、同定された上記第1の自己位置の各成分について、有効であるか否かを評価する。
【0018】
本技術の一形態に係るプログラムは、第1のセンシングデータに基づいて移動体の第1の自己位置を同定するステップと、同定された上記第1の自己位置の各成分について、有効であるか否かを評価するステップを含む処理を情報処理装置に実行させる。
【図面の簡単な説明】
【0019】
図1】本技術の第1の実施形態に係る情報処理装置の機能構成を示すブロック図である。
図2】上記情報処理装置を用いた自己位置同定方法(情報処理方法)を説明するフロー図である。
図3】移動体がおかれる環境例を説明する図である。
図4】移動体がおかれる環境例を説明する図である。
図5】マッチング対象の3次元点群の例を説明する図である。
図6】移動体に搭載されるLiDARにより観測された3次元点群の例を説明する図である。
図7図5に示すマッチング対象の3次元点群と図6に示す観測された3次元点群とのマッチングを説明する図である。
図8】第2の実施形態に係る情報処理装置の機能構成を示すブロック図である。
図9】第3の実施形態に係る情報処理装置の機能構成を示すブロック部である。
【発明を実施するための形態】
【0020】
本技術の情報処理装置では、環境の変化に対してロバスト性が異なる複数のセンサからのセンシングデータを用いて移動体の自己位置を同定するにあたり、移動体の周囲環境が加味されて、成分毎に、どのセンサからのセンシングデータを採用するかが決定される。
これにより、無特徴環境下に移動体がおかれても、継続して移動体の自己位置生成が可能となる。
以下、実施形態を用いて詳細を説明する。以下では、移動体として四輪車両(以下、単に車両と称する。)を例にあげる。自己位置同定を行う一連の処理を行う制御部は車両に設けられ、車両が情報処理装置として機能する。
【0021】
<第1の実施形態>
[車両(情報処理装置)の構成]
図1を参照して本技術の一実施形態に係る情報処理装置としての車両1について説明する。図1は、車両1の機能構成を示すブロック図である。
図1に示すように、車両1は、センサ群2と、制御部3と、モータ12と、を有する。
【0022】
制御部3は、後述する記憶部20に格納された各種プログラムにしたがって、車両1の自己位置を生成し、生成した自己位置を用いて車両1の動きを制御する。詳細については後述する。
【0023】
センサ群2は、車両1自体の状態(内界情報)及び車両1の周辺環境情報を取得する。
センサ群2は、内界センサ21と、LiDAR(Light Detection and Ranging)22といった反響定位法を用いたレーダ等を有する。
【0024】
第2のセンサとしての内界センサ21は、車両1自体の状態(内界情報)を得るためのセンサである。
内界センサ21には、慣性計測装置(Inertial Measurement Unit、略称:IMU)、車輪エンコーダ、ジャイロセンサ、加速度センサ等がある。ここでは、内界センサ21として、IMU、車輪エンコーダを例にあげて説明する。
第2のセンシングデータとしての車輪エンコーダの出力値には、車両1の移動方向、移動量、回転角度等の情報が含まれる。第2のセンシングデータとしてのIMUの出力値には、車両1の3次元の角速度、加速度等の情報が含まれる。
【0025】
第1のセンサとしてのLiDAR22は、車両1の周囲の環境情報を得るためのセンサであり、例えば全方位を検知可能に車両1に設置される。
LiDAR22は、例えば車両のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる。LiDAR22は、主として先行車両、歩行者又は障害物等の検出に用いられる。
車両1において、LiDAR22などの周囲を認識するセンサを利用して自車両周囲の環境に存在する車両、人物、壁といった物体(以下、地物と称する場合がある。)を検知することができる。LiDAR22ではレーザ光を用いて、自車両1から物体までの距離、方位等を検出することができる。検出には、パルス方式やFMCW(Frequency Modulated Continuous Wave)方式等が一般的に使われる。
第1のセンシングデータとしてのLiDAR22の出力値はレーザ光の反射波に係るデータであり、自車両1から物体までの距離情報を含む。例えば、車両1に搭載されるLiDARの出力値から、車両1の周囲にある壁などの地物の形状を3次元点群として観測し、物体検出することができる。
【0026】
内界センサ21は、LiDAR22よりも、自己位置同定精度は低いが、環境変化に対するロバスト性が高い。
内界センサ21から出力される第2のセンシングデータは、LiDAR22から出力される第1のセンシングデータよりも周囲の環境変化による変化が少ないデータである。その一方で、内界センサ21から出力される第2のセンシングデータは、走行距離に従って誤差が蓄積されるため、自己位置同定精度が低い。例えば長期間同じ環境で同じ動作を車両に実行させたい場合には、第2のセンシングデータだけでは自己位置同定に不十分となる。
【0027】
LiDAR22は、内界センサ21よりも自己位置同定精度は高いが、ロバスト性が低い。
LiDAR22は、一般に車外に搭載される。LiDAR22は、例えば雨や雪が降った場合、LiDAR22から出力されたレーザ光が雨粒や雪粒に反射し、観測したい対象物(地物)との距離を誤検出してしまうことがある。尚、LiDAR22を車内に搭載すると、レーザがガラスで減衰してしまうため、観測した対象物からの反射光を検出することが難しい。
このように、LiDAR22から得られるデータは、天候の影響等の環境の変化に影響されやすい。
更に、車両1が移動する環境が無特徴環境である場合、LiDAR22によって観測された3次元点群とマッチング対象の3次元点群とのマッチング処理により車両の自己位置同定をする際、マッチングが成立したにも関わらず、誤った自己位置同定がなされる場合がある。このように、LiDAR22は、無特徴環境下におけるロバスト性が内界センサ21よりも低い。
【0028】
以下、無特徴環境下において、マッチングが成立したにも関わらず、誤った自己位置同定がなされる例を図5~7を用いて説明する。
図5~7は、特徴がある環境下と特徴が少ない環境下それぞれでの自己位置同定について説明する模式図である。図5~7は、いずれも道路を上方からみた図に相当する。
尚、本明細書において、水平面をXY平面とする。X軸とY軸及びZ軸は相互に直交する。
図5~7に示す例では、車両の走行方向は図上左から右にむかう方向であり、正方向のX軸に対応する。以下で説明する「左右」は車両が走行方向を向いたときの左右に対応する。
【0029】
ここで、車両の自己位置同定は、LiDARで観測された3次元点群と予め準備したマッチング対象の3次元点群とをマッチング処理することにより行われる。尚、SLAM蓄積結果を用いて自己位置を同定してもよい。この場合、過去に自己位置を検出できた位置を基点に、現在取得できている点群の位置や姿勢を変更しながらマッチングをとっていく。そして、最終的に、マッチングの一致度が予め定められた閾値を上回った位置を自己位置として同定する。
自己位置同定において、複数の箇所でマッチングが成立する様な環境では、高いマッチング率で結果が取得できたにもかかわらず、自己位置が誤っているという事態が発生する場合がある。
【0030】
図5(A)及び(B)は、予め取得し準備したマッチング対象の3次元点群、又は、過去に自己位置を検出できたときのマッチング対象の3次元点群を示す。
図5(A)は、道路84の形状が直線状でなく、道路84の両側にある左右の壁62、63がそれぞれ曲がった形状を有する、特徴がある環境を示す。左側の壁62を示すマッチング対象の3次元点群に符号36を付し、右側の壁63を示すマッチング対象の3次元点群に符号37を付す。マッチング対象の3次元点群は、車両が位置50に位置した場合に取得される点群である。
図5(B)は、道路85の形状が直線状で、道路85の両側にある左右の壁64、65が直線状に延在して平行に位置する、特徴の少ない環境下を示す。左側の壁64を示すマッチング対象の3次元点群に符号38を付し、右側の壁65を示すマッチング対象の3次元点群に符号39を付す。マッチング対象の3次元点群は、車両が位置50に位置した場合に取得される点群である。
図5において、符号50は、予め取得されている自己位置、又は、過去に同定できた自己位置を示す。尚、本実施形態では、マッチング用の3次元点群を含む地図が予め取得され地図DB(データベース)11に格納されている例をあげて説明する。
【0031】
図6(A)は、図5(A)に示す道路84を走行した車両1に搭載されるLiDAR22で観測された3次元点群51、52を示す。図6(A)に示す例では、左側に位置する3次元点群51は直線状を有し、右側に位置する3次元点群52は曲がった形状を有している。
図6(B)は、図5(B)に示す道路85を走行した車両1に搭載されるLiDAR22で観測された3次元点群53、54を示す。図6(B)に示す例では、左側に位置する3次元点群53及び右側に位置する3次元点群54は、いずれも直線形状を有している。
尚、図5に示すマッチング処理時にマッチングの対象となる3次元点群を「マッチング対象の3次元点群」と称するのに対し、車両1に搭載されるLiDAR22が取得する3次元点群を「観測された3次元点群」と称して説明する場合がある。
【0032】
図7(A)は、図5(A)及び図6(A)それぞれに示されるマッチング対象の3次元点群と観測された3次元点群をマッチングした結果を示す。図7(B)は、図5(B)及び図6(B)それぞれに示されるマッチング対象の3次元点群と観測された3次元点群をマッチングした結果を示す。
図7(A)及び(B)において、マッチング対象の3次元点群36~39を細実線、観測された点群51~54を太実線で表している。太実線が位置する箇所では、細実線が重なっており、細実線は図上現れていない。図7(B)において、車両の走行方向と道路85の延在方向は平行となっており、仮想の破線60は道路85の延在する方向と平行となっている。
【0033】
図7(A)に示すように、特徴のある環境下では、マッチングする座標が一箇所に定まるため、車両1の自己位置が正しく同定され得る。
【0034】
一方、図7(B)に示すように、特徴の少ない環境下では、破線60上に位置する互いに位置が異なる車両1aも車両1bにおいてもマッチングすることになる。図7(B)に示す例では、破線60上に位置する車両は全て完全にマッチングする結果となり、マッチングする座標が一箇所に定まらない。そのため、車両1が前進しているのにもかかわらず停止していると誤検出されたり、停止しているのに前進していると誤検出される場合がある。このように、マッチング処理時に高いマッチング率で結果が取得できたにもかかわらず、誤った自己位置同定がなされることがある。
尚、明細書において、「無特徴環境」とは、図7(B)に示す例のようなマッチング処理で座標が1カ所に定まらず、複数の箇所でマッチングが成立する様な環境をいう。
【0035】
これに対し、本技術では、車両1の周囲環境が加味されて、自己位置の成分毎に、どのセンサからのセンシングデータを採用するかが決定されて、車両1の最終的な自己位置が生成される。
具体的には、図7(B)に示す例では、車両の最終的な自己位置を同定するにあたり、マッチング処理ではX軸成分における解が複数存在することになるが、Y軸成分及びヨー軸回転成分は一意に定まる。
このよう場合では、LiDAR22の出力を基に同定された第1の自己位置のY軸成分及びヨー軸回転成分については、有効であるとして、最終的な自己位置のY軸成分及びヨー軸回転成分として採用する。
一方、LiDAR22の出力を基に同定された第1の自己位置のX軸成分については、無効であるとして、最終的な自己位置のX軸成分としては採用せず、棄却する。そして、最終的な自己位置のX軸成分として、LiDAR22とは異なる他のセンサである内界センサ21の出力を基に同定された第2の自己位置のX軸成分を採用し、最終的な車両1の自己位置を生成する。
詳細については後述する。
【0036】
モータ12は、車両1の車輪を駆動する駆動部である。モータ12は、モータ制御部10で生成された制御信号に基づいて駆動する。
【0037】
(制御部の構成)
図1に示すように、制御部3は、データ取得部4と、第1自己位置同定部5と、第2自己位置同定部6と、LiDAR自己位置同定評価部7と、自己位置生成部73と、障害物検出部8と、行動計画部9と、モータ制御部10と、地図DB11と、記憶部20と、を有する。
【0038】
データ取得部4は、内界センサ21から出力された第2のセンシングデータと、LiDAR22から出力された第1のセンシングデータと、を取得する。
取得された第1のセンシングデータ(LiDARから出力されたデータ)は、第1自己位置同定部5へ出力される。
取得された第2のセンシングデータ(内界センサから出力されたデータ)は、第2自己位置同定部6へ出力される。
【0039】
第2自己位置同定部6は、データ取得部4で取得された第2のセンシングデータ(内界センサから出力されたデータ)に基づいて車両1の第2の自己位置を同定する。第2の自己位置の同定結果は、自己位置生成部73へ出力される。
【0040】
第1自己位置同定部5は、データ取得部4で取得された第1のセンシングデータ(LiDARから出力されたデータ)に基づいて車両1の第1の自己位置を同定する。
より詳細には、上記で図5~7を用いて説明したように、第1自己位置同定部5は、LiDAR22で観測された3次元点群と、地図DB11に格納されているマッチング対象の3次元点群とを、探索領域内で網羅的にマッチング処理して、車両1の第1の自己位置を同定する。
マッチング処理結果及び第1の自己位置の情報は、LiDAR自己位置同定評価部7に出力される。
【0041】
第1の自己位置及び第2の自己位置には、位置情報に係るX軸成分、Y軸成分、Z軸成分の他、姿勢情報に係るロール(roll)軸回転成分、ピッチ(pitch)軸回転成分、ヨー(yaw)軸回転成分等が含まれる。
尚、地上を走行する車両において、位置情報として主にX軸成分、Y軸成分を用い、姿勢情報として主にヨー軸回転成分を用いて、2次元的に自己位置を表してもよい。
第1自己位置同定部5及び第2自己位置同定部6では、それぞれ、異なるセンサ毎に出力されたセンシングデータを用いて車両1の自己位置が同定される。
【0042】
評価部としてのLiDAR自己位置同定評価部7は、第1自己位置同定部5で車両1の第1の自己位置を同定するにあたり行われたマッチング処理結果に基づいて、第1の自己位置の成分を、成分毎に有効か否かを評価する。詳細については後述する。
【0043】
自己位置生成部73は、LiDAR自己位置同定評価部7の評価結果に基づいて、最終的な車両1の自己位置を生成する。
自己位置生成部73は、LiDAR自己位置同定評価部7の後述するマッチング結果成分分析部72で有効と評価された第1の自己位置の成分を、車両1の最終的な自己位置の成分として採用する。
自己位置生成部73は、LiDAR自己位置同定評価部7のマッチング結果成分分析部72で無効と評価された成分を棄却し、内界センサ21から出力された第2のセンシングデータに基づいて同定された第2の自己位置の成分を車両1の最終的な自己位置の成分として採用する。
マッチング自体が成立しなかった場合、車両1の最終的な自己位置は、第2の自己位置と同じとなる。
【0044】
障害物検出部8は、データ取得部4で取得されたセンシングデータを用いて、車両1の周辺の障害物情報を取得する。
行動計画部9は、自己位置生成部73で生成された車両1の最終的な自己位置と、地図DB11に格納されている地図を用いてグローバルパスを生成する。更に、行動計画部9は、このグローバルパスと障害物検出部8で取得した障害物情報を用いて車両1の目標移動経路(ローカルパス)を生成する。
【0045】
モータ制御部10は、行動計画部9で生成された目標移動経路に基づいてモータ12の制御信号を生成する。
図DB11は、第1自己位置同定部5で実行されるマッチング処理に用いられるマッチング対象の3次元点群を含む地図を格納する。
記憶部20は、最終的な自己位置を生成する一連のプログラムを含む各種プログラムを格納する。
【0046】
(自己位置同定評価部の構成)
図1に示すように、LiDAR自己位置同定評価部7は、高マッチング箇所抽出部71と、マッチング結果成分分析部72と、を有する。
【0047】
高マッチング箇所抽出部71は、第1自己位置同定部5で実行されたマッチング処理の結果を用いて、高いマッチング率を示した箇所、すなわち、高マッチング箇所を抽出する。
具体的には、高マッチング箇所抽出部71では、例えば、複数箇所でマッチングされた結果が取得され、この複数箇所から閾値以上のマッチング率を示す箇所(高マッチング箇所)が抽出される。閾値は、予め設定される。
尚、例えば、図3(A)に示すように、車両1の周囲にLiDAR22で検出できる地物が存在しないような環境では、マッチング処理が成立せず、マッチングされた箇所は0となる。
【0048】
マッチング結果成分分析部72は、高マッチング箇所抽出部71で抽出された高マッチング箇所が複数存在している場合、第1の自己位置のX軸成分、Y軸成分、Z軸成分、ロール軸回転成分、ピッチ軸回転成分、及び、ヨー軸回転成分の成分毎に、有効か否かを評価する。
有効と評価された第1の自己位置の成分は、後段の自己位置生成部73の最終的な自己位置の生成時に採用される。
有効でない(無効)と評価された第1の自己位置の成分は、棄却され、後段の自己位置生成部73の最終的な自己位置の生成時には採用されない。代わりとして、第2の自己位置の成分が、最終的な自己位置の成分として採用される。
【0049】
各成分が有効か否かの評価には、例えば分散を用いることができる。成分の有効か否かの評価では、評価対象の成分が一意に定まるかが判定される。
分散を用いて評価する場合、マッチング結果成分分析部72は、抽出された複数の高マッチング箇所について、X軸成分、Y軸成分、Z軸成分、ロール軸回転成分、ピッチ軸回転成分、ヨー軸回転成分の成分毎に、分散を算出する。
マッチング結果成分分析部72は、分散が予め設定された閾値未満である場合、その成分は有効であると評価する。一方、分散が閾値以上である場合、その成分は無効であると評価する。
分散の算出には一般的な分散式を用いることができる。
また、各成分において、ある所定の範囲内に、抽出された複数の高マッチング箇所が全て存在するか否かで、有効か無効かを評価してもよい。例えば、抽出された複数の高マッチング箇所のうちの1つの高マッチング箇所から所定の範囲内に、他の全ての高マッチング箇所が含まれるか否かによって有効か否かを評価してもよい。
【0050】
マッチング結果が0でマッチング自体が成立しなかった場合、マッチング結果成分分析部72は、有効な成分はないと評価する。
【0051】
このように、LiDAR22の出力に基づいて推定された第1の自己位置の各成分を、マッチング処理結果を用いてその有効性を評価することにより、自己位置同定の精度が悪くなる無特徴環境をリアルタイムに判断することができる。従って、シミュレーション等によって事前に精度が悪くなる状況を想定する必要がない。
また、例えば、同じ無特徴環境であっても、環境に応じて有効な成分が異なる場合がある。本技術では、成分毎に第1の自己位置の成分の有効性が評価され、有効な成分においては、第2の自己位置よりも精度の高い第1の自己位置の成分が採用されて最終的な自己位置が生成される。これにより、無特徴環境下であっても、比較的精度が高い自己位置を生成することができ、環境が変化しても継続した車両の自己位置生成が可能となる。
【0052】
尚、高精度のマッチングが行われていないと判定される場合は、車両1の運転者にエラーを通知し、例えば、自己位置生成に関する処理を停止し、自己位置同定に基づく自律走行システムを停止するようにしてもよい。
【0053】
[自己位置生成例]
次に具体的な環境例をあげ、自己位置生成例について説明する。
図3及び4は、車両1がおかれる様々な環境例を説明する模式図であり、いずれも車両1を上方からみたときの図に相当する。
【0054】
(第1例)
上述したように、図3(A)に示す、車両1の周囲にLiDAR22で観測できる地物が存在しない環境例では、マッチング処理が成立せず、マッチングされた箇所は0となる。
このような周囲に地物が乏しく、マッチングするほどの点群が得られない無特徴環境例では、マッチング自体が成立しないため、有効成分はないと判定される。
この場合、車両1の最終的な自己位置の全ての成分に、内界センサ21からの第2のセンシングデータを用いて同定された第2の自己位置の成分が採用される。
【0055】
(第2例)
図3(B)は車両1の周囲に車両13A~13Hが位置する例である。このような環境例では、車両1に搭載されるLiDAR22から出力される第1のセンシングデータとして周囲の車両13A~13Hの一部を示す3次元点群(観測された3次元点群)14A~14Hが得られる。しかし、マッチング対象の点群を示す箇所にLiDAR22から照射されるレーザ光が届かない場合がある。このような環境は、自己位置同定のマッチング処理に用いるためのLiDAR22で観測できる地物が存在しない無特徴環境となり得る。
このような、周囲を動物体に囲まれ、自己位置を同定するに十分な静的な地物がLiDAR22によって観測できない環境例では、マッチング自体が成立しないため、有効成分はないと判定される。
この場合、車両1の最終的な自己位置の全ての成分に、内界センサ21からの第2のセンシングデータを用いて同定された第2の自己位置の成分が採用される。
【0056】
(第3例)
図3(C)は、ロータリー交差点を上方からみた部分模式図である。図3(C)は、ロータリー交差点の中心の円形状を有する島15に沿って車両1が曲がって走行している例であり、LiDAR22が観測できる地物が少ない環境の例である。符号16は車両1のLiDAR22が観測した3次元点群を示す。
【0057】
図3(C)に示す例では、LiDAR22からの第1のセンシングデータに基づいて車両1の自己位置を同定したとき、マッチング処理で、島15のカーブ部分と平行に沿った線上に位置する車両1の他、破線で示す車両17の位置においてもマッチングすることになる。このように、観測された3次元点群とマッチング対象の3次元点群とのマッチングが複数の箇所で高いマッチング率となる場合がある。
この例では、車両1の自己位置を同定するにあたり、マッチング処理ではX軸成分、Y軸成分、ヨー軸回転成分それぞれにおいて解が複数存在することになり、マッチング結果成分分析部72では、分散が閾値以上となって、これらの成分は無効と評価される。そして、自己位置生成部73により、車両1の最終的な自己位置のX軸成分、Y軸成分、ヨー軸回転成分として、内界センサ21の出力に基づいて同定された第2の自己位置のX軸成分、Y軸成分、ヨー軸回転成分が採用される。
【0058】
尚、3次元的に自己位置を推定する場合であってLiDAR22が地面を観測することが可能な環境では、ロール軸回転成分、ピッチ軸回転成分は一意に定まるため、マッチング結果成分分析部72では、分散が閾値未満となって、有効であると評価される。そして、自己位置生成部73により、最終的な自己位置のロール軸回転成分及びピッチ軸回転成分として、第1の自己位置のロール軸回転成分及びピッチ軸回転成分が採用されてもよい。
【0059】
(第4例)
図4(A)は、道路85の形状が直線状で、道路85の両側にある左右の壁64、65が直線状に互いに平行して延在して位置する環境例である。道路85が延在する方向と車両1の走行方向とが平行になっている例を示す。車両1の進行方向に対する左側の壁64を示すマッチング対象の点群に符号38を付し、右側の壁65を示すマッチング対象の点群に符号39を付す。図中、太線は車両1に搭載されるLiDAR22によって観測された3次元点群53及び54を示す。
【0060】
図4(A)に示す例では、マッチング対象となる地物である壁64、65が十分に存在するが、その形状が車両1の進行方向に対して一様となっている。
図4(A)に示す例では、LiDAR22からの第1のセンシングデータに基づいて車両1の第1の自己位置を同定したとき、マッチング処理で、壁64、65に平行に沿った線上に位置する車両1の他、破線で示す車両18の位置においてもマッチングすることになる。従って、観測された3次元点群とマッチング対象の3次元点群とのマッチングが、進行方向に沿って複数の箇所で高いマッチング率となる。
この例では、マッチング処理を用いて車両1の第1の自己位置を同定する際、マッチング処理ではX軸成分において解が複数存在することになり、マッチング結果成分分析部72では、分散が閾値以上となって、X軸成分は無効と評価される。一方、一意に定まるY軸成分及びヨー軸回転成分は、マッチング結果成分分析部72では分散が閾値未満となって、有効と評価される。そして、自己位置生成部73により、車両1の最終的な自己位置のX軸成分には、内界センサ21の出力に基づいて同定された第2の自己位置の成分が採用される。Y軸成分及びヨー軸回転成分には、LiDAR22の出力に基づいて同定された第1の自己位置の成分が採用される。
【0061】
尚、3次元的に自己位置を推定する場合であってLiDAR22が地面を観測することが可能な環境では、ロール軸回転成分、ピッチ軸回転成分は一意に定まるため、マッチング結果成分分析部72では、分散が閾値未満となって、有効であると評価される。そして、自己位置生成部73により、最終的な自己位置のロール軸回転成分及びピッチ軸回転成分として、第1の自己位置のロール軸回転成分及びピッチ軸回転成分が採用されてもよい。
【0062】
(第5例)
図4(B)は、十字路74を上方からみた模式図であり、マッチング対象となる地物となる壁32~35が十分に存在するが、その形状が十字路74の中心からみてヨー方向に対して繰り返しパターンとなっている環境例である。図4(B)において、太線42~45は、それぞれ車両1に搭載されるLiDAR22によって観測された3次元点群を示す。
【0063】
図4(B)に示す例では、LiDAR22からの第1のセンシングデータに基づいて車両1の第1の自己位置を同定する際、マッチング処理で、車両1の他、破線で示す、負のX軸方向、正のY軸方向、負のY軸方向それぞれに向く車両19の位置においてもマッチングする。この場合、ヨー軸回転方向において4箇所で高いマッチング率となる。
したがって、第1の自己位置のヨー軸回転成分は、マッチング結果成分分析部72では、分散が閾値以上となって、無効と評価される。一方、X軸成分及びY軸成分は一意に定まるため、マッチング結果成分分析部72では、分散が閾値未満となって、有効と評価される。そして、自己位置生成部73により、車両1の最終的な自己位置のヨー軸回転成分は、内界センサ21の出力に基づいて同定された第2の自己位置のヨー軸回転成分が採用される。X軸成分及びY軸成分は、LiDAR22の出力に基づいて同定された第1の自己位置のX軸成分及びY軸成分が採用される。
【0064】
尚、3次元的に自己位置を生成する場合であってLiDAR22が地面を観測することが可能な環境では、ロール軸回転成分、ピッチ軸回転成分は一意に定まるため、マッチング結果成分分析部72では、分散が閾値未満となって、有効であると評価される。そして、自己位置生成部73により、最終的な自己位置のロール軸回転成分及びピッチ軸回転成分として、第1の自己位置のロール軸回転成分及びピッチ軸回転成分が採用されてもよい。
【0065】
[自己位置生成方法]
次に図2のフローに従って情報処理方法としての自己位置生成方法について説明する。
自己位置生成処理が開始されると、データ取得部4により、内界センサ21から出力された第2のセンシングデータと、LiDAR22から出力された第1のセンシングデータが取得される(S1)。第2のセンシングデータは第2自己位置同定部6へ出力される。第1のセンシングデータは第1自己位置同定部5へ出力される。
【0066】
次に、第2自己位置同定部6により、第2のセンシングデータに基づいて車両1の第2の自己位置が同定される(S2)。第2の自己位置の情報は、LiDAR自己位置同定評価部7へ出力される。
【0067】
次に、第1自己位置同定部5により、第1のセンシングデータである観測された3次元点群と地図DB11に格納されているマッチング対象の3次元点群とがマッチング処理され、車両1の第1の自己位置が同定される(S3)。マッチング処理結果及び第1の自己位置の情報は、LiDAR自己位置同定評価部7へ出力される。
【0068】
次に、LiDAR自己位置同定評価部7により、マッチング処理結果に基づいて高マッチング箇所が抽出される。更に、複数の高マッチング箇所が抽出される場合、LiDAR自己位置同定評価部7により、抽出された複数の高マッチング箇所において、成分毎に有効か否かが評価される(S4)。
【0069】
次に、自己位置生成部73により、成分毎の有効評結果に基づいて、車両1の最終的な自己位置が生成される(S5)。すなわち、有効と評価された成分については第1の自己位置の成分が採用され、無効と評価された成分については第2の自己位置の成分が採用されて、車両1の最終的な自己位置が生成される。
【0070】
次に、自己位置生成部73により、生成された最終的な自己位置は行動計画部9に出力される(S6)。
【0071】
このように、車両1の最終的な自己位置を生成するにあたり、車両1がおかれる環境が加味されて、ロバスト性が異なる内界センサ21とLiDAR22それぞれから出力されるセンシングデータを用いて同定された第2の自己位置、第1の自己位置のうちどの自己位置の成分を採用するかが成分毎に決定される。
これにより、無特徴空間においても自己位置を継続して生成することが可能となる。
【0072】
<第2実施形態>
本実施形態では、センサとしてカメラを更に用いて自己位置同定をする場合を例にあげ、図8を用いて説明する。第1実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。図8は、本実施形態における車両81の機能構成を示すブロック図である。
【0073】
図8に示すように、車両81は、センサ群82と、制御部83と、モータ12と、を有する。
センサ群82は、内界センサ21と、LiDAR22と、ステレオカメラ(以下、カメラと称する。)23等を有する。
制御部83は、記憶部20に格納された各種プログラムにしたがって、車両81の自己位置を同定し、車両81の動きを制御する。詳細については後述する。
【0074】
第3のセンサとしてのカメラ23は、車両81の周囲の環境情報を得るための周囲認識センサである。カメラ23は、例えば全方位を検知可能に車両81に設置される。カメラ23は周囲情報となる第3のセンシングデータとしての画像データを取得する。
【0075】
カメラ23は、例えば車両のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられるカメラ及び車室内のフロントガラスの上部に備えられるカメラは、主として車両の前方の画像を取得する。サイドミラーに備えられるカメラは、主として車両の側方の画像を取得する。リアバンパ又はバックドアに備えられるカメラは、主として車両の後方の画像を取得する。車室内のフロントガラスの上部に備えられるカメラは、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
カメラ23から得られる画像データを用いて主に物体検出が行われる。カメラ23で取得された画像データと、後述する地図DB86に予め格納されているマッチング用の画像データとをマッチング処理して車両81の第3の自己位置を同定することができる。
【0076】
本実施形態では、車両81の最終的な自己位置を生成するにあたり、内界センサ21と、LiDAR22と、カメラ23それぞれで取得されるセンシングデータが用いられる。本実施形態では、車両1の最終的な自己位置が生成される際、車両81がおかれる環境が加味されて、ロバスト性が異なる内界センサ21、LiDAR22、カメラ23それぞれのセンシングデータを用いて同定された第2の自己位置、第1の自己位置、第3の自己位置のうちどの自己位置の成分を採用するかが成分毎に決定される。
【0077】
図8において、内界センサ21から出力される第2のセンシングデータを用いて第2の自己位置を同定する第2自己位置同定部6を含むモジュールを第2のモジュールBと称する。
LiDAR22から出力される第1のセンシングデータを用いて第1の自己位置を同定する第1自己位置同定部5と、第1評価部としてのLiDAR自己位置同定評価部7と、自己位置生成部73とを含むモジュールを第1のモジュールAと称する。
カメラ23から出力される第3のセンシングデータを用いて第3の自己位置を同定する第3自己位置同定部88と、第3評価部としてのカメラ自己位置同定評価部89と、自己位置生成部893とを用いて含むモジュールを第3のモジュールCと称する。
【0078】
第2のモジュールBでは第2の自己位置が同定される。
第2のモジュールBで同定された第2の自己位置の情報は、第1のモジュールAへ出力される。
【0079】
第1のモジュールAでは第1のセンシングデータを用いたマッチング処理により第1の自己位置が同定される。更に、第1のモジュールAでは、マッチング処理結果に基づいて、第1の自己位置の成分が成分毎に有効か否かが評価され、当該評価結果と、第1の自己位置の情報と、第2の自己位置の情報とが用いられて、自己位置が生成される。
第1のモジュールAで生成された自己位置の情報は、第3のモジュールCへ出力される。
【0080】
第3のモジュールCでは第3のセンシングデータを用いたマッチング処理により第3の自己位置が同定される。更に、第3のモジュールCでは、マッチング処理結果に基づいて、第3の自己位置の成分が成分毎に有効か否かが評価され、当該評価結果と、第3の自己位置の情報と、第1のモジュールAで生成された自己位置の情報とを用いて、最終的な自己位置が生成される。
【0081】
このように、互いに精度が異なる自己位置同定結果が算出される複数のモジュールを多段に構成し、その有効成分を利用して最終的な自己位置を生成してもよい。本実施形態では、第2のモジュールB、第1のモジュールA、第3のモジュールCの順番でこれらモジュールは直列に並んでいる。
【0082】
最上段に位置する第2のモジュールBにおいては、自己位置同定精度は低いがロバスト性の高い内界センサ21である車輪エンコーダとIMUから出力される第2のセンシングデータが用いられる。
内界センサ21から出力されるセンシングデータは、環境変化に影響されにくく、無特徴空間化でもロバスト性が高い。その一方で、累積誤差が生じる。
【0083】
中段に位置する第1のモジュールAにおいては、自己位置同定精度もロバスト性も中程度のLiDAR22から出力される第1のセンシングデータが用いられる。上述したように、LiDAR22は、精度が内界センサよりも高いが、無特徴環境下ではロバスト性が低く、また、天候等の影響を受けやすく、環境変化に対するロバスト性が内界センサよりも低い。
【0084】
最下段に位置する第3のモジュールCにおいては、自己位置同定精度は高いが、特定の環境条件下でしか利用できないカメラ23から出力される第3のセンシングデータが用いられる。カメラ23は、無特徴環境下ではロバスト性が低くなる。
第3のセンシングデータとしての画像データを用いたマッチング処理では、カメラ23で観測された画像データと、予め地図上に登録されたマッチング対象の画像データとの間で画像特徴同士のマッチング度を評価し対応づけが行われる。
従って、画像データを用いた自己位置同定において、車両81の周囲環境にマッチング対象となる特徴的な地物が十分に存在する場合、精度の高い自己位置同定が可能となる。一方、無特徴環境下では、自己位置同定精度が低くなる。特徴的な地物が存在するという特定の環境条件下において、カメラ23は、天候の影響を受けにくいため、LiDAR22よりもロバスト性の高い観測が可能なセンサである。
【0085】
このように、本実施形態では、後段に進むほど用いるセンシングデータの精度が高くなるようモジュールを設けて制御部を構成している。
このような構成では、第3のモジュールCにおいて同定された第3の自己位置のうち無効と評価された成分については、第1のモジュールAにおいて生成された自己位置の成分が最終的な自己位置の成分として採用される。
第1のモジュールAでは、第1のモジュールAにおいて同定された第1の自己位置のうち有効と評価された成分が採用され、無効と評価された成分には第2の自己位置の成分が採用されて自己位置が生成される。
したがって、第1のモジュールA及び第3のモジュールCのいずれにおいても無効と評価された成分については第2の自己位置の成分が最終的な自己位置の成分として採用されることになる。
このように、最上段には、無特徴環境下においてロバスト性が高いモジュールが位置することが好ましい。
【0086】
図8に示すように、制御部83は、データ取得部4と、第1自己位置同定部5と、第2自己位置同定部6と、第1評価部としてのLiDAR自己位置同定評価部7と、自己位置生成部73と、障害物検出部8と、行動計画部9と、モータ制御部10と、記憶部20と、地図DB86と、第3自己位置同定部88と、第3評価部としてのカメラ自己位置同定評価部89と、自己位置生成部893と、を有する。
【0087】
データ取得部4は、内界センサ21から出力される第2のセンシングデータと、LiDAR22から出力される第1のセンシングデータと、カメラ23から出力される第3のセンシングデータと、を取得する。
取得された第1のセンシングデータ(LiDARから出力されたデータ)は、第1自己位置同定部5へ出力される。
取得された第2のセンシングデータ(内界センサから出力されたデータ)は、第2自己位置同定部6へ出力される。
取得された第3のセンシングデータ(カメラから出力されたデータ)は、第3自己位置同定部88へ出力される。以下、第3のセンシングデータを、観測された画像データと称する場合がある。
【0088】
図DB86は、第1自己位置同定部5で実行されるマッチング処理に用いられるマッチング対象の3次元点群と、第3自己位置同定部88で実行されるマッチング処理に用いられるマッチング対象の画像データとを含む地図を格納する。
【0089】
第3自己位置同定部88は、データ取得部4で取得された第3のセンシングデータ(カメラから出力されたデータ)に基づいて車両81の第3の自己位置を同定する。
具体的には、第3自己位置同定部88は、観測された画像データと、地図DB86に格納されているマッチング対象の画像データとを、探索領域内で網羅的にマッチング処理して、車両81の第3の自己位置を同定する。
マッチング処理結果及び第3の自己位置の情報は、カメラ自己位置同定評価部89へ出力される。
【0090】
第3の自己位置には、位置情報に係るX軸成分、Y軸成分、Z軸成分の他、姿勢情報に係るロール軸回転成分、ピッチ軸回転成分、ヨー軸回転成分等が含まれる。
第1自己位置同定部5、第2自己位置同定部6及び第3自己位置同定部88では、それぞれ、異なるセンサ毎に出力されたセンシングデータを用いて、車両81の自己位置が同定される。
【0091】
カメラ自己位置同定評価部89は、第3自己位置同定部88で第3の自己位置を同定するにあたり行われたマッチング処理結果に基づいて、第3の自己位置の成分を、成分毎に有効か否かを評価する。
【0092】
カメラ自己位置同定評価部89は、高マッチング箇所抽出部891と、マッチング結果成分分析部892と、を有する。
【0093】
高マッチング箇所抽出部891は、第3自己位置同定部88で実行されたマッチング処理結果を用いて、高いマッチング率を示した箇所、すなわち、高マッチング箇所を抽出する。
具体的には、高マッチング箇所抽出部891では、例えば、複数箇所でマッチングされた結果が取得され、この複数箇所から閾値以上のマッチング率を示す箇所(高マッチング箇所)が抽出される。閾値は、予め設定される。
尚、例えば、車両81の周囲に特徴的な地物が存在しないような場合、マッチング処理が成立せず、マッチングされた箇所は0となる。
【0094】
マッチング結果成分分析部892は、高マッチング箇所抽出部891で抽出された高マッチング箇所が複数存在している場合、第3の自己位置のX軸成分、Y軸成分、Z軸成分、ロール軸回転成分、ピッチ軸回転成分、ヨー軸回転成分の成分毎に、有効か否かを評価する。
有効と評価された第3の自己位置の成分は、後段の自己位置生成部893の自己位置生成時に採用される。
有効でない(無効)と評価された第3の自己位置の成分は、その成分は棄却され、後段の自己位置生成部893の自己位置生成時には採用されない。代わりとして、第1のモジュールAで生成された自己位置の成分が、最終的な自己位置の成分として採用される。
各成分が有効か否かの評価は、第1実施形態で示した手法を用いることができる。
【0095】
マッチング結果が0でマッチング自体が成立しなかった場合、マッチング結果成分分析部892は、有効な成分はないと評価する。
【0096】
自己位置生成部893は、マッチング結果成分分析部892の評価結果に基づいて、車両81の最終的な自己位置を生成する。
自己位置生成部893は、マッチング結果成分分析部892で有効と評価された第3の自己位置の成分については、車両81の最終的な自己位置の成分として採用する。
自己位置生成部893は、マッチング結果成分分析部892で無効と評価された第3の自己位置の成分については棄却し、第1のモジュールAで生成された自己位置の成分を車両81の最終的な自己位置の成分として採用する。
以上のように最終的な自己位置が生成される。生成された自己位置は、行動計画部9に出力される。
【0097】
このように、車両81の最終的な自己位置を生成するにあたり、車両81がおかれる環境が加味されて、ロバスト性が異なる内界センサ21、LiDAR22及びカメラ23それぞれのセンシングデータを用いて同定された第2の自己位置、第1の自己位置、第3の自己位置のうちどの自己位置の成分を採用するかが成分毎に決定される。
これにより、無特徴空間においても自己位置を継続して生成することが可能となる。
【0098】
<第3実施形態>
本実施形態では、第2実施形態と同様に、センサとしてカメラを更に用いて自己位置同定をする場合を例にあげる。図9を用いて説明する。第2実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。本実施形態では、第2実施形態と異なる構成を中心に説明する。
図9は、本実施形態における車両91の機能構成を示すブロック図である。
【0099】
第2の実施形態では、第2のモジュールB、第1のモジュールA、第3のモジュールCが直列に並んで構成される例をあげたが、図9に示すように、これらのモジュールを並列に並べてもよい。
第2の実施形態では、第1のモジュールA及び第3のモジュールCそれぞれに自己位置生成部を設けていたが、本実施形態では、各モジュールに自己位置生成部を設けていない。本実施形態では、各モジュールとは別に自己位置生成部96を設けている。
自己位置生成部96へは、第1のモジュールAで同定された第1の自己位置の情報及び第1の自己位置同定で用いられたマッチング処理結果、第2のモジュールBで同定された第2の自己位置の情報、第3のモジュールCで同定された第3の自己位置の情報及び第3の自己位置同定で用いられたマッチング処理結果が出力される。
【0100】
図9に示すように、車両91は、センサ群82と、制御部93と、モータ12と、を有する。
センサ群82は、内界センサ21と、LiDAR22と、カメラ23等を有する。
制御部93は、記憶部20に格納された各種プログラムにしたがって、車両91の自己位置を同定し、車両91の動きを制御する。
【0101】
本実施形態においても、第2実施形態と同様に、最終的な自己位置を生成するにあたり、車両91がおかれる環境が加味されて、ロバスト性が異なる内界センサ21、LiDAR22、カメラ23それぞれのセンシングデータを用いて同定された第2の自己位置、第1の自己位置、第3の自己位置のうちどの自己位置の成分を採用するかが成分毎に決定される。
これにより、無特徴空間においても自己位置を継続して生成することが可能となる。
【0102】
図9において、内界センサ21から出力される第2のセンシングデータを用いて自己位置を同定する第2自己位置同定部6を含むモジュールを第2のモジュールBと称する。
LiDAR22から出力される第1のセンシングデータを用いて第1の自己位置を同定する第1自己位置同定部5とLiDAR自己位置同定評価部7を含むモジュールを第1のモジュールAと称する。
カメラ23から出力される第3のセンシングデータを用いて第3の自己位置を同定する第3自己位置同定部88とカメラ自己位置同定評価部89を含むモジュールを第3のモジュールCと称する。
【0103】
制御部93は、データ取得部4と、第1自己位置同定部5と、第2自己位置同定部6と、LiDAR自己位置同定評価部7と、障害物検出部8と、行動計画部9と、モータ制御部10と、記憶部20と、地図DB86と、第3自己位置同定部88と、カメラ自己位置同定評価部89と、自己位置生成部96と、を有する。
【0104】
第2自己位置同定部6で同定された第2の自己位置の情報は、自己位置生成部96へ出力される。
LiDAR自己位置同定評価部7で評価された第1の自己位置の成分毎の有効評価結果と、第1自己位置同定部5で同定された第1の自己位置の情報は、自己位置生成部96へ出力される。
【0105】
カメラ自己位置同定評価部89で評価された第3の自己位置の成分毎の有効評価結果と、第3自己位置同定部88で同定された第3の自己位置の情報は、自己位置生成部96へ出力される。
【0106】
自己位置生成部96は、第1の自己位置の各成分の有効評価結果及び第3の自己位置の各成分の有効評価結果に基づいて、第1の自己位置の情報と、第2の自己位置の情報と、第3の自己位置の情報を例えばカルマンフィルタ等で統合し、最終的な自己位置を生成する。
最終的な自己位置生成において、第3の自己位置の成分のうち有効と評価された成分については、第3の自己位置の成分が最終的な自己位置の成分として採用される。第3の自己位置の成分のうち無効と評価された成分であって、第1の自己位置の成分のうち有効と評価された成分については、第1の自己位置の成分が最終的な自己位置の成分として採用される。第3の自己位置及び第1の自己位置のいずれにおいても無効と評価された成分については、第2の自己位置の成分が採用される。
生成された自己位置は、行動計画部9に出力される。
【0107】
尚、例えば、自己位置生成部96により、第1の自己位置の各成分の有効評価結果に基づいて、第1の自己位置の情報及び第2の自己位置の情報が統合された自己位置の結果が第3自己位置同定部88に出力されてもよい。第3自己位置同定部88は、統合された自己位置の結果をヒントに第3の自己位置を同定してもよい。このように、各自己位置同定部において、自己位置生成部96から前回の自己位置統合結果がヒントとして入力されるように構成されてもよい。
【0108】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0109】
例えば、上述の実施形態においては、最終的な自己位置を生成する一連の処理を行う制御部3、83、93を移動体である車両に設ける例をあげたが、クラウドサーバ上に設ける等、移動体以外の外部の情報処理装置に設けてもよい。
また、例えば、上述の実施形態においては、移動体として自動四輪の車両を例あげて説明したが、これに限定されず、本技術は他の移動体全般に使用可能である。例えば、自動二輪車、差動二輪型ロボット、多脚型ロボット、3次元空間を移動するドローン等の移動体に適用することができる。
また、上述の実施形態においては、姿勢情報(回転情報)としてロール軸回転成分、ヨー軸回転成分、ピッチ軸回転成分を用いる例をあげたが、姿勢の情報としてクォータニオン表現のデータを用いてもよい。
【0110】
また、上述の実施形態では、例えば、第1の自己位置を同定するにあたり、第1のセンシングデータを用いていたが、これに加えて、同定された第2の自己位置をヒントにして第1の自己位置を同定してもよい。このように、あるセンサの出力に基づいて自己位置を同定する際、他のセンサの出力に基づいて同定された自己位置をヒントにして、自己位置を同定してもよい。
【0111】
また、上述の第2及び3の実施形態において、カメラとLiDARそれぞれのセンシングデータに対応してモジュールを設け、これらモジュールを多段に構成する例を挙げたが、これに限定されない。
例えば、同じセンサからのセンシングデータを利用して同じ自己位置同定アルゴリズムを用いて自己位置を同定するが、アルゴリズムのパラメータが異なる複数のモジュールを設け、これらを多段に構成してもよい。すなわち、同じセンサかつ同じ自己位置同定アルゴリズムであっても、そのアルゴリズムのパラメータ(観測範囲、解像度、マッチング閾値、マッチング対象地図)を変更して性能を変えることによって、異なる自己位置同定結果が得られる場合がある。従って、同じセンシングデータを用いるが、アルゴリズムのパラメータが異なる、精度の異なる自己位置同定結果を算出する複数のモジュールを設け、その有効成分を利用して最終的な自己位置を生成してもよい。
【0112】
また、用いられるセンシングデータは、処理データと呼ばれる、センサ群に備えられる個々のセンサのそれぞれにおいて、ローカルで事前処理されたデータを用いてもよいし、ローデータ(未処理データ、生データ)と呼ばれる、ローカルでの事前処理がなされていないデータを用いてもよい。
処理データを用いる場合には、ローカルにおいて事前に処理がなされ、ノイズなどの余計な情報が省かれているため、後段の処理にかかる負担が少なく、比較的高速に処理を行うことができる。
一方で、ローデータを用いる場合には、ローカルにおいて事前に何らの処理もなされていないため、処理データを用いる場合と比較して情報量が豊富なデータが出力されるため、後段の処理において、より正確な結果を算出することができる。
また、複数のセンサのうちの一部のセンサについては、センシングデータとしてローデータを出力させ、その他については処理データを出力させ、用いるように構成してもよい。
【0113】
なお、本技術は以下のような構成もとることができる。
【0114】
(1)
第1のセンシングデータに基づいて移動体の第1の自己位置を同定する第1自己位置同定部と、
同定された上記第1の自己位置の各成分について、有効であるか否かを評価する評価部と
を具備する情報処理装置。
【0115】
(2)
上記(1)に記載の情報処理装置であって、
上記評価部によって有効であると評価された成分を採用して、上記移動体の最終的な自己位置を生成する自己位置生成部
を更に具備する情報処理装置。
【0116】
(3)
上記(2)に記載の情報処理装置であって、
第1のセンシングデータとは異なる第2のセンシングデータに基づいて上記移動体の第2の自己位置を同定する第2自己位置同定部
を更に具備し、
上記自己位置生成部は、上記評価部によって有効でないと判断された成分を、上記第2自己位置同定部で同定された上記第2の自己位置の成分に置き換えて、上記移動体の最終的な自己位置を生成する
情報処理装置。
【0117】
(4)
上記(3)に記載の情報処理装置であって、
上記第1のセンシングデータを出力する第1のセンサと、上記第2のセンシングデータを出力する第2のセンサとは異なる
情報処理装置。
【0118】
(5)
上記(4)に記載の情報処理装置であって、
上記第2のセンサは、上記第1のセンサよりも無特徴環境下におけるロバスト性が高い
情報処理装置。
【0119】
(6)
上記(4)又は(5)に記載の情報処理装置であって、
上記第2のセンサは、上記移動体に搭載される内界センサである
情報処理装置。
【0120】
(7)
上記(4)~(6)のいずれか1つに記載の情報処理装置であって、
上記第1のセンサは、上記移動体に搭載されるLiDAR(Light Detection and Ranging)である
情報処理装置。
【0121】
(8)
上記(1)~(7)のいずれか1つに記載の情報処理装置であって、
上記第1自己位置同定部は、上記第1のセンシングデータである上記移動体の周囲環境の点群と、予め取得されているマッチング用の点群とのマッチング処理結果により、上記第1の自己位置を同定する
情報処理装置。
【0122】
(9)
上記(8)に記載の情報処理装置であって、
上記評価部は、上記マッチング処理結果を用いて上記第1の自己位置の各成分それぞれについて有効であるか否かを評価する
情報処理装置。
【0123】
(10)
上記(1)~(9)のいずれか1つに記載の情報処理装置であって、
上記評価部は、有効でないと評価した成分は棄却する
情報処理装置。
【0124】
(11)
第1のセンシングデータに基づいて移動体の第1の自己位置を同定する第1自己位置同定部と、同定された上記第1の自己位置の各成分について有効であるか否かを評価する第1評価部と、を備える第1のモジュールと、
第2のセンシングデータに基づいて上記移動体の第2の自己位置を同定する第2自己位置同定部を備える第2のモジュールと、
第3のセンシングデータに基づいて上記移動体の第3の自己位置を同定する第3自己位置同定部と、同定された上記第3の自己位置の各成分について有効であるか否かを評価する第3評価部と、を備える第3のモジュールと、
上記第1評価部及び上記第3評価部の評価結果と、上記第1の自己位置と、上記第2の自己位置と、上記第3の自己位置を用いて、上記移動体の最終的な自己位置を生成する自己位置生成部と
を具備する情報処理装置。
【0125】
(12)
第2のセンシングデータに基づいて移動体の第2の自己位置を同定する第2自己位置同定部を備える第2のモジュールと、
第1のセンシングデータに基づいて上記移動体の第1の自己位置を同定する第1自己位置同定部と、同定された上記第1の自己位置の各成分について有効であるか否かを評価する第1評価部と、上記第1評価部の評価結果と上記第1の自己位置と上記第2の自己位置を用いて上記移動体の自己位置を生成する自己位置生成部と、を備える第1のモジュールと、
第3のセンシングデータに基づいて上記移動体の第3の自己位置を同定する第3自己位置同定部と、同定された上記第3の自己位置の各成分について有効であるか否かを評価する第3評価部と、上記第3評価部の評価結果と上記第3の自己位置と上記第1のモジュールで生成された自己位置とを用いて、上記移動体の最終的な自己位置を生成する自己位置生成部と、を備える第3のモジュールと
を具備する情報処理装置。
【0126】
(13)
上記(11)又は(12)に記載の情報処理装置であって、
上記第1のセンシングデータを出力する第1のセンサと、上記第2のセンシングデータを出力する第2のセンサと、上記第3のセンシングデータを出力する第3のセンサとは互いに異なる
情報処理装置。
【0127】
(14)
上記(13)に記載の情報処理装置であって、
上記第1のセンサは上記移動体に搭載されるLiDAR(Light Detection and Ranging)であり、上記第2のセンサは上記移動体に搭載される内界センサであり、上記第3のセンサは上記移動体に搭載されるカメラである
情報処理装置。
【0128】
(15)
第1のセンシングデータに基づいて移動体の第1の自己位置を同定し、
同定された上記第1の自己位置の各成分について、有効であるか否かを評価する
情報処理方法。
【0129】
(16)
第1のセンシングデータに基づいて移動体の第1の自己位置を同定するステップと、
同定された上記第1の自己位置の各成分について、有効であるか否かを評価するステップ
を含む処理を情報処理装置に実行させるためのプログラム。
【符号の説明】
【0130】
1、81、91…車両(情報処理装置)
5…第1自己位置同定部
6…第2自己位置同定部
7、87…LiDAR自己位置同定評価部(評価部、第1評価部)
21…内界センサ(第1のセンサ)
22…LiDAR(第2のセンサ)
23…カメラ(第3のセンサ)
73、96、893…自己位置生成部
88…第3自己位置同定部
89…カメラ自己位置同定評価部(第3評価部)
A…第1のモジュール
B…第2のモジュール
C…第3のモジュール
図1
図2
図3
図4
図5
図6
図7
図8
図9