(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下、
図1〜
図15を参照して、本発明にかかる車載処理装置の一実施形態を説明する。
【0012】
図1は、本発明にかかる車載処理装置を含む自動駐車システム100の構成図である。自動駐車システム100は、車両1に搭載される。自動駐車システム100は、センサ群102〜104、107〜109と、入出力装置群110、111、114と、車両1を制御する制御装置群130〜133と、車載処理装置120とから構成される。センサ群、入出力装置群、および制御装置群は車載処理装置120と信号線で接続され、車載処理装置120と各種データを授受する。
【0013】
車載処理装置120は、演算部121と、RAM122と、ROM123と、記憶部124と、インタフェース125とを備える。演算部121はCPUである。演算部121は、FPGAなど他の演算処理装置で全部または一部の演算処理を実行するように構成してもよい。RAM122は読み書き込み可能な記憶領域であり、車載処理装置120の主記憶装置として動作する。RAM122には、後述するアウトライアリスト122A、および後述する局所周辺情報122Bが格納される。ROM123は読み取り専用の記憶領域であり、後述するプログラムが格納される。このプログラムはRAM122で展開されて演算部121により実行される。演算部121は、プログラムを読み込んで実行することにより、点群取得部121A、地図生成部121B、位置推定部121Cおよび、モード切り替え部121Dとして動作する。
【0014】
記憶部124は不揮発性の記憶装置であり、車載処理装置120の補助記憶装置として動作する。記憶部124には、点群地
図124Aが格納される。点群地
図124Aとは、例えば1または複数の駐車場データである。駐車場データとは、ある駐車場の位置情報、すなわち緯度・経度、駐車領域を示す座標、およびその駐車場に存在するランドマークを構成する点の座標の集合である。ランドマークについては後述する。インタフェース125は、車載処理装置120と自動駐車システム100を構成する他の機器との情報の授受を行う。
【0015】
センサ群は、車両1の周囲を撮影するカメラ102と、車両1の周囲の物体有無を観測するソナー103やレーダ104と、カーナビゲーションシステム107と、車速センサ108と、舵角センサ109とを含む。
【0016】
カメラ102は、撮影して得られた画像(以下、撮影画像)を車載処理装置120に出力する。車載処理装置120は、カメラ102の撮影画像を用いて後述するランドマークの測位を行う。カメラ102の焦点距離や撮像素子サイズなどの内部パラメータ、および車両1へのカメラ102の取り付け位置や取り付け姿勢である外部パラメータは既知であり、ROM123にあらかじめ保存されている。車載処理装置120は、ROM123に格納された内部パラメータおよび外部パラメータを用いて、被写体とカメラ102との位置関係を算出することができる。
【0017】
ソナー103、レーダ104はそれぞれ特定波長の音波や電波を放射し、物体に反射して戻ってくる反射波を受波するまでの時間を計測することで、反射物位置を観測する。ソナー103、レーダ104は、反射物位置を点群として観測し、車載処理装置120に出力する。
【0018】
カーナビゲーションシステム107は、GPS受信機107Aと記憶部107Bとを含む。記憶部107Bは、不揮発性の記憶装置であり、道路地
図107Cを記憶する。道路地
図107Cは、道路接続構造に関する情報と、道路位置に対応する緯度経度を含む。カーナビゲーションシステム107では、GPS受信機107Aによる位置情報と、対応する道路地
図107Cを照合し、自車が走行している道路位置(ナビ自己位置)の緯度、経度を算出する。なおカーナビゲーションシステム107により算出される緯度および経度の精度は高精度でなくてもよく、たとえば数m〜10m程度の誤差が含まれてもよい。カーナビゲーションシステム107は、算出した緯度、経度、および道路識別番号を車載処理装置120に出力する。
【0019】
GPS受信機107Aは、衛星航法システムを構成する複数の衛星から信号を受信し、受信した信号に基づく演算によりGPS受信機107Aの位置、すなわち緯度および経度を算出する。なおGPS受信機107Aにより算出される緯度および経度の精度は高精度でなくてもよく、たとえば数m〜10m程度の誤差が含まれてもよい。GPS受信機107Aは、算出した緯度および経度をカーナビゲーションシステム107、あるいは車載処理装置120に出力する。
【0020】
車速センサ108、および舵角センサ109はそれぞれ、車両1の車速と舵角を測定し車載処理装置120に出力する。車載処理装置120は、車速センサ108および舵角センサ109の出力を用いて公知のデッドレコニング技術によって、車両1の移動量および移動方向を算出する。
【0021】
入力装置110には、車載処理装置120へのユーザによる動作指令が入力される。入力装置110は、応答ボタン110Aと、自動駐車ボタン110Bとを含む。表示装置111はたとえば液晶ディスプレイであり、車載処理装置120から出力される情報が表示される。なお、入力装置110と表示装置111とが一体として、たとえばタッチ操作に対応する液晶ディスプレイとして構成されてもよい。この場合は、液晶ディスプレイの所定の領域がタッチされることにより、応答ボタン110A、あるいは自動駐車ボタン110Bが押し操作されたと判断してもよい。
【0022】
通信装置114は、車両1の外部の機器と車載処理装置120とが無線を利用して情報を授受するために用いられる。例えば、ユーザが車両1の外にいるときに、ユーザが身に着けている携帯端末と通信を行い、情報を授受する。通信装置114が通信を行う対象はユーザの携帯端末に限定されない。
【0023】
車両制御装置130は、車載処理装置120の動作指令に基づき、操舵装置131、駆動装置132、および制動装置133を制御する。操舵装置131は、車両1のステアリングを操作する。駆動装置132は、車両1に駆動力を与える。駆動装置132はたとえば、車両1が備えるエンジンの目標回転数を増加させることにより車両1の駆動力を増加させる。制動装置133は、車両1に制動力を与える。
【0024】
(ランドマーク測位)
ランドマークとはセンサにより識別可能な特徴を有する物体であり、たとえば路面ペイントの1種である駐車枠線や、車両の走行の妨げとなる障害物である建物の壁などである。本実施の形態では、移動体である車両や人間はランドマークに含めない。車載処理装置120は、カメラ102と、ソナー103と、レーダ104の少なくとも一つから入力される情報に基づき、車両1の周辺に存在するランドマーク、すなわちセンサにより識別可能な特徴を有する点を検出する。以下では、外界センサから入力される情報、すなわちカメラ102と、ソナー103と、レーダ104の少なくとも一つから入力される情報に基づくランドマークの検出を「ランドマーク測位」と呼ぶ。
【0025】
車載処理装置120は、カメラ102の撮影画像を対象に、以下のように画像認識プログラムを動作させることで駐車枠などの路面ペイントなどを検出する。駐車枠の検出は、まず入力画像からソーベルフィルタなどでエッジを抽出する。次に、たとえば白から黒への変化であるエッジの立ち上がりと、黒から白への変化であるエッジの立ち下がりのペアを抽出する。そしてこのペアの間隔が、あらかじめ定めた第1の所定の距離、すなわち駐車枠を構成する白線の太さと略一致すると、このペアを駐車枠の候補とする。同様の処理により駐車枠の候補を複数検出し、駐車枠の候補同士の間隔があらかじめ定めた第2の所定の距離、すなわち駐車枠の白線の間隔と略一致すると、それらを駐車枠として検出する。駐車枠以外の路面ペイントは以下の処理を実行する画像認識プログラムで検出される。まず入力画像からソーベルフィルタなどでエッジを抽出する。エッジ強度があらかじめ定めた一定の値よりも大きく、エッジ同士の間隔が白線の幅に相当するあらかじめ定めた距離である画素を探索することにより検出できる。
【0026】
車載処理装置120はたとえば既知のテンプレートマッチングにより車両や人間を検出し、測定結果から除外する。また、以下のようにして検出した移動体を測定結果から除外してもよい。すなわち車載処理装置120は、内部パラメータおよび外部パラメータを用いて撮影画像における被写体とカメラ102との位置関係を算出する。次に車載処理装置120は、カメラ102が連続して取得した撮影画像において被写体を追跡することで車両1と被写体の相対的な速度を算出する。最後に車載処理装置120は、車速センサ108および舵角センサ109の出力を用いて車両1の速度を算出し、被写体との相対的な速度と一致しなければ被写体が移動体であると判断し、この移動体に関する情報を測定結果から除外する。
【0027】
(点群地
図124A)
図2は、記憶部124に格納される点群地
図124Aの一例を示す図である。
図2では、点群地
図124Aとして2つの駐車場データが格納されている例を示している。各駐車場データは、駐車領域の座標と、ランドマークを構成する点の二次元平面上の座標と、記憶時に走行した経路座標、さらに各座標と対応する緯度経度から構成される。駐車領域の座標、およびランドマークを構成する点の座標は、その駐車場データに固有の座標系(第1座標系)における座標である。以下では駐車場データにおける座標系を「駐車場座標系」と呼ぶ。駐車場座標系は、たとえば記録開始時の車両1の座標が原点とされ、記録開始時の車両1の進行方向がY軸、記録開始時の車両1の右方向がX軸とされる。駐車領域の座標は、たとえば駐車領域を矩形とした場合にその矩形領域の4つの頂点の座標として記録される。ただし、駐車領域は矩形に限定されず矩形以外の多角形や楕円形状でもよい。
【0028】
(アウトライアリスト122A)
アウトライアリスト122Aには、車載処理装置120が処理対象外とする局所周辺情報122Bの点の情報が格納される。アウトライアリスト122Aは、後述するように車載処理装置120により適宜更新される。
【0029】
(局所周辺情報122B)
局所周辺情報122Bには、車載処理装置120が後述する位置推定モード203において検出したランドマークを構成する点の座標が格納される。この座標は局所周辺情報122Bの記録を開始した際の車両1の位置および姿勢を基準に、たとえばその位置を原点とし、車両1の進行方向をY軸とし、進行方向右をX軸とする座標系(第2座標系)における座標である。この座標系を以下では「局所座標系」と呼ぶ。
【0030】
(車載処理装置120の動作概要)
車載処理装置120の動作概要を説明する。
図3は車載処理装置120がもつ動作モードとその遷移条件を説明する図である。この図が説明する動作は、車載処理装置120におけるモード切り替え部121Dの動作と等しい。車載処理装置120は、主に5つの動作モード、すなわち通常走行モード201と、地図記憶モード202と、位置推定モード203と、自動駐車モード204と、ギブアップモード205とを有する。車載処理装置120は、通常走行モード201からモード切り替えの制御を開始する。
【0031】
通常走行モード201ではユーザにより車両1が運転される。この際、点群地図の生成や点群地図上での自己位置推定は実施せず、モードの遷移条件の監視のみ行う。モードの遷移は、あらかじめ登録した駐車したい地点付近(登録地点)の緯度経度と、カーナビゲーションシステム107から取得した自己位置の緯度経度情報(ナビ自己位置)を比較し、登録地点を中心とする一定範囲以内に自車が進入した場合、例えば、ナビ自己位置が登録地点の100m範囲以内に進入した場合に、モード遷移する。
【0032】
現在走行中の地点付近の点群地図が登録されていない場合は、地図記憶モード202に遷移し、現在走行中の地点付近の点群地図が登録されている場合は位置推定モード203に遷移する。付近の点群地図が登録されているか否かは、ランドマークに対応する緯度・経度情報から判定する。自己位置の緯度経度情報と、ランドマークの緯度経度情報を比較し、あらかじめ定められた距離以内のランドマークがある場合は地図登録済み、あらかじめ定められた距離以内のランドマークがない場合は地図未登録と判断する。
【0033】
地図記憶モード202ではユーザにより車両1が運転され、車載処理装置120は車両1が備えるセンサからの情報に基づき駐車場データ、すなわち駐車場に存在する白線や障害物の情報と、駐車位置の情報と、走行経路の情報を収集する。車載処理装置120は、収集した情報を点群地
図124Aとして記憶部124に格納する。
【0034】
モードの遷移については、あらかじめ登録した駐車したい地点付近(登録地点)の緯度経度と、カーナビゲーションシステム107から取得した自己位置の緯度経度情報を比較し、登録地点を中心とする一定範囲以内から外に出た場合、例えばナビ自己位置が登録地点から離れてその距離が100m以上となった場合には、地図記憶モード202から通常走行モード201に遷移する。また、途中から点群地図登録済みの区間に進入した場合には、地図記憶モード202から位置推定モード203に遷移する。
【0035】
自車が地図登録済みの区間に進入したか否かについては、自己位置(ナビ自己位置)の緯度経度情報と、ランドマークの緯度経度情報を比較し、ナビ自己位置を中心としてあらかじめ定められた距離以内にランドマーク(対応点群)があるか否かによって判断される。そして、ランドマークがある場合は自車が地図登録済みの区間に進入したと判断する。
【0036】
位置推定モード203ではユーザにより車両1が運転され、車載処理装置120は車両1が備えるセンサからの情報と、点群地
図124Aの情報を照合し、点群地図中の自車の位置を推定する。車載処理装置120は、センサからの情報に基づき車両1の周囲に存在する白線や障害物を検出し、点群地
図124Aと照合することにより現在位置を推定する。
【0037】
モードの遷移については、登録地点の緯度経度と、カーナビゲーションシステム107から取得した自己位置の緯度経度情報を比較し、登録地点を中心とする一定範囲以内から外に自車が出た場合、例えばナビ自己位置が登録地点から離れてその距離が100m以上となった場合には、位置推定モード203から通常走行モード201に遷移する。また、途中から点群地図の未登録区間に進入した場合には、対応点群なしと判断され、位置推定モード203から地図記憶モード202に遷移する。
【0038】
自車が点群地図の未登録区間に進入したか否かについては、自己位置の緯度経度情報と、ランドマークの緯度経度情報を比較し、自己位置を中心としてあらかじめ定められた距離以内にランドマーク(対応点群)があるか否かによって判断され、ランドマークがない場合は自車が点群地図の未登録区間に進入したと判断する。
【0039】
また、自車両の位置推定に成功しており、かつ、自己位置が駐車位置から所定の範囲内にあること、かつユーザが自動駐車ボタン110Bを押下している間のみ、位置推定モード203から自動駐車モード204に遷移する。すなわち、ユーザの承認のもとに自動制御を実施する。また、点群地図中の自己位置が見つけられない場合は、ギブアップモード205に遷移する。
【0040】
自動駐車モード204では車載処理装置120により車両1が制御され、位置推定モード203で得られた点群地図中の自己位置、および自動駐車モード204においても継続的に行う地図中の自己位置推定結果に基づき、点群地図に記憶された駐車位置に車両1が駐車される。車載処理装置120は、自動駐車モード204においても、位置推定モード203に引き続き、センサからの情報に基づき車両1の周囲に存在する白線や障害物を検出し、点群地
図124Aと照合することにより現在位置を推定する。モードの遷移についてはユーザが自動駐車ボタン110Bを離した場合は、自動駐車モード204から位置推定モード203に遷移する。すなわち、自動駐車制御が停止する。また、ユーザが自動駐車ボタン110Bを押下している状態で、自己位置をロストした場合には、ギブアップモード205に遷移する。
【0041】
ギブアップモード205では、ユーザに表示装置111を介して自動駐車できない旨を提示し、本モード中は地図記憶と、位置推定と、自動駐車のいずれも実施しない。モードの遷移については、ユーザが駐車完了するか、登録地点からあらかじめ定めた所定距離離れた場合に、通常走行モード201に遷移する。
【0042】
以下では、地図記憶モード202と、位置推定モード203と、自動駐車モード204について詳しく説明する。
【0043】
(地図記憶モード202)
登録地点を中心とする所定範囲に入り、かつ点群地図が記録されていない(対応点群なし)場合に、車載処理装置120は通常走行モード201から地図記憶モード202に遷移する。例えば、ナビ自己位置が登録地点を中心とする100m内の範囲に入り、かつ対応点群がない場合に、地図記憶モード202で動作する。地図記憶モード202で動作している間、表示装置111の画面に地図記憶モード202で動作している旨が表示される。そして、ユーザが駐車位置まで移動させた後、停車し、パーキングブレーキを作動させると、そのパーキングブレーキの作動をトリガーとして、表示装置111に「今回の走行経路周辺を地図として記憶させますか?」という文言が表示される。この段階で初めてユーザの判断および操作が必要となり、その前の点群抽出までの動作は、ユーザが判断操作することなく全て自動で行われる。そして、ユーザが応答ボタン110Aを押下すれば地図を記憶し、車載処理装置120は地図記憶モード202を終了する。ユーザが応答ボタン110Aを押下しない場合は、今回の走行経路周辺を地図として記憶せず、地図記憶モード202を終了する。車載処理装置120による地図記憶モード202の動作は、ランドマークを構成する点群の抽出と、抽出した点群の記録の2つの処理に分けられる。
【0044】
車載処理装置120による点群の抽出処理を説明する。
車載処理装置120は、地図記憶モード202に遷移すると、RAM122に一時的な記録領域を確保する。そして車載処理装置120は、地図記憶モード202が終了するか、他のモードに遷移するまで以下の処理を繰り返す。すなわち車載処理装置120は、カメラ102の撮影画像と、ソナー103とレーダ104による観測情報の少なくとも一つに基づきランドマークを構成する点群を抽出する。また車載処理装置120は、車速センサ108および舵角センサ109の出力に基づき、カメラ102が前回撮影してから今回撮影するまでに車両1が移動した移動量および移動方向を算出する。そして車載処理装置120は、車両1との位置関係、および車両1の移動量や移動方向に基づき抽出した点群をRAM122に記録する。さらに車載処理装置120は、カーナビゲーションシステム107が出力する緯度経度を点群とあわせて記録する。車載処理装置120はこの処理を繰り返す。
【0045】
車両1の位置、および点群の座標は、記録座標系の座標値として記録される。「記録座標系」は、たとえば記録を開始した際の車両1の位置を原点(0、0)とし、記録開始時の車両1の進行方向(姿勢)をY軸、記録開始時の車両1の右方向をX軸とした座標系の座標値として扱われる。そのため同一の駐車場において点群を記録しても、記録を開始した際の車両1の位置や姿勢により設定される記録座標系が異なるので、異なる座標にランドマークを構成する点群が記録される。
【0046】
ユーザは車両を目的の駐車位置に駐車させてパーキングブレーキを引く。パーキングブレーキを作動させたことをトリガーとして、表示装置111に「今回の走行経路周辺を地図として記憶させますか?」という文言が表示される。ユーザが応答ボタン110Aを押下すれば地図として記憶する。車載処理装置120は、地図として記憶することが承認されると、現在位置を駐車位置としてRAM122に記録する。駐車位置はたとえば車両1を矩形に近似した際の四隅の座標として記録される。
【0047】
次に車載処理装置120は以下のように点群の記録処理を行う。
車載処理装置120は、記録した駐車場の座標、すなわち緯度経度が、すでに点群地
図124Aに記録されているいずれかの駐車場の座標と略一致するか否かを判断する。両者が略一致しない場合は、車載処理装置120はRAM122に保存した点群の情報を、新たな駐車場データとして点群地
図124Aに記録する。両者が略一致する場合は、車載処理装置120は駐車場の座標が略一致する点群の情報を1つの駐車場の点群としてマージ(統合)するか否かを判断する。この判断のために車載処理装置120はまず、駐車場データに含まれる駐車位置と、RAM122に記録した駐車位置が一致するように座標変換を行い、次に点群地
図124Aの点群とRAM122に保存した点群との一致度である点群一致度を算出する。そして車載処理装置120は、算出された点群一致度が閾値よりも大きければ両者をマージすると判断し、閾値以下であればマージしないと判断する。点群一致度の算出については後述する。
【0048】
車載処理装置120は、マージしないと判断した場合はRAM122に保存した点群を新たな駐車場データとして点群地
図124Aに記録する。車載処理装置120は、マージすると判断した場合は、点群地
図124Aの既存の駐車場データにRAM122に保存した点群を追加する。
【0049】
(記憶モードのフローチャート)
図4は、車載処理装置120の地図記憶モード202の動作を表すフローチャートである。以下に説明する各ステップの実行主体は車載処理装置120の演算部121である。演算部121は、
図4に示す処理を行う場合に地図生成部121Bとして機能する。
【0050】
ステップS501では、地図記憶モード202に入ったか否かが判断される。地図記憶モード202に入ったと判断される場合はS501Aに進み、地図記憶モード202に入っていない場合はステップS501に留まる。ステップS501Aでは、RAM122に新たな記録領域を確保する。この記憶領域には、抽出した点群と車両1の現在位置が前述の記録座標系の座標で記録される。
【0051】
ステップS502では、センサ群から情報を取得して前述のランドマーク測位、すなわちカメラ102の撮影画像、ソナー103、レーダ104を用いたランドマークを構成する点群の抽出とカーナビゲーションシステム107から出力された緯度経度観測値との紐付けを行う。続くステップS503では、カメラ102、ソナー103、レーダ104がセンシングしてから最新のセンシングを行うまでの時間における車両1の移動量を推定し、RAM122に記録した記録座標系における車両1の現在位置を更新する。車両1の移動量は複数の手段により推定可能であり、たとえば前述のようにカメラ102の撮影画像における路面に存在する被写体の位置の変化から車両1の移動量を推定できる。ソナー103やレーダ104のセンシング結果から推定しても良い。また、カーナビゲーションシステム107として誤差が小さい高精度なGPS受信機が搭載されている場合には、その出力を利用してもよい。車速センサ108と舵角センサ109から車両1の移動量を推定しても良い。次にステップS504に進む。
【0052】
ステップS504では、ステップS502において抽出した点群を、ステップS503において更新した現在位置に基づき、記録座標系の座標としてRAM122に保存する。続くステップS505では、応答ボタン110Aが押される記憶承認操作がされたか否かを判断し、記憶承認操作がされたと判断する場合はステップS505Aに進み、記憶承認操作がされていないと判断する場合はステップS502に戻る。ステップS505Aでは、カーナビゲーションシステム107から車両1の現在の緯度経度を取得するとともに、駐車位置、すなわち車両1の現在位置であって車両1の四隅の記録座標系における座標を記録する。次にステップS506に進む。
【0053】
ステップS506では、ステップS505Aにおいて取得した車両1の現在の緯度経度と略一致する緯度経度を有する駐車場データが、点群地
図124Aに記録されているか否かを判断する。車両1の現在の緯度経度が点群地
図124Aに記録されているいずれかの駐車場データの緯度経度と略一致すると判断する場合はステップS507に進み、それ以外の場合はステップS510に進む。以下では、車両1の現在の緯度経度と緯度経度が略一致すると判断された点群地
図124Aの駐車場データをターゲット駐車場データと呼ぶ。
【0054】
ステップS507では、駐車位置を基準として、RAM122に保存した点群データの座標系である記録座標系をターゲット駐車場データの点群データの座標系に変換する。すなわち、ターゲット駐車場データに含まれる駐車位置と、ステップS505Aにおいて記録した駐車位置が一致するように記録座標系と駐車場座標系の座標変換式を導出する。そしてこの座標変換式を用いて、RAM122に記録座標系で保存されたランドマークを構成する点の座標をターゲット駐車場データの駐車場座標系に変換する。
【0055】
続くステップS507Aでは、RAM122に保存された点群データとターゲット駐車場データの点群一致率IBを算出する。点群一致率IBは以下の式1により算出される。
IB= 2*Din/(D1+D2) ・・・式1
【0056】
ただし式1において「Din」は、ステップS507において座標変換した点群データの各点と、ターゲット駐車場データの点群データの各点の距離が所定の距離以内の点の数である。また式1において「D1」はRAM122に保存された点群データにおける点の数、「D2」はターゲット駐車場データの点群データにおける点の数である。次にステップS508に進む。
【0057】
ステップS508では、ステップS507Aにおいて算出した点群一致率IBが所定の閾値よりも大きいか否かを判断する。点群一致率IBが閾値よりも大きいと判断する場合はステップS509に進み、点群一致率IBが閾値以下であると判断する場合はステップS510に進む。
【0058】
ステップS509では、マージ処理、すなわち記憶部124に格納された点群地
図124Aのターゲット駐車場データに、ステップS507において座標変換した点群データを追加する。ステップS506またはステップS508において否定判断された場合に実行されるステップS510では、RAM122に保存した点群データ、およびステップS505Aにおいて記録した車両1の緯度経度、および駐車位置を新たな駐車場データとして点群地
図124Aに記録する。以上で
図4のフローチャートを終了する。
【0059】
(位置推定モード203)
ユーザが車両1を運転して登録地点付近まで移動させ、かつ周辺の点群地図が記憶済みであると判定されると、通常走行モード201から位置推定モード203に移行する。例えば、ナビ自己位置が登録地点を中心とする100m内の範囲に入り、かつ対応点群がある場合には、位置推定モード203を動作させる。この際の車載処理装置120の動作をフローチャートで以下説明する。
【0060】
(位置推定モード203のフローチャート)
図5は、車載処理装置120の位置推定モードの動作を表すフローチャートである。以下に説明する各ステップの実行主体は車載処理装置120の演算部121である。
【0061】
車載処理装置120は、点群地
図124Aに含まれる複数の駐車場データのうち、車両1の現在位置と略一致する緯度経度を有する点群(駐車場点群)を特定する(ステップS601)。次に車載処理装置120は、初期化処理としてRAM122に格納される局所周辺情報122Bの初期化、およびRAM122に保存される車両1の現在位置の初期化を行う(ステップS601A)。具体的には従前の情報が記録されていたら消去し、新たな座標系を設定する。本実施の形態では、この座標系を局所座標系と呼ぶ。この局所座標系はステップS601Aが実行された際の車両1の位置および姿勢に基づき設定される。たとえばステップS601Aが実行された際の車両1の位置が局所座標系の原点に設定され、ステップS601Aが実行された際の向きによりX軸およびY軸が設定される。また車両1の現在位置の初期化は、車両1の現在位置が原点(0、0)に設定される。
【0062】
次に、
図6Aに示す手順により自己位置推定、すなわち車両1の駐車場座標系における位置を推定し(ステップS602)、ステップS603では自己位置が推定できたか否かを判断する。推定できたと判断する場合はステップS604に進み、推定できないと判断する場合はステップS602に戻る。
【0063】
ステップS604では、車載処理装置120は表示装置111に地図上の自己位置推定結果を表示し、続くステップS605では、自己位置が記憶駐車位置からの所定の範囲内に入っているか否かを判断する。例えば、車両1が記憶駐車位置まで距離Nmまで近づいた場合に所定の範囲内に入っていると判断される。所定の範囲内に入っていると判断された場合は、ステップS606に進み、所定の範囲内に入っていない、すなわち範囲外と判断された場合はステップ604に戻る。
【0064】
ステップS606では、車載処理装置120は表示装置111に自動駐車が可能な旨を表示し、続くステップS607ではユーザにより自動駐車ボタン110Bが押されたか否かを判断する。自動駐車ボタン110Bが押されたと判断する場合はステップS608に進んで自動駐車モードに遷移し、
図8に示す手順により自動駐車処理を実行し、自動駐車ボタン110Bが押されていないと判断する場合はステップS606に戻る。
【0065】
図6Aを参照して
図5のステップS602において実行される自己位置推定処理の詳細を説明する。演算部121は、
図6AのステップS621〜S623に示す処理を行う場合に局所周辺情報作成部として機能する。
【0066】
ステップS621のランドマーク測位、ステップS622の自車移動量推定、およびステップS623の局所周辺情報122Bの更新はそれぞれ、
図4のステップS502〜S504の処理と概ね同じである。相違点はRAM122に記憶されるデータが局所周辺情報122Bとして記録される点である。
【0067】
ステップS623の実行が完了すると、車載処理装置120は
図6Bに詳細を示す局所周辺情報の選定を行う(ステップS623A)。この局所周辺情報の選定処理では、局所周辺情報として得られた点群の中から、後述のステップS624のマッチング処理で利用する点を選定する処理である。局所周辺情報で得られた点群は自車移動量推定の累積誤差により、点群地図と全体形状が異なりマッチングできない場合がある。この局所周辺情報の選定処理により、形状誤差が小さくマッチング可能な範囲の点群を適応的に選定する。
【0068】
ステップS624Aの処理が完了すると、車載処理装置120は
図7に詳細を示すマッチング処理を行う(ステップS624)。このマッチング処理では、駐車場座標系と局所座標系との対応関係、すなわち駐車場座標系と局所座標系との座標変換式が得られる。続くステップS625では車載処理装置120は、ステップS622において更新した局所座標系における車両1の座標と、ステップS625において得られた座標変換式を用いて、駐車場座標系における車両1の座標、すなわち自己位置を算出する。次にステップS626に進む。
【0069】
ステップS626において車載処理装置120は、ステップS625において算出した位置の信頼性を判断する自己診断を実行する。自己診断は、例えば以下の3つの指標を用いて判断される。
【0070】
第1の指標では、車速センサ108および舵角センサ109の出力を用いて公知のデッドレコニング技術によって推定した車両1の移動量と、自己位置推定によって推定された所定期間における移動量を比較し、あらかじめ定めた閾値よりも差が大きい場合は信頼度が低いと判断する。
【0071】
第2の指標では、マッチング時に計算される対応点の誤差量で判断する。誤差量があらかじめ定めた閾値よりも大きい場合は信頼度が低いと判断する。
【0072】
第3の指標では、類似解があるか否かの判定を実施する。得られた解から駐車枠の幅分並進するなど、類似解を探索した場合に、対応点誤差が一定以内の点が同じくらいの数あった場合は、信頼度が低いと判断する。これら3つの指標のすべてで信頼度が低いと判断されなかった場合に自己位置が推定できたと判断する。
【0073】
図6Bを参照して
図6AのステップS623Aにおいて実行される局所周辺情報選定処理の詳細を説明する。演算部121は、
図6Bに示す処理を行う場合に局所周辺情報選定部として機能する。
【0074】
ステップS680では、ステップS622の内部で実施している自車移動量計算を利用して、自車の現在位置までの軌跡を計算する。自車移動量から算出した自車両位置の座標点を補間して生成される軌跡が自車軌跡となる。
【0075】
ステップS681では、局所周辺情報の点群に関して、形状誤差が小さくマッチング可能な有効範囲を算出する。この有効範囲は、ステップS680で算出した自車軌跡の長さや形状から判定する。局所周辺情報として得られる点群は、距離が長くなるほど、また車両の旋回量が大きくなるほど移動量の推定誤差が発生しやすい。逆に点群が少なすぎると、マッチングが困難になる。そこで、現在位置からあらかじめ定めた最低距離D[m]分を軌跡に沿って遡った範囲の点群を取得する。それ以降、軌跡の接線の角度の変化量を累積し、あらかじめ定めた角度しきい値θ[deg]以上に変化するところまでの軌跡周辺の点群を取得する。軌跡に対して、軌跡を中心としてあらかじめ定めた範囲X[m]×Y[m]の範囲の点群を局所周辺情報の点群の有効範囲とする。すなわち、有効範囲は得られた軌跡に沿った形状となる。
【0076】
ステップS682ではステップS681で得られた有効範囲内の点を、局所周辺情報の点群として取得する。
【0077】
図7を参照して
図6AのステップS624において実行されるマッチング処理の詳細を説明する。演算部121は、
図6Aに示す処理を行う場合に位置推定部121Cとして機能する。
【0078】
ステップS641ではRAM122に格納されたアウトライアリスト122Aを局所周辺情報122Bに対して適用し、局所周辺情報122Bに含まれる点群のうちアウトライアリスト122Aに記載された点を一時的に処理対象外とする。この適用範囲はステップS642〜S653であり、ステップS654では従前にアウトライアリスト122Aに含まれていた点も対象となる。ただし
図7に示すフローチャートの初回実行時にはステップS641〜S643が実行できないため、ステップS650から実行を開始する。次にステップS641Aに進む。
【0079】
ステップS641Aでは、最新の撮影画像から検出した点群、すなわち
図6AのステップS621において検出したランドマークを構成する点群の座標を、駐車場座標系の座標に変換する。この変換は、ステップS622において更新された車両1の局所座標系における位置、および前回算出した局所座標系から駐車場座標系への座標変換式を用いることにより実現される。
【0080】
続くステップS642では瞬間一致度ICが算出される。瞬間一致度ICは、以下の式2により算出される。
IC= DIin/DIall ・・・式2
【0081】
ただし式2において「DIin」は、ステップS641Aにおいて駐車場座標系に変換された最新の撮影画像から検出された点群のうち、最も近い点群地
図124Aを構成する点までの距離があらかじめ定めた閾値以下の点の数である。また式2において「DIall」は、ステップS621において検出された点群の数である。次にステップS643に進む。
【0082】
ステップS643では、ステップS642において算出した瞬間一致度ICが閾値よりも大きいか否かを判断する。瞬間一致度ICが閾値よりも大きいと判断する場合はステップS650に進み、瞬間一致度ICが閾値以下であると判断する場合はステップS644に進む。
【0083】
ステップS644では、点群地
図124Aの対象となる駐車場データ、すなわち点群データから周期的な特徴、たとえば複数並んだ駐車枠を検出する。前述のように、点群地図に含まれる点群は画像のエッジなどを抽出して得られるので、白線の太さに相当する間隔で並ぶ点から駐車枠線を検出できる。続くステップS645では、ステップS644において周期的特徴を検出したか否かを判断し、検出したと判断する場合はステップS646に進み、検出できなかったと判断する場合はステップS650に進む。ステップS646では周期的特徴の周期、たとえば駐車枠の幅を算出する。ここでいう駐車枠の幅とは、駐車枠を構成する白線同士の間隔である。次にステップS647に進む。
【0084】
ステップS647では、前回のステップS653において算出された座標変換式を基準として、この座標変換式を複数とおりに変化させて全体一致度IWをそれぞれ算出する。座標変換式は、点群地図が検出した周期的特徴の整数倍ずれるように複数通りに変化させる。全体一致度IWは、以下の式3により算出される。
IW= DWin/DWall ・・・式3
【0085】
ただし式3において「DWin」は、前述の座標変換式を用いて局所周辺情報122Bを構成する点を駐車場座標系に変換した点のうち、最も近い点群地
図124Aを構成する点までの距離があらかじめ定めた閾値以下の点の数である。また式3において「DWall」は、ステップS621において検出された点の数である。次にステップS648に進む。
【0086】
ステップS648では、ステップS647において算出した複数の全体一致度IWのうち、最大の全体一致度IWを与える座標変換式をRAM122に記憶してステップS650に進む。
【0087】
ステップS650における対応付け処理、ステップS651における誤差最小化処理、およびステップS625における収束判定処理は既知の点群マッチング技術であるICP(Iterative Closest Point)アルゴリズムを利用することができる。ただしステップS650における初期値の設定は本実施の形態に特有なので詳しく説明し、他は概略のみ説明する。
【0088】
ステップS643において肯定判定された場合、ステップS645において否定判定された場合、ステップS648の実行が終わった場合、またはステップS652において否定判定された場合に実行されるステップS650では、点群地
図124Aの駐車場データに含まれる点群と局所周辺情報122Bに含まれる点群との対応付けが算出される。ステップS643またはステップS648の次に実行される場合は、局所周辺情報122Bの点群データはRAM122に記録された座標変換式を用いて座標変換された値を用いる。すなわち、ステップS643において肯定判定されてステップS650が実行される場合には、前回実行されたステップS653において算出された座標変換式が使用される。一方、ステップS648の次にステップS650が実行される場合は、ステップS648において記憶された座標変換式が使用される。次にステップS651に進む。
【0089】
ステップS651では、対応点の誤差が最小となるように座標変換式が変更される。たとえば、ステップS650において対応付けられた点同士の距離の指標の和が最小となるように座標変換式が変更される。対応付けられた点同士の距離の指標の和として距離の絶対値の和を採用することができる。続くステップS652では、誤差が収束したか否かを判断し、収束したと判断する場合はステップS653に進み、収束していないと判断する場合はステップS650に戻る。続くステップS653では、最後にステップS651において変更された座標変換式をRAM122に保存してステップS654に進む。
【0090】
ステップS654では、次のようにアウトライアリスト122Aを更新する。まずRAM122に格納されている既存のアウトライアリスト122Aをクリアする。次に局所周辺情報122Bの点群をステップ653において記録した座標変換式を用いて駐車場座標系に変換し、局所周辺情報122Bを構成するそれぞれの点とその点が対応する点群地
図124Aを構成する点までの距離、すなわちユークリッド距離を算出する。そして、算出された距離があらかじめ定められた距離よりも長い場合は、その局所周辺情報122Bの点をアウトライアリスト122Aに加える。ただしこのときに、空間的に端部に位置することをアウトライアリスト122Aに加えるさらなる条件としてもよい。空間的な端部とは、記録を開始した際に取得された点など、他の点までの距離が遠い点である。以上の処理によりアウトライアリスト122Aが更新される。以上で
図7のフローチャートを終了する。
【0091】
(自動駐車モード204のフローチャート)
図8を参照して
図5のステップS608において実行される自動駐車モード204での処理の詳細を説明する。以下に説明する各ステップの実行主体は車載処理装置120である。
【0092】
自車両の位置推定に成功しており、かつ、自己位置が駐車位置から所定の範囲内にあること、かつユーザが自動駐車ボタン110Bを押下している間のみ、自己位置推定モード203から自動駐車モード204に遷移する。すなわち、ユーザの承認のもとに自動制御を実施する。
【0093】
ステップS661では、駐車場座標系における車両1の位置を推定する。本ステップにおける処理は
図5のステップS604と同様なので説明を省略する。続くステップS662では、ステップS661において推定した位置から、点群地
図124Aに格納されている駐車位置までの走行経路を既知の経路生成手法により生成する。次にステップS663に進む。
【0094】
ステップS663では、車両制御装置130を介して操舵装置131、駆動装置132、および制動装置133を制御し、ステップS662において生成した経路に沿って車両1を駐車位置まで移動させる。自動駐車ボタン110Bがユーザにより押され続けている場合だけ駆動装置132に動作指令を出力する。また、カメラ102の撮影画像や、ソナー103およびレーダ104から人物や移動車両などが抽出されたら制動装置133を動作させて車両1を停止させる。続くステップS664ではステップS661と同様に車両1の位置を推定する。続くステップS665では駐車が完了したか否か、すなわち車両1が駐車位置に到達したか否かを判断し、駐車が完了していないと判断する場合はステップS663に戻り、駐車が完了したと判断する場合は
図8のフローチャートを終了する。
【0095】
(動作例)
図9〜
図14を参照して、地図記憶モード202、位置推定モード203および自動駐車モード204の具体的な動作を説明する。
【0096】
図9(a)は、駐車場901の一例を示す平面図である。駐車場901は建物902の周囲に設けられる。駐車場901の出入り口は図示左下に1か所だけある。
図9(a)に示す四角は路面ペイントである駐車枠を表しており、ハッチングで示す駐車枠903が車両1の駐車領域(駐車が完了した際に駐車位置となる領域)である。本動作例では、ランドマークは駐車枠線のみとして説明する。本動作例では
図9(a)に示すように車両1を三角形で示し、三角形の鋭角が車両1の進行方向を示す。
【0097】
(動作例|地図記憶モード202 その1)
駐車場901の入り口付近で通常走行モード201から地図記憶モード202に遷移すると、車載処理装置120はランドマーク測位を開始し、駐車枠線を構成する点の座標を記録する(
図4のステップS501:YES、S502〜S504)。そして車両1は応答ボタン110Aが押されて記憶処理が承認されるまで、
図4のステップS502〜S504の処理を繰り返す。
【0098】
図9(b)は、RAM122に保存されるランドマークの点群を可視化した図である。
図9(b)において、実線はRAM122に保存されたランドマークの点群を表し、破線はRAM122に保存されていないランドマークを示す。車両1のカメラ102、ソナー103、レーダ104はセンシング可能な範囲に限界があるため、
図9(b)に示すように車両1が駐車場901の入り口付近にいる際は駐車場901の入り口付近の駐車枠線だけが記録される。ユーザが車両1を駐車場901の奥まで移動させると、車載処理装置120は駐車場901の全体のランドマークの点群を記録することができる。
【0099】
ユーザが車両1を駐車枠903の中に停車させて記録完了ボタンとなる応答ボタン110Aを押すと、車載処理装置120はカーナビゲーションシステム107から車両1の緯度経度を取得するとともに、車両1の四隅の座標を記録する(ステップS505:YES、S505A)。点群地
図124Aに車両1の現在の緯度経度と略一致する緯度経度が記録されていない場合は(ステップS506:NO)、RAM122に保存した点群を点群地
図124Aを構成する新たなデータ、すなわち新たな駐車場データとして記録する(ステップS510)。
【0100】
(動作例|地図記憶モード202 その2)
別な例として、
図10(a)に示す点群データが点群地
図124Aの駐車場データとして記録されており、新たに
図10(b)に示す点群データが得られた場合を説明する。
図10(a)に示す点群データは、たとえば
図9(a)に示した駐車場901の入り口から右寄りを走行して駐車位置まで到達した場合に得られた点群データである。車両1が
図9(a)に比べて右寄りを走行したので、
図10(a)に破線で示した駐車枠の点群データが取得されていない。
【0101】
図10(b)に示す点群データは、たとえば駐車場901の入り口から左寄りを走行して駐車位置まで到達した場合に得られた点群データである。
図9(a)に比べて左寄りを走行したので、
図10(b)に破線で示した駐車枠の点群データが取得されていない。また
図10(b)に示す点群データは、記憶モードに遷移した際に車両1が駐車場901と正対していなかったので、
図10(a)に比べて駐車場901が傾いているように記録されている。
【0102】
このような状態においてユーザが応答ボタン110Aで記憶を承認したとき、点群地
図124Aに車両1の現在の緯度経度と略一致する緯度経度が記録されていると判断されると(S506:YES)、
図10(a)と
図10(b)の駐車位置、すなわち駐車枠903を基準に座標変換が行われる(ステップS507)。そして点群一致率IBを算出し(ステップS507A)、その点群一致率IBが所定の閾値よりも大きいと判断されると(ステップS508:YES)、マージ処理により、
図10(a)に示す点群データに
図10(b)に示す点群データが統合される(ステップS509)。この統合により、
図10(a)では記録されていなかった図示左側の駐車枠線の点群が新たに記録されるとともに、すでに記録されていた図示右側や図示上部の駐車枠線を構成する点群の密度が濃くなる。
【0103】
(動作例|実行フェーズ その1=自己位置推定モード203+自動駐車モード204)
実行フェーズにおけるマッチング処理の動作例を説明する。この動作例では、あらかじめ点群地
図124Aには
図9(a)に示した駐車場901の全体に相当する点群データが格納されている。
【0104】
図11は、
図9(a)に示す駐車場901における車両1の現在位置を示す図である。車両1は図示上方を向いている。
図12〜
図13では、車両1の前方領域である
図10において破線の丸で囲む部分の駐車枠線を示す。
【0105】
図12は、車両1が
図11に示した位置においてセンサ群でセンシングされて抽出された点群を、駐車場座標に変換したデータを示す図である。すなわち、
図12に示す点群は局所周辺情報122Bのうち、最新の撮影画像から検出された点群であり
図7のステップS641Aにおいて処理されたデータである。ただし
図12では点ではなく破線として表している。また
図12では
図11との対比のために車両1もあわせて表示している。
図12に示すように、車両1の左側には駐車枠線の点群データが切れ目なく存在しており、車両1の右側では駐車枠線の点群データが手前側にのみ存在する。
【0106】
図13は、車両1の駐車場座標系における位置の推定が誤差を含んでいた場合における、点群地
図124Aと
図11に示した局所周辺情報122Bとの対比を示す図である。
図13では、従前の位置推定がおおよそ駐車枠の幅の1つ分ずれていたため、車両1の右側に存在する局所周辺情報122Bは、点群地
図124Aとずれが生じている。このような状態で瞬間一致度ICが算出されると(
図7のステップS642)、車両1の右側の前述のずれにより瞬間一致度ICは低い値となる。この値が閾値よりも低いと判断されると(ステップS643:NO)、駐車枠を周期的な特徴として検出し(ステップS644、S645:YES)、点群地
図124Aから駐車枠の幅(周期)が算出され(ステップS646)、駐車枠の幅の整数倍移動させて全体一致度IWが算出される(ステップS647)。
【0107】
図14(a)〜(c)は、
図13に示した局所周辺情報122Bを駐車枠の幅の整数倍移動させた場合の点群地
図124Aとの関係を示す図である。
図14(a)〜(c)ではそれぞれ、
図14に示した局所周辺情報122Bは駐車枠の幅の、+1倍、0倍、―1倍だけ図示上方に移動している。
図14(a)では局所周辺情報122Bが図示上側に駐車枠の幅の1つ分移動しており、局所周辺情報122Bと点群地
図124Aとのずれが拡大している。そのため
図14(a)における全体一致度IWは、移動させない場合よりも小さくなる。
図14(b)では局所周辺情報122Bは移動しておらず、
図13でみたように局所周辺情報122Bと点群地
図124Aは駐車枠の幅の1つ分ずれている。
図14(c)では局所周辺情報122Bが図示下側に駐車枠の幅の1つ分移動しており、局所周辺情報122Bは点群地
図124Aと略一致している。そのため
図14(c)における全体一致度IWは、移動させない場合よりも大きくなる。
【0108】
局所周辺情報122Bの移動量と全体一致度IWの増減は上述する関係にあるので、
図14に示す例では
図14(c)に対応する全体一致度IWが最大と判断され、この移動に対応する座標変換式がRAM122に記憶される(ステップS648)。このようにして車載処理装置120は推定する位置精度を向上させる。
【0109】
(動作例|実行フェーズ その1=自己位置推定モード203+自動駐車モード204)
【0110】
図15は、車両1の駐車場座標系における位置の推定が誤差を含んでいた場合における、点群地
図124Aと
図11に示した局所周辺情報122Bとの対比を示す図である。
【0111】
図15(a)は、
図9(a)に示す駐車場901における車両1の現在位置を示す図である。車両1は図示右方を向いている。
図15(b)は、車両1が
図15(a)に示した位置に到達するまでに撮影した画像から抽出された点群を、駐車場座標に変換したデータを示す図である。走行軌跡は、有効部分151と無効部分152を有しており、局所周辺情報の点群は、有効範囲153と無効範囲154に分かれている。
図15(c)は有効範囲153内の点群を用いてマッチングした結果を示している。
【0112】
図15(b)に示す例では、車両1の右旋回時に誤差が生じており、全体としての点群形状が変化している。したがって、
図15(a)に示す局所周辺情報122Bと駐車場点群とをそのまま全体でマッチングしても一致しないことが推察できる。
【0113】
本実施形態では、
図6BのステップS681の処理により、自車軌跡の有効部分151を中心として所定範囲の点群を局所周辺情報の点群の有効範囲153としている。走行軌跡の有効部分151は、自己位置から走行軌跡を逆方向に遡って、大きく旋回している部分で終了している。走行軌跡の有効部分151を中心として、所定の範囲内に入る点(有効範囲内の点)を局所周辺情報の点群として取得し、マッチングに利用する。走行軌跡の無効部分152を中心として所定の範囲内に入る点(無効範囲154内の点)は、マッチングに利用しない。したがって、正しいマッチングを実施できる。
【0114】
上述した第1の実施の形態によれば、次の作用効果が得られる。
(1)車載処理装置120は、物体の一部を表す点の第1座標系(駐車場座標系)における座標が複数含まれる点群データ(点群地
図124A)が格納される記憶部124と、車両1の周囲の情報を取得するカメラ102の出力を取得するセンサ入力部(インタフェース125)と、車両1の移動に関する情報を取得する移動情報取得部(インタフェース125)と、センサ入力部、および移動情報取得部が取得する情報に基づき、第2座標系(局所座標系)における車両の位置および物体の一部を表す点の第2座標系(局所座標系)における座標が複数含まれる局所周辺情報122Bを生成する局所周辺情報作成部と、点群地
図124Aおよび局所周辺情報122Bに基づき第1座標系と第2座標系の関係を推定し、第1座標系における車両1の位置を推定する位置推定部121Cとを備える。
【0115】
車載処理装置120は、点群地
図124Aと局所周辺情報122Bとに基づき駐車場座標系と局所座標系の座標変換式を推定し、駐車場座標系における車両1の位置を推定する。点群地
図124Aはあらかじめ記憶部124に記憶された情報であり、局所周辺情報122Bはカメラ102、車速センサ108、および舵角センサ109の出力から生成される。すなわち車載処理装置120は、記録された点群の座標系とは異なる座標系の点群の情報を取得し、異なる座標系間の対応関係に基づいて、記録された座標系における車両1の位置を推定することができる。また車載処理装置120は、点群地
図124Aと局所周辺情報122Bとに基づき駐車場座標系と局所座標系の座標変換式を推定するので、局所周辺情報122Bの点群データの一部にノイズが含まれていても影響を受けにくい。すなわち、車載処理装置120による車両1の位置推定は外乱に強い。
【0116】
(2)位置推定部121Cは、局所周辺情報122Bを構成するそれぞれの点に対応する点を点群データの中から探索し(
図7のステップS650)、対応する点同士の距離が最小になるように第1座標系と第2座標系との座標変換式を推定する(
図7のステップS651)。
【0117】
(3)位置推定部121Cは、点群データまたは局所周辺情報122Bを構成する点と、この点と対応する点までの距離があらかじめ定められた閾値よりも遠い局所周辺情報の点データを除外して、すなわちアウトライアリスト122Aを適用して(
図7のステップS641、S653)探索および推定を行う。そのため、ノイズ成分とみなすことのできる距離が離れた点群データを計算対象から除外するので、座標変換式の精度が向上することができる。
【0118】
(4)点群データ、および局所周辺情報に含まれる点は二次元空間上の座標として表される。位置推定部121Cは、対応する点同士の距離があらかじめ定められた閾値よりも遠く、かつ局所周辺情報122Bにおける空間的に端部に位置する点を除外して探索および推定を行う。
【0119】
点群地
図124Aの駐車場データに格納される点群は、ユーザが記録開始ボタン110Aを押した地点よりも駐車位置の近くのランドマークに関するものである。その地点よりも駐車領域から遠い地点で
図5に示すフローチャートの動作が開始されると、駐車場データに格納されるいずれの点とも対応しない点が局所周辺情報122Bに含まれる。そのような点を含めてICP、すなわち
図7のステップS650〜S652の処理を行うと適切な解が得られない。そこでこれらを排除することで適切な解が得られるようにする。
【0120】
(5)点群データには周期的な特徴が含まれる。位置推定部121Cは、第1座標系と第2座標系との座標変換式を推定した後に、対応する点同士の距離が短くなるように、周期的な特徴の1周期分の距離に基づき第1座標系と第2座標系との座標変換式を補正する(
図7のステップS646〜S648)。
【0121】
一般に、点群データに周期的な特徴が含まれると、その周期に相当する距離の整数倍ずれてマッチングしやすい傾向にある。一度そのようにずれてマッチングしてしまうと、繰り返し処理の性質から正しい位置へマッチングさせることが困難である。そこで繰り返し処理の解が収束した後にその周期の整数倍ずらすことでこの問題を解決する。換言すると、繰り返し計算により大域解から周期的な特徴の数周期分ずれた局所解に陥った可能性を考慮し、前述の周期の数周期分ずらすことにより大域解、または大域解により近い局所解を得ることができる。
【0122】
(6)従前に推定した第1座標系における車両の位置、センサ入力部が取得する最新の情報、および移動情報取得部が取得する最新の情報に基づき作成される第1座標系における局所周辺情報と、第1座標系における点群データとの一致度を示す指標である瞬間一致度ICが、あらかじめ定められた閾値よりも小さい場合に、位置推定部は補正を行う(
図7のステップS641A〜ステップS643)。そのため、
図7のステップS644〜S648の処理を常時実行するのではなく、その処理の必要性を検討して必要と判断される場合のみ実行する。
【0123】
(7)車載処理装置120は、センサ入力部、および移動情報取得部が取得する情報に基づき、移動体を除いた物体の一部を表す点の第3座標系(記録座標系)における座標が複数含まれる第2点群データを作成して、点群地
図124Aとして記憶部124に格納する点群取得部121Aを備える。そのため車載処理装置120は、車載処理装置120を搭載する車両1が走行する際に点群地
図124Aを作成することができる。点群地
図124Aの作成処理と車両1の位置推定処理とはランドマーク測位の点で共通しており、プログラムモジュールを共通して使用することができる。
【0124】
(8)第3座標系(記録座標系)は第2点群データの作成を開始した際の車両の位置および姿勢に基づいて設定される。点群取得部121Aは、第2点群データの作成を開始した際の車両の位置または姿勢が異なることにより座標系が異なる複数の第2点群データが得られると、車両1の駐車位置を基準として異なる座標系の関係を推定して複数の第2点群データを統合する(
図4のステップS507、S509)。そのため、点群データを取得するたびに異なる記録座標系が設定されても、複数の点群データを統合することができる。これは点群データの取得を開始する位置やその際の車両1の姿勢は様々であるが、同じ駐車位置に車両1が駐車される点に注目している。
【0125】
(9)車載処理装置120は、位置推定部121Cの出力に基づき車両を駆動し、第1座標系におけるあらかじめ指定された駐車位置に車両を移動させる車両制御装置130と、車両1の位置に関する情報(緯度経度)を受信するカーナビゲーションシステム107から車両1の緯度経度を取得する位置情報取得部(インタフェース125)とを備える。点群地
図124Aを構成する点は駐車場の構成物の一部を表す点である。記憶部124には点群データの静止物からなる駐車場の緯度経度もあわせて格納される。カーナビゲーションシステム107が測定する位置と駐車場の位置との距離の差があらかじめ定めた距離よりも短い場合に、車両制御装置130を用いて車両1を駐車位置に移動させる制御部、すなわち演算部121を備える。そのため車載処理装置120は、車両1に搭載されるいずれのセンサも駐車位置を直接観測できない遠方をスタート地点として、点群地
図124Aに含まれる駐車位置へ車両1を自動駐車することができる。
【0126】
(10)車載処理装置120は、カーナビゲーションシステム107と、カメラ102、ソナー103およびレーダ104の周囲の点群をセンシングするセンサ群とを備え、地図生成部121Bにおいて、
図2に示すような点群と緯度経度情報を紐付けしたデータフォーマットの点群地
図124Aを生成する。緯度経度情報を参照することで、周囲の点群の有無や道路地図との関係を判断でき、記憶モードや位置推定モードに自動で遷移することができる。そのためユーザがモード遷移のための操作をする必要がなくなり、記憶や自動駐車に走行しながらスムーズに移行することができる。
【0127】
上述した第1の実施の形態は、以下のように変形してもよい。
(1)車載処理装置120は、複数のカメラと接続されてもよい。車載処理装置120は、複数のカメラの撮影画像を用いることで、車両1の周辺に存在する広範囲のランドマークから点群を抽出することができる。
【0128】
(2)車載処理装置120は、車速センサ108および舵角センサ109からセンシング結果を受信しなくてもよい。この場合、車載処理装置120は、カメラ102の撮影画像を用いて車両1の移動を推定する。車載処理装置120は、ROM123に格納された内部パラメータおよび外部パラメータを用いて、被写体とカメラ102との位置関係を算出する。そして複数の撮影画像においてその被写体を追跡することにより、車両1の移動量および移動方向を推定する。
【0129】
(3)点群地
図124Aや局所周辺情報122Bなどの点群情報は3次元情報として格納されてもよい。3次元の点群情報は、2次元平面上に投影することにより第1の実施の形態と同様に2次元で他の点群と比較してもよいし、3次元同士で比較してもよい。この場合、車載処理装置120は、以下のようにランドマークの三次元点群を得ることができる。すなわち、車速センサ108および舵角センサ109の出力に基づき算出した車両1の移動量と、カメラ102が出力する複数の撮影画像とを用いて、公知のモーションステレオ技術や、そのモーション推定部分を内界センサや測位センサで補正した情報を用いることで、静止立体物の3次元点群を得ることができる。
【0130】
(4)車載処理装置120は、
図7のステップS643において、1回だけの否定判定によりステップS644に進むのではなく、数回連続で否定判定された場合にステップS644に進んでもよい。
【0131】
(5)車載処理装置120は、
図7のステップS643の判断に代えて、局所周辺情報122Bにおけるアウトライアと判断されている点の割合があらかじめ定めた閾値よりも大きいか否かを判断してもよい。その割合が閾値よりも大きい場合はステップS644に進み、その割合が閾値以下の場合はステップS650に進む。さらに車載処理装置120は、
図7のステップS643の判断に加えて前述の割合が大きい場合のみステップS644に進んでもよい。
【0132】
(6)車載処理装置120は、
図7のステップS644、S646の処理をあらかじめ行ってもよい。さらにその処理結果を記憶部124に記録してもよい。
【0133】
(7)車載処理装置120は、ユーザからの動作指令を車両1の内部に設けられた入力装置110からだけでなく、通信装置114から受信してもよい。たとえばユーザの所持する携帯端末と通信装置114が通信を行い、ユーザが携帯端末を操作することにより、車載処理装置120は自動駐車ボタン110Bが押された場合と同様の動作を行ってもよい。この場合は、車載処理装置120はユーザが車両1の内部に居る場合だけでなく、ユーザが降車した後にも自動駐車を行うことができる。
【0134】
(8)車載処理装置120は、点群地
図124Aに記録された駐車位置だけでなく、ユーザにより指定された位置に駐車を行ってもよい。ユーザによる駐車位置の指定は、たとえば車載処理装置120が表示装置111に駐車位置の候補を表示し、ユーザが入力装置110によりそのいずれかを選択することにより行われる。
【0135】
(9)車載処理装置120は、通信装置114を経由して外部から点群地
図124Aを受信してもよいし、作成した点群地
図124Aを通信装置114を経由して外部に送信してもよい。また、車載処理装置120が点群地
図124Aを送受信する相手は他の車両に搭載された別の車載処理装置120でもよいし、駐車場を管理する組織が管理する装置でもよい。
【0136】
(10)自動駐車システム100は、カーナビゲーションシステム107に代えて携帯端末を備え、携帯端末が通信を行う基地局の識別情報を緯度経度の代わりに記録してもよい。基地局の通信範囲は数百m程度に限られるので、通信を行う基地局が同一であれば同一の駐車場の可能性が高いからである。
【0137】
(11)駐車場データに含まれる周期的な特徴は駐車枠に限定されない。たとえば路面ペイントの1つである横断歩道を構成する複数の直線なども周期的な特徴である。また、駐車場データがレーザレーダなどで取得した、壁などの障害物の情報から構成される場合は、規則的に並んだ柱も周期的な特徴である。
【0138】
(12)上述した実施の形態では移動体である車両や人間はランドマークに含めなかったが、移動体をランドマークに含めてもよい。その場合は移動体であるランドマークと移動体以外のランドマークを識別可能に記憶してもよい。
【0139】
(13)車載処理装置120は、記録モードにおいて、検出したランドマークを識別し、それぞれのランドマークの識別結果を点群地
図124Aに併せて記録してもよい。ランドマークの識別には、撮影画像から得られるランドマークの形状情報や色情報、さらに公知のモーションステレオ技術によるランドマークの立体形状情報が用いられる。ランドマークはたとえば、駐車枠、駐車枠以外の路面ペイント、縁石、ガードレール、壁、などのように識別される。さらに車載処理装置120は、移動体である車両や人間をランドマークに含め、他のランドマークと同様に識別結果を点群地
図124Aに併せて記録してもよい。この場合は車両と人間をあわせて「移動体」として識別および記録してもよいし、車両と人間を個別に識別および記録してもよい。
【0140】
以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。