(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0008】
(第1の実施の形態)
以下、
図1〜
図13を参照して、本発明にかかる車載処理装置の第1の実施の形態を説明する。
図1は、本発明にかかる車載処理装置を含む自動駐車システム100の構成図である。自動駐車システム100は、車両1に搭載される。自動駐車システム100は、センサ群102、107〜109と、入出力装置群110、111、114と、車両1を制御する制御装置群130〜133と、車載処理装置120とから構成される。センサ群、入出力装置群、および制御装置群は車載処理装置120と信号線で接続され、車載処理装置120と各種データを授受する。
【0009】
車載処理装置120は、演算部121と、RAM122と、ROM123と、記憶部124と、インタフェース125とを備える。演算部121はCPUである。FPGAなど他の演算処理装置で全部または一部の演算処理を実行するように構成してもよい。RAM122は読み書き込み可能な記憶領域であり、車載処理装置120の主記憶装置として動作する。RAM122には、後述するアウトライアリスト122A、および後述する局所周辺情報122Bが格納される。ROM123は読み取り専用の記憶領域であり、後述するプログラムが格納される。このプログラムはRAM122で展開されて演算部121により実行される。演算部121は、プログラムを読み込んで実行することにより、点群データ取得部121A、局所周辺情報作成部121B、および位置推定部121Cとして動作する。
【0010】
記憶部124は不揮発性の記憶装置であり、車載処理装置120の補助記憶装置として動作する。記憶部124には、駐車場点群124Aが格納される。駐車場点群124Aとは、1または複数の駐車場データである。駐車場データとは、ある駐車場の位置情報、すなわち緯度・経度、駐車領域を示す座標、およびその駐車場に存在するランドマークを構成する点の座標の集合である。ランドマークについては後述する。インタフェース125は、車載処理装置120と自動駐車システム100を構成する他の機器との情報の授受を行う。
【0011】
センサ群は、車両1の周囲を撮影するカメラ102と、GPS受信機107と、車速センサ108と、舵角センサ109とを含む。
【0012】
カメラ102は、撮影して得られた画像(以下、撮影画像)を車載処理装置120に出力する。車載処理装置120は、カメラ102の撮影画像を用いて後述するランドマークの測位を行う。カメラ102の焦点距離や撮像素子サイズなどの内部パラメータ、および車両1へのカメラ102の取り付け位置や取り付け姿勢である外部パラメータは既知であり、ROM123にあらかじめ保存されている。車載処理装置120は、ROM123に格納された内部パラメータおよび外部パラメータを用いて、被写体とカメラ102との位置関係を算出することができる。
【0013】
GPS受信機107は、衛星航法システムを構成する複数の衛星から信号を受信し、受信した信号に基づく演算によりGPS受信機107の位置、すなわち緯度および経度を算出する。なおGPS受信機107により算出される緯度および経度の精度は高精度でなくてもよく、たとえば数m〜10m程度の誤差が含まれてもよい。GPS受信機107は、算出した緯度および経度を車載処理装置120に出力する。
【0014】
車速センサ108、および舵角センサ109はそれぞれ、車両1の車速と舵角を測定し車載処理装置120に出力する。車載処理装置120は、車速センサ108および舵角センサ109の出力を用いて公知のデッドレコニング技術によって、車両1の移動量および移動方向を算出する。
【0015】
入力装置110には、ユーザによる車載処理装置120への動作指令が入力される。入力装置110は、記録開始ボタン110Aと、記録完了ボタン110Bと、自動駐車ボタン110Cとを含む。表示装置111はたとえば液晶ディスプレイであり、車載処理装置120から出力される情報が表示される。なお、入力装置110と表示装置111とが一体として、たとえばタッチ操作に対応する液晶ディスプレイとして構成されてもよい。この場合は、液晶ディスプレイの所定の領域がタッチされることにより、記録開始ボタン110A、記録完了ボタン110B、または自動駐車ボタン110Cが押されたと判断してもよい。
【0016】
通信装置114は、車両1の外部の機器と車載処理装置120とが無線で情報を授受するために用いられる。例えば、ユーザが車両1の外にいるときに、ユーザが身に着けている携帯端末と通信を行い情報を授受する。通信装置114が通信を行う対象はユーザの携帯端末に限定されない。
【0017】
車両制御装置130は、車載処理装置120の動作指令に基づき、操舵装置131、駆動装置132、および制動装置133を制御する。操舵装置131は、車両1のステアリングを操作する。駆動装置132は、車両1に駆動力を与える。駆動装置132はたとえば、車両1が備えるエンジンの目標回転数を増加させることにより車両1の駆動力を増加させる。制動装置133は、車両1に制動力を与える。
【0018】
(ランドマーク測位)
ランドマークとはセンサにより識別可能な特徴を有する物体であり、たとえば路面ペイントの1種である駐車枠線や、車両の走行の妨げとなる障害物である建物の壁などである。本実施の形態では、移動体である車両や人間はランドマークに含めない。車載処理装置120は、カメラ102から入力される情報に基づき、車両1の周辺に存在するランドマーク、すなわちセンサにより識別可能な特徴を有する点を検出する。以下では、外界センサ、すなわちカメラ102から入力される情報に基づくランドマークの検出を「ランドマーク測位」と呼ぶ。
【0019】
車載処理装置120は、カメラ102の撮影画像を対象に、以下のように画像認識プログラムを動作させることで駐車枠などの路面ペイントなどを検出する。駐車枠の検出は、まず入力画像からソーベルフィルタなどでエッジを抽出する。次に、たとえば白から黒への変化であるエッジの立ち上がりと、黒から白への変化であるエッジの立ち下がりのペアを抽出する。そしてこのペアの間隔が、あらかじめ定めた第1の所定の距離、すなわち駐車枠を構成する白線の太さと略一致すると、このペアを駐車枠の候補とする。同様の処理により駐車枠の候補を複数検出し、駐車枠の候補同士の間隔があらかじめ定めた第2の所定の距離、すなわち駐車枠の白線の間隔と略一致すると、それらを駐車枠として検出する。駐車枠以外の路面ペイントは以下の処理を実行する画像認識プログラムで検出される。まず入力画像からソーベルフィルタなどでエッジを抽出する。エッジ強度があらかじめ定めた一定の値よりも大きく、エッジ同士の間隔が白線の幅に相当するあらかじめ定めた距離である画素を探索することにより検出できる。
【0020】
車載処理装置120はたとえば既知のテンプレートマッチングにより車両や人間を検出し、測定結果から除外する。また、以下のようにして検出した移動体を測定結果から除外してもよい。すなわち車載処理装置120は、内部パラメータおよび外部パラメータを用いて撮影画像における被写体とカメラ102との位置関係を算出する。次に車載処理装置120は、カメラ102が連続して取得した撮影画像において被写体を追跡することで車両1と被写体の相対的な速度を算出する。最後に車載処理装置120は、車速センサ108および舵角センサ109の出力を用いて車両1の速度を算出し、被写体との相対的な速度と一致しなければ被写体が移動体であると判断し、この移動体に関する情報を測定結果から除外する。
【0021】
(駐車場点群124A)
図2は、記憶部124に格納される駐車場点群124Aの一例を示す図である。
図2では、駐車場点群124Aとして2つの駐車場データが格納されている例を示している。1つの駐車場データは、その駐車場の位置、すなわち緯度および経度(以下、緯度経度と呼ぶ)と、駐車領域の座標と、ランドマークを構成する点の二次元平面上の座標とから構成される。駐車場の位置とは、たとえば駐車場の入り口付近、駐車場の中央付近、または駐車位置の緯度経度である。駐車領域の座標、およびランドマークを構成する点の座標は、その駐車場データに固有の座標系における座標である。以下では駐車場データにおける座標系を「駐車場座標系」と呼ぶ。駐車場座標系は、たとえば記録開始時の車両1の座標が原点とされ、記録開始時の車両1の進行方向がY軸、記録開始時の車両1の右方向がX軸とされる。駐車領域の座標は、たとえば駐車領域を矩形とした場合にその矩形領域の4つの頂点の座標として記録される。ただし、駐車領域は矩形に限定されず矩形以外の多角形や楕円形状でもよい。
【0022】
(アウトライアリスト122A)
アウトライアリスト122Aには、車載処理装置120が処理対象外とする局所周辺情報122Bの点の情報が格納される。アウトライアリスト122Aは、後述するように車載処理装置120により適宜更新される。
【0023】
(局所周辺情報122B)
局所周辺情報122Bには、車載処理装置120が後述する自動駐車フェーズにおいて検出したランドマークを構成する点の座標が格納される。この座標は局所周辺情報122Bの記録を開始した際の車両1の位置および姿勢を基準に、たとえばその位置を原点とし、車両1の進行方向をY軸とし、進行方向右をX軸とする座標系である。この座標系を以下では「局所座標系」と呼ぶ。
【0024】
(車載処理装置120の動作概要)
車載処理装置120は、主に2つの動作フェーズ、すなわち記録フェーズと自動駐車フェーズを有する。車載処理装置120はユーザからの特別の指示がなければ自動駐車フェーズで動作する。すなわち、記録フェーズはユーザの指示で開始される。
【0025】
記録フェーズではユーザにより車両1が運転され、車載処理装置120は車両1が備えるセンサからの情報に基づき駐車場データ、すなわち駐車場に存在する白線や障害物の情報、および駐車位置の情報を収集する。車載処理装置120は、収集した情報を駐車場点群124Aとして記憶部124に格納する。
【0026】
自動駐車フェーズでは車載処理装置120により車両1が制御され、記憶部124に格納された駐車場点群124A、および車両1が備えるセンサからの情報に基づき、あらかじめ定められた駐車位置に車両1が駐車される。車載処理装置120は、センサからの情報に基づき車両1の周囲に存在する白線や障害物を検出し、駐車場点群124Aと照合することにより現在位置を推定する。すなわち車載処理装置120はGPS受信機107から得られる情報を用いることなく、駐車場座標系における車両1の現在位置を推定する。以下では記録フェーズと自動駐車フェーズを詳しく説明する。
【0027】
(記録フェーズ)
ユーザは駐車場の入り口付近で記録開始ボタン110Aを押し、車載処理装置120に記録フェーズの動作を開始させる。その後ユーザは自らの運転により車両1を駐車位置まで移動させ、停車後に記録完了ボタン110Bを押し、車載処理装置120に記録フェーズの動作を終了させる。
【0028】
車載処理装置120は、ユーザにより記録開始ボタン110Aが押されると記録フェーズの動作を開始し、ユーザにより記録完了ボタン110Bが押されると記録フェーズの動作を終了する。車載処理装置120による記録フェーズの動作は、ランドマークを構成する点群の抽出と抽出した点群の記録の2つに分けられる。
【0029】
車載処理装置120による点群の抽出処理を説明する。
車載処理装置120は、ユーザにより記録開始ボタン110Aが押されると、RAM122に一時的な記録領域を確保する。そして車載処理装置120は、記録完了ボタン110Bが押されるまで以下の処理を繰り返す。すなわち車載処理装置120は、カメラ102の撮影画像に基づきランドマークを構成する点群を抽出する。また車載処理装置120は、車速センサ108および舵角センサ109の出力に基づき、カメラ102が前回撮影してから今回撮影するまでに車両1が移動した移動量および移動方向を算出する。そして車載処理装置120は、車両1との位置関係、および車両1の移動量や移動方向に基づき抽出した点群をRAM122に記録する。車載処理装置120はこの処理を繰り返す。
【0030】
車両1の位置、および点群の座標は、記録座標系の座標値として記録される。「記録座標系」は、たとえば記録を開始した際の車両1の位置を原点(0、0)とし、記録開始時の車両1の進行方向(姿勢)をY軸、記録開始時の車両1の右方向をX軸とした座標系の座標値として扱われる。そのため同一の駐車場において点群を記録しても、記録を開始した際の車両1の位置や姿勢により設定される記録座標系が異なるので、異なる座標にランドマークを構成する点群が記録される。
【0031】
ユーザは車両を目的の駐車位置に駐車させて記録完了ボタン110Bを操作する。車載処理装置120は、記録完了ボタン110Bが押されると現在位置を駐車位置としてRAM122に記録する。駐車位置はたとえば車両1を矩形に近似した際の四隅の座標として記録される。さらに車載処理装置120は、GPS受信機107が出力する緯度経度を駐車場の座標としてあわせて記録する。次に車載処理装置120は以下のように点群の記録処理を行う。ただし記録開始ボタン110Aが押された際にGPS受信機107が出力する緯度経度を駐車場の座標として記録してもよい。
【0032】
車載処理装置120は、記録完了ボタン110Bの操作によりに記録した駐車場の座標、すなわち緯度経度が、すでに駐車場点群124Aに記録されているいずれかの駐車場の座標と略一致するか否かを判断する。両者が略一致しない場合は、車載処理装置120はRAM122に保存した点群の情報を、新たな駐車場データとして駐車場点群124Aに記録する。両者が略一致する場合は、車載処理装置120は駐車場の座標が略一致する点群の情報を1つの駐車場の点群としてマージするか否かを判断する。この判断のために車載処理装置120はまず、駐車場データに含まれる駐車位置と、RAMに記録した駐車位置が一致するように座標変換を行い、次に駐車場点群124Aの点群とRAM122に保存した点群との一致度である点群一致度を算出する。そして車載処理装置120は、算出された点群一致度が閾値よりも大きければ両者を統合すると判断し、閾値以下であれば統合しないと判断する。点群一致度の算出については後述する。
【0033】
車載処理装置120は、統合しないと判断した場合はRAM122に保存した点群を新たな駐車場データとして駐車場点群124Aに記録する。車載処理装置120は、統合すると判断した場合は、駐車場点群124Aの既存の駐車場データにRAM122に保存した点群を追加する。
【0034】
(記録フェーズのフローチャート)
図3は、車載処理装置120の記録フェーズの動作を表すフローチャートである。以下に説明する各ステップの実行主体は車載処理装置120の演算部121である。演算部121は、
図3に示す処理を行う場合に点群データ取得部121Aとして機能する。
【0035】
ステップS501では、記録開始ボタン110Aが押されたか否かが判断される。記録開始ボタン110Aが押されたと判断する場合はステップS501Aに進み、押されていないと判断する場合はステップS501に留まる。ステップS501Aでは、RAM122に新たな記録領域を確保する。この記憶領域には、抽出した点群と車両1の現在位置が前述の記録座標系の座標で記録される。
【0036】
ステップS502では、センサ群から情報を取得して前述のランドマーク測位、すなわちカメラ102の撮影画像を用いたランドマークを構成する点群の抽出を行う。続くステップS503では、カメラ102が前回撮影してから最新の撮影を行うまでの時間における車両1の移動量を推定し、RAM122に記録した記録座標系における車両1の現在位置を更新する。車両1の移動量は複数の手段により推定可能であり、たとえば前述のようにカメラ102の撮影画像における路面に存在する被写体の位置の変化から車両1の移動量を推定できる。また、GPS受信機107として誤差が小さい高精度なGPS受信機が搭載されている場合には、その出力を利用してもよい。次にステップS504に進む。
【0037】
ステップS504では、ステップS502において抽出した点群を、ステップS503において更新した現在位置に基づき、記録座標系の座標としてRAM122に保存する。続くステップS505では、記録完了ボタン110Bが押されたか否かを判断し、記録完了ボタン110Bが押されたと判断する場合はステップS505Aに進み、記録完了ボタン110Bが押されていないと判断する場合はステップS502に戻る。ステップS505Aでは、GPS受信機107から車両1の現在の緯度経度を取得するとともに、駐車位置、すなわち車両1の現在位置であって車両1の四隅の記録座標系における座標を記録する。次にステップS506に進む。
【0038】
ステップS506では、ステップS505Aにおいて取得した車両1の現在の緯度経度と略一致する緯度経度を有する駐車場データが、駐車場点群124Aに記録されているか否かを判断する。車両1の現在の緯度経度が駐車場点群124Aに記録されているいずれかの駐車場データの緯度経度と略一致すると判断する場合はステップS507に進み、それ以外の場合はステップS510に進む。以下では、車両1の現在の緯度経度と緯度経度が略一致すると判断された駐車場点群124Aの駐車場データをターゲット駐車場データと呼ぶ。
【0039】
ステップS507では、駐車位置を基準として、RAM122に保存した点群データの座標系である記録座標系をターゲット駐車場データの点群データの座標系に変換する。すなわち、ターゲット駐車場データに含まれる駐車位置と、ステップS505Aにおいて記録した駐車位置が一致するように記録座標系と駐車場座標系の座標変換式を導出する。そしてこの座標変換式を用いて、RAM122に記録座標系で保存されたランドマークを構成する点の座標をターゲット駐車場データの駐車場座標系に変換する。
【0040】
続くステップS507Aでは、RAM122に保存された点群データとターゲット駐車場データの点群一致率IBを算出する。点群一致率IBは以下の式1により算出される。
IB= 2*Din/(D1+D2) ・・・式1
【0041】
ただし式1において「Din」は、ステップS507において座標変換した点群データの各点と、ターゲット駐車場データの点群データの各点の距離が所定の距離以内の点の数である。また式1において「D1」はRAM122に保存された点群データにおける点の数、「D2」はターゲット駐車場データの点群データにおける点の数である。次にステップS508に進む。
【0042】
ステップS508では、ステップS507Aにおいて算出した点群一致率が所定の閾値よりも大きいか否かを判断する。閾値よりも大きいと判断する場合はステップS509に進み、閾値以下であると判断する場合はステップS510に進む。
【0043】
ステップS509では、マージ処理、すなわち記憶部124に格納された駐車場点群124Aのターゲット駐車場データに、ステップS507において座標変換した点群データを追加する。ステップS506またはステップS508において否定判断された場合に実行されるステップS510では、RAM122に保存した点群データ、およびステップS505Aにおいて記録した車両1の緯度経度、および駐車位置を新たな駐車場データとして駐車場点群124Aに記録する。以上で
図3のフローチャートを終了する。
【0044】
(自動駐車フェーズ)
ユーザが車両1を運転して駐車場点群124Aに記録されているいずれかの駐車場の付近まで移動させると、表示装置111に自動駐車可能な旨が表示される。この際にユーザが自動駐車ボタン110Cを押すと、車載処理装置120による自動駐車処理が開始される。
車載処理装置120の動作をフローチャートを用いて以下説明する。
【0045】
(自動駐車処理の全体フロー)
図4は、車載処理装置120の自動駐車フェーズの全体動作を表すフローチャートである。以下に説明する各ステップの実行主体は車載処理装置120の演算部121である。
【0046】
車載処理装置120は、まずGPS受信機107を用いて現在の緯度経度を測位し(ステップS601)、その緯度経度が、駐車場点群124Aのいずれかの駐車場データの緯度経度と略一致するか否かを判定する。換言すると車両1の位置から所定の距離以内に存在する駐車場の有無を判断する(ステップS602)。いずれかの駐車場データの緯度経度と車両1の緯度経度が略一致すると判断する場合はステップS603に進み、いずれの駐車場データの緯度経度とも略一致しないと判断する場合はステップS601に戻る。なおステップS601に戻る場合は、ユーザの運転により車両1が移動することによりステップS602において肯定判断される可能性がある。
【0047】
そして車載処理装置120は、駐車場点群124Aに含まれる複数の駐車場データのうち、車両1の現在位置と略一致する緯度経度を有する駐車場データを特定する(ステップS603)。次に車載処理装置120は、初期化処理としてRAM122に格納される局所周辺情報122Bの初期化、およびRAM122に保存される車両1の現在位置の初期化を行う。具体的には従前の情報が記録されていたら消去し、新たな座標系を設定する。本実施の形態では、この座標系を局所座標系と呼ぶ。この局所座標系はステップS603Aが実行された際の車両1の位置および姿勢に基づき設定される。たとえばステップS603Aが実行された際の車両1の位置が局所座標系の原点に設定され、ステップS603Aが実行された際の向きによりX軸およびY軸が設定される。また車両1の現在位置の初期化は、車両1の現在位置が原点(0、0)に設定される。
【0048】
次に、
図5に示す手順により自己位置推定、すなわち車両1の駐車場座標系における位置を推定し(ステップS604)、ステップS605では自己位置が推定できたか否かを判断する。推定できたと判断する場合はステップS606に進み、推定できないと判断する場合はステップS604に戻る。
ステップS606では、車載処理装置120は表示装置111に自動駐車が可能な旨を表示し、続くステップS607ではユーザにより自動駐車ボタン110Cが押されたか否かを判断する。自動駐車ボタン110Cが押されたと判断する場合はステップS608に進んで
図7に示す手順により自動駐車処理を実行し、自動駐車ボタン110Cが押されていないと判断する場合はステップS606に戻る。
【0049】
図5を参照して
図4のステップS604において実行される自己位置推定処理の詳細を説明する。演算部121は、
図5のステップS621〜S623に示す処理を行う場合に局所周辺情報作成部121Bとして機能する。
ステップS621のランドマーク測位、ステップS622の自車移動量推定、およびステップS623の局所周辺情報122Bの記録はそれぞれ、
図2のステップS502〜S504の処理と概ね同じである。相違点はRAM122に記憶されるデータが局所周辺情報122Bとして記録される点である。ステップS623の実行が完了すると、車載処理装置120は
図6に詳細を示すマッチング処理を行う(ステップS624)。このマッチング処理では、駐車場座標系と局所座標系との対応関係、すなわち駐車場座標系と局所座標系との座標変換式が得られる。続くステップS625では車載処理装置120は、ステップS622において更新した局所座標系における車両1の座標と、ステップS625において得られた座標変換式を用いて、駐車場座標系における車両1の座標、すなわち自己位置を算出する。次にステップS626に進む。
【0050】
ステップS626において車載処理装置120は、ステップS625において算出した位置の信頼性を判断する自己診断を実行する。自己診断は、例えば以下の3つの指標を用いて判断される。
第1の指標では、車速センサ108および舵角センサ109の出力を用いて公知のデッドレコニング技術によって推定した車両1の移動量と、自己位置推定によって推定された所定期間における移動量を比較し、あらかじめ定めた閾値よりも差が大きい場合は信頼度が低いと判断する。
第2の指標では、マッチング時に計算される対応点の誤差量で判断する。誤差量があらかじめ定めた閾値よりも大きい場合は信頼度が低いと判断する。
第3の指標では、類似解があるか否かの判定を実施する。得られた解から駐車枠の幅分並進するなど、類似解を探索した場合に、対応点誤差が一定以内の点が同じくらいの数あった場合は、信頼度が低いと判断する。これら3つの指標のすべてで信頼度が低いと判断されなかった場合に自己位置が推定できたと判断する。
【0051】
図6を参照して
図5のステップS624において実行されるマッチング処理の詳細を説明する。演算部121は、
図6に示す処理を行う場合に位置推定部121Cとして機能する。
ステップS641ではRAM122に格納されたアウトライアリスト122Aを局所周辺情報122Bに対して適用し、局所周辺情報122Bに含まれる点群のうちアウトライアリスト122Aに記載された点を一時的に処理対象外とする。この適用範囲はステップS642〜S653であり、ステップS654では従前にアウトライアリスト122Aに含まれていた点も対象となる。ただし
図6に示すフローチャートの初回実行時にはステップS641〜S643が実行できないため、ステップS650から実行を開始する。次にステップS641Aに進む。
【0052】
ステップS641Aでは、最新の撮影画像から検出した点群、すなわち
図5のステップS621において検出したランドマークを構成する点群の座標を、駐車場座標系の座標に変換する。この変換は、ステップS622において更新された車両1の局所座標系における位置、および前回算出した局所座標系から駐車場座標系への座標変換式を用いることにより実現される。
【0053】
続くステップS642では瞬間一致度ICが算出される。瞬間一致度ICは、以下の式2により算出される。
IC= DIin/DIall ・・・式2
ただし式2において「DIin」は、ステップS641Aにおいて駐車場座標系に変換された最新の撮影画像から検出された点群のうち、最も近い駐車場点群124Aを構成する点までの距離があらかじめ定めた閾値以下の点の数である。また式2において「DIall」は、ステップS621において検出された点群の数である。次にステップS643に進む。
【0054】
ステップS643では、ステップS642において算出した瞬間一致度ICが閾値よりも大きいか否かを判断する。瞬間一致度ICが閾値よりも大きいと判断する場合はステップS650に進み、瞬間一致度ICが閾値以下であると判断する場合はステップS644に進む。
【0055】
ステップS644では、駐車場点群124Aの対象となる駐車場データ、すなわち点群データから周期的な特徴、たとえば複数並んだ駐車枠を検出する。前述のように、駐車場点群に含まれる点群は画像のエッジなどを抽出して得られるので、白線の太さに相当する間隔で並ぶ点から駐車枠線を検出できる。続くステップS645では、ステップS644において周期的特徴を検出したか否かを判断し、検出したと判断する場合はステップS646に進み、検出できなかったと判断する場合はステップS650に進む。ステップS646では周期的な特徴の周期、たとえば駐車枠の幅を算出する。ここでいう駐車枠の幅とは、駐車枠を構成する白線同士の間隔である。次にステップS647に進む。
【0056】
ステップS647では、前回のステップS653において算出された座標変換式を基準として、この座標変換式を複数とおりに変化させて全体一致度IWをそれぞれ算出する。座標変換式は、駐車場点群が検出した周期的特徴の整数倍ずれるように複数とおりに変化させる。全体一致度IWは、以下の式3により算出される。
IW= DWin/DWall ・・・式3
【0057】
ただし式3において「DWin」は、前述の座標変換式を用いて局所周辺情報122Bを構成する点を駐車場座標系に変換した点のうち、最も近い駐車場点群124Aを構成する点までの距離があらかじめ定めた閾値以下の点の数である。また式2において「DWall」は、ステップS621において検出された点の数である。次にステップS648に進む。
【0058】
ステップS648では、ステップS647において算出した複数の全体一致度IWのうち、最大の全体一致度IWを与える座標変換式をRAM122に記憶してステップS650に進む。
【0059】
ステップS650における対応付け処理、ステップS651における誤差最小化処理、およびステップS625における収束判定処理は既知の点群マッチング技術であるICP(Iterative Closest Point)アルゴリズムを利用することができる。ただしステップS650における初期値の設定は本実施の形態に特有なので詳しく説明し、他は概略のみ説明する。
【0060】
ステップS643において肯定判定された場合、ステップS645において否定判定された場合、ステップS648の実行が終わった場合、またはステップS652において否定判定された場合に実行されるステップS650では、駐車場点群124Aの駐車場データに含まれる点群と局所周辺情報122Bに含まれる点群との対応付けが算出される。ステップS643またはステップS648の次に実行される場合は、局所周辺情報122Bの点群データはRAM122に記録された座標変換式を用いて座標変換された値を用いる。すなわち、ステップS643において肯定判定されてステップS650が実行される場合には、前回実行されたステップS653において算出された座標変換式が使用される。一方、ステップS648の次にステップS650が実行される場合は、ステップS648において記憶された座標変換式が使用される。次にステップS651に進む。
【0061】
ステップS651では、対応点の誤差が最小となるように座標変換式が変更される。たとえば、ステップS650において対応付けられた点同士の距離の指標の和が最小となるように座標変換式が変更される。対応付けられた点同士の距離の指標の和として距離の絶対値の和を採用することができる。続くステップS652では、誤差が収束したか否かを判断し、収束したと判断する場合はステップS653に進み、収束していないと判断する場合はステップS650に戻る。続くステップS653では、最後にステップS651において変更された座標変換式をRAM122に保存してステップS654に進む。
【0062】
ステップS654では、次のようにアウトライアリスト122Aを更新する。まずRAM122に格納されている既存のアウトライアリスト122Aをクリアする。次に局所周辺情報122Bの点群をステップ653において記録した座標変換式を用いて駐車場座標系に変換し、局所周辺情報122Bを構成するそれぞれの点とその点が対応する駐車場点群124Aを構成する点までの距離、すなわちユークリッド距離を算出する。そして、算出された距離があらかじめ定められた距離よりも長い場合は、その局所周辺情報122Bの点をアウトライアリスト122Aに加える。ただしこのときに、空間的に端部に位置することをアウトライアリスト122Aに加えるさらなる条件としてもよい。空間的な端部とは、記録を開始した際に取得された点など、他の点までの距離が遠い点である。以上の処理によりアウトライアリスト122Aが更新される。以上で
図6のフローチャートを終了する。
【0063】
図7を参照して
図4のステップS608において実行される自動駐車処理の詳細を説明する。以下に説明する各ステップの実行主体は車載処理装置120である。
ステップS661では、駐車場座標系における車両1の位置を推定する。本ステップにおける処理は
図4のステップS604と同様なので説明を省略する。続くステップS662では、ステップS661において推定した位置から、駐車場点群124Aに格納されている駐車位置までの走行経路を既知の経路生成手法により生成する。次にステップS663に進む。
【0064】
ステップS663では、車両制御装置130を介して操舵装置131、駆動装置132、および制動装置133を制御し、ステップS662において生成した経路に沿って車両1を駐車位置まで移動させる。ただし自動駐車ボタン110Cがユーザにより押され続けている場合だけ駆動装置132に動作指令を出力してもよい。また、カメラ102の撮影画像から人物や移動車両などが抽出されたら制動装置133を動作させて車両1を停止させる。続くステップS664ではステップS661と同様に車両1の位置を推定する。続くステップS665では駐車が完了したか否か、すなわち車両1が駐車位置に到達したか否かを判断し、駐車が完了していないと判断する場合はステップS663に戻り、駐車が完了したと判断する場合は
図7のフローチャートを終了する。
【0065】
(動作例)
図8〜
図13を参照して、記録フェーズ、および自動駐車フェーズの具体的な動作を説明する。
図8(a)は、駐車場901の一例を示す平面図である。駐車場901は建物902の周囲に設けられる。駐車場901の出入り口は図示左下が1か所だけある。
図8(a)に示す四角は路面ペイントである駐車枠を表しており、ハッチングで示す駐車枠903が車両1の駐車領域(駐車が完了した際に駐車位置となる領域)である。本動作例では、ランドマークは駐車枠線のみとして説明する。本動作例では
図8(a)に示すように車両1を三角形で示し、三角形の鋭角が車両1の進行方向を示す。
【0066】
(動作例|記録フェーズ その1)
ユーザが駐車場901の入り口付近で記録開始ボタン110Aを押すと、車載処理装置120はランドマーク測位を開始し、駐車枠線を構成する点の座標を記録する(
図3のステップS501:YES、S502〜S504)。そして車両1記録完了ボタン110Bが押されるまで、
図3のステップS502〜S504の処理を繰り返す。
【0067】
図8(b)は、RAM122に保存されるランドマークの点群を可視化した図である。
図8(b)において、実線はRAM122に保存されたランドマークの点群を表し、破線はRAM122に保存されていないランドマークを示す。車両1のカメラ102は撮影可能な範囲に限界があるため、
図8(b)に示すように車両1が駐車場901の入り口付近にいる際は駐車場901の入り口付近の駐車枠線だけが記録される。ユーザが車両1を駐車場901の奥まで移動させると、車載処理装置120は駐車場901の全体のランドマークの点群を記録することができる。
【0068】
ユーザが車両1を駐車枠903の中に停車させて記録完了ボタン110Bを押すと、車載処理装置120はGPS受信機107から車両1の緯度経度を取得するとともに、車両1の四隅の座標を記録する(ステップS505:YES、S505A)。駐車場点群124Aに車両1の現在の緯度経度と略一致する緯度経度が記録されていない場合は(S506:NO)、RAM122に保存した点群を駐車場点群124Aを構成する新たなデータ、すなわち新たな駐車場データとして記録する。
【0069】
(動作例|記録フェーズ その2)
別な例として、
図9(a)に示す点群データが駐車場点群124Aの駐車場データとして記録されており、新たに
図9(b)に示す点群データが得られた場合を説明する。
図9(a)に示す点群データは、たとえば
図8(a)に示した駐車場901の入り口から右寄りを走行して駐車位置まで到達した場合に得られた点群データである。
図8(a)に比べて右寄りを走行したので、
図9(a)に点線で示した駐車枠の点群データが取得されていない。
図9(b)に示す点群データは、たとえば駐車場901の入り口から左寄りを走行して駐車位置まで到達した場合に得られた点群データである。
図8(a)に比べて左寄りを走行したので、
図9(b)に点線で示した駐車枠の点群データが取得されていない。また
図9(b)に示す点群データは、ユーザが記録開始ボタン110Aを押した際に車両1が駐車場901と正対していなかったので、
図9(a)に比べて駐車場901が傾いているように記録されている。
【0070】
このような状態においてユーザが記録完了ボタン110Bを押したとき、駐車場点群124Aに車両1の現在の緯度経度と略一致する緯度経度が記録されていると判断されると(S506:YES)、
図9(a)と
図9(b)の駐車位置、すなわち駐車枠903を基準に座標変換が行われる(ステップS507)。そして点群一致率IBを算出し(ステップS507A)、その点群一致率IBが所定の閾値よりも大きいと判断されると(ステップS508:YES)、
図9(a)に示す点群データに
図9(b)に示す点群データが統合される(ステップS509)。この統合により、
図9(a)では記録されていなかった図示左側の駐車枠線の点群が新たに記録されるとともに、すでに記録されていた図示右側や図示上部の駐車枠線を構成する点群は記録される点群の密度が濃くなる。
【0071】
(動作例|実行フェーズ)
実行フェーズにおけるマッチング処理の動作例を説明する。この動作例では、あらかじめ駐車場点群124Aには
図8(a)に示した駐車場901の全体に相当する点群データが格納されている。
【0072】
図10は、
図8(a)に示す駐車場901における車両1の現在位置を示す図である。車両1は図示上方を向いている。
図11〜
図12では、車両1の前方領域である
図10において破線の丸で囲む部分の駐車枠線を示す。
【0073】
図11は、車両1が
図10に示した位置において撮影した画像から抽出された点群を、駐車場座標に変換したデータを示す図である。すなわち、
図11に示す点群は局所周辺情報122Bのうち、最新の撮影画像から検出された点群であり
図6のステップS641Aにおいて処理されたデータである。ただし
図11では点ではなく破線として表している。また
図11では
図10との対比のために車両1もあわせて表示している。
図11に示すように、車両1の左側には駐車枠線の点群データが切れ目なく存在しており、車両1の右側では駐車枠線の点群データが手前側にのみ存在する。
【0074】
図12は、車両1の駐車場座標系における位置の推定が誤差を含んでいた場合における、駐車場点群124Aと
図11に示した局所周辺情報122Bとの対比を示す図である。
図12では、従前の位置推定がおおよそ駐車枠の幅の1つ分ずれていたため、車両1の右側に存在する局所周辺情報122Bは、駐車場点群124Aとずれが生じている。このような状態で瞬間一致度ICが算出されると(
図6のステップS642)、車両1の右側の前述のずれにより瞬間一致度ICは低い値となる。この値が閾値よりも低いと判断されると(ステップS643:NO)、駐車枠を周期的な特徴として検出し(ステップS644、S645:YES)、駐車場点群124Aから駐車枠の幅が算出され(ステップS646)、駐車枠の幅の整数倍移動させて全体一致度IWが算出される(ステップS647)。
【0075】
図13(a)〜(c)は、
図13に示した局所周辺情報122Bを駐車枠の幅の整数倍移動させた場合の駐車場点群124Aとの関係を示す図である。
図13(a)〜(c)ではそれぞれ、
図13に示した局所周辺情報122Bは駐車枠の幅の、+1倍、0倍、―1倍だけ図示上方に移動している。
図13(a)では局所周辺情報122Bが図示上側に駐車枠の幅の1つ分移動しており、局所周辺情報122Bと駐車場点群124Aとのずれが拡大している。そのため
図13(a)における全体一致度IWは、移動させない場合よりも小さくなる。
図13(b)では局所周辺情報122Bは移動しておらず、
図12でみたように局所周辺情報122Bと駐車場点群124Aは駐車枠の幅の1つ分ずれている。
図13(c)では局所周辺情報122Bが図示下側に駐車枠の幅の1つ分移動しており、局所周辺情報122Bは駐車場点群124Aと略一致している。そのため
図13(c)における全体一致度IWは、移動させない場合よりも大きくなる。
【0076】
局所周辺情報122Bの移動量と全体一致度IWの増減は上述する関係にあるので、
図13に示す例では
図13(c)に対応する全体一致度IWが最大と判断され、この移動に対応する座標変換式がRAM122に記憶される(ステップS648)。このようにして車載処理装置120は推定する位置精度を向上させる。
【0077】
上述した第1の実施の形態によれば、次の作用効果が得られる。
(1)車載処理装置120は、物体の一部を表す点の第1座標系(駐車場座標系)における座標が複数含まれる点群データ(駐車場点群124A)が格納される記憶部124と、車両1の周囲の情報を取得するカメラ102の出力を取得するセンサ入力部(インタフェース125)と、車両1の移動に関する情報を取得する移動情報取得部(インタフェース125)と、センサ入力部、および移動情報取得部が取得する情報に基づき、第2座標系(局所座標系)における車両の位置および物体の一部を表す点の第2座標系(局所座標系)における座標が複数含まれる局所周辺情報122Bを生成する局所周辺情報作成部121Bと、駐車場点群124Aおよび局所周辺情報122Bに基づき駐車場座標系と局所座標系の関係を推定し、第1座標系における車両1の位置を推定する位置推定部121Cとを備える。
車載処理装置120は、駐車場点群124Aと局所周辺情報122Bとに基づき駐車場座標系と局所座標系の座標変換式を推定し、駐車場座標系における車両1の位置を推定する。駐車場点群124Aはあらかじめ記憶部124に記憶された情報であり、局所周辺情報122Bはカメラ102、車速センサ108、および舵角センサ109の出力から生成される。すなわち車載処理装置120は、記録された点群の座標系とは異なる座標系の点群の情報を取得し、異なる座標系間の対応関係に基づいて、記録された座標系における車両1の位置を推定することができる。また車載処理装置120は、駐車場点群124Aと局所周辺情報122Bとに基づき駐車場座標系と局所座標系の座標変換式を推定するので、局所周辺情報122Bの点群データの一部にノイズが含まれていても影響を受けにくい。すなわち、車載処理装置120による車両1の位置推定は外乱に強い。
【0078】
(2)位置推定部121Cは、局所周辺情報122Bを構成するそれぞれの点に対応する点を点群データの中から探索し(
図6のステップS650)、対応する点同士の距離が最小になるように第1座標系と第2座標系との座標変換式を推定する(
図6のステップS651)。
【0079】
(3)位置推定部121Cは、点群データまたは局所周辺情報122Bを構成する点と、この点と対応する点までの距離があらかじめ定められた閾値よりも遠い局所周辺情報の点データを除外して、すなわちアウトライアリスト122Aを適用して(
図6のステップS641、S653)探索および推定を行う。そのため、ノイズ成分とみなすことのできる距離が離れた点群データを計算対象から除外するので、座標変換式の精度が向上することができる。
【0080】
(4)点群データ、および局所周辺情報に含まれる点は二次元空間上の座標として表される。位置推定部121Cは、対応する点同士の距離があらかじめ定められた閾値よりも遠く、かつ局所周辺情報122Bにおける空間的に端部に位置する点を除外して探索および推定を行う。
駐車場点群124Aの駐車場データに格納される点群は、ユーザが記録開始ボタン110Aを押した地点よりも駐車位置の近くのランドマークに関するものである。その地点よりも駐車領域から遠い地点で
図4に示すフローチャートの動作が開始されると、駐車場データに格納されるいずれの点とも対応しない点が局所周辺情報122Bに含まれる。そのような点を含めてICP、すなわち
図6のステップS650〜S652の処理を行うと適切な解が得られない。そこでこれらを排除することで適切な解が得られるようにする。
【0081】
(5)点群データには周期的な特徴が含まれる。位置推定部121Cは、第1座標系と第2座標系との座標変換式を推定した後に、対応する点同士の距離が短くなるように、周期的な特徴の1周期分の距離に基づき第1座標系と第2座標系との座標変換式を補正する(
図6のステップS646〜S648)。
一般に、点群データに周期的な特徴が含まれると、その周期に相当する距離の整数倍ずれてマッチングしやすい傾向にある。一度そのようにずれてマッチングしてしまうと、繰り返し処理の性質から正しい位置へマッチングさせることが困難である。そこで繰り返し処理の解が収束した後にその周期の整数倍ずらすことでこの問題を解決する。換言すると、繰り返し計算により大域解から周期的な特徴の数周期分ずれた局所解に陥った可能性を考慮し、前述の周期の数周期分ずらすことにより大域解、または大域解により近い局所解を得ることができる。
【0082】
(6)従前に推定した第1座標系における車両の位置、センサ入力部が取得する最新の情報、および移動情報取得部が取得する最新の情報に基づき作成される第1座標系における局所周辺情報と、第1座標系における点群データとの一致度を示す指標である瞬間一致度ICが、あらかじめ定められた閾値よりも小さい場合に、位置推定部は補正を行う(
図6のステップS641A〜ステップS643)。そのため、
図6のステップS644〜S648の処理を常時実行するのではなく、その処理の必要性を検討して必要と判断される場合のみ実行する。
【0083】
(7)車載処理装置120は、センサ入力部、および移動情報取得部が取得する情報に基づき、移動体を除いた物体の一部を表す点の第3座標系(記録座標系)における座標が複数含まれる第2点群データを作成して、駐車場点群124Aとして記憶部124に格納する点群データ取得部121Aを備える。そのため車載処理装置120は、車載処理装置120を搭載する車両1が走行する際に駐車場点群124Aを作成することができる。駐車場点群124Aの作成処理と車両1の位置推定処理とはランドマーク測位の点で共通しており、プログラムモジュールを共通して使用することができる。
【0084】
(8)第3座標系(記録座標系)は第2点群データの作成を開始した際の車両の位置および姿勢に基づいて設定される。点群データ取得部121Aは、第2点群データの作成を開始した際の車両の位置または姿勢が異なることにより座標系が異なる複数の第2点群データが得られると、車両1の駐車位置を基準として異なる座標系の関係を推定して複数の第2点群データを統合する(
図3のステップS507、S509)。そのため、点群データを取得するたびに異なる記録座標系が設定されても、複数の点群データを統合することができる。これは点群データの取得を開始する位置やその際の車両1の姿勢は様々であるが、同じ駐車位置に車両1が駐車される点に注目している。
【0085】
(9)車載処理装置120は、位置推定部121Cの出力に基づき車両を駆動し、第1座標系におけるあらかじめ指定された駐車位置に車両を移動させる車両制御装置130と、車両1の位置に関する情報(緯度経度)を受信するGPS受信機107から車両1の緯度経度を取得する位置情報取得部(インタフェース125)とを備える。駐車場点群124Aを構成する点は駐車場の構成物の一部を表す点である。記憶部124には点群データの静止物からなる駐車場の緯度経度もあわせて格納される。GPS受信機107が測定する位置と駐車場の位置との距離の差があらかじめ定めた距離よりも短い場合に、車両制御装置130を用いて車両1を駐車位置に移動させる制御部、すなわち演算部121を備える。そのため車載処理装置120は、車両1に搭載されるいずれのセンサも駐車位置を直接観測できない遠方をスタート地点として、駐車場点群124Aに含まれる駐車位置へ車両1を自動駐車することができる。
【0086】
上述した第1の実施の形態は、以下のように変形してもよい。
(1)車載処理装置120は、複数のカメラと接続されてもよい。車載処理装置120は、複数のカメラの撮影画像を用いることで、車両1の周辺に存在する広範囲のランドマークから点群を抽出することができる。
【0087】
(2)車載処理装置120は、車速センサ108および舵角センサ109からセンシング結果を受信しなくてもよい。この場合は車載処理装置120は、カメラ102の撮影画像を用いて車両1の移動を推定する。車載処理装置120は、ROM123に格納された内部パラメータおよび外部パラメータを用いて、被写体とカメラ102との位置関係を算出する。そして複数の撮影画像においてその被写体を追跡することにより、車両1の移動量および移動方向を推定する。
【0088】
(3)駐車場点群124Aや局所周辺情報122Bなどの点群情報は3次元情報として格納されてもよい。3次元の点群情報は、2次元平面上に投影することにより第1の実施の形態と同様に2次元で他の点群と比較してもよいし、3次元同士で比較してもよい。この場合は車載処理装置120は、以下のようにランドマークの三次元点群を得ることができる。すなわち、車速センサ108および舵角センサ109の出力に基づき算出した車両1の移動量と、カメラ102が出力する複数の撮影画像とを用いて、公知のモーションステレオ技術や、そのモーション推定部分を内界センサや測位センサで補正した情報を用いることで、静止立体物の3次元点群を得ることができる。
【0089】
(4)車載処理装置120は、
図6のステップS643において、1回だけの否定判定によりステップS644に進むのではなく、数回連続で否定判定された場合にステップS644に進んでもよい。
【0090】
(5)車載処理装置120は、
図6のステップS643の判断に代えて、局所周辺情報122Bにおけるアウトライアと判断されている点の割合があらかじめ定めた閾値よりも大きいか否かを判断してもよい。その割合が閾値よりも大きい場合はステップS644に進み、その割合が閾値以下の場合はステップS650に進む。さらに車載処理装置120は、
図6のステップS643の判断に加えて前述の割合が大きい場合のみステップS644に進んでもよい。
【0091】
(6)車載処理装置120は、
図6のステップS644、S646の処理をあらかじめ行ってもよい。さらにその処理結果を記憶部124に記録してもよい。
【0092】
(7)車載処理装置120は、ユーザからの動作指令を車両1の内部に設けられた入力装置110からだけでなく、通信装置114から受信してもよい。たとえばユーザの所持する携帯端末と通信装置114が通信を行い、ユーザが携帯端末を操作することにより、車載処理装置120は自動駐車ボタン110Cが押された場合と同様の動作を行ってもよい。この場合は、車載処理装置120はユーザが車両1の内部に居る場合だけでなく、ユーザが降車した後にも自動駐車を行うことができる。
【0093】
(8)車載処理装置120は、駐車場点群124Aに記録された駐車位置だけでなく、ユーザにより指定された位置に駐車を行ってもよい。ユーザによる駐車位置の指定は、たとえば車載処理装置120が表示装置111に駐車位置の候補を表示し、ユーザが入力装置110によりそのいずれかを選択することにより行われる。
【0094】
(9)車載処理装置120は、通信装置114を経由して外部から駐車場点群124Aを受信してもよいし、作成した駐車場点群124Aを通信装置114を経由して外部に送信してもよい。また、車載処理装置120が駐車場点群124Aを送受信する相手は他の車両に搭載された別の車載処理装置120でもよいし、駐車場を管理する組織が管理する装置でもよい。
【0095】
(10)自動駐車システム100は、GPS受信機107に代えて携帯端末を備え、携帯端末が通信を行う基地局の識別情報を緯度経度の代わりに記録してもよい。基地局の通信範囲は数百m程度に限られるので、通信を行う基地局が同一であれば同一の駐車場の可能性が高いからである。
【0096】
(11)駐車場データに含まれる周期的な特徴は駐車枠に限定されない。たとえば路面ペイントの1つである横断歩道を構成する複数の直線なども周期的な特徴である。また、駐車場データがレーザレーダなどで取得した、壁などの障害物の情報から構成される場合は、規則的に並んだ柱も周期的な特徴である。
【0097】
(12)上述した実施の形態では移動体である車両や人間はランドマークに含めなかったが、移動体をランドマークに含めてもよい。その場合は移動体であるランドマークと移動体以外のランドマークを識別可能に記憶してもよい。
【0098】
(13)車載処理装置120は、記録フェーズにおいて、検出したランドマークを識別し、それぞれのランドマークの識別結果を駐車場点群124Aに併せて記録してもよい。ランドマークの識別には、撮影画像から得られるランドマークの形状情報や色情報、さらに公知のモーションステレオ技術によるランドマークの立体形状情報が用いられる。ランドマークはたとえば、駐車枠、駐車枠以外の路面ペイント、縁石、ガードレール、壁、などのように識別される。さらに車載処理装置120は、移動体である車両や人間をランドマークに含め、他のランドマークと同様に識別結果を駐車場点群124Aに併せて記録してもよい。この場合は車両と人間をあわせて「移動体」として識別および記録してもよいし、車両と人間を個別に識別および記録してもよい。
【0099】
(第2の実施の形態)
図14〜
図16を参照して、本発明にかかる車載処理装置の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、カメラに代えてレーザレーダを備え、静止立体物の点群データを取得する点で、第1の実施の形態と異なる。
【0100】
(構成)
図14は、第2の実施の形態における自動駐車システム100Aの構成図である。自動駐車システム100Aは、第1の実施の形態における自動駐車システム100の構成からカメラ102を除外し、レーザレーダ106を加えた構成を有する。車載処理装置120の構成は第1の実施の形態と同様である。自動駐車システム100Aは、車両1Aに備えられる。本実施の形態では、静止立体物の形状をランドマークとして用いる。
【0101】
レーザレーダ106は、レーザを発射してその反射波を観測するまでの時間に基づき対象物までの距離を測定し、車載処理装置120に測定した距離を出力する。さらにそのレーザの出射方向を上下方向、左右方向に変化させることにより、ランドマークの三次元情報を取得できる。さらに物質による反射率の違いなどに基づき、車載処理装置120は路面のペイントを検出できる。
【0102】
車載処理装置120は、レーザレーダ106から得られた信号を用いて、2次元、または3次元形状のテンプレートマッチングにより人および車両を認識し、ランドマーク測位において人および車両を除外することができる。また、物体までの距離の変化速度と車両1の移動速度が一致しない場合は移動物体であると判断して、ランドマーク測位においてその移動物体に関するデータを除外してもよい。車載処理装置120の動作は第1の実施の形態と同様である。
【0103】
(動作例)
図15は、第2の実施の形態における駐車場の一例を示す図である。駐車場920は、静止立体物である建物921と、建物922と、ガードレール923と、ガードレール924とに囲まれた領域である。駐車場920における車両1の駐車領域は符号930で示す領域である。
【0104】
車載処理装置120の記憶部124には、車両1Aが予め記録フェーズで走行してレーザレーダ106により得られた駐車場920の駐車場データが駐車場点群124Aとして格納されている。車両1Aは駐車場920を記録フェーズで複数回走行しており、前述のマージ処理(
図3のステップS509)により密な点群データが得られている。
【0105】
このような前提において、車両1Aが駐車場920に
図15の上方から進行し、
図15に破線で示す位置まで到達すると車載処理装置120は
図16(a)に示す点群データが局所周辺情報122Bとして得られる。そして、車載処理装置120はマッチング処理により局所周辺情報122Bと駐車場点群124Aとの対応関係、すなわち局所座標系と駐車場座標系の座標変換式が算出され、駐車場座標系における車両1Aの位置が推定される。
図16(b)は、算出された座標変換式を用いて
図16(a)に示す局所周辺情報122Bを駐車場点群124Aの点群に重ね合わせた図である。
【0106】
上述した第2の実施の形態によれば、第1の実施の形態における作用効果に加えて次の作用効果が得られる。すなわち、レーザレーダ106はカメラよりも短い周期で情報を取得できるので車載処理装置120は位置推定をより頻繁に行うことができる。
【0107】
(第2の実施の形態の変形例)
上述した第2の実施の形態では車両1Aはレーザレーダ106を備えたが、レーザレーダ106に代えて超音波レーダを備えてもよい。超音波レーダはレーザレーダ106と同様に障害物までの距離を測定することができる。また車両1Aは、レーザレーダ106に加えて超音波レーダを備えてもよい。
【0108】
(第3の実施の形態)
図17〜
図18を参照して、本発明にかかる車載処理装置の第3の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、俯瞰画像を用いて位置を推定する点で、第1の実施の形態と異なる。
【0109】
(構成)
図17は、第3の実施の形態における自動駐車システム100Bの構成図である。自動駐車システム100Bは車両1Bに搭載される。自動駐車システム100Bは、第1の実施の形態における自動駐車システム100の構成に3つのカメラが追加されている。すなわち自動駐車システム100Bは、車両1Bの前方に取り付けられ車両1Bの前方を撮影する前カメラ101aと、車両1Bの左側方に取り付けられ車両1Bの左側方を撮影する左カメラ101bと、車両1Bの右側方に取り付けられ車両1Bの右側方を撮影する右カメラ101cと、車両1Bの後方に取り付けられ車両1Bの後方を撮影する後カメラ101dとを備える。以下では、前カメラ101a、左カメラ101b、右カメラ101c、および後カメラ101dをまとめて、カメラ101と呼ぶ。
【0110】
車載処理装置120の構成は第1の実施の形態と同様である。本実施の形態ではROM123に格納されるプログラムにより実行される処理が一部異なる。記憶部124には、後述する連続俯瞰画像が駐車場点群124A、および局所周辺情報122Bとして格納される。ROM123には、カメラ101の内部パラメータおよび外部パラメータが格納される。
【0111】
(ランドマーク測位)
第3の実施の形態におけるランドマーク測位処理は、以下に説明する連続俯瞰画像の作成である。
【0112】
車載処理装置120は、カメラ101の撮影画像に視点変換処理を行うことで、車両1Bを真上から見た俯瞰画像を作成する。この視点変換処理には、内部パラメータと外部パラメータとが用いられる。車載処理装置120は、第1の地点で撮影された撮影画像を用いて第1の俯瞰画像を作成し、第2の地点で撮影された撮影画像を用いて第2の俯瞰画像を作成する。そして車載処理装置120は、車速センサ108および舵角センサ109の出力から算出される第1の地点と第2の地点の位置関係に基づき、第1の俯瞰画像と第2の俯瞰画像を合成する。この処理を車両1Bの移動とともに連続して行うことにより、多数の俯瞰画像が合成された連続俯瞰画像が作成される。
【0113】
第1の俯瞰画像と第2の俯瞰画像の合成は、撮影時刻が新しい撮影画像から撮影された俯瞰画像が常に優先されるように合成してもよいし、車両1Bを基準とした特定の方向、たとえば真横や前方45度に相当する方向の俯瞰画像だけを切り出して合成してもよい。
【0114】
(動作例)
図18(a)は、車両1Bの走行路、および車載処理装置120が作成した連続俯瞰画像を示す図である。
図18において車両1Bは、地点Aから地点Bまで図示一点鎖線の経路を走行して連続俯瞰画像を作成した。この連続俯瞰画像が駐車場点群124Aとして記憶部124に格納されている場合に、車載処理装置120が自動駐車フェーズの動作を行うと、以下のように地図座標系の位置が推定される。
【0115】
車載処理装置120は、カメラ101、車速センサ108および舵角センサ109の出力に基づき連続俯瞰画像を作成し、局所周辺情報122BとしてRAM122に保存する。車載処理装置120は、車両1Bがある地点まで走行した際に
図18(b)に示す連続俯瞰画像、すなわち局所周辺情報122Bが得られた。車載処理装置120は、マッチング処理により局所周辺情報122Bと駐車場点群124Aとの対応関係、すなわち局所座標系と駐車場座標系の座標変換式を算出する。これにより、
図18(c)に示すように駐車場座標系における車両1Aの位置が推定される。
【0116】
上述した第3の実施の形態によれば、第1の実施の形態における作用効果に加えて次の作用効果が得られる。すなわち、駐車場点群124Aおよび局所周辺情報122Bはカメラ101の撮影画像から構成されるので、ユーザによる位置の確認が容易である。
【0117】
(第3の実施の形態の変形例1)
第3の実施の形態では、撮影画像に視点変換処理を行い俯瞰画像を作成したが、撮影画像から特徴点を抽出し、抽出された特徴点だけを対象に視点変換処理を行い、俯瞰画像を作成してもよい。この場合は、連続俯瞰画像は特徴点のみで構成されることとなる。
【0118】
上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。