IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クラリオン株式会社の特許一覧

<>
  • 特許-車載処理装置 図1
  • 特許-車載処理装置 図2
  • 特許-車載処理装置 図3
  • 特許-車載処理装置 図4
  • 特許-車載処理装置 図5
  • 特許-車載処理装置 図6
  • 特許-車載処理装置 図7
  • 特許-車載処理装置 図8
  • 特許-車載処理装置 図9
  • 特許-車載処理装置 図10
  • 特許-車載処理装置 図11
  • 特許-車載処理装置 図12
  • 特許-車載処理装置 図13
  • 特許-車載処理装置 図14
  • 特許-車載処理装置 図15
  • 特許-車載処理装置 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-29
(45)【発行日】2022-09-06
(54)【発明の名称】車載処理装置
(51)【国際特許分類】
   G08G 1/14 20060101AFI20220830BHJP
   G08G 1/16 20060101ALI20220830BHJP
   B60R 99/00 20090101ALI20220830BHJP
   G01C 21/28 20060101ALI20220830BHJP
【FI】
G08G1/14 A
G08G1/16 C
B60R99/00 330
B60R99/00 320
G01C21/28
【請求項の数】 5
(21)【出願番号】P 2018160024
(22)【出願日】2018-08-29
(65)【公開番号】P2020034366
(43)【公開日】2020-03-05
【審査請求日】2021-05-27
(73)【特許権者】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】特許業務法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】田川 晋也
(72)【発明者】
【氏名】坂野 盛彦
【審査官】菅家 裕輔
(56)【参考文献】
【文献】特開2018-004343(JP,A)
【文献】特開2006-195641(JP,A)
【文献】特開2018-112506(JP,A)
【文献】特開2010-151619(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00-99/00
B60W 30/06
B60R 99/00
G01C 21/28
(57)【特許請求の範囲】
【請求項1】
車両の周囲の情報を取得するセンサの出力に基づき作成され、前記センサの出力が得られた際の周囲環境の条件である環境条件を含み、物体の一部を表す点の第1座標系における座標が複数含まれる点群データが格納される記憶部と、
前記センサの出力を取得するセンサ入力部と、
前記環境条件を取得する現在環境取得部と、
前記車両の移動に関する情報を取得する移動情報取得部と、
前記センサ入力部、および前記移動情報取得部が取得する情報に基づき、第2座標系における前記車両の位置および物体の一部を表す点の前記第2座標系における座標が複数含まれる局所周辺情報を生成する局所周辺情報作成部と、
前記点群データ、前記局所周辺情報、前記点群データに含まれる前記環境条件、および前記現在環境取得部が取得する前記環境条件に基づき前記第1座標系と前記第2座標系の関係を推定し、前記第1座標系における前記車両の位置を推定する位置推定部とを備え
前記点群データには、座標ごとに当該座標の作成に用いた前記センサの種類が記録され、
前記位置推定部は、
前記点群データに含まれる前記環境条件と前記現在環境取得部が取得する前記環境条件とが一致すると判断すると、前記点群データに含まれる全ての前記座標を用いて前記第1座標系と前記第2座標系の関係を推定し、
前記点群データに含まれる前記環境条件と前記現在環境取得部が取得する前記環境条件とが一致しないと判断すると、前記点群データに含まれる前記環境条件と前記センサの種類に基づき、前記第1座標系と前記第2座標系の関係を推定するために使用する前記第1座標系の前記座標を選択する車載処理装置。
【請求項2】
請求項1に記載の車載処理装置において、
前記位置推定部は、前記点群データに含まれる前記環境条件と前記現在環境取得部が取得する前記環境条件とが一致しないと判断すると、前記点群データに含まれる前記環境条件において精度が高い種類の前記センサの出力に基づき作成された前記座標を選定する車載処理装置。
【請求項3】
車両の周囲の情報を取得するセンサの出力に基づき作成され、前記センサの出力が得られた際の周囲環境の条件である環境条件を含み、物体の一部を表す点の第1座標系における座標が複数含まれる点群データが格納される記憶部と、
前記センサの出力を取得するセンサ入力部と、
前記環境条件を取得する現在環境取得部と、
前記車両の移動に関する情報を取得する移動情報取得部と、
前記センサ入力部、および前記移動情報取得部が取得する情報に基づき、第2座標系における前記車両の位置および物体の一部を表す点の前記第2座標系における座標が複数含まれる局所周辺情報を生成する局所周辺情報作成部と、
前記点群データ、前記局所周辺情報、前記点群データに含まれる前記環境条件、および前記現在環境取得部が取得する前記環境条件に基づき前記第1座標系と前記第2座標系の関係を推定し、前記第1座標系における前記車両の位置を推定する位置推定部とを備え、
前記点群データには、座標ごとに当該座標の作成に用いた前記センサの出力の処理方法が記録され、
前記位置推定部は、
前記点群データに含まれる前記環境条件と前記現在環境取得部が取得する前記環境条件とが一致すると判断すると、前記点群データに含まれる全ての前記座標を用いて前記第1座標系と前記第2座標系の関係を推定し、
前記点群データに含まれる前記環境条件と前記現在環境取得部が取得する前記環境条件とが一致しないと判断すると、前記点群データに含まれる前記環境条件と前記センサの出力の処理方法に基づき、前記第1座標系と前記第2座標系の関係を推定するために使用する前記第1座標系の前記座標を選択する車載処理装置。
【請求項4】
請求項3に記載の車載処理装置において、
前記位置推定部は、前記点群データに含まれる前記環境条件と前記現在環境取得部が取得する前記環境条件とが一致しないと判断すると、前記点群データに含まれる前記環境条件において精度が高い処理方法に基づき作成された前記座標を選定する車載処理装置。
【請求項5】
請求項1又は3に記載の車載処理装置において、
前記環境条件は、天気、時間帯、および気温の少なくとも1つを含む車載処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載処理装置に関する。
【背景技術】
【0002】
近年、自動車の自動運転実現に向けた開発が盛んとなっている。自動運転とは、車両周囲をカメラや超音波レーダ、レーダなどの外界センサでセンシングし、センシング結果に基づいて判断を行い、ユーザの操作なしで車両が自律的に走行するものである。この自動運転には車両の位置推定が必要となる。
特許文献1には、物体の一部を表す点の第1座標系における座標が複数含まれる点群データが格納される記憶部と、車両の周囲の情報を取得するセンサの出力を取得するセンサ入力部と、前記車両の移動に関する情報を取得する移動情報取得部と、前記センサ入力部、および前記移動情報取得部が取得する情報に基づき、第2座標系における前記車両の位置および物体の一部を表す点の前記第2座標系における座標が複数含まれる局所周辺情報を生成する局所周辺情報作成部と、前記点群データと前記局所周辺情報とに基づき前記第1座標系と前記第2座標系の関係を推定し、前記第1座標系における前記車両の位置を推定する位置推定部とを備える車載処理装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-4343号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1では、センサの精度が環境条件により変化することが考慮されていない。
【課題を解決するための手段】
【0005】
本発明の第1の実施の形態によると、車両の周囲の情報を取得するセンサの出力に基づき作成され、前記センサの出力が得られた際の周囲環境の条件である環境条件を含み、物体の一部を表す点の第1座標系における座標が複数含まれる点群データが格納される記憶部と、前記センサの出力を取得するセンサ入力部と、前記環境条件を取得する現在環境取得部と、前記車両の移動に関する情報を取得する移動情報取得部と、前記センサ入力部、および前記移動情報取得部が取得する情報に基づき、第2座標系における前記車両の位置および物体の一部を表す点の前記第2座標系における座標が複数含まれる局所周辺情報を生成する局所周辺情報作成部と、前記点群データ、前記局所周辺情報、前記点群データに含まれる前記環境条件、および前記現在環境取得部が取得する前記環境条件に基づき前記第1座標系と前記第2座標系の関係を推定し、前記第1座標系における前記車両の位置を推定する位置推定部とを備える。
【発明の効果】
【0006】
本発明によれば、車載処理装置はセンサの精度が環境条件により変化することを考慮したうえで外乱に強い位置推定を行うことができる。
【図面の簡単な説明】
【0007】
図1】自動駐車システム100の構成図
図2】第1の実施の形態における駐車場点群124Aの一例を示す図
図3】第1の実施の形態における環境対応表124Bの一例を示す図
図4】車載処理装置120の記録フェーズの動作を表すフローチャート
図5】車載処理装置120の自動駐車フェーズの全体動作を表すフローチャート
図6】自動駐車フェーズの自己位置推定処理を表すフローチャート
図7】自動駐車フェーズのマッチング処理を表すフローチャート
図8】自動駐車フェーズの自動駐車処理を表すフローチャート
図9図9(a)は駐車場901の一例を示す平面図、図9(b)はRAM122に保存されるランドマークの点群を可視化した図
図10図10(a)は駐車場点群124Aの点群データを可視化した一例を示す図、図10(b)は新たに検出した点群データを可視化した一例を示す図
図11】駐車場901における車両1の現在位置を示す図
図12】車両1が図11に示した位置において撮影した画像から抽出された点群を駐車場座標に変換したデータを示す図
図13】車両1の駐車場座標系における位置の推定が誤差を含んでいた場合の、駐車場点群124Aと図12に示した局所周辺情報122Bとの対比を示す図
図14図14(a)~(c)は、図13に示した局所周辺情報122Bを駐車枠の幅の整数倍移動させた場合の駐車場点群124Aとの関係を示す図
図15】第2の実施の形態における駐車場点群124Aの一例を示す図
図16】第2の実施の形態における環境対応表124Bの一例を示す図
【発明を実施するための形態】
【0008】
(第1の実施の形態)
以下、図1図14を参照して、本発明にかかる車載処理装置の第1の実施の形態を説明する。
【0009】
図1は、本発明にかかる車載処理装置を含む自動駐車システム100の構成図である。自動駐車システム100は、車両1に搭載される。自動駐車システム100は、センサ群102~105、107~109と、入出力装置群110、111、114と、車両1を制御する制御装置群130~133と、車載処理装置120とから構成される。センサ群、入出力装置群、および制御装置群は車載処理装置120と信号線で接続され、車載処理装置120と各種データを授受する。
【0010】
車載処理装置120は、演算部121と、RAM122と、ROM123と、記憶部124と、インタフェース125とを備える。演算部121はCPUである。FPGAなど他の演算処理装置で全部または一部の演算処理を実行するように構成してもよい。RAM122は読み書き込み可能な記憶領域であり、車載処理装置120の主記憶装置として動作する。RAM122には、後述するアウトライアリスト122A、および後述する局所周辺情報122Bが格納される。ROM123は読み取り専用の記憶領域であり、後述するプログラムが格納される。このプログラムはRAM122で展開されて演算部121により実行される。演算部121は、プログラムを読み込んで実行することにより、点群データ取得部121A、局所周辺情報作成部121B、位置推定部121C、および現在環境取得部121Dとして動作する。
【0011】
車載処理装置120の現在環境取得部121Dとしての動作は次のとおりである。現在環境取得部121Dは、車両1に搭載された不図示の温度計、または通信装置114を介して不図示のサーバから車両1の現在位置における気温を取得する。また現在環境取得部121Dは、通信装置114を介して不図示のサーバから車両1の現在位置における天気を取得する。さらに現在環境取得部121Dは、車載処理装置120が備える時計機能を用いて現在時刻を取得する。車載処理装置120の点群データ取得部121A、局所周辺情報作成部121B、および位置推定部121Cとしての動作は後述する。
【0012】
記憶部124は不揮発性の記憶装置であり、車載処理装置120の補助記憶装置として動作する。記憶部124には、駐車場点群124Aと環境対応表124Bとが格納される。
【0013】
駐車場点群124Aとは、1または複数の駐車場データである。駐車場データとは、ある駐車場の位置情報、すなわち緯度・経度、駐車領域を示す座標、およびその駐車場に存在するランドマークを構成する点の座標の集合である。駐車場データは前述のセンサ群102~105、107~109の出力を用いて作成されたものである。駐車場データにはセンサ群102~105、107~109の出力が得られた際の周囲環境の条件である環境条件が含まれる。なお環境条件とはたとえば、天気、気温、時刻などである。そのため同一の駐車場であっても環境条件が異なる場合には、個別の駐車場データとして駐車場点群124Aに含まれる。ランドマークについては後述する。環境対応表124Bとは、環境条件ごとの各センサの精度の低下を示す表である。詳しくは後述する。インタフェース125は、車載処理装置120と自動駐車システム100を構成する他の機器との情報の授受を行う。
【0014】
センサ群は、車両1の周囲を撮影するカメラ102、ソナー103、レーダ104、およびLiDAR105と、車両1の位置を測定するGPS受信機107と、車両1の速度を測定する車速センサ108と、車両1のステアリング角を測定する舵角センサ109とを含む。カメラ102はイメージセンサを備えるカメラである。ソナー103は超音波センサであり、超音波を発して反射の有無および反射波が測定されるまでの時間から障害物までの距離を測定する。レーダ104は電波を発して反射の有無および反射波が測定されるまでの時間から障害物までの距離を測定する。ソナー103とレーダ104の違いは、発する電磁波の波長であり、レーダ104の方が波長が短い。LiDAR105は、光による検知と距離計測を行う装置(Light Detection and Ranging)である。
【0015】
カメラ102は、雨や雪が降る環境や夕方や夜などの暗い環境ではノイズが増加する。ソナー103は、高温環境では実際よりも遠く、低温環境では実際よりも距離が短く測定される。すなわちカメラ102は雨や雪が降る環境や夕方や夜などの暗い環境では精度が低下し、ソナー103は高温や低温の環境では精度が低下する。
【0016】
カメラ102は、撮影して得られた画像(以下、撮影画像)を車載処理装置120に出力する。ソナー103、レーダ104、およびLiDAR105は、センシングして得られた情報を車載処理装置120に出力する。車載処理装置120は、カメラ102、ソナー103、レーダ104、およびLiDAR105が出力する情報を用いて後述するランドマークの測位を行う。カメラ102の焦点距離や撮像素子サイズなどの内部パラメータ、および車両1へのカメラ102の取り付け位置や取り付け姿勢である外部パラメータは既知であり、ROM123にあらかじめ保存されている。車載処理装置120は、ROM123に格納された内部パラメータおよび外部パラメータを用いて、被写体とカメラ102との位置関係を算出することができる。ソナー103、レーダ104、およびLiDAR105の車両1への取り付け位置や取り付け姿勢も既知であり、ROM123にあらかじめ保存されている。車載処理装置120は、ソナー103、レーダ104、およびLiDAR105が検出した障害物の車両1との位置関係を算出することができる。
【0017】
GPS受信機107は、衛星航法システムを構成する複数の衛星から信号を受信し、受信した信号に基づく演算によりGPS受信機107の位置、すなわち緯度および経度を算出する。なおGPS受信機107により算出される緯度および経度の精度は高精度でなくてもよく、たとえば数m~10m程度の誤差が含まれてもよい。GPS受信機107は、算出した緯度および経度を車載処理装置120に出力する。
【0018】
車速センサ108、および舵角センサ109はそれぞれ、車両1の車速と舵角を測定し車載処理装置120に出力する。車載処理装置120は、車速センサ108および舵角センサ109の出力を用いて公知のデッドレコニング技術によって、車両1の移動量および移動方向を算出する。
【0019】
入力装置110には、ユーザによる車載処理装置120への動作指令が入力される。入力装置110は、記録開始ボタン110Aと、記録完了ボタン110Bと、自動駐車ボタン110Cとを含む。表示装置111はたとえば液晶ディスプレイであり、車載処理装置120から出力される情報が表示される。なお、入力装置110と表示装置111とが一体として、たとえばタッチ操作に対応する液晶ディスプレイとして構成されてもよい。この場合は、液晶ディスプレイの所定の領域がタッチされることにより、記録開始ボタン110A、記録完了ボタン110B、または自動駐車ボタン110Cが押されたと判断してもよい。
【0020】
通信装置114は、車両1の外部の機器と車載処理装置120とが無線で情報を授受するために用いられる。例えば、ユーザが車両1の外にいるときに、ユーザが身に着けている携帯端末と通信を行い情報を授受する。通信装置114が通信を行う対象はユーザの携帯端末に限定されない。
【0021】
車両制御装置130は、車載処理装置120の動作指令に基づき、操舵装置131、駆動装置132、および制動装置133を制御する。操舵装置131は、車両1のステアリングを操作する。駆動装置132は、車両1に駆動力を与える。駆動装置132はたとえば、車両1が備えるエンジンの目標回転数を増加させることにより車両1の駆動力を増加させる。制動装置133は、車両1に制動力を与える。
【0022】
(ランドマーク測位)
ランドマークとはセンサにより識別可能な特徴を有する物体であり、たとえば路面ペイントの1種である駐車枠線や、車両の走行の妨げとなる障害物である建物の壁などである。本実施の形態では、移動体である車両や人間はランドマークに含めない。車載処理装置120は、カメラ102から入力される情報に基づき、車両1の周辺に存在するランドマーク、すなわちセンサにより識別可能な特徴を有する点を検出する。以下では、外界センサ、すなわちカメラ102、ソナー103、レーダ104、およびLiDAR105から入力される情報に基づくランドマークの検出を「ランドマーク測位」と呼ぶ。
【0023】
車載処理装置120は、カメラ102の撮影画像を対象に、以下のように画像認識プログラムを動作させることで駐車枠などの路面ペイントなどを検出する。駐車枠の検出は、まず入力画像からソーベルフィルタなどでエッジを抽出する。次に、たとえば白から黒への変化であるエッジの立ち上がりと、黒から白への変化であるエッジの立ち下がりのペアを抽出する。そしてこのペアの間隔が、あらかじめ定めた第1の所定の距離、すなわち駐車枠を構成する白線の太さと略一致すると、このペアを駐車枠の候補とする。同様の処理により駐車枠の候補を複数検出し、駐車枠の候補同士の間隔があらかじめ定めた第2の所定の距離、すなわち駐車枠の白線の間隔と略一致すると、それらを駐車枠として検出する。駐車枠以外の路面ペイントは以下の処理を実行する画像認識プログラムで検出される。まず入力画像からソーベルフィルタなどでエッジを抽出する。エッジ強度があらかじめ定めた一定の値よりも大きく、エッジ同士の間隔が白線の幅に相当するあらかじめ定めた距離である画素を探索することにより検出できる。
【0024】
車載処理装置120は、ソナー103、レーダ104、およびLiDAR105の出力を用いてランドマークを検出する。なおカメラ102、ソナー103、レーダ104、およびLiDAR105が情報を取得可能な領域が重複している場合には、同一のランドマークが複数のセンサにより検出される。ただしセンサの特性により一方のセンサしかランドマークの情報が得られないこともある。車載処理装置120は、検出したランドマークを記録する際に、どのセンサの出力を用いて検出されたかもあわせて記録する。
【0025】
車載処理装置120はたとえば既知のテンプレートマッチングにより車両や人間を検出し、測定結果から除外する。また、以下のようにして検出した移動体を測定結果から除外してもよい。すなわち車載処理装置120は、内部パラメータおよび外部パラメータを用いて撮影画像における被写体とカメラ102との位置関係を算出する。次に車載処理装置120は、カメラ102が連続して取得した撮影画像において被写体を追跡することで車両1と被写体の相対的な速度を算出する。最後に車載処理装置120は、車速センサ108および舵角センサ109の出力を用いて車両1の速度を算出し、被写体との相対的な速度と一致しなければ被写体が移動体であると判断し、この移動体に関する情報を測定結果から除外する。
【0026】
(駐車場点群124A)
図2は、記憶部124に格納される駐車場点群124Aの一例を示す図である。図2では、駐車場点群124Aとして2つの駐車場データが格納されている例を示している。1つの駐車場データは、その駐車場の位置、すなわち緯度および経度(以下、緯度経度と呼ぶ)と、環境条件と、駐車領域の座標と、ランドマークを構成する点の二次元平面上の座標とから構成される。駐車場の位置とは、たとえば駐車場の入り口付近、駐車場の中央付近、または駐車位置の緯度経度である。ただし図2に示す例では、駐車場の位置と環境条件は同一の欄に記載している。
【0027】
駐車領域の座標、およびランドマークを構成する点の座標は、その駐車場データに固有の座標系における座標である。以下では駐車場データにおける座標系を「駐車場座標系」と呼ぶ。ただし駐車場座標系を第1座標系と呼ぶこともある。駐車場座標系は、たとえば記録開始時の車両1の座標が原点とされ、記録開始時の車両1の進行方向がY軸、記録開始時の車両1の右方向がX軸とされる。駐車領域の座標は、たとえば駐車領域を矩形とした場合にその矩形領域の4つの頂点の座標として記録される。ただし、駐車領域は矩形に限定されず矩形以外の多角形や楕円形状でもよい。
【0028】
さらにランドマークを構成するそれぞれの点には、ランドマークの情報を取得したセンサの種類が「取得センサ」として記録される。たとえば図2に示す例では、駐車場1の1つ目のランドマークは、カメラ102の撮影映像から算出されたものであることが示されている。また駐車場1の4つ目のランドマークは、ソナー103の出力とLiDAR105の出力のそれぞれから算出されたものであることが示されている。
【0029】
図3は、記憶部124に格納される環境対応表124Bの一例を示す図である。図3では環境対応表124Bは、環境条件を縦に並べ、センサの種類を横に並べたマトリクスである。環境条件は、天気、時間帯、気温の3つとしている。天気は、晴、雨、および雪のいずれかである。時間帯は、朝、昼、夕、晩のいずれかである。気温は、低、中、高のいずれかである。時間帯、および気温の分類は、あらかじめ定められた閾値を用いる。たとえば午前10時までは時間帯を「朝」とし、0度以下は気温を「低」とする。
【0030】
センサは、図3の左から順番に、カメラ102、ソナー103、レーダ104、およびLiDAR105に対応する。_124Bのバツの記号はセンサの測定精度が低下することを示し、丸の記号はセンサの測定精度が低下しないことを示している。ただし測定精度が低下する場合であっても軽度な場合は丸としている。たとえばカメラ102を用いる場合に環境条件が、天気は晴、時間帯は朝、気温が中の場合はすべての条件で丸なので精度の低下がないと判断できる。しかし前述の環境条件のうち天気が雨になった場合は、時間帯と気温による精度の低下はないが天気を理由とする精度の低下があるので、環境条件の全体としてはカメラ102の精度が低下すると判断される。
【0031】
(アウトライアリスト122A)
アウトライアリスト122Aには、車載処理装置120が処理対象外とする局所周辺情報122Bの点の情報が格納される。アウトライアリスト122Aは、後述するように車載処理装置120により適宜更新される。
【0032】
(局所周辺情報122B)
局所周辺情報122Bには、車載処理装置120が後述する自動駐車フェーズにおいて検出したランドマークを構成する点の座標が格納される。この座標は局所周辺情報122Bの記録を開始した際の車両1の位置および姿勢を基準に、たとえばその位置を原点とし、車両1の進行方向をY軸とし、進行方向右をX軸とする座標系である。この座標系を以下では「局所座標系」と呼ぶ。局所座標系を第2座標系と呼ぶこともある。
【0033】
(車載処理装置120の動作概要)
車載処理装置120は、主に2つの動作フェーズ、すなわち記録フェーズと自動駐車フェーズを有する。車載処理装置120はユーザからの特別の指示がなければ自動駐車フェーズで動作する。すなわち、記録フェーズはユーザの指示で開始される。
【0034】
記録フェーズではユーザにより車両1が運転され、車載処理装置120は車両1が備えるセンサからの情報に基づき駐車場データ、すなわち駐車場に存在する白線や障害物の情報、および駐車位置の情報を収集する。車載処理装置120は、収集した情報を駐車場点群124Aとして記憶部124に格納する。
【0035】
自動駐車フェーズでは車載処理装置120により車両1が制御され、記憶部124に格納された駐車場点群124A、および車両1が備えるセンサからの情報に基づき、あらかじめ定められた駐車位置に車両1が駐車される。車載処理装置120は、センサからの情報に基づき車両1の周囲に存在する白線や障害物を検出し、駐車場点群124Aと照合することにより現在位置を推定する。すなわち車載処理装置120はGPS受信機107から得られる情報を用いることなく、駐車場座標系における車両1の現在位置を推定する。以下では記録フェーズと自動駐車フェーズを詳しく説明する。
【0036】
(記録フェーズ)
ユーザは駐車場の入り口付近で記録開始ボタン110Aを押し、車載処理装置120に記録フェーズの動作を開始させる。その後ユーザは自らの運転により車両1を駐車位置まで移動させ、停車後に記録完了ボタン110Bを押し、車載処理装置120に記録フェーズの動作を終了させる。
【0037】
車載処理装置120は、ユーザにより記録開始ボタン110Aが押されると記録フェーズの動作を開始し、ユーザにより記録完了ボタン110Bが押されると記録フェーズの動作を終了する。車載処理装置120による記録フェーズの動作は、環境条件の記録と、ランドマークを構成する点群の抽出と、抽出した点群の記録と、の3つに分けられる。
【0038】
車載処理装置120による点群の抽出処理を説明する。車載処理装置120は、ユーザにより記録開始ボタン110Aが押されると、RAM122に一時的な記録領域を確保する。そして車載処理装置120は、記録完了ボタン110Bが押されるまで以下の処理を繰り返す。すなわち車載処理装置120は、カメラ102の撮影画像に基づきランドマークを構成する点群を抽出する。また車載処理装置120は、車速センサ108および舵角センサ109の出力に基づき、カメラ102が前回撮影してから今回撮影するまでに車両1が移動した移動量および移動方向を算出する。そして車載処理装置120は、車両1との位置関係、および車両1の移動量や移動方向に基づき抽出した点群をRAM122に記録する。車載処理装置120はこの処理を繰り返す。
【0039】
車両1の位置、および点群の座標は、記録座標系の座標値として記録される。「記録座標系」は、たとえば記録を開始した際の車両1の位置を原点(0、0)とし、記録開始時の車両1の進行方向(姿勢)をY軸、記録開始時の車両1の右方向をX軸とした座標系の座標値として扱われる。そのため同一の駐車場において点群を記録しても、記録を開始した際の車両1の位置や姿勢により設定される記録座標系が異なるので、異なる座標にランドマークを構成する点群が記録される。なお記録座標系を第3座標系と呼ぶこともある。
【0040】
ユーザは車両を目的の駐車位置に駐車させて記録完了ボタン110Bを操作する。車載処理装置120は、記録完了ボタン110Bが押されると現在位置を駐車位置としてRAM122に記録する。駐車位置はたとえば車両1を矩形に近似した際の四隅の座標として記録される。さらに車載処理装置120は、GPS受信機107が出力する緯度経度を駐車場の座標としてあわせて記録する。次に車載処理装置120は以下のように点群の記録処理を行う。ただし記録開始ボタン110Aが押された際にGPS受信機107が出力する緯度経度を駐車場の座標として記録してもよい。また車載処理装置120は、現在の環境条件を取得してRAM122に記録する。
【0041】
車載処理装置120は、記録完了ボタン110Bの操作によりに記録した駐車場の座標、すなわち緯度経度が、すでに駐車場点群124Aに記録されているいずれかの駐車場データと座標および環境条件が略一致するか否かを判断する。座標と環境条件の両者が略一致する駐車場データが存在しない場合は、車載処理装置120はRAM122に保存した点群の情報を、新たな駐車場データとして駐車場点群124Aに記録する。両者が略一致する場合は、車載処理装置120は駐車場の座標が略一致する点群の情報を1つの駐車場の点群としてマージするか否かを判断する。この判断のために車載処理装置120はまず、駐車場データに含まれる駐車位置と、RAMに記録した駐車位置が一致するように座標変換を行い、次に駐車場点群124Aの点群とRAM122に保存した点群との一致度である点群一致度を算出する。そして車載処理装置120は、算出された点群一致度が閾値よりも大きければ両者を統合すると判断し、閾値以下であれば統合しないと判断する。点群一致度の算出については後述する。
【0042】
車載処理装置120は、統合しないと判断した場合はRAM122に保存した点群を新たな駐車場データとして駐車場点群124Aに記録する。車載処理装置120は、統合すると判断した場合は、駐車場点群124Aの既存の駐車場データにRAM122に保存した点群を追加する。
【0043】
(記録フェーズのフローチャート)
図4は、車載処理装置120の記録フェーズの動作を表すフローチャートである。以下に説明する各ステップの実行主体は車載処理装置120の演算部121である。演算部121は、図4に示す処理を行う場合に点群データ取得部121Aとして機能する。
【0044】
ステップS501では、記録開始ボタン110Aが押されたか否かが判断される。記録開始ボタン110Aが押されたと判断する場合はステップS501Aに進み、押されていないと判断する場合はステップS501に留まる。ステップS501Aでは、RAM122に新たな記録領域を確保する。この記憶領域には、抽出した点群と車両1の現在位置が前述の記録座標系の座標で記録される。
【0045】
ステップS502では、センサ群から情報を取得して前述のランドマーク測位、すなわちカメラ102の撮影画像を用いたランドマークを構成する点群の抽出を行う。続くステップS503では、カメラ102が前回撮影してから最新の撮影を行うまでの時間における車両1の移動量を推定し、RAM122に記録した記録座標系における車両1の現在位置を更新する。車両1の移動量は複数の手段により推定可能であり、たとえば前述のようにカメラ102の撮影画像における路面に存在する被写体の位置の変化から車両1の移動量を推定できる。また、GPS受信機107として誤差が小さい高精度なGPS受信機が搭載されている場合には、その出力を利用してもよい。次にステップS504に進む。
【0046】
ステップS504では、ステップS502において抽出した点群を、ステップS503において更新した現在位置に基づき、記録座標系の座標としてRAM122に保存する。続くステップS505では、記録完了ボタン110Bが押されたか否かを判断し、記録完了ボタン110Bが押されたと判断する場合はステップS505Aに進み、記録完了ボタン110Bが押されていないと判断する場合はステップS502に戻る。ステップS505Aでは、GPS受信機107から車両1の現在の緯度経度を取得するとともに、駐車位置、すなわち車両1の現在位置であって車両1の四隅の記録座標系における座標をRAM122に記録する。また現在環境取得部121Dが現在の環境条件を取得し、RAM122に記録する。次にステップS506に進む。
【0047】
ステップS506では、位置と環境条件が一致する駐車場データが駐車場点群124Aに記録されているか否かを判断する。正確には、位置が一致するとは、ステップS505Aにおいて取得した車両1の現在の緯度経度と、駐車場データの緯度経度とが略一致することである。緯度経度の略一致とは、たとえば10メートルや100メートル程度以内の差であり、駐車場の大きさに合わせて略一致とみなす範囲を変えてもよい。正確には、環境条件が一致するとは、ステップS505Aにおいて取得した環境条件と、駐車場データに含まれる環境条件が略一致することである。環境条件の略一致とは、細かな数値の差異は許容するが同一に分類されることである。たとえば温度の閾値を0度と30度とする場合に、5度の環境条件と10度の環境条件は略一致と判断されるが、2度と-2度は略一致ではないと判断される。
【0048】
S506を肯定判断する場合はS507に進み、S506を否定判断する場合はS510に進む。以下では、車両1の位置および環境条件が一致すると判断された駐車場点群124Aの駐車場データをターゲット駐車場データと呼ぶ。
【0049】
ステップS507では、駐車位置を基準として、RAM122に保存した点群データの座標系である記録座標系をターゲット駐車場データの点群データの座標系に変換する。すなわち、ターゲット駐車場データに含まれる駐車位置と、ステップS505Aにおいて記録した駐車位置が一致するように記録座標系と駐車場座標系の座標変換式を導出する。そしてこの座標変換式を用いて、RAM122に記録座標系で保存されたランドマークを構成する点の座標をターゲット駐車場データの駐車場座標系に変換する。
【0050】
続くステップS507Aでは、RAM122に保存された点群データとターゲット駐車場データの点群一致率IBを算出する。点群一致率IBは以下の式1により算出される。
IB= 2*Din/(D1+D2) ・・・式1
【0051】
ただし式1において「Din」は、ステップS507において座標変換した点群データの各点と、ターゲット駐車場データの点群データの各点の距離が所定の距離以内の点の数である。また式1において「D1」はRAM122に保存された点群データにおける点の数、「D2」はターゲット駐車場データの点群データにおける点の数である。次にステップS508に進む。
【0052】
ステップS508では、ステップS507Aにおいて算出した点群一致率が所定の閾値よりも大きいか否かを判断する。閾値よりも大きいと判断する場合はステップS509に進み、閾値以下であると判断する場合はステップS510に進む。
【0053】
ステップS509では、マージ処理、すなわち記憶部124に格納された駐車場点群124Aのターゲット駐車場データに、ステップS507において座標変換した点群データを追加する。ステップS506またはステップS508において否定判断された場合に実行されるステップS510では、RAM122に保存した点群データ、およびステップS505Aにおいて記録した車両1の緯度経度、および駐車位置を新たな駐車場データとして駐車場点群124Aに記録する。以上で図4のフローチャートを終了する。
【0054】
(自動駐車フェーズ)
ユーザが車両1を運転して駐車場点群124Aに記録されているいずれかの駐車場の付近まで移動させると、表示装置111に自動駐車可能な旨が表示される。この際にユーザが自動駐車ボタン110Cを押すと、車載処理装置120による自動駐車処理が開始される。車載処理装置120の動作をフローチャートを用いて以下説明する。
【0055】
(自動駐車処理の全体フロー)
図5は、車載処理装置120の自動駐車フェーズの全体動作を表すフローチャートである。以下に説明する各ステップの実行主体は車載処理装置120の演算部121である。
【0056】
車載処理装置120は、まずGPS受信機107を用いて現在の緯度経度を測位し(ステップS601)、その緯度経度が、駐車場点群124Aのいずれかの駐車場データの緯度経度と略一致するか否かを判定する。換言すると車両1の位置から所定の距離以内に存在する駐車場の有無を判断する(ステップS602)。いずれかの駐車場データの緯度経度と車両1の緯度経度が略一致すると判断する場合はステップS603に進み、いずれの駐車場データの緯度経度とも略一致しないと判断する場合はステップS601に戻る。なおステップS601に戻る場合は、ユーザの運転により車両1が移動することによりステップS602において肯定判断される可能性がある。なおS602では環境条件は考慮しない。
【0057】
そして車載処理装置120は、駐車場点群124Aに含まれる複数の駐車場データのうち、車両1の現在位置と略一致する緯度経度を有する駐車場データを特定する(ステップS603)。なお同一の駐車場について異なる環境条件で駐車場データが記録されている場合には、S603では複数の駐車場データが特定される。
【0058】
次に車載処理装置120はS603において、初期化処理としてRAM122に格納される局所周辺情報122Bの初期化、およびRAM122に保存される車両1の現在位置の初期化を行う。具体的には従前の情報が記録されていたら消去し、新たな座標系を設定する。本実施の形態では、この座標系を局所座標系と呼ぶ。この局所座標系はステップS603Aが実行された際の車両1の位置および姿勢に基づき設定される。たとえばステップS603Aが実行された際の車両1の位置が局所座標系の原点に設定され、ステップS603Aが実行された際の向きによりX軸およびY軸が設定される。また車両1の現在位置の初期化は、車両1の現在位置が原点(0、0)に設定される。
【0059】
次に、図6に示す手順により自己位置推定、すなわち車両1の駐車場座標系における位置を推定し(ステップS604)、ステップS605では自己位置が推定できたか否かを判断する。推定できたと判断する場合はステップS606に進み、推定できないと判断する場合はステップS604に戻る。
【0060】
ステップS606では、車載処理装置120は表示装置111に自動駐車が可能な旨を表示し、続くステップS607ではユーザにより自動駐車ボタン110Cが押されたか否かを判断する。自動駐車ボタン110Cが押されたと判断する場合はステップS608に進んで図7に示す手順により自動駐車処理を実行し、自動駐車ボタン110Cが押されていないと判断する場合はステップS606に戻る。
【0061】
図6を参照して図5のステップS604において実行される自己位置推定処理の詳細を説明する。演算部121は、図6のステップS621~S623に示す処理を行う場合に局所周辺情報作成部121Bとして機能する。
【0062】
ステップS621のランドマーク測位、ステップS622の自車移動量推定、およびステップS623の局所周辺情報122Bの記録はそれぞれ、図4のステップS502~S504の処理と概ね同じである。相違点はRAM122に記憶されるデータが局所周辺情報122Bとして記録される点である。次に環境条件を取得し(S624)、その環境条件と一致する駐車場点群がターゲット駐車場として記録済であるか否かを判断し、記録済と判断する場合はS626に進み、記録されていないと判断する場合はS630に進む。換言すると、位置と環境条件の両方が略一致する駐車場点群が記録されている場合にはS626に進み、それ以外の場合はS630に進む。
【0063】
S626では、環境条件が一致する駐車場点群の全ての特徴点を使用することに決定してS627に進む。S627では、車載処理装置120は図7に詳細を示すマッチング処理を行う。このマッチング処理では、駐車場座標系と局所座標系との対応関係、すなわち駐車場座標系と局所座標系との座標変換式が得られる。続くステップS628では車載処理装置120は、ステップS622において更新した局所座標系における車両1の座標と、ステップS627において得られた座標変換式を用いて、駐車場座標系における車両1の座標、すなわち自己位置を算出する。次にステップS629に進む。
【0064】
ステップS629において車載処理装置120は、ステップS628において算出した位置の信頼性を判断する自己診断を実行する。自己診断は、たとえば以下の3つの指標を用いて判断される。第1の指標では、車速センサ108および舵角センサ109の出力を用いて公知のデッドレコニング技術によって推定した車両1の移動量と、自己位置推定によって推定された所定期間における移動量を比較し、あらかじめ定めた閾値よりも差が大きい場合は信頼度が低いと判断する。
【0065】
第2の指標では、マッチング時に計算される対応点の誤差量で判断する。誤差量があらかじめ定めた閾値よりも大きい場合は信頼度が低いと判断する。第3の指標では、類似解があるか否かの判定を実施する。得られた解から駐車枠の幅分並進するなど、類似解を探索した場合に、対応点誤差が一定以内の点が同じくらいの数あった場合は、信頼度が低いと判断する。これら3つの指標のすべてで信頼度が低いと判断されなかった場合に自己位置が推定できたと判断する。
【0066】
S625において否定判断されると実行されるS630では、不一致である環境条件を特定する。なお以下では不一致である環境条件を「不一致条件」と呼ぶこともある。たとえば駐車場点群124Aに車両1の現在位置と略一致する駐車場データが1つだけ記録されていた場合に、その環境条件とS624で取得した環境条件と不一致である環境条件を特定する。続くS631では、環境対応表124Bを参照してセンサごとに不一致条件での使用可否を判断する。
【0067】
たとえば記録されていた環境条件が天気が雨、時間帯が昼、気温が中であり、現在の環境条件が天気が晴、時間帯が昼、気温が中の場合には次のように使用可否が判断される。すなわち、不一致条件が天気と特定され、記録されている駐車場データの環境条件が雨なので、環境対応表124Bが図3に示す例の場合はカメラ102のみがバツ、すなわち精度が低下しているため使用不可となる。換言するとこの例では、ソナー103、レーダ104、およびLiDAR105は使用可能と判断される。
【0068】
続くS632では、記録されている駐車場データからS631の使用可否判断に基づき使用可能な特徴点を抽出する。上述した例の場合には、取得センサの欄にソナー103、レーダ104、およびLiDAR105のいずれかが含まれている特徴点を使用可能として抽出する。なおこの例では、取得センサの欄にカメラ102が記載されていても、ソナー103、レーダ104、およびLiDAR105のいずれか少なくとも1つが併記されていれば、その特徴点は使用可能と判断される。
【0069】
続くS633では、位置が略一致する駐車場データが複数存在した場合には、S632により抽出された使用可能な特徴点の数が最も多い駐車場データの特徴点を使用することに決定してS627に進む。なお位置が略一致する駐車場データが1つしか存在しない場合には、その駐車場データの特徴点のうちS632において抽出された特徴点を使用する。
【0070】
図7を参照して図6のステップS627において実行されるマッチング処理の詳細を説明する。演算部121は、図7に示す処理を行う場合に位置推定部121Cとして機能する。
【0071】
ステップS641ではRAM122に格納されたアウトライアリスト122Aを局所周辺情報122Bに対して適用し、局所周辺情報122Bに含まれる点群のうちアウトライアリスト122Aに記載された点を一時的に処理対象外とする。この適用範囲はステップS642~S653であり、ステップS654では従前にアウトライアリスト122Aに含まれていた点も対象となる。ただし図7に示すフローチャートの初回実行時にはステップS641~S643が実行できないため、ステップS650から実行を開始する。次にステップS641Aに進む。
【0072】
ステップS641Aでは、最新の撮影画像から検出した点群、すなわち図6のステップS621において検出したランドマークを構成する点群の座標を、駐車場座標系の座標に変換する。この変換は、ステップS622において更新された車両1の局所座標系における位置、および前回算出した局所座標系から駐車場座標系への座標変換式を用いることにより実現される。
【0073】
続くステップS642では瞬間一致度ICが算出される。瞬間一致度ICは、以下の式2により算出される。
IC= DIin/DIall ・・・式2
ただし式2において「DIin」は、ステップS641Aにおいて駐車場座標系に変換された最新のセンサ出力から検出された点群のうち、最も近い駐車場点群124Aを構成する点までの距離があらかじめ定めた閾値以下の点の数である。また式2において「DIall」は、ステップS621において検出された点群の数である。次にステップS643に進む。
【0074】
ステップS643では、ステップS642において算出した瞬間一致度ICが閾値よりも大きいか否かを判断する。瞬間一致度ICが閾値よりも大きいと判断する場合はステップS650に進み、瞬間一致度ICが閾値以下であると判断する場合はステップS644に進む。
【0075】
ステップS644では、駐車場点群124Aの対象となる駐車場データ、すなわち点群データから周期的な特徴、たとえば複数並んだ駐車枠を検出する。前述のように、駐車場点群に含まれる点群は画像のエッジなどを抽出して得られるので、白線の太さに相当する間隔で並ぶ点から駐車枠線を検出できる。続くステップS645では、ステップS644において周期的特徴を検出したか否かを判断し、検出したと判断する場合はステップS646に進み、検出できなかったと判断する場合はステップS650に進む。ステップS646では周期的な特徴の周期、たとえば駐車枠の幅を算出する。ここでいう駐車枠の幅とは、駐車枠を構成する白線同士の間隔である。次にステップS647に進む。
【0076】
ステップS647では、前回のステップS653において算出された座標変換式を基準として、この座標変換式を複数とおりに変化させて全体一致度IWをそれぞれ算出する。座標変換式は、駐車場点群が検出した周期的特徴の整数倍ずれるように複数とおりに変化させる。全体一致度IWは、以下の式3により算出される。
IW= DWin/DWall ・・・式3
【0077】
ただし式3において「DWin」は、前述の座標変換式を用いて局所周辺情報122Bを構成する点を駐車場座標系に変換した点のうち、最も近い駐車場点群124Aを構成する点までの距離があらかじめ定めた閾値以下の点の数である。また式3において「DWall」は、ステップS621において検出された点の数である。次にステップS648に進む。
【0078】
ステップS648では、ステップS647において算出した複数の全体一致度IWのうち、最大の全体一致度IWを与える座標変換式をRAM122に記憶してステップS650に進む。
【0079】
ステップS650における対応付け処理、ステップS651における誤差最小化処理、およびステップS625における収束判定処理は既知の点群マッチング技術であるICP(Iterative Closest Point)アルゴリズムを利用することができる。ただしステップS650における初期値の設定は本実施の形態に特有なので詳しく説明し、他は概略のみ説明する。
【0080】
ステップS643において肯定判定された場合、ステップS645において否定判定された場合、ステップS648の実行が終わった場合、またはステップS652において否定判定された場合に実行されるステップS650では、駐車場点群124Aの駐車場データに含まれる点群と局所周辺情報122Bに含まれる点群との対応付けが算出される。ステップS643またはステップS648の次に実行される場合は、局所周辺情報122Bの点群データはRAM122に記録された座標変換式を用いて座標変換された値を用いる。すなわち、ステップS643において肯定判定されてステップS650が実行される場合には、前回実行されたステップS653において算出された座標変換式が使用される。一方、ステップS648の次にステップS650が実行される場合は、ステップS648において記憶された座標変換式が使用される。次にステップS651に進む。
【0081】
ステップS651では、対応点の誤差が最小となるように座標変換式が変更される。たとえば、ステップS650において対応付けられた点同士の距離の指標の和が最小となるように座標変換式が変更される。対応付けられた点同士の距離の指標の和として距離の絶対値の和を採用することができる。続くステップS652では、誤差が収束したか否かを判断し、収束したと判断する場合はステップS653に進み、収束していないと判断する場合はステップS650に戻る。続くステップS653では、最後にステップS651において変更された座標変換式をRAM122に保存してステップS654に進む。
【0082】
ステップS654では、次のようにアウトライアリスト122Aを更新する。まずRAM122に格納されている既存のアウトライアリスト122Aをクリアする。次に局所周辺情報122Bの点群をステップ653において記録した座標変換式を用いて駐車場座標系に変換し、局所周辺情報122Bを構成するそれぞれの点とその点が対応する駐車場点群124Aを構成する点までの距離、すなわちユークリッド距離を算出する。そして、算出された距離があらかじめ定められた距離よりも長い場合は、その局所周辺情報122Bの点をアウトライアリスト122Aに加える。ただしこのときに、空間的に端部に位置することをアウトライアリスト122Aに加えるさらなる条件としてもよい。空間的な端部とは、記録を開始した際に取得された点など、他の点までの距離が遠い点である。以上の処理によりアウトライアリスト122Aが更新される。以上で図7のフローチャートを終了する。
【0083】
図8を参照して図5のステップS608において実行される自動駐車処理の詳細を説明する。以下に説明する各ステップの実行主体は車載処理装置120である。ステップS661では、駐車場座標系における車両1の位置を推定する。本ステップにおける処理は図5のステップS604と同様なので説明を省略する。続くステップS662では、ステップS661において推定した位置から、駐車場点群124Aに格納されている駐車位置までの走行経路を既知の経路生成手法により生成する。次にステップS663に進む。
【0084】
ステップS663では、車両制御装置130を介して操舵装置131、駆動装置132、および制動装置133を制御し、ステップS662において生成した経路に沿って車両1を駐車位置まで移動させる。ただし自動駐車ボタン110Cがユーザにより押され続けている場合だけ駆動装置132に動作指令を出力してもよい。また、カメラ102の撮影画像から人物や移動車両などが抽出されたら制動装置133を動作させて車両1を停止させる。続くステップS664ではステップS661と同様に車両1の位置を推定する。続くステップS665では駐車が完了したか否か、すなわち車両1が駐車位置に到達したか否かを判断し、駐車が完了していないと判断する場合はステップS663に戻り、駐車が完了したと判断する場合は図8のフローチャートを終了する。
【0085】
(動作例)
図9図14を参照して、記録フェーズ、および自動駐車フェーズの具体的な動作を説明する。図9(a)は、駐車場901の一例を示す平面図である。駐車場901は建物902の周囲に設けられる。駐車場901の出入り口は図示左下が1か所だけある。図9(a)に示す四角は路面ペイントである駐車枠を表しており、ハッチングで示す駐車枠903が車両1の駐車領域(駐車が完了した際に駐車位置となる領域)である。本動作例では、ランドマークは駐車枠線のみとして説明する。本動作例では図9(a)に示すように車両1を三角形で示し、三角形の鋭角が車両1の進行方向を示す。
【0086】
(動作例|記録フェーズ その1)
ユーザが駐車場901の入り口付近で記録開始ボタン110Aを押すと、車載処理装置120はランドマーク測位を開始し、駐車枠線を構成する点の座標を記録する(図4のステップS501:YES、S502~S504)。そして車両1記録完了ボタン110Bが押されるまで、図4のステップS502~S504の処理を繰り返す。
【0087】
図9(b)は、RAM122に保存されるランドマークの点群を可視化した図である。図9(b)において、実線はRAM122に保存されたランドマークの点群を表し、破線はRAM122に保存されていないランドマークを示す。車両1のカメラ102は撮影可能な範囲に限界があるため、図9(b)に示すように車両1が駐車場901の入り口付近にいる際は駐車場901の入り口付近の駐車枠線だけが記録される。ユーザが車両1を駐車場901の奥まで移動させると、車載処理装置120は駐車場901の全体のランドマークの点群を記録することができる。
【0088】
ユーザが車両1を駐車枠903の中に停車させて記録完了ボタン110Bを押すと、車載処理装置120はGPS受信機107から車両1の緯度経度を取得するとともに、車両1の四隅の座標を記録する(ステップS505:YES、S505A)。また環境条件を取得して記録する。駐車場点群124Aに車両1の現在の緯度経度、および現在の環境条件と略一致する駐車場データが記録されていない場合は(S506:NO)、RAM122に保存した点群を駐車場点群124Aを構成する新たなデータ、すなわち新たな駐車場データとして記録する。
【0089】
(動作例|記録フェーズ その2)
別な例として、図10(a)に示す点群データが駐車場点群124Aの駐車場データとして記録されており、新たに図10(b)に示す点群データが得られた場合を説明する。図10(a)に示す点群データは、たとえば図9(a)に示した駐車場901の入り口から右寄りを走行して駐車位置まで到達した場合に得られた点群データである。図9(a)に比べて右寄りを走行したので、図10(a)に点線で示した駐車枠の点群データが取得されていない。
【0090】
図10(b)に示す点群データは、たとえば駐車場901の入り口から左寄りを走行して駐車位置まで到達した場合に得られた点群データである。図9(a)に比べて左寄りを走行したので、図10(b)に点線で示した駐車枠の点群データが取得されていない。また図10(b)に示す点群データは、ユーザが記録開始ボタン110Aを押した際に車両1が駐車場901と正対していなかったので、図10(a)に比べて駐車場901が傾いているように記録されている。
【0091】
このような状態においてユーザが記録完了ボタン110Bを押したとき、駐車場点群124Aに車両1の現在の緯度経度、および現在の環境条件と略一致する駐車場データが記録されていると判断されると(S506:YES)、図10(a)と図10(b)の駐車位置、すなわち駐車枠903を基準に座標変換が行われる(ステップS507)。そして点群一致率IBを算出し(ステップS507A)、その点群一致率IBが所定の閾値よりも大きいと判断されると(ステップS508:YES)、図10(a)に示す点群データに図10(b)に示す点群データが統合される(ステップS509)。この統合により、図10(a)では記録されていなかった図示左側の駐車枠線の点群が新たに記録されるとともに、すでに記録されていた図示右側や図示上部の駐車枠線を構成する点群は記録される点群の密度が濃くなる。
【0092】
(動作例|実行フェーズ その1)
実行フェーズにおける第1の動作例として、マッチング処理の動作例を説明する。この動作例では、あらかじめ駐車場点群124Aには図9(a)に示した駐車場901の全体に相当する点群データが格納されている。また両者の環境条件は同一とする。
【0093】
図11は、図9(a)に示す駐車場901における車両1の現在位置を示す図である。車両1は図示上方を向いている。図12図13では、車両1の前方領域である図11において破線の丸で囲む部分の駐車枠線を示す。
【0094】
図12は、車両1が図11に示した位置において撮影した画像から抽出された点群を、駐車場座標に変換したデータを示す図である。すなわち、図12に示す点群は局所周辺情報122Bのうち、最新の撮影画像から検出された点群であり図7のステップS641Aにおいて処理されたデータである。ただし図12では点ではなく破線として表している。また図12では図11との対比のために車両1もあわせて表示している。図12に示すように、車両1の左側には駐車枠線の点群データが切れ目なく存在しており、車両1の右側では駐車枠線の点群データが手前側にのみ存在する。
【0095】
図13は、車両1の駐車場座標系における位置の推定が誤差を含んでいた場合における、駐車場点群124Aと図12に示した局所周辺情報122Bとの対比を示す図である。図13では、従前の位置推定がおおよそ駐車枠の幅の1つ分ずれていたため、車両1の右側に存在する局所周辺情報122Bは、駐車場点群124Aとずれが生じている。このような状態で瞬間一致度ICが算出されると(図7のステップS642)、車両1の右側の前述のずれにより瞬間一致度ICは低い値となる。この値が閾値よりも低いと判断されると(ステップS643:NO)、駐車枠を周期的な特徴として検出し(ステップS644、S645:YES)、駐車場点群124Aから駐車枠の幅が算出され(ステップS646)、駐車枠の幅の整数倍移動させて全体一致度IWが算出される(ステップS647)。
【0096】
図14(a)~(c)は、図12に示した局所周辺情報122Bを駐車枠の幅の整数倍移動させた場合の駐車場点群124Aとの関係を示す図である。図14(a)~(c)ではそれぞれ、図12に示した局所周辺情報122Bは駐車枠の幅の、+1倍、0倍、―1倍だけ図示上方に移動している。図14(a)では局所周辺情報122Bが図示上側に駐車枠の幅の1つ分移動しており、局所周辺情報122Bと駐車場点群124Aとのずれが拡大している。そのため図14(a)における全体一致度IWは、移動させない場合よりも小さくなる。図14(b)では局所周辺情報122Bは移動しておらず、図13でみたように局所周辺情報122Bと駐車場点群124Aは駐車枠の幅の1つ分ずれている。図14(c)では局所周辺情報122Bが図示下側に駐車枠の幅の1つ分移動しており、局所周辺情報122Bは駐車場点群124Aと略一致している。そのため図14(c)における全体一致度IWは、移動させない場合よりも大きくなる。
【0097】
局所周辺情報122Bの移動量と全体一致度IWの増減は上述する関係にあるので、図14に示す例では図14(c)に対応する全体一致度IWが最大と判断され、この移動に対応する座標変換式がRAM122に記憶される(ステップS648)。このようにして車載処理装置120は推定する位置精度を向上させる。
【0098】
上述した第1の実施の形態によれば、次の作用効果が得られる。
(1)車載処理装置120は、車両の周囲の情報を取得するカメラ102、ソナー103、レーダ104、およびLiDAR105の出力に基づき作成され、カメラ102などの出力が得られた際の周囲環境の条件である環境条件を含み、物体の一部を表す点の駐車場座標系における座標が複数含まれる点群データ(駐車場点群124A)が格納される記憶部124と、車両1の周囲の情報を取得するカメラ102、ソナー103、レーダ104、およびLiDAR105の出力を取得するセンサ入力部として機能するインタフェース125と、環境条件を取得する現在環境取得部121Dと、車両1の移動に関する情報を取得する移動情報取得部として機能するインタフェース125と、センサ入力部、および移動情報取得部が取得する情報に基づき、局所座標系における車両の位置および物体の一部を表す点の局所座標系における座標が複数含まれる局所周辺情報122Bを生成する局所周辺情報作成部121Bとを備える。車載処理装置120はさらに、駐車場データ、局所周辺情報122B、駐車場データに含まれる環境条件、および現在環境取得部121Dが取得する環境条件に基づき駐車場座標系と局所座標系の関係を推定し、駐車場座標系における車両1の位置を推定する位置推定部121Cとを備える。
【0099】
車載処理装置120は、駐車場点群124Aと局所周辺情報122Bとに基づき駐車場座標系と局所座標系の座標変換式を推定し、駐車場座標系における車両1の位置を推定する。駐車場点群124Aはあらかじめ記憶部124に記憶された情報であり、局所周辺情報122Bはカメラ102、車速センサ108、および舵角センサ109の出力から生成される。すなわち車載処理装置120は、記録された点群の座標系とは異なる座標系の点群の情報を取得し、異なる座標系間の対応関係に基づいて、記録された座標系における車両1の位置を推定することができる。また車載処理装置120は、駐車場点群124Aと局所周辺情報122Bとに基づき駐車場座標系と局所座標系の座標変換式を推定するので、局所周辺情報122Bの点群データの一部にノイズが含まれていても影響を受けにくい。すなわち、車載処理装置120による車両1の位置推定は外乱に強い。さらにセンサの精度に影響を及ぼす環境条件も考慮して駐車場座標系における車両1の位置を推定することができる。
【0100】
(2)環境条件は、天気、時間帯、および気温の少なくとも1つを含む。雨や雪の天気では細かなノイズとなりカメラ102に悪影響を及ぼすので天気を考慮することが有用である。また雪の天気は気温が低いことを間接的に示すので、低温環境では精度が低下するソナー103を用いる場合には考慮することが有用である。また時間帯によって周囲の明るさが大きく変化するため、カメラ102を用いる場合には考慮することが有用である。
【0101】
(3)点群データには、座標ごとに当該座標の作成に用いたセンサの種類が記録される。位置推定部121Cは、点群データに含まれる環境条件と現在環境取得部121Dが取得する環境条件とが一致すると判断すると、点群データに含まれる全ての座標を用いて駐車場座標系と局所座標系の関係を推定する。また位置推定部121Cは、点群データに含まれる環境条件と現在環境取得部が取得する環境条件とが一致しないと判断すると、点群データに含まれる環境条件とセンサの種類に基づき、駐車場座標系と局所座標系の関係を推定するために使用する駐車場座標系の座標を選択する。
【0102】
前述のようにセンサの出力は環境条件の影響を受け、特定の条件では誤差を含み精度が低下する。すなわちセンサの精度が低下する環境条件で作成した点群は、駐車場の形状を忠実に表した点群とは一致しない可能性がある。しかしこれは本実施の形態では問題とならない。なぜならば、記録時と同様に誤差が生じることが見込まれるのであれば、両者を比較することで位置推定ができるからである。そのため、環境条件が一致する場合には記録されている全ての点群データを用いて位置推定を行う。その一方で環境条件が異なる場合には、センサの出力に含まれる誤差が異なるので両者が合致する可能性は低く、むしろ位置推定を妨げる恐れがある。そのため記録された駐車場データの特徴点から使用可能な特徴点を選択する。
【0103】
(4)位置推定部121Cは、点群データに含まれる環境条件と現在環境取得部が取得する環境条件とが一致しないと判断すると、環境対応表124Bを参照して点群データに含まれる環境条件において精度が高い種類のセンサの出力に基づき作成された座標を選定する。そのため過去に記録された精度が低いセンサの出力を用いて誤った位置推定が行われることを防止できる。
【0104】
上述した第1の実施の形態は、以下のように変形してもよい。
(1)自動駐車システム100に含まれるセンサは、同一種類が複数存在してもよい。たとえばカメラ102が複数存在して異なる方向を撮影してもよい。また自動駐車システム100に含まれるセンサは少なくとも2種類あればよい。
【0105】
(2)車載処理装置120は、車速センサ108および舵角センサ109からセンシング結果を受信しなくてもよい。この場合は車載処理装置120は、カメラ102の撮影画像を用いて車両1の移動を推定する。車載処理装置120は、ROM123に格納された内部パラメータおよび外部パラメータを用いて、被写体とカメラ102との位置関係を算出する。そして複数の撮影画像においてその被写体を追跡することにより、車両1の移動量および移動方向を推定する。
【0106】
(3)駐車場点群124Aや局所周辺情報122Bなどの点群情報は3次元情報として格納されてもよい。3次元の点群情報は、2次元平面上に投影することにより第1の実施の形態と同様に2次元で他の点群と比較してもよいし、3次元同士で比較してもよい。この場合は車載処理装置120は、以下のようにランドマークの三次元点群を得ることができる。すなわち、車速センサ108および舵角センサ109の出力に基づき算出した車両1の移動量と、カメラ102が出力する複数の撮影画像とを用いて、公知のモーションステレオ技術や、そのモーション推定部分を内界センサや測位センサで補正した情報を用いることで、静止立体物の3次元点群を得ることができる。
【0107】
(4)車載処理装置120は、図7のステップS643において、1回だけの否定判定によりステップS644に進むのではなく、数回連続で否定判定された場合にステップS644に進んでもよい。
【0108】
(5)車載処理装置120は、図7のステップS643の判断に代えて、局所周辺情報122Bにおけるアウトライアと判断されている点の割合があらかじめ定めた閾値よりも大きいか否かを判断してもよい。その割合が閾値よりも大きい場合はステップS644に進み、その割合が閾値以下の場合はステップS650に進む。さらに車載処理装置120は、図7のステップS643の判断に加えて前述の割合が大きい場合のみステップS644に進んでもよい。
【0109】
(6)車載処理装置120は、図7のステップS644、S646の処理をあらかじめ行ってもよい。さらにその処理結果を記憶部124に記録してもよい。
【0110】
(7)車載処理装置120は、ユーザからの動作指令を車両1の内部に設けられた入力装置110からだけでなく、通信装置114から受信してもよい。たとえばユーザの所持する携帯端末と通信装置114が通信を行い、ユーザが携帯端末を操作することにより、車載処理装置120は自動駐車ボタン110Cが押された場合と同様の動作を行ってもよい。この場合は、車載処理装置120はユーザが車両1の内部に居る場合だけでなく、ユーザが降車した後にも自動駐車を行うことができる。
【0111】
(8)車載処理装置120は、駐車場点群124Aに記録された駐車位置だけでなく、ユーザにより指定された位置に駐車を行ってもよい。ユーザによる駐車位置の指定は、たとえば車載処理装置120が表示装置111に駐車位置の候補を表示し、ユーザが入力装置110によりそのいずれかを選択することにより行われる。
【0112】
(9)車載処理装置120は、通信装置114を経由して外部から駐車場点群124Aを受信してもよいし、作成した駐車場点群124Aを通信装置114を経由して外部に送信してもよい。また、車載処理装置120が駐車場点群124Aを送受信する相手は他の車両に搭載された別の車載処理装置120でもよいし、駐車場を管理する組織が管理する装置でもよい。
【0113】
(10)自動駐車システム100は、GPS受信機107に代えて携帯端末を備え、携帯端末が通信を行う基地局の識別情報を緯度経度の代わりに記録してもよい。基地局の通信範囲は数百m程度に限られるので、通信を行う基地局が同一であれば同一の駐車場の可能性が高いからである。
【0114】
(11)駐車場データに含まれる周期的な特徴は駐車枠に限定されない。たとえば路面ペイントの1つである横断歩道を構成する複数の直線なども周期的な特徴である。また、駐車場データがレーザレーダなどで取得した、壁などの障害物の情報から構成される場合は、規則的に並んだ柱も周期的な特徴である。
【0115】
(12)上述した実施の形態では移動体である車両や人間はランドマークに含めなかったが、移動体をランドマークに含めてもよい。その場合は移動体であるランドマークと移動体以外のランドマークを識別可能に記憶してもよい。
【0116】
(13)車載処理装置120は、記録フェーズにおいて、検出したランドマークを識別し、それぞれのランドマークの識別結果を駐車場点群124Aに併せて記録してもよい。ランドマークの識別には、撮影画像から得られるランドマークの形状情報や色情報、さらに公知のモーションステレオ技術によるランドマークの立体形状情報が用いられる。ランドマークはたとえば、駐車枠、駐車枠以外の路面ペイント、縁石、ガードレール、壁、などのように識別される。さらに車載処理装置120は、移動体である車両や人間をランドマークに含め、他のランドマークと同様に識別結果を駐車場点群124Aに併せて記録してもよい。この場合は車両と人間をあわせて「移動体」として識別および記録してもよいし、車両と人間を個別に識別および記録してもよい。
【0117】
(第2の実施の形態)
図15図16を参照して、本発明にかかる車載処理装置の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、センサの種類だけでなくセンサ出力の処理方法も環境対応表124Bに含める点で第1の実施の形態と異なる。
【0118】
(構成)
本実施の形態ではカメラ102が複数搭載され、それらは異なる方向を撮影する。それらの出力を組み合わせることで、車両1の全周囲を撮影した画像を作成できる。本実施の形態では、便宜的にこれを「全周カメラ」による撮影画像と呼ぶ。また車両1の前方を撮影するカメラ102を「前方カメラ」と呼ぶ。演算部121は、全周カメラの撮影画像を用いて、既知の手法により枠検知、静止立体物検知、およびレーン検知を行う。また演算部121は前方カメラの撮影画像を用いて、看板検知、路面検知、およびレーン検知を行う。
【0119】
枠検知とは、駐車枠など路面に描画された閉領域を検知する機能である。静止立体物検知とは、静止している立体物を検知する機能である。レーン検知とは、白線や鋲によって規定される走行レーンを検知する機能である。看板検知とは、交通標識を検知する機能である。路面検知とは、車両1の走行路面を検知する機能である。ただしここに挙げたセンサ出力の処理方法は一例であり、演算部121はセンサ出力を用いるどのような処理を行ってもよい。
【0120】
図15は、第2の実施の形態における駐車場点群124Aの一例を示す図である。第2の実施の形態では、駐車場点群124Aにはランドマークの特徴点を取得した処理方法があわせて記載される。図15に示すように、第1の実施の形態に比べて右から2列目に「処理」の列が追加され、処理方法が記載される。
【0121】
図16は、第2の実施の形態における環境対応表124Bの一例を示す図である。環境対応表124Bには、センサ出力の処理方法ごとに環境条件との精度の関係が記載される。たとえば静止立体物検知は他の手法に比べて比較的ノイズに強いため、雨や雪の環境条件でも精度が確保でき、図16に示す例では雨や雪でも丸が記載される。
【0122】
(動作)
第2の実施の形態では、自己位置推定を行う際に、センサ出力の処理方法も考慮して使用する特徴点を決定する。具体的には、図6のS631においてセンサごと、およびセンサ出力の処理方法ごとに不一致条件での使用可否を判断する。その他の処理は第1の実施の形態と同様である。
【0123】
上述した第2の実施の形態によれば、第1の実施の形態の作用効果に加えて次の効果が得られる。すなわち、センサの出力だけでなくその出力の処理方法も環境条件の影響を受け、特定の条件では誤差を含み精度が低下する。しかし記録時と同様に誤差が生じることが見込まれるのであれば、両者を比較することで位置推定ができる。そのため、環境条件が一致する場合には記録されている全ての点群データを用いて位置推定を行う。その一方で環境条件が異なる場合には、センサの出力の処理方法に起因する誤差が異なるので両者が合致する可能性は低く、むしろ位置推定を妨げる恐れがある。そのため記録された駐車場データの特徴点から精度が高い処理方法によって作成された座標を選定することで、誤った位置推定が行われることを防止できる。
【0124】
(第2の実施の形態の変形例)
上述した第2の実施の形態では、環境対応表124Bにはカメラ102の出力の処理方法のみが含まれたが、他のセンサ、すなわちソナー103、レーダ104、およびLiDAR105の処理方法が含まれてもよい。また複数のセンサの出力を組み合わせた処理方法が環境対応表124Bに含まれてもよい。
【0125】
上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【0126】
1 … 車両
100 … 自動駐車システム
102 … カメラ
103 … ソナー
104 … レーダ
105 … LiDAR
107 … GPS受信機
108 … 車速センサ
109 … 舵角センサ
120 … 車載処理装置
121 … 演算部
121A … 点群データ取得部
121B … 局所周辺情報作成部
121C … 位置推定部
121D … 現在環境取得部
122A … アウトライアリスト
122B … 局所周辺情報
124 … 記憶部
124A … 駐車場点群
124B … 環境対応表
125 … インタフェース
130 … 車両制御装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16