特許 6815963 車両用外界認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6815963

(24)【登録日】2020年12月25日

(45)【発行日】2021年1月20日

(54)【発明の名称】車両用外界認識装置

(51)【国際特許分類】

   G01B 11/00 20060101AFI20210107BHJP

   G06T 7/00 20170101ALI20210107BHJP

   G06T 7/246 20170101ALI20210107BHJP

   G06T 7/70 20170101ALI20210107BHJP

   G08G 1/16 20060101ALI20210107BHJP

   B60R 21/00 20060101ALI20210107BHJP

【ＦＩ】

   G01B11/00 H

   G06T7/00 650Z

   G06T7/246

   G06T7/70 A

   G08G1/16 C

   B60R21/00

【請求項の数】6

【全頁数】21

(21)【出願番号】特願2017-192230(P2017-192230)

(22)【出願日】2017年9月29日

(65)【公開番号】特開2019-66333(P2019-66333A)

(43)【公開日】2019年4月25日

【審査請求日】2019年11月29日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(74)【代理人】

【識別番号】110002572

【氏名又は名称】特許業務法人平木国際特許事務所

(72)【発明者】

【氏名】緒方 健人

(72)【発明者】

【氏名】桑原 利尚

(72)【発明者】

【氏名】清原 將裕

(72)【発明者】

【氏名】内田 吉孝

【審査官】 武田 広太郎

(56)【参考文献】

【文献】 特開２０１１−１５０６３３（ＪＰ，Ａ）

【文献】 特開２０１４−２４０７５３（ＪＰ，Ａ）

【文献】 特開２０１４−００６５８８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００

Ｂ６０Ｒ ２１／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２４６

Ｇ０６Ｔ ７／７０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

自車周囲の走行可能な空間を認識する車載用外界認識装置であって、
自車周囲の環境を含む画像を取得する画像取得部と、
前記画像から特徴点を抽出し、前記特徴点を時系列追跡した前記画像上の動きに基づいて前記特徴点の３次元位置を計測する特徴点位置計測部と、
前記画像から画像のテクスチャの類似度を用いて、自車が走行可能な路面領域を推定する路面領域推定部と、
前記特徴点の３次元位置から足元位置を算出する特徴点足元位置算出部と、
前記特徴点の足元位置と前記路面領域との位置関係に応じて前記特徴点が自車周囲の静止した障害物の特徴点であるか否かを判定する障害物判定部と、
を有し、
前記障害物判定部は、前記特徴点の足元位置が前記路面領域に含まれているときは前記特徴点が自車周囲の静止した障害物の特徴点ではないと判定し、前記特徴点の足元位置が前記路面領域に含まれていないときは、前記特徴点が自車周囲の静止した障害物の特徴点であると判定することを特徴とする車載用外界認識装置。

【請求項2】

前記路面領域推定部は、路面領域の推定結果を蓄積し、
前記障害物判定部は、前記特徴点の３次元位置から、所定の特徴点の周囲に存在する他の特徴点の密度を算出する空間特徴算出を行い、前記特徴点の密度の高さに応じて閾値を定し、該閾値に基づいて前記特徴点が自車周囲の静止した障害物の特徴点であるか否かの判定を行うことを特徴とする請求項１に記載の車載用外界認識装置。

【請求項3】

センサにより自車周囲の障害物を検知し、その結果自車が走行可能な空間の情報を取得する空間情報取得手段を有し、
前記障害物判定部は、前記特徴点の足元位置が前記路面領域に含まれるか否か、さらに、前記走行可能な空間に含まれるか否かに基づいて、前記特徴点が前記障害物の特徴点であるか否かの判定を行うことを特徴とする請求項１に記載の車載用外界認識装置。

【請求項4】

自車周囲の障害物の方位を算出する障害物方位算出部を有し、
前記障害物判定部は、所定の特徴点の周囲に存在する他の特徴点の密度、および、前記障害物の方位上の他の特徴点の有無を算出し、前記障害物の方位上における他の特徴点の有無と、前記特徴点の密度と、前記特徴点の足元位置と前記路面領域とを比較した結果に基づいて、前記特徴点が前記障害物の特徴点であるか否かの判定を行うことを特徴とする請求項３に記載の車載用外界認識装置。

【請求項5】

前記特徴点足元位置算出部は、前記特徴点の３次元位置から前記足元位置を算出する際に、路面高さを実際の路面よりも高い所定の高さ位置に設定して画像座標を算出し、該画像座標の路面高さ位置における３次元座標を算出することを特徴とする請求項１に記載の車載用外界認識装置。

【請求項6】

自車周囲の走行可能な空間を認識する車載用外界認識方法であって、
自車周囲の環境を含む画像を取得するステップと、
前記画像から特徴点を抽出し、前記特徴点を時系列追跡した前記画像上の動きに基づいて前記特徴点の３次元位置を計測するステップと、
前記特徴点の３次元位置から前記特徴点の足元位置を算出するステップと、
前記画像から画像のテクスチャの類似度を用いて、自車が走行可能な路面領域を推定するステップと、
前記特徴点の足元位置が前記路面領域に含まれているときは前記特徴点が自車周囲の静止した障害物の特徴点ではないと判定するステップと、
前記特徴点の足元位置が前記路面領域に含まれていないときは前記特徴点が自車周囲の静止した障害物の特徴点であると判定するステップと、
を有することを特徴とする車載用外界認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラ等の画像センサからの情報に基づいて自車周囲走行可能な空間を認識する車両用外界認識装置に関する。

【背景技術】

【0002】

近年、カメラを用いて自車周囲の外界を認識し、運転者の運転操作をサポートするシステムの開発が進められている。たとえば、自車周囲の駐車スペースを検出し、運転者の駐車操作の一部あるいはすべてを自動で実施する自律駐車システム等が実用化されている。

【0003】

駐車スペースを検出した後、自車周囲の走行可能な領域を認識できれば、走行可能領域に応じて最適な駐車経路を生成することが可能となり、最短時間で駐車を行うことができる。一方、自車周囲の障害物の位置を正しく検出できなかった場合には、実際より狭い走行可能領域内で駐車経路を生成することになり、切り返しが増えたり、駐車できないと判定されたりといった現象が発生し、ユーザの使い勝手が低下してしまう。この課題を解決するため、計測した障害物が正しいかを確認する手法がある。

【0004】

たとえば、特許文献１には、画像から特徴点を検出し、特徴点の時系列の動きから３次元情報を計測する手段と、計測した特徴点から、画像上における足元位置を算出し、足元位置のエッジの有無を用いて、エッジが存在する場合にはその特徴点の計測結果は確からしくないと判定する方法が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１４−２４０７５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、足元位置のエッジがはっきり出るような障害物の場合は問題ないが、たとえば、車両の場合はバンパーのエッジは路面よりも高い位置に出るため、駐車支援用のカメラで観測すると足元とは異なる位置にエッジが観測される。また、歩行者のように足元のエッジが出にくい障害物の場合はこの判定が難しい。逆に、偶然路面上にエッジが存在する場合には、誤判定する。

【0007】

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、カメラ画像を用いて足元のエッジの観測が困難な障害物であっても、特徴点の計測の確からしさを判定することができる車両用外界認識装置を提供することである。

【課題を解決するための手段】

【0008】

上記課題を解決する本発明の車載用外界認識装置は、自車周囲の走行可能な空間を認識する車載用外界認識装置であって、自車周囲の環境を含む画像を取得する画像取得部と、前記画像から特徴点を抽出し、前記特徴点を時系列追跡した前記画像上の動きに基づいて前記特徴点の３次元位置を計測する特徴点位置計測部と、前記画像から画像のテクスチャの類似度を用いて、自車が走行可能な路面領域を推定する路面領域推定部と、前記特徴点の３次元位置から足元位置を算出する特徴点足元位置算出部と、前記特徴点の足元位置と前記路面領域とを比較し、前記足元位置が前記路面領域に含まれない特徴点を自車周囲の静止した障害物の特徴点であると判定する障害物判定部と、を有することを特徴とする。

【発明の効果】

【0009】

本発明によれば、計測した特徴点の足元位置と路面領域との重複を用いて、特徴点の確からしさを判定するため、特徴点の足元位置とエッジの位置とが異なっていたり、足下のエッジの観測が難しい場合であっても、その影響を受けない。また、偶然存在するエッジによる誤判定も発生しない。したがって、自車周囲の静止した障害物の位置を正確に把握することができる。

【0010】

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0011】

【図1】第一実施の形態における車載用外界認識装置のブロック図。

【図2】画像取得部の構成を説明する図。

【図3】特徴点位置計測部の処理の流れを示したフローチャート。

【図4】特徴点位置計測部の処理の説明図。

【図5】足元位置算出部の処理の流れを示したフローチャート。

【図6】足元位置算出部の処理の説明図。

【図7】路面領域推定部の処理の流れを示したフローチャート。

【図8】時系列処理の流れを説明するフローチャート。

【図9】時系列処理の説明図。

【図10】障害物判定部の処理の流れを示したフローチャート。

【図11】障害物判定部の異なる処理の流れを示したフローチャート。

【図12】第二実施の形態における車載用外界認識装置の構成を示すブロック図。

【図13】障害物方位算出部の処理の流れを示したフローチャート。

【図14】障害物判定部の処理の流れを示したフローチャート。

【図15】障害物判定部の処理の流れを示したフローチャート。

【図16】障害物判定部の処理の流れを示したフローチャート。

【図17】障害物判定部の処理の流れを示したフローチャート。

【図18】障害物判定部による障害物判定の一例を説明する図。

【図19】障害物判定部による障害物判定の一例を説明する図。

【図20】本実施例の効果を説明する図。

【発明を実施するための形態】

【0012】

＜第一実施の形態＞
以下、本発明の第一実施の形態について図面を用いて詳細に説明する。図１は、第一実施の形態における車載用外界認識装置１０００のブロック図である。

【0013】

車載用外界認識装置１０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ装置のカメラ１００１〜１００４で撮影した画像内から外界を認識するためのものであり、本実施の形態では、自車周囲の障害物を認識するように構成されている。

【0014】

車載用外界認識装置１０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期Ｔで繰り返し処理を実行する。

【0015】

車載用外界認識装置１０００は、図１に示すように、画像取得部１０１１と、特徴点位置計測部１０２１と、特徴点足元位置算出部１０３１と、路面領域推定部１０４１と、障害物判定部１０５１を有する。

【0016】

画像取得部１０１１は、自車周囲の環境を含む画像を取得する。画像取得部１０１１は、図２に示すように，自車１０の周囲を撮像可能な位置に取り付けられたカメラ１００１〜１００４から、自車周囲を撮影した画像１００５〜１００８のうちいずれか１つ以上を取得する。本実施例においては、自車１０の進行方向の情報に基づき、前進時は前方カメラ１００１で撮像した画像１００５を取得し、後進時は後方カメラ１００４で撮像した画像１００８を取得する。取得した画像は、２次元配列としてＲＡＭ上に記録される。以下、入力画像はＩＭＧＳＲＣ［ｘ］［ｙ］で表すものとする。ｘ、ｙはそれぞれ画像の座標を示す。図２に示す各画像１００５〜１００８は、自車１０が駐車枠に前向き駐車したときの画像であり、駐車スペースの区画線Ｌが撮像されている。

【0017】

特徴点位置計測部１０２１は、画像から特徴点を抽出し、特徴点を時系列追跡した画像上の動きに基づいて特徴点の三次元位置を計測する。つまり、特徴点位置計測部１０２１では、入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］から特徴点ＦＰ［ｐ］を抽出し、その特徴点ＦＰ［ｐ］を時系列追跡した画像上の動き（特徴点の時系列変化）に基づいて、特徴点の三次元位置として、自車１０から特徴点ＦＰ［ｐ］までの距離を計測する。特徴点位置計測部１０２１は、入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］から特徴点ＦＰ［ｐ］を検出し、時系列に追跡することにより各特徴点の画像座標テーブルＦＰＩ［ｐ］から３次元距離テーブルＦＰＷ［ｐ］を計測する。ここで、ＦＰＩ［ｐ］は画像座標（ｘ、ｙ）、ＦＰＷ［ｐ］は自車後輪車軸を原点とする世界座標（ｘ、ｙ、ｚ）の要素を持つテーブルの１次元配列であり、ｐは複数検出した場合のＩＤを表す。処理の詳細は後述する。

【0018】

特徴点足元位置算出部１０３１は、特徴点の三次元位置から特徴点の足元位置を算出する。つまり、特徴点足元位置算出部１０３１では、特徴点ＦＰ［ｐ］の世界座標ＦＰＷ［ｐ］からカメラの設置高さや角度といったカメラ幾何情報を用いて、特徴点ＦＰ［ｐ］の足元位置ＦＰＷ０[ｐ]を算出する。ここで、ＦＰＷ０［ｐ］は世界座標（ｘ、ｙ、０）の要素を持つテーブルの１次元配列であり、ｐは複数検出した場合のＩＤを表す。処理の詳細は後述する。特徴点の足元位置とは、特徴点の位置から鉛直方向に下げた路面上の位置をいう。

【0019】

路面領域推定部１０４１は、画像から画像のテクスチャの類似度を用いて、自車が走行可能な路面領域を推定する。つまり、路面領域推定部１０４１では、入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］から、画像のテクスチャ情報を解析し、路面領域を抽出する。情報の持ち方は様々あるが、本実施例においては、１グリッド５ｃｍ程度で自車後輪車軸中心を原点とするグリッドマップＧＲＤ［ｘ］［ｙ］を前後左右１０ｍ程度の範囲で用意し、路面領域ほど「１」、非路面領域ほど「０」となるような推定値をもたせるものとする。処理の詳細は後述する。

【0020】

障害物判定部１０５１は、特徴点の足元位置と推定した路面領域とを比較し、足元位置が推定した路面領域に含まれない特徴点を自車周囲の静止した障害物の特徴点であると判定する。つまり、障害物判定部１０５１では、特徴点ＦＰ［ｐ］の足元位置ＦＰＷ０［ｐ］＝（ｘ、ｙ、０）の座標と路面領域推定値を格納したグリッドＧＲＤ［ｘ］［ｙ］を比較し、特徴点の足元位置が路面領域に含まれている特徴点は除去し、路面領域に含まれていない特徴点を残した障害物特徴点ＯＦＰ［ｑ］を生成する。処理の詳細は後述する。

【0021】

[特徴点位置計測部１０２１]
つぎに、図３、４を用いて、特徴点位置計測部１０２１における処理の内容について説明する。
図３は、特徴点位置計測部１０２１の処理の流れを示したフローチャートである。また、図４は、特徴点位置計測部１０２１の処理の説明図である。

【0022】

特徴点位置計測部１０２１は、入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］に対して実施する。まず、ステップＳ３０１にて、現在画像である入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］から特徴点ＦＰＩ［ｐ］を抽出する。特徴点ＦＰＩ［ｐ］の抽出は、Ｈａｒｒｉｓコーナー等公知の方法を用いる。その結果、各特徴点に対して画像座標が得られる。

【0023】

つぎに、ステップＳ３０２にて、同じカメラから取得された、所定時刻前の過去画像ＩＭＧＳＲＣ＿Ｐを取得する。

【0024】

つぎに、ステップＳ３０３にて、現在画像と過去画像からオプティカルフローを算出する。ここでは、現在画像ＩＭＧＳＲＣ上における各特徴点ＦＰＩ［ｐ］の過去画像ＩＭＧＳＲＣ＿Ｐ上の対応位置を、オプティカルフロー法により算出し、各特徴点の移動ベクトルＦＰ＿ＶＸ［ｐ］、ＦＰ＿ＶＹ［ｐ］を取得する。オプティカルフローは、Ｌｕｃａｓ−Ｋａｎａｄｅ法等、公知の方法を用いる。

【0025】

そして、ステップＳ３０４にて、オプティカルフローから３次元情報ＦＰＷ［ｐ］を算出する。ここでは、特徴点ＦＰＩ［ｐ］および移動ベクトルＦＰ＿ＶＸ［ｐ］、ＦＰ＿ＶＹ［ｐ］を用いて、各特徴点ＦＰＩ［ｐ］の自車周囲における３次元位置を算出する。算出方法は、公知の手段を用いる。本実施例においては、画像上の移動ベクトルと、ＣＡＮにより取得した自車位置ＤＲＣ［ｔ］およびＤＲＣ［ｔ−１］を用いて算出した自車移動量を用いる。ここで、ｔは処理のタイミングを表す記号であり、自車移動量ＤＲＣ［ｔ］は、自車後輪車軸中心を原点とする座標系におけるＸ、Ｙ、ヨー角である。自車位置ＤＲＣ［ｔ］およびＤＲＣ［ｔ−１］より、Ｘ、Ｙ、ヨー角の移動量が得られる。

【0026】

最後に、ステップＳ３０５にて、各特徴点の相対座標を取得する処理を行う。ここでは、各特徴点の３次元位置を車両の後輪車軸中心を原点とする座標系に変換し、距離テーブルＦＰＷ［ｐ］として格納する。

【0027】

図４（ａ）に示すように、過去の自車位置ＤＲＣ［ｔ−１］と現在の自車位置ＤＲＣ［ｔ］が変化することにより視差が生まれ、距離を計測することができる。図４（ａ）に示す例では、自車１０がｔ−１時点からｔ時点までの間に距離ｄだけ進むことによって生じた視差に基づいて駐車車両２０までの距離Ｙが計測される。画像の特徴点それぞれの距離を計測するため、たとえば駐車車両２０に対して計測した結果は、図４（ｂ）に示すように、複数の点２１として計測される。

【0028】

[特徴点足元位置算出部１０３１]
つぎに、足元位置算出部１０３１における処理の内容について説明する。

【0029】

本実施例においては、２つの方法について説明する。
まず、一つ目の方法（一番目の方法）は、単純に距離テーブルＦＰＷ［ｐ]を距離テーブルＦＰＷ０［ｐ]＝（ｘ、ｙ、ｚ）へコピーし、距離テーブルＦＰＷ０［ｐ］のｚ＝０とする方法である。

【0030】

そして、二つ目の方法（二番目の方法）は、特徴点の３次元位置から足元位置を算出する際に、路面高さを実際の路面よりも高い位置に設定して画像座標を算出し、画像座標の路面高さ位置における３次元座標を算出する方法である。この二番目の方法について、図５を用いて説明する。
図５は、足元位置算出部１０３１の処理の流れを示したフローチャートである。
まず、ステップＳ５０１にて、距離テーブルＦＰＷ［ｐ]＝（ｘ、ｙ、ｚ）を距離テーブルＦＰＷ０Ｔ［ｐ]＝（ｘ、ｙ、ｚ）へコピーする。

【0031】

つぎに、ステップＳ５０２にて、距離テーブルＦＰＷ０Ｔ［ｐ］の高さｚを、実際の路面より高い値「Ｈｖ」に設定する。

【0032】

つぎに、ステップＳ５０３にて、距離テーブルＦＰＷ０Ｔ［ｐ］から画像座標テーブルＦＰＩ０［ｐ］を算出する。算出には、予め登録されているカメラの設置高さ、設置角度やレンズの歪テーブルといったカメラ幾何情報を用いる。カメラ幾何情報を用いて、世界座標から画像座標を算出する処理は公知の技術であるため詳細な説明は割愛する。

【0033】

そして、ステップＳ５０４にて、カメラ幾何情報を用いて、画像座標テーブルＦＰＩ０［ｐ］の位置における、路面高さ（ｚ＝０）における距離テーブルＦＰＷ０［ｐ］＝（ｘ、ｙ、０）を算出する。

【0034】

足元位置の算出方法として、上記した一番目の方法と二番目の方法のどちらを用いるべきかは、自車１０のカメラの設置高さに応じて選択できる。また、二番目の方法の高さＨｖは、仕向け地や自車の車種によって値を変えてもよい。さらに、機械学習による識別器を用いて画像内の車両の種類を識別し、その種類に応じて変えてもよい。機械学習による車両の検出や車種の判定方法は公知技術のため、ここでは説明を割愛する。図６は、自車のカメラで他の車両を撮像している状況を模式的に示す図であり、図６（ａ）は一番目の方法を示し、図６（ｂ）は二番目の方法を示している。

【0035】

図６（ａ）に示すように、低く設置されたカメラを用いて、他の車両２０を対象に特徴点位置計測部１０２１と路面領域推定部１０４１による処理を実行すると、車のバンパーは路面よりも高い位置にあるため、路面領域推定部１０４１により推定した路面領域がバンパーの下まで回りこんでしまい、特徴点位置計測部１０２１により得られる距離よりも広い範囲で路面領域が検出される。そのため、図６（ｂ）に示すように、車のバンパーの高さＨｖの位置で一旦画像座標に変換し、その画像座標の路面高さ（ｚ＝０）における距離を求めることで、距離テーブルＦＰＷ０［ｐ］と路面領域が重複しないようにすることができる。

【0036】

つまり、一番目の方法では、図６（ａ）に示すように、路面領域推定部１０４で推定した路面領域内に、特徴点足元位置算出部１０３１で算出した足元位置が入り込んでしまうので、障害物判定部１０５１によって、その特徴点は誤検出されたものと判断されて除去されるおそれがある。これに対して、二番目の方法では、図６（ｂ）に示すように、特徴点から下方に所定長さだけ離れた位置にバンパーの下縁が存在するとみなし、かかる位置、換言すると、足元位置から路面から高さＨｖの位置を、障害物判定部１０５１の障害物判定に用いる。障害物判定部１０５１では、カメラと足元位置から路面から高さＨＶの位置との間を結ぶ線を路面まで延長した位置が、推定した路面領域の端縁近傍に位置している場合には、障害物の特徴点として残す処理を行う。

【0037】

［路面領域推定部１０４１］
つぎに、図７，８，９を用いて、路面領域推定部１０４１における処理の内容について説明する。
図７は、路面領域推定部１０４１の処理の流れを示したフローチャートである。

【0038】

路面領域推定部１０４１は、入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］に対して実施する。画像から路面領域を推定する方法は、たとえば機械学習を用いた方法や、画像内の類似度を用いた方法等様々あるが、本実施例では、特徴点位置計測部１０２１の結果を用いて実施する方法を用いる。

【0039】

まず、ステップＳ７０１にて、入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］を複数の局所領域Ｒ［ｒ］に分割する。

【0040】

つぎに、ステップＳ７０２にて、特徴点から計測された距離テーブルＦＰＷ［ｐ]＝（ｘ、ｙ、ｚ）のうち高さが路面高さの範囲（ｔｈＺｒｍｉｎ、ｔｈＺｒｍａｘ）の範囲内の特徴点を抽出し、その特徴点が属する局所領域Ｒ［ｒ］のＩＤのテーブルｒｄ［ｄ］を抽出する。

【0041】

以下、ステップＳ７０３からＳ７０５まで、ｒｄ［ｄ］についてｄ＝０からＤまで繰り返し処理を行う。

【0042】

まず、ステップＳ７０３にて、路面高さの範囲内の特徴点が属する局所領域Ｒ［ｒｄ［ｄ］］から、画像のヒストグラム情報Ｈｓｔ１を取得する。

【0043】

つぎに、ステップＳ７０４にて、路面高さの範囲内の特徴点が属する局所領域Ｒ［ｒｄ［ｄ］］近傍の局所領域Ｒ［ｒ’］について、以下ステップＳ７０４，Ｓ７０５の処理を行う。近傍の判定は、たとえば局所領域Ｒ［ｒｄ［ｄ］］と局所領域Ｒ［ｒ’］の中心間の距離が閾値ｔｈＲＤｉｓｔ以下である領域とする。

【0044】

まず、ステップＳ７０４にて、局所領域Ｒ［ｒ’］のヒストグラム情報Ｈｓｔ２を取得する。
そして、ステップＳ７０５にて、ヒストグラムＨｓｔ１とＨｓｔ２の類似度Ｍａｔｃｈを算出し、類似度が閾値ｔｈＭａｔｃｈ以上であれば、その局所領域Ｒ［ｒ’］のＩＤ＝ｒ’をテーブルｒｄｍ［ｄｍ］へ登録する。
すべてのｒ’に対する処理が終了したら、次のｒｄ［ｄ］を選択し、ステップＳ７０３へ戻る。

【0045】

すべてのｒｄ［ｄ］に対して処理を終了したらステップＳ７０６へ移動し、ｒｄ［ｄ］およびｒｄｍ［ｄｍ］に所属するすべての局所領域Ｒ［ｒｄ［ｄ］］、Ｒ［ｒｄｍ［ｄｍ］］を、画像内の路面領域推定瞬間値ＲＤＩ［ｔ］として抽出する。
さらに、ステップＳ７０７にて、カメラ幾何情報を用いて、路面領域の境界を世界座標の路面推定瞬間値ＲＤＴ［ｘ］［ｙ］へ変換し、時系列処理を行う。

【0046】

ステップＳ７０７の時系列処理について、図８，９を用いて説明する。図８は処理のフロー、図９は時系列処理の説明図である。

【0047】

まず、ステップＳ８０１にて、デッドレコニング情報に基づき、今回の自車位置ＤＲＣ［ｔ］と前回の自車位置ＤＲＣ［ｔ−１］を取得し、今回の自車位置ＤＲＣ［ｔ］を基準とする前回の自車位置ＤＲＣ＿Ｐ［ｔ］を算出する。図９（ａ）はその例である。図９（ａ）では、今回の自車位置を実線で示し、前回の自車位置を破線で示している。

【0048】

つぎに、ステップＳ８０２にて、前回の自車位置ＤＲＣ＿Ｐ［ｔ］を基準とし、前回の路面領域推定結果ＧＲＤｚ１［ｘ］［ｙ］を展開し、全体から一定値を減算する。図９（ｂ）はその例である。図９（ｂ）には、前回の路面領域推定結果１５１を破線で示している。

【0049】

つづいて、ステップＳ８０３にて、今回の自車位置ＤＲＣ［ｔ］を基準とし、今回の路面領域推定瞬間値ＲＤＴ［ｔ］［ｘ］［ｙ］を展開する。図９（ｃ）はその例である。図９（ｃ）には、今回の路面領域推定瞬間値１５２を実線で示している。

【0050】

そして、ステップＳ８０４にて、前回の路面領域推定結果ＲＤＴ［ｔ−１］［ｘ］［ｙ］と今回の路面領域推定瞬間値ＲＤＴ［ｔ］［ｘ］［ｙ］を加算する。図９（ｄ）はその例である。図９（ｄ）では、前回と今回の路面領域推定瞬間値の重複領域１５３をハッチングで示している。

【0051】

さらに、ステップＳ８０５にて、重複領域を今回の路面領域推定結果ＧＲＤ［ｘ］［ｙ］として出力し、同時に、今回の路面領域推定結果を前回の路面領域推定結果ＧＲＤｚ１［ｘ］［ｙ］へコピーする。

【0052】

［障害物判定部１０５１］
つぎに、図１０、図１１を用いて障害物判定部１０５１の処理の内容について説明する。

【0053】

図１０は障害物判定部１０５１の処理の流れを示したフローチャートである。
処理は、ステップＳ１０００１からＳ１００３まで、特徴点ＩＤであるｐ＝０からＰまで繰り返し処理を行う。

【0054】

まず、ステップＳ１０００１にて特徴点ＦＰ［ｐ］の足元座標ＦＰＷ０［ｐ］を取得する。
つぎに、ステップＳ１０００２にて足元座標ＦＰＷ０［ｐ］を路面領域推定結果ＧＲＤ［ｘ］［ｙ］へ投影し、足元座標を確認し、足元座標ＦＰＷ０［ｐ］の路面領域推定値が閾値ｔｈＲｏａｄ未満、すなわち路面ではなかったら、ステップＳ１０００３へ移動し、障害物特徴点ＯＦＰ［ｑ］へ登録する。
上記処理をすべての特徴点ＦＰ［ｐ］について実施する。

【0055】

一方、図１１は障害物判定部１０５１の異なる処理の流れを示したフローチャートである。
処理は、ステップＳ１１００１からＳ１１００９まで、特徴点ＩＤであるｐ＝０からＰまで繰り返し処理を行う。

【0056】

まず、ステップＳ１１００１にて、特徴点ＦＰ［ｐ］の世界座標ＦＰＷ［ｐ］と、ｐ以外のすべての世界座標ＦＰＷ［ｐ’］との距離を比較し、半径ｔｈＡｒｏｕｎｄ以内の特徴点の合計数ＳｕｍＡｒｏｕｎｄを算出する。本実施例では、距離算出には世界座標（ｘ、ｙ、ｚ）のうち、（ｘ、ｙ）のみを用いる。

【0057】

つぎに、ステップＳ１１００２にて、合計数ＳｕｍＡｒｏｕｎｄと閾値ｔｈＳｕｍＦｅｗを比較し、合計数ＳｕｍＡｒｏｕｎｄが少なければステップＳ１１００４へ行く。そうでなければ、ステップＳ１１００５へ行き、合計数ＳｕｍＡｒｏｕｎｄと閾値ｔｈＳｕｍＭａｎｙを比較し、合計数ＳｕｍＡｒｏｕｎｄが多ければステップＳ１１００５へ行く。そうでなければステップＳ１１００６へ行く。

【0058】

ステップＳ１１００４からＳ１１００６では、後段で利用する閾値ｔｈＲｏａｄを設定する。
ステップＳ１１００４では、閾値ｔｈＲｏａｄ＝ｔｈＲｏａｄＦｅｗとする。
ステップＳ１１００５では、閾値ｔｈＲｏａｄ＝ｔｈＲｏａｄＭａｎｙとする。
ステップＳ１１００６では、閾値ｔｈＲｏａｄ＝ｔｈＲｏａｄＮｏｒｍａｌとする。
ここで、ｔｈＲｏａｄＦｅｗ＜ｔｈＲｏａｄＮｏｒｍａｌ＜ｔｈＲｏａｄＭａｎｙである。

【0059】

つぎに、ステップＳ１１００７にて、特徴点ＦＰ［ｐ］の足元座標ＦＰＷ０［ｐ］を取得する。

【0060】

つぎに、ステップＳ１１００８にて足元座標ＦＰＷ０［ｐ］を路面領域推定結果ＧＲＤ［ｘ］［ｙ］へ投影し、足元座標を確認し、足元座標ＦＰＷ０［ｐ］の路面領域推定値が閾値ｔｈＲｏａｄ未満、すなわち路面ではなかったら、ステップＳ１０００３へ移動し、障害物特徴点ＯＦＰ［ｑ］へ登録する。
上記処理をすべての特徴点ＦＰ［ｐ］について実施する。

【0061】

特徴点足元位置算出特徴点足元位置算出の際に部１０３１にて説明したように、路面高さよりも高い位置で一旦画像座標を求め、その点が路面高さに存在するものと仮定する処理により、カメラの設置高さが低い場合に対象物体が車両のバンパーのように空中に浮いている場合であっても適切に障害物を障害物と判定することができる。

【0062】

また、障害物判定部１０５１で説明したように、特徴点の密集度に応じてその特徴点の閾値を変化させることで、はずれ値のように特徴点が孤立して出力されているようなものを除去しやすく設定することができる。

【0063】

本実施の形態の車載用外界認識装置１０００によれば、自車周囲の環境を含む画像から特徴点を抽出し、特徴点を時系列追跡した画像上の動きに基づいて特徴点の３次元位置を計測し、特徴点の３次元位置から画像上の足元位置を算出する処理を行う。そして、画像のテクスチャの類似度を用いて自車が走行可能な路面領域を画像内から抽出し、特徴点の足元位置が路面領域に含まれないと判定された特徴点を信頼度が高いと判定し、特徴点の足元位置が路面領域に含まれていると判定された特徴点を信頼性が低いと判定する処理を行う。信頼性の高い特徴点は、自車周囲の静止した障害物の特徴点である可能性が高い。一方、特徴点の足元位置が路面領域に含まれている特徴点は、自車周囲の静止した障害物の特徴点である可能性が低く、例えば移動体による誤検知であることが予想される。車載用外界認識装置１０００は、計測した特徴点の足元位置と路面領域との重複を用いて、特徴点の確からしさを判定するので、特徴点の足元位置とエッジの位置とが異なっていたり、足下のエッジの観測が難しい場合であっても、その影響を受けない。また、偶然存在するエッジによる誤判定も発生しない。

【0064】

＜第二実施の形態＞
つぎに、本発明の車載用外界認識装置の第二実施の形態について、以下に図面を用いて説明する。
図１２は、第二実施の形態における車載用外界認識装置２０００の構成を示すブロック図である。なお、以下の説明では、上述の第一実施の形態における車載用外界認識装置１０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。

【0065】

本実施の形態において特徴的なことは、障害物情報取得部２１１１と空間情報取得部２１１２を有し、さらに障害物情報取得部２１１１から得られた障害物情報を用いた障害物方位算出部２１３１を有しており、これらが第一実施の形態とは異なる処理内容となる障害物判定部２０５１に入力されていることである。

【0066】

車載用外界認識装置２０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１００１〜１００４で撮影した画像内から外界を認識するためのものであり、本実施の形態では、自車周囲の障害物を認識するように構成されている。

【0067】

車載用外界認識装置２０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で
繰り返し処理を実行する。

【0068】

画像取得部１０１１は、自車周囲の環境を含む画像を取得する。画像取得部１０１１は、図２に示すように，自車１０の周囲を撮像可能な位置に取り付けられたカメラ１００１〜１００４から、自車周囲を撮影した画像１００５〜１００８のうちいずれか１つ以上を取得する。本実施例においては、自車１０の進行方向の情報に基づき、前進時は前方カメラ１００１で撮像した画像１００５を取得し、後進時は後方カメラ１００４で撮像した画像１００８を取得する。取得した画像は入力画像はＩＭＧＳＲＣ［ｘ］［ｙ］としてＲＡＭ上に記録される。第一実施例のものと同様のため、説明は省略する。

【0069】

特徴点位置計測部１０２１は、入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］から特徴点ＦＰ［ｐ］を検出し、時系列に追跡することにより各特徴点の画像座標テーブルＦＰＩ［ｐ］から３次元距離テーブルＦＰＷ［ｐ］を計測する。第一実施例のものと同様のため、説明は省略する。

【0070】

特徴点足元位置算出部１０３１は、特徴点ＦＰ［ｐ］の世界座標ＦＰＷ［ｐ］からカメラの設置高さや角度といったカメラ幾何情報を用いて、特徴点ＦＰ［ｐ］の足元位置ＦＰＷ０[ｐ]を算出する。第一実施例のものと同様のため、説明は省略する。

【0071】

路面領域推定部１０４１は、入力画像ＩＭＧＳＲＣ［ｘ］［ｙ］から、画像のテクスチャ情報を解析し、路面領域を抽出する。情報の持ち方は様々あるが、本実施例においては、グリッドマップＧＲＤ［ｘ］［ｙ］を用いるものとする。第一実施例のものと同様のため、説明は省略する。

【0072】

障害物情報取得部２１１１は、超音波センサから取得する障害物情報ＳＯＢＪ［ｂ］を取得する。ここでＳＯＢＪ［ｂ］は自車後輪車軸中心を原点とする世界座標（ｘ、ｙ、ｚ）の要素を持つテーブルの１次元配列であり、ｂは複数検知した場合のＩＤを表す。なお、本実施の形態では、自車周囲の障害物を検知するセンサの例として超音波センサを例に説明するが、音波や光線により検知できるセンサであればよく、例えば、自車に搭載されたレーザーレーダー、ＬＩＤＡＲ、及び単眼カメラの少なくとも一つを用いてもよい。そして、障害物情報取得部２１１１は、障害物の情報を取得できるものであればよく、他車両から送信される情報や、駐車場などのインフラ設備から送信される情報を取得してもよい。

【0073】

空間情報取得部２１１２は、超音波センサにより検知した自車周囲の障害物の検知結果から自車が走行可能な空間の情報を取得する。具体的には、空間情報取得部２１１２は、超音波センサで検知した障害物の手前までの空きが確認できている空間情報ＳＦＳ［ｆ］を取得する。ここで、空間情報ＳＦＳ［ｆ］は各超音波センサから得られる、各センサから障害物までの空間情報、すなわち走行可能距離を距離で表すテーブルの一次元配列であり、ｆは超音波センサの取り付け数である。

【0074】

障害物方位算出部２１３１は、障害物情報取得部２１１１から取得した障害物情報から、自車の左右の障害物の方位θＬ，θＲを算出する。処理の詳細は後述する。

【0075】

障害物判定部２０５１は、特徴点の３次元位置から、所定の特徴点の周囲に存在する他の特徴点の密度を算出する空間特徴算出を行い、特徴点の密度の高さ、および、特徴点の画像内の足元位置と路面領域とを比較して、特徴点が障害物の特徴点であるか否かの判定を行う。具体的には、障害物判定部２０５１は、特徴点足元位置ＦＰＷ０［ｐ］、路面領域推定結果ＧＲＤ［ｘ］［ｙ］、さらに障害物情報ＳＯＢＪ［ｂ］、空間情報ＳＦＳ［ｆ］、障害物方位θＬ，θＲ、といった情報を活用して、障害物特徴点ＯＦＰ［ｑ］を生成
する。処理の詳細は後述する。

【0076】

［障害物方位算出部２１３１］
つぎに、図１３を用いて、障害物方位算出部２１３１の処理の内容について説明する。
図１３は障害物方位算出部２１３１の処理の流れを示したフローチャートである。障害物の方位を算出する方法は様々考えられるが、本実施例においては、サイドソナーによる自車側方の障害物検知情報を時系列に蓄積するサイドソナー情報をサイドソナーテーブルに蓄積して利用する方法を説明する。

【0077】

サイドソナーテーブルには、自車後輪車軸中心を原点とする座標系における検知座標（ｘ、ｙ）、デッドレコニングと対応するタイムスタンプが格納されているものとする。
まず、ステップＳ１３００１にて、デッドレコニング情報を取得する。

【0078】

つぎに、ステップＳ１３００２にて、前回処理したサイドソナーテーブルを取得し、デッドレコニングにより算出される前回処理時から今回までの移動分だけテーブルの情報をを動かす。動かした結果、自車から一定距離以上はなれた障害物情報は消去する。本実施例では、自車後端５ｍより後方になった障害物情報を消去する。

【0079】

そして、ステップＳ１３００３にて、前回の処理後取得されたサイドソナー情報を、サイドソナーテーブルへ登録する。

【0080】

さらに、ステップＳ１３００４にて、自車左右それぞれの障害物情報に対して最小二乗法を適用し、自車左側の障害物から障害物方位θＬ、自車右側の障害物から障害物方位θＲを算出する。

【0081】

なお、本実施例においては、自車側方の点数が閾値ＴＨＳＳＮＵＭ以下、すなわち最小二乗法を算出するだけの点数が存在しない場合、あるいは、最小二乗法で算出した直線と全サイドソナー障害物点との距離の平均ＳＳＤＩＳが閾値ＴＨＳＳＤＩＳ以上である場合は、算出した障害物方位ではなく、自車方位を採用するものとする。

【0082】

上述の処理について、図１８（ａ）に示すようなシーンにおける算出の例を説明する。図１８（ａ）は、駐車区画線のある駐車場におけるシーンの一例であり、自車１０の左側方に１台分だけ駐車空きスペース１８０１があり、その左右には障害物となる他の車両１８０２が駐車されている例である。

【0083】

まず、図１８（ｂ）は、図１８（ａ）のシーンにおいて、サイドソナーによる自車側方の障害物検知情報を時系列に蓄積した結果を示す。自車１０の左側には、他車両１８０２が配置されており、サイドソナーにより検知されて、複数のサイドソナー障害物点として存在している。ここから、ステップＳ１３００４の処理により、自車左側の障害物方位θＬを算出した結果が図１８（ｃ）の破線である。また、このシーンの場合、自車右側にサイドソナー障害物点が存在しないため、自車右側の障害物方位θＲは自車方位となる。

【0084】

［障害物判定部２０５１］
つぎに、図１４から１７を用いて、障害物判定部２０５１の処理の内容について説明する。
障害物判定部２０５１は、所定の特徴点の周囲に存在する他の特徴点の密度、および、障害物の方位θＬ上の他の特徴点の有無を算出し、障害物の方位θＬ上における他の特徴点の有無と、特徴点密度と、特徴点の足元位置と路面領域とを比較した結果に基づいて、特徴点が障害物の特徴点であるか否かの判定を行う。
まず、図１４、図１５を用いて、障害物判定部２０５１の実施例１について説明する。
図１４，１５は障害物判定部２０５１の処理の流れを示したフローチャートである。

【0085】

本処理を、すべての特徴点ＦＰ［ｐ］に対して実施する。
まず、ステップＳ１４００１にて、特徴点ＦＰ［ｐ］の世界座標ＦＰＷ［ｐ］から半径ｔｈＡｒｏｕｎｄＣａｍ以内の他の特徴点の世界座標ＦＰＷ［ｐ’］の合計数ＳｕｍＡｒｏｕｎｄＣａｍを算出する。本実施例では、距離演算には世界座標（ｘ、ｙ、ｚ）のうち（ｘ、ｙ）のみを用いる。

【0086】

つぎに、ステップＳ１４００２にて、世界座標ＦＰＷ［ｐ］から半径ｔｈＡｒｏｕｎｄＯｂｊ以内の超音波センサ障害物ＳＯＢＪ［ｂ］の合計数ＳｕｍＡｒｏｕｎｄＯｂｊを算出する。

【0087】

つぎに、ステップＳ１４００３にて，世界座標ＦＰＷ［ｐ］から障害物方位方向に伸ばした直線ＦＰＬ［ｐ］を算出する。

【0088】

そして、ステップＳ１４００４にて、直線ＦＰＬ［ｐ］との垂直距離が閾値ｔｈＬｉｎｅＣａｍ以内の他の特徴点の世界座標ＦＰＷ［ｐ’］の合計数ＳｕｍＬｉｎｅＣａｍを算出する。

【0089】

また、ステップＳ１４００５にて、直線ＦＰＬ［ｐ］との垂直距離が閾値ｔｈＬｉｎｅＯｂｊ以内の超音波センサ障害物ＳＯＢＪ［ｂ］の合計数ＳｕｍＬｉｎｅＯｂｊを算出する。

【0090】

以降、閾値調整のステップに入る。まず、ステップＳ１４００６にて初期閾値ｔｈＲｏａｄ＝ｔｈＲｏａｄＩｎｉｔを設定する。

【0091】

つぎに、ステップＳ１４００７にてＳｕｍＡｒｏｕｎｄＣａｍとｔｈＳｕｍＣａｍを比較し、大きい場合（ＳｕｍＡｒｏｕｎｄＣａｍ＞ｔｈＳｕｍＣａｍ）にはステップＳ１４００８にて、閾値ｔｈＲｏａｄにｔｈＡｄｄＳｕｍＣａｍを加算し、次に進む。そうでない場合（ＳｕｍＡｒｏｕｎｄＣａｍ≦ｔｈＳｕｍＣａｍ）には何もせずに次に進む。

【0092】

つぎに、ステップＳ１４００９にてＳｕｍＡｒｏｕｎｄＯｂｊとｔｈＳｕｍＯｂｊを比較し、大きい場合（ＳｕｍＡｒｏｕｎｄＯｂｊ＞ｔｈＳｕｍＯｂｊ）にはステップＳ１４０１０にて、閾値ｔｈＲｏａｄにｔｈＡｄｄＳｕｍＯｂｊを加算し、次に進む。そうでない場合（ＳｕｍＡｒｏｕｎｄＯｂｊ≦ｔｈＳｕｍＯｂｊ）には何もせずに次に進む。

【0093】

つぎに、ステップＳ１４０１１にてＳｕｍＬｉｎｅＣａｍとｔｈＳｕｍＬｉｎｅＣａｍを比較し、大きい場合（ＳｕｍＬｉｎｅＣａｍ＞ｔｈＳｕｍＬｉｎｅＣａｍ）にはステップＳ１４０１２にて、閾値ｔｈＲｏａｄにｔｈＡｄｄＬｉｎｅＣａｍを加算し、次に進む。そうでない場合（ＳｕｍＬｉｎｅＣａｍ≦ｔｈＳｕｍＬｉｎｅＣａｍ）には何もせずに次に進む。

【0094】

つぎに、ステップＳ１４０１３にてＳｕｍＬｉｎｅＯｂｊとｔｈＳｕｍＬｉｎｅＯｂｊを比較し、大きい場合（ＳｕｍＬｉｎｅＯｂｊ＞ｔｈＳｕｍＬｉｎｅＯｂｊ）にはステップＳ１４０１４にて、閾値ｔｈＲｏａｄにｔｈＡｄｄＬｉｎｅＯｂｊを加算し、次に進む。そうでない場合（ＳｕｍＬｉｎｅＯｂｊ≦ｔｈＳｕｍＬｉｎｅＯｂｊ）には何もせずに次に進む。

【0095】

さらに、ステップＳ１４０１５にて、足元座標ＦＰＷ０［ｐ］がソナー空間ＳＦＳ［ｆ］内か否かを判定し、空間内である場合にはステップＳ１４０１６ｈにて、閾値ｔｈＲｏ
ａｄからｔｈＳＦＳを減算する。そうでない場合（足元座標ＦＰＷ０［ｐ］がソナー空間ＳＦＳ［ｆ］外の場合）には何もせずに次に進む。

【0096】

上記により調整された閾値ｔｈＲｏａｄを用いて、ステップＳ１４０１７にて足元座標の路面推定値が閾値ｔｈＲｏａｄ未満か否かを判定し、閾値未満であった場合にはステップＳ１４０１８へ進み、障害物特徴量ＯＦＰ［ｑ］として登録する。そうでない場合（閾値以上の場合）には何もせずに次に進む。

【0097】

つぎに、図１６、図１７を用いて、障害物判定部２０５１の実施例２について説明する。図１６，１７は障害物判定部２０５１の処理の流れを示したフローチャートである。図中で、図１４，１５と同じ動作を行う部分については同じ番号を付している。

【0098】

まず、ステップＳ１６００１にて、超音波センサから得られる空間情報ＳＦＳ［ｆ］を自車後輪車軸中心のグリッドマップ上へ展開する。

【0099】

そして、ステップＳ１６００２にて、時系列処理を行い空間推定マップＧＦＳ［ｘ］［ｙ］を求める。時系列処理の流れは図８、図９に示した流れと同様のため、ここでは説明を割愛する。

【0100】

以降、ステップＳ１４００１からＳ１４０１４までは前述の説明と同様のため、説明を割愛する。

【0101】

ステップＳ１４０１４のつぎに、ステップＳ１６００３として、足元座標ＦＰＷ０［ｐ］の位置における路面領域推定結果ＧＲＤ［ｘ］［ｙ］と閾値ｔｈＧＲＤを比較し、閾値以上の場合（路面領域推定結果ＧＲＤ［ｘ］［ｙ］＞閾値ｔｈＧＲＤ）には、ステップＳ１６００４にて、閾値ｔｈＲｏａｄからｔｈＧＲＤを減算する。そうでない場合（路面領域推定結果ＧＲＤ［ｘ］［ｙ］≦閾値ｔｈＧＲＤ）には何もせずに次に進む。

【0102】

つぎに、ステップＳ１６００５として、足元座標ＦＰＷ０［ｐ］の位置における時系列処理を行った空間推定マップＧＦＳ［ｘ］［ｙ］を参照し、その値と閾値ｔｈＲｏａｄを比較する。閾値未満であった場合には、ステップＳ１６００６へ進み、障害物特徴点ＯＦＰ［ｑ］として登録する。閾値以上の場合には何もせずに次に進む。

【0103】

上述の処理のうち、ステップＳ１４００１からＳ１４０１４の内容について、図１９（ａ）に示すようなシーンにおける算出の例を説明する。図１９（ａ）は、駐車区画線のある駐車場におけるシーンの一例で、自車左側に１台分の駐車空きスペース１９０１があり、自車前方から歩行者１９０３が接近している例である。駐車空きスペース１９０１の両側は、障害物である他の車両１９０２が駐車されている。

【0104】

図１９（ｂ）は、図１９（ａ）のシーンから得られる、カメラおよびソナーによる検出結果である。黒い点がカメラによる検出結果、すなわち特徴点ＦＰ［ｐ］から算出される世界座標ＦＰＷ［ｐ］である。また、白い点がソナーによる検出点、すなわち障害物点ＳＯＢＪ［ｂ］である。このうち、特徴点ＦＰ［ｐ］の世界座標ＦＰＷ［ｐ］について、ステップＳ１４００１からＳ１４０１４の処理を行う。

【0105】

なお、図１９の説明では、半径ｔｈＡｒｏｕｎｄＣａｍおよびｔｈＡｒｏｕｎｄＯｂｊは同じであるとし、また、ｔｈＳｕｍＣａｍ＝１，ｔｈＳｕｍＯｂｊ＝１，ｔｈＬｉｎｅＣａｍ＝１，ｔｈＬｉｎｅＯｂｊ＝１とする。

【0106】

図１９（ｃ）は、特徴点ＦＰ［ｐ１］に対する処理の例である。まず、半径ｔｈＡｒｏ
ｕｎｄＣａｍ内に他の特徴点の世界座標ＦＰＷ［ｐ］が存在するため、ＳｕｍＡｒｏｕｎｄＣａｍは０より大きい値を持つ。半径ｔｈＡｒｏｕｎｄＯｂｊ内に他の障害物点ＳＯＢＪ［ｂ］は存在しないため、ＳｕｍＡｒｏｕｎｄＯｂｊは０である。また、世界座標ＦＰＷ［ｐ１］から自車左側の障害物方位θＬの方向に直線を引き、直線に近い特徴点数および障害物点数をカウントする。ここでは、いずれも直線の近い位置に特徴点の世界座標および障害物点が存在するため、ＳｕｍＬｉｎｅＣａｍ，ＳｕｍＬｉｎｅＯｂｊはいずれも０より大きい値を持つ。よって、特徴点ＦＰ［ｐ１］に対する閾値ｔｈＲｏａｄは、ステップＳ１４００６からＳ１４０１４の処理において高い値を持つことになる。

【0107】

図１９（ｄ）は、特徴点ＦＰ［ｐ２］に対する処理の例である。まず、半径ｔｈＡｒｏｕｎｄＣａｍ内に他の特徴点の世界座標ＦＰＷ［ｐ］が存在するため、ＳｕｍＡｒｏｕｎｄＣａｍは０より大きい値を持つ。さらに、半径ｔｈＡｒｏｕｎｄＯｂｊ内に他の障害物点ＳＯＢＪ［ｂ］が存在するため、ＳｕｍＡｒｏｕｎｄＯｂｊも０より大きい値を持つ。また、世界座標ＦＰＷ［ｐ２］から自車左側の障害物方位θＬの方向に直線を引き、直線に近い特徴点数および障害物点数をカウントする。ここでは、いずれも直線の近い位置に特徴点の世界座標および障害物点が存在するため、ＳｕｍＬｉｎｅＣａｍ，ＳｕｍＬｉｎｅＯｂｊは０より大きい値を持つ。よって、特徴点ＦＰ［ｐ１］に対する閾値ｔｈＲｏａｄは、ステップＳ１４００６からＳ１４０１４の処理において、高い値を持つことになる。

【0108】

一方、図１９（ｅ）は、特徴点ＦＰ［ｐ３］に対する処理の例である。まず、半径ｔｈＡｒｏｕｎｄＣａｍ内に他の特徴点の世界座標ＦＰＷ［ｐ］が存在しないため、ＳｕｍＡｒｏｕｎｄＣａｍは０となる。さらに、半径ｔｈＡｒｏｕｎｄＯｂｊ内に他の障害物点ＳＯＢＪ［ｂ］が存在しないため、ＳｕｍＡｒｏｕｎｄＯｂｊも０となる。また、世界座標ＦＰＷ［ｐ３］から自車左側の障害物方位θＬの方向に直線を引き、直線に近い特徴点数および障害物点数をカウントする。ここでは、いずれも直線の近い位置に特徴点の世界座標および障害物点が存在しないため、ＳｕｍＬｉｎｅＣａｍ，ＳｕｍＬｉｎｅＯｂｊはいずれも０となる。よって、特徴点ＦＰ［ｐ３］に対する閾値ｔｈＲｏａｄは、ステップＳ１４００６からＳ１４０１４の処理の結果、ｔｈＲｏａｄＩｎｉｔから変化しない。

【0109】

以上説明したように、特徴点ＦＰ［ｐ］の世界座標ＦＰＷ［ｐ］の周囲のほかの特徴点や障害物点、また、障害物方位上の特徴点や障害物点の有無によって閾値が調整され、たとえば図１９（ｃ）、（ｄ）の特徴点に対する閾値は高く設定され、特徴点は除去されにくくなり、一方、図１９（ｅ）の特徴点に対する閾値は低く設定され、除去されやすくなる。結果、図１９（ｆ）のように、移動体などの要因により誤検知した特徴点を除去することができる。

【0110】

以上説明したように、超音波センサからの情報を用いた場合には、自車側方の障害物の方位を算出して、障害物方位上に他の障害物が存在するときは障害物特徴点として採用されやすくすることができる。また、超音波センサから得られる空間情報を障害物特徴点として採用しにくくするための条件として用いることで、より誤検知した特徴点を除去しやすくすることができる。さらに、路面領域推定結果を障害物特徴点として採用しにくくするための条件として用いて、最終的な採否判断に超音波センサから得られる空間情報を用いるという構成も可能となる。

【0111】

また、以上説明した実施例による処理の結果得られる特徴点情報は、自動駐車の経路生成処理に用いられる。図２０は、本実施例の効果を説明する図である。

【0112】

図２０（ａ）は、本実施例による処理の結果を用いなかった場合の図である。自車１０の近傍には、障害物の特徴点２０１１が誤検知されている。図２０（ａ）に示す情報を用
いて、障害物にぶつからないように自動駐車経路２０１２を生成した例を図２０（ｂ）に示す。なお、障害物にぶつからないように自動駐車経路２０１２を生成する方法については、公知技術を用いるものとし、ここでは説明を割愛する。

【0113】

一方、図２０（ｃ）は、本実施例による処理の結果を用いた場合の図である。図２０（ｃ）に示す特徴点の情報を用いて、同じように駐車経路を生成した例を図２０（ｄ）に示す。図２０（ａ）で誤検出されていた特徴点２０１１は、図２０（ｃ）では除去されている。

【0114】

このように、図２０（ｂ）は、図２０（ｄ）には無い特徴点２０１１が存在するため、自動駐車経路２０１２が間延びしている。また、誤検知された特徴点２０１１の位置によっては、自動駐車経路２０１２が生成できない場合もある。一方、図２０（ｄ）では、最短の自動駐車経路２０１３を生成することができている。

【符号の説明】

【0115】

１０００ 車載用外界認識装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】