特許 7563353 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G01C 9/06 20060101AFI20241001BHJP

   G01B 11/26 20060101ALI20241001BHJP

   G06T 7/00 20170101ALI20241001BHJP

【ＦＩ】

G01C9/06 A

G01B11/26 H

G06T7/00 650A

【請求項の数】 6

(21)【出願番号】P 2021156114

(22)【出願日】2021-09-24

(65)【公開番号】P2023047163

(43)【公開日】2023-04-05

【審査請求日】2023-12-11

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(74)【代理人】

【識別番号】100139480

【弁理士】

【氏名又は名称】日野 京子

(74)【代理人】

【識別番号】100125575

【弁理士】

【氏名又は名称】松田 洋

(74)【代理人】

【識別番号】100175134

【弁理士】

【氏名又は名称】北 裕介

(72)【発明者】

【氏名】小林 峻平

(72)【発明者】

【氏名】森 達矢

【審査官】山▲崎▼ 和子

(56)【参考文献】

【文献】特開２００９－０４１９７２（ＪＰ，Ａ）

【文献】特開２０２０－０７７１０２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０２００７０７（ＵＳ，Ａ１）

【文献】特開２０１８－０４５６８０（ＪＰ，Ａ）

【文献】特開２０２０－２０４５２５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０１５７０１０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

２１／００－２１／３２

Ｇ０１Ｓ ７／００－７／６４

１７／００－１７／９５

Ｇ０１Ｃ ３／０６

９／００－９／３６

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

撮影装置（１０）により撮影された撮影画像に基づいて、路面の路面情報を取得する画像処理装置（２０）において、
前記撮影画像に基づいて撮像画像上の特徴点の３次元座標を推定する３次元座標推定部（２１）と、
前記３次元座標推定部により推定された特徴点のうち前記路面に対応する路面点（５１）を抽出し、それらを路面点の点群データとして取得する路面点抽出部（２３）と、
前記点群データのうち、前記撮影画像の縦座標において手前側の路面点の３次元座標が、奥側の路面点の３次元座標に対して、遠方側にあることを示している場合、当該手前側の路面点を前記点群データから除外する除外判定部（２６）と、
前記除外判定部により処理された後の点群データに基づいて、前記路面情報を推定する路面情報推定部（２４）と、を備える画像処理装置。

【請求項2】

前記除外判定部は、前記撮影画像の縦座標において手前側の路面点が奥側の路面点に比較して、その奥行方向の３次元座標が予め決められた除外判定用閾値以上大きい場合には、誤検出であると判定して当該手前側の路面点を除外する除外処理を実施する請求項１に記載の画像処理装置。

【請求項3】

前記除外判定部は、前記撮影画像の縦座標において奥側の路面点から順番に判定対象として選択する請求項２に記載の画像処理装置。

【請求項4】

前記撮影画像の縦座標において手前側の路面点を判定する際の除外判定用閾値は、奥側の路面点を判定する際の除外判定用閾値に比較して、小さく設定される請求項２又は３に記載の画像処理装置。

【請求項5】

前記路面点抽出部により取得された点群データから生成された路面勾配を示す近似式に対して路面点を投影して得られた３次元座標と、当該路面点の３次元座標とが、予め決められた事前判定用閾値以上離れた場合、当該路面点を点群データから除外する事前判定処理を実施する事前判定部（２５）を、備え、
前記除外判定部は、前記事前判定部により前記事前判定処理が実施された点群データに含まれる各路面点を判定対象とする請求項１～４のうちいずれか１項に記載の画像処理装置。

【請求項6】

撮影装置（１０）により撮影された撮影画像に基づいて、路面の路面情報を取得する画像処理装置（２０）が実施する画像処理方法であって、
前記撮影画像に基づいて撮像画像上の特徴点の３次元座標を推定する３次元座標推定ステップ（２１）と、
前記３次元座標推定ステップにより推定された特徴点のうち前記路面に対応する路面点（５１）を抽出し、それらを路面点の点群データとして取得する路面点抽出ステップ（２３）と、
前記点群データのうち、前記撮影画像の縦座標において手前側の路面点の３次元座標が、奥側の路面点の３次元座標に対して、遠方側にあることを示している場合、当該手前側の路面点を前記点群データから除外する除外判定ステップ（２６）と、
前記除外判定ステップにより処理された後の点群データに基づいて、前記路面情報を推定する路面情報推定ステップ（２４）と、を備える画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び画像処理方法に関するものである。

【背景技術】

【0002】

近年、自動運転への市場の期待が高まっており、自動で駐車するアプリケーションなども市場で求められている。自動で駐車を行う等を目的として車両を制御するためには、車両の周辺の状況を把握する必要があるため、車体の周辺に撮像装置が設けられる。そして、車両を適切に制御するために、撮像装置により撮像された撮像画像を用いて障害物や路面状況などを検出する画像処理装置が開発されている。

【0003】

例えば、カメラ画像の視差に基づいて、立体物か路面かを判定する画像処理装置が知られている（例えば、特許文献１）。特許文献１では、縦座標と視差値との関係性を示す近似直線を生成し、近似直線の傾きと長さに基づいて、立体物と路面とを判定することにより、好適に立体物を検出している。

【0004】

また、例えば、カメラで撮影した複数の画像から、それらの撮影位置を推定し、同一地点に対するそれぞれの画像の視差から対象物全体の３次元モデルを生成するＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）により推定した３次元座標群（ＳｆＭ点群データ）に基づいて、路面の勾配を判定する方法も知られている。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第６３９６７２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、単眼カメラで連続して撮影した複数の画像から、ＳｆＭ点群データを演算する場合、路面などの静止物に対しては、一般的に、その３次元座標を精度よく検出できる。しかしながら、同じ路面であっても、状況によっては、検出精度が低下する場合がある。例えば、自車両と並走する他車両の影が投影された路面を検出しようとすると、画像間で視差をうまくとることができず、３次元座標の検出精度が低下するという問題があった。その結果、路面の勾配を誤認識する可能性があった。

【0007】

本発明は、上記事情に鑑みてなされたものであり、路面情報の検出精度を向上させることができる画像処理装置及び画像処理方法を提供することを主たる目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するための画像処理装置は、撮影装置により撮影された撮影画像に基づいて、路面情報を取得する画像処理装置であって、前記撮影画像に基づいて撮像画像上の特徴点の３次元座標を推定する３次元座標推定部と、前記３次元座標推定部により推定された特徴点のうち前記路面に対応する路面点を抽出し、それらを路面点の点群データとして取得する路面点抽出部と、前記点群データのうち、前記撮影画像の縦座標において手前側の路面点の３次元座標が、奥側の路面点の３次元座標に対して、遠方側にあることを示している場合、当該手前側の路面点を前記点群データから除外する除外判定部と、前記除外判定部により処理された後の点群データに基づいて、前記路面情報を推定する路面情報推定部と、を備える。

【0009】

路面を撮影した場合、撮影画像の手前側ほど、奥側に比較して、ＷＣＳ座標における奥行方向の座標が近傍となることを示すはずである。そこで、除外判定部は、手前側の路面点の３次元座標が、奥側の路面点の３次元座標に対して、遠方側にあることを示している場合、当該手前側の路面点を点群データから除外するようにした。このため、路面情報の検出精度を向上させることができる。

【0010】

上記課題を解決するための画像処理方法は、撮影装置により撮影された撮影画像に基づいて、路面情報を取得する画像処理装置が実施する画像処理方法であって、前記撮影画像に基づいて撮像画像上の特徴点の３次元座標を推定する３次元座標推定ステップと、前記３次元座標推定ステップにより推定された特徴点のうち前記路面に対応する路面点を抽出し、それらを路面点の点群データとして取得する路面点抽出ステップと、前記点群データのうち、前記撮影画像の縦座標において手前側の路面点の３次元座標が、奥側の路面点の３次元座標に対して、遠方側にあることを示している場合、当該手前側の路面点を前記点群データから除外する除外判定ステップと、前記除外判定ステップにより処理された後の点群データに基づいて、前記路面情報を推定する路面情報推定ステップと、を備える。

【0011】

これにより、路面情報の検出精度を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】検出システムを示す構成図。

【図2】撮影画像における路面点を模式的に示す図。

【図3】撮影画像における路面点を模式的に示す図。

【図4】エラー判定処理のフローチャート。

【図5】二次曲線近似式への投影座標と、３次元座標とを示す図。

【図6】２次元平面に投影した点群データを示す図。

【発明を実施するための形態】

【0013】

（第１実施形態）
図１は、車両に搭載され、車両の周辺の状況を検出する検出システム１００を示す。検出システム１００は、撮像装置としてのカメラ１０と、画像処理装置２０を備えている。

【0014】

カメラ１０は、例えば、単眼のデジタルカメラである。カメラ１０は、例えば、車両の進行方向前端（例えば、ラジエータグリル）に取り付けられ、車両の進行方向前方を撮像するフロントカメラである。なお、カメラ１０は、フロントカメラに限らず、車両の進行方向後端に取り付けられ、車両の後方を撮像するリアカメラであっても、車両の左右のドアミラーに取り付けられ、車両の車両幅方向左側又は右側を撮像するサイドカメラであってもよい。

【0015】

カメラ１０は、車両の周囲を撮像して、この撮像画像を示す画像データを画像処理装置２０に出力する。図２，図３に示すように、撮像画像には、建物などの立体静止物、空、道路、道路上の白線、車両や人など、車両の周囲の状況が撮像される。

【0016】

画像処理装置２０は、マイクロコンピュータ等を主体として構成されており、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ等を備えている。画像処理装置２０は、ＲＯＭなどの記憶部に記憶されているプログラムを実施することにより、各種機能を実現する。例えば、画像処理装置２０は、３次元座標推定部２１、画像認識部２２、路面点抽出部２３、及び路面情報推定部２４としての機能等を実現する。以下、画像処理装置２０が実施する画像処理方法について説明する。

【0017】

３次元座標推定部２１（３次元座標推定ステップに相当）は、カメラ１０で連続して撮影された複数の撮影画像から、それらの撮影位置を推定し、同一地点（特徴点）に対するそれぞれの撮影画像の視差から対象物全体の３次元モデルを生成するＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）処理を実施する。これにより、３次元座標推定部２１は、撮像画像上の特徴点の３次元座標（３次元位置）を表す３次元推定画像を作成する。特徴点の３次元座標とは、世界座標系における位置（以下、ＷＣＳ座標と示す場合がある）のことである（単位は、３Ｄ［ｍｍ］）。世界座標系とは、自車両先端を原点として、動的な自車両の角度（ピッチ、ヨー）を考慮した車両進行方向（Ｘ軸）、車両上下方向（Ｚ軸）を軸とした３次元直交座標系のことである。車両進行方向（Ｘ軸）が、奥行方向に相当する。

【0018】

画像認識部２２は、撮像画像上の物体を、少なくとも路面クラスを含む１以上のクラスに分類した属性画像を作成する。本実施形態では、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）等、周知の画像認識方法を利用して、クラス分けを行う。

【0019】

路面点抽出部２３（路面点抽出ステップに相当）は、３次元推定画像と属性画像とをフュージョン（融合）して特徴点とクラスとを対応付けし、図２に示すように、路面クラスに対応付けられた特徴点である路面点５１を抽出する。そして、路面点抽出部２３は、抽出した複数の路面点５１のＷＣＳ座標を、路面点の点群データ（ＳｆＭ点群データ）として取得する。

【0020】

路面情報推定部２４（路面情報推定ステップに相当）は、路面点５１の点群データに基づいて路面勾配を推定する。具体的には、路面情報推定部２４は、路面点の点群データを平面に近似して、平面近似式を算出するとともに、点群データを２次曲線に近似して、２次曲線近似式を算出する。算出された平面近似式及び２次曲線近似式が、路面勾配を示す路面情報に相当する。

【0021】

ところで、単眼カメラで連続して撮影した複数の撮影画像から、点群データを演算する場合、路面などの静止物に対しては、一般的に、その３次元座標（３次元位置）を精度よく検出できる。しかしながら、同じ路面であっても、状況によっては、検出精度が低下する場合がある。例えば、図３に示すように、自車両と並走する他車両の影６２が投影された路面６１を検出しようとすると、撮影画像間で視差をうまくとることができず、その影６２における路面点６３の３次元位置の検出精度が低下するという問題があった。具体的には、影６２となっている部分を実際の地点よりも遠方に存在する、若しくは、路面に溝が形成されていると判断してしまう場合がある。その結果、路面勾配を誤認識する可能性があった。そこで、本実施形態では、誤検出された可能性が高い特徴点（エラー点）を検出し、除外して路面情報を改めて算出しなおすようにしている。以下、詳しく説明する。

【0022】

本実施形態において、画像処理装置２０は、記憶部に記憶されているプログラムを実施して、図４に示すエラー判定処理を実施する。このエラー判定処理は、路面情報推定部２４により、路面情報（平面近似式及び二次曲線近似式）が算出された後に実施される。

【0023】

まず、画像処理装置２０は、点群データに含まれる路面点５１のうち、いずれかの路面点５１を選択し、当該路面点５１について、撮影画像上における座標を取得する（ステップＳ１００）。撮影画像上における座標とは、デジタル画像座標系（ＰＣＳ）における座標（単位は「ｐｉｘｅｌ」、以下、ＰＣＳ座標と示す）のことである。デジタル画像座標系とは、物理的な単位とは無関係に画素単位で情報を処理するための座標系のことである。

【0024】

なお、エラー判定処理では、ステップＳ１００において最終的に点群データに含まれるすべての路面点５１が選択される（判定対象とされる）ように構成されている。このため、ステップＳ１００において、画像処理装置２０は、予め決められた順番（例えば、ＰＣＳ座標における縦座標の順番）に従って路面点５１を選択する。

【0025】

そして、画像処理装置２０は、ステップＳ１００で取得した路面点５１のＰＣＳ座標を、路面情報推定部２４により算出された平面近似式及び２次曲線近似式に投影し、それらのＷＣＳ座標（以下、投影座標と示す）を算出する（ステップＳ１０１）。

【0026】

ステップＳ１０１の処理後、画像処理装置２０は、取得した投影座標と、当該路面点のＷＣＳ座標（３次元座標推定部２１により推定された３次元座標）との間の距離を比較し、予め決められた事前判定用閾値以上であるか否かを判定する（ステップＳ１０２）。例えば、図５に示すように、路面点５１のＰＣＳ座標を２次曲線近似式に投影した投影座標Ｐａ（Ｘａ，Ｚａ）と、ＷＣＳ座標Ｐｂ（Ｘｂ，Ｚｂ）との距離Ｌが、事前判定用閾値以上であるか否かを判定する。なお、図５において、縦軸がＷＣＳ座標のＺ座標（車両上下方向）を示し、横軸がＷＣＳ座標のＸ座標（車両進行方向、奥行方向）を示す。

【0027】

事前判定用閾値は、任意の値を設定してもよい。本実施形態では、ＷＣＳ座標のＸ座標が大きいほど、事前判定用閾値を大きく設定する。つまり、遠方にあると推定される路面点５１を判定対象にする場合、近傍にあると推定される路面点５１を判定対象にする場合に比較して、事前判定用閾値を大きく設定する（誤差を許容する）。

【0028】

ステップＳ１０２の判定結果が肯定の場合、画像処理装置２０は、当該路面点５１はエラー点（誤検出点）であるとして、点群データから除外する（ステップＳ１０３）。そして、画像処理装置２０は、点群データに含まれるすべての路面点５１がステップＳ１００で選択されたか否かを判定する（ステップＳ１０４）。つまり、すべての路面点５１が判定対象となったか否かを確認する。この判定結果が否定の場合には、ステップＳ１００の処理に戻り、以降の処理を再び実行する。一方、ステップＳ１０２の判定結果が否定の場合、画像処理装置２０は、当該路面点５１を点群データから除外することなく、そのまま残し、ステップＳ１０４の処理を実施する。

【0029】

ステップＳ１０４の判定結果が肯定の場合、つまり、点群データに含まれる各路面点５１に対してステップＳ１００～１０３の処理を繰り返し実施した場合、ステップＳ１０５の処理に移行する。

【0030】

ステップＳ１０５において、画像処理装置２０は、図６に示すように、ＰＣＳ座標における縦座標（Ｙ座標）を横軸とし、ＷＣＳ座標の奥行方向の座標（Ｘ座標）を縦軸とする２次元平面に、ステップＳ１００～１０３の処理を繰り返し実施した後の点群データを、投影する（ステップＳ１０５）。なお、図６において、ＰＣＳ座標における縦座標が大きいもの（画面手前側）ほど、右側となり、ＰＣＳ座標における縦座標が小さいもの（画面奥側）ほど、左側となるように座標を設定している。また、図６において、ＷＣＳ座標のＸ座標（奥行方向）が大きいもの（遠方側）ほど、上側となり、ＷＣＳ座標のＸ座標が小さいもの（近傍側）ほど、下側となるように座標を設定している。

【0031】

次に、画像処理装置２０は、投影した路面点５１のうち、ＰＣＳ座標における縦座標（Ｙ座標）が最も小さい路面点５１（撮影画像の最も上側の路面点５１）を、基準点として選択する（ステップＳ１０６）。

【0032】

また、画像処理装置２０は、投影した路面点５１のうち、基準点の次にＰＣＳ座標における縦座標が小さい路面点５１、つまり、撮影画像において基準点よりも１つ手前側に存在する路面点５１を、判定対象の路面点５１として選択する（ステップＳ１０７）。

【0033】

そして、画像処理装置２０は、判定対象の路面点５１と、基準点とを比較する。具体的には、画像処理装置２０は、ＷＣＳ座標のＸ座標において、判定対象の路面点５１が、基準点に比較して、予め決められた除外判定用閾値以上大きいか否かを判定する（ステップＳ１０８）。つまり、画像処理装置２０は、撮影画像において手前側を示す判定対象の路面点５１のＷＣＳ座標のＸ座標が、撮影画像において奥側を示す基準点のＷＣＳ座標のＸ座標に比較して、予め決められた除外判定用閾値以上大きいか否かを判定する。

【0034】

除外判定用閾値は、任意の値を設定してもよい。本実施形態では、ＷＣＳ座標のＸ座標が大きい（上側）ほど、除外判定用閾値を大きく設定する。つまり、遠方にあると推定される路面点５１を判定対象にする場合、近傍にあると推定される路面点５１を判定対象にする場合に比較して、除外判定用閾値を大きく設定する（誤差を許容する）。

【0035】

ステップＳ１０８の判定結果が肯定の場合、画像処理装置２０は、判定対象の路面点５１は、誤検出されたエラー点であるとして、投影した路面点５１の中から除外して、路面点５１の点群データを更新する（ステップＳ１０９）。一方、ステップＳ１０８の判定結果が否定の場合、画像処理装置２０は、判定対象の路面点５１が誤検出されたものではないとし、当該路面点５１を除外することなく、路面点５１の点群データを更新する（ステップＳ１１０）。そして、画像処理装置２０は、判定対象だった路面点５１を、新たな基準点として設定する（ステップＳ１１１）。

【0036】

ステップＳ１０９又はステップＳ１１１の処理後、画像処理装置２０は、更新された点群データに含まれる路面点５１のうち、ＰＣＳ座標における縦座標（Ｙ座標）が基準点よりも大きい路面点５１が存在するか否かを判定する（ステップＳ１１２）。つまり、基準点よりも画面手前側に路面点５１が存在するか否かを判定する。なお、ステップＳ１０８の判定結果が肯定の場合、ステップＳ１１２における点群データからはステップＳ１０８において判定対象であった路面点５１が除外されている。また、ステップＳ１０８の判定結果が否定の場合、ステップＳ１１２における基準点は、ステップＳ１１１において新しく設定された基準点（ステップＳ１０８において判定対象であった路面点５１）である。

【0037】

ステップＳ１１２の判定結果が肯定の場合、画像処理装置２０は、再びステップＳ１０７以降の処理を実行する。一方、ステップＳ１１２の判定結果が否定の場合、画像処理装置２０は、エラー判定処理を終了する。

【0038】

なお、ステップＳ１００～Ｓ１０３に示す事前判定処理（事前判定ステップに相当）を実行することにより、画像処理装置２０は、事前判定部２５としての機能を実現する。また、ステップＳ１０５～Ｓ１１２の処理（除外判定ステップに相当）を実行することにより、画像処理装置２０は、除外判定部２６としての機能を実現する。

【0039】

エラー判定処理の終了後、画像処理装置２０の路面情報推定部２４は、エラー判定処理により、エラー点が除外された点群データに基づいて、路面点５１の点群データに基づいて路面勾配を推定する。つまり、路面情報推定部２４は、改めて路面点の点群データを平面に近似して、平面近似式を算出するとともに、点群データを二次曲線に近似して、二次曲線近似式を算出する。そして、画像処理装置２０は、それらを路面情報として出力する。

【0040】

上記実施形態によれば、以下に示す優れた効果を奏することができる。

【0041】

路面を撮影した場合、画面手前側（撮影画像におけるＰＣＳ座標において、縦座標の下側）ほど、画面奥側（ＰＣＳ座標において、縦座標の上側）に比較して、ＷＣＳ座標のＸ座標（奥行方向の座標）が近傍となることを示すはずである。つまり、図６に示すような２次元平面に点群データを投影した場合、本来ならば、点群データは単調減少を示すはずである。しかしながら、並走する他車両の影６２となっている部分における路面点５１は、実際の地点よりも遠方に存在すると誤検出されている可能性が高く、そのような路面点５１のエラー点５１ａは、図６に示すように、単調減少する点群データから上側に飛び出る（ＷＣＳ座標のＸ座標が大きくなる）こととなる。

【0042】

そこで、画像処理装置２０は、手前側の路面点５１（判定対象）のＷＣＳ座標のＸ座標が、奥側の路面点５１（基準点）のＷＣＳ座標のＸ座標に比較して、予め決められた除外判定用閾値以上大きい場合には、誤検出（エラー点）であると判定している。そして、画像処理装置２０は、エラー点を点群データから除外して、点群データを更新している。また、画像処理装置２０は、全ての路面点５１に対してエラー点であるか否かの判定を行い、更新後の点群データに基づいて、改めて路面情報を推定し、出力している。このため、路面情報の検出精度を向上させることができる。

【0043】

画像処理装置２０は、エラー点の判定及び除外処理（ステップＳ１０８，Ｓ１０９の処理）を、ＰＣＳ座標において奥側の路面点５１から順番に実施している。その際、画像処理装置２０は、奥側の路面点５１を基準点とし、手前側の路面点５１を判定対象としている。また、画像処理装置２０は、判定対象とした路面点５１が誤検出でないと判定した場合、判定対象とした路面点５１を新たな基準点としている（ステップＳ１１１）。

【0044】

このようなステップＳ１０５～Ｓ１１２までの処理を行う場合において、判定対象となる路面点５１のＷＣＳ座標のＸ座標が極端に小さくなるように誤検出されていた場合（本来の点群データよりも下側に飛び出た路面点５１が存在する場合）、次のような問題が生じる。ステップＳ１０８の判定においては、当該判定対象となる路面点５１は、基準点に比較して除外判定用閾値以上大きいと判定されないために、除外されることがない。その後、当該ＷＣＳ座標のＸ座標が極端に小さい路面点５１が、新たな基準点となる。この場合、次の判定対象の路面点５１が、正しく検出されていたとしても、新たな基準点が誤っている（ＷＣＳ座標のＸ座標が極端に小さい）ために、ステップＳ１０８の判定において、除外判定用閾値以上大きいと判定されるという誤判定が繰り返し生じうる。

【0045】

そこで、このような点群データよりも下側に飛び出るようなエラー点を予め除外するため、ステップＳ１００～Ｓ１０４の処理を、ステップＳ１０５～Ｓ１１２よりも前に実施している。すなわち、ステップＳ１００～Ｓ１０４の処理において、投影座標と、ＷＣＳ座標の距離の差が予め決められた閾値以上である場合には、エラー点として除外している。この結果、点群データよりも下側に飛び出るようなエラー点も予め除外することができる。したがって、ＷＣＳ座標のＸ座標が極端に小さくなるように誤検出されていた路面点５１が、基準点として設定されて、それ以降のステップＳ１０８の処理において誤判定が繰り返し実施されることを防止できる。

【0046】

除外判定用閾値及び事前判定用閾値は、近傍（又は画面手前側）の路面点を判定する場合、遠方（又は画面奥側）の路面点を判定する場合に比較して、小さく設定される。このため、近傍（又は画面手前側）の路面点をより精度よく検出することができる。一方で、除外判定用閾値及び事前判定用閾値は、遠方（又は画面奥側）の路面点を判定する際、近傍（又は画面手前側）の路面点を判定する場合に比較して、大きく設定されることとなる。つまり、遠方のほうが、誤差が生じやすいことを想定して、誤差を許容するようにしている。

【0047】

奥側から順番に路面点５１のエラー判定を行うと、奥側のＸ座標が手前側のＸ座標よりも大きい原因が、短調増加によるものか、それとも誤検出によるものか判定しにくい。そこで、本実施形態では、基準点よりも手前側の路面点５１を判定対象とし、奥側から順番に路面点５１のエラー判定を行っている。これにより、単調減少していない路面点５１、つまり、実際の地点よりも遠方に存在すると誤検出されている路面点５１を容易に判定することが可能となる。

【0048】

（変形例）
上記実施形態の一部を以下に示すように変更してもよい。以下に変形例を示す。

【0049】

上記実施形態において、路面情報推定部２４は、点群データを２次曲線又は平面に近似して道路勾配を示したが、どのように近似するかは任意に変更してもよい。例えば、近似直線や３次曲線に近似してもよい。

【0050】

上記実施形態のステップＳ１０１において、画像処理装置２０は、路面点５１のＰＣＳ座標を、平面近似式及び２次曲線近似式に投影し、それらの投影座標を取得したが、平面近似式及び２次曲線近似式のうちいずれか一方の投影座標だけを取得してもよい。そして、ステップＳ１０２において、取得した投影座標とＷＣＳ座標を比較してもよい。

【0051】

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【符号の説明】

【0052】

１０…カメラ、２０…画像処理装置、２１…３次元座標推定部、２２…画像認識部、２３…路面点抽出部、２４…路面情報推定部、２５…事前判定部、２６…除外判定部、５１…路面点、５１ａ…エラー点。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】