特許 6227318 障害物及び急斜面を検出する検出装置およびそれを備えた車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6227318

(24)【登録日】2017年10月20日

(45)【発行日】2017年11月8日

(54)【発明の名称】障害物及び急斜面を検出する検出装置およびそれを備えた車両

(51)【国際特許分類】

   G06T 1/00 20060101AFI20171030BHJP

   H04N 7/18 20060101ALI20171030BHJP

   B60R 1/00 20060101ALI20171030BHJP

   G08G 1/16 20060101ALI20171030BHJP

【ＦＩ】

   G06T1/00 330A

   H04N7/18 J

   B60R1/00 Z

   G08G1/16 C

【請求項の数】9

【全頁数】21

(21)【出願番号】特願2013-158955(P2013-158955)

(22)【出願日】2013年7月31日

(65)【公開番号】特開2015-31990(P2015-31990A)

(43)【公開日】2015年2月16日

【審査請求日】2016年3月10日

(73)【特許権者】

【識別番号】000010076

【氏名又は名称】ヤマハ発動機株式会社

(74)【代理人】

【識別番号】100093056

【弁理士】

【氏名又は名称】杉谷 勉

(74)【代理人】

【識別番号】100142930

【弁理士】

【氏名又は名称】戸高 弘幸

(74)【代理人】

【識別番号】100175020

【弁理士】

【氏名又は名称】杉谷 知彦

(74)【代理人】

【識別番号】100180596

【弁理士】

【氏名又は名称】栗原 要

(72)【発明者】

【氏名】難波 直樹

【審査官】 佐藤 卓馬

(56)【参考文献】

【文献】 特開２００４−０２８７２８（ＪＰ，Ａ）

【文献】 特許第４７１４１０４（ＪＰ，Ｂ２）

【文献】 特開２００９−１３９３２３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｂ６０Ｒ １／００

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

障害物及び急斜面を検出する検出装置であって、
複数の画像センサと、
各画像センサによって撮像された画像に基づいて視差画像を生成する視差画像生成部と、
前記視差画像を複数の領域に区画する領域区画部と、
視差画像に含まれる各画素の視差に基づいて、被写体が障害物であるか否かを領域ごとに判定し、被写体が障害物であると判定された領域を障害物領域と特定する障害物領域特定部と、
視差画像に含まれる各画素に対応する３次元空間上の点の位置に基づいて、被写体の勾配を領域ごとに計算する勾配計算部と、
勾配が閾値以上であるか否かを領域ごとに判定し、勾配が閾値以上であると判定された領域を急斜面領域と特定する急斜面領域特定部と、
を備え、
前記勾配計算部は、少なくとも障害物領域に関する勾配の計算を省略する検出装置。

【請求項2】

請求項１に記載の検出装置において、
前記障害物領域特定部は、視差値が同じである画素が領域内に一定の割合以上存在する場合には、被写体が障害物であると判定する検出装置。

【請求項3】

請求項１または２に記載の検出装置において、
前記勾配計算部は、領域に対応する被写体を単一の平面に近似し、近似された平面の傾きを勾配とみなす検出装置。

【請求項4】

請求項１から３のいずれかに記載の検出装置において、
勾配の計算を要しない領域である計算不要領域を特定する不要領域特定部と、
を備え、
前記勾配計算部は、さらに、前記計算不要領域に関する勾配の計算を省略する検出装置。

【請求項5】

請求項４に記載の検出装置において、
前記不要領域特定部は、領域における視差が所定値以下であるか否かを領域ごとに判定し、視差が所定値以下であると判定された領域を前記計算不要領域と特定する検出装置。

【請求項6】

請求項４または５に記載の検出装置において、
前記不要領域特定部は、
領域が視差画像の中心に対して横方向にずれている量をずれ量として、
ずれ量が所定量以上であるか否かを領域ごとに判定し、
ずれ量が所定量以上であると判定された領域を計算不要領域と特定する
検出装置。

【請求項7】

請求項１から６のいずれかに記載の検出装置において、
各画像センサから得られた画像のいずれかに、障害物領域および急斜面領域を重ねた合成画像を表示する表示部を備えている検出装置。

【請求項8】

請求項７に記載の検出装置において、
前記表示部は、さらに、障害物までの距離および急斜面までの距離に関する情報を表示する検出装置。

【請求項9】

請求項１から８のいずれかに記載の検出装置を備えた車両。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、障害物及び急斜面を検出する検出装置およびそれを備えた車両に関する。

【背景技術】

【0002】

従来、ステレオカメラによって撮像された画像に基づいて障害物を検出する方法がある。従来の方法では、例えば、画像に投影される道路の特徴点を抽出し、この特徴点の位置に基づいて道路平面を計算する。ここで、道路の特徴点は、車両の走路を示すものであり、例えば白線などである。さらに、計算された道路平面を基準として、障害物が画像に投影されている領域を特定する。これによれば、障害物を適切に検知できる（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１−７６１２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、このような構成を有する従来例の場合には、次のような問題がある。
すなわち、道路が特徴点を有しない場合、道路平面を計算できない。よって、障害物を適切に検出することが困難である。特徴点は、公道以外の道路には存在しないことが多い。例えば、登坂道、山道、林道またはゴルフカート用道などには、特徴点が無いことが多い。また、例えば、車両が走行可能な果樹園などの場所にも、特徴点が無いことが多い。以下、各種の道路や車両が走行する各種の場所を、「道路等」と総称する。

【0005】

特徴点を有しない道路等では、急斜面が進行方向前方に存在していることが多い。また、特徴点を有しない道路等では、急斜面と走路に適した地形とが進行方向前方に混在していることが多い。急斜面は、走路に適していない。あるいは、急斜面は、障害物と同様に、走行を妨げる。しかし、従来例では、急斜面を的確に検出することが困難である。

【0006】

本発明は、このような事情に鑑みてなされたものであって、特徴点を有しない道路または場所であっても、障害物及び急斜面を適切に検出できる検出装置およびそれを備えた車両を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、このような目的を達成するために、次のような構成をとる。
すなわち、本発明は、障害物及び急斜面を検出する検出装置であって、複数の画像センサと、各画像センサによって撮像された画像に基づいて視差画像を生成する視差画像生成部と、前記視差画像を複数の領域に区画する領域区画部と、視差画像に含まれる各画素の視差に基づいて、被写体が障害物であるか否かを領域ごとに判定し、被写体が障害物であると判定された領域を障害物領域と特定する障害物領域特定部と、視差画像に含まれる各画素に対応する３次元空間上の点の位置に基づいて、被写体の勾配を領域ごとに計算する勾配計算部と、勾配が閾値以上であるか否かを領域ごとに判定し、勾配が閾値以上であると判定された領域を急斜面領域と特定する急斜面領域特定部と、を備え、前記勾配計算部は、少なくとも障害物領域に関する勾配の計算を省略する検出装置である。

【0008】

［作用・効果］本発明によれば、複数の画像センサはそれぞれ画像を撮像する。各画像には、実空間に存在する被写体が投影される。視差画像生成部は、複数の画像に基づいて視差画像を生成する。視差画像は、視差が対応付けられた複数の画素によって構成されている。領域区画部は、視差画像生成部によって生成された視差画像を複数の領域に区分する。

【0009】

障害物領域特定部は、視差に基づいて障害物領域を特定する。具体的には、障害物領域特定部は、視差画像に含まれる各画素の視差に基づいて、１の領域に投影されている被写体が障害物であるか否かを判定する。障害物領域特定部は、この判定を領域ごとに行う。これにより、障害物を精度よく検出できる。障害物領域特定部は、障害物と判定された領域のみを、障害物領域と特定する。ここで、「障害物と判定された領域」は、厳密に言えば、障害物と判定された被写体が投影されている領域である。

【0010】

勾配計算部は、視差画像に含まれる各画素の位置と３次元空間上の点の位置との対応関係に基づいて、１の領域に投影されている被写体の勾配を計算する。勾配計算部は、勾配の計算を領域ごとに行う。よって、被写体の形状（例えば、道路等の地形）が複雑であっても、被写体の勾配をきめ細かく求めることができる。勾配計算部は、少なくとも障害物領域に関して勾配を計算しない。ここで、勾配を計算するための処理負荷は、比較的に大きい。よって、勾配計算部の処理負荷を軽減できる。

【0011】

急斜面領域特定部は、勾配計算部によって計算された勾配に基づいて急斜面領域を特定する。具体的には、急斜面領域特定部は、勾配が閾値以上であるか否かを領域ごとに判定する。急斜面領域特定部は、勾配が閾値以上であると判定された領域のみを急斜面領域と特定する。ここで、「勾配が閾値以上であると判定された領域」は、厳密に言えば、勾配が閾値以上であると判定された被写体が投影されている領域である。これにより、閾値以上の勾配を有する被写体（例えば、急斜面）を精度よく検出できる。

【0012】

上述したように、本発明は、障害物領域特定部を備えているので、道路の特徴点を検出することなく、障害物領域を特定できる。また、本発明は、勾配計算部と急斜面領域特定部とを備えているので、道路の特徴点を検出することなく、急斜面領域を特定できる。そして、視差画像における障害物領域及び急斜面領域に基づけば、実空間における障害物及び急斜面を好適に検出できる。よって、本発明によれば、特徴点を有しない道路または場所であっても、障害物及び急斜面を適切に検出できる。特に、急斜面領域を特定できるので、急斜面を含む道路等であっても、走行を適切に支援することができる。

【0013】

また、本発明によれば、障害物領域に対する勾配の計算を省略するので、急斜面領域を効率良く特定できる。

【0014】

上述した発明において、前記障害物領域特定部は、視差値が同じである画素が領域内に一定の割合以上存在する場合には、被写体が障害物であると判定することが好ましい。領域内に含まれる画素のうち、視差値が同じである画素が占める割合が大きいほど、被写体の表面の角度は垂直に近くなる。この関係を利用して、障害物領域特定部は、例えば壁のように、略垂直な面を有する被写体を的確に障害物と判定できる。

【0015】

上述した発明において、前記勾配計算部は、領域に対応する被写体を単一の平面に近似し、近似された平面の傾きを勾配とみなすことが好ましい。近似された１平面の傾きは、その領域に投影されている被写体の勾配を代表する。これにより、各領域の勾配を適切に得ることができる。

【0016】

上述した発明において、勾配の計算を要しない領域である計算不要領域を特定する不要領域特定部と、を備え、前記勾配計算部は、さらに、前記計算不要領域に関する勾配の計算を省略することが好ましい。これによれば、勾配計算部の処理負荷を一層軽減できる。

【0017】

上述した発明において、前記不要領域特定部は、領域における視差が所定値以下であるか否かを領域ごとに判定し、視差が所定値以下であると判定された領域を前記計算不要領域と特定することが好ましい。視差が所定値以下であると判定された領域には、視差が所定値以下であると判定されなかった領域に比べて、遠くに位置する被写体が投影されている。したがって、比較的遠くに位置する被写体が投影されている領域が、計算不要領域と特定される。これにより、勾配計算部は、比較的に近くに位置する被写体の勾配のみを効率よく計算できる。

【0018】

上述した発明において、前記不要領域特定部は、領域が視差画像の中心に対して横方向にずれている量をずれ量として、ずれ量が所定量以上であるか否かを領域ごとに判定し、ずれ量が所定量以上であると判定された領域を計算不要領域と特定することが好ましい。ずれ量が所定量以上であると判定されなかった領域には、光軸方向を中心とし、左右に広がる角度域内に位置する被写体（以下、「中央の被写体」という）が投影される。ずれ量が所定量以上であると判定された領域には、上記した角度域よりも右外側／左外側に位置する被写体が投影される。不要領域特定部は、ずれ量が所定量以上であると判定された領域を計算不要領域と特定する。これにより、勾配計算部は、中央の被写体の勾配のみを効率よく計算できる。

【0019】

上述した発明において、各画像センサから得られた画像のいずれかに、障害物領域および急斜面領域を重ねた合成画像を表示する表示部を備えていることが好ましい。画像において、障害物領域および急斜面領域の位置を明示できる。

【0020】

上述した発明において、前記表示部は、さらに、障害物までの距離および急斜面までの距離に関する情報を表示することが好ましい。障害物および急斜面までの距離を明示できる。なお、障害物は、障害物と判定された被写体であり、障害物領域に投影されている被写体である。急斜面は、急斜面領域に投影されている被写体である。

【0021】

また、本発明は、上述した検出装置を備えた車両である。

【0022】

［作用・効果］本発明によれば、検出装置を備えているので、障害物及び急斜面を的確に検出できる。よって、車両は適切に走行できる。特に、車両が自動走行車、自律走行車または無人走行車であっても、車両は適切に走行できる。

【0023】

なお、本明細書は、次のような検出装置および車両に係る発明も開示している。

【0024】

（１）勾配は、前記画像センサの光軸方向に対する被写体の高低差であることが好ましい。

【0025】

前記（１）に記載の発明によれば、車両が画像センサの光軸方向と略同じ方向に進む場合に、好適に適用できる。

【0026】

（２）障害物及び急斜面を検出する検出装置であって、ステレオ視によって撮影された複数の画像に基づいて視差画像を生成する視差画像生成部と、前記視差画像を複数の領域に区画する領域区画部と、視差画像に含まれる各画素の視差に基づいて、被写体が障害物であるか否かを領域ごとに判定し、被写体が障害物であると判定された領域を障害物領域と特定する障害物領域特定部と、視差画像に含まれる各画素に投影される３次元空間上の点の位置に基づいて、被写体の勾配を領域ごとに計算する勾配計算部と、勾配が閾値以上であるか否かを領域ごとに判定し、勾配が閾値以上であると判定された領域を急斜面領域と特定する急斜面領域特定部と、を備え、前記勾配計算部は、少なくとも障害物領域に関する勾配の計算を省略する検出装置。

【0027】

前記（２）に記載の検出装置によれば、特徴点を有しない道路または場所であっても、障害物及び急斜面を適切に検出できる。また、前記（２）に記載の検出装置は、画像センサを備えてもよいし、備えなくてもよい。また、前記（２）に記載の検出装置は、検出装置の外部装置によって撮影された画像に基づいて、障害物及び急斜面を適切に検出することもできる。

【発明の効果】

【0028】

この発明に係る検出装置およびそれを備えた車両によれば、特徴点を有しない道路または場所であっても、障害物及び急斜面を好適に検出できる。

【図面の簡単な説明】

【0029】

【図1】実施例に係る車両の前面図である。

【図2】検出装置の構成を示すブロック図である。

【図3】検出装置の処理手順の一例を示すフローチャートである。

【図4】図４（ａ）、（ｂ）は、画像センサによって撮影された画像の一例を示す図である。

【図5】車両と被写体との位置関係を簡略に示す側面図である。

【図6】視差画像の一例を示す図である。

【図7】視差画像を区画する複数の領域を模式的に示す図である。

【図8】画素と３次元空間上の点との位置関係を模式的に例示する図である。

【図9】Ｙ−Ｚ平面に投影された点群を模式的に示す図である。

【図10】合成画像の一例を示す図である。

【図11】検出装置の構成を示すブロック図である。

【図12】検出装置処理手順の一例を示すフローチャートである。

【図13】ずれ量を説明するための図である。

【実施例1】

【0030】

以下、図面を参照して本発明の実施例を説明する。

【0031】

１．車両の概略構成
図１は、実施例に係る車両１の前面図である。
本実施例では、車両１は、ゴルフ場内を走行するゴルフカートである。
以下の説明において、前後、左右、上下とは、車両１の搭乗者にとっての「前」、「後」、「左」、「右」、「上」、「下」を意味する。

【0032】

車両１は、車両本体３と画像センサ１１ａ、１１ｂとを備える。画像センサ１１ａ、１１ｂは、車両本体３の前面に設置されている。各画像センサ１１ａ、１１ｂは、所定の間隔を空けて左右に並ぶように設置されている。画像センサ１１ａ、１１ｂの各光軸はそれぞれ、車両１の前方を向いている。すなわち、画像センサ１１ａ、１１ｂの位置関係は、平行ステレオである。画像センサ１１ａ、１１ｂは、ステレオ視によって車両１の前方を撮影する。画像センサ１１ａ、１１ｂから、同じ被写体が投影された一対の画像が得られる。被写体は、実空間上に存在する物体であり、例えば、地面、樹木または障害物などである。障害物は、車両１の走行を妨げる。画像センサ１１ａ、１１ｂは、例えば可視光カメラが挙げられる。

【0033】

２．検出装置の構成
次に、検出装置５の構成について説明する。図２は、検出装置の構成を示すブロック図である。

【0034】

検出装置５は、障害物及び急斜面を検出する。図２に示すように、検出装置５は、上述した画像センサ１１ａ、１１ｂのほかに、画像処理部１３と、記憶部１７と、表示部１８とを備えている。画像センサ１１ａ、１１ｂ、画像処理部１３、記憶部１７および表示部１８は、互いに電気的に接続されている。画像処理部１３、記憶部１７および表示部１８も、車両本体３に取り付けられている。すなわち、車両１は、検出装置５を備えている。

【0035】

画像処理部１３は、各種処理を実行する中央演算処理装置（ＣＰＵ）や、演算処理の作業領域となるＲＡＭ（Random-Access Memory）などによって実現されている。画像処理部１３は、機能的に、視差画像生成部２１と領域区画部２２と障害物領域特定部２３と勾配計算部２４と急斜面領域特定部２５と画像合成部２６とに分けられる。

【0036】

視差画像生成部２１は、画像センサ１１ａ、１１ｂによって撮影された一対の画像に基づいて、各画素に対する視差を求め、視差画像を生成する。視差画像は、視差が対応付けられた複数の画素によって構成されている。

【0037】

視差は、画像センサ１１ａ、１１ｂから被写体までの光軸方向（奥行き方向）における距離と反比例する。すなわち、視差は、奥行き方向における被写体の位置、または、被写体までの距離を示す情報（奥行き情報）である。視差の値（「視差値」という）は、画素数によって表されてもよいし、物理的な距離によって表されてもよい。

【0038】

視差とカメラパラメータが明らかであれば、３次元空間（実空間）における被写体の位置と、被写体が画像に投影される投影点の位置との関係は明らかである。ここで、カメラパラメータは、画像センサ１１ａ、１１ｂの間の基線の長さや、画像センサ１１ａ、１１ｂの焦点距離などが例示される。基線の長さは画像センサ１１ａ、１１ｂの取付位置によって決められる。焦点距離は画像センサ１１ａ、１１ｂの仕様に定められている。したがって、基線の長さと焦点距離は既知である。よって、視差が明らかになれば、画素に対応した３次元空間上の点の位置が明らかになる。

【0039】

領域区画部２２は、視差画像を複数の領域に区画する。

【0040】

障害物領域特定部２３は、視差画像に含まれる各画素の視差に基づいて、視差画像に投影された被写体が障害物であるか否かを判定する。障害物領域特定部２３は、障害物に関する判定を領域ごとに行う。障害物領域特定部２３は、被写体が障害物であると判定された領域を障害物領域と特定する。

【0041】

勾配計算部２４は、視差画像に含まれる各画素に対応する３次元空間上の点の位置に基づいて、被写体の勾配を計算する。被写体の勾配は、被写体の表面の傾きである。勾配は、角度で表されてもよいし、パーセント［％］で表されてもよい。本実施例では、登り坂のとき、勾配は正の値をとる。また、上り坂の傾斜が急であるほど、勾配は大きな値をとる。勾配計算部２４は、勾配の計算を領域ごとに行う。ただし、障害物領域に関しては勾配の計算を省略する。

【0042】

急斜面領域特定部２５は、被写体の勾配が閾値以上であるか否かを判定する。急斜面領域特定部２５は、勾配に関する判定を領域ごとに行う。閾値は、車両１の登坂性能等を考慮して、予め設定されている。本実施例では、閾値は正の値である。閾値は、例えば、車両１が走行することが困難な勾配の下限値であることが好ましい。あるいは、閾値は、例えば、車両１が走行することが不可能な勾配の下限値であることが好ましい。急斜面領域特定部２５は、勾配が閾値以上であると判定された領域を急斜面領域と特定する。

【0043】

画像合成部２６は、画像センサ１１ａ、１１ｂから得られた画像のいずれかに、障害物領域及び急斜面領域に関連する各種の情報を重ねた合成画像を生成する。各種の情報は、例えば、障害物領域および急斜面領域の位置または範囲を示す情報である。また、各種の情報は、例えば、障害物領域および急斜面領域に投影されている被写体までの距離を示す情報である。

【0044】

なお、障害物領域に投影されている被写体とは、障害物であると判定された被写体である。急斜面領域に投影された被写体とは、勾配が閾値以上であると判定された被写体である。本明細書では、勾配が閾値以上であると判定された被写体を適宜に「急斜面」と呼ぶ。本実施例では、急斜面は、基本的に登り坂である。

【0045】

記憶部１７は、カメラパラメータや、各種の判定処理に用いられる情報を記憶している。カメラパラメータは、基線の長さ、焦点距離などである。判定処理に用いられる情報は、閾値、最小比率、所定値、所定量などである。記憶部１７に記憶されている各種の情報は、画像処理部１３によって適宜に参照される。記憶部１７は、各種情報を記憶する固定ディスク等の記憶媒体などによって実現されている。

【0046】

表示部１８は、画像合成部２６によって生成された合成画像を表示する。表示部１８は、画像や文字等の視覚情報を表示するディスプレイなどによって実現されている。表示部１８は、搭乗者が視認し易い位置に配置されることが好ましい。

【0047】

３．動作説明
次に、実施例１に係る車両１の動作を説明する。以下では、検出装置５の処理の手順を中心に説明する。図３は、検出装置５の処理手順の一例を示すフローチャートである。

【0048】

＜ステップＳ１＞ 撮影
画像センサ１１ａ、１１ｂはそれぞれ、車両１の前方を撮影し、画像を生成する。

【0049】

図４（ａ）、（ｂ）を参照する。図４（ａ）は画像センサ１１ａによって撮影された画像ＩＡを例示する。図４（ｂ）は画像センサ１１ｂによって撮影された画像ＩＢを例示する。図４（ａ）において、画像ＩＡの横方向をｕ軸で示し、画像ＩＡの縦方向をｖ軸で示す。同様に、図４（ｂ）において、画像ＩＢの横方向をｕ′軸で示し、画像ＩＢの縦方向をｖ′軸で示す。画像ＩＡ、ＩＢはそれぞれ、複数の画素（不図示）によって構成されている。画素は縦横に行列状に配置されている。例えば、縦方向の画素数は９６０であり、横方向の画素数は１２８０である。

【0050】

図５は、図４（ａ）、（ｂ）に示す画像ＩＡ、ＩＢを撮影した時における、車両１と被写体との位置関係を簡略に示す側面図である。図示するように、車両１の前方には路面Ｇが存在する。路面Ｇは登り坂である。路面Ｇ上には障害物Ｏが置かれている。障害物Ｏは、鉛直上方に立ち上がる壁面ＯＷを有する。これら路面Ｇと障害物Ｏとが、画像ＩＡ、ＩＢに投影されている。壁面ＯＷは、画像センサ１１ａ、１１ｂから見て略矩形形状を有する。

【0051】

図５において、Ｘ軸は、ｕ軸およびｕ′軸と平行である。Ｙ軸は、ｖ軸およびｖ′軸と平行である。Ｚ軸は、画像センサ１１ａ、１１ｂの光軸と平行である。Ｘ軸、Ｙ軸およびＺ軸は、互いに直交する。

【0052】

＜ステップＳ２＞ 画像取込
画像処理部１３は、画像センサ１１ａ、１１ｂによって撮影された各画像を取り込む。

【0053】

＜ステップＳ３＞ 視差画像生成
視差画像生成部２１は、各画像ＩＡ、ＩＢに基づいて、視差画像を生成する。

【0054】

図６は、視差画像ＩＣの一例を簡略に示す図である。図６に例示する視差画像ＩＣは、６種類の視差領域Ａ１乃至Ａ６によって構成されている。視差領域Ａ１は、視差値ｄ１の画素によって構成されている。同様に、視差領域Ａ２乃至Ａ６はそれぞれ、視差値ｄ２乃至ｄ６の画素によって構成されている。なお、視差領域Ａ１乃至Ａ６は、領域区画部２２によって規定される領域とは異なる。

【0055】

視差画像を生成する手順の一例を説明する。画像センサ１１ａから得られる画像ＩＡを基準画像とし、画像センサ１１ｂから得られる画像ＩＢを参照画像とする。基準画像ＩＡの１の画素を注目画素として、注目画素に対応する参照画像ＩＢの画素（「対応画素」）を探索する。

【0056】

対応画素を探索するとき、ステレオマッチングなどの手法を使う。ステレオマッチングとしては、領域ベースマッチングや特徴ベースマッチング等がある。たとえば、領域ベースマッチングの場合、注目画素を中心とする領域（「基準領域」という）を設定する。基準領域と参照画像ＩＢを比較し、基準領域と最も類似する参照画像ＩＢの領域を特定する。特定された参照画像ＩＢの領域の中心に位置する画素を対応画素と決定する。

【0057】

対応画素が探索されると、基準画像ＩＡにおける注目画素と、参照画像ＩＢにおける対応画素との横方向のずれ量を求める。このずれ量が、注目画素における視差である。

【0058】

１の画素について視差を求めると、引き続き、基準画像ＩＡの他の画素を１つずつ注目画素に設定し直して、上述した処理を繰り返す。これにより、他の画素についても視差を求める。求めた視差を各画素に対応付ける。これにより、視差画像が得られる。

【0059】

＜ステップＳ４＞ 領域分割
領域区画部２２は、視差画像ＩＣを複数の領域に区画する。

【0060】

図７を参照する。図７は、視差画像ＩＣを区画した複数の領域を模式的に示す図である。

【0061】

図７に示すように、領域区画部２２は視差画像ＩＣを縦横に格子状に分割する。これにより、視差画像ＩＣは、複数の領域（ブロック）ｅに区画される。各領域ｅは略同じ大きさである。各領域ｅはそれぞれ略矩形形状を有する。各領域ｅは、少なくとも２以上の画素を含む。各領域ｅの縦方向ｖの長さｈは、横方向ｕの長さｗの数倍以上であることが好ましい。言い換えれば、各領域ｅは、縦方向ｖに長い短冊形状であることが好ましい。また、各領域ｅは、横方向ｕに２０−４０列の画素を含み、縦方向ｖに６０−８０行の画素を含むことが好ましい。

【0062】

＜ステップＳ５＞ 障害物領域か？（障害物領域の特定）
障害物領域特定部２３は、１の領域ｅに注目する。以下では、注目された１つの領域ｅを、単に「領域ｅｉ」と記載する。障害物領域特定部２３は、領域ｅｉに投影される被写体が障害物であるか否かを判定する。

【0063】

本実施例では、領域ｅｉ内に視差値が同じである画素が一定の割合以上存在する場合には、領域ｅｉに投影される被写体が障害物であると障害物領域特定部２３が判定する。

【0064】

より具体的には、次のような処理を行う。障害物領域特定部２３は、領域ｅｉ内に含まれる視差値の中で最も頻繁に現れる視差値、すなわち、最頻値を特定する。障害物領域特定部２３は、領域ｅｉ内に含まれる視差値の個数に対して最頻値の個数が占める割合（以下では、適宜に「最頻値の割合」という）を求める。なお、領域ｅｉ内に含まれる視差値の数は、領域ｅｉ内に含まれる画素の数と同じである。

【0065】

障害物領域特定部２３は、記憶部１７に記憶される最小比率を用いて、最頻値の割合が最小比率以上であるか否かを判定する。最小比率としては、例えば、５０％から６０％の範囲内であることが好ましい。

【0066】

ここで、最頻値の割合が大きくなるほど、領域ｅｉに投影されている被写体の表面が光軸Ｚに対して傾斜する角度が垂直に近くなる。よって、最頻値の割合に基づいて判定することによって、例えば図５に示す壁面ＯＷが投影された領域ｅを的確に抽出できる。

【0067】

最頻値の割合が最小比率以上であると判定された場合には、障害物領域特定部２３は、領域ｅｉに投影される被写体が障害物であると判定し、領域ｅｉを障害物領域と特定する。そうでない場合には、障害物領域特定部２３は、領域ｅｉに投影される被写体が障害物であると判定せず、領域ｅｉを障害物領域と特定しない。

【0068】

領域ｅｉが障害物領域と特定された場合には、ステップＳ８に進む。そうでない場合には、ステップＳ６に進む。

【0069】

＜ステップＳ６＞ 勾配計算
勾配計算部２４は、領域ｅｉに投影されている被写体の勾配を計算する。勾配計算部２４は、領域ｅｉ内における複数の画素と対応する３次元空間上の複数の点（点群）の位置に基づいて、被写体の勾配を計算する。

【0070】

より具体的には、勾配計算部２４は、次のような処理を行う。図８を参照する。図８は、領域ｅｉ内の画素ｐと３次元空間上の点ｑとの位置関係を模式的に例示する図である。

【0071】

勾配計算部２４は、画素ｐに投影される実空間上の点ｑの位置（Ｘ軸座標、Ｙ軸座標、Ｚ軸座標）を求める。点ｑの位置を求める際、勾配計算部２４は、画素ｐの位置（ｕ軸座標、ｖ軸座標）と、画素ｐの視差と、基線の長さと、焦点距離とを用いる。画素ｐの位置と画素ｐの視差とは、視差画像ＩＣによって与えられる。基線の長さと焦点距離とは、記憶部１７に記憶されている。

【0072】

画素ｐと点ｑとは１対１に対応する。点ｑの数は、領域ｅｉに含まれる画素の数と同じである。以下では、複数の点ｑを点群Ｑと総称する。

【0073】

勾配計算部２４は、点群ＱをＹ−Ｚ平面に投影する。以下では、Ｙ−Ｚ平面に投影された点ｑを「点ｒ」と呼び、Ｙ−Ｚ平面に投影された点群Ｑを「点群Ｒ」と呼ぶ。

【0074】

図９は、点群Ｒを模式的に示す図である。勾配計算部２４は、最小二乗法により、点群Ｒに近似する直線Ｌ（１次関数）、および、直線Ｌの傾きθを求める。勾配計算部２４は、傾きθを、領域ｅｉに投影される被写体の勾配の代表値とみなす。以下では、傾きθを、適宜に「勾配θ」または「被写体の勾配θ」と呼ぶ。

【0075】

このようにして求められた勾配θは、光軸方向Ｚ（すなわち、車両１の進行方向）に対する被写体の勾配である。換言すれば、勾配θは、光軸方向Ｚに対する被写体の高低差である。勾配θは、縦断勾配とも呼ばれる。

【0076】

＜ステップＳ７＞ 急斜面領域の特定
急斜面領域特定部２５は、記憶部１７に記憶されている閾値を用いて、領域ｅｉに投影された被写体の勾配θが閾値以上であるか否かを判定する。勾配θが閾値以上であると判定された場合には、急斜面領域特定部２５は領域ｅｉを急斜面領域と特定する。そうでない場合には、急斜面領域特定部２５は領域ｅｉを急斜面領域と特定しない。領域ｅｉが急斜面領域と特定された場合もそうでない場合も、ステップＳ８に進む。

【0077】

＜ステップＳ８＞ 全ての領域について判定したか？
ステップＳ５の処理、または、ステップＳ５乃至Ｓ７の一連の処理が、視差画像に含まれる全ての領域ｅについて行われたか否かを判断する。その結果、ステップＳ５の処理等が全ての領域ｅに行われたと判断された場合には、ステップＳ９に進む。そうでない場合には、再びステップＳ５に戻る。そして、領域ｅｉ以外の領域ｅに注目してステップＳ５の処理等を繰り返す。

【0078】

これにより、ステップＳ５の処理が、全ての領域ｅに対して行われる。また、ステップＳ６、Ｓ７の処理は、障害物領域と特定されなかった領域ｅに対して行われる。ステップＳ６、Ｓ７の処理は、障害物領域と特定された領域ｅに対して行われない。

【0079】

＜ステップＳ９＞ 合成画像生成
画像合成部２６は、合成画像ＩＤを生成する。

【0080】

図１０を参照する。図１０は、合成画像ＩＤを例示する。図示するように、画像合成部２６は、基準画像ＩＡに、障害物領域の位置を示す枠（図形）Ｆ１を重畳する。画像合成部２６は、基準画像ＩＡに、急斜面領域の位置を示す枠（図形）Ｆ２を重畳する。ここで、複数の障害物領域がつながっている場合、枠Ｆ１は複数の障害物領域の集合（かたまり）の外縁を示してもよい。枠Ｆ２に関しても同様である。なお、図示の便宜上、図１０において例示した障害物領域の位置および範囲は、図７で例示した領域ｅと厳密に対応していない。

【0081】

また、画像合成部２６は、障害物（障害物領域に投影されている被写体）までの距離に関する情報Ｈ１を基準画像ＩＡに重畳する。図１０では、情報Ｈ１は、枠Ｆ１の近傍に配置されている数字（「７．５」）である。また、画像合成部２６は、急斜面（急斜面領域に投影されている被写体）までの距離に関する情報Ｈ２を基準画像ＩＡに重畳する。図１０では、情報Ｈ２は、枠Ｆ２の近傍に配置されている数字（「９．０」）である。

【0082】

＜ステップＳ１０＞ 合成画像表示
表示部１８は、合成画像ＩＤを表示する。

【0083】

このように、実施例１によれば、検出装置５は障害物領域特定部２３を備え、障害物領域特定部２３は、被写体が障害物であるか否かの判定を領域ｅごとに行う。よって、障害物の３次元的な位置を精度良く検出できる。

【0084】

検出装置５は勾配計算部２４を備え、勾配計算部２４は勾配の計算を領域ｅごとに行う。よって、被写体の形状が複雑であっても、被写体の勾配θをきめ細かく求めることができる。

【0085】

検出装置５は急斜面領域特定部２５を備え、急斜面領域特定部２５は、勾配θが閾値以上であるか否かの判定を領域ｅごとに行う。よって、勾配θが閾値以上の被写体、すなわち、急斜面の３次元的な位置を精度良く検出できる。

【0086】

ここで、障害物領域特定部２３は、視差画像ＩＣに含まれる各画素の視差に基づいて、障害物領域を特定する。よって、障害物領域特定部２３は、道路の特徴点を検出することなく、障害物を検出できる。他方、勾配計算部２４は、視差画像ＩＣに含まれる各画素ｐに対応する３次元空間上の点ｑの位置に基づいて、勾配θを計算する。よって、勾配計算部２４は、道路の特徴点を検出することなく、急斜面を検出できる。

【0087】

このように、本実施例によれば、特徴点を有しない道路または場所であっても、障害物および急斜面を検出できる。したがって、車両１の走路が、公道でなくても、すなわち、ゴルフ場内のカート道であっても、車両１は適切に走行できる。

【0088】

特に、検出装置５は、障害物のみならず急斜面も検出できるので、起伏の激しい道路等であっても、走路を選択するのに有益な情報を提供できる。よって、車両１は適切に走行できる。

【0089】

また、障害物領域特定部２３は、視差値が同じである画素が領域ｅ内に一定の割合（最小比率）以上存在する場合には、被写体が障害物であると判定する。よって、略垂直な面ＯＷを有する被写体を、障害物Ｏと的確に認識できる。

【0090】

勾配計算部２４が領域ｅ１に対して処理を行う前に、障害物領域特定部２３が領域ｅ１に対して処理を行う。すなわち、領域ｅ１が障害物領域か否かを判断する。そして、領域ｅ１が障害物領域と特定されると、その領域ｅ１を、勾配計算部２４の処理対象から除く。これにより、勾配計算部２４の処理負担を軽減できる。特に、被写体の勾配を計算するための演算量は、被写体が障害物であるか否かを判定するための演算量に比べて大きい。したがって、勾配計算部２４の処理負荷を軽減することで、検出装置５全体の処理負荷を軽減できる。これにより、急斜面領域を特定するために要する時間を短縮できる。

【0091】

また、障害物と急斜面とはいずれも車両１の走行を妨げる。よって、ある領域ｅに投影される被写体が障害物であると既に判定された場合、その障害物の勾配が不明であっても、あるいは、その障害物が急斜面であるか否かが不明であっても、急斜面領域を特定する精度は実質的に低下しない。したがって、障害物領域に関する勾配の計算を省略することによって、急斜面領域の特定精度を維持しつつ、急斜面領域を効率良く特定できる。

【0092】

勾配計算部２４は、点ｑ（点群Ｑ）をＹ−Ｚ平面に投影する。この処理は、被写体の表面を、Ｙ−Ｚ平面に垂直な面とみなすことと同じであり、Ｘ軸方向に対する被写体の表面の傾きを無視することを同じである。これにより、光軸方向Ｚに対する被写体の勾配を簡易に求めることができる。

【0093】

勾配計算部２４は、点ｒ（点群Ｒ）に近似する直線Ｌを求める。この処理は、被写体の表面を、Ｙ−Ｚ平面に垂直で、かつ、直線Ｌを含む単一の平面に近似することと同じである。これにより、被写体の勾配を一層簡易に求めることができる。具体的には、勾配計算部２４は、直線Ｌの傾きθを求め、求めた傾きθを、領域ｅに投影される被写体の勾配の代表値とみなす。

【0094】

また、領域ｅの縦方向ｖの長さｈは、各領域ｅの横方向ｕの長さｗに比べて長い。よって、勾配計算部２４は、光軸方向Ｚに対する被写体の勾配を精度よく求めることができる。

【0095】

検出装置５は領域区画部２２を備え、領域区画部２２は視差画像ＩＣを複数の領域に区画する。これにより、視差画像ＩＣに投影されている被写体をきめ細かく分析できる。

【0096】

検出装置５は画像合成部２６を備え、画像合成部２６は基準画像ＩＡに障害物領域および急斜面領域に関する情報Ｆ１、Ｆ２、Ｈ１、Ｈ２を重畳した合成画像ＩＤを生成する。これによって、障害物領域および急斜面領域の特定結果と基準画像ＩＡとを適切に整合させることができる。

【0097】

画像合成部２６は、障害物および急斜面までの距離に関する情報Ｈ１、Ｈ２を、基準画像ＩＡに重畳させる。これによって、基準画像ＩＡが本来有していない奥行き情報を適切に補うことができる。

【0098】

検出装置５は、表示部１８を備え、表示部１８は合成画像ＩＤを表示する。これによれば、障害物および急斜面の位置等を車両１の搭乗者に明示できる。

【実施例2】

【0099】

次に、図面を参照してこの発明の実施例２を説明する。本実施例２は、実施例１と略同様の構成を備えた車両１であり、画像処理部１４の処理が実施例１と異なる。そこで、実施例２に係る車両１の概略構成の説明を省略し、画像処理部１４の構成について説明する。なお、実施例１と同じ構成については同符号を付すことで詳細な説明を省略する。

【0100】

１．検出装置の構成
図１１は、検出装置５の構成を示すブロック図である。検出装置５は、画像センサ１１ａ、１１ｂと、画像処理部１４と、記憶部１７と、表示部１８とを備えている。

【0101】

画像処理部１４は、機能的に、視差画像生成部２１と領域区画部２２と障害物領域特定部２３と勾配計算部２４と急斜面領域特定部２５と画像合成部２６と不要領域特定部２８とに分けられる。

【0102】

不要領域特定部２８は、勾配の計算を要しない領域である計算不要領域を特定する。本実施例では、不要領域特定部２８は、視差に基づいて、計算不要領域を特定する。さらに、不要領域特定部２８は、視差画像ＩＣにおける領域ｅの位置に基づいて、計算不要領域を特定する。

【0103】

勾配計算部２４は、障害物領域と計算不要領域とに関する勾配の計算を省略する。

【0104】

２．動作説明
次に、実施例２に係る車両１の動作を説明する。以下では、検出装置５の処理の手順を中心に説明する。図１２は、検出装置５の処理手順の一例を示すフローチャートである。

【0105】

＜ステップＳ１＞ 撮影
画像センサ１１ａ、１１ｂはそれぞれ、車両１の前方を撮影し、画像を生成する。

【0106】

＜ステップＳ２＞ 画像取込
画像処理部１４は、画像センサ１１ａ、１１ｂによって撮影された各画像を取り込む。

【0107】

＜ステップＳ３＞ 視差画像生成
視差画像生成部２１は、各画像ＩＡ、ＩＢに基づいて、視差画像を生成する。

【0108】

＜ステップＳ４＞ 領域分割
領域区画部２２は、視差画像ＩＣを複数の領域に区画する。

【0109】

＜ステップＳ１１＞ 障害物領域の特定
障害物領域特定部２３は、各画素の視差に基づいて、１の領域ｅに投影されている被写体が障害物であるか否かを判定する。障害物領域特定部２３は、この判定を全ての領域ｅについて行う。障害物領域特定部２３は、被写体が障害物であると判定された領域のみを、障害物領域と特定する。

【0110】

＜ステップＳ１２＞ 計算不要領域の特定
不要領域特定部２８は、計算不要領域を特定する。実施例２では、領域が２種の条件の少なくともいずれかに合致するか否か、を不要領域特定部２８が判定する。判定の対象は、障害物領域以外の領域である。すなわち、不要領域特定部２８は、障害物領域に対しては処理を行わない。そして、合致すると判定された領域を、計算不要領域と特定する。以下、具体的に説明する。

【0111】

不要領域特定部２８は、１の領域ｅに含まれる画素の視差が全て所定値以下であるか否かを判定する。不要領域特定部２８は、この判定を全ての領域ｅについて関して行う。

【0112】

この判定について、図６を参照して具体的に例示する。図６に示す視差画像ＩＣにおいて、視差値ｄ１乃至ｄ６が以下の大小関係を有するものとする。
ｄ１＞ｄ２＞ｄ３＞ｄ４＞ｄ５＞ｄ６

【0113】

ここで、所定値がｄ５であるとき、視差値ｄ５または視差値ｄ６の画素のみで構成されている領域ｅについては、視差が所定値ｄ５以下であると判定される。他方、視差値ｄ１乃至ｄ４のいずれかの画素を１つでも含む領域ｅについては、視差が所定値ｄ５以下であると判定されない。

【0114】

不要領域特定部２８は、視差が所定値以下であると判定された領域を計算不要領域と特定する。

【0115】

また、不要領域特定部２８は、ずれ量が所定量以上であるか否かを判定する。不要領域特定部２８は、この判定を領域ｅごとに行う。

【0116】

図１３を参照する。図１３は、ずれ量を説明するための図である。図１３では、視差画像ＩＣは領域ｅ１乃至ｅ２４に区画されている。図示の便宜上、図１３において例示した領域ｅ１乃至ｅ２４の位置および範囲は、図７で例示した領域ｅと厳密に対応していない。

【0117】

図１３に示すように、ずれ量は、領域ｅが視差画像ＩＣの中心Ｋに対して横方向にずれている量である。各領域ｅの位置としては、例えば、その領域ｅの中心の位置を用いる。ずれ量は、画素数によって表されてもよいし、物理的な距離によって表されてもよい。

【0118】

視差画像ＩＣの中心Ｋに対して領域ｅ９が横方向ｕにずれているずれ量は、Ｊ１である。領域ｅ１０乃至ｅ１６のずれ量も、それぞれＪ１である。領域ｅ５乃至ｅ８、ｅ１７乃至ｅ２０のずれ量はＪ２である（Ｊ２＞Ｊ１）。領域ｅ１乃至ｅ４、ｅ２１乃至ｅ２４のずれ量はＪ３である（Ｊ３＞Ｊ２）。

【0119】

ここで、所定量がＪ２であるとき、領域ｅ１乃至ｅ８、及び、ｅ１７乃至ｅ２４については、ずれ量が所定量Ｊ２以上であると判定される。他方、領域ｅ９乃至ｅ１６については、ずれ量が所定量Ｊ２以上であると判定されない。

【0120】

不要領域特定部２８は、ずれ量が所定量以上であると判定された領域を計算不要領域と特定する。

【0121】

上述した処理の結果、視差が所定値以下であること、および、ずれ量が所定量以上であることの少なくともいずれかの条件を満たす領域が、計算不要領域に特定される。

【0122】

＜ステップＳ１３＞ 勾配計算
勾配計算部２４は、障害物領域および計算不要領域のいずれにも特定されていない領域に関して、被写体の勾配θを計算する。他方、勾配計算部２４は、障害物領域および計算不要領域の少なくともいずれかに特定された領域に関しては、勾配の計算を省略する。

【0123】

＜ステップＳ１４＞ 急斜面領域の特定
急斜面領域特定部２５は、勾配計算部２４によって計算された勾配θに基づいて、急斜面領域を特定する。

【0124】

＜ステップＳ９＞ 合成画像生成
画像合成部２６は、合成画像を生成する。

【0125】

＜ステップＳ１０＞ 合成画像表示
表示部１８は、合成画像を表示する。

【0126】

このように、実施例２によっても、実施例１と同様に、特徴点を有しない道路または場所であっても、障害物および急斜面を検出できる。

【0127】

また、検出装置５は不要領域特定部２８を備え、不要領域特定部２８は計算不要領域を特定する。勾配計算部２４は計算不要領域に関する勾配の計算を省略する。よって、勾配計算部２４の処理負荷を一層軽減できる。

【0128】

不要領域特定部２８は、領域ｅにおける視差が所定値以下であるか否かを領域ごとに判定する。ここで、視差が所定値以下である領域には、視差が所定値より大きい領域に比べて、遠くに位置する被写体が投影されている。すなわち、この判定によって、比較的に遠くに位置する被写体が投影されている領域を的確に抽出できる。そして、このような領域を、不要領域特定部２８は計算不要領域と特定する。よって、勾配計算部２４は、比較的に近くに位置する被写体の勾配のみを効率よく計算できる。さらに、視差画像の原理上、被写体が画像センサ１１ａ、１１ｂから遠いほど、視差の精度が低下する。よって、比較的に近くに位置する被写体の勾配のみを計算することで、勾配の推定精度を高めることができる。

【0129】

また、不要領域特定部２８は、視差画像ＩＣの中心Ｋに対する領域ｅのずれ量が所定量以上であるか否かを領域ごとに判定する。ここで、ずれ量が所定量未満である領域には、光軸方向Ｚ（すなわち、車両１の進行方向）を中心とし、左右に広がる角度域内に位置する被写体（以下、「中央の被写体」という）が投影される。他方、ずれ量が所定量以上である領域には、上述の角度域の右外側、および、上述の角度域の左外側に位置する被写体および（以下、「外側の被写体」という）が投影される。すなわち、この判定によって、外側の被写体が投影されている領域を的確に抽出できる。そして、このような領域を、不要領域特定部２８は計算不要領域と特定する。よって、勾配計算部２４は、中央の被写体の勾配のみを効率よく計算できる。

【0130】

また、実施例２では、障害物領域特定部２３が視差画像ＩＣに含まれる全ての領域ｅに対して処理を行った後に、勾配計算部２４が処理を開始する。これにより、障害物領域特定部２３による処理の効率を高めることができる。また、実施例１において説明したステップＳ８の処理を省略できる。

【0131】

本発明は、上記実施例のものに限らず、次のように変形実施することができる。

【0132】

（１）上述した各実施例では、障害物領域特定部２３は、障害物の判定の基礎として、最頻値の割合を使用したが、これに限られない。例えば、領域ｅｉに含まれる視差値の分布を、判定の基礎として用いてもよい。また、例えば、領域ｅｉに含まれる視差値の統計量を、判定の基礎として用いてもよい。

【0133】

（２）上述した各実施例では、勾配計算部２４は、光軸方向Ｚに対する被写体の勾配を求めたが、これに限られない。たとえば、Ｘ軸方向に対する被写体の勾配を求めてもよい。Ｘ軸方向は車両１の進行方向に直交する方向であり、Ｘ軸方向に対する被写体の勾配は横断勾配と呼ばれる。横断勾配を求めるとき、点群ＱをＸ−Ｙ平面に投影してもよい。これによれば、被写体の表面を、Ｘ−Ｙ平面に垂直な面とみなすことができ、横方向に対する被写体の勾配を簡易に求めることができる。また、横断勾配を求めるとき、領域ｅは、横方向に長いことが好ましい。これによれば、縦断勾配を精度よく求めることができる。

【0134】

また、例えば、勾配計算部２４は、任意の方向に対する被写体の勾配を求めてよい。この場合には、点群ＱをＹ−Ｚ平面等に投影することなく、最小二乗法によって点群Ｑに近似する平面の傾きを求める。そして、平面の傾きを、被写体の勾配とする。

【0135】

あるいは、勾配計算部２４は、縦断勾配と横断勾配をそれぞれ求めてもよい。

【0136】

（３）上述した各実施例では、勾配計算部２４は、最小二乗法によって直線Ｌを求めたが、これに限られない。例えば、勾配計算部２４は、予め、複数の候補直線を準備し、各点ｒからの距離が最も小さい１の候補直線を抽出し、抽出された後方直線の傾きを求めてよい。

【0137】

あるいは、勾配計算部２４は、ハフ変換を用いて、点群Ｒに近似する直線を求めてもよい。

【0138】

なお、上述した方法は、点群Ｒに近似した直線を求める場合のみならず、点群Ｑに近似した平面を求めるときにも、使用することができる。

【0139】

（４）上述した実施例２では、障害物領域特定部２３は全ての領域ｅについて障害物の判定を行ったが、これに限られない。例えば、障害物領域特定部２３による処理に先立って、不要領域特定部２８が視差画像ＩＣに含まれる領域の中から計算不要領域を選別する。続いて、障害物領域特定部２３は、計算不要領域ではない領域のみについて障害物の判定を行う。すなわち、障害物領域特定部２３は計算不要領域に対する処理を省略する。よって、障害物領域特定部２３の処理負荷を軽減できる。

【0140】

（５）上述した実施例２では、２種類の条件の少なくともいずれかに合致する領域を計算不要領域と特定したが、これに限られない。例えば、１種類の条件に合致する領域を計算不要領域と特定してもよい。具体的には、不要領域特定部２８は、領域内の視差が所定値以下である領域のみを計算不要領域と特定してもよい。あるいは、不要領域特定部２８は、領域のずれ量が所定量以上である領域のみを計算不要領域と特定してもよい。

【0141】

（６）上述した実施例２では、領域ｅの中心と視差画像ＩＣの中心Ｋとが横方向ｕにずれている量を、ずれ量としたが、これに限られない。たとえば、領域ｅの中心を、領域ｅを代表する適宜な位置に変更してもよい。また、視差画像ＩＣの中心Ｋを、視差画像ＩＣの横方向ｕの長さと縦方向ｖの長さによって定義してもよい。視差画像ＩＣの画像面と光軸Ｚとが交わる位置と定義してもよい。

【0142】

（７）上述した各実施例では、検出装置５は、２台の画像センサ１１ａ、１１ｂを備えていたが、これに限られない。たとえば、検出装置５は、３台以上の画像センサを備えてもよい。あるいは、検出装置５は、画像センサを省略してもよい。この場合であっても、検出装置５は、外部装置から受け取った画像に基づいて障害物および急斜面を検出できる。

【0143】

（８）上述した各実施例では、合成画像ＩＤは、障害物領域および急斜面領域を基準画像ＩＡに重ねたが、これに限られない。例えば、参照画像ＩＢに障害物領域および急斜面領域を重ねた合成画像に変更してもよい。

【0144】

（９）上述した各実施例では、枠Ｆ１、Ｆ２によって、障害物領域および急斜面領域を示したが、これに限られない。例えば、任意の図形や線によって、障害物領域および急斜面領域を示してもよい。

【0145】

（１０）上述した各実施例では、障害物／急斜面までの距離に関する情報Ｈ１／Ｈ２は、文字情報（数字）であったが、これに限られない。例えば、情報Ｈ１／Ｈ２は、色情報であってもよい。例えば、障害物／急斜面までの距離に応じて、枠Ｆ１、Ｆ２の色を変えてもよい。

【0146】

（１１）上述した各実施例では、領域区画部２２によって区画される領域ｅを例示したが、これに限られない。領域ｅの大きさ、形状等は、適宜に変更することができる。

【0147】

（１２）上述した各実施例において、車両１は、自律走行車または無人走行車であってもよい。車両１が自律走行車や無人走行車であっても、車両１は適切に走行できる。また、車両１は、搭乗者の操縦に応じて走行してもよい。また、車両１は、ゴルフカートに限られない。種々の用途の車両に変更してもよい。例えば、農園内を走行するための車両であってもよい。

【符号の説明】

【0148】

１ … 車両
１１ａ、１１ｂ … 画像センサ
５ … 検出装置
１３、１４ … 画像処理部
１７ … 記憶部
１８ … 表示部
２１ … 視差画像生成部
２２ … 領域区画部
２３ … 障害物領域特定部
２４ … 勾配計算部
２５ … 急斜面領域特定部
２６ … 画像合成部
２８ … 不要領域特定部
Ｇ … 路面
Ｏ … 障害物
ＯＷ … 壁面
ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６ … 視差（視差値）
ｅ … 領域
ｐ … 画素
ｑ … ３次元空間上の点
Ｑ … 点群
ｒ … Ｙ−Ｚ平面に投影した点
Ｒ … Ｙ−Ｚ平面に投影した点群
Ｌ … 直線
θ … 被写体の勾配
ＩＡ、ＩＢ … 画像
ＩＣ … 視差画像
ＩＤ … 合成画像
Ｆ１ … 障害物領域を示す枠
Ｆ２ … 急斜面領域を示す枠
Ｈ１ … 障害物までの距離に関する情報
Ｈ２ … 急斜面までの距離に関する情報
Ｋ … 視差画像の中心
Ｊ１、Ｊ２、Ｊ３ … ずれ量

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】