特許 6066048 障害物検出装置及びそれを用いた車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6066048

(24)【登録日】2017年1月6日

(45)【発行日】2017年1月25日

(54)【発明の名称】障害物検出装置及びそれを用いた車両

(51)【国際特許分類】

   G06T 1/00 20060101AFI20170116BHJP

   H04N 7/18 20060101ALI20170116BHJP

   G08G 1/16 20060101ALI20170116BHJP

   B60R 21/00 20060101ALI20170116BHJP

【ＦＩ】

   G06T1/00 330A

   G06T1/00 315

   H04N7/18 J

   G08G1/16 C

   B60R21/00 624C

   B60R21/00 626C

   B60R21/00 627

【請求項の数】7

【全頁数】15

(21)【出願番号】特願2012-230811(P2012-230811)

(22)【出願日】2012年10月18日

(65)【公開番号】特開2014-81871(P2014-81871A)

(43)【公開日】2014年5月8日

【審査請求日】2015年5月12日

(73)【特許権者】

【識別番号】000010076

【氏名又は名称】ヤマハ発動機株式会社

(74)【代理人】

【識別番号】100093056

【弁理士】

【氏名又は名称】杉谷 勉

(74)【代理人】

【識別番号】100142930

【弁理士】

【氏名又は名称】戸高 弘幸

(74)【代理人】

【識別番号】100175020

【弁理士】

【氏名又は名称】杉谷 知彦

(74)【代理人】

【識別番号】100180596

【弁理士】

【氏名又は名称】栗原 要

(72)【発明者】

【氏名】赤坂 貴志

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２００２−１０４１１７（ＪＰ，Ａ）

【文献】 特開２００７−１７４１１３（ＪＰ，Ａ）

【文献】 特開平０４−２５３２８６（ＪＰ，Ａ）

【文献】 特許第２９４４８１４（ＪＰ，Ｂ２）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｂ６０Ｒ ２１／００

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

前方の画像を取得する複数の画像センサと、
取得された各画像センサの原画像、または、前記原画像に画像補正が処理された補正画像を基に視差画像を作成する視差画像作成部と、
前記視差画像において視差不連続部分を特定する視差不連続部分特定部と、
前記原画像または前記補正画像のエッジを特定するエッジ特定部と、
前記視差不連続部分かつ前記エッジである視差不連続エッジ部分を特定する視差不連続エッジ部分特定部と、
前記視差不連続エッジ部分を基に障害物の判定をする障害物判定部と
を備えた障害物検出装置。

【請求項2】

請求項１に記載の障害物検出装置において、
前記視差不連続部分特定部は、
前記視差画像の画素の視差が前記画素から予め定められた領域内にある別の画素の視差と予め定められた値以上の差がある前記画素を視差不連続部分として特定する
障害物検出装置。

【請求項3】

請求項１に記載の障害物検出装置において、
前記視差不連続部分を中心として、前記視差不連続部分を縦または横方向に一定の画素数分拡張する視差不連続部分拡張部を備え、
前記視差不連続エッジ部分特定部は、拡張された視差不連続部分と前記エッジとの重複部分を視差不連続エッジ部分と特定する
障害物検出装置。

【請求項4】

請求項１から３のいずれか１つに記載の障害物検出装置において、
前記原画像に画像補正を実施して前記補正画像を作成する画像補正部を備え、
前記画像補正部は、
複数の画像センサ間の輝度を補正する処理、レンズ歪みを補正する処理、および、エッジを強調する処理のうち少なくとも１つの処理を実施する
障害物検出装置。

【請求項5】

請求項１から４のいずれか１つに記載の障害物検出装置を備えた車両。

【請求項6】

請求項５に記載の車両において、
前記車両は誘導線路上を自律走行する車両。

【請求項7】

請求項６に記載の車両において、
前記障害物検出装置の障害物の判定に応じて、警報の出力、減速、または、停止する車両。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像センサにより走路上の障害物を検出する障害物検出装置及びそれを備えた車両に関する。

【背景技術】

【0002】

従来、ゴルフ場内の走路を走行するゴルフカートには自動走行機能を有しているものがある。自動走行は電磁誘導線から発生する磁界を検出することで行われる。また、ゴルフカートの前面に超音波センサを設けて、ゴルフカート前方の障害物を検出する障害物検出装置を備えるものもある。超音波センサにより障害物が検出されると、ゴルフカートは減速または停止の制御が実施される。

【0003】

（１）特許文献１の技術
特許文献１に記載のゴルフカートには自律走行装置が搭載されている。これにより、走路上に設けられた誘導線に従って走路を自律走行することができる。

【0004】

（２）特許文献２の技術
特許文献２に記載の自動走行車両は、超音波センサまたは赤外線センサにより障害物までの距離を計測し、その距離に応じて障害物の有無を判定する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００７−９７２８２号公報

【特許文献2】特許第２９４４８１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

障害物検出において、障害物までの距離または障害物の高さを基準として障害物の有無を判定すると、上り坂を障害物であると誤って判定してしまう場合がある。障害物の誤検出により、ゴルフカートが減速または停止され、ゴルフカートの走行効率が悪くなる問題がある。

【0007】

本発明は、このような事情に鑑みてなされたものであって、上り坂を障害物と誤検出しない障害物検出装置及びそれを用いた車両を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明は次のような構成をとる。
すなわち、本発明に係る障害物検出装置は、前方の画像を取得する複数の画像センサと、取得された各画像センサの原画像、または、前記原画像に画像補正が処理された補正画像を基に視差画像を作成する視差画像作成部と、前記視差画像において視差不連続部分を特定する視差不連続部分特定部と、前記原画像または前記補正画像のエッジを特定するエッジ特定部と、前記視差不連続部分かつ前記エッジである視差不連続エッジ部分を特定する視差不連続エッジ部分特定部と、前記視差不連続エッジ部分を基に障害物の判定をする障害物判定部とを備える。

【0009】

本発明によれば、複数の画像センサが前方の画像をそれぞれ取得する。視差画像作成部は、取得された各画像センサの原画像、または、原画像に画像補正が処理された補正画像を基に視差画像を作成する。視差不連続部分特定部は、視差画像において視差不連続部分を特定する。障害物判定部は視差不連続部分を基に障害物の判定をする。このように、障害物の有無の判定を、障害物までの距離または障害物の高さを基準とするのではなく、視差画像の視差の連続性を基準として実施する。すなわち、視差画像における視差不連続部分を障害物として判定するので、上り坂のように視差が連続する対象物を障害物として検出することがない。また、上り坂に障害物がある場合でも、障害物だけを障害物として判定することができる。

【0010】

また、前記視差不連続部分特定部は、前記視差画像の画素の視差が前記画素から予め定められた領域内にある別の画素の視差と予め定められた値以上の差がある前記画素を視差不連続部分として特定することが好ましい。

【0011】

視差不連続部分特定部は、視差画像内のある注目画素において、注目画素の視差が注目画素から予め定められた領域内にある別の画素の視差と予め定められた値以上の差があるこの注目画素を視差不連続部分として特定する。これにより、視差不連続部分の特定精度が向上する。

【0012】

また、前記原画像または前記補正画像のエッジを特定するエッジ特定部と、前記視差不連続部分かつ前記エッジである視差不連続エッジ部分を特定する視差不連続エッジ部分特定部とを備え、前記障害物判定部は、前記視差不連続エッジ部分を基に障害物を判定することが好ましい。

【0013】

障害物の輪郭部分は視差の不連続部分であるとともにエッジであることが多い。そこで、エッジ特定部により、原画像または補正画像のエッジを特定し、視差不連続エッジ部分特定部により、視差不連続エッジ部分を特定する。特定された視差不連続エッジ部分を基に障害物と判定することで、障害物の検出精度をさらに向上させることができる。

【0014】

また、前記視差不連続部分を中心として、前記視差不連続部分を縦または横方向に一定の画素数分拡張する視差不連続部分拡張部を備え、前記視差不連続エッジ部分特定部は、拡張された視差不連続部分と前記エッジとの重複部分を視差不連続エッジ部分と特定する
ことが好ましい。

【0015】

視差画像の作成をウィンドウを用いて作成する場合、ウィンドウ幅により視差画像のエッジが原画像または補正画像のエッジとズレる場合がある。視差不連続部分拡張部により、視差の不連続部分がある一定の画素数の分だけ縦または横方向に拡張される。これにより、視差不連続エッジ部分特定部は、視差不連続部分とエッジとの重複部分を特定しやすくなり、視差不連続エッジ部分の特定精度が向上する。

【0016】

また、前記原画像に画像補正を実施して前記補正画像を作成する画像補正部を備え、前記画像補正部は、複数の画像センサ間の輝度を補正する処理、レンズ歪みを補正する処理、および、エッジを強調する処理のうち少なくとも１つの処理を実施することが好ましい。

【0017】

画像補正部により、複数の画像センサ間の輝度を補正する処理、または、レンズ歪みを補正する処理、または、エッジを強調する処理のうち少なくとも１つの処理を実施することで、各画像センサの固有特性に起因する画像の特性を平均化することができる。各画像センサの個体差を低減することにより、各画像を基に作成する視差画像の精度を向上させることができるので、視差不連続部分を精度良く検出することができる。

【0018】

また、本発明に係る車両は、上記障害物検出装置を備えた車両である。上記障害物検出装置を備えることで、上り坂を障害物として誤検出することを防止することができる。これにより、車両の走行効率を向上させることができる。

【0019】

また、前記車両は、誘導線路上を自律走行する車両でもよい。誘導線路上を自律走行する車両であれば、無人で走行することができる。本車両によれば、無人走行中に上り坂を障害物と誤検出することを防止して、効率的に走行することができる。

【0020】

また、前記車両は、前記障害物検出装置の障害物の判定に応じて、警報の出力、減速、または、停止することが好ましい。障害物の判定に応じて車両から警報が出力されるか、車両が減速または停止するので、障害物との衝突の回避行動を実施することができる。

【発明の効果】

【0021】

本発明によれば、障害物までの距離および障害物の高さを基準とするのではなく、視差画像の視差の連続性を基準として障害物の有無を判定する。すなわち、視差画像の視差不連続部分を障害物と判定するので、上り坂のように視差が連続する対象物を障害物として検出することがない。また、上り坂に障害物がある場合でも、上り坂と障害物との視差不連続性により、障害物だけを障害物として検出することができる。このように、上り坂を障害物と誤検出しない障害物検出装置及びそれを用いた車両を提供することができる。

【図面の簡単な説明】

【0022】

【図1】実施例１に係る車両の前面図である。

【図2】実施例１に係る車両の構成を示すブロック図である。

【図3】実施例１に係る障害物検出装置の構成を示すブロック図である。

【図4】実施例１に係る視差不連続部分を特定する画素領域を説明する説明図である。

【図5】実施例１に係る障害物検出の流れを示すフローチャートである。

【図6】補正された原画像を示す説明図である。

【図7】図６の視差画像を示す説明図である。

【図8】視差不連続部分を示す説明図である。

【図9】補正された原画像を示す説明図である。

【図10】図９の視差画像を示す説明図である。

【図11】実施例２に係る障害物検出装置の構成を示すブロック図である。

【図12】実施例２に係る障害物検出の流れを示すフローチャートである。

【図13】実施例２に係る視差不連続部分を拡張した画像を示す説明図である。

【図14】変形例に係る障害物検出装置の構成を示すブロック図である。

【発明を実施するための形態】

【実施例1】

【0023】

以下、図面を参照して本発明の実施例１を説明する。本発明における車両の実施形態として、自律走行するゴルフカートを挙げる。なお、以下の説明で、前後および左右とは車両１の前進する方向を基準としている。

【0024】

１．車両の概略構成
図１および図２を参照する。図１は、実施例に係る車両１の前面図であり、図２は車両１の構成を示す機能ブロック図である。車両１はゴルフ場内を自動または手動走行するゴルフカートである。車両１は、走路に埋め込まれた誘導線から発せられる電磁波に誘導されて自律走行することができる。車両１の前面中央部に２個の画像センサ３ａ、３ｂで構成されるステレオカメラ３が設けられている。なお、ステレオカメラ３は、２個以上の画像センサで構成されてもよい。左画像センサ３ａ、右画像センサ３ｂの一例として可視光カメラが挙げられる。左画像センサ３ａおよび右画像センサ３ｂはそれぞれ平行ステレオの位置関係で配置されている。左画像センサ３ａを基準カメラとし、左画像センサ３ａで撮影された画像を基準画像とする。

【0025】

また、車両１には、車両１が走行する走路上の障害物を検出する障害物検出装置５と、車両１が誘導線に沿って自律走行するのを制御する自律走行制御部６と、障害物検出装置５が障害物を検出すると運転者および周囲に警告を発生する警告出力部７と、障害物の検出により減速または停止の制御をする走行速度制御部９と、車輪を駆動し、走行速度制御部９により回転数が制御される駆動モータ１１とが設けられている。本実施例において、車両１はモータで駆動されるがこれに限らず、エンジンにより駆動されてもよい。

【0026】

２．障害物検出装置の構成
次に図３を参照して車両１に備えられた障害物検出装置５の構成を説明する。図３は、障害物検出装置の構成を示すブロック図である。障害物は障害物の周囲の物体よりも車両１側に面として切り立っているので、視差に不連続が生じる。この性質を利用して障害物を検出する。

【0027】

障害物検出装置５は、車両１の前方の画像を撮影するステレオカメラ３と、ステレオカメラ３により撮影された画像に種々の補正を実施する画像補正部１３と、ステレオカメラ３により撮影された画像を基に視差画像を作成する視差画像作成部１７と、視差画像を基に視差不連続部分を特定する視差不連続部分特定部１９と、障害物の有無を判定する障害物判定部２３とを備える。画像補正部１３、視差画像作成部１７、視差不連続部分特定部１９、および、障害物判定部２３はマイクロプロセッサとメモリとで構成される。次にそれぞれの構成部について順に説明する。

【0028】

画像補正部１３は、ステレオカメラ３から送られる画像、すなわち、画像センサ３ａ、３ｂから送られる画像をそれぞれ画像処理する。画像処理として、例えば、レンズの口径色等を原因とする複数の画像センサ間の輝度バラツキを補正する輝度補正処理や、各画像センサのレンズの歪みを補正する歪曲収差補正処理や、撮影した画像のエッジを強調するエッジ強調処理が挙げられる。画像補正部１３では、これらの画像処理の少なくとも１つが実施される。補正された各画像はそれぞれ視差画像作成部１７へ出力される。

【0029】

視差画像作成部１７は、入力される各画像から視差画像を作成する。本実施例では、左画像センサ３ａで撮影された画像を左眼画像として、右画像センサ３ｂで撮影された画像を右眼画像として、それぞれの補正画像を基に、視差画像を作成する。視差画像は例えば、ステレオマッチング等で作成することができる。ステレオマッチングとして面積相関法を用いる。面積相関法は、注目画素を中心に一定の大きさのウィンドウ単位で各画像の一致度を計算し、最も一致度が高くなるようにステレオマッチングする。さらに、一致度が最も高い状態における注目画素の視差を算出する。ここでの視差は複数画像間の画素のズレ量を示す。実施例１において、視差は、左眼画像に対する右眼画像の画素のズレ量である。

【0030】

算出された視差ｄは、予め定められたズレ量ごとに、視差ｄ（０）、ｄ（１）、ｄ（２）、…、ｄ（ｎ）と（ｎ＋１）段階に分けられる。ここで、ｎは自然数である。視差ｄ（０）が最も視差が小さく、視差ｄ（ｎ）が最も視差が大きい。すなわち、２つの自然数ｉおよびｊがｉ＜ｊの場合、ｄ（ｉ）＜ｄ（ｊ）となる。なお、画素のズレ量をそのまま視差ｄ（ｎ）としてもよい。このように、視差画像作成部１７は、各画素ごとに視差ｄの情報を有する視差画像を作成し、作成した視差画像を視差不連続部分特定部１９へ出力する。

【0031】

視差不連続部分特定部１９は、入力された視差画像を基に視差の不連続部分を特定する。すなわち、視差画像上において、視差の不連続部分の画素の座標を特定する。さらに、特定した視差不連続部分の画素座標情報を出力する。視差の不連続部分の特定方法として例えば以下の方法が挙げられ、図４を参照して説明する。図４は視差画像Ｄｐの一部拡大図である。

【0032】

視差画像Ｄｐ上のある注目画素Ｐ（ｕ，ｖ）の視差がｄ（ｋ）の場合、この注目画素Ｐ（ｕ，ｖ）から予め定められた領域内にある別の画素のいずれかの視差ｄ（ｘ）が以下の条件を満たすときに、この注目画素Ｐ（ｕ，ｖ）は視差が不連続な画素と特定する。
ｄ（ｋ＋ｍ）≦ｄ（ｘ） または ｄ（ｘ）≦ｄ（ｋ−ｍ）…（１）

【0033】

また、注目画素Ｐ（ｕ，ｖ）から予め定められた領域内にある別の画素として、本実施例では、注目画素Ｐ（ｕ，ｖ）の水平方向および鉛直方向に接する４つの画素Ｐ（ｕ−１，ｖ）、Ｐ（ｕ＋１，ｖ）、Ｐ（ｕ，ｖ−１）、Ｐ（ｕ，ｖ＋１）とする。

【0034】

すなわち、注目画素Ｐ（ｕ，ｖ）と、これに水平方向および鉛直方向に接する４つの画素Ｐ（ｕ−１，ｖ）、Ｐ（ｕ＋１，ｖ）、Ｐ（ｕ，ｖ−１）、Ｐ（ｕ，ｖ＋１）との視差の差がｍ段階以上ある場合は、注目画素Ｐ（ｕ，ｖ）を視差が不連続な画素と特定する。視差の差が（ｍ−１）段階以内である場合は、注目画素Ｐ（ｕ，ｖ）を視差が連続な画素とする。

【0035】

（１）式を満たさない場合、注目画素Ｐ（ｕ，ｖ）が示す地点では実空間上、面がつながっているものとみなすことができる。（１）式を満たす場合、注目画素Ｐ（ｕ，ｖ）が示す地点を境に、実空間上で少なくとも２つの違う面が存在するものと判断することができる。ここで、ｍは自然数であるが、ｍの値は２以上の値にすることが好ましい。

【0036】

なお、注目画素Ｐ（ｕ，ｖ）と視差が比較される画素は、水平方向および鉛直方向に接する４つの画素Ｐ（ｕ−１，ｖ）、Ｐ（ｕ＋１，ｖ）、Ｐ（ｕ，ｖ−１）、Ｐ（ｕ，ｖ＋１）以外の注目画素Ｐ（ｕ，ｖ）の近傍の画素であってもよい。例えば、上記４つの画素に加えて、Ｐ（ｕ−１，ｖ＋１）、Ｐ（ｕ−１，ｖ−１）、Ｐ（ｕ＋１，ｖ＋１）、Ｐ（ｕ＋１，ｖ−１）の４つの画素を加えた合計８画素と比較してもよい。

【0037】

なお、視差不連続部分の特定において、視差画像上の全ての画素を注目画素として視差不連続部分を特定してもよいが、視差の値の信頼性の低い部分は、特定の範囲から除外することが好ましい。視差の値の信頼性の低い部分として、例えば、視差画像の端部など、ウィンドウサイズの対象領域が設定されない画素が挙げられる。

【0038】

障害物判定部２３は、視差不連続部分が特定された視差画像上の予め定められた範囲内において、視差不連続部分特定部１９が特定した視差不連続部分の画素数をカウントする。このカウント数が予め定められた閾値を越えた場合に、その範囲に障害物が存在すると判定する。視差不連続部分の画素のカウント数が予め定められた閾値に満たない場合、その範囲に障害物は無いと判定する。視差不連続部分が特定された視差画像上の予め定められた範囲は、車両が走行するであろうと予測される範囲であり、少なくとも１つ以上設けられることが好ましい。

【0039】

次に、実施例１における障害物検出の動作を図５〜図８を用いて説明する。図５は障害物検出の処理手順を示すフローチャートであり、図６は補正された原画像を示す説明図であり、図７は図６の視差画像を示す説明図であり、図８は視差不連続部分を示す説明図である。

【0040】

車両１の前面に設けられたステレオカメラ３により複数の画像が撮影される（ステップＳ０１）。すなわち、左画像センサ３ａおよび右画像センサ３ｂにより車両１前方の画像が取得される。左画像センサ３ａにより撮影された左眼画像、および、右画像センサ３ｂにより撮影された右眼画像は、画像補正部１３にて種々の画像補正がされる（ステップＳ０２）。左画像センサ３ａにより撮影され、画像補正としてエッジ強調された画像が図６である。

【0041】

次に、視差画像作成部１７により、補正された左眼画像、および、補正された右眼画像を基に、視差画像を作成する（ステップＳ０３）。図６の視差画像Ｄｐが図７に示されている。図７で示される視差領域ｄａ〜ｄｇは、各画素の視差ｄを基にそれぞれ同じ視差段階に分けられた領域である。例えば、視差領域ｄａ内の各画素の視差は連続である。視差領域ｄａと視差領域ｄｂとでは、視差の段階が１段階異なる。視差領域ｄａと視差領域ｄｃとでは、視差の段階が２段階異なる。なお、無地で示されている視差領域ｄｇは視差がゼロの領域を示している。視差画像Ｄｐ上で視差領域ｄａは最も視差が大きい領域であり、視差領域ｄｇが最も視差が小さい領域である。

【0042】

次に、視差不連続部分特定部１９により、入力された視差画像を基に視差の不連続部分を特定する。（ステップＳ０４）。図７の視差画像Ｄｐを基に特定された視差不連続部分Ｐｄが図８に示されている。視差不連続部分Ｐｄは図７において、視差が２段階異なる各視差領域ｄａ〜ｄｇの境界線である。

【0043】

次に、障害物判定部２３により、視差不連続部分Ｐｄが特定された視差画像Ｄｐ’上で予め定められた範囲Ｐｃ（ｕ１＜ｕ＜ｕ２，ｖ１＜ｖ＜ｖ２、ｕ１、ｕ２、ｖ１、ｖ２は予め決められた数値）内において、視差不連続部分の画素数がカウントされる。このカウントされた視差不連続部分Ｐｄの画素数と予め定められた閾値と比較され、障害物の有無が判定される（ステップＳ０５）。視差不連続部分Ｐｄの画素数が閾値以上の場合、障害物が有ると判定され、視差不連続部分Ｐｄの画素数が閾値未満の場合、障害物は無いと判定される。

【0044】

なお、障害物が存在するとの判定に応じて、スピーカ等で構成される警告出力部７から操縦者および周囲に対して警報を発する。また、障害物が存在するとの判定に応じて、走行速度制御部９が減速または停止の制御を実施し、駆動モータ１１の回転が制動され、車両１が減速または停止する。

【0045】

次に、上り坂を撮影した場合を説明する。図９はエッジ強調の補正された上り坂の画像である。この画像の視差画像Ｄｐｕが図１０である。図１０で示されている視差領域ｄａ〜ｄｆは、各画素の視差ｄを基にそれぞれ同じ視差段階に分けられた領域である。例えば、視差領域ｄａ内の各画素の視差は連続である。視差領域ｄａと視差領域ｄｂとでは、視差の段階が１段階異なる。視差領域ｄａと視差領域ｄｃとでは、視差の段階が２段階異なる。

【0046】

図１０における上り坂の視差画像Ｄｐｕにおいて、２段階異なる視差領域の境界が無い。これにより、障害物判定部２３において、水平および鉛直方向に視差が連続していると判定され、上り坂が障害物と判定されることがない。

【0047】

このように、実施例１によれば、障害物までの距離または障害物の高さを基準とするのではなく、視差画像の視差の連続性を基準として障害物の有無を判定する。すなわち、視差画像の視差不連続部分を障害物と判定するので、上り坂のように視差が連続する対象物を障害物と検出することがない。また、上り坂に障害物がある場合でも、障害物だけを障害物として判定することができる。

【0048】

また、視差不連続部分特定部１９は、視差画像Ｄｐ内のある注目画素Ｐ（ｕ，ｖ）において、注目画素Ｐ（ｕ，ｖ）の視差が注目画素から予め定められた領域内にある別の画素Ｐ（ｕ−１，ｖ）、Ｐ（ｕ＋１，ｖ）、Ｐ（ｕ，ｖ−１）、Ｐ（ｕ，ｖ＋１）の視差と予め定められた値以上の差がある注目画素を視差不連続部分Ｐｄとして特定する。これにより、視差不連続部分の特定精度が向上する。

【0049】

また、画像補正部１３により、複数の画像センサ３ａ、３ｂ間の輝度を補正する処理、または、レンズ歪みを補正する処理、または、エッジを強調する処理のうち少なくとも１つの処理を実施することで、各画像センサ３ａ、３ｂの固有特性に起因する画像の特性を平均化することができる。画像センサ３ａ、３ｂの個体差を低減することにより、撮影された各画像を基に作成する視差画像の精度を向上することができ、視差不連続部分を精度良く検出することができる。

【実施例2】

【0050】

次に、図１１を参照して実施例２に係る障害物検出装置について説明する。図１１は、実施例２に係る障害物検出装置５’の構成を示すブロック図である。図１１において、実施例１に示した符号と同一の符号で示した部分は、実施例１と同様の構成であるのでここでの説明は省略する。また、以下に記載した以外の車両１の構成は実施例１と同様である。

【0051】

実施例１では、視差不連続部分特定部１９により特定された視差不連続部分を基に、障害物の有無を判定している。障害物の輪郭部分は視差の不連続部分であるとともにエッジであることが多いので、実施例２では、視差不連続部分と、原画像の補正画像のエッジとが重なる部分を基に障害物の判定を実施する。

【0052】

障害物検出装置５’は、ステレオカメラ３と、画像補正部１３と、基準カメラの画像のエッジを特定するエッジ特定部１５と、視差画像作成部１７と、視差不連続部分特定部１９と、視差不連続部分を拡張する視差不連続部分拡張部２０と、視差不連続部分かつエッジである視差不連続エッジ部分を特定する視差不連続エッジ部分特定部２１と、障害物の有無を判定する障害物判定部２３’とを備える。画像補正部１３、視差画像作成部１７、エッジ特定部１５、視差不連続部分特定部１９、視差不連続部分拡張部２０、視差不連続エッジ部分特定部２１および障害物判定部２３’はマイクロプロセッサとメモリとで構成される。

【0053】

実施例２における画像補正部１３は、基準画像の補正した画像をエッジ特定部１５にも出力する。エッジ特定部１５は、入力される画像のエッジを特定する。本実施例では、左画像センサ３ａで撮影されて補正された画像のエッジを特定する。エッジの特定として、ソーベル（ＳＯＢＥＬ）フィルタを実施して、予め定められた一定値以上の値または絶対値を有する画素をエッジと特定する。また、実施するフィルタはソーベルフィルタ以外のエッジ強調フィルタでもよい。なお、画像補正部１３にてエッジ強調の補正処理を実施する場合は、エッジ強調された補正画像を２値化処理にてエッジを特定してもよい。

【0054】

視差不連続部分拡張部２０は、視差不連続部分特定部１９から入力された視差不連続部分の画素座標情報を基に、視差不連続部分を拡大する。本来、被写体のそれぞれの面の境目で視差の不連続が起こるべきであるが、ステレオマッチングを面積相関法で実施した場合、そのウィンドウサイズに由来して、実際よりも視差の不連続部分の場所がずれて検出されることがある。

【0055】

そこで、視差不連続部分に含まれる各画素を中心に、視差不連続部分をウィンドウサイズ分拡張する。例えば、ステレオマッチングの際に、３×３画素の大きさのウィンドウを用いた場合、視差不連続部分の画素を中心として左右両方向に１画素分拡張することで、視差不連続部分における１画素を、この画素を含めて水平方向に３画素分の大きさに拡張する。拡張の方向は、水平方向に限らず、鉛直方向に拡大してもよいし、水平方向および鉛直方向の両方向に拡張してもよい。

【0056】

視差不連続エッジ部分特定部２１は、視差が不連続、かつ、エッジである画素を特定する。視差不連続部分拡張部２０により拡張された視差不連続部分とエッジ特定部１５により特定されたエッジとの重なる画素領域、すなわち、論理積（ＡＮＤ）を視差不連続エッジ部分とする。なお、ステレオマッチングを面積相関法等のフィルタを用いないで実施した場合は、単純に視差不連続部分特定部１９により特定された視差不連続部分とエッジが特定された画像との論理積を取ってもよい。

【0057】

障害物判定部２３’は、視差画像上の予め定められた範囲内において、視差不連続エッジ部分特定部２１が特定した視差不連続エッジ部分の画素をカウントし、予め定められた閾値を越えた場合に、その範囲に障害物が存在すると判定する。視差不連続エッジ部分の画素のカウント数が予め定められた閾値に満たない場合、その範囲に障害物は無いと判定する。すなわち、障害物判定部２３’と実施例１における障害物判定部２３との違いは、視差不連続エッジ部分を基に障害物を判定するか、視差不連続部分を基に障害物を判定するかの違いである。

【0058】

次に、実施例２における障害物検出の動作を図１２を用いて説明する。図１２は実施例２における障害物検出の処理手順を示すフローチャートである。実施例２における障害物検出の動作において、実施例１の動作と同じ動作については説明を省略し、実施例１における動作との違いを説明する。

【0059】

画像撮影（ステップＳ０１）、撮影画像補正（ステップＳ０２）、視差画像作成（ステップＳ０３）、および、視差不連続部分特定（ステップＳ０４）に関しては、実施例１と同様の処理をするので説明を省略する。

【0060】

次に、実施例２では、特定された視差不連続部分を拡張する（ステップＳ０６）。視差不連続部分に含まれる各画素を中心に、視差不連続部分を水平方向または鉛直方向の少なくともいずれかの方向に拡張する。視差不連続部分の拡張方向は、ステレオマッチングのフィルタリングの方向に拡張することが好ましい。図８における視差不連続部分Ｐｄを水平方向に拡張した視差不連続部分Ｐｄｅが図１３に示される。

【0061】

また、視差画像作成（ステップＳ０３）から視差不連続部分拡張（ステップＳ０６）と並行して、エッジ特定部１５により基準画像の補正画像のエッジを特定する（ステップＳ１１）。次に、視差不連続部分エッジ特定部２１により、視差不連続部分かつエッジである部分を特定する（ステップＳ０７）。次に、障害物判定部２３’により、視差不連続エッジ部分の画素のカウント数が、予め定められた閾値以上の場合、障害物が有ると判定され、閾値未満の場合、障害物が無いと判定される。障害物が有る場合、車両１は実施例１と同様に制御される。

【0062】

障害物の輪郭部分は視差の不連続部分であるとともにエッジであることが多い。そこで、エッジ特定部１５により補正画像のエッジを特定し、視差不連続エッジ部分特定部２１により、視差不連続エッジ部分を特定する。特定された視差不連続エッジ部分を基に障害物と判定することで、障害物の検出精度をさらに向上させることができる。

【0063】

また、ウィンドウを用いてステレオマッチングする場合、エッジの小さい部分はステレオマッチングにおいて誤対応することがある。これは、ウィンドウ幅により視差画像のエッジと補正画像のエッジとがズレる場合があるからである。そこで、視差の不連続部分をある一定の画素数の分だけ縦または横方向に拡張することで、視差画像のエッジと補正画像のエッジとのズレを補正することができる。これにより、視差画像上のエッジに対応する視差不連続部分と補正画像上のエッジとの重複部分を特定しやすくなり、視差不連続エッジ部分の特定精度が向上する。この結果、障害物の検出精度をさらに向上させることができる。

【0064】

本発明は、上記実施例のものに限らず、次のように変形実施することができる。

【0065】

（１）上記実施例において、障害物検出装置５、５’は、画像補正部１３を備えていたが、これに限られず、例えば図１４に示すように画像補正部１３を省略してもよい。図１４は、実施例１において画像補正部１３を省略した構成を示すブロック図である。画像補正部１３を省略することで、ステレオカメラ３で撮影した画像を直接、視差画像作成部１７へ出力する。障害物検出装置５、５’は画像補正部１３を備えることで障害物検出の精度を向上させることができるが、画像補正部１３を備えないことで障害物検出の時間を短縮することができる。実施例２においても、画像補正部１３を省略することで、ステレオカメラ３で撮影した画像を直接視差画像作成部１７およびエッジ特定部１５へ出力してもよい。

【0066】

（２）上記実施例において、左画像センサ３ａで撮影された画像を基準画像として障害物の検出をしていたが、これに限られない。右画像センサ３ｂで撮影された画像を基準画像として障害物の検出をしてもよいし、左画像センサ３ａで撮影された画像および右画像センサ３ｂで撮影された画像それぞれを基準画像として２種類の視差画像を作成して障害物を検出してもよい。左右両画像センサの画像をそれぞれ基準カメラとする場合、左基準画像と右基準画像とでそれぞれ得られる視差画像のそれぞれの対応点での視差の値が異なる画素について、画素の視差の値の信頼性が低いと判定し、視差不連続の特定の対象から除外してもよい。これにより、視差不連続部分の特定の精度が向上する。

【0067】

（３）上記実施例１において、障害物判定部２３は、視差不連続部分Ｐｄが特定された視差画像Ｄｐ’上で、視差不連続部分Ｐｄの画素数をカウントして障害物の有無を判定していた。しかしながら、これに限らず、実空間上で、視差不連続部分Ｐｄの対応する画素数をカウントして障害物の有無を判定してもよい。すなわち、特定された視差不連続部分Ｐｄの各画素の実空間上の座標Ｒｐ（Ｘｐ，Ｙｐ，Ｚｐ）を算出する。視差画像から実空間上の座標を算出する方法は、従来から利用されている平行ステレオ法を用いる。すなわち、２台の撮像センサ３ａ、３ｂ間の距離、および、２台の撮像センサ３ａ、３ｂの焦点距離と視差画像の視差情報を用いることで、視差不連続部分Ｐｄの各画素に対応する実空間上の３次元座標を算出することができる。なお、実空間上の三次元座標（Ｘ，Ｙ，Ｚ）は、基準カメラである左画像センサ３ａの焦点を原点として、水平方向にＸ軸、鉛直方向にＹ軸、距離方向にＺ軸を設定している。

【0068】

また、車両の走行に障害となると予想される実空間座標の範囲Ｒｓ（Ｘ１＜Ｘ＜Ｘ２，Ｙ１＜Ｙ＜Ｙ２，Ｚ１＜Ｚ＜Ｚ２）を１つ以上予め設定しておき、その範囲に含まれる視差不連続部分Ｐｄの実空間上の画素数をカウントし、予め定められた閾値を越えた場合に、その空間内に障害物が有ると判定する。閾値以下の場合は、その空間内に障害物は無いと判定する。この構成によれば、予め定められた空間Ｒｓを複数個設定すれば、空間Ｒｓごとに障害物の有り無しを判定することができるので、判定された障害物の位置関係をも検出することができる。特に、複数の障害物が検出された場合、障害物間の位置関係を検出することもできる。

【0069】

なお、実施例２においても同様に、障害物判定部２３’は、実空間上で、視差不連続エッジ部分の対応する画素数をカウントして障害物の有無を判定してもよい。すなわち、特定された視差不連続エッジ部分の各画素の実空間上の座標Ｒｑ（Ｘｑ，Ｙｑ，Ｚｑ）を算出する。また、実空間座標の範囲Ｒｓを１つ以上予め設定しておき、その範囲に含まれる視差不連続エッジ部分の実空間上の画素数をカウントし、予め定められた閾値を越えた場合に、その空間内に障害物が有ると判定する。閾値以下の場合は、その空間内に障害物は無いと判定する。

【0070】

（４）上記実施例において、障害物検出装置５、５’は車両に備えられた障害物検出装置として備えられたがこれに限られない。他にも、例えば、自律走行するロボット用のビジョンシステムや視覚障害者の支援システムなどに採用してもよい。

【符号の説明】

【0071】

１ … 車両
３ … ステレオカメラ
３ａ、３ｂ …可視光カメラ
５、５’ … 障害物検出装置
１３ … 画像補正部
１５ … エッジ特定部
１７ … 視差画像作成部
１９ … 視差不連続部分特定部
２０ … 視差不連続部分拡張部
２１ … 視差不連続エッジ部分特定部
２３ … 障害物判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】