特許 6985872 車両の周辺監視装置と周辺監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6985872

(24)【登録日】2021年11月30日

(45)【発行日】2021年12月22日

(54)【発明の名称】車両の周辺監視装置と周辺監視方法

(51)【国際特許分類】

   G01C 3/00 20060101AFI20211213BHJP

   G01C 3/06 20060101ALI20211213BHJP

【ＦＩ】

   G01C3/00 120

   G01C3/06 110V

【請求項の数】3

【全頁数】9

(21)【出願番号】特願2017-183036(P2017-183036)

(22)【出願日】2017年9月22日

(65)【公開番号】特開2019-60610(P2019-60610A)

(43)【公開日】2019年4月18日

【審査請求日】2020年8月17日

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(72)【発明者】

【氏名】寺田 敏彦

(72)【発明者】

【氏名】内田 尚秀

(72)【発明者】

【氏名】石神 裕丈

(72)【発明者】

【氏名】伊藤 宏晃

【審査官】 續山 浩二

(56)【参考文献】

【文献】 特開２００２−３５９８３８（ＪＰ，Ａ）

【文献】 特開２０１３−２３９１７０（ＪＰ，Ａ）

【文献】 特開２０１０−０４４００９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００７／０１５４０６８（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ３／００

Ｇ０１Ｃ ３／０６

(57)【特許請求の範囲】

【請求項1】

対象物を異なる位置から撮影した複数の画像を取得する画像取得部（１００）と、
前記画像に基づいてサブピクセル推定を行って視差値を算出する視差算出部（１３２）と、
前記視差値の小数部であるＳの値が、閾値Ｘ１および閾値Ｘ２を用いて下記式（１）に示す所定範囲内となることを条件に、前記視差値に基づいて視差オフセット値を算出する視差オフセット算出部（１３０）と、
前記視差オフセット値を用いて前記視差値を補正する視差補正部（１５０）と、を備える車両の周辺監視装置（１０）。
Ｘ１≦Ｓ≦Ｘ２
０＜Ｘ１≦Ｘ２＜１ …（１）

【請求項2】

前記視差オフセット算出部は、
前記視差算出部で算出した視差値の小数部であるＳの値が上記式（１）をみたすＮ個の視差値について視差値の差分和と差分二乗和を算出し、
前記視差値の差分二乗和が閾値以下である場合に、前記視差値の差分和をＮで割った値を視差オフセット値として算出する請求項１に記載の周辺監視装置。

【請求項3】

対象物を異なる位置から撮影した複数の画像を取得する画像取得ステップ（Ｓ１０１）と、
前記画像に基づいてサブピクセル推定を行って視差値を算出する視差算出ステップ（Ｓ１０３）と、
前記視差値の小数部であるＳの値が、閾値Ｘ１および閾値Ｘ２を用いて上記式（１）に示す所定範囲内となることを条件に、前記視差値に基づいて視差オフセット値を算出する視差オフセット算出ステップ（Ｓ１０４〜Ｓ１１０）と、
前記視差オフセット値を用いて前記視差値を補正する視差補正ステップ（Ｓ１１１）と、を含む車両の周辺監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、２つの撮像装置により得られた２つの撮像画像に基づいて対象物の視差の値を算出して、車両の周辺を監視する周辺監視装置および周辺監視方法に関する。

【背景技術】

【0002】

ステレオカメラ等の２つの撮像装置により得られた２つの撮像画像に基づいて対象物の視差値を算出する技術として、特許文献１に記載されているようなステレオマッチング処理が知られている。ステレオマッチング処理とは、撮影位置が異なる２つの撮像画像の間で対応する画素を探索することにより、画素ごとの視差値を求める処理である。

【0003】

ステレオカメラの２つのカメラの光軸がずれている場合等に、撮像画像から算出される視差値に誤差（視差オフセット）が生じる場合がある。視差オフセットは、周辺監視装置が対象物の位置等を検出する際の誤差の原因となる。このため、例えば、特許文献１に記載されているように、視差オフセット値を算出し、これを用いて視差値を補正する技術が知られている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５２８０７６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ステレオ画像の分解能を補うために、サブピクセル推定によって画像の対応付けをサブピクセル単位で行う技術が知られている。サブピクセル推定の方法として、ピクセル単位で求めた一致度評価値を関数にフィッティングすることでサブピクセル単位の一致度評価値を内挿し、より細かい単位での対応を推定する方法が知られている。

【0006】

しかしながら、上記の方法でサブピクセル推定を行うと、ピクセルロッキングと呼ばれる系統的な推定誤差が発生する場合がある。ピクセルロッキングによる誤差は、視差値および視差オフセット値の誤差の原因となり、視差オフセット値を用いた視差の補正を適切に行うことが困難となる。その結果、周辺監視装置の誤作動が発生し、警告表示や車両制御系への指令が適切に実行されなくなる場合がある。

【0007】

本発明は、上記実情に鑑み、ピクセルロッキングに由来する視差オフセット値の算出誤差を抑制して適切に視差値の補正を行うことができる周辺監視装置および周辺監視方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明は、対象物を異なる位置から撮影した複数の画像を取得する画像取得部と、前記画像に基づいてサブピクセル推定を行って視差値を算出する視差算出部と、前記視差値の小数部であるＳの値が所定範囲内となることを条件に、前記視差値に基づいて視差オフセット値を算出する視差オフセット算出部と、前記視差オフセット値を用いて前記視差値を補正する視差補正部と、を備える車両の周辺監視装置を提供する。

【0009】

本発明の周辺監視装置によれば、視差オフセット算出部は、視差算出部で算出された視差値の小数部が所定範囲内となることを条件に視差オフセットを算出する。このため、視差算出部でサブピクセル推定を行うことによって、視差値の小数部であるＳの値に応じてピクセルロッキングが生じやすくなることを加味しつつ、視差オフセット値を算出することができ、視差補正の精度を向上させることができる。

【0010】

また、本発明は、上記の周辺監視装置によって実現可能な車両の周辺監視方法を提供する。この方法は、前記画像に基づいてサブピクセル推定を行って視差値を算出する視差算出ステップと、前記視差値の小数部であるＳの値が所定範囲内となることを条件に、前記視差値に基づいて視差オフセット値を算出する視差オフセットステップと、前記視差オフセット値を用いて前記視差値を補正する視差補正ステップと、を含む。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る周辺監視装置を示すブロック図。

【図2】距離検出装置の探査範囲についての説明図。

【図3】周辺監視装置が行う演算処理のフローチャート。

【図4】サブピクセル推定についての説明図。

【発明を実施するための形態】

【0012】

図１に示すように、本実施形態に係る周辺監視装置１０は、画像取得部１００と、距離取得部１１０と、視差オフセット算出部１３０と、視差補正部１５０と、を備えている。周辺監視装置１０は、Ａ／Ｄ変換回路、Ｉ／Ｏ、ＣＰＵ、ＲＡＭ、ＲＯＭ、画像メモリ等を含む電子制御ユニット（ＥＣＵ）であり、ＣＰＵは、予め格納されたプログラムを実行することによって、上記の各部の機能を実現する。ＣＰＵに替えて、またはＣＰＵとともに、デジタル処理回路を書き込んだＦＰＧＡ(Field-Programmable Gate Array)等を備えていてもよい。

【0013】

撮像装置２１、２２、距離検出装置２３から出力される信号は、デジタル信号に変換されて、周辺監視装置１０のＣＰＵに入力される。周辺監視装置１０は、入力信号に基づいて視差オフセット値を算出して画像を補正し、画像データや制御信号を報知装置１６１、表示装置１６２、運転制御装置１６３等の外部装置１６０に出力する。

【0014】

画像取得部１００は、１対の撮像装置２１、２２が撮影した画像を取得し、これによって対象物を異なる位置から撮影した複数の画像を取得することができる。撮像装置２１，２２は、ＣＣＤやＣＭＯＳセンサ、あるいは赤外線カメラ等のイメージセンサを内蔵したステレオカメラである。撮像装置２１、２２は、車両のルームミラーの背後に、車幅方向において所定の基線長で取り付けられている。撮像装置２１、２２は、通常の走行状態において車両前方の道路や先行車両等を含む周辺環境を撮影する。

【0015】

撮像装置２１は、基準画像Ｔｏを出力し、撮像装置２２は、参照画像Ｔｃを出力する。撮像装置２１及び撮像装置２２は、互いに同期が取れており、同一タイミングで周辺環境を撮影し、一対のアナログ画像Ｔｏ，Ｔｃを画像取得部１００へ出力する。

【0016】

画像取得部１００は、Ａ／Ｄ変換回路により、撮像装置２１，２２から入力された一対のアナログ画像Ｔｏ，Ｔｃを、それぞれ所定の輝度階調のデジタル画像に変換して、視差オフセット算出部１３０に出力する。

【0017】

距離取得部１２０は、距離検出装置２３が測定した対象物まで距離を取得する。距離検出装置２３は、探査波を送信して対象物からの反射波を受信することによって対象物までの距離を検出することができる装置であればよく、具体的には、車両の前方に電磁波（電波又は光）を送信し、その反射波を受信するレーザレーダ、超音波等の弾性振動波を用いるソナーレーダ等を例示することができる。本実施形態では、距離検出装置２３がレーザレーダである場合を例示して説明する。

【0018】

図２に示すように、距離検出装置２３は、車両１の前側のフロントグリル付近に取り付けられている。距離検出装置２３は、レーザダイオード等の発光素子、コリメートレンズ、集光レンズ、複数の受光素子、等を備えている。発光素子からのレーザ光は、コリメートレンズによっての探査範囲ＳＦの全体に一括して照射される。探査範囲ＳＦから到来する反射光は、集光レンズを介して複数の受光素子によって受光される。複数の受光素子は、図２に示すように、探査範囲ＳＦを水平面上で所定角度毎に分割した７つの分割領域Ａ１〜Ａ７毎に反射光を受光するように、車両の幅方向に間隔を開けて配置されている。なお、各受光素子による垂直方向の受光範囲は、略一定角度範囲となるように設定されている。

【0019】

距離検出装置２３は、分割領域Ａ１〜Ａ７毎に、車両１の前方に存在する対象物により反射された反射光の強度を測定する。距離検出装置２３は、測定した反射光の反射強度と、車両１から反射光の原因となった対象物までの距離Ｚとを視差オフセット算出部１３０に出力する。

【0020】

視差オフセット算出部１３０は、画像取得部１００から入力される複数の画像と、距離取得部１１０から入力される対象物までの距離とに基づいて視差オフセット値を算出する。図１に示すように、視差オフセット算出部１３０は、同一性判定部１３１と、視差算出部１３２と、オフセット算出部１３４とを備えている。

【0021】

図３に、周辺監視装置１０によって実施される周辺監視方法の一部を構成する、周辺監視装置１０が行う演算処理のフローチャートを示す。画像取得部１００および距離取得部１１０は、画像取得ステップ（ステップＳ１０１）および距離取得ステップ（ステップＳ１０１）をそれぞれ実行し、画像データと距離データとを取得して、視差オフセット算出部１３０に出力する。視差オフセット算出部１３０の同一性判定部１３１は、同一性判定ステップ（ステップＳ１０２）を実行し、画像取得部１００からの画像に撮影された対象物と、距離取得部１２０において距離を取得した対象物が同一であるか否かを判定する。具体的には、同一性判定部１３１は、取得した距離において対象物が１つのみ存在するデータ領域を抽出し、このデータ領域に対応する画像のデータ領域に対象物が１つのみ含まれている場合に、双方のデータにおける対象物が同一であると判定する。同一性判定部１３１において、双方のデータにおける対象物が同一でないと判定された場合には、視差オフセット算出部１３０における演算処理は終了する。すなわち、視差オフセット算出部１３０では、画像取得部１００から入力された画像に撮影された対象物と、距離取得部１１０から入力された距離を取得した対象物が同一であると判定されることを条件として、視差オフセット値Ｄの算出を行う。

【0022】

視差算出部１３２は、視差算出ステップ（Ｓ１０３）を実行し、同一性判定部１３１が同一であると判定した対象物について、画像取得部１００から取得したデジタル画像に基づく視差値ｄ１と、距離取得部１１０から取得した距離に基づく視差値ｄ２とを算出する。

【0023】

視差算出部１３２は、１対のデジタル画像についてステレオマッチング処理を行う際に、サブピクセル推定を行う。これによってサブピクセルの精度で視差値ｄ１を算出することができる。サブピクセル推定としては、例えば、等角直線法、パラボラフィッティング法、高次多項式を用いたフィッティング法等の方法を用いることができる。

【0024】

視差算出部１３２は、基準画像Ｔｏおよび参照画像Ｔｃを、所定の画素領域に分割する。そして、基準画像Ｔｏの各画素領域ＰＢｏごとに、参照画像Ｔｃ中においてその画素領域ＰＢｏに対応するエピポーララインＥＰＬを設定し、画素領域ＰＢｏと、エピポーララインＥＰＬ上に存在する参照画像Ｔｃ中の画素領域ＰＢｃの輝度パターンとを比較する。画素領域ＰＢｏと画素領域ＰＢｃの比較に際しては、例えば、ＳＡＤ(sum of absolute difference)、ＳＳＤ(Sum of Squared Difference)等の評価関数を用いることができる。また、マッチング手法としては、限定されないが、ＳＧＭ（Semi-Global Matching）法を好適に用いることができる。

【0025】

視差算出部１３２は、評価関数ｆ（ｄ）が最小となる変位ｄｍを算出し、さらに、サブピクセル推定を行って、サブピクセル単位で視差値ｄ１を算出する。サブピクセル推定の方法としてパラボラフィッティングを用いる場合を例示して説明する。視差算出部１３２は、評価関数ｆ（ｄ）が最小となる変位ｄｍ（整数値）を算出し、さらに、その前後の１画素に相当する変位ｄｍ−１、ｄｍ＋１を求める。そして、図４に示すように、変位ｄｍ−１、ｄｍ、ｄｍ＋１を放物線Ｑにフィッティングし、この放物線Ｑの頂点の変位であるサブピクセル推定値ｄｓｕｂを算出する。視差算出部１３２は、サブピクセル推定値ｄｓｕｂを視差値ｄ１として算出し、サブピクセル判定部１３３に出力する。

【0026】

また、視差算出部１３２は、距離取得部１１０から取得した距離に基づく視差値ｄ２を算出する。視差値ｄ２は、下記式（１）より算出することができる。下記式（１）において、Ｂは撮像装置２１，２２の基線長、Ｆは撮像装置２１，２２の焦点距離、Ｚは距離取得部１２０から入力される車両１から対象物までの距離、Ｏｃは車両１から撮像装置２１，２２までの距離を示す。視差算出部１３２は、算出した視差値ｄ２をオフセット算出部１３４に出力する。

【0027】

【数1】

【0028】

サブピクセル判定部１３３は、判定ステップ（ステップＳ１０４）を実行し、視差値ｄ１の小数部であるＳが、Ｘ１≦Ｓ≦Ｘ２の条件を満たしているか否かを判定する。ここで閾値Ｘ１、Ｘ２は、１未満の正の小数値であり、０＜Ｘ１≦Ｘ２＜１を満たしている。閾値Ｘ１、Ｘ２は、整数近傍を除く所定範囲に設定されることが好ましい。具体的には、閾値Ｘ１、Ｘ２は、ピクセルロッキングが最も小さくなるＳ＝０．５付近の領域を含む数値範囲でＳの値を規定可能な値に設定されることが好ましく、例えば、０＜Ｘ１≦０．５，０．５≦Ｘ２＜１の範囲で設定されることが好ましい。より具体的には、例えば、Ｘ１＝０．２５であり、Ｘ２＝０．７５であるように設定することによって、Ｓ＝０．５付近の領域を幅広く含む数値範囲でＳの値を規定することができる。ステップＳ１０４の条件を満たしている場合には、サブピクセル判定部１３３は、オフセット算出部１３４に視差値ｄ１を出力する。ステップＳ１０４の条件を満たしていない場合には、サブピクセル判定部１３３は、オフセット算出部１３４に視差値ｄ１を出力することなく、図３に示す演算処理を終了する。

【0029】

オフセット算出部１３４は、視差オフセット算出ステップ（ステップＳ１０５〜ステップＳ１１０）を実行し、下記式（２）（３）に基づいて、視差値ｄ１と視差値ｄ２の差分和と、差分二乗和とを算出する。下記式（２）（３）に示すｋの値はカウント数であり、差分和、差分二乗和において加算したデータ数を表している。オフセット算出部１３４は、カウント数ｋがｋ＝Ｎに達するまで、視差値ｄ１と視差値ｄ２の取得を継続する。すなわち、算出した回数のカウント数ｋをアップし（ステップＳ１０６）、カウント数ｋがｋ≧Ｎか否かを判定し（ステップＳ１０７）、ｋ＜Ｎの場合にはステップＳ１０１に戻る。

【0030】

【数2】

【0031】

ステップＳ１０７でカウント数ｋがｋ≧Ｎを満たす場合には、オフセット算出部１３４は、視差差分ｄ１−ｄ２の標準偏差σを算出する。標準偏差σは、上記式（３）の平方根に等しい。そして、オフセット算出部１３４は、標準偏差σが閾値Ｙ１以下であるか否かを判定する（ステップＳ１０８）。標準偏差σ≦Ｙ１の場合には、オフセット算出部１３４は、下記式（４）に基づいて、視差オフセット値Ｄを算出し（ステップＳ１１０）、視差補正部１５０に出力する。視差補正部１５０は、視差補正ステップ（ステップＳ１１１）を実行し、視差オフセット値Ｄを用いて視差値ｄ１を補正する。標準偏差σ＞Ｙ１の場合には、オフセット算出部１３４は、視差オフセット値Ｄを算出することなく、図３に示す演算処理を終了する。

【0032】

【数3】

【0033】

以上説明した本実施形態によれば、以下の効果を奏する。
視差オフセット算出部１３０は、サブピクセル判定部１３３を備えており、視差値ｄ１の小数部であるＳの値が所定範囲内となることを条件に、視差値ｄ１に基づいて視差オフセット値Ｄを算出する。このため、ピクセルロッキングに由来する視差オフセット値の算出誤差を抑制して適切に視差値の補正を行うことができる。閾値Ｘ１、Ｘ２は、整数近傍を除く所定範囲に設定されているため、ピクセルロッキングの原因となる整数近傍の視差値を用いることなく視差オフセット値を算出できる。

【0034】

サブピクセル判定部１３３は、視差値ｄ１の小数部であるＳが、０．２５≦Ｓ≦０．７５の条件を満たしていることを条件に、視差オフセット値Ｄの算出を許容する。このため、Ｓを規定するピクセルロッキングが最も小さくなるＳ＝０．５付近の領域を含む数値範囲でＳの値を規定でき、ピクセルロッキングに由来する視差オフセット値の算出誤差を効果的に抑制できる。

【0035】

視差オフセット算出部１３０は、視差オフセット値Ｄを算出する前にピクセルロッキングの原因となる視差値を除外しているため、正確な視差値のデータ数が減少する場合がある。従来のように、ピクセルロッキングの原因となる視差値を除外しない場合には、ピクセルロッキングの影響を低減させるために視差値のデータを多く取得して平均値を求める必要があり、多くの視差値データを必要とし、算出に時間が掛かる場合があった。

【0036】

視差オフセット算出部１３０は、ステップＳ１０５〜ステップＳ１０９に示すように、視差値ｄ１と視差値ｄ２の差分データをＮ個蓄積し、その標準偏差σを評価した上で、視差オフセット値Ｄを算出するため、より正確な視差オフセット値を算出できる。

【0037】

周辺監視装置１０は、探査波を用いて測定した距離Ｚに基づいて算出した視差オフセット値Ｄ１を用いて視差補正を行うため、精度よく視差補正を行うことができる。

【0038】

周辺監視装置１０は、複数の画像に撮影された対象物と、距離を取得した対象物が同一であるか否かを判定する同一性判定部１３１を備える。同一性判定部１３１において、同一であると判定された場合に、視差オフセット算出部１３０は、視差オフセット値Ｄ１を算出する。同一性判定部１３１によって上記の判定を行うことによって、視差オフセット値Ｄの信頼性を向上させることができる。

【0039】

なお、上記の実施形態では、距離検出装置、撮像装置等の計測装置と、報知装置、表示装置、運転制御装置等とを含まない周辺監視装置を例示して説明したが、これに限定されない。周辺監視装置は上記の装置等を含んでいてもよく、さらには、一体化されていてもよい。

【符号の説明】

【0040】

１０…周辺監視装置、１００…画像取得部、１３０…視差オフセット算出部、１３２…視差算出部、１５０…視差補正部

【図1】

【図2】

【図3】

【図4】