特許 7071102 車外環境認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-10

(45)【発行日】2022-05-18

(54)【発明の名称】車外環境認識装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220511BHJP

   G08G 1/16 20060101ALI20220511BHJP

【ＦＩ】

G06T7/00 650B

G08G1/16 C

【請求項の数】 3

(21)【出願番号】P 2017228038

(22)【出願日】2017-11-28

(65)【公開番号】P2019101470

(43)【公開日】2019-06-24

【審査請求日】2020-10-06

【前置審査】

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110000936

【氏名又は名称】特許業務法人青海特許事務所

(72)【発明者】

【氏名】野村 直樹

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０１８－０４８９２１（ＪＰ，Ａ）

【文献】特開２０１７－０５４３１１（ＪＰ，Ａ）

【文献】特開平０５－２６５５４７（ＪＰ，Ａ）

【文献】特開２０１７－０２７２７９（ＪＰ，Ａ）

【文献】特開２００７－２８８４６０（ＪＰ，Ａ）

【文献】特開２０１０－０９７５４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／００

Ｂ６０Ｒ ２１／００

(57)【特許請求の範囲】

【請求項1】

コンピュータが、
画像における、歩行者または二輪車である部分画像を特定する候補特定部と、
前記部分画像について、前記画像の横方向に並んだ複数の縦領域ごとに、距離の代表値を特定する代表特定部と、
複数の前記縦領域における前記代表値のバラつきに基づいて、前記部分画像が前記歩行者か前記二輪車かを判定する判定部
として機能する車外環境認識装置。

【請求項2】

前記判定部は、前記代表値のバラつきの指標値が所定の閾値を超えていると、前記部分画像が前記二輪車であると判定する請求項１に記載の車外環境認識装置。

【請求項3】

前記コンピュータが、
前記二輪車までの推定距離を、前記二輪車と判定される前よりも減少させる補正部としてさらに機能する請求項１または２に記載の車外環境認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両前方の立体物を特定する車外環境認識装置に関する。

【背景技術】

【0002】

従来、撮像装置によって撮像された画像に基づいて、自車両前方に位置する車両、二輪車、歩行者などの立体物を特定する技術が知られている（例えば、特許文献１、２）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１９５０１８号公報

【文献】特開２０１０－０９７５４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記の撮像装置が二輪車を前方や後方から捉えると、二輪車の車輪などの特徴部分が判別し難い。そのため、特許文献１、２の技術を以てしても、二輪車と歩行者を識別することが困難な場合があった。そのため、二輪車と歩行者の識別の精度を向上する技術の開発が望まれている。

【0005】

本発明は、このような課題に鑑み、二輪車と歩行者の識別精度を向上することが可能な車外環境認識装置を提供することを目的としている。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の車外環境認識装置は、コンピュータが、画像における、歩行者または二輪車である部分画像を特定する候補特定部と、部分画像について、画像の横方向に並んだ複数の縦領域ごとに、距離の代表値を特定する代表特定部と、複数の縦領域における代表値のバラつきに基づいて、部分画像が歩行者か二輪車かを判定する判定部として機能する。

【0007】

判定部は、代表値のバラつきの指標値が所定の閾値を超えていると、部分画像が二輪車であると判定してもよい。

【0008】

コンピュータが、二輪車までの推定距離を、二輪車と判定される前よりも減少させる補正部としてさらに機能してもよい。

【発明の効果】

【0010】

本発明によれば、二輪車と歩行者の識別精度を向上することが可能となる。

【図面の簡単な説明】

【0011】

【図1】車外環境認識システムの接続関係を示したブロック図である。

【図2】輝度画像と距離画像を説明するための説明図である。

【図3】車外環境認識装置の概略的な機能を示した機能ブロック図である。

【図4】車外環境認識処理の流れを示すフローチャートである。

【図5】歩行者および二輪車の違いを説明するための図である。

【発明を実施するための形態】

【0012】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0013】

（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

【0014】

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像（カラー画像やモノクロ画像）を生成することができる。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、撮像装置１１０によって認識する立体物は、二輪車（自転車など）、歩行者（人）、車両、信号機、道路（進行路）、道路標識、ガードレール、建物といった独立して存在する物のみならず、歩行者の頭部や肩部等、その一部として特定できる物も含む。

【0015】

また、車外環境認識装置１２０は、２つの撮像装置１１０それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック（例えば、水平４画素×垂直４画素の配列）に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて、視差、および、任意のブロックの画面内の位置を示す画面位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。車外環境認識装置１２０は、このようなブロック単位の視差導出処理を、検出領域（例えば、６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

【0016】

ただし、車外環境認識装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体物の一部であるかを認識できない。したがって、視差情報は、立体物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を対応付けた画像を、上述した輝度画像と区別して距離画像という。

【0017】

図２は、輝度画像１２６と距離画像１２８を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２４について図２（ａ）のような輝度画像１２６が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２６の一方のみを模式的に示している。車外環境認識装置１２０は、このような輝度画像１２６からブロック毎の視差を求め、図２（ｂ）のような距離画像（画像）１２８を形成する。距離画像１２８における各ブロックには、そのブロックの視差が関連付けられている。図２では、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

【0018】

また、車外環境認識装置１２０は、輝度画像１２６に基づく輝度値（カラー値）、および、距離画像１２８に基づいて算出された、自車両１との相対距離（距離）を含む実空間における三次元の位置情報を用い、カラー値が等しく三次元の位置情報が近いブロック同士を立体物としてグループ化して、自車両１前方の検出領域における立体物が何であるか（例えば、歩行者など）を特定する。また、車外環境認識装置１２０は、このように立体物を特定すると、立体物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように自車両１を制御する（クルーズコントロール）。なお、上記相対距離は、距離画像１２８におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、立体物の視差からその立体物の撮像装置１１０に対する相対距離を導出する方法である。

【0019】

図１に戻り説明すると、車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

【0020】

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態において特徴的な自車両１前方の検出領域における立体物（例えば、歩行者および二輪車）の特定処理について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

【0021】

（車外環境認識装置１２０）
図３は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

【0022】

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。

【0023】

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、立体物領域特定部１６０、候補特定部１６２、代表特定部１６４、候補判定部１６６、距離補正部１６８としても機能する。以下、本実施形態に特徴的な歩行者および二輪車を認識する車外環境認識処理について、当該中央制御部１５４の各機能部の動作も踏まえて詳述する。

【0024】

（車外環境認識処理）
図４は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、まず、立体物領域特定部１６０が、輝度画像１２６や距離画像１２８において立体物が含まれる（写った）立体物領域を特定する立体物領域特定処理（Ｓ２００）が実行される。そして、候補特定部１６２が、歩行者または二輪車の立体物が含まれる立体物領域（部分画像）を特定する候補特定処理（Ｓ２０２）が実行される。歩行者または二輪車の立体物が含まれる立体物領域が特定されると、代表特定部１６４が後述の代表値を特定する代表値特定処理（Ｓ２０４）が行われた後、候補判定部（判定部）１６６が、立体物が二輪車であるか否かを判定する候補判定処理（Ｓ２０６）が実行され、最後に、距離補正部（補正部）１６８が、相対距離を補正する補正処理（Ｓ２０８）が実行される。なお、車外環境認識処理は、輝度画像１２６や距離画像１２８が取得されたフレーム毎に繰り返し実行される。

【0025】

（立体物領域特定処理Ｓ２００）
立体物領域特定部１６０は、上述のように、輝度画像１２６および距離画像１２８の検出領域において、グループ化により立体物を特定する。立体物領域特定部１６０は、輝度画像１２６および距離画像１２８のうち、特定された立体物が含まれる（写った）立体物領域（部分画像）を抽出する。

【0026】

（候補特定処理Ｓ２０２）
続いて、候補特定部１６２は、抽出された立体物領域に基づいて、特定された立体物が何であるかを特定する。例えば、立体物としては、上記のように、二輪車、歩行者（人）、車両、信号機、道路（進行路）、道路標識、ガードレール、建物、歩行者の頭部や肩部等の種別が含まれる。各種別には予め設定条件が設けられており、特定された立体物は、立体物領域が設定条件に合致すると、対応する種別と判定される。

【0027】

ここで、歩行者と二輪車については、識別が難しい場合がある。例えば、撮像装置１１０に対して、人が乗った二輪車が正面または背面を向けていると、識別が難しい。二輪車の特徴である車輪が、例えば、黒い棒状の物体となって輪郭が識別され難い。その上、二輪車上方に位置する人の上半身は、歩行者のものと区別がつかない。ここでは、二輪車は、例えば、前輪、後輪がそれぞれ一輪（一対）のものをいう。

【0028】

そのため、候補特定部１６２は、立体物を、歩行者であるか二輪車であるかについては識別せず、「歩行者または二輪車」という種別として特定する。候補特定部１６２は、「歩行者または二輪車」を、例えば、立体物の輪郭形状、大きさ、移動速度などによって特定する。

【0029】

（代表値特定処理Ｓ２０４）
図５は、歩行者および二輪車の違いを説明するための図である。図５には、距離画像１２８のうち、２つの領域Ａ、Ｂが抽出して示される。領域Ａ内には、歩行者が含まれる部分画像３００が位置し、領域Ｂ内には、二輪車が含まれる部分画像３０２が位置する。また、領域Ａ、Ｂそれぞれの下に相対距離の代表値のイメージ図３０４、３０６が示される。

【0030】

図５に示すように、部分画像３０２では、二輪車が背面を向いており、上記のように、後輪３０８が識別され難い。そのため、候補特定部１６２は、部分画像３００、３０２双方について、立体物が「歩行者または二輪車」であると判定する。

【0031】

ただし、立体物は、歩行者か二輪車かを特定可能な場合がある。例えば、移動速度が閾値以上であって、歩行者ではあり得ない場合は、二輪車と特定される。このような場合、候補特定部１６２は、以下の代表特定部１６４、候補判定部１６６の処理を行わずに、歩行者か二輪車かを特定する。

【0032】

続いて代表特定部１６４は、部分画像３００、３０２について、距離画像１２８の横方向に並んだ、画像（画面）の上下端に亘る縦長な複数の縦領域Ｓごとに、相対距離の代表値を特定する。具体的に、距離画像１２８は、距離画像１２８の横方向（水平方向）に分割された複数の縦領域Ｓに区分けされる。

【0033】

任意の縦領域Ｓについて、縦領域Ｓ内に含まれるすべてのブロックの相対距離の度数分布が生成される。度数分布では、例えば、所定距離ごとに区分けされた距離区分それぞれに属する相対距離を持ったブロックの数が度数として示される。ここで、同じ立体物を比較したとき、相対距離が近いほど、その立体物が距離画像１２８に占める面積が大きくなる。そこで、例えば、度数が最も高い距離区分の中心値が、その縦領域Ｓの相対距離の代表値とされる。これにより、自車両１に近い立体物の相対距離が代表値とされ易い。また、相対距離が近いブロックのノイズがあっても、その度数が高くなければ代表値への影響が回避される。

【0034】

ここでは、度数が最も高い距離区分の中心値が代表値である場合について説明した。しかし、例えば、度数が所定値以上となった距離区分のうち、自車両１に最も近い距離区分の中心値が、代表値であってもよい。また、代表値は、縦領域Ｓのブロックの相対距離を代表すればよく、例えば、縦領域Ｓにおける相対距離の平均値であってもよい。

【0035】

すべての縦領域Ｓについて、同様に代表値が特定される。イメージ図３０４、３０６に、縦領域Ｓの相対距離の代表値を、黒塗りの四角で示す。イメージ図３０４、３０６では、図中、上側ほど相対距離が遠いことを示す。

【0036】

相対距離の代表値は、上記のグループ化に用いられる。例えば、隣接する縦領域Ｓ同士を比較し、代表値が近接する縦領域Ｓがまとめられた縦領域群が生成される。この縦領域群の内部で、代表値に近い相対距離のブロックを基点として、近傍に位置するブロックについて、相対距離、水平距離、高さなどが所定範囲にあるブロックが、１つの立体物としてグループ化される。

【0037】

そのため、代表特定部１６４は、立体物領域特定部１６０のグループ化処理の前に、縦領域Ｓの代表値を特定する。立体物領域特定部１６０は、代表特定部１６４が特定した代表値を利用して、上記のようにグループ化処理を行う。

【0038】

ただし、代表値は、立体物領域特定部１６０によるグループ化処理に用いられなくともよい。この場合、代表特定部１６４は、例えば、部分画像３００、３０２のみを対象として、縦領域Ｓに区分けし、縦領域Ｓの代表値を特定してもよい。このとき、代表値は、例えば、部分画像３００、３０２のうち、下方の所定範囲のブロックにおける相対距離の平均値であってもよい。

【0039】

（候補判定処理Ｓ２０６）
候補判定部１６６は、複数の縦領域における代表値のバラつきに基づいて、部分画像３００、３０２が歩行者か二輪車かを判定する。イメージ図３０４に示すように、歩行者の部分画像３００が含まれる縦領域Ｓの相対距離の代表値は、バラつきが小さい。一方、イメージ図３０６に示すように、二輪車の部分画像３０２が含まれる縦領域Ｓの相対距離の代表値は、バラつきが大きい。これは、二輪車に乗っている人と比べて、二輪車の後輪３０８の相対距離が小さいためである。

【0040】

候補判定部１６６は、この特性を利用して歩行者と二輪車を識別する。候補判定部１６６は、代表値のバラつきの指標値が所定の閾値を超えていると、部分画像３０２が二輪車であると判定する。ここで、バラつきの指標値は、例えば、分散、標準偏差などの統計指標であってもいいし、単純に、代表値の最大値と最小値の差分であってもよい。いずれにしても、代表値のバラつきの程度が示されればよい。

【0041】

（補正処理Ｓ２０８）
上記のように、相対距離の代表値などにより、歩行者や二輪車などの立体物までの相対距離は推定されている。しかし、二輪車の車輪（背面の場合には後輪３０８、正面の場合には前輪）は、輪郭が識別され難い。また、一般的に、二輪車の車輪は、幅が狭いため、正確な視差情報が得られにくい。その結果、部分画像３０２における二輪車までの相対距離は、本来、後輪３０８の端部（自車両１側の端部）までの相対距離となるところ、例えば、二輪車に乗っている人の背中までの相対距離となってしまう。こうして、相対距離が実際よりも大きく導出されてしまう。

【0042】

すなわち、イメージ図３０６において、後輪３０８が含まれる縦領域Ｓの代表値は、実際の後輪３０８の端部よりも、自車両１から離れた値となっている。これでは、自車両１が二輪車との適切な距離を維持する制御の妨げとなってしまう。

【0043】

そこで、距離補正部１６８は、部分画像３０２が二輪車と判定されると、部分画像３０２に対応する二輪車までの相対距離の推定値（推定距離）を、減少させる補正を行う。すなわち、距離補正部１６８は、二輪車までの推定距離を、候補判定部１６６によって二輪車と判定される前の値（例えば、代表特定部１６４によって導出された値）よりも減少させる。具体的には、距離補正部１６８は、二輪車までの推定距離から、例えば、所定値（一例としては７０ｃｍなど）を減算する補正を行う。二輪車の車輪の大きさは大凡限られており、所定値は、そのうち、大きめの車輪に対応するように安全側に設定される。

【0044】

上述したように、本実施形態では、候補判定部１６６によって歩行者と二輪車が適切に識別可能となる。また、二輪車については、推定距離を減少させることで、自車両１と二輪車との適切な距離が維持可能となる。

【0045】

また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

【0046】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【0047】

例えば、上述した実施形態では、候補判定部１６６は、代表値のバラつきの指標値が所定の閾値を超えていると、部分画像３０２が二輪車であると判定する場合について説明した。ただし、代表値のバラつきに基づいて判定されていれば、指標値と閾値との比較処理は必須ではない。

【0048】

また、上述した実施形態では、車外環境認識装置１２０が距離補正部１６８としても機能する場合について説明した。ただし、距離補正部１６８は、必須の構成ではない。

【0049】

また、上述した実施形態では、車外環境認識装置１２０が候補特定部１６２、代表特定部１６４としても機能する場合について説明した。ただし、車外環境認識装置１２０が候補判定部１６６、距離補正部１６８として機能すれば、候補特定部１６２、代表特定部１６４として機能せずともよい。この場合、候補判定部１６６は、少なくとも部分画像３００、３０２が二輪車であるか否かを判定すればよい。二輪車の判定ロジックは、上記のものに限らず、任意のロジックが用いられればよい。

【0050】

なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

【産業上の利用可能性】

【0051】

本発明は、自車両前方の立体物を特定する車外環境認識装置に利用することができる。

【符号の説明】

【0052】

１２０ 車外環境認識装置
１２８ 距離画像（画像）
１６０ 立体物領域特定部
１６２ 候補特定部
１６４ 代表特定部
１６６ 候補判定部（判定部）
１６８ 距離補正部（補正部）
３００、３０２ 部分画像

【図1】

【図2】

【図3】

【図4】

【図5】