特許 6784943 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6784943

(24)【登録日】2020年10月28日

(45)【発行日】2020年11月18日

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20201109BHJP

   G06T 1/00 20060101ALI20201109BHJP

   G06T 7/00 20170101ALI20201109BHJP

   G01S 13/86 20060101ALI20201109BHJP

   G01S 13/931 20200101ALI20201109BHJP

【ＦＩ】

   G08G1/16 C

   G06T1/00 330A

   G06T7/00 650A

   G01S13/86

   G01S13/931

【請求項の数】11

【全頁数】21

(21)【出願番号】特願2017-543146(P2017-543146)

(86)(22)【出願日】2016年9月16日

(86)【国際出願番号】JP2016077431

(87)【国際公開番号】WO2017057058

(87)【国際公開日】20170406

【審査請求日】2019年8月22日

(31)【優先権主張番号】特願2015-194137(P2015-194137)

(32)【優先日】2015年9月30日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(72)【発明者】

【氏名】小柳津 秀紀

(72)【発明者】

【氏名】元山 琢人

(72)【発明者】

【氏名】周藤 泰広

(72)【発明者】

【氏名】山崎 寿夫

【審査官】 田中 将一

(56)【参考文献】

【文献】 特開２０１２−０４８６４３（ＪＰ，Ａ）

【文献】 特開２０１２−０３３１４９（ＪＰ，Ａ）

【文献】 特開２０１５−１４３９７９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ − ９９／００

Ｇ０１Ｓ ７／００ − ７／４２

Ｇ０１Ｓ １３／００ − １３／９５

Ｇ０６Ｔ ７／００ − ７／６０

(57)【特許請求の範囲】

【請求項1】

所定の撮像範囲が撮像された第１の画像における路面領域を推定する路面領域推定部と、
前記撮像範囲が撮像された第２の画像における無偏光領域を抽出する無偏光領域抽出部と、
前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定する低信頼度領域推定部と、
前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出する重み算出部と、
前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在確率を算出する存在確率算出部と
を備える情報処理装置。

【請求項2】

前記重み算出部は、前記低信頼度領域に対応する前記第１の信頼度を下げることで、前記重みを算出する
請求項１に記載の情報処理装置。

【請求項3】

前記第２のセンサにより得られる前記対象物において、前記路面領域における障害物の候補となる領域から路面とみなされる領域を除いた領域の距離情報を抽出する距離情報抽出部と、
前記路面とみなされる領域を除いた領域の距離情報を用いて、前記第２の信頼度を示す情報を生成する信頼度生成部とをさらに備える
請求項２に記載の情報処理装置。

【請求項4】

前記路面領域を示す情報に基づいて、前記障害物の候補を抽出する障害物候補抽出部をさらに備え、
前記距離情報抽出部は、前記障害物の候補となる領域の距離情報に基づいて、前記路面とみなされる領域を除いた領域の距離情報を抽出する
請求項３に記載の情報処理装置。

【請求項5】

前記第２の画像は、偏光カメラにより得られる３方向以上の偏光画像である
請求項４に記載の情報処理装置。

【請求項6】

前記第１の画像は、前記第２の画像と同一の画像である
請求項５に記載の情報処理装置。

【請求項7】

前記第１のセンサは、ミリ波レーダであり、
前記第２のセンサは、ステレオカメラである
請求項１に記載の情報処理装置。

【請求項8】

前記第１の信頼度は、前記ミリ波レーダの反射強度を含む
請求項７に記載の情報処理装置。

【請求項9】

前記第２の信頼度は、前記ステレオカメラにおけるステレオマッチングの相関値を含む
請求項７に記載の情報処理装置。

【請求項10】

所定の撮像範囲が撮像された第１の画像における路面領域を推定し、
前記撮像範囲が撮像された第２の画像における無偏光領域を抽出し、
前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定し、
前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出し、
前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在確率を算出する
ステップを含む情報処理方法。

【請求項11】

コンピュータに、
所定の撮像範囲が撮像された第１の画像における路面領域を推定し、
前記撮像範囲が撮像された第２の画像における無偏光領域を抽出し、
前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定し、
前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出し、
前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在確率を算出する
ステップを含む処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、誤認識の発生を抑制することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

ステレオカメラやミリ波レーダは、車載用の距離センサとして一般的に用いられている。しかしながら、ステレオカメラは暗所や遠距離で精度が落ちる、ミリ波レーダはトンネル内などでの多重反射に弱く、垂直方向の情報を取得できない、などの課題がある。

【0003】

これに対し、これら２つの距離センサから得られる情報をフュージョンすることで、互いに不得意な条件や範囲を補い合う技術が開示されている。

【0004】

例えば、特許文献１には、レーダとステレオカメラの距離情報を合成する際、物体との距離が遠い場合は、物体の横位置の精度を上げるためにレーダの情報の信頼度を上げ、距離が近い場合は、レーダの電波がその物体のどこで反射するかわからないのでステレオカメラの情報の信頼度を上げる技術が開示されている。

【0005】

また、特許文献２には、複数のセンサの出力に基づいて求めた立体物の存在確率を、センサの認識率に基づいて補正したり、走行環境に応じて重み付け可変するなどしてフュージョンすることが記載されている。

【0006】

さらに、特許文献３には、前走車を追尾するアダプティブクルーズコントロールにおいて、交差点やカーブなどで前走車がミリ波レーダの検出範囲から外れた場合の対策が示されている。具体的には、GPS（Global Positioning System）により、自車が交差点にいると判定された場合には、ミリ波レーダの信頼度を下げるとともに、ステレオカメラの信頼度を上げることが記載されている。これにより、適切な車間距離が保たれるようになる。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００８−１１６３５７号公報

【特許文献2】特開２００７−３１０７４１号公報

【特許文献3】特開平６−２３０１１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

上述したように、ミリ波レーダは、垂直方向の情報を取得できない。具体的には、ミリ波レーダは、上下方向の測定範囲を絞ることで、自車が衝突する可能性のない路面や高い所にある物体を検出しないようになされている。

【0009】

しかしながら、例えば、自車の前方にある上り坂の路面上に、マンホールやグレーチングなどの金属が埋め込まれている場合、ミリ波レーダのミリ波がその金属に反射してしまう。その結果、その金属が障害物として誤認識され、自動ブレーキが作動してしまう。

【0010】

これに対して、ステレオカメラによる距離推定においては、路面を推定することで、その金属が路面上の物体であるか否かを判定することができる。しかしながら、ミリ波レーダの情報とステレオカメラの情報のどちらが正しいかを決める手段が存在しないため、最終的に、そのような金属が障害物であると判断されるおそれがあった。

【0011】

本技術は、このような状況に鑑みてなされたものであり、誤認識の発生を抑制することができるようにするものである。

【課題を解決するための手段】

【0012】

本技術の一側面の情報処理装置は、所定の撮像範囲が撮像された第１の画像における路面領域を推定する路面領域推定部と、前記撮像範囲が撮像された第２の画像における無偏光領域を抽出する無偏光領域抽出部と、前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定する低信頼度領域推定部と、前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出する重み算出部と、前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在尤度を算出する存在尤度算出部とを備える。

【0013】

本技術の一側面の情報処理方法は、所定の撮像範囲が撮像された第１の画像における路面領域を推定し、前記撮像範囲が撮像された第２の画像における無偏光領域を抽出し、前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定し、前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出し、前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在尤度を算出するステップを含む。

【0014】

本技術の一側面のプログラムは、コンピュータに、所定の撮像範囲が撮像された第１の画像における路面領域を推定し、前記撮像範囲が撮像された第２の画像における無偏光領域を抽出し、前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定し、前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出し、前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在尤度を算出するステップを含む処理を実行させる。

【0015】

本技術の一側面においては、所定の撮像範囲が撮像された第１の画像における路面領域が推定され、撮像範囲が撮像された第２の画像における無偏光領域が抽出され、路面領域および無偏光領域を示す情報に基づいて、撮像範囲における第１のセンサの測定範囲内で、第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域が推定され、第１の信頼度、撮像範囲において第２のセンサにより得られる対象物の第２の信頼度、および低信頼度領域を示す情報に基づいて、第１の信頼度に対する重みが算出され、第１の信頼度、第２の信頼度、および重みを示す情報に基づいて、撮像範囲内での距離毎の対象物の存在尤度が算出される。

【発明の効果】

【0016】

本技術の一側面によれば、誤認識の発生を抑制することが可能となる。

【図面の簡単な説明】

【0017】

【図1】本実施の形態に係る距離推定装置の構成例を示すブロック図である。

【図2】撮像される風景について説明する図である。

【図3】距離推定処理について説明するフローチャートである。

【図4】距離推定処理について説明するフローチャートである。

【図5】ステレオカメラ距離画像の例を示す図である。

【図6】ステレオカメラ信頼度画像の例を示す図である。

【図7】ミリ波レーダデータマップの例を示す図である。

【図8】偏光角度の例を示す図である。

【図9】路面領域マップの例を示す図である。

【図10】無偏光領域マップの例を示す図である。

【図11】ミリ波レーダの測定範囲について説明する図である。

【図12】ミリ波レーダ低信頼度領域マップの例を示す図である。

【図13】路面対応ステレオカメラ距離画像の例を示す図である。

【図14】ステレオカメラ信頼度マップの例を示す図である。

【図15】ミリ波レーダデータマップにおける信頼度変更について説明する図である。

【図16】信頼度変更後のミリ波レーダデータマップの例を示す図である。

【図17】コンピュータの機能構成例を示すブロック図である。

【発明を実施するための形態】

【0018】

以下、本技術の実施の形態について図を参照して説明する。

【0019】

＜距離推定装置の構成例＞
図１は、本実施の形態に係る情報処理装置としての距離推定装置の構成例を示している。

【0020】

距離推定装置１１は、自動車などの車両に搭載され、いわゆる電子制御装置（ECU）などの一部として構成される。距離推定装置１１は、各種のセンサからの信号に基づいて、自車の前方を走行する前走車などの物体との距離を推定する。本実施の形態においては、ステレオカメラ１２、ミリ波レーダ１３、および偏光カメラ１４が、異なる検出特性を有する３種類のセンサとして車両に搭載される。

【0021】

ステレオカメラ１２は、固体撮像素子（CMOS（Complementary Metal Oxide Semiconductor））イメージセンサやCCD（Charge Coupled Device）イメージセンサ）を搭載する左右一対のカメラが所定の基線長で配設されて構成される。ステレオカメラ１２は、車外風景を異なる視点から撮像する。ステレオカメラ１２は、例えば、車室内のルームミラー上方に取り付けられ、車外風景を撮像して得られる右画像および左画像を距離推定装置１１に供給する。

【0022】

ミリ波レーダ１３は、ミリ波を用いて前方の物体を検出する。ミリ波レーダ１３は、例えば、車両前端部の車幅方向略中央に取付けられる。ミリ波レーダ１３は、ミリ波を自車から前方に向けて出射し、物体の後端部にて反射したミリ波を受信する。そして、ミリ波レーダ１３は、出射から受信までの時間を計測することによって自車の前端部から物体の後端部までの距離を計算する。ミリ波レーダ１３は、計算された距離を表す信号を、ミリ波レーダ画像として距離推定装置１１に供給する。

【0023】

偏光カメラ１４は、３方向以上の偏光フィルタを通った各画像を、距離推定装置１１に供給する。具体的には、偏光カメラ１４は、透過軸の異なる３以上の偏光子をユニット化したもの（偏光子ユニット）を複数組み合わせた偏光子アレイを有している。偏光子アレイは、入射される入力光のうち、各偏光子において入力光の無偏光成分を透過させるとともに、各偏光子によって偏光方向が異なる入力光の偏光成分を透過させる。これにより、偏光カメラ１４は、異なる偏光方向から構成される偏光画像を同時に取り込み、距離推定装置１１に供給する。

【0024】

なお、ステレオカメラ１２および偏光カメラ１４により得られる各画像の撮像範囲は基本的に同一とされ、ミリ波レーダにより得られる画像の撮像範囲は、ステレオカメラ１２および偏光カメラ１４により得られる各画像の撮像範囲より、上下方向に絞られた範囲とされる。

【0025】

次に、距離推定装置１１の詳細な構成について説明する。

【0026】

距離推定装置１１は、ステレオカメラ評価部５１、ミリ波レーダ評価部５２、偏光角度推定部５３、路面領域推定部５４、無偏光領域抽出部５５、低信頼度領域推定部５６、障害物候補抽出部５７、路面対応距離抽出部５８、画像−マップ変換部５９、重み算出部６０、および距離合成部６１を備える。

【0027】

ステレオカメラ評価部５１は、ステレオカメラ１２から供給される右画像および左画像に基づいて、ステレオカメラ距離画像とステレオカメラ信頼度画像とを生成する。ステレオカメラ評価部５１は、ステレオカメラ距離画像を路面対応距離抽出部５８に供給し、ステレオカメラ信頼度画像を画像−マップ変換部５９に供給する。ステレオカメラ距離画像およびステレオカメラ信頼度画像の詳細については後述する。

【0028】

ミリ波レーダ評価部５２は、ミリ波レーダ１３から供給されるミリ波レーダ画像に基づいて、ミリ波レーダデータマップを生成する。ミリ波レーダ評価部５２は、ミリ波レーダデータマップを重み算出部６０および距離合成部６１に供給する。ミリ波レーダデータマップの詳細については後述する。

【0029】

偏光角度推定部５３は、偏光カメラ１４から供給される偏光画像に基づいて、偏光画像における対象物の偏光角度を示す偏光角度マップを生成する。偏光角度推定部５３は、偏光角度マップを路面領域推定部５４に供給する。

【0030】

路面領域推定部５４は、偏光角度推定部５３から供給される偏光角度マップに基づいて、偏光画像における路面の領域（路面領域）を推定する。路面領域推定部５４は、偏光画像における路面領域を示す路面領域マップを、低信頼度領域推定部５６、障害物候補抽出部５７、および路面対応距離抽出部５８に供給する。

【0031】

無偏光領域抽出部５５は、偏光カメラ１４から供給される偏光画像に基づいて、偏光画像において偏光成分強度の変動が小さい画素領域を無偏光領域として抽出する。無偏光領域抽出部５５は、無偏光領域を示す無偏光領域マップを、低信頼度領域推定部５６に供給する。

【0032】

低信頼度領域推定部５６は、路面領域推定部５４から供給される路面領域マップと、無偏光領域抽出部５５から供給される無偏光領域マップとに基づいて、ミリ波レーダデータマップにおいて信頼度が低い低信頼度領域を推定する。低信頼度領域推定部５６は、低信頼度領域を示すミリ波レーダ低信頼度領域マップを、重み算出部６０に供給する。

【0033】

障害物候補抽出部５７は、路面領域推定部５４から供給される路面領域マップに基づいて、路面領域における障害物の候補となる領域を抽出する。障害物候補抽出部５７は、障害物の候補となる領域を示す路面内障害物候補領域マップを、路面対応距離抽出部５８に供給する。

【0034】

路面対応距離抽出部５８は、路面領域推定部５４から供給される路面領域マップと、障害物候補抽出部５７から供給される路面内障害物候補領域マップとに基づいて、ステレオカメラ評価部５１から供給されるステレオカメラ距離画像において、路面とみなされる領域を除いた領域の距離情報を抽出する。路面対応距離抽出部５８は、路面とみなされる領域を除いた領域の距離情報が抽出されたステレオカメラ距離画像を、路面対応ステレオカメラ距離画像として画像−マップ変換部５９に供給する。

【0035】

画像−マップ変換部５９は、ステレオカメラ評価部５１から供給されるステレオカメラ信頼度画像と、路面対応距離抽出部５８から供給される路面対応ステレオカメラ距離画像とに基づいて、ステレオカメラ信頼度マップを生成する。画像−マップ変換部５９は、ステレオカメラ信頼度マップを、重み算出部６０および距離合成部６１に供給する。

【0036】

重み算出部６０は、ミリ波レーダ評価部５２から供給されるミリ波レーダデータマップ、低信頼度領域推定部５６から供給されるミリ波レーダ低信頼度領域マップ、および、画像−マップ変換部５９から供給されるステレオカメラ信頼度マップに基づいて、ミリ波レーダデータマップに対する重みを算出する。重み算出部６０は、ミリ波レーダデータマップに対する重みを示すミリ波レーダ重みマップを、距離合成部６１に供給する。

【0037】

距離合成部６１は、ミリ波レーダ評価部５２から供給されるミリ波レーダデータマップ、画像−マップ変換部５９から供給されるステレオカメラ信頼度マップ、および、重み算出部６０から供給されるミリ波レーダ重みマップに基づいて、撮像範囲内での距離毎の対象物の存在尤度を算出する。距離合成部６１は、撮像範囲内での距離毎の対象物の存在尤度を示す存在尤度マップを出力する。

【0038】

＜距離推定処理について＞
次に、距離推定装置１１により実行される距離推定処理について説明する。なお、以下においては、図２に示される風景が、ステレオカメラ１２、ミリ波レーダ１３、および偏光カメラ１４により撮像されるものとする。

【0039】

図２においては、上り坂の路面１００上に、非金属障害物１１１、金属障害物１１２、金属製のマンホール１１３が存在している。また、路面１００の外側には、金属障害物１１４と樹木が存在している。従来の技術では、ミリ波レーダ１３のミリ波がマンホール１１３に反射してしまい、マンホール１１３が障害物として誤認識されるおそれがあった。

【0040】

図３および図４は、距離推定処理について説明するフローチャートである。

【0041】

ステップＳ１において、ステレオカメラ評価部５１は、ステレオカメラ１２から供給される右画像および左画像に基づいて、ステレオカメラ距離画像とステレオカメラ信頼度画像とを生成する。

【0042】

図５は、ステレオカメラ距離画像の例を示している。

【0043】

図５に示されるステレオカメラ距離画像１２０においては、黒色の濃い領域ほど、対応する対象物が遠距離にあることが示されている。

【0044】

図６は、ステレオカメラ信頼度画像の例を示している。

【0045】

ステレオカメラ信頼度画像は、ステレオカメラ１２による測距の信頼度を示す画像であり、画像中のエッジ部分やテクスチャ部分の値が大きくなる。ステレオカメラ信頼度画像の値は、例えば、ステレオカメラ１２におけるステレオマッチングの相関値に基づいて算出される。図６に示されるステレオカメラ信頼度画像１３０においては、黒い領域ほど信頼度の高い領域とされる。ステレオカメラを用いた距離推定においては、左右の画像の視差に基づいて距離が推定される。そのため、画像の平坦な部分や暗い部分などの信頼度は低く、画像のエッジの強い部分の信頼度は高くなる。

【0046】

なお、ステレオカメラ信頼度画像の値は、対象となる画像のコントラストやテクスチャの強度など、ステレオカメラの距離推定の信頼度を高めるものであれば、どのようなものからでも算出可能とされる。

【0047】

このようにして生成されたステレオカメラ距離画像は、路面対応距離抽出部５８に供給され、ステレオカメラ信頼度画像は、画像−マップ変換部５９に供給される。

【0048】

なお、ステレオカメラ１２に代えて、超音波センサやレーザレーダを設け、これらの出力に基づいて、ステレオカメラ距離画像およびステレオカメラ信頼度画像それぞれに代わる画像が生成されるようにしてもよい。

【0049】

図３のフローチャートに戻り、ステップＳ２において、ミリ波レーダ評価部５２は、ミリ波レーダ１３から供給されるミリ波レーダ画像に基づいて、ミリ波レーダデータマップを生成する。ミリ波レーダデータマップは、物体の位置およびミリ波の反射強度を示すものである。

【0050】

ミリ波レーダデータマップの値は、例えば、ミリ波レーダ１３の反射強度に基づいて算出される。ミリ波レーダにおいては、金属のような対象物からの反射波の反射強度が高く、それに基づいて計算された距離を表す信号は、信頼できることが多い。したがって、ミリ波レーダデータマップを用いることにより、路面やそれ以外の領域において、金属等のミリ波を多く反射する物体を検出することができる。

【0051】

図７は、ミリ波レーダデータマップの例を示している。

【0052】

図７に示されるミリ波レーダデータマップ１４０において、横軸（ｘ軸）は、図２における水平方向、縦軸（ｚ軸）は、図２における奥行き方向を示している。図７に示されるミリ波レーダデータマップ１４０においては、黒色の濃い領域ほど、対応する対象物の信頼度が高いことが示されている。

【0053】

すなわち、図７の例では、図２においてミリ波の反射強度が高い金属で構成される金属障害物１１２、マンホール１１３、および金属障害物１１４に対応する領域１４２，１４３，１４４の信頼度が最も高く、次に、非金属障害物１１１に対応する領域１４１の信頼度が高い。なお、図２における樹木に対応する領域の信頼度はそれほど高くない。

【0054】

このようにして生成されたミリ波レーダデータマップは、重み算出部６０および距離合成部６１に供給される。

【0055】

図３のフローチャートに戻り、ステップＳ３において、偏光角度推定部５３は、偏光カメラ１４から供給される偏光画像に基づいて、偏光角度マップを生成する。

【0056】

偏光角度推定部５３は、例えば、特許第４９７４５４３号公報に開示されている数学モデルを用いて、偏光画像から偏光成分強度と無偏光成分強度とを分離し、その数学モデルで示される偏光成分強度の位相から、偏光画像における対象物の偏光角度を推定する。

【0057】

図８は、偏光角度の例を示している。

【0058】

図８においては、図２における路面１００のｚ軸方向手前側に対応する部分において、矢印で示される偏光角度が一様となっており、路面１００のｚ軸方向奥側（上り坂）に対応する部分において、矢印で示される偏光角度が連続的に変化している。

【0059】

このようにして推定された偏光角度を示す偏光角度マップは、路面領域推定部５４に供給される。

【0060】

図３のフローチャートに戻り、ステップＳ４において、路面領域推定部５４は、偏光角度推定部５３から供給された偏光角度マップで示される偏光角度に基づいて、偏光画像における路面領域を推定する。

【0061】

具体的には、路面領域推定部５４は、偏光画像において、偏光角度マップで示される偏光角度が、所定の範囲にわたって一様となる箇所、または、連続的に変化する箇所を検出する。そして、路面領域推定部５４は、偏光画像において、検出された箇所を路面領域とした路面領域マップを生成する。路面領域マップは、路面領域とそれ以外の領域とを区別するようにしたものである。ここでは、偏光角度が略垂直となる領域、および、そのような領域と連続性を有する領域が路面領域となる。

【0062】

図９は、路面領域マップの例を示している。

【0063】

図９の路面領域マップ１７０においては、黒い領域が路面領域とされる。路面領域マップ１７０における黒い領域は、図２において、路面１００上から非金属障害物１１１、金属障害物１１２、およびマンホール１１３を除いた部分に対応する。

【0064】

このようにして生成された路面領域マップは、低信頼度領域推定部５６、障害物候補抽出部５７、および路面対応距離抽出部５８に供給される。

【0065】

なお、路面領域推定部５４は、偏光画像に基づいて路面領域を推定するものとしたが、例えば、ステレオカメラ１２によって得られる右画像および左画像に基づいて路面領域を推定するようにしてもよい。

【0066】

図３のフローチャートに戻り、ステップＳ５において、無偏光領域抽出部５５は、偏光カメラ１４から供給される偏光画像において無偏光領域を抽出することで、無偏光領域を示す無偏光領域マップを生成する。無偏光領域マップは、偏光カメラ１４により撮像された複数の偏光画像において、それぞれの位相画像が（ほぼ）同じとなる／みなせる領域を示すものである。言い換えると、無偏光領域マップは、偏光成分強度の変動が小さい画素領域を示すものである。

【0067】

図１０は、無偏光領域マップの例を示している。

【0068】

図１０に示される無偏光領域マップ１８０においては、図２において金属で構成される金属障害物１１２、マンホール１１３、および金属障害物１１４に対応する黒い領域が、無偏光領域とされる。無偏光の光が金属に照射されると、その反射光は無偏光の光となるため、無偏光領域は、金属に対応する領域であると推定することができる。

【0069】

このようにして生成された無偏光領域マップは、低信頼度領域推定部５６に供給される。

【0070】

なお、金属に対応する領域を推定する手法として、偏光画像において無偏光領域を抽出する以外の手法が用いられるようにしてもよい。

【0071】

図３のフローチャートに戻り、ステップＳ６において、低信頼度領域推定部５６は、路面領域推定部５４から供給される路面領域マップと、無偏光領域抽出部５５から供給される無偏光領域マップとに基づいて、ミリ波レーダデータマップにおける低信頼度領域を推定する。

【0072】

具体的には、低信頼度領域推定部５６は、路面領域マップおよび無偏光領域マップから、ミリ波レーダ１３の測定範囲内で、路面領域上にある無偏光領域を、低信頼度領域として抽出する。

【0073】

図１１は、ミリ波レーダ１３の測定範囲について説明する図である。

【0074】

図１１において、路面領域２００上には、非金属障害物１１１、金属障害物１１２、およびマンホール１１３それぞれに対応する領域２１１，２１２，２１３が存在する。また、路面領域２００外には、金属障害物１１４に対応する領域２１４が存在する。さらに、図１１の例では、ミリ波レーダ１３の測定範囲２２０が、破線の矩形枠で示されている。

【0075】

図１１の例において、路面領域２００上にある無偏光領域は、金属障害物１１２およびマンホール１１３それぞれに対応する領域２１２，２１３である。すなわち、領域２１２，２１３のうち、測定範囲２２０内に含まれる領域が、低信頼度領域となる。

【0076】

図１２は、ミリ波レーダ低信頼度領域マップの例を示している。ミリ波レーダ低信頼度領域マップは、ミリ波レーダデータマップにおける低信頼度領域を示すものである。この例では、ミリ波レーダ低信頼度領域マップにおいて、上述したように、無偏光領域マップで示される無偏光領域を金属領域とし、その金属領域を信頼度の低い領域とする。

【0077】

ミリ波レーダ１３の測定範囲２２０において低信頼度領域が存在する水平方向（ｘ軸方向）の位置では、ミリ波レーダ１３が、路面上の金属を障害物として誤認識している可能性がある。図１２に示されるミリ波レーダ低信頼度領域マップ２３０においては、図１１において測定範囲２２０内に含まれる路面上の無偏光領域（すなわち金属領域）に対応する黒い領域が、低信頼度領域とされている。したがって、ミリ波レーダ低信頼度領域マップを用いることにより、例えばマンホールの蓋のような、路面上の金属と考えられる領域の信頼度を低くすることができる。

【0078】

このようにして生成されたミリ波レーダ低信頼度領域マップは、重み算出部６０に供給される。

【0079】

図３のフローチャートに戻り、ステップＳ６の後、処理は、図４のフローチャートのステップＳ７に進む。ステップＳ７において、障害物候補抽出部５７は、路面領域推定部５４から供給される路面領域マップに基づいて、路面領域において障害物の候補となる領域を抽出する。

【0080】

具体的には、障害物候補抽出部５７は、路面領域マップにおいて、路面領域内を埋めた全路面領域から、路面領域を差し引いた領域を、障害物の候補となる領域として抽出する。すなわち、路面上に存在する非金属障害物１１１、金属障害物１１２、およびマンホール１１３それぞれに対応する領域が、障害物の候補となる領域となる。

【0081】

このようにして抽出された障害物の候補となる領域を示す路面内障害物候補領域マップは、路面対応距離抽出部５８に供給される。路面内障害物候補領域マップは、路面領域内で、路面以外の物体の領域の候補を示すものである。

【0082】

図４のフローチャートに戻り、ステップＳ８において、路面対応距離抽出部５８は、路面領域推定部５４から供給される路面領域マップと、障害物候補抽出部５７から供給される路面内障害物候補領域マップとに基づいて、ステレオカメラ評価部５１から供給されるステレオカメラ距離画像から、路面に対応する距離情報を除外する。すなわち、路面対応距離抽出部５８は、ステレオカメラ距離画像において、路面とみなされる領域を除いた領域の距離情報を抽出する。

【0083】

具体的には、路面対応距離抽出部５８は、ステレオカメラ距離画像において、路面上で障害物の候補となる領域それぞれの距離平均と、各領域近傍の路面領域の距離平均との差が所定距離以上ある場合に、障害物の候補となる各領域の距離情報を残す。また、路面対応距離抽出部５８は、その差が所定距離以上ない場合には、障害物の候補となる領域の距離情報を無限遠として扱う。さらに、路面対応距離抽出部５８は、路面領域の距離情報も無限遠として扱う。このようにして、ステレオカメラ距離画像から路面に対応する領域の距離情報が除外された路面対応ステレオカメラ距離画像が生成される。

【0084】

図１３は、路面対応ステレオカメラ距離画像の例を示している。

【0085】

図１３に示される路面対応ステレオカメラ距離画像２４０においては、図５に示されるステレオカメラ距離画像と比較して、マンホール１１３を含む路面とみなされる領域が黒い領域、すなわち無限遠にある対象物とされている。なお、路面対応ステレオカメラ距離画像２４０においては、路面上に存在する非金属障害物１１１および金属障害物１１２に対応する領域は対象物として残っている。

【0086】

このようにして生成された路面対応ステレオカメラ距離画像は、画像−マップ変換部５９に供給される。

【0087】

図４のフローチャートに戻り、ステップＳ９において、画像−マップ変換部５９は、ステレオカメラ評価部５１から供給されるステレオカメラ信頼度画像と、路面対応距離抽出部５８から供給される路面対応ステレオカメラ距離画像とに基づいて、ステレオカメラ信頼度マップを生成する。

【0088】

具体的には、画像−マップ変換部５９は、ステレオカメラ信頼度画像と、路面対応ステレオカメラ距離画像とをｘ−ｚマップに変換することで、ミリ波レーダデータマップに対応するステレオカメラ信頼度マップを生成する。

【0089】

図１４は、ステレオカメラ信頼度マップの例を示している。

【0090】

図１４に示されるステレオカメラ信頼度マップ２５０において、横軸（ｘ軸）は水平方向、縦軸（ｚ軸）は奥行き方向を示している。また、図１４に示されるステレオカメラ信頼度マップにおいて、黒色の濃い領域ほど、対応する対象物の信頼度が高いことが示される。

【0091】

具体的には、図１４の例では、近距離にある非金属障害物１１１に対応する領域２５１や樹木に対応する領域の信頼度が高い。また、遠距離にある金属障害物１１２および金属障害物１１４に対応する領域２５２，２５４の信頼度はそれほど高くない。なお、図１４の例では、マンホール１１３が、対象物として認識されていないことが示されている。

【0092】

このようにして生成されたステレオカメラ信頼度マップは、重み算出部６０および距離合成部６１に供給される。

【0093】

図４のフローチャートに戻り、ステップＳ１０において、重み算出部６０は、ミリ波レーダ評価部５２から供給されるミリ波レーダデータマップ、低信頼度領域推定部５６から供給されるミリ波レーダ低信頼度領域マップ、および、画像−マップ変換部５９から供給されるステレオカメラ信頼度マップに基づいて、ミリ波レーダ重みマップを生成する。

【0094】

具体的には、重み算出部６０は、ミリ波レーダ低信頼度領域マップを用いて、ミリ波レーダデータマップにおいて、低信頼度領域に対応する信頼度を下げるように変更する。

【0095】

図１５は、ミリ波レーダデータマップにおける信頼度変更について説明する図である。

【0096】

図１５の上段には、ミリ波レーダ低信頼度領域マップ２３０が示され、図１５の下段には、ミリ波レーダデータマップ１４０が示されている。

【0097】

図１５の例では、ミリ波レーダデータマップ１４０において、ミリ波レーダ低信頼度領域マップ２３０における低信頼度領域と水平方向の位置が同じ領域１４２，１４３の信頼度が下げられる。

【0098】

図１６は、信頼度変更後のミリ波レーダデータマップの例を示している。

【0099】

図１６に示されるミリ波レーダデータマップ１４０においては、図７に示されるミリ波レーダデータマップ１４０と比較して、領域１４２，１４３を示す色が薄く表示され、信頼度が下げられている。すなわち、図１６の例では、ミリ波レーダデータマップ１４０において、路面上に存在する金属障害物１１２およびマンホール１１３の信頼度が低く変更されている。

【0100】

そして、重み算出部６０は、信頼度が変更されたミリ波レーダデータマップおよびステレオカメラ信頼度マップの値を用いて、以下の式（１）で示される重みｗ_rを算出する。

【0101】

【数1】

・・・（１）

【0102】

式（１）において、ｗ_rは、信頼度マップ上の位置ｒ＝（ｘ，ｚ）におけるミリ波レーダ１３の信頼度に対する重み、Ｂ_mrは、位置ｒにおけるミリ波レーダ１３の信頼度、Ｂ_srは、位置ｒにおけるステレオカメラ１２の信頼度を示している。

【0103】

このようにして算出された重みｗ_rを示すミリ波レーダ重みマップは、距離合成部６１に供給される。

【0104】

図４のフローチャートに戻り、ステップＳ１１において、距離合成部６１は、ミリ波レーダ評価部５２から供給されるミリ波レーダデータマップ、画像−マップ変換部５９から供給されるステレオカメラ信頼度マップ、および、重み算出部６０から供給されるミリ波レーダ重みマップに基づいて、撮像範囲内での距離毎の対象物の存在尤度を算出する。

【0105】

具体的には、距離合成部６１は、以下の式（２）で示される、位置ｒ＝（ｘ，ｚ）における対象物の存在尤度Ｌ_rを算出する。存在尤度Ｌ_rは、その値が大きいほど、物体の存在の信頼度が高い、すなわち、物体が存在する可能性が高いことを示すものである。

【0106】

【数2】

・・・（２）

【0107】

距離合成部６１は、このようにして算出された存在尤度Ｌ_rを示す存在尤度マップを出力して、処理は終了する。存在尤度マップは、それぞれの位置や方向、距離における物体の存在の信頼度を示すものであり、値が大きいほど、その位置や方向、距離における物体の存在の信頼度が高いことを示す。物体の検出においては、存在尤度マップの値に対して閾値判定を行うことで、ある距離における物体を検出することができる。なお、閾値判定に用いられる閾値は、予め実験や学習などを行うことにより算出されるようにしてもよい。

【0108】

以上の処理によれば、自車の前方にある上り坂の路面上に、マンホールやグレーチングなどの金属が埋め込まれている場合であっても、それらについてのミリ波レーダの信頼度は低いものとして距離推定が行われる。これにより、路面上の金属が障害物として誤認識されることを抑制することができ、ひいては、正しく距離推定を行うことができるようになる。なお、検出された物体までの距離は、自車両（距離推定装置１１を搭載した車両）のドライバに対して、衝突の警告を出力するシステムや、前方を走行する他車両を追尾するよう自車両を制御するシステムなどに用いられるようにすることができる。

【0109】

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

【0110】

図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

【0111】

コンピュータにおいて、CPU９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

【0112】

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、およびドライブ９１０が接続されている。

【0113】

入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９１１を駆動する。

【0114】

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

【0115】

コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

【0116】

コンピュータでは、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

【0117】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0118】

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0119】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0120】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0121】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0122】

また、本技術は以下のような構成をとることができる。
（１）
所定の撮像範囲が撮像された第１の画像における路面領域を推定する路面領域推定部と、
前記撮像範囲が撮像された第２の画像における無偏光領域を抽出する無偏光領域抽出部と、
前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定する低信頼度領域推定部と、
前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出する重み算出部と、
前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在尤度を算出する存在尤度算出部と
を備える情報処理装置。
（２）
前記重み算出部は、前記低信頼度領域に対応する前記第１の信頼度を下げることで、前記重みを算出する
（１）に記載の情報処理装置。
（３）
前記第２のセンサにより得られる前記対象物において、路面とみなされる領域を除いた領域の距離情報を抽出する距離情報抽出部と、
前記路面とみなされる領域を除いた領域の距離情報を用いて、前記第２の信頼度を示す情報を生成する信頼度生成部とをさらに備える
（２）に記載の情報処理装置。
（４）
前記路面領域を示す情報に基づいて、前記路面領域における障害物の候補を抽出する障害物候補抽出部をさらに備え、
前記距離情報抽出部は、前記障害物の候補となる領域の距離情報に基づいて、前記路面とみなされる領域を除いた領域の距離情報を抽出する
（３）に記載の情報処理装置。
（５）
前記第２の画像は、偏光カメラにより得られる３方向以上の偏光画像である
（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記第１の画像は、前記第２の画像と同一の画像である
（５）に記載の情報処理装置。
（７）
前記第１のセンサは、ミリ波レーダであり、
前記第２のセンサは、ステレオカメラである
（１）に記載の情報処理装置。
（８）
前記第１の信頼度は、前記ミリ波レーダの反射強度を含む
（７）に記載の情報処理装置。
（９）
前記第２の信頼度は、前記ステレオカメラにおけるステレオマッチングの相関値を含む
（７）または（８）に記載の情報処理装置。
（１０）
所定の撮像範囲が撮像された第１の画像における路面領域を推定し、
前記撮像範囲が撮像された第２の画像における無偏光領域を抽出し、
前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定し、
前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出し、
前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在尤度を算出する
ステップを含む情報処理方法。
（１１）
コンピュータに、
所定の撮像範囲が撮像された第１の画像における路面領域を推定し、
前記撮像範囲が撮像された第２の画像における無偏光領域を抽出し、
前記路面領域および前記無偏光領域を示す情報に基づいて、前記撮像範囲における第１のセンサの測定範囲内で、前記第１のセンサにより得られる対象物の第１の信頼度が低い低信頼度領域を推定し、
前記第１の信頼度、前記撮像範囲において第２のセンサにより得られる前記対象物の第２の信頼度、および前記低信頼度領域を示す情報に基づいて、前記第１の信頼度に対する重みを算出し、
前記第１の信頼度、第２の信頼度、および前記重みを示す情報に基づいて、前記撮像範囲内での距離毎の前記対象物の存在尤度を算出する
ステップを含む処理を実行させるためのプログラム。

【符号の説明】

【0123】

１１ 距離推定装置， １２ ステレオカメラ， １３ ミリ波レーダ， １４ 偏光カメラ， ５１ ステレオカメラ評価部， ５２ ミリ波レーダ評価部， ５３ 偏光角度推定部， ５４ 路面領域推定部， ５５ 無偏光領域抽出部， ５６ 低信頼度領域推定部， ５７ 障害物候補抽出部， ５８ 路面対応距離抽出部， ５９ 画像−マップ変換部， ６０ 重み算出部， ６１ 距離合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】