特許 7404173 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-15

(45)【発行日】2023-12-25

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231218BHJP

   G06T 7/254 20170101ALI20231218BHJP

   G08G 1/00 20060101ALI20231218BHJP

【ＦＩ】

G06T7/00 650B

G06T7/254 A

G08G1/00 J

【請求項の数】 10

(21)【出願番号】P 2020117152

(22)【出願日】2020-07-07

(65)【公開番号】P2022014673

(43)【公開日】2022-01-20

【審査請求日】2023-02-03

(73)【特許権者】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】大里 琢馬

(72)【発明者】

【氏名】ゴメズカバレロ フェリペ

(72)【発明者】

【氏名】竹村 雅幸

(72)【発明者】

【氏名】永崎 健

【審査官】小太刀 慶明

(56)【参考文献】

【文献】国際公開第２０１０／０４４１２７（ＷＯ，Ａ１）

【文献】特開２０１９－１３９４２０（ＪＰ，Ａ）

【文献】特開２００８－０３４９８１（ＪＰ，Ａ）

【文献】特開２０１０－２５６９９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／００

(57)【特許請求の範囲】

【請求項1】

異なる２時刻における２枚の画像を俯瞰画像に変換する画像変換部と、
前記２枚の俯瞰画像又は前記２枚の画像を使用して、障害物を示す領域のうち路面から所定高さ以内の領域を障害物候補領域として抽出する障害物候補領域抽出部と、
前記障害物候補領域における画像特徴を用いて前記障害物候補領域の位置合わせを行い差分の生じた領域を障害物が存在する領域と判断する障害物検知部と、を備え、
前記障害物候補領域抽出部は、前記２枚の俯瞰画像を画像全体で同一である第一パラメタで重ね合わせた場合に画像差分の発生する領域を抽出することによって前記障害物候補領域を抽出し、
前記障害物検知部は、前記障害物候補領域における画像特徴を用いて前記障害物候補領域の第二パラメタによる位置合わせを行い差分の生じた領域を前記障害物が存在する領域と判断することを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記障害物候補領域抽出部は、前記２枚の俯瞰画像を画像全体で同一である第一パラメタで重ね合わせた場合に画像差分の発生する領域を抽出し、抽出した領域のうち路面から所定高さ以内の領域を抽出し、抽出した領域に対応する前記２枚の画像の領域を前記障害物候補領域として抽出することを特徴とする画像処理装置。

【請求項3】

異なる２時刻における２枚の画像を俯瞰画像に変換する画像変換部と、
前記２枚の俯瞰画像又は前記２枚の画像を使用して、障害物を示す領域のうち路面から所定高さ以内の領域を障害物候補領域として抽出する障害物候補領域抽出部と、
前記障害物候補領域における画像特徴を用いて前記障害物候補領域の位置合わせを行い差分の生じた領域を障害物が存在する領域と判断する障害物検知部と、を備え、
前記障害物候補領域抽出部は、前記２枚の画像において歩行者の脚部検出機能によって検出された歩行者脚部候補の周辺領域を前記障害物候補領域として抽出することを特徴とする画像処理装置。

【請求項4】

異なる２時刻における２枚の画像を俯瞰画像に変換する画像変換部と、
前記２枚の俯瞰画像又は前記２枚の画像を使用して、障害物を示す領域のうち路面から所定高さ以内の領域を障害物候補領域として抽出する障害物候補領域抽出部と、
前記障害物候補領域における画像特徴を用いて前記障害物候補領域の位置合わせを行い差分の生じた領域を障害物が存在する領域と判断する障害物検知部と、を備え、
前記障害物候補領域抽出部は、地図情報及び自車の位置情報を取得し、前記２枚の画像における路面ペイントが撮像される領域を前記障害物候補領域として抽出することを特徴とする画像処理装置。

【請求項5】

異なる２時刻における２枚の画像を俯瞰画像に変換する画像変換部と、
前記２枚の俯瞰画像又は前記２枚の画像を使用して、障害物を示す領域のうち路面から所定高さ以内の領域を障害物候補領域として抽出する障害物候補領域抽出部と、
前記障害物候補領域における画像特徴を用いて前記障害物候補領域の位置合わせを行い差分の生じた領域を障害物が存在する領域と判断する障害物検知部と、を備え、
前記障害物候補領域抽出部は、前記２枚の画像において前記障害物の可能性のある領域の左右端に隣接する飛び出しの危険性のある領域を前記障害物候補領域として抽出することを特徴とする画像処理装置。

【請求項6】

異なる２時刻における２枚の画像を俯瞰画像に変換する画像変換部と、
前記２枚の俯瞰画像又は前記２枚の画像を使用して、障害物を示す領域のうち路面から所定高さ以内の領域を障害物候補領域として前記２枚の画像から抽出する障害物候補領域抽出部と、
前記障害物候補領域における画像特徴を用いて前記障害物候補領域の俯瞰画像を生成し、前記障害物候補領域の俯瞰画像の位置合わせを行い差分の生じた領域を障害物が存在する領域と判断する障害物検知部と、を備え、
前記障害物候補領域抽出部は、前記２枚の俯瞰画像を画像全体で同一である第一パラメタで重ね合わせた場合に画像差分の発生する領域を抽出することによって前記障害物候補領域を抽出し、
前記障害物検知部は、前記障害物候補領域における画像特徴を用いて前記障害物候補領域の第二パラメタによる位置合わせを行い差分の生じた領域を前記障害物が存在する領域と判断することを特徴とする画像処理装置。

【請求項7】

請求項６に記載の画像処理装置であって、
前記障害物候補領域抽出部は、前記２枚の俯瞰画像を画像全体で同一である第一パラメタで重ね合わせた場合に画像差分の発生する領域を抽出し、抽出した領域のうち路面から所定高さ以内の領域を抽出し、抽出した領域に対応する前記２枚の画像の領域を前記障害物候補領域として抽出することを特徴とする画像処理装置。

【請求項8】

異なる２時刻における２枚の画像を俯瞰画像に変換する画像変換部と、
前記２枚の俯瞰画像又は前記２枚の画像を使用して、障害物を示す領域のうち路面から所定高さ以内の領域を障害物候補領域として前記２枚の画像から抽出する障害物候補領域抽出部と、
前記障害物候補領域における画像特徴を用いて前記障害物候補領域の俯瞰画像を生成し、前記障害物候補領域の俯瞰画像の位置合わせを行い差分の生じた領域を障害物が存在する領域と判断する障害物検知部と、を備え、
前記障害物候補領域抽出部は、前記２枚の画像において歩行者の脚部検出機能によって検出された歩行者脚部候補の周辺領域を前記障害物候補領域として抽出することを特徴とする画像処理装置。

【請求項9】

異なる２時刻における２枚の画像を俯瞰画像に変換する画像変換部と、
前記２枚の俯瞰画像又は前記２枚の画像を使用して、障害物を示す領域のうち路面から所定高さ以内の領域を障害物候補領域として前記２枚の画像から抽出する障害物候補領域抽出部と、
前記障害物候補領域における画像特徴を用いて前記障害物候補領域の俯瞰画像を生成し、前記障害物候補領域の俯瞰画像の位置合わせを行い差分の生じた領域を障害物が存在する領域と判断する障害物検知部と、を備え、
前記障害物候補領域抽出部は、地図情報及び自車の位置情報を取得し、前記２枚の画像における路面ペイントが撮像される領域を前記障害物候補領域として抽出することを特徴とする画像処理装置。

【請求項10】

異なる２時刻における２枚の画像を俯瞰画像に変換する画像変換部と、
前記２枚の俯瞰画像又は前記２枚の画像を使用して、障害物を示す領域のうち路面から所定高さ以内の領域を障害物候補領域として前記２枚の画像から抽出する障害物候補領域抽出部と、
前記障害物候補領域における画像特徴を用いて前記障害物候補領域の俯瞰画像を生成し、前記障害物候補領域の俯瞰画像の位置合わせを行い差分の生じた領域を障害物が存在する領域と判断する障害物検知部と、を備え、
前記障害物候補領域抽出部は、前記２枚の画像において前記障害物の可能性のある領域の左右端に隣接する飛び出しの危険性のある領域を前記障害物候補領域として抽出することを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関する。

【背景技術】

【0002】

本技術分野の背景技術として、特開２００７－２３５６４２号公報（特許文献１）がある。該公報には、課題として「車速センサや舵角センサの検出誤差に起因する障害物の誤検知を排除し、単眼カメラによる立体物検知をより高精度に行う。」と記載され、解決手段として「車両に搭載されたカメラで撮像された路面を含む第１の画像の上面図と、前記第１の画像とは異なるタイミングで撮像された第２の画像の上面図とを作成し、上記二枚の上面図を路面上の特徴的形状に基づいて対応させ、上記二枚の上面図の重複部分において差異が生じた領域を障害物と認識する。」と記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－２３５６４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、路面勾配が変化していたり、段差や高低差がある路面を含む画像においては、路面上の特徴的形状に基づいた対応は画像の領域ごとに変化するため、例えば前記特許文献１に記載のように画面全体の対応をとった場合、領域によって障害物の認識精度が変化してしまう、などの問題があった。

【0005】

本発明の目的は、二枚の画像を対応させるパラメタが領域ごとに変化する場合においても領域ごとに適切な対応を算出し、障害物（以下、物体とも呼ぶ）を正しく検知・認識することのできる画像処理装置を提供することである。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明は、異なる２時刻における２枚の画像を俯瞰画像に変換する画像変換部と、前記２枚の俯瞰画像又は前記２枚の画像を使用して、障害物を示す領域のうち路面から所定高さ以内の領域を障害物候補領域として抽出する障害物候補領域抽出部と、前記障害物候補領域における画像特徴を用いて前記障害物候補領域の位置合わせを行い差分の生じた領域を障害物が存在する領域と判断する障害物検知部と、を備える。

【発明の効果】

【0007】

本発明によれば、二枚の画像を対応させるパラメタが領域ごとに変化する場合においても領域ごとに適切な対応を算出し、障害物（物体）を正しく検知・認識することのできる画像処理装置を提供することができる。

【0008】

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】実施例１における車載カメラシステムの概略構成を示す説明図。

【図2】実施例１における物体検知装置及び画像処理部の構成を示す説明図。

【図3】俯瞰差分方式による物体検知手法の説明図。

【図4】路面勾配のあるシーンにおける俯瞰差分方式の課題の説明図。

【図5】路面を仮定した検知障害物までの距離推定手法の説明図。

【図6】一律の射影変換では誤差が発生するシーンの例。

【図7】障害物候補領域抽出の俯瞰画像を用いた具体例の説明図。

【図8】障害物候補領域抽出の俯瞰画像を用いた具体例のフローチャート。

【図9】障害物候補領域抽出の識別器を用いた具体例の説明図。

【図10】障害物候補領域抽出の識別器を用いた具体例のフローチャート。

【図11】障害物検知部のフローチャート。

【図12】障害物候補領域の位置合わせ手段の説明図。

【図13】実施例２における、地図情報及びGPS情報を用いた障害物候補領域抽出のフローチャート。

【図14】実施例２における、地図情報及びGPS情報を用いた障害物候補領域抽出の説明図。

【図15】実施例３における、飛び出し対応のための障害物候補領域抽出のフローチャート。

【図16】実施例３における、飛び出し対応のための障害物候補領域抽出の説明図。

【発明を実施するための形態】

【0010】

以下、図面を用いて本発明の実施例を説明する。

【0011】

［実施例１］
図１を用いて、実施例１における物体検知装置を搭載した車載カメラシステムの概要を説明する。車両１００にカメラ１０１が搭載される。カメラ１０１は、車両１００周囲を撮影した画像を取得するためのもので、時間的に異なる複数の画像を取得できれば、単眼カメラでもよいし、２台以上のカメラからなるステレオカメラでもよい。カメラ１０１には物体検知装置１０２が搭載されており、例えば前方の物体までの距離や相対速度を計測して車両制御部１０３に送信する。車両制御部１０３は、物体検知装置１０２から受け取った距離や相対速度からブレーキ・アクセル１０５、ステアリング１０４を制御する。

【0012】

カメラ１０１は、図２に示す物体検知装置１０２を備えている。物体検知装置１０２は、撮像素子２０１、メモリ２０２、ＣＰＵ２０３、画像処理部（画像処理装置）２０４、外部出力部２０５などを備える。物体検知装置１０２を構成する各構成要素は、通信ライン２０６を介して通信可能に接続されている。ＣＰＵ２０３は、メモリ２０２に格納されているプログラムの指示に従って、以降で説明する演算処理を実行する。

【0013】

撮像素子２０１で撮影された画像は画像処理部２０４に送信され、画像に映る障害物を検知する。検知するための具体的な手段については後段で述べる。検知結果は外部出力部２０５より物体検知装置１０２の外部に送信され、前述の車載カメラシステムであれば、車両制御部１０３においてブレーキ・アクセル１０５、ステアリング１０４などの車両制御の判断に利用される。

【0014】

以下、画像処理部２０４の構成要素について説明する。

【0015】

画像処理部２０４においては、画像を用いて物体の検知と追跡を行う。画像を用いた物体の検知手段については、例えば俯瞰画像の差分を用いた手法（俯瞰差分方式とも呼ぶ）を用いる。この手法では、図３に示す通り、時系列に撮像した２枚の画像３０１、３０２（過去の時刻T-1で撮像した画像３０１及び現在の時刻Tで撮像した画像３０２）を用いて物体の検知を行う。２枚の画像３０１、３０２のうち過去に撮像された画像３０１を俯瞰画像に変換すると同時に、車速などの情報から車両の運動による見え方の変化を算出し、今フレームで撮像されると予測される画像３０４を生成する。俯瞰画像への変換は、一般的に射影変換が用いられる。射影変換はある平面を他の平面に射影する変換であり、画像３０１における道路平面と画像３０２における道路平面を真上から見下ろした俯瞰画像に変換することができる。予測した画像３０４と実際に今フレームで撮像された画像３０２を俯瞰画像に変換した画像３０５を比較し、差分画像３０６を作成する。差分画像３０６は各画素における差分の値を持っており、差分のない領域が黒、差分がある領域が白で表される。射影変換に誤差がなければ、道路平面は射影変換によって同一の画像となり差分が発生しないが、道路平面上以外の領域、すなわち、障害物３０３の存在する領域では差分が発生する。この差分を検出することによって物体検知結果３０７を得ることができる。

【0016】

この方式は射影変換の変換対象の平面以外にある物体を検知するため、変換対象として障害物の接地している路面平面を選択することが重要である。図４に示すように、路面の勾配変化があるシーンにおいては、一枚の画像の中に複数の異なる道路平面がある。そのため、例えば自車の接地している領域の路面平面を対象にして画像変換を実施した場合、異なる平面を射影変換してしまうことがある。このとき時系列に撮像した２枚の画像４０１、４０２から生成される俯瞰画像４０４と俯瞰画像４０５においては、道路平面のテクスチャ、この例では横断歩道部分に意図しない差分が発生してしまい、障害物３０３以外の領域に差分のある差分画像４０６が得られ、差分として検出される物体検知結果４０７では横断歩道を障害物として誤検知してしまう、検知すべき障害物の領域を誤ってしまうなどの問題が発生する。したがって、障害物を正しく検知するためには、複数の道路平面が存在するシーンにおいて、領域ごとに適切な射影変換を実施することで、道路平面上では画像間の差分が発生しないようにする必要がある。

【0017】

また、検知障害物までの距離を算出する手法の一つとして、検知した障害物領域の足元部分が路面に接していると仮定して算出する手法が公知である。図５は、俯瞰画像の生成に誤差が含まれ、障害物の足元近辺の路面領域を障害物として誤った場合の説明図である。路面領域を含んで障害物領域だと誤検知した結果５０１を基に、画像上での検知枠（ここでは矩形状の検知枠）の下端位置を道路面に射影することで、障害物３０３までの距離を推定する。このとき障害物３０３の下端位置を誤って推定していた場合、誤推定結果５０２の位置に障害物があると誤推定が発生する。検知障害物までの距離の誤推定は車両の誤制御に繋がるため、検知枠の下端位置をできる限り正確に推定することが望ましい。

【0018】

以下、画像処理部２０４の詳細について説明する。本実施例の画像処理部２０４は、図２に示すように、画像変換部２４１、障害物候補領域抽出部２４２、障害物検知部２４３を有する。

【0019】

（画像変換部２４１）
画像変換部２４１においては、異なる２時刻における２枚の画像を、それぞれの画像全体において支配的な平面を射影変換（俯瞰変換とも呼ぶ）する第一パラメタによって俯瞰画像に変換する。第一パラメタは、それぞれの画面全体で同一のパラメタである。支配的な平面とは、例えば前述の車載カメラシステムであれば、自車が平坦な路面上にいると仮定して変換する場合の路面が考えられる。また、LiDARやステレオカメラなどの距離センサが存在する場合、距離計測結果を用いて路面を推定した結果を利用してもよい。このとき、図６に示すように路面勾配の変化するシーンでは自車６０１の姿勢を基に１枚の（同一の）平面６０２で路面全体を表現するため、表現している平面と路面にずれが発生する可能性がある。

【0020】

（障害物候補領域抽出部２４２）
障害物候補領域抽出部２４２においては、異なる２時刻で撮像された２枚の画像から領域の位置合わせを高精度に実施し、障害物の領域を正確に算出すべき領域（以下、障害物候補領域とも呼ぶ）を抽出する。シーン全体では複数の平面が存在するため、一つの（一律の）射影変換では十分に表現できない（図６参照）。そこで、一つの射影変換で表現できるだけの小領域を抽出し、後段の処理で改めて射影変換による画像の変換と重ね合わせを行うことで、路面部分の差分をなくし、障害物部分の差分だけを用いて障害物検知を行う。ここで、障害物検知において精度よく検知枠の位置を推定する必要があるのは下端部であるから、接地位置に近い領域（すなわち、障害物を示す領域のうち路面から所定高さ以内の領域）を選択する。

【0021】

障害物候補領域抽出手段の例として、俯瞰画像を用いた具体例のフローチャートを図８、実際の領域を図７に示した。図８に示すように、ステップＳ８０１において、画像変換部２４１で俯瞰変換した画像２枚を入力として与え、画像（つまり、２枚の俯瞰画像）を画像全体で同一である第一パラメタで重ね合わせて差分（画像差分）の生じた領域（差分領域）を用いた物体検知を行う。このとき俯瞰変換は誤差を含むので、差分画像４０６において障害物を検知する際にその足元の領域を多く含んでいるような検知枠７０１や、路面しかない領域の誤検知枠７０２が得られる。ここから、ステップＳ８０２において、検知枠（すなわち、障害物を示す障害物検知領域）のうち路面に近い領域（路面から所定高さ以内の領域）７０３を抽出し、撮像された２枚の画像４０１、４０２において抽出した領域７０３に対応する領域７０４、７０５を障害物候補領域として抽出する。本処理によって、撮像された２枚の画像４０１、４０２において障害物の可能性のある領域（障害物検知領域）のうち足元付近（すなわち、路面から所定高さ以内の領域）だけを抽出することができる。物体ごとに領域を個別に抽出することで、前述の平面の違いによる俯瞰変換の誤差を取り除くための処理領域を得る。

【0022】

障害物候補領域抽出手段の別の例として、識別器を用いた具体例のフローチャートを図１０、実際の領域を図９に示した。ここでの識別器は、歩行者の脚部検出機能を有し、当該機能により歩行者脚部候補の周辺領域（歩行者脚部の撮像されている可能性の高い歩行者脚部候補領域）を検出する。図１０に示すように、撮像した画像２枚を入力として与え、ステップＳ１００１において、画像領域から識別器の処理ウィンドウ９０１を少しずつずらしながら歩行者脚部の撮像されている可能性の高い領域を探索する。識別器は、対象の領域に歩行者脚部が撮像されている場合にスコアが高くなるように設計された評価関数であり、このスコアが閾値以上となる領域を探索することで、歩行者脚部の撮像されている可能性の高い領域９０２を障害物候補領域として抽出することができる。本処理によって、撮像された２枚の画像４０１、４０２において障害物の可能性のある領域（障害物検知領域）のうち足元付近（すなわち、路面から所定高さ以内の領域）だけを抽出することができる。ただし、下端などの境界部分を正確に推定することはできないため、本処理で抽出された領域を後段処理の位置合わせによって障害物領域と路面領域を精度よく分離する。

【0023】

（障害物検知部２４３）
障害物検知部２４３においては、障害物候補領域抽出部２４２で抽出された障害物候補領域において位置合わせを実施することで支配的な平面を射影変換する第二パラメタを算出し、第二パラメタによって変換した画像を重ね合わせて（換言すれば、位置合わせを行い）差分の生じた領域を障害物が存在する領域、すなわち障害物として検知する。障害物検知部２４３のフローチャートを図１１に示した。図１１に示すように、入力として前述した（２枚の画像の）障害物候補領域を与える。ステップＳ１１０１において、与えられた領域から特徴点を検出する。特徴点の検出手段としては、FAST（Features from Accelerated Segment Test）やHarris’s corner detectionなどが公知として挙げられる。これらは画像中からコーナーとなっている点を検出するものであり（図１２参照）、周辺と比較して特徴的である点を検出する手法として知られている。次にステップＳ１１０２において、検出した特徴点から特徴量を算出する。特徴量の算出手段としては、例えばSIFT（Scale-Invariant Feature Transform）が公知として挙げられる。SIFTは照明変化、回転、拡大縮小などの画像変化が発生した場合においても特徴量の変化しない頑健な特徴量として知られている手法であり、カメラの位置変化や時間経過によって見え方が変化した場合にも、同一の点を同一と判断することができる。次にステップＳ１１０３において、２時刻の特徴点のマッチングを行う（図１２参照）。過去の時刻T-1における（障害物候補領域の）特徴点と、現在の時刻Tにおける（障害物候補領域の）特徴点を比較し、ステップＳ１１０２で算出した特徴量の近い点同士をマッチングさせ、図１２に示すように２時刻で同一の個所を指し示す特徴点ペア（１２０１、１２０２）を得る。マッチングした点の情報を用いて、ステップＳ１１０４では射影変換行列の推定を行う。すべての点を同一の射影変換行列によって変換して重ね合わせたときに、最も点のずれ量が少なくなるような射影変換行列を求める。本処理によって、障害物候補領域抽出部２４２で抽出された、障害物の下端部及び足元の路面によって構成される小領域（障害物候補領域）に対して、足元の路面に応じた第二パラメタによる射影変換行列を求める。第二パラメタによる射影変換行列を用いて変換した画像（すなわち、障害物候補領域部分の俯瞰画像）同士をステップＳ１１０５において重ね合わせ、画像の輝度値の差分を計算する。ステップＳ１１０６において、重ね合わせ（位置合わせ）によって画像の差分が発生した領域（差分領域）が障害物（障害物が存在する領域）であるとして障害物検知結果を得る。障害物候補領域は、障害物及びその足元路面だけを含むような小領域を抽出しているため、本処理によって、シーン全体で路面勾配が変化していたり、段差や高低差によって１つの射影変換行列では表現できないシーンであっても、障害物ごとに適切な射影変換行列（足元路面に応じた第二パラメタによる射影変換行列）を推定することができ、路面の撮像された領域から不要な差分が発生することを防ぐことができる。

【0024】

以上で説明したように、本実施例の画像処理部（画像処理装置）２０４は、異なる２時刻における２枚の画像を俯瞰画像に変換する画像変換部２４１と、前記２枚の俯瞰画像又は前記２枚の画像を使用して、障害物を示す領域のうち路面から所定高さ以内の領域を障害物候補領域として抽出する障害物候補領域抽出部２４２と、前記障害物候補領域における画像特徴を用いて前記障害物候補領域の位置合わせを行い差分の生じた領域を障害物が存在する領域と判断する障害物検知部２４３と、を備える。

【0025】

また、一例として、前記障害物候補領域抽出部２４２は、前記２枚の俯瞰画像を画像全体で同一である第一パラメタで重ね合わせた場合に画像差分の発生する領域を抽出することによって前記障害物候補領域を抽出し、前記障害物検知部２４３は、前記障害物候補領域における画像特徴を用いて前記障害物候補領域の第二パラメタによる位置合わせを行い差分の生じた領域を前記障害物が存在する領域と判断する。

【0026】

また、前記障害物候補領域抽出部２４２は、前記２枚の俯瞰画像を画像全体で同一である第一パラメタで重ね合わせた場合に画像差分の発生する領域を抽出し、抽出した領域のうち路面から所定高さ以内の領域を抽出し、抽出した領域に対応する前記２枚の画像の領域を前記障害物候補領域として抽出する。

【0027】

また、他例として、前記障害物候補領域抽出部２４２は、前記２枚の画像において歩行者の脚部検出機能（識別器）によって検出された歩行者脚部候補の周辺領域を前記障害物候補領域として抽出する。

【0028】

本実施例の構成によって俯瞰画像の差分を用いた物体検出を行った場合、一般的には路面に差分が発生して誤検知につながる勾配変化のあるシーンにおいても、勾配変化のないとみなせる小領域（障害物候補領域）に対して射影変換を行うため、誤検知の発生を防ぐことができる。障害物ごとに射影変換行列を推定するため、勾配変化に限らず、自車の振動や傾きによる変化の影響を最小限にし、精度よく障害物を検知することができる。

【0029】

これにより、二枚の画像を対応させるパラメタが領域ごとに変化する場合においても領域ごとに適切な対応を算出し、障害物（物体）を正しく検知・認識することのできる画像処理装置を提供することができる。

【0030】

［実施例２：地図情報及びGPS情報と連携する手法］
実施例２は実施例１の変形例であり、障害物候補領域抽出部２４２において地図情報及び車両GPS情報を用いることで、誤検知の可能性の高い領域を抽出する場合の実施例を示す。本実施例によれば、射影変換の誤差によって誤検知の発生する可能性の高い、路面上にテクスチャのあるシーンを逃すことなく障害物候補領域として抽出し、高精度に位置合わせすることで、路面上のテクスチャを障害物として誤検知することを防ぐことができる。

【0031】

本実施例における障害物候補領域抽出部２４２のフローチャートを図１３に示した。図１３に示すように、入力として画像１３Ａ、地図情報に含まれる路面ペイント位置１３Ｂ、自車位置情報を含むGPS情報１３Ｃを受け取る。ここで、路面ペイントとは、横断歩道やUターン禁止などの路面に描かれたテクスチャのことであり、ナビシステムなどではこの種のテクスチャの位置が保存されている。また、路面のテクスチャであれば同様に誤検知の可能性があるため、路面ペイントに限らず、高さの低い縁石、砂利道や落葉などの路面全体に発生するテクスチャの情報が得られる場合、その情報を入力として受け取っても構わない。ステップＳ１３０１において、画像から路面ペイント撮像領域を算出する。GPS情報と路面ペイント位置の地図情報を見比べて、現在撮像されている画像領域に路面ペイントが含まれるかどうかを判定する。路面ペイントが含まれる場合、画像のどの領域に撮像されているかを計算し、画像領域（つまり、路面ペイント撮像領域）を抽出する。図１４に説明図を示す。自車両１４０１の前方に対して、領域１４０２は地図情報とGPS情報から路面ペイントのない領域であることがわかっている。路面テクスチャがなければ、射影変換に誤りがあったとしても路面領域に差分は発生しないため、高精度な位置合わせは不要となる。一方、領域１４０３は路面に横断歩道がペイントされていることがわかっている。射影変換を誤った場合、横断歩道のテクスチャが適切に重ね合わされずに差分を生じ、障害物として誤検知する可能性が高い。よって、障害物候補領域抽出部２４２において、画像上で領域（路面ペイント撮像領域）１４０３に対応する領域１４０４を障害物候補領域として抽出し、障害物検知部２４３において、小領域の正確な位置合わせを実施することで、誤検知を防ぐ。

【0032】

以上で説明したように、本実施例の画像処理部（画像処理装置）２０４は、前記障害物候補領域抽出部２４２は、地図情報及び自車の位置情報を取得し、前記２枚の画像における路面ペイントが撮像される領域を前記障害物候補領域として抽出する。

【0033】

本実施例によれば、誤検知の危険性の高い路面ペイントのある（撮像される）領域を逃すことなく、射影変換行列の算出を実施し、路面領域に生じる差分を防ぐことができる。

【0034】

［実施例３：飛び出しの危険性が高い画像領域の抽出］
実施例３は実施例１の変形例であり、障害物候補領域抽出部２４２で現在障害物のある可能性のある領域だけでなく、未来において障害物（大人や子どもの歩行者、自転車、バイク、自動車など）の飛び出しの発生する可能性のある領域を抽出する場合の実施例を示す。本実施例によれば、急な飛び出しの発生時においても障害物までの距離を誤推定することなく推定することができる。

【0035】

本実施例における障害物候補領域抽出部２４２のフローチャートを図１５に、説明図を図１６に示した。図１５に示すように、実施例１と同様に誤差を含む射影変換によって差分領域を用いた物体検知Ｓ８０１を行う。このとき物体１６０１に対して検知結果１６０２のように奥行方向の誤差を含む物体検知結果を得る。次にステップＳ１５０１において、検知結果１６０２の左右端のうち、自車両側の所定の大きさの領域を飛び出し可能性領域１６０３として抽出する。領域１６０３は、物体１６０１の陰からの飛び出しが発生する可能性のある領域であり、飛び出しが発生した場合に距離を誤ると誤ブレーキにつながる恐れがある。そのため、障害物候補領域抽出部２４２において、障害物の可能性のある領域を基に、その左右端に隣接する飛び出しの危険性のある領域（飛び出し可能性領域）１６０３を障害物候補領域として抽出し、障害物検知部２４３において、優先的に高精度な画像の位置合わせを実施することで、障害物位置を精度よく推定する。

【0036】

本実施例では誤検知を含む物体検知結果の左右端を抽出する対象としたが、飛び出しの可能性の高い領域であれば抽出手法は問わない。例えば地図情報から建物などの陰を抽出してもよいし、他センサによる物体検知結果とフュージョンしてもかまわない。

【0037】

以上で説明したように、本実施例の画像処理部（画像処理装置）２０４は、前記障害物候補領域抽出部２４２は、前記２枚の画像において前記障害物の可能性のある領域の左右端に隣接する飛び出しの危険性のある領域（飛び出し可能性領域）を前記障害物候補領域として抽出する。

【0038】

本実施例によれば、障害物の飛び出しの可能性の高い領域を優先的に抽出し、飛び出しが発生した際の誤検知や距離の誤推定を防ぐことができる。

【0039】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0040】

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されている
と考えてもよい。

【符号の説明】

【0041】

１００ 車両、１０１ カメラ、１０２ 物体検知装置、１０３ 車両制御部、２０１ 撮像素子、２０２ メモリ、２０３ ＣＰＵ、２０４ 画像処理部（画像処理装置）、２０５ 外部出力部、２０６ 通信ライン、２４１ 画像変換部、２４２ 障害物候補領域抽出部、２４３ 障害物検知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】