特許 6882885 障害物検出装置および障害物検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6882885

(24)【登録日】2021年5月11日

(45)【発行日】2021年6月2日

(54)【発明の名称】障害物検出装置および障害物検出方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20210524BHJP

   B60R 21/00 20060101ALI20210524BHJP

   B60R 21/0132 20060101ALI20210524BHJP

   G06T 1/00 20060101ALI20210524BHJP

   G06T 7/20 20170101ALI20210524BHJP

【ＦＩ】

   G08G1/16 C

   B60R21/00 991

   B60R21/0132

   G06T1/00 330B

   G06T1/00 330A

   G06T7/20 100

【請求項の数】8

【全頁数】27

(21)【出願番号】特願2016-244194(P2016-244194)

(22)【出願日】2016年12月16日

(65)【公開番号】特開2018-97777(P2018-97777A)

(43)【公開日】2018年6月21日

【審査請求日】2019年9月30日

【前置審査】

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】松本 裕生

(72)【発明者】

【氏名】三野 敦

【審査官】 田中 将一

(56)【参考文献】

【文献】 特開２００８−２１９０６３（ＪＰ，Ａ）

【文献】 特開２０１５−１６２１６５（ＪＰ，Ａ）

【文献】 特開２０１６−１３４７６４（ＪＰ，Ａ）

【文献】 特開２０１２−１６５２９５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ − ９９／００

Ｂ６０Ｒ ２１／００ − ２１／１３

Ｂ６０Ｒ ２１／３４ − ２１／３８

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ９／００ − ９／４０

Ｇ０６Ｔ ７／００ − ７／６０

(57)【特許請求の範囲】

【請求項1】

撮像装置が車両の周辺を撮像したフレーム画像を順次取得する取得部と、
前記取得部が基準時刻に取得した基準フレーム画像および前記基準時刻より過去に取得した過去フレーム画像を平面に射影変換する変換部と、
前記変換部が射影変換した前記基準フレーム画像と前記過去フレーム画像との差分画像を生成する差分画像生成部と、
前記差分画像生成部が生成した前記差分画像に基づいて前記車両の周辺に存在する障害物を検出する検出部と、
前記車両の移動量に基づいて前記フレーム画像を前記過去フレーム画像として記憶するタイミングを決定する決定部と、
前記フレーム画像に基づいて算出した前記車両の移動ベクトルを加算し、前記車両の移動量を算出する移動量算出部と、
を備え、
前記変換部は、
前記車両の前記移動量に基づいて前記基準フレーム画像および前記過去フレーム画像の位置合わせを行い、
前記検出部は、
前記車両の前記移動量の総和が閾値以下である場合に、前記基準フレーム画像と前記過去フレーム画像との間隔が第１間隔である第１差分画像に基づいて移動物を検出し、
前記車両の前記移動量の総和が閾値より大きい場合に、前記基準フレーム画像と前記過去フレーム画像との前記間隔が前記第１間隔以上の第２間隔である第２差分画像に基づいて静止物を検出する
ことを特徴とする障害物検出装置。

【請求項2】

前記検出部は、
前記第２差分画像に含まれる静止物を抽出する抽出部と、
前記抽出部が連続する前記第２差分画像から抽出した前記静止物が同一の静止物であるか否かを判定する判定部と、
前記判定部が同一の静止物と判定した前記静止物を前記車両の周辺に存在する前記静止物に決定する障害物決定部と、
を備えることを特徴とする請求項１に記載の障害物検出装置。

【請求項3】

前記抽出部は、
前記第１差分画像および前記第２差分画像に含まれる特徴点をそれぞれ抽出し、
前記判定部は、
連続する前記第１差分画像に含まれる前記特徴点が第１距離以下である場合、当該特徴点は同一であると判定し、
連続する前記第２差分画像に含まれる前記特徴点が前記第１距離よりも短い第２距離以下である場合、当該特徴点は同一であると判定し、
前記障害物決定部は、
連続する前記第１差分画像に含まれる前記特徴点が同一であると前記判定部が判定した場合に、当該特徴点を前記移動物の特徴点に決定し、
連続する前記第２差分画像に含まれる前記特徴点が同一であると前記判定部が判定した場合に、当該特徴点を前記静止物の特徴点に決定する
ことを特徴とする請求項２に記載の障害物検出装置。

【請求項4】

前記差分画像を順次加算することでフレーム積分を行う積分処理部と、
前記積分処理部が行った前記フレーム積分の結果を前記差分画像から減算する減算処理部と、をさらに備えること
を特徴とする請求項１〜３のいずれか一項に記載の障害物検出装置。

【請求項5】

前記基準フレーム画像および前記過去フレーム画像の少なくとも一方からエッジを検出するエッジ検出部と、
前記エッジ検出部が検出した前記エッジを前記差分画像から減算するエッジ減算処理部と、をさらに備えること
を特徴とする請求項１〜４のいずれか一項に記載の障害物検出装置。

【請求項6】

前記エッジ減算処理部は、
前記差分画像を複数に分割した領域のうち、前記車両に近い領域から前記エッジを減算すること
を特徴とする請求項５に記載の障害物検出装置。

【請求項7】

前記差分画像に対して所定方向のエッジを強調する強調処理部をさらに備えること
を特徴とする請求項１〜６のいずれか一項に記載の障害物検出装置。

【請求項8】

撮像装置が車両の周辺を撮像したフレーム画像を順次取得する取得工程と、
前記取得工程で基準時刻に取得した基準フレーム画像および前記基準時刻より過去に取得した過去フレーム画像を平面に射影変換する変換工程と、
前記変換工程で射影変換した前記基準フレーム画像と前記過去フレーム画像との差分画像を生成する生成工程と、
前記生成工程で生成した前記差分画像に基づいて前記車両の周辺に存在する障害物を検出する検出工程と、
前記車両の移動量に基づいて前記フレーム画像を前記過去フレーム画像として記憶するタイミングを決定する決定工程と、
前記フレーム画像に基づいて算出した前記車両の移動ベクトルを加算し、前記車両の移動量を算出する算出工程と、
を含み、
前記変換工程は、
前記車両の前記移動量に基づいて前記基準フレーム画像および前記過去フレーム画像の位置合わせを行い、
前記検出工程は、
前記車両の前記移動量の総和が閾値以下である場合に、前記基準フレーム画像と前記過去フレーム画像との間隔が第１間隔である第１差分画像に基づいて移動物を検出し、
前記車両の前記移動量の総和が閾値より大きい場合に、前記基準フレーム画像と前記過去フレーム画像との前記間隔が前記第１間隔以上の第２間隔である第２差分画像に基づいて静止物を検出する
ことを特徴とする障害物検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、障害物検出装置および障害物検出方法に関する。

【背景技術】

【0002】

従来、車両の周辺を撮像装置で撮像した画像を用いて障害物を検出し、ユーザに対して検出した障害物を報知する装置が知られている。例えば、特許文献１には、撮像装置が撮像した２枚の画像の差分から障害物を検出する背景差分方式を用いる技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５−１６２１６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した従来技術では、例えば車両の進行や画像の歪み等によって２枚の画像の背景（路面等）がずれることで、かかる路面等の背景を障害物と誤検出してしまう恐れがあった。

【0005】

本発明は、上記に鑑みてなされたものであって、障害物の検出精度を向上させることができる障害物検出装置および障害物検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る障害物検出装置は、取得部と、変換部と、差分画像生成部と、検出部とを備える。取得部は、撮像装置が車両の周辺を撮像したフレーム画像を順次取得する。変換部は、取得部が基準時刻に取得した基準フレーム画像および基準時刻より過去に取得した過去フレーム画像を平面に射影変換する。差分画像生成部は、変換部が射影変換した基準フレーム画像と過去フレーム画像との差分画像を生成する。検出部は、差分画像生成部が生成した差分画像に基づいて車両の周辺に存在する障害物を検出する。

【発明の効果】

【0007】

本発明によれば、障害物の検出精度を向上させることができる。

【図面の簡単な説明】

【0008】

【図1A】図１Ａは、実施形態に係る障害物検出システムの概要を説明する図である。

【図1B】図１Ｂは、実施形態に係る障害物検出システムの概要を説明する図である。

【図2】図２は、実施形態に係る障害物検出システムの構成を示すブロック図である。

【図3】図３は、実施形態に係る撮像装置の配置例を示す図である。

【図4A】図４Ａは、実施形態に係る障害物検出装置による障害物の検出を説明する図である。

【図4B】図４Ｂは、実施形態に係る障害物検出装置による障害物の検出を説明する図である。

【図4C】図４Ｃは、実施形態に係る障害物検出装置による障害物の検出を説明する図である。

【図5】図５は、実施形態に係る移動量算出部が算出する移動量を説明する図である。

【図6】図６は、実施形態に係る決定部が行う処理の一例を説明する図である。

【図7】図７は、実施形態に係る変換部および差分画像生成部が行う処理の一例を説明する図である。

【図8】図８は、実施形態に係る補正部の積分処理部および減算処理部が行う補正処理の一例を説明する図である。

【図9】図９は、実施形態に係る補正部のエッジ検出部およびエッジ減算処理部が行う補正の一例を説明する図である。

【図10】図１０は、実施形態に係る前処理部が行う前処理の一例を説明する図である。

【図11】図１１は、実施形態に係る検出部の各部が行う処理の一例を説明する図である。

【図12】図１２は、実施形態に係る検出部の各部が行う処理の一例を説明する図である。

【図13】図１３は、実施形態に係る検出部の各部が行う処理の一例を説明する図である。

【図14】図１４は、実施形態に係る検出部の各部が行う処理の一例を説明する図である。

【図15】図１５は、実施形態に係る表示制御装置が生成する表示画像の一例を示す図である。

【図16】図１６は、実施形態に係る障害物検出装置が実行する検出処理の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する障害物検出装置および障害物検出方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

【0010】

（１．障害物検出装置の概要）
図１Ａおよび図１Ｂを用いて、実施形態に係る障害物検出システム１の概要について説明する。図１Ａおよび図１Ｂは、実施形態に係る障害物検出システム１の概要を説明する図である。障害物検出システム１は、車両に搭載され、車両周辺の障害物を検出してユーザ（運転者）に報知する。

【0011】

障害物検出システム１は、車両の周辺を撮像した基準フレーム画像と、基準フレーム画像より過去に撮像した過去フレーム画像との差分画像に基づき、車両周辺に存在する障害物を検出する。

【0012】

このとき、障害物検出システム１は、基準フレーム画像および過去フレーム画像を平面に射影変換し、射影変換後の基準フレーム画像および過去フレーム画像の差分画像を生成する。これにより、車両の移動による基準および過去フレーム画像の位置ずれや、フレーム画像の歪みを補正することができるため、障害物の誤検出を抑制することができ、障害物の検出精度を向上させることができる。

【0013】

障害物検出システム１は、撮像装置２０と、障害物検出装置１０と、表示制御装置３０と、表示装置４０と、を備える。

【0014】

撮像装置２０は、例えば車両の後方に搭載され、車両の後方周辺を一定の周期で順次撮像する。撮像装置２０は、撮像したフレーム画像を障害物検出装置１０および表示制御装置３０に出力する。

【0015】

障害物検出装置１０は、撮像装置２０が撮像したフレーム画像に基づいて車両の周辺に存在する障害物を検出する。障害物検出装置１０は、取得部１１０と、変換部１４０と、差分画像生成部１５０と、検出部１８０と、記憶部１９０と、を備える。

【0016】

取得部１１０は、撮像装置２０から順次フレーム画像を取得する。取得部１１０は、例えば現時刻を基準時刻とし、現時刻に撮像装置２０から取得した現フレーム画像を基準フレーム画像として変換部１４０に出力する。

【0017】

また、取得部１１０は、取得した現フレーム画像を記憶部１９０に記憶する。

【0018】

変換部１４０は、取得部１１０から取得したフレーム画像を平面に射影変換する。変換部１４０は、例えば図１Ｂに示す現フレーム画像Ｐ１に対して座標変換処理を行って、車両から後方を見た平面画像Ｐ２を生成する。このとき、変換部１４０は、車両の移動量に基づいて座標変換を行うことで、過去フレーム画像を撮像した時刻に車両が存在していた位置から車両後方を見た平面画像Ｐ２（以下、基準平面画像Ｐ２とも記載する）を生成する。

【0019】

また、変換部１４０は、記憶部１９０に記憶されている過去フレーム画像（図示せず）に対して座標変換処理を行って、車両から後方を見た平面画像（以下、過去平面画像と記載する）を生成する。変換部１４０は、生成した基準平面画像Ｐ２および過去平面画像を差分画像生成部１５０に出力する。

【0020】

差分画像生成部１５０は、基準平面画像Ｐ２と過去平面画像との差分を算出し、差分画像Ｐ３を生成する。

【0021】

上述したように、基準平面画像Ｐ２および過去平面画像は、変換部１４０によって異なる時刻に同じ位置から同じ方向（ここでは車両後方）を見た画像に変換されている。そのため、差分画像生成部１５０が基準平面画像Ｐ２と過去平面画像との差分を算出すると、路面上の白線などの背景が除去された差分画像Ｐ３（図１Ｂ参照）が得られる。

【0022】

差分画像生成部１５０は、得られた差分画像Ｐ３を検出部１８０に出力する。

【0023】

検出部１８０は、差分画像Ｐ３に基づいて障害物を検出する。差分画像Ｐ３は、背景を除去し障害物が残った画像である。検出部１８０は、例えば差分画像Ｐ３の特徴点を抽出することで差分画像Ｐ３から図１Ｂの検出結果Ｐ４に示す特徴点を障害物として検出する。検出部１８０は、検出した障害物を表示制御装置３０に出力する。

【0024】

表示制御装置３０は、例えばディスプレイである表示装置４０に表示画像を出力し、表示装置４０の表示を制御する。表示制御装置３０は、例えば撮像装置２０が撮像したフレーム画像を表示装置４０に表示させることで、運転者に車両の後方画像を提示する。

【0025】

また、表示制御装置３０は、検出部１８０から障害物の検出結果Ｐ４が入力されると、検出結果Ｐ４と現フレーム画像Ｐ１とを重ねた画像Ｐ５を表示装置４０に表示させることで、運転者に車両後方の障害物を報知する。

【0026】

このように、実施形態に係る障害物検出装置１０は、撮像装置２０が撮像したフレーム画像を平面に射影変換することで、フレーム画像の歪みや位置ずれを補正することができ、背景差分による障害物の誤検出を低減することができる。これにより、障害物検出装置１０の障害物検出精度を向上させることができ、障害物検出システム１は運転者に対してより的確に障害物を報知することができる。

【0027】

（２．障害物検出システム１の詳細）
次に、図２〜図１６を参照して、実施形態に係る障害物検出システム１の詳細について説明する。図２は、実施形態に係る障害物検出システム１の構成を示すブロック図である。なお、図２では、実施形態の特徴を説明するために必要な構成要素を機能ブロックで表しており、一般的な構成要素についての記載を省略している。

【0028】

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0029】

図２に示すように、障害物検出システム１は、撮像装置２０、障害物検出装置１０、表示制御装置３０および表示装置４０を備える。

【0030】

（２．１．撮像装置）
撮像装置２０は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備えた車載カメラである。撮像装置２０は、一定間隔の時刻ごと（例えば、１／３０秒ごと）に繰り返しフレーム画像を撮像する。

【0031】

撮像装置２０は、例えば図３に示すように車両Ｃの後部の背面ドアＣ１に設けられる。撮像装置２０の光軸２１は、車両Ｃの前後方向に沿って後方に向けられる。したがって、撮像装置２０は、車両Ｃの後方を撮像する。なお、図３は、実施形態に係る撮像装置２０の配置例を示す図である。

【0032】

また、撮像装置２０は、例えば魚眼レンズ等の広角レンズを備えており、１８０度以上の画角θを有している。そのため、撮像装置２０は、車両Ｃの後方に広がる１８０度以上の領域を撮像することができる。なお、図３に示す撮像装置２０の配置は一例であり、これに限定されない。例えば撮像装置２０を車両Ｃの前方や側方に配置してもよい。また、撮像装置２０が備える撮像素子は１つに限定されず、複数であってもよい。

【0033】

（２．２．障害物検出装置１０）
図２に示す障害物検出装置１０は、撮像装置２０が撮像したフレーム画像に基づいて背景差分法を用いて車両Ｃの後方に存在する障害物を検出する。なお、障害物検出装置１０が検出する障害物は立体物であり、移動物および静止物の少なくとも一方が含まれる。

【0034】

（障害物検出の概要）
ここで、まず図４Ａ〜図４Ｃを用いて、車両Ｃが移動している場合に、背景差分法を用いて障害物を検出する仕組みについて簡単に説明する。図４Ａ〜図４Ｃは、実施形態に係る障害物検出装置１０による障害物の検出を説明する図である。

【0035】

背景差分法は、例えば現在と過去の異なる時間に同一位置で撮像した２枚のフレーム画像の差分を求めることで、過去に撮像したフレーム画像には存在しない物体を抽出する方法である。かかる背景差分法は、一般的に、位置が固定された撮像装置２０が撮像したフレーム画像を用いて移動物を検出する場合に用いられる。

【0036】

実施形態に係る障害物検出装置１０では、車両Ｃが所定距離移動した前後の撮像画像を平面に射影変換してから背景差分法を用いることで、静止物Ｓ１を含む障害物の検出を行う。以下、例えば車両Ｃが後方に移動している間に静止物Ｓ１を検出する場合について説明する。なお、ここでは、車両Ｃの後方に静止物Ｓ１と路面Ｒに標示された白線Ｗ１が存在するものとする。また、図４Ａ〜図４Ｃでは、白線Ｗ１を見やすくするために、所定の高さを有する白線Ｗ１を図示しているが、実際には、白線Ｗ１はほぼ高さがゼロであり、以下では白線Ｗ１の高さがゼロであるものとして説明する。

【0037】

図４Ａに示すように、時刻ｔ１において撮像装置２０が撮像した過去フレーム画像を、障害物検出装置１０が平面Ｆに射影変換して過去平面画像ＰＦ１を生成する。この場合、障害物検出装置１０は、過去フレーム画像が路面Ｒを撮像したものとして射影変換を行う。そのため、障害物検出装置１０は、路面Ｒの位置Ｒ１から位置Ｒ２の間に白線Ｗ１が存在し、位置Ｒ２から位置Ｒ３の間に静止物Ｓ１があるものとして過去平面画像ＰＦ１を生成する。

【0038】

なお、障害物検出装置１０は、時刻ｔ１に撮像された過去フレーム画像を、時刻ｔ１において射影変換してもよく、次の時刻ｔ２において、時刻ｔ２に撮像された基準フレーム画像Ｐ１と同時に射影変換してもよい。

【0039】

次に、図４Ｂの矢印に示すように車両Ｃが後退し、時刻ｔ２において撮像装置２０が車両Ｃ後方を撮像したとする。この場合、障害物検出装置１０は、図４Ｃに示すように、時刻ｔ２において撮像装置２０が撮像した基準フレーム画像Ｐ１を、平面Ｆに射影変換して基準平面画像Ｐ２を生成する。

【0040】

すなわち、障害物検出装置１０は、車両Ｃの移動量（図４Ｂの矢印参照）に応じて、図４Ｃの矢印に示すように撮像装置２０の位置を移動させた仮想視点から車両Ｃ後方を見た基準平面画像Ｐ２を生成する。これにより、異なる時刻ｔ１、ｔ２において同一位置から撮像した過去平面画像ＰＦ１および基準平面画像Ｐ２を生成することができる。

【0041】

このとき、障害物検出装置１０は、基準フレーム画像Ｐ１が路面Ｒを撮像したものとして射影変換を行う。すなわち、障害物検出装置１０は、図４Ｂおよび図４Ｃに示すように、路面Ｒの位置Ｒ１から位置Ｒ２の間に白線Ｗ１が存在し、位置Ｒ２から位置Ｒ４の間に静止物Ｓ１があるものとして基準平面画像Ｐ２を生成する。

【0042】

図４Ｃに示すように、位置Ｒ２から位置Ｒ３までの距離ＤＰ１は、位置Ｒ２から位置Ｒ４までの距離ＤＰ２よりも長い。そのため、過去平面画像ＰＦ１に描画される静止物Ｓ１の大きさは、基準平面画像Ｐ２に描画される静止物Ｓ１の大きさよりも大きくなる。

【0043】

一方、白線Ｗ１は路面Ｒ上に標示されており、時刻ｔ１、ｔ２において、いずれも位置Ｒ１から位置Ｒ２の間に存在する。そのため、白線Ｗ１は、過去平面画像ＰＦ１および基準平面画像Ｐ２の同じ位置に同じ大きさで描画される。

【0044】

このように、異なる時刻ｔ１、ｔ２に撮像した過去フレーム画像および基準フレーム画像Ｐ１を平面Ｆに射影変換した過去平面画像ＰＦ１および基準平面画像Ｐ２において、路面Ｒや白線Ｗ１など路面Ｒと同じ高さの標示物は、同じ位置に同じ大きさで描画される。

【0045】

一方、静止物Ｓ１のように高さのある立体物は、過去平面画像ＰＦ１および基準平面画像Ｐ２において異なる大きさに描画される。そのため、過去平面画像ＰＦ１および基準平面画像Ｐ２の差分を算出することで、静止物Ｓ１を抽出することができる。

【0046】

ここで、上述したように、撮像装置２０の画角θは１８０度以上である（図３参照）ため撮像装置２０が撮像したフレーム画像は歪んでいる。かかるフレーム画像の歪みは、車両Ｃの遠方、すなわちフレーム画像の周辺の方が大きくなる。

【0047】

変換部１４０がフレーム画像を平面Ｆに射影変換することで、かかるフレーム画像の歪みを補正することができるが、フレーム画像の周辺の歪みが大きいため、補正後の画像である平面画像は、画像周辺ほど元のフレーム画像と異なる画像となる。

【0048】

したがって、フレーム画像を射影変換し、フレーム画像の歪みを補正した平面画像では、遠方に存在する障害物ほど、フレームごとの差分が大きくなる。そのため、障害物検出装置１０が平面Ｆに射影変換を行って障害物を検出することで、射影変換を行わない場合に比べて遠方に存在する障害物の検出精度を向上させることができる。

【0049】

なお、障害物検出装置１０が平面Ｆに射影変換を行うとしたが、例えば俯瞰画像に変換しても同様に障害物を検出することができる。ただし、光軸２１と垂直な平面Ｆに射影変換を行う場合の方が、俯瞰画像に変換する場合に比べて遠方に存在する障害物の検出精度を向上させることができる。

【0050】

これは、フレーム画像を俯瞰画像に変換すると、遠方ほど拡大されて変換されるためである。すなわち、フレーム画像を俯瞰画像に変換すると、遠方ほど拡大され解像度が劣化するため遠方の障害物の検出精度が低下してしまう。

【0051】

フレーム画像を光軸２１（図３参照）と垂直な平面Ｆに射影変換することで、平面画像の解像度の劣化を抑制することができる。そのため、遠方の障害物の検出精度の低下を抑制することができる。

【0052】

なお、ここでは、車両Ｃが移動した場合に静止物を障害物として検出する方法について説明したが、車両Ｃの移動量が小さくほぼ停止している場合は、移動物を検出することができる。この場合、フレーム画像を平面Ｆに射影変換することで、車両Ｃが移動している場合と同様に、遠方に存在する移動物の検出精度を向上させることができる。

【0053】

図２に戻り、障害物検出装置１０の詳細について説明する。障害物検出装置１０は、ＣＰＵ（Central Processing Unit）および記憶部１９０などを備えたマイクロコンピュータである。障害物検出装置１０は、例えばＥＣＵ（Electric Control Unit）に実装される。

【0054】

障害物検出装置１０のＣＰＵは、例えばＲＯＭに記憶されたプログラムを読み出して実行することによって、取得部１１０、移動量検出部１２０、決定部１３０および障害物検出部１００として機能する。

【0055】

また、取得部１１０、移動量検出部１２０、決定部１３０および障害物検出部１００の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

【0056】

（２．２．１．取得部）
取得部１１０は、撮像装置２０が撮像したフレーム画像を順次取得する。取得部１１０は、現時刻で取得した現フレーム画像を基準フレーム画像Ｐ１として差分画像生成部１５０に出力する。また、取得部１１０は、取得したフレーム画像を第１フレーム画像情報ＦＰ１として記憶部１９０に記憶する。

【0057】

取得部１１０は、決定部１３０が決定したタイミングで、取得したフレーム画像を第２フレーム画像情報ＦＰ２として記憶部１９０に記憶する。第１フレーム画像情報ＦＰ１および第２フレーム画像情報ＦＰ２は、障害物検出部１００で算出される差分画像の過去フレーム画像として用いられる。なお、当該タイミングについては、図６を用いて後述する。

【0058】

（２．２．２．移動量検出部）
移動量検出部１２０は、撮像装置２０が撮像したフレーム画像に基づいて車両Ｃの移動量を検出する。なお、移動量検出部１２０が検出する移動量には、車両Ｃの並進量と回転量（回転角度）が含まれる。移動量検出部１２０は、移動ベクトル算出部１２１と、移動量算出部１２２とを備える。

【0059】

（２．２．２．１．移動ベクトル算出部）
移動ベクトル算出部１２１は、フレーム画像からオプティカルフローを抽出する。移動ベクトル算出部１２１は、抽出したオプティカルフローを路面座標に投影したフローベクトルに基づいて車両Ｃの移動ベクトルを算出する。

【0060】

例えば、移動ベクトル算出部１２１が複数のオプティカルフローを抽出した場合、移動ベクトル算出部１２１はそれぞれのオプティカルフローを路面座標に投影し、各オプティカルフローに対応する複数のフローベクトルを算出する。移動ベクトル算出部１２１は算出した複数のフローベクトルの度数分布に基づいて車両Ｃの移動ベクトルを決定する。

【0061】

具体的には、例えば移動ベクトル算出部１２１は、複数のフローベクトルに基づいて車両Ｃの旋回中心の候補をそれぞれ算出する。例えば移動ベクトル算出部１２１は、各フローベクトルの法線の延長線と車両Ｃの後輪車軸の延長線とが交差する点を旋回中心の候補とする。移動ベクトル算出部１２１は算出した旋回中心の候補のヒストグラムを生成し、生成したヒストグラムのピークに該当する旋回中心を車両Ｃの移動ベクトルの旋回中心Ｘに決定する。なお、決定した旋回中心Ｘが所定の範囲内にない場合、移動ベクトル算出部１２１は車両Ｃが「直進」していると判定する。

【0062】

移動ベクトル算出部１２１は、複数のフローベクトルの旋回角度を旋回中心Ｘに基づいてそれぞれ算出し、算出した旋回角度のヒストグラムを生成する。移動ベクトル算出部１２１は、ヒストグラムのピークに該当する旋回角度を車両Ｃの移動ベクトルの旋回角度Ｖθに決定する。

【0063】

移動ベクトル算出部１２１は、車両Ｃの旋回角度Ｖθに基づいて複数のフローベクトルの並進量を算出し、算出した並進量のヒストグラムを生成する。移動ベクトル算出部１２１は、ヒストグラムのピークに該当する並進量を車両Ｃの並進量Ｖｍに決定する。

【0064】

ここで、例えば移動前の車両Ｃの進行方向をＹ軸、左右方向をＸ軸とし、車両Ｃの中心を原点とした座標系（以下、移動前の座標系と記載する）において、Ｘ軸における車両Ｃの並進量ＶｍｘおよびＹ軸における車両Ｃの並進量Ｖｍｙをそれぞれ算出するとする。

【0065】

この場合、移動ベクトル算出部１２１は、移動後の特徴点（移動ベクトルの終点）を旋回角度Ｖθに基づいて移動前の座標系に座標変換してから並進量Ｖｍｘ、Ｖｍｙをそれぞれ算出する。

【0066】

移動ベクトル算出部１２１は、算出した旋回角度Ｖθおよび並進量Ｖｍｘ、Ｖｍｙを移動ベクトルとして移動量算出部１２２に出力する。

【0067】

（２．２．２．２．移動量算出部）
移動量算出部１２２は、移動ベクトル算出部１２１が算出した移動ベクトルを加算することで、車両Ｃの移動量を算出する。例えば図５に示すように、移動ベクトル算出部１２１が時刻ｔ１および時刻ｔ２間の移動ベクトルＶａと時刻ｔ２および時刻ｔ３間の移動ベクトルＶｂとを算出したものとする。この場合、移動量算出部１２２は、移動ベクトル算出部１２１が算出した移動ベクトルＶａ、Ｖｂを加算して、時刻ｔ１および時刻ｔ３間の移動ベクトルＶｃを算出する。なお、図５は、実施形態に係る移動量算出部１２２が算出する移動量を説明する図である。

【0068】

ここで、例えば移動ベクトルＶａ、Ｖｂがそれぞれ移動前の座標系、すなわち移動ベクトルＶａ、Ｖｂの始点を原点とし進行方向（車両後方）をＹ軸とする座標系における並進量Ｖａｘ、Ｖａｙ、Ｖｂｘ、Ｖｂｙとして算出されている場合について説明する。この場合、移動量算出部１２２は、例えば移動ベクトルＶｂを旋回角度に基づいて移動ベクトルＶａの始点を原点とする座標系に座標変換してから、並進量Ｖａｘ、Ｖａｙ、Ｖｂｘ、Ｖｂｙを座標軸ごとに加算して移動ベクトルＶｃ＝（Ｖｃｘ、Ｖｃｙ）を算出する。

【0069】

移動量算出部１２２は、移動ベクトルＶｃを算出した移動量として決定部１３０に出力する。

【0070】

（２．２．３．決定部）
決定部１３０は、障害物検出部１００が検出する障害物の種別（移動物または静止物）を決定する。決定部１３０は、各時刻で取得した基準フレーム画像Ｐ１を用いて移動物および静止物のどちらを検出するかを決定する。決定部１３０は、車両Ｃの移動量に基づき、基準フレーム画像Ｐ１を撮像した時刻ごとに、移動物を検出するか静止物を検出するかを決定する。

【0071】

また、決定部１３０は、取得部１１０がフレーム画像を第２フレーム画像情報ＦＰ２として記憶部１９０に記憶するタイミングを決定する。例えば、決定部１３０は、静止物を検出するタイミングでフレーム画像を第２フレーム画像情報ＦＰ２として記憶部１９０に記憶するようにする。

【0072】

ここで、図６を用いて、決定部１３０が車両Ｃの移動量に応じて障害物の種別およびタイミングを決定する方法の一例について説明する。図６は、実施形態に係る決定部１３０が行う処理の一例を説明する図である。図６では、説明を簡略化するために、車両Ｃが直進する場合、すなわち車両Ｃの移動量Ｙが並進量である場合について説明する。

【0073】

なお、例えば車両Ｃが旋回する場合は、移動ベクトルＶｃの長さ（図５参照）を移動量Ｙとする。また、図６では時刻ｔ０から順次所定の間隔ごとに各時刻で取得部１１０がフレーム画像を取得するものとする。

【0074】

移動量検出部１２０は、図６（ａ）に示すように、時刻ｔ０〜ｔ１０ごとに１フレーム間の移動量Ｙを算出する。また、移動量検出部１２０は、図６（ｂ）に示すように、１フレーム間の移動量Ｙを加算することで、各時刻ｔ０〜ｔ１０において移動量Ｙの総和を算出する。

【0075】

決定部１３０は、移動量Ｙの総和に応じて障害物検出部１００が検出する障害物の種別および第２フレーム画像を記憶部１９０に記憶するタイミングを決定する。決定部１３０は、移動量Ｙの総和が閾値Ｔｈ１（図６の例では、Ｔｈ１＝７５ｍｍ）を超えたか否かを判定する。移動量Ｙの総和が閾値Ｔｈ１以下の場合は図６（ｃ）に示す移動量フラグを「０」とし、閾値Ｔｈ１を超えた場合は「１」にする。

【0076】

また、例えば時刻ｔ４で移動量フラグが「１」になった場合、移動量検出部１２０は移動量Ｙの総和をゼロにリセットし、時刻ｔ５から再度移動量Ｙの総和を算出する。したがって、時刻ｔ５では移動量フラグは「１」から「０」に切り替わる。なお、移動量フラグの初期値、すなわち時刻ｔ０の場合の移動量フラグの値は「１」であるとする。

【0077】

決定部１３０は、移動量フラグが「０」の場合に、障害物検出部１００が移動物を検出すると決定する。また、決定部１３０は、移動量フラグが「１」の場合に、障害物検出部１００が静止物を検出すると決定し、移動量フラグが「１」である時刻を、第２フレーム画像情報ＦＰ２を記憶するタイミングに決定する。

【0078】

図６（ｄ）の例では、決定部１３０は、移動量フラグが「１」である時刻ｔ０、ｔ４、ｔ７を、第２フレーム画像情報ＦＰ２を記憶するタイミングに決定する。これにより、取得部１１０は、図６（ｄ）に示すように時刻ｔ０、ｔ４、ｔ７で取得したフレーム画像を第２フレーム画像情報ＦＰ２として記憶部１９０に記憶する。なお、図６（ｄ）に示すように、取得部１１０は、各時刻で取得したフレーム画像を第１フレーム画像情報ＦＰ１として記憶部１９０に記憶する。

【0079】

また、図６（ｅ）に示すように移動量フラグが「０」である時刻ｔ１〜ｔ３、ｔ５、ｔ６、ｔ８〜ｔ１０で、障害物検出部１００が移動物を検出すると決定する。この場合、障害物検出部１００は、第１フレーム画像情報ＦＰ１として記憶部１９０に記憶されているフレーム画像を過去フレーム画像として算出した差分画像（以下、第１差分画像と記載する）に基づいて移動物を検出する。

【0080】

図６（ｄ）に示すように、取得部１１０は、各時刻ｔ０〜ｔ１０で取得したフレーム画像を第１フレーム画像情報ＦＰ１として記憶部１９０に記憶する。そのため、障害物検出部１００が移動物を検出する場合に用いる過去フレーム画像は、基準フレーム画像Ｐ１の１つ前の時刻に第１フレーム画像情報ＦＰ１として記憶したフレーム画像になる。

【0081】

具体的に、例えば時刻ｔ１で障害物検出部１００が移動物を検出する場合、障害物検出部１００は、時刻ｔ１で取得部１１０が取得したフレーム画像と、時刻ｔ０で取得したフレーム画像との第１差分画像を算出する。このとき、第１差分画像の算出に用いる過去フレーム画像と基準フレーム画像Ｐ１との第１間隔Ｔ１は、１フレーム間隔となる。

【0082】

一方、決定部１３０は、図６（ｅ）に示すように移動量フラグが「１」である時刻ｔ４、ｔ７で障害物検出部１００が静止物を検出すると決定する。この場合、障害物検出部１００は、第２フレーム画像情報ＦＰ２として記憶部１９０に記憶されているフレーム画像を過去フレーム画像として算出した差分画像（以下、第２差分画像と記載する）に基づいて静止物を検出する。

【0083】

図６（ｄ）に示すように、取得部１１０は、各時刻ｔ０、ｔ４、ｔ７で取得したフレーム画像を第２フレーム画像情報ＦＰ２として記憶部１９０に記憶する。そのため、障害物検出部１００が静止物を検出する場合に用いる過去フレーム画像は、基準フレーム画像Ｐ１の１つ前のタイミングで第２フレーム画像情報ＦＰ２として記憶したフレーム画像になる。

【0084】

具体的に、例えば時刻ｔ４で障害物検出部１００が静止物を検出する場合、障害物検出部１００は、時刻ｔ４で取得部１１０が取得したフレーム画像と、時刻ｔ０で取得したフレーム画像との第２差分画像を算出する。このとき、第２差分画像の算出に用いる過去フレーム画像と基準フレーム画像Ｐ１との第２間隔Ｔ２は、４フレーム間隔となり、第１差分画像の算出に用いるフレーム画像の間隔（第１間隔Ｔ１）より長くなる。以下、当該第１、第２間隔Ｔ１、Ｔ２について説明する。

【0085】

上述したように、静止物は車両Ｃが移動している場合に検出することができ、移動物は車両Ｃが移動していない場合でも検出することができる。そこで、決定部１３０は、基準フレーム画像Ｐ１と過去フレーム画像との間の間隔（第１間隔Ｔ１）が短く車両Ｃがほぼ移動していない場合に、第１差分画像から移動物を検出すると決定する。一方、障害物検出部１００は、基準フレーム画像Ｐ１と過去フレーム画像との間の間隔（第２間隔Ｔ２）が長く車両Ｃが閾値Ｔｈ１以上移動した場合に、第２差分画像から静止物を検出すると決定する。

【0086】

このように、決定部１３０は、車両Ｃの移動量に応じて、検出する障害物の種別およびフレーム画像を記憶するタイミングを決定することで、基準フレーム画像Ｐ１と過去フレーム画像との間の間隔を決定する。

【0087】

なお、図６に示すように、時刻ｔ０と時刻ｔ４との間は４フレーム間隔であり、時刻ｔ４と時刻ｔ７との間は３フレーム間隔である。このように、第２間隔Ｔ２は、車両Ｃの移動速度に応じて変化する。そのため、例えば１フレーム間で車両Ｃが閾値Ｔｈ１以上移動した場合など、第２間隔Ｔ２が第１間隔Ｔ１と同じ長さになる場合もある。

【0088】

（２．２．４．検出制御部）
図２に戻る。障害物検出部１００は、決定部１３０の決定にしたがって、各時刻において第１差分画像または第２差分画像を算出し、移動物または静止物を検出する。第１差分画像および第２差分画像は、過去フレーム画像が第１フレーム画像情報ＦＰ１であるか第２フレーム画像情報ＦＰ２であるかを除き、同じ処理手順で算出される。そのため、以下、説明を簡略化するために、障害物検出部１００が第２差分画像に基づいて静止物を検出する場合を例にとって説明する。

【0089】

障害物検出部１００は、移動量フラグが「１」である時刻において、取得部１１０が取得したフレーム画像、および、当該時刻の１つ前のタイミングで第２フレーム画像情報ＦＰ２として記憶されたフレーム画像をそれぞれ平面Ｆに射影変換する。

【0090】

障害物検出部１００は、射影変換後のフレーム画像の差分から第２差分画像を算出する。障害物検出部１００は、算出した第２差分画像に対して補正処理と、強調処理等の前処理と、を行って、第２差分画像に含まれるノイズ成分を除去するとともに、障害物成分を強調する。障害物検出部１００は、処理後の第２差分画像から静止物を検出する。

【0091】

障害物検出部１００は、変換部１４０、差分画像生成部（生成部）１５０、補正部１６０、前処理部１７０および検出部１８０を備える。

【0092】

（２．２．４．１．変換部）
変換部１４０は、取得部１１０が取得したフレーム画像を平面Ｆに射影変換して平面画像を生成する（図４Ａ〜図４Ｃ参照）。

【0093】

例えば図７に示すように、変換部１４０は、時刻ｔ７（図６参照）に取得した基準フレーム画像Ｐ１を平面Ｆに射影変換して平面画像Ｐ２を生成する。このとき、変換部１４０は、移動量検出部１２０が検出した車両Ｃの移動量に基づいて平面画像Ｐ２の視点を移動させる。

【0094】

また、変換部１４０は、時刻ｔ７の１つ前のタイミングである時刻ｔ４に第２フレーム画像情報ＦＰ２として記憶された過去フレーム画像を平面Ｆに射影変換して平面画像Ｐ２１を生成する。

【0095】

変換部１４０は、車両Ｃの移動量に基づいて、基準フレーム画像Ｐ１および過去フレーム画像を同一平面Ｆに射影変換することで、基準フレーム画像Ｐ１および過去フレーム画像の位置合わせを行うことができる。

【0096】

（２．２．４．２．差分画像生成部）
差分画像生成部１５０は、図７に示すように変換部１４０が生成した平面画像Ｐ２、Ｐ２１の差分を算出し第２差分画像Ｐ３を生成する。差分画像生成部１５０は、平面画像Ｐ２、Ｐ２１の画素ごとに輝度情報を比較する。例えば差分画像生成部１５０は、平面画像Ｐ２、Ｐ２１の画素ごとに輝度値の差分を算出する。

【0097】

例えば、上述したように、路面Ｒに標示される白線Ｗ１（図４Ａ〜図４Ｃ参照）等の立体物でない部分は、平面画像Ｐ２、Ｐ２１で変化しないため、輝度値の差分がゼロになる。輝度値の差分がゼロの画素は、図７の第２差分画像Ｐ３上では黒色で描画される。一方、立体物である静止物は、平面画像Ｐ２、Ｐ２１で変化するため、輝度値の差分がゼロにならない。したがって、静止物に対応する画素は、図７で示すように黒色にならない。なお、図７は、実施形態に係る変換部１４０および差分画像生成部１５０が行う処理の一例を説明する図である。

【0098】

（２．２．４．３．補正部）
図２に戻る。補正部１６０は、差分画像生成部１５０が生成した第２差分画像Ｐ３に対して補正処理を施し、補正画像を生成する。これにより、第２差分画像Ｐ３に含まれる立体物でない部分（ノイズ成分）の輝度情報を低減することができる。

【0099】

補正部１６０は、例えばフレーム積分に基づいた補正やエッジ検出に基づいた補正を行う。補正部１６０は、積分処理部１６１、減算処理部１６２、エッジ検出部１６３およびエッジ減算処理部１６４を備える。

【0100】

（フレーム積分に基づいた補正）
図８を用いて、補正部１６０の積分処理部１６１および減算処理部１６２が行うフレーム積分に基づいた補正について説明する。図８は、実施形態に係る補正部１６０の積分処理部１６１および減算処理部１６２が行う補正処理の一例を説明する図である。

【0101】

図８に示すように、差分画像生成部１５０が生成した第２差分画像Ｐ３には、例えば領域Ｄ１に車両Ｃの影等が差分として残っている。

【0102】

そこで、積分処理部１６１は、１つ前のタイミング（図６の時刻ｔ４）で生成した第２積分画像情報ＰＩ２に第２差分画像Ｐ３を加算して、フレーム積分を行い、積分結果Ｐ１３を生成する。積分処理部１６１は、生成した積分結果Ｐ１３を減算処理部１６２に出力する。また積分処理部１６１は、生成した積分結果Ｐ１３を第２積分画像情報ＰＩ２として記憶部１９０に記憶する。なお、積分処理部１６１は、第１差分画像のフレーム積分を行った積分結果を第１積分画像情報ＰＩ１（図２参照）として記憶部１９０に記憶する。

【0103】

減算処理部１６２は、図８に示すように、第２差分画像Ｐ３から積分結果Ｐ１３を減算して第１補正画像ＰＣ１を生成する。車両Ｃの影は、フレーム間での変化量が小さく、第２差分画像Ｐ３のほぼ同じ領域に差分として現れる。そのため、第２差分画像Ｐ３のフレーム積分を行うと、積分結果Ｐ１３の領域Ｄ１に車両Ｃの影が差分として残る。

【0104】

したがって、第２差分画像Ｐ３から積分結果Ｐ１３を減算することで、第１補正画像ＰＣ１の領域Ｄ１に示すように、第２差分画像Ｐ３に残っていた車両Ｃの影（ノイズ成分）を小さくすることができる。

【0105】

（エッジ検出に基づいた補正）
図９を用いて、補正部１６０のエッジ検出部１６３およびエッジ減算処理部１６４が行うエッジ検出に基づいた補正について説明する。図９は、実施形態に係る補正部１６０のエッジ検出部１６３およびエッジ減算処理部１６４が行う補正の一例を説明する図である。

【0106】

差分画像生成部１５０が生成した第２差分画像Ｐ３には、上述した車両Ｃの影による誤差成分に加え、例えばマンホールや路面Ｒ上の凹凸など、僅かに高さのある立体物によるノイズ成分が含まれる。

【0107】

また、移動量検出部１２０で検出した移動量に誤差が含まれる場合、変換部１４０による平面画像Ｐ２、Ｐ２１の位置合わせでずれが発生し、かかる位置ずれの影響で第２差分画像Ｐ３にノイズ成分が含まれてしまう可能性がある。特に、路面Ｒ上の白線など、輪郭成分が強い模様は、位置合わせが僅かにずれても大きなノイズ成分として第２差分画像Ｐ３にあらわれる。

【0108】

そこで、上述したノイズ成分が平面画像Ｐ２、Ｐ２１のエッジとして検出することができる点に着目することで、当該ノイズ成分を第２差分画像Ｐ３から低減する。

【0109】

まずエッジ検出部１６３は平面画像Ｐ２、Ｐ２１の少なくとも一方からエッジを検出する。次にエッジ減算処理部１６４はエッジ検出部１６３が検出したエッジを第１補正画像ＰＣ１から減算する。これにより、第２差分画像Ｐ３に含まれるノイズ成分を低減することができる。

【0110】

具体的には、図９に示すように、エッジ減算処理部１６４は、例えばエッジ検出部１６３が平面画像Ｐ２、Ｐ２１から検出したエッジのうち、車両Ｃに近い領域（図９では下方領域）のエッジを含むエッジ画像ＰＥ１、ＰＥ２を足しあわせてエッジ画像ＰＥ３を生成する。エッジ減算処理部１６４は、第１補正画像ＰＣ１からエッジ画像ＰＥ３を減算することで、第１補正画像ＰＣ１の下方領域からエッジを減算し、第２補正画像ＰＣ２を生成する。

【0111】

上述したように、位置合わせ時の僅かなずれによって、路面Ｒ上の白線など、輪郭成分が強い模様がノイズ成分として第２差分画像Ｐ３にあらわれる。路面Ｒは、第２差分画像Ｐ３のうち、車両Ｃに近い領域に描画されることが多い。

【0112】

そこで、エッジ減算処理部１６４は、補正後の第２差分画像（第１補正画像ＰＣ１）を複数に分割した領域のうち、車両Ｃに近い領域（エッジ画像ＰＥ３の下方領域）から、エッジ検出部１６３で検出したエッジを減算する。これにより、第２差分画像Ｐ３にノイズ成分としてあらわれる路面上の白線など、輪郭成分が強い模様を低減することができる。

【0113】

例えば図９では、第１補正画像ＰＣ１の領域Ｄ２に残るノイズ成分が、第２補正画像ＰＣ２の領域Ｄ２では低減されていることがわかる。このように、車両Ｃに近い領域のエッジを第１補正画像ＰＣ１から減算することで、障害物成分を低減することなく、ノイズ成分のみを低減することができる。

【0114】

（２．２．４．４．前処理部）
図２に戻る。前処理部１７０は、補正部１６０が生成した第２補正画像ＰＣ２に対して強調処理等の前処理を施す。これにより、第２補正画像ＰＣ２に含まれる立体物を強調することができる。前処理部１７０は、強調処理部１７１、二値化処理部１７２、フィルタ部１７３およびエリア分割処理部１７４を備える。以下、図１０を用いて前処理部１７０が行う前処理の一例について説明する。図１０は、実施形態に係る前処理部１７０が行う前処理の一例を説明する図である。

【0115】

（強調処理部）
強調処理部１７１は、第２補正画像ＰＣ２に含まれる所定方向のエッジを強調する強調処理を行う。差分画像に含まれる立体物（黒色以外の画素）は、車両Ｃから遠ざかる方向に連なる傾向がある。すなわち、差分画像に含まれる立体物は、画像周辺では対角線方向に、画像中央では縦方向に連なる傾向がある。

【0116】

そこで、強調処理部１７１は、図１０に示すように、例えば横方向（車両Ｃの左右方向）のＳｏｂｅｌフィルタを用いて第２補正画像ＰＣ２に含まれる縦方向のエッジを強調する処理を行って第１強調画像ＰＣ３を生成する。あるいは、第２補正画像ＰＣ２の画像周辺領域では対角線方向のエッジを強調し、画像中央領域では縦方向のエッジを強調する処理を行ってもよい。強調処理部１７１は、生成した第１強調画像ＰＣ３を二値化処理部１７２に出力する。

【0117】

（二値化処理部）
二値化処理部１７２は、第１強調画像ＰＣ３の各画素の輝度情報と閾値Ｔｈ２との比較に基づいて各画素が閾値Ｔｈ２よりも高い値であるか低い値であるかの二値に分類する二値化を行い、二値化画像ＰＣ４を生成する。二値化画像ＰＣ４は、図１０に示すように、白と黒の二階調の画像となる。

【0118】

二値化処理部１７２が二値化処理を行うことで、平面画像Ｐ２、Ｐ２１の輝度値の差が小さい、すなわち立体物情報が少ない画素を削除（マスク）することができる。

【0119】

（フィルタ部）
フィルタ部１７３は、二値化画像ＰＣ４をフィルタ処理することで、二値化画像ＰＣ４に含まれるノイズを除去する。例えば、フィルタ部１７３は、メディアンフィルタ処理を行うことで、二値化画像ＰＣ４の各画素の輝度値を平滑化してノイズを除去し、平滑化画像ＰＣ５を生成する。

【0120】

（エリア分割処理部）
エリア分割処理部１７４は、平滑化画像ＰＣ５を、各画素よりも大きな領域（エリア）に分割し、各エリアに立体物が含まれるか否かに応じてエリアの階調を二値に分類する。すなわち、エリア分割処理部１７４は、平滑化画像ＰＣ５の解像度を低くする解像度変換処理を行い、エリア画像ＰＣ６を生成する。

【0121】

具体的に、エリア分割処理部１７４は、平滑化画像ＰＣ５を画素よりも大きな複数のエリアに分割する。エリア分割処理部１７４は、分割したエリアに含まれる画素のうち、輝度情報が閾値Ｔｈ２以上の画素の数が閾値Ｔｈ３以上である場合、当該エリアの階調を白に分類する。

【0122】

また、エリア分割処理部１７４は、輝度情報が閾値Ｔｈ２以上の画素の数が閾値Ｔｈ３未満である場合、当該エリアの階調を黒に分類する。これにより、エリア分割処理部１７４は、図１０に示すように、低解像度の二値化画像であるエリア画像ＰＣ６を生成する。

【0123】

（２．２．４．５．検出部１８０）
図２に戻る。検出部１８０は、前処理部１７０で前処理を施した第２差分画像から静止物を検出する。検出部１８０は、連続する第２差分画像で同一の静止物を検出した場合、当該静止物を車両Ｃの周辺に存在する静止物に決定する。

【0124】

検出部１８０は、連続するタイミング（例えば図６の時刻ｔ４、ｔ７参照）で算出した第２差分画像に含まれる静止物が同一であるか否かに応じて静止物を検出する。これにより、静止物を精度よく検出することができる。

【0125】

検出部１８０は、抽出部１８１、判定部１８２および障害物決定部１８３を備える。図１１〜図１４を用いて、検出部１８０の各部が行う処理について説明する。図１１〜図１４は、実施形態に係る検出部１８０の各部が行う処理の一例を説明する図である。

【0126】

（抽出部）
抽出部１８１は、第２差分画像に含まれる特徴点を抽出する。具体的には、まず抽出部１８１は、図１１に示すように、二値化処理部１７２が生成した二値化画像ＰＣ４から特徴点候補を抽出する。図１１では、抽出した特徴点候補を特徴点画像ＰＣ７の四角で表している。

【0127】

抽出部１８１は、抽出した特徴点候補とエリア画像ＰＣ６とを乗算し、立体物が存在するエリアに含まれる特徴点候補を抽出する。抽出部１８１は、抽出した特徴点候補を静止物の特徴点であると判定する。

【0128】

具体的に、抽出部１８１は、エリア画像ＰＣ６のうち階調が白であるエリア内に存在する特徴点候補を障害物の特徴点であると判定する。図１１では、判定した特徴点を判定画像ＰＣ８の四角で表している。

【0129】

（判定部）
判定部１８２は、抽出部１８１が抽出した静止物の特徴点が連続する第２差分画像において同一の特徴点であるか否かを判定する。

【0130】

ここで、図１２を用いて、判定部１８２が連続する第２差分画像に含まれる静止物の特徴点ＳＰ１、ＳＰ２が同一の特徴点であるか否かを判定する場合について説明する。ここでは、判定部１８２は、所定時刻（例えば図６の時刻ｔ７）で抽出した特徴点ＳＰ１が、１つ前のタイミング（図６の時刻ｔ４）で抽出した特徴点ＳＰ２と同一の静止物に含まれる特徴点であるか否かを判定する。

【0131】

まず、判定部１８２は、時刻ｔ７で抽出した特徴点ＳＰ１の位置を、車両Ｃの移動量に応じた位置に変換することで、１つ前のタイミング（時刻ｔ４）で抽出した特徴点ＳＰ２と位置合わせを行う。

【0132】

判定部１８２は、図１２に示すように特徴点ＳＰ２と位置合わせ後の特徴点ＳＰ１との距離が第２距離Ｔｈ４以下である場合に、特徴点ＳＰ１と特徴点ＳＰ２とが同一であると判定する。

【0133】

なお、判定部１８２は、移動物の特徴点ＭＰ１、ＭＰ２（図示せず）が同一の特徴点であるか否かを判定する場合、特徴点ＭＰ２と位置合わせ後の特徴点ＭＰ１との距離が第２距離Ｔｈ４よりも長い第１距離Ｔｈ５（Ｔｈ４＜Ｔｈ５）以下である場合に、特徴点ＭＰ１と特徴点ＭＰ２が同一であると判定する。

【0134】

これは、静止物はフレーム画像間で大きく移動しないのに対し、移動物はフレーム画像間で大きく移動する可能性があるためである。そのため、移動物の特徴点が同一であるか否かを判定する閾値（第１距離Ｔｈ５）を静止物の判定に用いる閾値（第２距離Ｔｈ４）よりも長くすることで、移動物が大きく移動した場合にも、当該移動に追従して移動物を検出することができる。

【0135】

判定部１８２は、例えば図１２において、特徴点ＳＰ１と特徴点ＳＰ２とが同一であると判定した場合、所定時刻ｔ７（図６参照）で抽出した特徴点ＳＰ１を、１つ前のタイミング（時刻ｔ４）で抽出した特徴点ＳＰ２に更新し、新たな特徴点ＳＰ３を生成する。特徴点ＳＰ３には、判定部１８２が同一であると判定した回数に関する情報も含まれるものとする。例えば、判定部１８２が同一であると判定した場合、特徴点ＳＰ３の輝度値に一定の値を加算する。これにより、判定回数に関する情報を輝度情報として特徴点ＳＰ３に含めることができる。

【0136】

判定部１８２は、判定回数に関する情報を輝度情報として有する静止物の特徴点ＳＰ３を含む画像を生成し、静止物特徴点情報ＳＰとして記憶部１９０（図２参照）に記憶する。

【0137】

例えば図１３に判定部１８２が連続性を判定した静止物の特徴点を含む静止物特徴点情報ＳＰを示す。図１３に示すように、判定部１８２が同一であると判定した回数が多い特徴点は輝度値が高くより白い画素として描画される。

【0138】

なお、判定部１８２は移動物の特徴点についても静止物と同様に更新を行い、移動物の特徴点を含む画像を生成し、移動物特徴点情報ＭＰとして記憶部１９０（図２参照）に記憶する。

【0139】

例えば図１４に判定部１８２が連続性を判定した移動物の特徴点を含む移動物特徴点情報ＭＰを示す。図１４に示すように、判定部１８２が同一であると判定した回数が多い特徴点は輝度値が高くより白い画素として描画される。

【0140】

（障害物決定部）
障害物決定部１８３は、判定部１８２が所定回数以上同一であると判定した静止物の特徴点ＳＰ３を車両Ｃの周辺に存在する静止物の特徴点に決定する。例えば、障害物決定部１８３は、輝度値が閾値Ｔｈ６以上である特徴点を静止物の特徴点に決定する。障害物決定部１８３は、同様に移動物の特徴点を決定する。

【0141】

（２．２．５．記憶部）
図２に戻る。記憶部１９０は、例えば複数のフレームメモリを有し、各フレームメモリに第１、第２フレーム画像情報ＦＰ１、ＦＰ２や第１、第２積分画像情報ＰＩ１、ＰＩ２等を記憶する。記憶部１９０は、例えば所定時刻でフレームメモリに記憶している情報を障害物検出部１００に出力し、その後取得部１１０の取得結果や障害物検出部１００の処理結果に応じてフレームメモリに記憶する各情報を更新する。

【0142】

なお、記憶部１９０は、上述したフレームメモリ以外にも例えばＲＡＭやＨＤＤを備えていてもよい。ＲＡＭやＨＤＤは、例えば障害物検出装置１０の各部が実行する処理に応じた各種プログラムの情報等を記憶することができる。なお、障害物検出装置１０は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して各種プログラムの情報等を取得するようにしてもよい。

【0143】

（２．３．表示装置）
表示装置４０は、例えば車両Ｃに搭載されるディスプレイである。表示装置４０は、表示制御装置３０が生成する表示画像を表示する。例えば車両Ｃにナビゲーション装置（図示せず）が搭載される場合、表示装置４０は当該ナビゲーション装置が備えるディスプレイであってもよい。

【0144】

（２．４．表示制御装置）
表示制御装置３０は、表示装置４０に表示する表示画像を生成することで、表示装置４０を制御する。表示制御装置３０は、撮像装置２０が撮像したフレーム画像を表示画像として表示装置４０に表示させる。

【0145】

また、表示制御装置３０は、障害物検出装置１０が障害物を検出した場合、検出した障害物をフレーム画像に重畳して表示画像を生成する。例えば障害物検出装置１０が障害物の特徴点を複数検出する場合、表示制御装置３０は、例えば図１５に示すように所定数以上の特徴点を含む領域を四角の枠で囲って表示画像Ｐ６上に表示させることで、障害物を強調して表示するようにしてもよい。なお、図１５は、実施形態に係る表示制御装置３０が生成する表示画像Ｐ６の一例を示す図である。

【0146】

（３．検出処理）
次に、図１６を用いて、実施形態に係る障害物検出装置１０が実行する検出処理の処理手順について説明する。図１６は、実施形態に係る障害物検出装置１０が実行する検出処理の処理手順を示すフローチャートである。

【0147】

障害物検出装置１０は、例えば車両Ｃのシフトレバーの位置情報がバック（後進）を示す「Ｒ」である場合に、図１６に示す検出処理を実行する。障害物検出装置１０は、例えばフレーム画像ごと、すなわち撮像装置２０がフレーム画像を撮像する所定の間隔ごとに検出処理を実行する。なお、障害物検出装置１０が検出処理を実行する間隔は、所定の間隔に限定されない。障害物検出装置１０は、例えば複数のフレーム画像ごと、すなわち所定の間隔より長い周期で検出処理を実行してもよい。

【0148】

図１６に示すように、障害物検出装置１０は、まず、フレーム画像に基づいて車両Ｃの移動量を算出する（ステップＳ１０１）。障害物検出装置１０は、算出した移動量に基づいて後進した移動量フラグが「１」であるか否かを判定する（ステップＳ１０２）。

【0149】

障害物検出装置１０は、移動量フラグが「０」である場合（ステップＳ１０２のＮｏ）、移動物を検出するとし、基準フレーム画像Ｐ１および第１フレーム画像情報ＦＰ１を平面Ｆに射影変換する（ステップＳ１０３）。

【0150】

障害物検出装置１０は、射影変換した基準フレーム画像Ｐ１および第１フレーム画像情報ＦＰ１の差分に基づいて第１差分画像を生成する（ステップＳ１０４）。

【0151】

次に、障害物検出装置１０は、第１差分画像に対してフレーム積分に基づいた補正やエッジ検出に基づいた補正を行う（ステップＳ１０５）。障害物検出装置１０は、補正後の第１差分画像に対して強調処理やフィルタ処理等の前処理を行う（ステップＳ１０６）。

【0152】

障害物検出装置１０は、前処理後の第１差分画像から移動物を検出する（ステップＳ１０７）。

【0153】

一方、障害物検出装置１０は、移動量フラグが「１」である場合（ステップＳ１０２のＹｅｓ）、静止物を検出するとし、基準フレーム画像Ｐ１および第２フレーム画像情報ＦＰ２を平面Ｆに射影変換する（ステップＳ１０８）。

【0154】

障害物検出装置１０は、射影変換した基準フレーム画像Ｐ１および第２フレーム画像情報ＦＰ２の差分に基づいて第２差分画像を生成する（ステップＳ１０９）。

【0155】

次に、障害物検出装置１０は、第２差分画像に対してフレーム積分に基づいた補正やエッジ検出に基づいた補正を行う（ステップＳ１１０）。障害物検出装置１０は、補正後の第２差分画像に対して強調処理やフィルタ処理等の前処理を行う（ステップＳ１１１）。

【0156】

障害物検出装置１０は、前処理後の第２差分画像から静止物を検出する（ステップＳ１１２）。

【0157】

以上のように、実施形態に係る障害物検出装置１０は、フレーム画像を平面Ｆに射影変換して差分画像を生成することで、移動物および静止物を含む障害物を検出する精度を向上させることができる。

【0158】

（４．変形例）
以上、本発明の実施形態について説明してきたが、この発明は上記実施形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施形態および以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

【0159】

上記実施形態では、変換部１４０が基準フレーム画像Ｐ１の視点位置を過去フレーム画像の視点位置に移動させることで位置合わせを行うとしたが、これに限定されない。射影変換後の平面画像ＰＦ１、ＰＦ２の視点位置が同じ位置であればよく、例えば過去フレーム画像の視点位置を移動させてもよい。あるいは、基準フレーム画像Ｐ１および過去フレーム画像の両方の視点を移動させてもよい。

【0160】

また、上記実施形態では、取得部１１０が現時点で取得した現フレーム画像を基準フレーム画像Ｐ１としたが、これに限定されない。例えば所定期間前に取得部１１０が取得したフレーム画像を基準フレーム画像Ｐ１としてもよい。

【0161】

また、上記実施形態では、移動量検出部１２０が車両Ｃの移動量を検出するとしたが、これに限定されない。例えば車両Ｃの速度、車輪の回転数やステアリング角度等に基づいて車両Ｃの移動量を検出するようにしてもよい。あるいはＧＰＳセンサなど撮像装置２０以外のセンサを用いて検出するようにしてもよい。

【0162】

また、上記実施形態では、移動量検出部１２０の移動ベクトル算出部１２１が移動ベクトルを算出するとしたが、これに限定されない。例えば表示制御装置３０が表示装置４０に表示する表示画像の視点を変換するために移動ベクトルを算出する場合など、他の装置が移動ベクトルを算出する場合は、移動量算出部１２２は、他の装置が算出した移動ベクトルを用いて移動量を算出するようにしてもよい。

【0163】

例えば他の装置が複数フレームごとに移動ベクトルを算出している場合、移動ベクトル算出部１２１は、他の装置が算出した移動ベクトルを用いて１フレーム間隔の移動ベクトルを算出するようにしてもよい。

【0164】

（５．効果）
上記実施形態に係る障害物検出装置１０は、取得部１１０と、変換部１４０と、差分画像生成部１５０と、検出部１８０とを備える。取得部１１０は、撮像装置２０が車両Ｃの周辺を撮像したフレーム画像を順次取得する。変換部１４０は、取得部１１０が基準時刻に取得した基準フレーム画像および基準時刻より過去に取得した過去フレーム画像を平面Ｆに射影変換する。差分画像生成部１５０は、変換部１４０が射影変換した基準フレーム画像と過去フレーム画像との差分画像を生成する。検出部１８０は、差分画像生成部１５０が生成した差分画像に基づいて車両Ｃの周辺に存在する障害物を検出する。

【0165】

これにより、障害物検出装置１０は、障害物の検出精度を向上させることができる。

【0166】

上記実施形態に係る障害物検出装置１０の変換部１４０は、車両Ｃの移動量に基づいて基準フレーム画像および過去フレーム画像の位置合わせを行う。

【0167】

これにより、障害物検出装置１０は、ノイズ成分の少ない差分画像を生成することができ、障害物の検出精度を向上させることができる。

【0168】

上記実施形態に係る障害物検出装置１０は、車両Ｃの移動量に基づいて基準フレーム画像と過去フレーム画像との間の間隔を決定する決定部１３０をさらに備える。

【0169】

車両Ｃの移動量に基づいて当該間隔を決定することで、静止物を含む障害物の検出精度を向上させることができる。

【0170】

上記実施形態に係る障害物検出装置１０は、フレーム画像に基づいて算出した車両Ｃの移動ベクトルを加算し、車両Ｃの移動量を算出する移動量算出部１２２をさらに備える。

【0171】

移動ベクトルを加算して車両Ｃの移動量を算出することで、車両Ｃの移動量をより正確に算出することができる。また、例えば表示制御装置３０がフレーム画像の視点変換を行い、仮想視点から車両Ｃ周囲を見た表示画像を生成する場合、移動量算出部１２２が算出した移動量を用いることで、表示制御装置３０が別途移動量を算出する必要がなくなる。

【0172】

このように、障害物検出装置１０がフレーム画像に基づいて算出した移動量を用いることで、他装置の処理に用いる移動量を別途算出する必要がなくなるため、処理負荷を低減することができる。

【0173】

上記実施形態に係る障害物検出装置１０の検出部１８０は、基準フレーム画像と過去フレーム画像との間隔が第１間隔Ｔ１である第１差分画像に基づいて移動物を検出し、基準フレーム画像と過去フレーム画像との間隔が第１間隔Ｔ１以上の第２間隔Ｔ２である第２差分画像に基づいて静止物を検出する。

【0174】

これにより、障害物検出装置１０は、移動物と静止物とをそれぞれ切り分けて検出することができる。

【0175】

上記実施形態に係る障害物検出装置１０の検出部１８０は、抽出部１８１と、判定部１８２と、障害物決定部１８３と、を備える。抽出部１８１は、第２差分画像に含まれる静止物を抽出する。判定部１８２は、抽出部１８１が連続する第２差分画像から抽出した静止物が同一の静止物であるか否かを判定する。障害物決定部１８３は、判定部１８２が同一の静止物と判定した静止物を車両Ｃの周辺に存在する静止物に決定する。

【0176】

車両Ｃが移動している場合、静止物は、車両Ｃの移動に応じてフレーム画像上を連続的に移動する傾向がある。そのため、連続する複数の第２差分画像で抽出した同一の静止物を車両Ｃの周辺に存在する静止物として検出することで、静止物の検出精度を向上させることができる。

【0177】

上記実施形態に係る障害物検出装置１０の抽出部１８１は、第１差分画像および第２差分画像に含まれる特徴点をそれぞれ抽出する。判定部１８２は、連続する第１差分画像に含まれる特徴点が第１距離Ｔｈ５以下である場合、当該特徴点は同一であると判定し、連続する第２差分画像に含まれる特徴点が第１距離Ｔｈ５よりも短い第２距離Ｔｈ４以下である場合、当該特徴点は同一であると判定する。障害物決定部１８３は、連続する第１差分画像に含まれる特徴点が同一であると判定部１８２が判定した場合に、当該特徴点を移動物の特徴点に決定し、連続する第２差分画像に含まれる特徴点が同一であると判定部１８２が判定した場合に、当該特徴点を静止物の特徴点に決定する。

【0178】

これにより、障害物検出装置１０は、移動物と静止物とをそれぞれより正確に検出することができる。

【0179】

上記実施形態に係る障害物検出装置１０は、積分処理部１６１と、減算処理部１６２とをさらに備える。積分処理部１６１は、差分画像を順次加算することでフレーム積分を行う。減算処理部１６２は、積分処理部１６１が行ったフレーム積分の結果を差分画像から減算する。

【0180】

これにより、障害物検出装置１０は、差分画像に含まれるノイズ成分を低減することができる。

【0181】

上記実施形態に係る障害物検出装置１０は、エッジ検出部１６３と、エッジ減算処理部１６４と、をさらに備える。エッジ検出部１６３は、基準フレーム画像および過去フレーム画像の少なくとも一方からエッジを検出する。エッジ減算処理部１６４は、エッジ検出部１６３が検出したエッジを差分画像から減算する。

【0182】

これにより、障害物検出装置１０は、差分画像に含まれるノイズ成分を低減することができる。

【0183】

上記実施形態に係る障害物検出装置１０のエッジ減算処理部１６４は、差分画像を複数に分割した領域のうち、車両Ｃに近い領域からエッジを減算する。

【0184】

これにより、障害物検出装置１０は、差分画像のうちノイズ成分が多く含まれる領域から当該ノイズ成分を低減することができる。

【0185】

上記実施形態に係る障害物検出装置１０は、差分画像に対して所定方向のエッジを強調する強調処理部１７１をさらに備える。

【0186】

これにより、差分画像に含まれる障害物成分を強調することができ、障害物検出装置１０はより正確に障害物を検出することができる。

【0187】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0188】

１ 障害物検出システム
１０ 障害物検出装置
１１０ 取得部
１２２ 移動量算出部
１３０ 決定部
１４０ 変換部
１５０ 差分画像生成部
１６１ 積分処理部
１６２ 減算処理部
１６３ エッジ検出部
１６４ エッジ減算処理部
１７１ 強調処理部
１８０ 検出部
１８１ 抽出部
１８２ 判定部
１８３ 障害物決定部
２０ 撮像装置
３０ 表示制御装置
４０ 表示装置

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】