特許 6031819 画像処理装置、画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6031819

(24)【登録日】2016年11月4日

(45)【発行日】2016年11月24日

(54)【発明の名称】画像処理装置、画像処理方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20161114BHJP

   G06T 1/00 20060101ALI20161114BHJP

   B60R 21/00 20060101ALI20161114BHJP

【ＦＩ】

   G08G1/16 C

   G06T1/00 330B

   B60R21/00 622F

   B60R21/00 622K

   B60R21/00 622L

   B60R21/00 624C

   B60R21/00 626E

   B60R21/00 626G

【請求項の数】5

【全頁数】25

(21)【出願番号】特願2012-113877(P2012-113877)

(22)【出願日】2012年5月17日

(65)【公開番号】特開2013-242625(P2013-242625A)

(43)【公開日】2013年12月5日

【審査請求日】2015年3月19日

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100105142

【弁理士】

【氏名又は名称】下田 憲次

(72)【発明者】

【氏名】岡田 康貴

(72)【発明者】

【氏名】水谷 政美

【審査官】 島倉 理

(56)【参考文献】

【文献】 特開２０１１−１１８４８２（ＪＰ，Ａ）

【文献】 特開２００８−１９３４５８（ＪＰ，Ａ）

【文献】 特開２００６−１７８６６７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ ２１／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

車両の進行方向の情報と前記進行方向に対して側方の情報とを含む、魚眼レンズを用いて撮像された画像を撮像部から取得する取得部と、
前記魚眼レンズの歪曲収差により、前記画像の側端より中心付近にて物体が大きく撮像される任意の領域を、前記画像の側端から中心に向かって非線形に縮小する変換部と、
前記任意の領域から特徴点を抽出する抽出部と、
前記取得部が取得する取得時間が異なる複数の前記任意の領域の特徴点の移動量を算出する算出部と、
前記特徴点の移動量に基づいて前記車両に接近する接近物の有無を判定する判定部と、
を備え、
前記変換部は、実空間の位置とそれが投影されたときの画像上の位置の関係を示す関数により予測される画像上の点の移動量の大きさが所定値以上の領域の画像を縮小することを特徴とする画像処理装置。

【請求項2】

前記変換部は、前記予測される画像上の点の移動量の大きさが所定値より小さい領域の画像を縮小しないことを特徴とする請求項１記載の画像処理装置。

【請求項3】

前記変換部は、前記撮像部の光学特性に基づいて前記任意の領域の画像を縮小することを特徴とする請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記変換部は、時刻ｔｉ（ｉ∈２×ｎ、但しｎは自然数）および時刻ｔｊ（ｊ∈２×ｎ＋１）に基づいて制御される制御関数を用いて前記任意の領域の画像を縮小することを特徴とする請求項１記載の画像処理装置。

【請求項5】

車両の進行方向の情報と前記進行方向に対して側方の情報とを含む、魚眼レンズを用いて撮像された画像を取得し、
前記魚眼レンズの歪曲収差により、前記画像の側端より中心付近にて物体が大きく撮像される任意の領域のうち、実空間の位置とそれが投影されたときの画像上の位置の関係を示す関数により予測される画像上の点の移動量の大きさが所定値以上の領域の画像が非線形に縮小されるように、前記画像の側端から中心に向かって縮小し、
前記任意の領域から特徴点を抽出し、
取得時間が異なる複数の前記任意の領域の特徴点の移動量を算出し、
前記特徴点の移動量に基づいて前記車両に接近する接近物の有無を判定する
処理をコンピュータが実行する画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書で開示される実施様態は、接近物を検知することによる移動体の運転操作を支援する画像処理技術に関する。

【背景技術】

【0002】

近年、自動車の安全運転を支援する技術として、運転者から見難い範囲や、死角となる範囲の画像を運転者へ提示する技術が各種提案されている。特に、Ｔ字路等の道路においては、車両の左右側方の視野が著しく悪い為、支援技術の中でも重要視されている。この様な支援技術として、車両の前端に左右側方を撮像する複数のカメラを配置し、複数のカメラで撮像した画像を車載モニタ等の表示部に表示する技術が開示されている。また、他車両や歩行者等の自車両に対する接近物の早期検知を目的とした、接近物の検知技術についても提案されている。例えば、複数の画像を時系列順に撮像し、各画像の特徴点を抽出し、各画像間で特徴点を比較して特徴の相関が高い特徴点と対応付けを行い、オプティカルフローを算出して、接近物を検知するという技術が開示されている。なお、この様な接近物検知機能は、汎用的なナビゲーション機能と兼用される様になっている。これにより、一つの表示部で接近物検知機能とナビゲーション機能とを兼用出来る様になっている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５−２７６０５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述の通り、運転者の死角となる左右側方を撮像する為には、一般的な画角を持つカメラを用いた場合、複数のカメラが必要となる。しかしながら、コストの観点からカメラを複数配置させることは現実的ではない。ここで、本発明者らの新たな検証によれば、水平視野角約１８０度の画角を有する魚眼レンズを用いることで、運転者視野方向で死角となる領域を撮像することが可能となることが検証された。しかしながら、魚眼レンズは光学特性上、特有の歪曲収差を有する運転者の視野範囲である画像中心付近の物体が大きく撮像され、左右側端付近の物体が小さく撮像されることになる。この様な状況下において、特徴点の移動量となるオプティカルフローを算出する場合、以下の課題が生じ得ることが本発明者らにより新たに検証された。

【0005】

オプティカルフローを算出する場合は、上述の通り、各画像間で特徴点を比較して特徴の相関が高い特徴点と対応付けを行う必要がある。魚眼レンズを用いた画像の場合は、歪曲収差が樽型歪となるため、画像の側端から中心に向かって物体が大きく映る為、画像の側端付近においては、特徴点の対応付けは比較的狭い範囲で行うことが可能である。しかしながら、画像の中心付近においては、特徴点の対応付けは広範囲で実行する必要がある。この場合、特徴点情報を格納するためのメモリ容量の制約や、演算量が大きなオプティカルフロー演算を実行するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のリソースの制約（以下、メモリ容量の制約とＣＰＵのリソースの制約を含めて演算量の制約と称する）により、十分な検知精度を確保することが難しくなることが想定される。

【0006】

よって、従来技術においては、単眼のカメラで自車両の運転者の視野方向で死角となる領域を撮像することを可能とし、かつ少ない演算量で接近物を検知することが可能となる接近物を検知する画像処理技術は提唱されていない状況である。

【0007】

本発明は、単眼のカメラで自車両の自車両の運転者の視野方向で死角となる領域を撮像することを可能とし、かつ少ない演算量で接近物を検知することが可能となる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明が開示する一様態における画像処理装置は、車両の進行方向の情報と進行方向に対して側方の情報とを含む画像を撮像部から取得する取得部と、画像の任意の領域を、画像の側端から中心に向かって非線形に縮小する変換部を備える。更に画像処理装置は、任意の領域から特徴点を抽出する抽出部と、取得部が取得する取得時間が異なる複数の任意の領域の特徴点の移動量を算出する算出部を備える。更に画像処理装置は、特徴点の移動量に基づいて車両に接近する接近物を判定する判定部を備える。

【0009】

なお、本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

【発明の効果】

【0010】

本明細書に開示される画像処理装置では、単眼のカメラで自車両の運転者の視野方向で死角となる領域を撮像することを可能とし、かつ少ない演算量で接近物を検知することが可能となる。

【図面の簡単な説明】

【0011】

【図1】一つの実施形態による画像処理装置の構成の一例を示す図である。

【図2】（ａ）は、画像処理装置が配置される自車両の上面図である。（ｂ）は画像処理装置が配置される自車両の側面図である。

【図3】画像処理装置の撮像部による撮像領域の一例を示す図である。

【図4】画像処理装置の撮像部による撮像画像と、第１の分割領域画像と第２の分割領域画像の一例を示す図である。

【図5】画像処理装置の撮像部による撮像画像と、第１の分割領域画像と第２の分割領域画像と、任意の領域の一例を示す図である。

【図6】（ａ）は、撮像部による透視投影のモデル図である。（ｂ）は、透視投影モデルの一般化図である。

【図7】画像処理装置の撮像部とワールド座標系の対応図である。

【図8】非線形縮小処理領域におけるｕ方向とＸ方向の距離間隔の関係図である。

【図9】（ａ）は、取得部が取得した原画像の非線形縮小処理領域の画像を示す。（ｂ）は、画像を縮小した非線形縮小処理領域の縮小画像を示す。（ｃ）は、原画像のｕ軸と縮小画像のｕ’軸の関係図である。

【図10】（ａ）は、非線形縮小処理領域におけるｕ軸と実空間におけるＸ軸の関係図を示す。（ｂ）は、図１０（ａ）に示す関数ｆ(ｘ)により算出されるデータ構造である。（ｃ）は、図９（ｃ）の制御関数ｆ（ｕ’）の曲線を規定するデータ構造である。

【図11】（ａ）は、画像座標系のｕ方向とワールド座標系のＸ方向の関係図である。（ｂ）は、図１１（ａ）に示す、関数ｆ(ｘ)により算出されるデータ構造である。（ｃ）は、原画像のｕ軸とオプティカルフロー長Ｌの関係図である。

【図12】（ａ）は、非線形縮小処理領域における非線形縮小処理の原画像の概念図である。（ｂ）は、非線形縮小処理領域における画像縮小後の縮小画像の概念図である。

【図13】（ａ）は、ある時刻ｔｉの非線形縮小処理領域における非線形縮小処理の原画像の概念図である。（ｂ）は、ある時刻ｔｊの非線形縮小処理領域における非線形縮小処理の原画像の概念図である。

【図14】（ａ）は、非線形縮小処理領域における非線形縮小処理の原画像と、第１の分割領域画像と第２の分割領域画像の概念図である。（ｂ）は、非線形縮小処理領域、第１の分割領域画像、第２の分割領域画像を組み合わせた非線形縮小処理後の縮小画像の概念図である。

【図15】画像縮小後の非線形縮小処理領域を含む撮像画像から抽出された特徴点の一例を示す図である。

【図16】（ａ）、（ｂ）は、抽出部が抽出した特徴点のデータ構造の一例である。

【図17】（ａ）、（ｂ）は、算出部によるオプティカルフローの算出処理の一例となる概念図である。

【図18】（ａ）は、オプティカルフローのグルーピング処理の概念図である。（ｂ）は、判定部が生成したオプティカルフローのグルーピング処理のデータ構造の一例である。

【図19】画像処理装置における接近物の検知処理の一例を示すフローチャートである

【図20】画像処理装置の各機能ブロックとして動作させることのできるコンピュータのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0012】

以下に、一つの実施形態による画像処理装置、画像処理方法、画像処理用コンピュータプログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。

【0013】

（実施例）
図１は、一つの実施形態による画像処理装置の構成の一例を示す図である。画像処理装置１は、撮像部１０、取得部１１、規定部１２、変換部１３、抽出部１４、算出部１５、判定部１６、提示部１７、記憶部１８、制御部１９、速度検出部２０、操蛇角検出部２１を含んでいる。

【0014】

画像処理装置１が有するこれらの各部は、例えば、それぞれ個別のワイヤードロジックによるハードウェア回路として形成される。あるいは画像処理装置１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として画像処理装置１に実装されてもよい。さらに、画像処理装置１が有するこれらの各部は、画像処理装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。

【0015】

撮像部１０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。撮像部１０は魚眼レンズを用いることで、単眼で自車両の進行方向の情報と、進行方向と直交する両側方の情報とを含む画像を撮像することが可能となる。なお撮像部１０は、例えば、自車両の前端の中心に配置される。なお、自車両の進行方向は、換言すると運転者の視野方向であり、自車両が停止している場合においても、運転者の視野方向を進行方向と規定するものとする。

【0016】

取得部１１は、撮像部１０が撮像する画像を受け取る。また、取得部１１と撮像部１０の機能を一つに統合させることにより、撮像部１０または取得部１１いずれかの機能を省いても良い。

【0017】

規定部１２は、取得部１０から画像を受け取り、当該画像を複数の領域に分割する。具体的には、画像の側端の中心を含む第１の分割領域画像と、画像の側端の中心を含まない第２の分割領域画像とを規定する。更に、規定部１２は、第１の分割領域画像を画像の側端から中心に向かって面積が小さくなる様に規定し、第２の分割領域画像を、画像の側端から中心に向かって面積が大きくなる様に規定する。なお、規定部１２による第１の分割領域画像と第２の分割領域画像の規定処理の詳細については後述する。また、規定部１２は、必須の構成ではなく必要に応じて備えれば良い。

【0018】

変換部１３は、取得部１０または規定部１２から画像を受け取り、画像の任意の領域を画像の側端から中心に向かって非線形に縮小する。縮小の手法は、例えば、任意の領域の任意の画素を間引く方法が挙げられる。ここで、任意の領域は、例えば、画像の側端の中心を起点した方形で規定する。また、任意の領域は、画像処理における消失点を考慮し、必ずとも画像の側端の中心を起点としなくとも良い。これにより、近接物を早期に検知することが可能となる。なお、変換部１３による画像の非線形縮小処理の詳細については後述する。

【0019】

抽出部１４は、変換部１３が変換した画像の任意の領域から特徴点を抽出する。なお、抽出部１４は、任意の領域中、第２の分割領域画像よりも先に第１の分割領域画像に対して特徴点を抽出しても良い。また、任意の領域中、第１の分割領域画像のみに対して特徴点を抽出しても良い。なお、抽出部１４による特徴点の抽出処理の詳細については後述する。

【0020】

算出部１５は、抽出部１１が取得する取得時間が異なる複数の任意の領域の特徴点から特徴点の移動量の例示の一つとなるオプティカルフローを算出する。なお、算出部１５によるオプティカルフローの算出処理の詳細については後述する。

【0021】

判定部１６は、算出部１５が算出したオプティカルフローに基づいて自車両に近接する他車両や歩行者等の接近物を判定する。なお、判定部１６による接近物の判定処理の詳細については後述する。

【0022】

提示部１７は、例えば、ディスプレイなどの表示デバイス、または、スピーカー等の発音デバイスである。提示部１７は、判定部１６が判定した接近物の有無を運転者（ユーザ）に提示する。

【0023】

記憶部１８は、例えば、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。なお、記憶部１３は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよい。記憶部１８には、例えば判定部１６が判定した接近物に関する位置情報等が記憶される。

【0024】

制御部１９は、撮像部１０、速度検出部２０と、操舵角検出部２１に接続され、速度検出部２０により検出される自車両の速度が所定の閾値（例えば１０Ｋｍ／ｈ）以上の場合、必要に応じて撮像部１０による撮像を停止させる。また、制御部１９は、操舵角検出部２１により検出される自車両の操舵角が所定の閾値（例えば１０度）以上の場合に、必要に応じて撮像部１０による撮像を停止させる。また、制御部１９は、
自車両の速度が所定の閾値（例えば１０Ｋｍ／ｈ）以下の場合、撮像部１０による撮像を開始させる。更に制御部１９は、汎用的なナビゲーション機能が有する地図情報から交差点を把握し、交差点近辺で撮像部１０による撮像を開始させても良い。

【0025】

速度検出部２０は自車両の車輪の回転数等に基づいて、自車両の速度を検出する。速度検出部２０が検出した速度情報は、制御部１９に出力される。

【0026】

操舵角検出部２１は、自車両のハンドルの操舵角等に基づいて、自車両の操舵角を検出する。操舵角検出部２１が検出した操舵角情報は、制御部１９に出力される。

【0027】

図２（ａ）は、画像処理装置が配置される自車両の上面図である。図２（ｂ）は画像処理装置が配置される自車両の側面図である。図２（ａ）、（ｂ）に図示されている通り、撮像部１０は、例えば、自車両２２の前端の中央に配置されている。また、提示部１７は、例えば、自車両２２の内部に配置される。撮像部１０ならびに提示部１７以外の画像処理装置１が有するその他の各部は、撮像部１０または提示部１７の近傍、または、任意の場所に配置することが可能である。また、図２（ｂ）に図示されている通り、撮像部１０は仰角φ_１と、俯角φ_２が付与される。仰角φ_１と、俯角φ_２は、自車両の車高等に応じて自車両の進行方向と進行方向に直交する側方が適切に撮像される様に適宜調整されれば良い。

【0028】

図３は、画像処理装置の撮像部による撮像領域の一例を示す図である。図３に示す通り、撮像部１０に魚眼レンズを用いることで画角は、運転者の視野範囲を大きく超える１８０〜１９０度まで広がる為、単眼で自車両の進行方向の情報と、進行方向と直交する側方の情報を含む画像を撮像することが可能となる。なお、図３にはＴ字路を例示として図示したが、十字路等の他の形状においても、本実施例に開示される画像処理装置１を適用することが可能である。

【0029】

（規定部１２による第１の分割領域画像と第２の分割領域画像の規定処理）
図４は、画像処理装置の撮像部による撮像画像と、第１の分割領域画像と第２の分割領域画像の一例を示す図である。規定部１２は、撮像部１０から撮像画像を受け取ると、画像を複数の領域に分割する。具体的には、図４に示す通り、上方分割線と下方分割線を用いて画像の側端の中心を含む第１の分割領域画像と、画像の側端の中心を含まない第２の分割領域画像とを規定する。

【0030】

更に規定部１２は、第１の分割領域画像を画像の側端から中心に向かって面積が小さくなる様に規定し、第２の分割領域画像を、画像の側端から中心に向かって面積が大きくなる様に規定する。図４に示す例においては、上方分割線ならびに下方分割線は、例えば原点を画像中心とした任意の２次曲線で規定することが可能である。詳細は後述するが、第１の分割領域画像は、第２の分割領域画像よりも多くの特徴点が抽出される為、上方分割線の２次曲線における最小点ならび曲率は、画像処理装置１が許容する演算量に基づいて規定すれば良い。下方分割線についても、最小点を最大点に置き換えて考えることが出来る為、詳細な説明は省略する。なお、図４に示す例においては、上方分割線は下に凸の２次曲線となり、下方分割線は上に凸の２次曲線となる

【0031】

なお、画像中心付近が運転者の視野範囲であることを考慮すると、上方分割線の最小点または、下側分割線の最大点は、画像中心（原点）に出来るだけ近接または接する様に規定し、上方、下方分割線の画像端点が道路領域を大きく超えない範囲で、曲率を大きく規定することで、第１の分割領域画像に対して接近物の早期検知に必要となる自車両の側方領域を多く含ませることが可能となる。なお、上側分割線ならびに下側分割線は、画像中心（原点）を通る一次関数を用いて規定しても良い。

【0032】

また、規定部１２は、撮像部１０の図示しないレンズディストーションデータを用いて上方分割線ならびに下方分割線を規定することが可能である。例として上方分割線の規定方法の手順（１）〜（５）について記載する。
（１）上方分割線を表す光線ベクトルＶｉを、極座標表現で定義する。
Ｖｉ＝（θi、φ_１、１)；（但し、θは方位、φ_１は仰角、１は長さ）、(例：θｉ＝−９０、 −６７．５、 −４５、 −２２．５、 ０、 ２２．５、 ４５、 ６７．５、 ９０ （ｄｅｇ）を９分割し、φ_１＝５ｄｅｇとする。)
（２）極座標表現の３ＤベクトルＶｉは、一意的にカーテジアン表現に変換可能であり、これをＵｉと規定する。
（３）撮像部１０の地面に対する姿勢がλ=(α、β、γ)のとき（但し、αはロール角、βはピッチ角、γはヨー角とする）、撮像部１０が撮像する画像における上方分割線は、Ｕ’ｉの様に観測される。
Ｕ’ｉ＝Ｒ−１（λ）Ｕｉ；（但し、Ｒ（λ）は回転行列）
（４）入射方向が任意の３ＤベクトルＵ’は、撮像部１０のレンズディストーションデータに従って、画像上の２次元座標ｐに変換可能である。ここで、Ｕ’ｉに対応する画像上の点をｐｉとする。
（５）点ｐｉを順序に従い、直線発生アルゴリズムもしくはスプライン発生アルゴリズムを適用させることで結線し、上方分割線の曲線を構成する点例を得ることができる。なお、下方分割線は、仰角φ_１を俯角φ₂に置き換えることで規定することが出来る為、詳細な説明は省略する。また、規定部１２による第１の分割領域画像と、画像の側端の中心を含まない第２の分割領域画像とを規定処理は、必ずしも必須の処理ではなく、必要に応じて実施すれば良い。

【0033】

（変換部１３による画像の非線形縮小処理）
図５は、画像処理装置の撮像部による撮像画像と、第１の分割領域画像と第２の分割領域画像と、任意の領域（以下、非線形縮小処理領域と称する）の一例を示す図である。ここで、非線形縮小処理領域において、画像中心から右側端方向をｕ軸とし、画像下端から画像上端方向をｖ軸とする。なお、オプティカルフローの算出処理については後述する。なお、例示として非線形縮小処理領域を画像の右側に規定して説明するが、非線形縮小処理領域を画像の左側に規定しても同様に処理が実施出来ることから、詳細な説明は省略する。

【0034】

（光学特性に基づく変換部１３による画像の非線形縮小処理）
図６（ａ）は、撮像部１０による透視投影のモデル図である。図６（ｂ）は、透視投影モデルの一般化図である。図６（ａ）に示す様に、撮像部１０による透視投影はモデル化することが可能である。空間を表す３次元座標系として、撮像部１０の光学中心を原点とし、Ｚ軸を撮像部１０の光軸方向に一致させ、Ｘ軸とＹ軸は画像の横方向と縦方向に平行にとったものを用いる。この様な座標系をカメラ座標系と称する。また、画像上の位置を表す座標系としては、撮像部１０の光軸と画像面が交差する点を原点とし、ｘ軸とｙ軸は画像の横方向と縦方向に平行にとったものをそれぞれ用いる。ここで、実空間の位置（Ｘ、Ｙ、Ｚ）と画像上の位置（ｘ、ｙ）の間には次式の関係が成立する。
（数１）
ｘ＝Ｘ／Ｚ
ｙ＝Ｙ／Ｚ
（但し、焦点距離を１に正規化しているものとする）
また、座標（ｘ、ｙ）を正規化画像座標と称するものとする。

【0035】

次に、実空間と画像の関係をより一般化する。図６（ｂ）に示す様に、実空間を表す座標系として、実空間中の任意の位置の固定されたワールド座標系を用いる。ワールド座標系で表された実空間の位置を（Ｘｗ、Ｙｗ、Ｚｗ）とした場合、当該位置をカメラ座標系で表した位置（Ｘ、Ｙ、Ｚ）との間には次式の関係が成立する。
（数２）

ここで、Ｒとｔは、次式に示す３×３の回転行列ならびに３次元の平行移動である。
（数３）

【0036】

一方、画像中の位置は、一般的に原点を画像中の任意の位置に定め、長さの単位として画素（ピクセル)を用いる。この様な画像中の位置を表現する座標を画像座標（ｕ、ｖ）とした場合、当該画像座標と上述の正規化画像座標の関係は、次式で表現される。
（数４）

ここで、ｆは撮像部１０の焦点距離、Δｕ、Δｖは、それぞれ横方向と縦方向の画素の物理的な間隔、（ｃｕ、ｃｖ）は画像座標系における光軸と画像面との交点の位置（画像中心）を表す。

【0037】

上述の（数１）ないし（数４）を用いることで、ワールド座標（Ｘｗ，Ｙｗ，Ｚｗ）と画像座標（ｕ、ｖ）の間の関係は次式にて表現される。
（数５）

【0038】

上述の（数５）により、任意の実空間の位置と、それが画像に投影されたときの画像上の位置の関係を表現することが出来る。ここで、ｆ、Δｕ、Δｖ、ｃｕ、ｃｖ、は撮像部１０によって一意的に定められる定数であり、撮像部１０の内部パラメータと称する。また、Ｒとｔは、ワールド座標に対する撮像部１０の位置と姿勢によって一意的に定められる定数であり、撮像部１０の外部パラメータと称する。

【0039】

上述の内部パラメータ、および外部パラメータに基づき射影行列を求め、この求めた射影行列により画像座標系とワールド座標系の座標変換を行うことで、画像座標系とワールド座標系とを１対１に対応させることができる。この射影行列に基づいて、画像座標系の１ｐｉｘｅｌ（ピクセル）の間隔をワールド座標系上での距離として対応させることが出来る。具体的には次式で表現出来る。
（数６）
（ｕ、ｖ、１）’＝Ｐ・（Ｘ、Ｙ、Ｚ、１）’
（但し、射影行列Ｐ＝Ａ（内部パラメータ）・Ｔ（外部パラメータ）とし、（ｕ、ｖ、１）’ならびに（Ｘ、Ｙ、Ｚ、１）’はそれぞれ（ｕ、ｖ、１）ならびに（Ｘ、Ｙ、Ｚ、１）の転置行列とする。

【0040】

図７は、画像処理装置の撮像部とワールド座標系の対応図である。上述の（数６）において、Ｚ（奥行距離）は、図７に示す様に、自車両に設置された撮像部１０から、例えば、道路中央部までの距離を設定すれば良い。ここで、画像座標系のｕ方向とワールド座標系のＸ方向に着目すると、Ｐは既知のパラメータとなる為、ｕ→ｕ＋１に対応するＸ２を次式の方程式により算出すると、
（数７）
（ｕ、ｖ、１）’＝Ｐ・（Ｘ１、Ｙ、Ｚ、１）’
（ｕ＋１、ｖ、１）’＝Ｐ・（Ｘ２、Ｙ、Ｚ、１）’
となり、ｕ方向の１ｐｉｘｅｌ幅に対応するＸ方向の距離間隔は（Ｘ２-Ｘ１）ｍとなる。図８は、非線形縮小処理領域におけるｕ方向とＸ方向の距離間隔の関係図である。図８に示す様に、ｕ軸は原点方向を画像の中心方向とし、軸方向を画像の側端方向とする。関数ｆ（ｕ）は、画像座標上で１ｐｉｘｅｌ移動するのに必要なワールド座標系上での移動量を示す。

【0041】

図９（ａ）は、取得部１１が取得した原画像の非線形縮小処理領域の画像を示す。図９（ｂ）は、画像を縮小した非線形縮小処理領域の縮小画像を示す。図９（ｃ）は、原画像のｕ軸と縮小画像のｕ’軸の関係図である。

【0042】

ここで、図９（ａ）の原画像の非線形縮小処理領域の全体の長さをＭ、図９（ｂ）の縮小画像の非線形縮小処理領域の全体の長さをｍとする。ここでは、Ｍ＞ｍ（Ｍ、ｍともに自然数）とする。また、図９（ａ）の原画像の画像を縮小する領域をＭ’、当該領域Ｍ’に対応する図９（ｂ）の領域をｍ’とする。Ｍ＞Ｍ’、ｍ＞ｍ’（Ｍ’、ｍ’ともに自然数）とする。また、図９（ａ）、(ｂ)において画像の縮小を実施しない領域（無縮小処理領域）をｎ（ｎは自然数）とする。なお、ｎの領域を規定する所定の第１の閾値ｔｈ１の規定方法については後述する。

【0043】

図９（ｃ）に示す、制御関数ｆ（ｕ’）は、非線形に画像を縮小処理する領域は、点（０、０）、（ｍ’、Ｍ’）を通る曲線となる。また、画像を縮小処理を変換しない領域は点（ｍ’、Ｍ’）、（ｍ、Ｍ）を通る直線となる。なお、非線形縮小処理を施す領域の制御関数ｆ（ｕ’）は、（ｍ’、Ｍ’）、（ｍ、Ｍ）を通る第１の直線を上限とし、（０、０）、（ｍ’、Ｍ’）を通る第２の直線を下限となる様に設定すれば良い。制御関数ｆ（ｕ’）を用いることで、非線形縮小処理領域の画像を縮小することが出来る。例えば、図９（ａ）の領域ｑｉから図９（ｂ）の領域ｐｉに画像が縮小（換言すると、画素が間引き）される。なお、図９（ｃ）の制御関数ｆ（ｕ’）に示される様に、原画像から縮小画像に変換する際には、原画像を非線形に縮小する領域と、原画像の画像(画素)を保持する領域が存在することになる。

【0044】

次に、図９（ｃ）に示す、制御関数ｆ（ｕ’）の曲線部分の曲率の規定方法について説明する。曲率は上述通り、図９（ｃ）に示す第１の直線を上限とし、第２の直線を下限として任意に設定することも可能であるが、以下の方法でも曲率を設定することが可能である。図１０（ａ）は、非線形縮小処理領域におけるｕ軸と実空間におけるＸ軸の関係図を示す。図１０（ａ）に示す関数ｆ(ｘ)は、実空間の位置Ｘを変数とした場合の画像座標ｕの変化を示す。実空間と画像座標の関係は、上述の（数７）で規定される。ここで、実空間上の距離Ｄは、隣接する画素ｕ０とｕ１に対応する実空間の位置ｘ０とｘ１の差分から求めることができ、次式にて表すことができる。
（数８）
Ｄ＝｜ｘ１−ｘ０｜

【0045】

ここで、所定の第１の閾値ｔｈ１を定める。第１の閾値ｔｈ１は、１つの移動物体（近接物）が複数の画素にまたがるように、想定する近接物の大きさを考慮して決定すれば良い。これは、類似するオプティカルフローの大きさや向きを持つ特徴点をグルーピングすることにより、後述する接近物検知領域を特定しており、１つの移動物体上に特徴点が複数存在している必要がある為である。また、閾値ｔｈ１は、車両長を考慮して決定することも出来る。一般的な軽自動車の車両長は３．４ｍ、ワンボックスは４．８ｍであることを考慮すると、１移動物体上に複数の特徴点が存在する最小の領域、例えば１ｍ/ｐｉｘｅｌ以上の領域においては、画像を縮小できることを考慮して閾値ｔｈ１を決定しても良い。

【0046】

図１０（ｂ）は、図１０（ａ）に示す関数ｆ(ｘ)により算出されるデータ構造である。実空間上の距離Ｄが第１の閾値ｔｈ１以下の場合について説明する。図１０（ｂ）に示す、累積Ｄｓｕｍは、任意の座標のＸとｕとから得られたＤを積分したものであり、累積したＤの合計（Ｄｓｕｍ）が閾値ｔｈ１以上に達すると、積分値を０にリセットし、再度積分処理をしていくことを繰り返す。ここで、累積Ｄｓｕｍが閾値ｔｈ１を満たした場合に、ｆｌａｇ１を格納する。
なお、実空間上の距離Ｄが閾値ｔｈ１以上の場合は、原画像を維持する領域として、ｆｌａｇ２を格納する。図１０（ｃ）は、図９（ｃ）の制御関数ｆ（ｕ’）の曲線を規定するデータ構造である。図１０（ｃ）において、ｕ’は、非線形縮小処理領域の横方向、１、２、３、・・、ｍの自然数である。図１０（ｂ）においてｆｌａｇが存在するデータ列のｕの値を、図１０（ｃ）のテーブルに順次格納する。ｆｌａｇ１が格納されている部分に対して、図１０（ｃ）のテーブルに格納されたｕ’とｕの値と、スプライン曲線または多項式補間を用い、ｆｌａｇ２が格納されている部分に対して、線形方程式を用いることで、図９（ｃ）の制御関数ｆ（ｕ’）に示す曲率の曲線を得ることが出来る。上述した方法により、例えば、原画像の非線形縮小処理領域における１ｐｉｘｅｌ幅の画像（画素）列を、非線形縮小処理後の非線形縮小処理領域中における、どの１ｐｉｘｅｌ幅の画像（画素）列に対応させることが可能となり、画像を非線形に縮小させることが可能となる。

【0047】

（特徴点の移動量に基づく変換部１３による画像の縮小処理）
図１１（ａ）は、画像座標系のｕ方向とワールド座標系のＸ方向の関係図である。なお、図１１（ａ）に示す関数ｆ（ｘ）は、図１０（ａ）に示す関数ｆ（ｘ）と同質のものとなる。ここで、接近物が等速で自車両に向かって近付いてくると仮定すると、撮像部１０のフレームレートが３０ｆｐｓの場合、実空間で時速ＳＫｍ／ｈで移動する接近物は、1フレームの間に、Ｍ＝Ｓ×１０００／（６０×６０×３０）ｍ程度移動することになる。例えば、ある時刻ｔにおいて、実空間Ｘ２に時速ＳＫｍ／ｈで移動する接近物が存在する場合、３３ｍｓｅｃ(１フレーム)後の実空間位置Ｘ１は次式で計算することが出来る。
（数９）
Ｘ１＝Ｘ２−Ｍ

【0048】

ここで、予測されるオプティカルフロー長Ｌ１は、次式で算出することが出来る。
（数１０）
Ｌ１＝｜ｆ（ｘ２）−ｆ（ｘ１）｜
なお、図９（ａ）、(ｂ)においてｎの領域に相当する領域を規定する所定の第２の閾値ｔｈ２は、静止物でも、特徴点の抽出誤差により２時刻間の特徴点誤対応でオプティカルフローが発生し、静止物が動作している様に検知にみえてしまう影響を抑えるため、これらを考慮して接近物と判定するオプティカルフロー長の閾値ｔｈ２を決定すれば良い。

【0049】

図１１（ｂ）は、図１１（ａ）に示す、関数ｆ(ｘ)により算出されるデータ構造である。図１１（ｂ）のテーブルには、任意の座標のＸとｕとから算出されるオプティカルフローＬが格納される。オプティカルフロー長Ｌが第２の閾値ｔｈ２以上の場合は、ｆｌａｇ１を格納し、ａ＝Ｌ／ｔｈ２で得られたａ(ｐｉｘｅｌ)分だけＸをスキップして参照し、再度処理をしていくことを繰り返す。オプティカルフロー長Ｌが第２の閾値ｔｈ２より小さい場合は、ｆｌａｇ２を格納する。ｆｌａｇ１が格納されている部分に対しては、テーブルに格納されたｕ’とｕの値から、スプライン曲線または多項式補間を用いる。ｆｌａｇ２が格納されている部分に対しては、線形方程式を用いることで、図９（ｃ）の制御関数ｆ（ｕ’）に示す曲率の曲線を得ることが出来る。図１１（ｃ）は、原画像のｕ軸とオプティカルフロー長Ｌの関係図である。所定の第２の閾値ｔｈ２以上の領域は、オプティカルフロー長が十分に長く、画像を非線形に縮小しても接近物を検知する為に十分なフローが得られる領域を示している。また、閾値ｔｈ２以下の領域は、オプティカルフロー長が短く、画像を非線形に縮小すると、接近物を検知する為に十分なフローが得られない領域を示している。

【0050】

撮像部１０に魚眼レンズを用いた場合においては、画像中心付近が大きく映る為、画像中心付近においては、オプティカルフローを算出する際に、対応する特徴点を広範囲に探索する必要があったが、変換部１３による非線形縮小処理により、対応する特徴点の探索範囲を狭めることが可能となる為、特徴点の探索速度が大幅に向上する。換言すると、変換部１３は、非線形縮小処理領域において、オプティカルフローの大きさを、接近物の検知に必要なオプティカルフロー長から、特徴点の探索範囲が狭く出来る範囲になる様に画像を縮小する。

【0051】

（制御関数を用いた変換部による非線形縮小処理）
変換部１３は、図９（ｃ）の制御関数ならびに閾値ｔｈ１または閾値ｔｈ２により、非線形縮小処理領域における画像を縮小変換するｕ座標と、画像の縮小量が既知となる為、撮像部１０が取得する複数の画像の各非線形縮小処理領域から画像を縮小する。画像の縮小処理は、例えば、画素を間引いて変換（縮小変換）すれば良い。図１２（ａ）は、非線形縮小処理領域における非線形縮小処理の原画像の概念図である。図１２（ｂ）は、非線形縮小処理領域における画像縮小後の縮小画像の概念図である。図１２（ａ）、（ｂ）に示す様に、変換部１３は、非線形縮小処理領域を任意の複数のグループに分割して、分割したグループＧｒ−ａ、Ｇｒ−ｂにおいてそれぞれ画像を縮小しても良い。なお、Ｇｒ−ｃは、閾値ｔｈ１または閾値ｔｈ２を超える領域となる為、画像の縮小処理は実施しない。

【0052】

また、変換部１３は、時刻ｔｉ（ｉ∈２×ｎ、但しｎは自然数）および時刻ｔｊ（ｊ∈２×ｎ＋１）に基づいて制御される制御関数を用いて非線形縮小処理領域の画像を非線形に縮小しても良い。図１３（ａ）は、ある時刻ｔｉの非線形縮小処理領域における非線形縮小処理の原画像の概念図である。図１３（ｂ）は、ある時刻ｔｊの非線形縮小処理領域の非線形縮小処理の原画像の概念図である。変換部１３は、例えば、上述の図１２（ａ）、（ｂ）と同様に非線形縮小処理領域を任意の複数のグループに分割する。分割したグループＧｒ−ａ、Ｇｒ−ｂにおいて画像を非線形に縮小する場合、常に同じ領域を非線形に縮小すると、接近物の検知漏れが発生することも想定され得る為、図１３（ａ）、（ｂ）に示す様に非線形に縮小する領域を一定間隔で切り替えても良い。なお、画像を縮小する領域を一定間隔で切り替えることでも、図１２（ｂ）の非線形縮小処理後の縮小画像が得られる。

【0053】

更に、変換部１３は、非線形縮小処理領域、第１の分割領域画像、第２の分割領域画像を組み合わせた画像の縮小処理を行っても良い。図１４（ａ）は、非線形縮小処理領域における非線形縮小処理の原画像と、第１の分割領域画像と第２の分割領域画像の概念図である。図１４（ｂ）は、非線形縮小処理領域、第１の分割領域画像、第２の分割領域画像を組み合わせた非線形縮小処理後の縮小画像の概念図である。図１４（ａ）に示す様に、接近物の早期検知に必要となる自車両の側方領域を多く含む第１の分割領域画像に対し、第２分割領域画像の画像をより大きく縮小しても良い。図１４（ａ）に示される方法で画像を縮小すると図１４（ｂ）に概念的に示される縮小画像になる。

【0054】

（抽出部１４による特徴点の抽出処理）
抽出部１４は、変換部１３により非線形縮小処理が行われた画像に対して特徴点を抽出する。特徴点の抽出においては、ハリスオペレータ等の公知の手段を用いて特徴点を抽出することが可能である。なお、メモリ容量を考慮して、抽出部１４は、第２の分割領域画像よりも先に第１の分割領域画像に対して特徴点を抽出しても良い。図１５は、非線形縮小処理後の非線形縮小処理領域を含む撮像画像から抽出された特徴点の一例を示す図である。図１５において、抽出部１４は、画像全体から特徴点を抽出しても良いし、非線形縮小処理領域のみから特徴点を抽出しても良い。

【0055】

図１６（ａ）、（ｂ）は、抽出部が抽出した特徴点のデータ構造の一例である。図１６（ａ）は、撮像部１０が撮像を開始した時刻ｔ＝１．０の時の画像から抽出した特徴点のデータ構造の一例である。抽出部１４は図示しないキャッシュメモリ等を有しており、特徴点のデータをそれぞれ格納する。抽出部１４は、抽出した特徴点に対して任意のＩＤとファイル名を付与し、特徴点の画像上の座標（ｘ、ｙ）ならびに特徴量の一例となる輝度値Ｉを格納する。なお、画像上の座標（ｘ、ｙ）の単位は例えばピクセルであり、原点は、例えば、画像の左上に設定すれば良い。図１６（ｂ）は、撮像部１０が撮像を開始した時刻ｔ＝２．０の画像から抽出した特徴点の時のデータ構造の一例である。抽出部１４は、時刻ｔ＝１．０の時と同様に特徴点のデータをそれぞれ図示しないキャッシュメモリ等に格納する。

【0056】

（算出部１５によるオプティカルフローの算出処理）
算出部１５は、抽出部１４が抽出した特徴点のデータからオプティカルフローを算出する。図１７（ａ）、（ｂ）は、算出部によるオプティカルフローの算出処理の一例となる概念図である。オプティカルフローは、例えばＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ；差分絶対値和）の相関演算法を用いることで算出することが出来る。ここで、ＳＡＤは、以下の数式で定義される。
（数１１）

（但し（ｘ、ｙ）は特徴点の画像上の座標値、Ｉ₁、Ｉ_２は連続する時刻の輝度値）
上述の（数１１）は、同じ位置の画素の輝度値の差の絶対値の合計を計算し、合計値が小さいほど、類似度が高いことを意味し、完全一致するとＳＡＤの値は０になる。算出部１５は、所定の閾値ｔを用いて、オプティカルフローの算出の基準として、閾値ｔよりもＳＡＤ値が小さい、かつ、ＳＡＤが最小となる特徴点の組み合わせを対応付ける。

【0057】

図１７（ａ）の例では、時刻ｔ＝１．０の特徴点と、時刻ｔ＝２．０の特徴点の組み合わせの対応付けにおいて、時刻ｔ＝２．０におけるＩＤ_１とＩＤ_２の双方のＳＡＤ値が閾値ｔよりも小さい。この場合は、ＳＡＤが最小となるＩＤを組み合わせて対応付ける。この例示では、時刻ｔ＝１．０のＩＤ_１は、時刻ｔ＝２．０のＩＤ_１と組み合わせる。算出部１５は、組み合わせられた特徴点の座標値から、特徴点の移動方向と移動距離となるベクトル、すなわち、オプティカルフローを算出することが可能となる。

【0058】

図１７（ｂ）の例では、時刻ｔ＝１．０の特徴点と、時刻ｔ＝２．０の特徴点の組み合わせの対応付けにおいて、時刻ｔ＝２．０におけるＩＤ_１とＩＤ_２の双方のＳＡＤ値が閾値ｔよりも大きい。この場合は、特徴点の組み合わせの対応付けは行わない。また、算出部１５は、画像に含まれるすべての特徴点について、ＳＡＤ値を算出する必要はなく、特徴点の座標近傍の領域内（ｍ×ｎ（ｍ、ｎは自然数）画素の領域内）で特徴点の対応付けの処理を行えば良い。

【0059】

また、ＳＡＤの他に、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ ｉｎｔｅｎｓｉｔｙ ｄｉｆｆｅｒｅｎｃｅ）やＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）等の相関演算法を用いることも可能である。なお、算出部１５は、所定の閾値lを用いて、閾値l以下のオプティカルフローをノイズとして削除しても良い。また、算出部１５は、オプティカルフローを算出するにあたり、ある特徴点が所定の閾値ｚ回以上にわたり、同じ位置に存在する場合は、静止物（背景）として特徴点を削除しても良い。更に、算出部１５は、算出したオプティカルフローの方向が前時刻のオプティカルフローと異なる場合が所定の閾値ａ回以上となる場合は、ノイズとして特徴点を削除しても良い。

【0060】

（判定部１６による接近物の判定処理）
判定部１６は、算出部１５よりオプティカルフローを受け取り、接近物の有無を判定する。ここで、判定部１６は、必要に応じて、図６の画像中心より左側の領域においては、右方向のベクトル成分を有するオプティカルフローのみを抽出し、画像中心より右側の領域においては、左方向のベクトル成分を有するオプティカルフローのみを抽出しても良い。判定部１６は、算出部１５より受け取る複数のオプティカルフローに対してそれぞれ位置が近接しており、類似する方向を有するものをグルーピングしてフレームＩＤを付与する。なお、位置の近接度や方向の類似度は適宜設定すれば良い。

【0061】

図１８（ａ）は、オプティカルフローのグルーピング処理の概念図である。図１８（ｂ）は、判定部が生成したオプティカルフローのグルーピング処理のデータ構造の一例である。図１８（ａ）に示される様に、判定部１６は、オプティカルフローを任意の位置近接度や方向類似度を用いてグルーピングする。判定部１６は、グルーピングしたオプティカルフローを例えば、例えば長方形で近似してフレームを生成し、生成したフレームの左上を基準座標（ｘ、ｙ）として、フレームの長さｗ、高さｈ、更に前時刻ｔ−１と対応するフレームＩＤを、判定部１６が有する図示しないキャッシュメモリ等に格納する。格納されたデータは、例えば、図１８（ｂ）に示される様なデータ構造となる。また、判定部１６は、他車両や歩行者の扁平率や、面積を考慮し、フレームの扁平率（ｗ／ｈ）やフレームの面積（ｗ×ｈ）に基づいてグルーピングを行っても良い。

【0062】

判定部１６は、任意の時刻にわたり、フレームが同一方向に向かっている場合や、フレームが任意の閾値の回数ｓ以上、互いに重畳している場合は、フレームを接近物と判定する。判定部１６は、接近物が有りと判定した場合は、判定結果を提示部１７に出力する。なお、判定部１６は、接近物と判定されたフレームの領域情報、具体的には図１８（ｂ）に示す接近物検知領域情報等を提示部１７と記憶部１８に出力しても良い。

【0063】

提示部１７は、運転者に対して、接近物の存在を早期に知らせる為に、フレームの領域情報に基づき赤枠等で、接近物の位置を提示部１７に表示する。また、一般的なカーナビゲーションの機能を提示部１７が備える場合は、地図情報に接近物の位置を重畳して表示しても良い。また、提示部１７は音声により、運転者に対して接近物の存在を通知しても良い。

【0064】

本実施形態によれば、単眼の撮像部１０で自車両の自車両の運転者の視野方向で死角となる領域の撮像を実施したときに、少ない演算量で接近物を検知することが可能となる。

【0065】

（近接物の検知処理）
次に、画像処理装置１の動作について説明する。図１９は、画像処理装置における接近物の検知処理の一例を示すフローチャートである。

【0066】

ステップＳ１１０１において、速度検出部２０は自車両の車輪の回転数等により、自車両の速度を検出し、自車両の速度が所定の閾値（例えば１０Ｋｍ／ｈ）以下か否かを判定する。

【0067】

自車両の速度が所定の閾値以下の場合（ステップＳ１１０１−Ｙｅｓ）は、ステップＳ１１０２において、操舵角検出部２１は、自車両のハンドルの操舵角等により、自車両の操舵角を検出し、自車両の操舵角が所定の閾値（例えば１０度）以下か否かを判定する。

【0068】

自車両の操舵角が所定の閾値以下の場合（ステップＳ１１０２−Ｙｅｓ）は、ステップＳ１１０３において、撮像部１０は自車両の側方の情報を含む画像を撮像する。なお、自車両の速度と操舵角が所定の閾値以上の場合（ステップＳ１１０１−Ｎｏ、ステップＳ１１０２−Ｎｏ）は、自車両の速度と操舵角が所定の閾値以下になるまで一連の処理を繰り返す。

【0069】

ステップＳ１１０４において、規定部１２は、撮像部１０から受け取った画像について、非線形縮小処理を行う任意の領域として、非線形縮小処理領域を規定する。また、規定部１２は、ステップＳ１１０４において、画像に対して非線形縮小処理領域の規定に加えて、上方分割線と下方分割線を用いて画像の側端の中心を含む第１の分割領域画像と、画像の側端の中心を含まない第２の分割領域画像とを規定する。なお、ステップＳ１１０４において、規定部１２は、第１の分割領域画像を画像の側端から中心に向かって面積が小さくなる様に規定し、第２の分割領域画像を、画像の側端から中心に向かって面積が大きくなる様に規定しても良い。

【0070】

ステップＳ１１０５において、変換部１３は、上述の閾値ｔｈ１または閾値ｔｈ２ならびに制御関数ｆ（ｕ）またはｆ（ｕ’）に基づいて非線形縮小処理領域の画像を非線形に縮小する。なお、変換部１３は、非線形縮小処理領域中の第１の分割領域画像についてのみ非線形縮小処理を実施しても良い。

【0071】

ステップＳ１１０６において、抽出部１４は、変換部１３により非線形縮小処理が行われた画像に対して特徴点を抽出する。なお、抽出部１４は、メモリ容量を考慮して、抽出部１４は、非線形縮小処理領域中において、第２の分割領域画像よりも先に第１の分割領域画像に対して特徴点を抽出しても良い。また、第１の分割領域画像のみについて特徴点を抽出しても良い。抽出部１４は、取得部１１が撮像部１０から取得する画像全体から特徴点を抽出しても良い。

【0072】

ステップＳ１１０７において、算出部１５は、抽出部１４が抽出した特徴点のデータからオプティカルフローを算出する。なお、ステップＳ１１０７において、なお、算出部１５は、所定の閾値lを用いて、閾値l以下のオプティカルフローをノイズとして削除しても良い。また、算出部１５は、オプティカルフローを算出するにあたり、ある特徴点が所定の閾値ｚ回以上にわたり、同じ位置に存在する場合は、静止物（背景）として特徴点を削除しても良い。更に、算出部１５は、算出したオプティカルフローの方向が前時刻のフローと異なる場合が所定の閾値ａ回以上となる場合は、ノイズとして特徴点を削除しても良い。

【0073】

ステップＳ１１０８において、判定部１６は、算出部１５よりオプティカルフローを受け取り、接近物の有無を判定する。なお、ステップＳ１１０８において、判定部１６は、オプティカルフローを任意の位置近接度や方向類似度を用いてグルーピングする。判定部１６は、グルーピングしたオプティカルフローを例えば、例えば長方形で近似してフレームを生成し、生成したフレームの左上を基準座標（ｘ、ｙ）として、フレームの長さｗ、高さｈ、更に前時刻ｔ−１と対応するフレームＩＤを、判定部１６が有する図示しないキャッシュメモリに格納する。

【0074】

また、ステップＳ１１０８において、判定部１６は、他車両や歩行者の扁平率や、面積を考慮し、フレームの扁平率（ｗ／ｈ）やフレームの面積（ｗ×ｈ）に基づいてグルーピングを行っても良い。判定部１６は、任意の時刻にわたり、フレームが同一方向に向かっている場合や、フレームが任意の閾値の回数ｓ以上、互いに重畳している場合は、フレームを接近物と判定する。

【0075】

ステップＳ１１０９において、判定部１６は、接近物が有りと判定した場合（ステップＳ１１０９−Ｙｅｓ）は、判定結果を提示部１７に出力する。なお、この時、判定部１６は、接近物と判定されたフレームの領域情報、具体的には、接近物検知領域情報を提示部１７と記憶部１８に出力しても良い。この場合は、ステップＳ１１１１において、接近物検知領域情報が記憶部１８に格納される。記憶部に格納された接近物検知領域情報は、上述の通り、ステップＳ１１０５において、変換部１３に参照される。

【0076】

ステップＳ１１０９において、判定部１６は、接近物が無しと判定した場合（ステップＳ１１０９−Ｎｏ）は、処理をＳ１１０１に戻す。このとき、判定部１６が有する図示しないキャッシュメモリに格納されたオプティカルフロー等の各種データは削除しても良い。

【0077】

ステップＳ１１１０において、提示部１７は、運転者に対して、接近物の存在を早期に知らせる為に、フレームの領域情報に基づき赤枠等で、接近物の位置を提示部１７に表示する。また、一般的なカーナビゲーションの機能を提示部１７が備える場合は、地図情報に接近物の位置を重畳して表示しても良い。また、提示部１７は音声により、運転者に対して接近物の存在を通知しても良い。

【0078】

なお、前述した各実施例に係る画像処理装置の各機能ブロックを、コンピュータを用いて構成することも可能である。図２０は、画像処理装置の各機能ブロックとして動作させることのできるコンピュータのハードウェア構成の一例を示す図である。図２０に示す通り、コンピュータ３０は、ＭＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、入力装置３４、表示装置３５、インタフェース装置３６、及び記録媒体駆動装置３７を備えている。なお、これらの構成要素はバスライン３８を介して接続されており、ＭＰＵ３１の管理の下で各種のデータを相互に授受することができる。

【0079】

ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１は、このコンピュータ３０全体の動作を制御する演算処理装置である。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２は、所定の制御プログラムや各種の定数値が予め記録されている読み出し専用半導体メモリである。ＭＰＵ３１は、この制御プログラムをコンピュータ３０の起動時に読み出して実行することにより、このコンピュータ３０の各構成要素の動作制御が可能となる。

【0080】

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３は、ＭＰＵ３１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。なお、このＲＡＭ３３は、図１における記録部１８して機能する。

【0081】

入力装置３４は、例えばキーボード装置であり、コンピュータ３０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ３１に送付する。

【0082】

表示装置３５は例えば液晶ディスプレイであり、ＭＰＵ３１から送付される表示データに応じて各種のテキストや画像を表示する。インタフェース装置３６は、このコンピュータ３０に接続される各種機器との間での各種データの授受の管理を行う。より具体的には、インタフェース装置３６は、撮像部１０から送られてくる撮像画像信号のアナログ−デジタル変換や、例えば、制御部１９を駆動させるための駆動信号の出力などを行う。

【0083】

このような構成を有するコンピュータ３０を、前述した各実施例に係る画像処理装置の各機能ブロックとして機能させることができる。例えば、図１９を用いて説明した各処理手順をＭＰＵ３１に行わせるための制御プログラムを作成する。作成した制御プログラムはＲＯＭ３２に予め格納しておく。そして、ＭＰＵ３１に所定の実行開始指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ３１が、図１における撮像部１０、規定部１２、変換部１３、抽出部１４、算出部１５、判定部１６、提示部１７、記憶部１８、制御部１９、速度検出部２０、操舵角検出部２１として機能するようになる。従って、コンピュータ３０のインタフェース装置３６に撮像部１０を接続することで、図１の画像処理装置を構成することができる。

【0084】

なお、記録媒体駆動装置３７は、可搬型記録媒体３９に記録されている各種の制御プログラムやデータの読み出しを行う装置である。例えば、ＲＯＭ３２としてフラッシュメモリを使用し、ＭＰＵ３１が、可搬型記録媒体３９に記録されている前述の制御プログラムを、記録媒体駆動装置３８を介して読み出してＲＯＭ３２に格納するようにコンピュータ３０を構成してもよい。この場合には、ＭＰＵ３１は、所定の実行開始指示を受けた時には、ＭＰＵ３１がＲＯＭ３２に格納した制御プログラムを読み出して実行するようにする。

【0085】

なお、可搬型記録媒体３９としては、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの非一時的（ｎｏｎ-ｔｒａｎｓｉｔｏｒｙ）な記録媒体が利用可能である。また、可搬型記録媒体３９として、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格のコネクタが備えられている半導体メモリも利用可能である。

【0086】

また、接近物検知対象の画像は、動画でもよく、各フレーム毎に、上記の処理を行ってもよいし、所定間隔のフレーム毎に上記処理を行ってもよい。

【0087】

また、上述の実施例において、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0088】

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

【0089】

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
車両の進行方向の情報と前記進行方向に対して側方の情報とを含む画像を撮像部から取得する取得部と、
前記画像の任意の領域を、前記画像の側端から中心に向かって非線形に縮小する変換部と、
前記任意の領域から特徴点を抽出する抽出部と、
前記取得部が取得する取得時間が異なる複数の前記任意の領域の特徴点の移動量を算出する算出部と、
前記特徴点の移動量に基づいて前記車両に接近する接近物を判定する判定部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記変換部は、前記算出部が算出する前記特徴点の移動量の大きさに基づいて前記任意の領域の画像を縮小することを特徴とする付記１記載の画像処理装置。
（付記３）
前記変換部は、前記任意の領域において、前記特徴点の移動量の大きさが所定の範囲の大きさになる様に画像を縮小することを特徴とする付記２記載の画像処理装置。
（付記４）
前記変換部は、前記撮像部の光学特性に基づいて前記任意の領域の画像を縮小することを特徴とする付記１ないし付記３いずれか一つに記載の画像処理装置。
（付記５）
前記変換部は、時刻ｔｉ（ｉ∈２×ｎ、但しｎは自然数）および時刻ｔｊ（ｊ∈２×ｎ＋１）に基づいて制御される制御関数を用いて前記任意の領域の画像を縮小することを特徴とする付記１記載の画像処理装置。
（付記６）
前記画像を複数の領域に分割し、前記画像の側端の中心を含む第１の分割領域画像と、前記画像の側端の中心を含まない第２の分割領域画像とを規定し、前記任意の領域に前記第１の分割領域画像を含ませる規定部を更に備えることを特徴とする付記１記載の画像処理装置。
（付記７）
前記規定部は、前記第１の分割領域画像を前記画像の側端から中心に向かって面積が小さくなる様に規定し、前記第２の分割領域画像を、前記画像の側端から中心に向かって面積が大きくなる様に規定することを特徴とする付記１記載の画像処理装置。
（付記８）
前記車両の車両速度を検出する速度検出部と、
前記車両速度に基づいて前記撮像部の撮像を停止させる制御部と、
を更に備えることを特徴とする付記１記載の画像処理装置。
（付記９）
前記車両の操蛇角を検出する操蛇角検出部と、
前記操蛇角に基づいて前記撮像部の撮像を停止させる制御部と、
を更に備えることを特徴とする付記１記載の画像処理装置。
（付記１０）
前記撮像部は魚眼レンズを有していることを特徴とする付記１記載の画像処置装置。
（付記１１）
車両の進行方向の情報と前記進行方向に対して側方の情報とを含む画像を取得し、
前記画像の任意の領域を、前記画像の側端から中心に向かって非線形に縮小し、
前記任意の領域から特徴点を抽出し、
取得時間が異なる複数の前記任意の領域の特徴点の移動量を算出し、
前記特徴点の移動量に基づいて前記車両に接近する接近物を判定する
処理をコンピュータが実行する画像処理方法。
（付記１２）
前記変換することは、前記算出することが算出する前記特徴点の移動量の大きさに基づいて前記任意の領域の画像を縮小することを特徴とする付記１１記載の画像処理方法。
（付記１３）
前記変換することは、前記任意の領域において、前記特徴点の移動量の大きさが所定の範囲の大きさになる様に画像を縮小することを特徴とする付記１２記載の画像処理方法。
（付記１４）
前記変換することは、撮像部の光学特性に基づいて前記任意の領域の画像を縮小することを特徴とする付記１ないし付記３いずれか一つに記載の画像処理装置。
（付記１５）
前記変換することは、時刻ｔｉ（ｉ∈２×ｎ、但しｎは自然数）および時刻ｔｊ（ｊ∈２×ｎ＋１）に基づいて制御される制御関数を用いて前記任意の領域の画像を縮小することを特徴とする付記１１記載の画像処理方法。
（付記１６）
前記画像を複数の領域に分割し、前記画像の側端の中心を含む第１の分割領域画像と、前記画像の側端の中心を含まない第２の分割領域画像とを規定し、前記任意の領域に前記第１の分割領域画像を含ませる規定する処理を更にコンピュータが実行することを特徴とする付記１１記載の画像処理方法。
（付記１７）
前記規定することは、前記第１の分割領域画像を前記画像の側端から中心に向かって面積が小さくなる様に規定し、前記第２の分割領域画像を、前記画像の側端から中心に向かって面積が大きくなる様に規定することを特徴とする付記１６記載の画像処理方法。
（付記１８）
車両の進行方向の情報と前記進行方向に対して側方の情報とを含む画像を取得し、
前記画像の任意の領域を、前記画像の側端から中心に向かって非線形に縮小し、
前記任意の領域から特徴点を抽出し、
取得時間が異なる複数の前記任意の領域の特徴点の移動量を算出し、
前記特徴点の移動量に基づいて前記車両に接近する接近物を判定する
処理をコンピュータに実行させることを特徴とする画像処理プログラム。

【符号の説明】

【0090】

撮像部１０
規定部１２
変換部１３
抽出部１４
算出部１５
判定部１６
提示部１７
記憶部１８
制御部１９
速度検出部２０
操舵角検出部２１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図16】

【図17】

【図18】

【図19】

【図20】

【図15】