特開 2021-140514 移動物体検出装置、及び移動物体検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-140514(P2021-140514A)

(43)【公開日】2021年9月16日

(54)【発明の名称】移動物体検出装置、及び移動物体検出方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20210820BHJP

   G08G 1/16 20060101ALI20210820BHJP

   H04N 7/18 20060101ALI20210820BHJP

【ＦＩ】

   G06T7/20 100

   G08G1/16 C

   H04N7/18 J

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

【全頁数】17

(21)【出願番号】特願2020-38392(P2020-38392)

(22)【出願日】2020年3月6日

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(71)【出願人】

【識別番号】599011687

【氏名又は名称】学校法人 中央大学

(74)【代理人】

【識別番号】110001081

【氏名又は名称】特許業務法人クシブチ国際特許事務所

(72)【発明者】

【氏名】大橋 明

(72)【発明者】

【氏名】梅田 和昇

(72)【発明者】

【氏名】池 勇勳

(72)【発明者】

【氏名】飯田 浩貴

【テーマコード（参考）】

5C054

5H181

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054EA05

5C054FC12

5C054FC13

5C054FD03

5C054GD09

5C054HA30

5H181AA01

5H181BB13

5H181CC04

5H181FF27

5H181LL01

5H181LL02

5H181LL04

5H181LL07

5H181LL08

5L096BA04

5L096CA04

5L096EA07

5L096FA26

5L096FA69

5L096GA51

5L096HA04

5L096MA07

(57)【要約】      （修正有）

【課題】移動物体の検出精度を高めることができる移動物体検出装置及び移動物体検出方法を提供する。
【解決手段】車載移動物体検出システム１において、移動物体検出装置４は、撮影タイミングが時系列的に前後する２つの撮影画像に基づいて複数のオプティカルフローを算出するオプティカルフロー算出部２４と、実空間の３次元座標を撮影画像の画像座標に変換する透視投影行列を、複数のオプティカルフローに基づいて算出する透視投影行列算出部２６と、複数のオプティカルフローの各端点を３次元座標に投影したときの端点対応位置と、これらの端点対応位置を撮影画像の画像座標に透視投影行列を用いて再投影した端点再投影位置との差である再投影誤差を算出する再投影誤差算出部２８と、オプティカルフローのそれぞれの再投影誤差に基づいて、撮影画像に写っている移動物体に対応するオプティカルフローを特定する移動物体検出部３０と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動するカメラによって撮影され、撮影タイミングが異なる２つの撮影画像に基づいて複数のオプティカルフローを算出するオプティカルフロー算出部と、
実空間の３次元座標を前記撮影画像の画像座標に変換する透視投影行列を、複数の前記オプティカルフローに基づいて算出する透視投影行列算出部と、
複数の前記オプティカルフローのそれぞれの端点を前記３次元座標に投影したときの端点対応位置と、これらの端点対応位置を前記撮影画像に透視投影行列を用いて再投影した端点再投影位置との差である再投影誤差を算出する再投影誤差算出部と、
前記オプティカルフローのそれぞれの再投影誤差に基づいて、移動物体に対応するオプティカルフローを特定する移動物体検出部と、
を備えることを特徴とする移動物体検出装置。

【請求項2】

前記移動物体検出部は、
移動物体に対応するオプティカルフローのクラスタリングに基づいて前記撮影画像の中の移動物体を検出する
ことを特徴とする請求項１に記載の移動物体検出装置。

【請求項3】

前記移動物体検出部は、
前記再投影誤差と所定閾値との比較に基づいて、移動物体に対応するオプティカルフローを特定する
ことを特徴とする請求項１または２に記載の移動物体検出装置。

【請求項4】

前記カメラの撮影光学系によって歪みが生じた前記撮影画像を、当該歪みが補正された画像に変換する画像変換部を備え、
前記オプティカルフロー算出部は、
前記画像変換部によって変換された撮影画像に基づいて複数のオプティカルフローを算出する
ことを特徴とする請求項１から３のいずれかに記載の移動物体検出装置。

【請求項5】

前記撮影画像は、
車両に設けられ、当該車両の走行に伴って移動する前記カメラによって当該車両の周辺を撮影した画像である、
ことを特徴とする請求項１から３のいずれかに記載の移動物体検出装置。

【請求項6】

移動するカメラによって撮影された撮影画像に基づいて、当該撮影画像に写っている移動物体を検出する移動物体検出装置の移動物体検出方法において、
撮影タイミングが異なる２つの撮影画像に基づいて複数のオプティカルフローを算出するステップと、
実空間の３次元座標を前記撮影画像の画像座標に変換する透視投影行列を、複数の前記オプティカルフローに基づいて算出するステップと、
複数の前記オプティカルフローのそれぞれの端点を前記３次元座標に投影したときの端点対応位置と、これらの端点対応位置を前記撮影画像に透視投影行列を用いて再投影した端点再投影位置との差である再投影誤差を算出するステップと、
前記オプティカルフローのそれぞれの再投影誤差に基づいて、前記撮影画像に写っている移動物体に対応するオプティカルフローを特定するステップと、
を備えることを特徴とする移動物体検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動物体検出装置、及び移動物体検出方法に関する。

【背景技術】

【0002】

車両周辺の移動物体を検知する技術として、特許文献１が知られている。
特許文献１には、車両の周辺を撮影部で撮像した撮像画像を基に、その画像のオプティカルフローを算出すること、及び、静止（停止）物体であれば、その動き速度が画像の中心（消失点）から湧き出る方向になる現象を利用し、オプティカルフローを基に、移動物体を判別すること、が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−２１０４２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の技術では、次のような場合、静止物体と移動物体の区別が困難であった。すなわち、撮影部の移動方向と平行に移動物体が移動している場合や、撮影画像の消失点と略同じ位置で水平方向（撮影画像の横方向）に移動物体が移動している場合などである。

【0005】

本発明は、移動物体の検出精度を高めることができる移動物体検出装置、及び移動物体検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、移動するカメラによって撮影され、撮影タイミングが時系列的に前後する２つの撮影画像に基づいて複数のオプティカルフローを算出するオプティカルフロー算出部と、実空間の３次元座標を前記撮影画像の画像座標に変換する透視投影行列を、複数の前記オプティカルフローに基づいて算出する透視投影行列算出部と、複数の前記オプティカルフローの各端点を前記３次元座標に投影したときの端点対応位置と、これらの端点対応位置を前記撮影画像の画像座標に透視投影行列を用いて再投影した端点再投影位置との差である再投影誤差を算出する再投影誤差算出部と、前記オプティカルフローのそれぞれの再投影誤差に基づいて、移動物体に対応するオプティカルフローを特定する移動物体検出部と、を備えることを特徴とする移動物体検出装置を提供する。

【発明の効果】

【0007】

本発明によれば、移動物体の検出精度を高めることができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施形態に係る車載移動物体検出システムの概略構成を、車載移動物体検出装置の機能的構成とともに示す図である。

【図2】円筒画像の説明図である。

【図3】撮影画像、及び円筒画像の一例を示す図である。

【図4】移動物体検出処理のフローチャートである。

【図5】オプティカルフローの算出手順の説明図である。

【図6】移動物体と静止物体を含む画像のオプティカルフローを示す概念図である。

【図7】円筒画像座標と透視投影座標との関係示す図である。

【図8】移動物体に対応するオプティカルフローのクラスタリングの説明図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態に係る車載移動物体検出システム１の概略構成を、車載移動物体検出装置４の機能的構成とともに示す図である。
車載移動物体検出システム１は、車両２に設けられた車載システムであり、車両周辺の移動物体を検出し、必要に応じて表示や警告音を出力することで、運転者などの乗員に、移動物体の存在を提示するシステムである。
本実施形態の車載移動物体検出システム１は、図１に示すように、カメラ３と、車載移動物体検出装置４と、ＨＭＩユニット６と、を備え、これらがＣＡＮ（Controller Area Network）などの車載ネットワークを介して、或いは、直接的に接続されている。

【0010】

カメラ３は、車両２の走行に伴って移動しながら当該車両２の周辺（本実施形態では、車両２の進行方向）を短い時間間隔（例えば、ミリ秒オーダー）で連続的に撮影することで、撮影タイミングが異なる撮影画像１１を順次に車載移動物体検出装置４に出力するビデオカメラである。すなわち、カメラ３から出力される一連の撮影画像１１は、いわゆる動画像であり、各撮影画像１１は動画像のフレーム画像に相当する。
また本実施形態のカメラ３は、１台で広範囲を撮影可能な魚眼カメラであり、魚眼画像を撮影画像１１として出力する。
なお、以下の説明において、車両２と周辺の物体（静止物体、及び移動物体）とは十分に離間しており、撮影画像１１には複数の物体が写っているものとする。

【0011】

車載移動物体検出装置４は、撮影画像１１に写っている物体のオプティカルフロー１７（図６）に基づいて、当該撮影画像１１に写っている移動物体を検出し、検出結果をＨＭＩユニット６に出力する車載装置である。

【0012】

詳述すると、車両２の走行中に撮影された撮影画像１１において、当該撮影画像１１に写っている物体の面積や数の割合は、静止物体が移動物体よりも大多数を占める。このため、撮影画像１１について複数のオプティカルフロー１７を求めた場合、これらのオプティカルフロー１７の平均（以下、「オプティカルフロー平均」という）は、静止物体のオプティカルフロー１７の影響を強く受け、移動物体のオプティカルフロー１７との間に有意な差を生じる。
したがって、撮影画像１１について求めた複数のオプティカルフロー１７のうち、オプティカルフロー平均との差が所定閾値以上のものを、移動物体のオプティカルフロー１７として特定することができ、特定されたオプティカルフロー１７に基づいて、撮影画像１１に写った物体の中から移動物体を区別することができる。

【0013】

ここで、車両２の走行に伴って移動するカメラ３によって撮影された撮影画像１１から成る動画像においては、動画像に写っている物体は、その物体が静止物体、及び移動物体のいずれであっても、車両２の走行や、移動物体自身の移動に起因して動画像の中を移動する。
オプティカルフロー１７は、物体のかかる移動のベクトルを表すものであり、当該オプティカルフロー１７の始点１７Ｓ、終点１７Ｅ、方向、及び大きさのそれぞれが、物体の移動前の位置、移動後の位置、移動方向、及び移動量を表している。
したがって、撮影画像１１に写っている物体の移動がオプティカルフロー平均と概ね一致すると仮定した場合、移動前、又は移動後の物体の位置にオプティカルフロー平均の始点１７Ｓ、又は終点１７Ｅを合わせることで、当該物体の移動後の位置、又は移動前の位置を推定することができる。この場合において、オプティカルフロー平均は、上述の通り、静止物体のオプティカルフロー１７の影響を強く受けているため、物体が移動物体であったときには、オプティカルフロー平均に基づいて推定された移動後の位置、又は移動前の位置（以下、「推定端点位置」という）は、実際の移動後の位置、又は実際の移動前の位置であるオプティカルフロー１７の終点１７Ｅ、又は始点１７Ｓから大きくずれる。
推定端点位置とオプティカルフロー１７の終点１７Ｅ、又は始点１７Ｓとの間の位置ずれは、撮影画像１１のオプティカルフロー平均と、移動物体のオプティカルフロー１７との差に起因して生じるものである。
そこで、本実施形態の車載移動物体検出装置４は、撮影画像１１についての複数のオプティカルフロー１７と、これらのオプティカルフロー平均との差として、各オプティカルフロー１７の始点１７Ｓと、オプティカルフロー平均に基づいて推定される移動前の位置との位置ずれの大きさを求めている。
そして車載移動物体検出装置４は、所定閾値以上の位置ずれが生じているオプティカルフロー１７を特定し、特定されたオプティカルフロー１７に基づいて、撮影画像１１の中から移動物体を検出している。
かかる車載移動物体検出装置４の具体的構成、及び動作については後述する。

【0014】

ＨＭＩユニット６は、ユーザインタフェースとなる入力装置、及び出力装置を備える。出力装置は、各種情報を表示する表示装置、及び各種音声を出力するスピーカを備え、移動物体の検出結果に基づいて、当該移動物体の存在を乗員に提示する表示や警告音を出力する。

【0015】

なお、車載移動物体検出装置４による移動物体の検出結果は、各種の運転支援に用いることができる。

【0016】

次いで、車載移動物体検出装置４の構成について詳述する。
車載移動物体検出装置４は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）などのプロセッサと、ＲＯＭ（Read Only Memory）やＲＡＭ（Random access memory）などのメモリデバイス（主記憶装置とも呼ばれる）と、ＨＤＤ（hard disk drive）やＳＳＤ（Solid State Drive）などのストレージ装置（補助記憶装置とも呼ばれる）と、センサ類や周辺機器などを接続するためのインターフェース回路と、車載ネットワークを介して他の車載機器と通信する車載ネットワーク通信回路と、を備えたコンピュータ（本実施形態では、ＥＣＵ（Electric Control Unit））を有する。そして、プロセッサがメモリデバイス又はストレージ装置に記憶されているコンピュータプログラムを実行することで、図１に示す機能的構成が実現されている。

【0017】

すなわち、車載移動物体検出装置４は、機能的構成として、画像取得部２０と、画像変換部２２と、オプティカルフロー算出部２４と、透視投影行列算出部２６と、再投影誤差算出部２８と、移動物体検出部３０と、を備える。

【0018】

画像取得部２０は、カメラ３が順次に出力する撮影画像１１を取得し、当該撮影画像１１を画像変換部２２に出力する。

【0019】

画像変換部２２は、カメラ３の撮影光学系（本実施形態では魚眼レンズ）に起因して歪みが生じた撮影画像１１を、当該歪みが補正された画像に変換する。
具体的には、画像変換部２２は、撮影光学系による歪みや、車両２におけるカメラ３の取付位置や取付姿勢に関する情報を、公知、又は周知のキャリブレーション手法を用いて推定する。そして、画像変換部２２は、推定した情報に基づいて撮影画像１１を、歪みが補正された画像である円筒画像１２に変換する。

【0020】

キャリブレーション手法は、カメラ３の撮影光学系（レンズ）の焦点距離などの内部パラメータ、車両２におけるカメラ３の取付位置や取付姿勢を表す外部パラメータ、及び、撮影光学系の歪収差係数を、当該カメラ３の撮影画像１１に基づいて求め、当該撮影画像１１を補正するために用いられる手法である。

【0021】

内部パラメータは、カメラ３の撮影光学系に関するパラメータである。内部パラメータは、カメラ３のカメラ座標Ａｃｍと撮影画像１１の画像座標Ａｐｃとを関連付けるパラメータでもあり、カメラ座標Ａｃｍを画像座標Ａｐｃに変換する行列に用いられる。
外部パラメータは、実空間におけるカメラ３の取付態様に係るパラメータである。外部パラメータは、実空間の３次元座標Ａｗｄとカメラ座標Ａｃｍとを関係付けるパラメータでもあり、３次元座標Ａｗｄからカメラ座標Ａｃｍに変換する行列に用いられる。なお、３次元座標Ａｗｄは、一般にワールド座標とも呼ばれる座標である。

【0022】

キャリブレーション手法には、例えば、３枚以上の撮影画像１１から２枚ずつを組み合わせ、上記内部パラメータ、外部パラメータ、及び歪収差係数についての共通解を探すＺｈａｎｇの手法を用いることができる。

【0023】

図２は円筒画像１２の説明図である。また図３は撮影画像１１、及び円筒画像１２の一例を示す図である。
画像変換部２２は、図２に示すように、地面から垂直に起立し、カメラ３の焦点位置ｆを中心とし円弧状を成す仮想的な円筒面１３を、上記キャリブレーション手法を用いて推定した各情報に基づいて設定する。次いで、画像変換部２２は、この円筒面１３に撮影画像１１を投影した正距円筒画像を円筒画像１２とする。
かかる投影によって、図３に示すように、撮影画像１１に生じた歪みが取り除かれた円筒画像１２が得られる。また円筒画像１２の円筒画像座標Ａｃｐｃは、縦軸、及び横軸が車両２の走行時の方位角λ、及び仰角φ（いずれも図７参照）に対応する。かかる円筒画像１２によれば、物体（被写体）とカメラ３との間の距離情報の抽出が容易となる。

【0024】

図１において、オプティカルフロー算出部２４は、撮影画像１１の歪みを補正した画像である上記円筒画像１２に基づいて、複数（本実施形態では少なくとも５つ以上）のオプティカルフロー１７を算出する。
具体的には、オプティカルフロー算出部２４は、撮影タイミングが異なる２つの撮影画像１１のそれぞれの円筒画像１２を取得し、各円筒画像１２の中の輝度情報に基づき、これらの円筒画像１２に写っている各物体の動きを解析する。そして、オプティカルフロー算出部２４は、解析結果に基づいて、各物体について、物体の移動のベクトルを示すオプティカルフロー１７を算出する。
なお、２つの撮影画像１１の撮影タイミングの差は適宜であり、本実施形態では、カメラ３から順次に出力される撮影画像１１のうち、時系列的に連続する２つの撮影画像１１がオプティカルフロー１７の算出に用いられる。

【0025】

透視投影行列算出部２６、及び再投影誤差算出部２８は、撮影画像１１から求められた複数のオプティカルフロー１７の始点１７Ｓと、オプティカルフロー平均に基づいて推定される上記推定端点位置との位置ずれの大きさを求めることと同等の役割を果たす機能部である。

【0026】

具体的には、透視投影行列算出部２６は、オプティカルフロー算出部２４によって算出された複数のオプティカルフロー１７に基づいて透視投影行列Ｐを算出する。透視投影行列Ｐは、円筒画像１２の画像座標である円筒画像座標Ａｃｐｃに３次元座標Ａｗｄを変換する行列である。
再投影誤差算出部２８は、各オプティカルフロー１７について、円筒画像座標Ａｃｐｃの始点１７Ｓを３次元座標Ａｗｄに投影したときの端点対応位置４０ｗｄを求め、透視投影行列Ｐを用いて円筒画像座標Ａｃｐｃに端点対応位置４０ｗｄを再投影した端点再投影位置４０ｐｐを求める。そして、再投影誤差算出部２８は、各オプティカルフロー１７について、始点１７Ｓと端点再投影位置４０ｐｐとの差（以下、「再投影誤差Ｄ」という）を求める。
透視投影行列Ｐは、円筒画像１２の複数のオプティカルフロー１７に基づいて求められているため、この透視投影行列Ｐによって再投影された端点再投影位置４０ｐｐがオプティカルフロー平均に基づく推定端点位置に対応し、再投影誤差Ｄがオプティカルフロー１７の始点１７Ｓと推定端点位置との位置ずれの大きさに対応することとなる。

【0027】

移動物体検出部３０は、各オプティカルフロー１７の再投影誤差Ｄに基づいて、これらのオプティカルフロー１７の中から移動物体に対応するオプティカルフロー１７を特定する。また移動物体検出部３０は、移動物体に対応するオプティカルフロー１７に基づいて、円筒画像１２に写っている移動物体を検出する。

【0028】

図４は、車載移動物体検出装置４によって実行される移動物体検出処理のフローチャートである。
車両２の走行中において、カメラ３が周囲を時系列的に連続して撮影し、撮影画像１１を順次、車載移動物体検出装置４に出力する。車載移動物体検出装置４においては、カメラ３が順次に出力した撮影画像１１を画像取得部２０が取得する（ステップＳ１）。そして画像変換部２２が撮影画像１１を順次に円筒画像１２に変換し（ステップＳ２）、撮影タイミングが異なる２枚の撮影画像１１の各々の円筒画像１２に基づいてオプティカルフロー算出部２４がオプティカルフロー１７を算出する（ステップＳ３）。

【0029】

図５は、オプティカルフロー１７の算出手順の説明図である。
なお、以下では、先に撮影された円筒画像に符号「１２−１」を付し、後に撮影された円筒画像に符号「１２−２」を付すことで、必要に応じて２枚の円筒画像１２を区別する。
オプティカルフロー算出部２４は、円筒画像１２−１、１２−２を取得すると、先ず、それぞれの円筒画像１２−１、１２−２から特徴点１５−１、１５−２を検出する（ステップＳａ１）。
特徴点１５−１、１５−２は、円筒画像１２に写っている物体の輪郭に含まれる点であり、かつ、当該物体において特に区別し易い部分にある点である。
なお、特徴点１５−１は、時間的に前に撮影された円筒画像１２−１から検出された特徴点を示し、特徴点１５−２は、時間的に後に撮影された円筒画像１２−２から検出された特徴点を示す。
特徴点１５−１、１５−２の検出には、公知、又は周知の適宜の手法を用いることができる。
図５の例では、ランニングしている人物が移動物体として円筒画像１２−１、１２−２に写っており、この人物の身体を構成する複数の部位のそれぞれの輪郭から特徴点１５−１、１５−２が検出されている。

【0030】

次いで、オプティカルフロー算出部２４は、２枚の円筒画像１２−１、１２−２を公知又は周知の手法を用いてマッチングすることで、円筒画像１２−１の各特徴点１５−１と、円筒画像１２−２の各特徴点１５−２とを対応付ける（ステップＳａ２）。
その後、オプティカルフロー算出部２４は、２つの円筒画像１２−１を円筒画像１２−２に重畳し、重畳後の円筒画像１２−２において、特徴点１５−１、及び特徴点１５−２の対ごとに、特徴点１５−１を始点１７Ｓとし特徴点１５−２を終点１７Ｅとしたベクトルに基づきオプティカルフロー１７を求める（ステップＳａ３）。

【0031】

図６は、移動物体と静止物体を含む円筒画像１２におけるオプティカルフロー１７の概念図である。
同図の例では、静止物体である壁と、ランニングしている人（移動物体）とが円筒画像１２に写っている。同図に示すように、円筒画像１２に静止物体が写っている場合には、車両２の走行に伴ってカメラ３が移動することで、２枚の円筒画像１２−１、１２−２の間で壁の位置が変化し、当該静止物体についても、消失点１９から放射状に延びる方向のオプティカルフロー１７が発生する。

【0032】

次いで、図４のステップＳ４において、透視投影行列算出部２６が透視投影行列Ｐを複数のオプティカルフロー１７に基づいて算出する。

【0033】

具体的には、透視投影行列算出部２６は、先ず、複数のオプティカルフロー１７に基づいて、基本行列Ｅを算出する。基本行列Ｅは、カメラ座標Ａｃｍから見た３次元座標Ａｗｄの回転要素を示す回転行列Ｒと、並進要素を示す並進ベクトルｔとの情報を含む行列である。基本行列Ｅを求める手法としては、例えば５点アルゴリズムを用いることができる。５点アルゴリズムは、円筒画像１２−１、１２−２の中から、５点以上のオプティカルフロー１７を取得し、これらのオプティカルフロー１７に基づいて、基本行列Ｅを推定する手法である。この５点アルゴリズムについては、例えば、「(D.Nister,An efficient solution to the five-point relative pose problem, PAMI, 26(6), pp.756-770, 2004.)」に記載されている。

【0034】

なお、オプティカルフロー１７の座標は、円筒画像座標Ａｃｐｃであるため、透視投影行列算出部２６は、各オプティカルフロー１７の座標を円筒画像座標Ａｃｐｃから透視投影座標Ａｐｐへ変換し、変更後の各オプティカルフロー１７を用いて基本行列Ｅを算出する。

【0035】

次いで透視投影行列算出部２６は、基本行列Ｅを特異値分解（SVD：Singular Value Decomposition）することで、次に示す回転行列Ｒ、及び並進ベクトルｔを求める。なお、特異値分解は、対象の行列を直交行列と対角行列に分解する演算である。

【0036】

【数1】

【0037】

次に透視投影行列算出部２６は、これら回転行列Ｒ、及び並進ベクトルｔと、カメラ３の焦点距離ｆｘ、ｆｙと、円筒画像１２の画像中心ｃｘ、ｃｙ（図３）と、に基づいて透視投影行列Ｐを算出する。なお、カメラ３の焦点距離ｆｘ、ｆｙには、ステップＳ２の撮影画像変換において、キャリブレーション手法によって推定された値が用いられる。

【0038】

【数2】

【0039】

その後、ステップＳ５において、再投影誤差算出部２８がオプティカルフロー１７ごとの再投影誤差Ｄを算出する。

【0040】

具体的には、再投影誤差算出部２８は、先ず、各オプティカルフロー１７について、式（Ｉ）、及び式（ＩＩ）に示すように、始点１７Ｓ、及び終点１７Ｅの画像座標Ａｐｃ（ｕ、ｖ）を円筒画像座標Ａｃｐｃ（λ、φ）に変換した後、当該円筒画像座標Ａｃｐｃ（λ、φ）を透視投影座標Ａｐｐ（ｘ、ｙ、ｚ）に変換する。
なお、画像座標Ａｐｃの要素ｕ、ｖは、円筒画像１２における縦の位置（pixel）、及び横の位置（pixel）に対応する。
円筒画像座標Ａｃｐｃにおいて、要素λは車両２（カメラ３）の方位角を示し、図７に示すように、透視投影座標Ａｐｐのｙ軸周りの角度（rad）を示す。また要素φは車両２（カメラ３）の仰角を示し、透視投影座標Ａｐｐのｘ軸周りの角度（rad）を示す。
また、式（Ｉ）において、パラメータδｘ、及びδｙはそれぞれ、円筒画像１２の画素の縦方向の幅（μｍ）、及び横方向の幅（μｍ）である。また、画像中心ｃｘ、ｃｙの単位は（pixel）であり、焦点距離ｆｘ、ｆｙの単位は（ｍｍ）である。

【0041】

【数3】

【0042】

次に再投影誤差算出部２８は、オプティカルフロー１７ごとに、始点１７Ｓの透視投影座標Ａｐｐ（ｘ、ｙ、ｚ）を、３次元座標Ａｗｄ（Ｘ，Ｙ，Ｚ）に変換し、当該３次元座標Ａｗｄにおける端点対応位置４０ｗｄを求める。

【0043】

詳述すると、透視投影座標ＡＨｐｐ（ｘ、ｙ、１）、及び３次元座標ＡＨｗｄ（Ｘ、Ｙ、Ｚ、１）の関係は、透視投影行列Ｐを用いて次式（１）によって表される。ただし、式（１）は式（２）によって表される。また式（１）、及び式（２）において、記号「〜」は、同次座標として等しいことを表す。

【0044】

ＡＨｐｐ〜Ｐ×ＡＨｗｄ （１）

【0045】

【数4】

【0046】

オプティカルフロー１７の始点１７Ｓ及び終点１７Ｅの透視投影座標Ａｐｐと、ステップＳ４において求められた透視投影行列Ｐを式（２）に代入すると次式（３）が得られる。ただし、式（３）は式（４）によって表される。
なお、式（３）において、Ｂは行列を示し、ｂはベクトルを示す。また、式（４）において、（ｘ、ｙ）、及び（ｘ’、ｙ’）はそれぞれ、オプティカルフロー１７の始点１７Ｓ、及び終点１７Ｅの透視投影座標Ａｐｐである。またｐ、ｐ’はそれぞれ、始点１７Ｓ、及び終点１７Ｅの各々の透視投影行列Ｐの要素に対応する。

【0047】

Ｂ×Ａｗｄ＝ｂ （３）

【0048】

【数5】

【0049】

したがって、行列Ｂの疑似逆行列Ｂ^＋を式（３）に適用することで、次式（５）が得られる。
なお、Ｂ^Ｔは行列Ｂの転置行列である。またＡＧｗｄは、透視投影行列Ｐを用いて推定された端点対応位置４０ｗｄの３次元座標である。

【0050】

ＡＧｗｄ＝Ｂ^＋ｂ
＝（Ｂ^ＴＢ）^−１Ｂ^Ｔｂ （５）

【0051】

再投影誤差算出部２８は、上記式（１）から式（５）までの計算を実行することで、各オプティカルフロー１７について始点１７Ｓの端点対応位置４０ｗｄを求める。

【0052】

なお、上記式（１）から式（３）への変形手順は次の通りである。
すなわち、上記式（１）を表す式（２）の変形によって、次式（２）’が得られる。

【0053】

【数6】

【0054】

未知のスカラーｓを用いて式（２）’を連立方程式で表すと、次式（Ａ１）から式（Ａ３）が得られる。

【0055】

【数7】

【0056】

次いで、式（Ａ３）と式（Ａ１）とでスカラーｓを消去することで、次式（Ａ４）が得られる。

【0057】

【数8】

【0058】

また、始点１７Ｓの透視投影座標Ａｐｐの要素ｙを両辺に乗じた式（Ａ３）と、式（Ａ２）とで、スカラーｓを消去することで、次式（Ａ５）が得られる。

【0059】

【数9】

【0060】

始点１７Ｓの透視投影座標Ａｐｐの座標（ｘ’、ｙ’）についても、同様に計算することで次式（Ａ６）、及び式（Ａ７）が得られる。

【0061】

【数10】

【0062】

そして、式（Ａ４）から式（Ａ７）までを行列形式に直すことで、上記式（４）が得られる。この式（４）において、左辺の行列、及び右辺のベクトルがそれぞれ、上記式（３）における行列Ｂ、及びベクトルｂに対応する。

【0063】

さて、再投影誤差算出部２８は、上記のようにして、オプティカルフロー１７の始点１７Ｓについて端点対応位置４０ｗｄを求めると、次式（６）に示すように、端点対応位置４０ｗｄの３次元座標ＡＧｗｄ（Ｘ、Ｙ、Ｚ、１）に透視投影行列Ｐを掛けることで、端点対応位置４０ｗｄを透視投影座標Ａｐｐへと再投影し、透視投影座標Ａｐｐにおける再投影位置（ｘｒ、ｙｒ、１）を求める。

【0064】

（ｘｒ、ｙｒ、１）〜Ｐ×ＡＧｗｄ （６）

【0065】

そして、再投影誤差算出部２８は、オプティカルフロー１７の始点１７Ｓの位置（ｘ、ｙ）と、再投影位置（ｘｒ、ｙｒ）の円筒画像１２における距離を再投影誤差Ｄとして次式（７）によって求める。
これにより、オプティカルフロー１７の再投影誤差Ｄが求められる。

【0066】

Ｄ＝[（ｘ−ｘｒ）^２＋（ｙ−ｙｒ）^２]^１／２ （７）

【0067】

次に、図４に示すステップ６において、移動物体検出部３０は、各オプティカルフロー１７の再投影誤差Ｄと所定閾値とを比較することで、再投影誤差Ｄが所定閾値を超えているオプティカルフロー１７を特定し、特定されたオプティカルフロー１７に基づいて、円筒画像１２−２の中から移動物体を検出する。

【0068】

詳述すると、移動物体について求められたオプティカルフロー１７は、拡大成分と並進成分を持つ。これに対し、静止物体について求められたオプティカルフロー１７は、拡大成分しか持たない。また、上述の通り、円筒画像１２における物体の面積や数は、静止物体が移動物体よりも大多数を占めている。
このため、移動物体のオプティカルフロー１７の始点１７Ｓに対し、上述のような擬似逆行列Ｂ^＋や透視投影行列Ｐを用いた再変換を行った場合、静止物体のオプティカルフロー１７に影響を大きく受けることで、再投影誤差Ｄも有意に大きくなる。
したがって、かかる有意な差を所定閾値（例えば、５pixel）として移動物体検出部３０に予め設定し、再投影誤差Ｄが所定閾値以上のオプティカルフロー１７を移動物体検出部３０が特定することで、移動物体について求められているオプティカルフロー１７が区別される。

【0069】

また、本実施形態の移動物体検出部３０は、移動物体について求められているオプティカルフロー１７を周知、又は公知の手法を用いてクラスタリングし、図８に示すように、クラスタリングされたオプティカルフロー１７の終点１７Ｅを囲む矩形５０の部分を、円筒画像１２（円筒画像１２−２）の中の移動物体の範囲として検出する。
クラスタリングの手法には、例えばK-means clustering法を用いることができる。この手法は、非階層型クラスタリングのアルゴリズムであり、クラスタの平均を用い、与えられたクラスタ数に分類することに因んで、MacQueenによって命名された手法である。

【0070】

上述した実施形態によれば、次のような効果を奏する。

【0071】

本実施形態の車載移動物体検出装置４は、実空間の３次元座標を円筒画像１２の円筒画像座標Ａｃｐｃに変換する透視投影行列Ｐを、当該円筒画像１２から得られる複数のオプティカルフロー１７に基づいて算出し、複数のオプティカルフロー１７のそれぞれの始点１７Ｓを３次元座標Ａｗｄに投影したときの端点対応位置４０ｗｄと、これらの端点対応位置４０ｗｄを円筒画像１２に透視投影行列Ｐを用いて再投影した端点再投影位置４０ｐｐとの差である再投影誤差Ｄを算出し、オプティカルフロー１７のそれぞれの再投影誤差Ｄに基づいて、移動物体に対応するオプティカルフロー１７を特定する。

【0072】

これにより、円筒画像１２（撮影画像１１）に写る物体が移動物体よりも静止物体が支配的になる状況下において、円筒画像１２の中から移動物体に対応するオプティカルフロー１７を精度良く特定し、移動物体を検出することができる。
また、カメラ３（車両２）の移動方向と平行に移動物体が移動している場合や、円筒画像１２（撮影画像１１）の消失点１９と略同じ位置で水平方向（円筒画像１２の横方向）に移動物体が移動している場合であっても、車載移動物体検出装置４によれば、これらの移動物体のオプティカルフロー１７を、静止物体のオプティカルフロー１７と区別することができる。

【0073】

本実施形態の車載移動物体検出装置４によれば、移動物体に対応するオプティカルフロー１７のクラスタリングに基づいて円筒画像１２の中の移動物体を検出する。
これにより、円筒画像１２の中から移動物体が写っている範囲を検出できる。

【0074】

本実施形態の車載移動物体検出装置４によれば、再投影誤差Ｄと所定閾値との比較に基づいて移動物体に対応するオプティカルフロー１７を特定するため、所定閾値を適切に設定することで、移動物体に対応するオプティカルフロー１７を、より正確に特定することができる。

【0075】

本実施形態の車載移動物体検出装置４によれば、カメラ３の撮影光学系によって歪みが生じた撮影画像１１を、当該歪みが補正された円筒画像１２に変換し、当該円筒画像１２に基づいて複数のオプティカルフロー１７を算出する。
これにより、広範囲の撮影のために、魚眼カメラがカメラ３に用いられている場合でも、魚眼レンズによる歪みの影響を受けずに、オプティカルフロー１７を算出することができる。
また、歪みが補正された円筒画像１２に撮影画像１１を変換することで、円筒画像１２に写っている物体とカメラ３との間の距離情報の抽出が容易となる。

【0076】

本実施形態の車載移動物体検出装置４によれば、車両２の走行中に撮影された撮影画像１１から移動物体を精度良く検出することができ、各種の運転支援に有効に用いることができる。

【0077】

なお、上述した実施形態は、あくまでも本発明の一態様の例示であり、本発明の主旨を逸脱しない範囲において任意に変形、及び応用が可能である。

【0078】

上述した実施形態では、オプティカルフロー１７の始点１７Ｓについて端点対応位置４０ｗｄ、及び端点再投影位置４０ｐｐを求め、これら端点対応位置４０ｗｄ、及び端点再投影位置４０ｐｐに基づいて再投影誤差Ｄを算出した。
しかしながら、これに限らず、オプティカルフロー１７の終点１７Ｅ、及び始点１７Ｓのどちらの端点も端点対応位置４０ｗｄ、及び端点再投影位置４０ｐｐに用いることができる。

【0079】

上述した実施形態において、カメラ３の撮影光学系に起因した歪みが少ない場合、必ずしも撮影画像１１の歪みを補正する必要はなく、当該撮影画像１１に基づいて、オプティカルフロー１７を算出してもよい。

【0080】

上述した実施形態において、カメラ３は、車両２に限らず、任意の移動体に設けてもよい。

【0081】

図１に示す機能ブロックは、本願発明を理解容易にするために、構成要素を主な処理内容に応じて分類して示した概略図であり、各構成要素は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

【0082】

上述した実施形態において、水平、及び垂直等の方向、各種の数値、及び形状に係る記載は、特段の断りがない限り、その方向の周辺、その数値の周辺、及び近似の形状を除外するものではない。すなわち、これらの方向、数値、及び形状と同じ作用効果を奏する限りにおいて、実施形態における方向、数値、及び形状は、その方向の周辺、その数値の周辺、及び近似の形状（いわゆる、均等の範囲）を含む。

【符号の説明】

【0083】

１ 車載移動物体検出システム
３ カメラ
４ 車載移動物体検出装置（移動物体検出装置）
１１ 撮影画像
１２ 円筒画像
１５−１、１５−２ 特徴点
１７ オプティカルフロー
１７Ｅ 終点（端点）
１７Ｓ 始点（端点）
２０ 画像取得部
２２ 画像変換部
２４ オプティカルフロー算出部
２６ 透視投影行列算出部
２８ 再投影誤差算出部
３０ 移動物体検出部
４０ｐｐ 端点投影位置
４０ｗｄ 端点対応位置
Ａｃｐｃ 円筒画像座標
Ａｐｃ 画像座標
Ａｐｐ 透視投影座標
Ａｗｄ ３次元座標
Ｄ 投影誤差
Ｐ 透視投影行列

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】