特許 7091688 オブジェクト検出装置、オブジェクト検出方法、及びオブジェクト検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-20

(45)【発行日】2022-06-28

(54)【発明の名称】オブジェクト検出装置、オブジェクト検出方法、及びオブジェクト検出プログラム

(51)【国際特許分類】

   G06T 7/194 20170101AFI20220621BHJP

   G06T 7/521 20170101ALI20220621BHJP

   G06T 7/00 20170101ALI20220621BHJP

   G08G 1/04 20060101ALI20220621BHJP

【ＦＩ】

G06T7/194

G06T7/521

G06T7/00 300B

G08G1/04 D

【請求項の数】 6

(21)【出願番号】P 2018022760

(22)【出願日】2018-02-13

(65)【公開番号】P2019139541

(43)【公開日】2019-08-22

【審査請求日】2020-12-04

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】萩原 祥行

【審査官】新井 則和

(56)【参考文献】

【文献】特開２００８－１７６５０４（ＪＰ，Ａ）

【文献】特開２０１３－２５７２８８（ＪＰ，Ａ）

【文献】特開２０１６－１１５２１４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０８Ｇ １／０４

(57)【特許請求の範囲】

【請求項1】

対象エリアを撮像した可視光のフレーム画像が入力される画像入力部と、
前記対象エリアの背景画像を記憶する背景画像記憶部と、
前記画像入力部に入力された前記フレーム画像と、前記背景画像記憶部に記憶している前記背景画像と、を用いた背景差分法により前記対象エリア内に位置するオブジェクトを検出するオブジェクト検出部と、
前記オブジェクト検出部による前記オブジェクトの検出に同期して、前記画像入力部に入力された前記フレーム画像を用いて、前記背景画像記憶部に記憶している前記背景画像を更新する背景画像更新部と、
探査波を前記対象エリアに照射し、検出した反射波に基づいて前記対象エリア内に位置するオブジェクトを検知したレーダセンサの検知信号が入力される検知信号入力部と、を備え、
前記背景画像更新部は、前記画像入力部に入力された前記フレーム画像上の画素であって、前記レーダセンサによってオブジェクトが検知された位置に対応する画素を、前記背景画像の更新に用いない画素に決定する、オブジェクト検出装置。

【請求項2】

前記背景画像更新部は、前記オブジェクト検出部によって前記オブジェクトが検出された画素であっても、前記レーダセンサによってオブジェクトが検知されていない位置に対応する画素であれば、その画素を前記背景画像の更新に用いる、請求項１に記載のオブジェクト検出装置。

【請求項3】

前記レーダセンサは、検出した反射波の強度を用いて前記対象エリア内に位置するオブジェクトを検知する、請求項１、または２に記載のオブジェクト検出装置。

【請求項4】

前記レーダセンサは、探査波を照射してから、その反射波を検出するまでの飛行時間を用いて前記対象エリア内に位置するオブジェクトを検知する、請求項１～３のいずれかに記載のオブジェクト検出装置。

【請求項5】

画像入力部に入力された、対象エリアを撮像した可視光のフレーム画像と、背景画像記憶部に記憶している前記対象エリアの背景画像と、を用いた背景差分法により前記対象エリア内に位置するオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップによる前記オブジェクトの検出に同期して、前記画像入力部に入力された前記フレーム画像を用いて、前記背景画像記憶部に記憶している前記背景画像を更新する背景画像更新ステップと、
検知信号入力部に入力された、レーダセンサが、探査波を前記対象エリアに照射し、検出した反射波に基づいて前記対象エリア内に位置するオブジェクトを検知した検知信号を処理する検知信号処理ステップと、をコンピュータが実行するオブジェクト検出方法であって、
前記背景画像更新ステップは、前記画像入力部に入力された前記フレーム画像上の画素であって、前記レーダセンサによってオブジェクトが検知された位置に対応する画素を、前記背景画像の更新に用いない画素に決定するステップである、オブジェクト検出方法。

【請求項6】

画像入力部に入力された、対象エリアを撮像した可視光のフレーム画像と、背景画像記憶部に記憶している前記対象エリアの背景画像と、を用いた背景差分法により前記対象エリア内に位置するオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップによる前記オブジェクトの検出に同期して、前記画像入力部に入力された前記フレーム画像を用いて、前記背景画像記憶部に記憶している前記背景画像を更新する背景画像更新ステップと、
検知信号入力部に入力された、レーダセンサが、探査波を前記対象エリアに照射し、検出した反射波に基づいて前記対象エリア内に位置するオブジェクトを検知した検知信号を処理する検知信号処理ステップと、をコンピュータに実行させるオブジェクト検出プログラムであって、
前記背景画像更新ステップは、前記画像入力部に入力された前記フレーム画像上の画素であって、前記レーダセンサによってオブジェクトが検知された位置に対応する画素を、前記背景画像の更新に用いない画素に決定するステップである、オブジェクト検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、対象エリアを撮像したフレーム画像に撮像されているオブジェクトを背景差分法により検出する技術に関する。

【背景技術】

【0002】

従来、カメラで撮影した走行路のフレーム画像を処理し、そのフレーム画像に撮像されている車両を背景差分法により検出する技術がある（特許文献１等参照）。

【0003】

背景差分法は、周知のように、カメラで撮像した対象エリアのフレーム画像と、この対象エリアの背景画像との差分画像（背景差分画像）を得ることによって、このフレーム画像に撮像されている車両、人等のオブジェクトを抽出する技術である。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１０２６３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１にも記載されているように、背景画像は、環境の変化（例えば昼夜の変化）などに追従して更新する必要がある。また、事故等により車両が長時間停止した場合、または渋滞が長く続いた場合などにおいて、背景画像の更新が正常に行えない場合がある。背景差分法では、背景画像が不適正な画像に更新されると、オブジェクトの誤検出、およびオブジェクトの検出漏れが生じる。

【0006】

ここで言う背景画像とは、画素毎に背景に対応する画素値を対応付けた画像であってもよいし、画素毎に背景に対応する画素値の確率分布を示す背景モデルを対応付けたものであってもよい。

【0007】

なお、特許文献１は、上述した理由により背景画像が不適正な画像に更新されるのを防止するための構成を提案していない。

【0008】

この発明の目的は、背景画像が不適正な画像に更新されるのを防止し、背景差分法によるオブジェクトの検出が精度よく行える技術を提供することにある。

【課題を解決するための手段】

【0009】

この発明のオブジェクト検出装置は、上記目的を達成するため以下に示すように構成している。

【0010】

オブジェクト検出部は、画像入力部に入力された対象エリアを撮像した可視光のフレーム画像と、背景画像記憶部に記憶している背景画像と、を用いた背景差分法により、この対象エリア内に位置するオブジェクトを検出する。背景画像更新部は、画像入力部に入力されたフレーム画像を用いて、背景画像記憶部に記憶している背景画像を更新する。

【0011】

また、検知信号入力部には、探査波を対象エリアに照射し、検出した反射波に基づいて対象エリア内に位置するオブジェクトを検知したレーダセンサの検知信号が入力される。このレーダセンサは、探査波として電波を使用する電波レーダセンサであってもよいし、探査波としてレーザ光を使用するレーザレーダセンサであってもよい。

【0012】

そして、背景画像更新部は、画像入力部に入力されたフレーム画像上の画素であって、背景画像の更新に用いない画素を、検知信号入力部に入力された検知信号に基づいて決定する。例えば、背景画像更新部は、画像入力部に入力されたフレーム画像上の画素であって、レーダセンサによってオブジェクトが検知された位置に対応する画素を、背景画像の更新に用いない画素に決定する。

【0013】

この構成では、赤信号、事故等により停止している車両、渋滞等で低速度で走行している車両等にかかる画素を用いないで、背景画像を更新することができる。すなわち、赤信号、事故等により停止している車両、渋滞等で低速度で走行している車両等が背景画像に取り込まれるのを防止できる。したがって、背景画像が不適正な画像に更新されるのを防止でき、背景差分法でオブジェクトの検出が精度よく行える。

【0014】

なお、この発明で言う背景画像とは、画素毎に背景に対応する画素値を対応付けた画像であってもよいし、画素毎に背景に対応する画素値の確率分布を示す背景モデルを対応付けたものであってもよい。

【0015】

また、背景画像更新部は、オブジェクト検出部によってオブジェクトが検出された画素であっても、レーダセンサによってオブジェクトが検知されていない位置に対応する画素であれば、その画素を前記背景画像の更新に用いる構成にしてもよい。このように構成すれば、環境変化により画素値が変化した対象エリア内の場所についても、背景画像の更新が適正に行える。

【0016】

また、第２のオブジェクト検出部は、検出した反射波の強度を用いて対象エリア内に位置するオブジェクトを検出するものであってもよいし、探査波を照射してから、その反射波を検出するまでの飛行時間を用いて対象エリア内に位置するオブジェクトを検出するものであってもよい。

【発明の効果】

【0017】

この発明によれば、背景画像が不適正な画像に更新されるのを防止でき、背景差分法によるオブジェクトの検出が精度よく行える。

【図面の簡単な説明】

【0018】

【図1】この例にかかるオブジェクト検出装置によって車両を検知する走行路を示す概略図である。

【図2】オブジェクト検出装置の主要部の構成を示すブロック構成図である。

【図3】カメラによって撮像された対象エリアのフレーム画像の例を示す図である。

【図4】オブジェクト検出装置の動作を示すフローチャートである。

【図5】オブジェクト検出処理を示すフローチャートである。

【図6】背景画像更新処理を示すフローチャートである。

【発明を実施するための形態】

【0019】

以下、この発明の実施形態について説明する。

【0020】

＜１．適用例＞
図１は、この例にかかるオブジェクト検出装置によって車両を検知する走行路を示す概略図である。オブジェクト検出装置１は、対象エリア１０内に位置する車両２を検知する。すなわち、オブジェクト検出装置１は、対象エリア１０内を走行している車両２を検知する。この例では、車両２が、この発明で言うオブジェクトに相当する。

【0021】

図１に示すように、カメラ３、および電波レーダセンサ４は、走行路２０の路側に立設したポールの上端側に設けられた、走行路２０の幅方向に延びるアームに取り付けられている。カメラ３は、撮像エリアが対象エリア１０をカバーするように取り付けられている。また、電波レーダセンサ４も、探査波である電波の走査範囲が対象エリア１０をカバーするように取り付けられている。

【0022】

また、図１では、この例にかかるオブジェクト検出装置１がポールの下端側に取り付けられている例を示しているが、このオブジェクト検出装置１の設置場所は、対象エリア１０周辺であってもよいし、対象エリア１０から距離的に離れているセンタ等であってもよい。オブジェクト検出装置１は、カメラ３が撮像した対象エリア１０のフレーム画像、および電波レーダセンサ４が対象エリア１０を電波で走査して検知した対象エリア１０内における車両２の位置が入力される構成であればよい。

【0023】

ここで、電波レーダセンサ４について簡単に説明しておく。この例にかかる電波レーダセンサ４は、電波を探査波として用い、探査波で走査する走査範囲内に対象エリア１０が含まれる。電波レーダセンサ４は、照射した探査波の反射波の強度を検出する。電波レーダセンサ４は、照射した探査波の反射波の強度によって、その反射波が車両２で反射されたものであるかどうかを判定する。この判定は、路面で反射された反射波よりも、車両２で反射された反射波のほうが強度が強くなることを利用している。

【0024】

また、電波レーダセンサ４は、探査波の飛行時間（探査波を照射してから反射波を検出するまでの時間）を検出する構成であってもよい。この場合、電波レーダセンサ４は、照射した探査波の飛行時間によって、その反射波が車両２で反射されたものであるかどうかを判定する。この判定は、探査波が路面で反射されたときよりも、車両２で反射されたときのほうが飛行時間が短くなることを利用している。

【0025】

なお、電波レーダセンサ４は、反射波の強度、または探査波飛行時間のどちらか一方を検出して、車両２を検知するものであってもよいし、反射波の強度、および探査波飛行時間の両方を検出して、車両２を検知するものであってもよい。

【0026】

また、電波レーダセンサ４は、探査波の照射方向によって、対象エリア１０内における車両２の位置も検知する。電波レーダセンサ４は、探査波による対象エリア１０の走査を繰り返す。電波レーダセンサ４は、対象エリア１０を探査波で走査して検知した車両２、およびその車両２の位置を検知信号として出力する。電波レーダセンサ４は、対象エリア１０に対する探査波の走査を、１秒間に、数回～１０数回行う。電波レーダセンサ４が、この発明で言うレーダセンサに相当する。

【0027】

なお、電波レーダセンサ４は、探査波としてレーザ光を用いるレーザレーダセンサに置き換えてもよいし、探査波として超音波等を用いる他の種類のレーダセンサに置き換えてもよい。

【0028】

また、カメラ３は、１秒間に、１０～３０フレーム撮像するビデオカメラである。カメラ３は、対象エリア１０を撮像したフレーム画像を出力する。

【0029】

オブジェクト検出装置１には、カメラ３によって撮像された対象エリア１０のフレーム画像、および電波レーダセンサ４によって検知された対象エリア１０内に位置する車両２の検知信号が入力される。

【0030】

オブジェクト検出装置１は、対象エリア１０の背景画像を記憶している。オブジェクト検出装置１は、カメラ３によって撮像された対象エリア１０のフレーム画像と、記憶している対象エリア１０の背景画像との差分画像（背景差分画像）を得ることによって、このフレーム画像に撮像されている車両２を検出する。すなわち、オブジェクト検出装置１は、公知の背景差分法により、対象エリア１０内に位置する車両２の検出を行う。

【0031】

また、オブジェクト検出装置１は、カメラ３によって撮像された対象エリア１０のフレーム画像を用いて、記憶している対象エリア１０の背景画像を更新する。オブジェクト検出装置１は、この背景画像の更新において、カメラ３によって撮像された対象エリア１０のフレーム画像毎に、背景画像の更新に用いない画素を決定する。具体的には、カメラ３によって撮像された対象エリア１０のフレーム画像の撮像時刻に対応する、電波レーダセンサ４の検知信号に基づき、電波レーダセンサ４によって車両２が検知されていた位置に対応する、フレーム画像上の画素を背景画像の更新に用いない画素に決定する。

【0032】

カメラ３によって撮像された対象エリア１０のフレーム画像の撮像時刻に対応する、電波レーダセンサ４の検知信号とは、この撮像時刻に対して、探査波による対象エリア１０の走査が時間的に最も近い検知信号である。撮像時刻と比較する時刻は、探査波による対象エリア１０の走査の開始時刻にしてもよいし、探査波による対象エリア１０の走査の終了時刻にしてもよいし、探査波による対象エリア１０の走査の開始から終了までの中間の時刻にしてもよい。

【0033】

したがって、オブジェクト検出装置１は、赤信号、事故等により停止している車両、渋滞等で低速度で走行している車両等にかかる画素を用いないで、背景画像を更新することができる。すなわち、赤信号、事故等により停止している車両、渋滞等で低速度で走行している車両等が背景画像に取り込まれるのを防止できる。したがって、背景画像が不適正な画像に更新されるのを防止でき、背景差分法によるオブジェクトの検出が精度よく行える。

【0034】

ここで言う背景画像とは、画素毎に背景に対応する画素値を対応付けた画像であってもよいし、画素毎に背景に対応する画素値の確率分布を示す背景モデルを対応付けたものであってもよい。また、更新する背景画像の生成を、入力されたフレーム画像の背景画素のみを用いて（前景画素を用いないで）行う方法がすでに種々提案されている。オブジェクト検出装置１は、公知のいずれの手法で更新する背景画像を生成してもよいが、この背景画像の更新において、電波レーダセンサ４によって車両２が検知されていた位置に対応するフレーム画像上の画素を便宜的に前景画素とし、他の画素を便宜的に背景画素にして背景画像を更新する。

【0035】

なお、ここでは、前景画素、背景画素の判定が、背景差分によるものでないという意味で、便宜的としている。

【0036】

＜２．構成例＞
図２は、オブジェクト検出装置の主要部の構成を示すブロック図である。オブジェクト検出装置１は、制御ユニット１１と、背景画像記憶部１２と、画像入力部１３と、検知信号入力部１４と、出力部１５と、を備えている。

【0037】

制御ユニット１１は、オブジェクト検出装置１本体各部の動作を制御する。また、制御ユニット１１は、オブジェクト検出部１１ａ、および背景画像更新部１１ｂを有している。オブジェクト検出部１１ａ、および背景画像更新部１１ｂの詳細については、後述する。

【0038】

背景画像記憶部１２は、対象エリア１０の背景画像を記憶している。この背景画像は、画素毎に背景に対応する画素値を対応付けた画像であってもよいし、画素毎に背景に対応する画素値の確率分布を示す背景モデルを対応付けたものであってもよい。

【0039】

画像入力部１３には、カメラ３が接続されている。画像入力部１３には、カメラ３が撮像した対象エリア１０のフレーム画像が入力される。図３は、カメラによって撮像された対象エリア１０のフレーム画像の例を示す図である。画像入力部１３には、特に図示していないが、入力されたフレーム画像を一時的に記憶する画像メモリが設けられている。図３に示すように、カメラ３は、対象エリア１０全体をカバーする領域を撮像する。

【0040】

検知信号入力部１４には、電波レーダセンサ４が接続されている。電波レーダセンサ４は、上述したように、探査波である電波で対象エリア１０を走査し、検知した車両２、およびその車両２の位置を検知信号として出力する。検知信号入力部１４には、電波レーダセンサ４の検知信号が入力される。検知信号入力部１４には、特に図示していないが、入力された電波レーダセンサ４の検知信号を一時的に記憶するメモリが設けられている。

【0041】

出力部１５は、対象エリア１０における車両２の検知結果を管制センタ等の外部装置に出力する。

【0042】

次に、制御ユニット１１が有するオブジェクト検出部１１ａ、および背景画像更新部１１ｂについて説明する。

【0043】

オブジェクト検出部１１ａは、カメラ３によって撮像された対象エリア１０のフレーム画像と、背景画像記憶部１２に記憶している背景画像との差分画像（背景差分画像）を得ることによって、このフレーム画像に撮像されている車両２を検出する。

【0044】

背景画像更新部１１ｂは、背景画像記憶部１２に記憶している背景画像を、カメラ３によって撮像された対象エリア１０のフレーム画像、および検知信号入力部１４に入力された電波レーダセンサ４の検知信号を用いて更新する。具体的には、カメラ３によって撮像された対象エリア１０のフレーム画像の撮像時刻に対応する、電波レーダセンサ４の検知信号に基づき、電波レーダセンサ４によって車両２が検知されていた位置に対応する、フレーム画像上の画素を背景画像の更新に用いない画素に決定する。背景画像更新部１１ｂは、ここで決定した背景画像の更新に用いない画素を便宜的に前景画素とし、その他の画素を便宜的に背景画素とする。そして、背景画像更新部１１ｂは、フレーム画像において、便宜的に背景画素とした画素のみを用いて（便宜的に前景画素とした画素を用いないで）、背景画像を更新する。

【0045】

例えば、背景画像更新部１１ｂが、複数のフレーム画像を用いて、更新する背景画像の生成する場合、更新する背景画像の画素毎に、以下に示す処理を行う。
（１）対応する画素が、便宜的に背景画素であるとされているフレーム画像を抽出（対応する画素が、便宜的に前景画素であるとされているフレーム画像を抽出しない、）、
（２）抽出したフレーム画像における対応する画素の平均値を算出、
（３）算出した平均値を、更新する背景画像の対応する画素の画素値にする。

【0046】

また、上記（２）で平均値ではなく、中央値を算出し、（３）で算出した中央値を更新する背景画像の対応する画素の画素値にしてもよい。また、（２）で抽出したフレーム画像における対応する画素の画素値の確率分布モデルを生成し、（３）で生成した確率分布モデルを、更新する背景画像の対応する画素の背景モデルにしてもよい。

【0047】

なお、背景画像更新部１１ｂにおける背景画像の更新は、フレーム画像において、便宜的に背景画素とした画素のみを用いて（便宜的に前景画素とした画素を用いないで）行う手法であれば、上記以外の手法であってもよい。

【0048】

オブジェクト検出装置１の制御ユニット１１は、ハードウェアＣＰＵ、メモリ、その他の電子回路によって構成されている。ハードウェアＣＰＵが、この発明にかかる駐車場管理プログラムを実行したときに、オブジェクト検出部１１ａ、および背景画像更新部１１ｂとして動作する。また、メモリは、この発明にかかるオブジェクト検出プログラムを展開する領域や、このオブジェクト検出プログラムの実行時に生じたデータ等を一時記憶する領域を有している。制御ユニット１１は、ハードウェアＣＰＵ、メモリ等を一体化したＬＳＩであってもよい。また、ハードウェアＣＰＵが、この発明にかかるオブジェクト検出方法を実行するコンピュータである。

【0049】

＜３．動作例＞
図４は、オブジェクト検出装置の動作を示すフローチャートである。オブジェクト検出装置１は、カメラ３によって撮像されたフレーム画像であって、画像入力部１３に設けられている画像メモリに記憶しているフレーム画像の中から処理対象のフレーム画像を決定する（ｓ１）。オブジェクト検出装置１は、ｓ１で決定した処理対象のフレーム画像を読み出すとともに、この処理対象のフレーム画像よりも以前にカメラ３が撮像したフレーム画像を画像メモリから削除する。ｓ１では、前回処理した処理対象のフレーム画像の次に撮像されたフレーム画像を、今回の処理対象フレーム画像として選択してもよいし、前回処理した処理対象のフレーム画像から所定フレーム数後の（例えば、３～５フレーム後）に撮像されたフレーム画像を、今回の処理対象フレーム画像として選択してもよい。

【0050】

オブジェクト検出装置１は、ｓ１で決定した処理対象フレーム画像に撮像されているオブジェクト検出処理を実行する（ｓ２）。このオブジェクト検出処理は、オブジェクト検出部１１ａが実行する。また、オブジェクト検出装置１は、背景画像記憶部１２に記憶している背景画像更新処理を行い（ｓ３）、ｓ１に戻る。この背景画像更新処理は、背景画像更新部１１ｂが実行する。

【0051】

ｓ２にかかるオブジェクト検出処理について説明する。図５は、このオブジェクト検出処理を示すフローチャートである。オブジェクト検出部１１ａは、背景画像記憶部１２に記憶している対象エリア１０の背景画像を読み出す（ｓ１１）。オブジェクト検出装置１は、背景画像記憶部１２に記憶している対象エリア１０の背景画像を、このオブジェクト検出処理に同期させて更新している。具体的には、このｓ２かかるオブジェクト検出処理を完了すると、ｓ３で背景画像記憶部１２に記憶している対象エリア１０の背景画像の更新を行う。したがって、ｓ２では、対象エリア１０の環境変化等を抑えたオブジェクト検出処理が行える。

【0052】

オブジェクト検出部１１ａは、ｓ１で決定した処理対象のフレーム画像と、ｓ２で読み出した背景画像との差分画像（背景差分画像）を生成し、処理対象のフレーム画像に撮像されている車両２を検出する（ｓ１２、ｓ１３）。ｓ１２、およびｓ１３にかかる処理は、公知の背景差分法によるオブジェクトの検出である。オブジェクト検出部１１ａは、ｓ４で検出した車両２毎に、その車両２の検出データを制御ユニット１１に設けられているメモリ等に記憶し（ｓ１４）、本処理を終了する。車両２の検出データは、車両２の種別（大型、小型等）、色（フレーム画像がカラー画像である場合）、位置等である。

【0053】

なお、出力部１５が、ｓ１４でメモリ等に記憶した車両２の検出データを、必要に応じて外部装置に出力する。

【0054】

次に、ｓ３にかかる背景画像更新処理について説明する。図６は、背景画像更新処理を示すフローチャートである。背景画像更新部１１ｂは、ｓ１で決定した処理対象フレーム画像に対応する、電波レーダセンサ４の検知信号を読み出す（ｓ２１）。上述したように、電波レーダセンサ４は、探査波による対象エリア１０の走査を繰り返しており、対象エリア１０を探査波で走査する毎に、検知した車両２、およびその車両２の位置を検知信号として出力している。オブジェクト検出装置１は、電波レーダセンサ４から入力された検知信号を、検知信号入力部１４に設けたメモリに記憶している。また、カメラ３によって撮像された対象エリア１０のフレーム画像の撮像時刻に対応する電波レーダセンサ４の検知信号とは、この撮像時刻に対して、探査波による対象エリア１０の走査が時間的に最も近い検知信号である。

【0055】

背景画像更新部１１ｂは、ｓ１で決定した処理対象フレーム画像の画素毎に、便宜的に背景画素であるか、前景画素であるかを判定する（ｓ２２）。このｓ２２にかかる処理は、対象エリア１０内に位置する車両２を検出する処理ではないので、ここでは、背景画素、または前景画素の判定を便宜的に行うとしている。ｓ２２では、ｓ１で決定した処理対象フレーム画像の画素毎に、その画素に対応する対象エリア１０の位置が、ｓ２１で読み出した検知信号において、車両２が検知されていた位置であるかどうかを判定する。背景画像更新部１１ｂは、ｓ２１で読み出した検知信号において、車両２が検知されていた位置に対応する画素を便宜的に前景画素と判定し、その他の画素を背景画素と判定する。

【0056】

背景画像更新部１１ｂは、ｓ１で決定した処理対象フレーム画像に対して、ｓ２２の判定結果を反映した背景更新用データを生成し、これを制御ユニット１１等に設けられたメモリに記憶する（ｓ２３）。ｓ２３で生成される背景更新用データは、ｓ１で決定された処理対象フレーム画像に、背景画像の更新に用いない画素として、ｓ２２で便宜的に前景画素であると判定された画素を対応付けたデータである。

【0057】

背景画像更新部１１ｂは、背景画像記憶部１２に記憶している背景画像を更新するかどうかを判定する（ｓ２４）。背景画像記憶部１２に記憶している背景画像は、ｓ１で処理対象フレーム画像を決定する毎に実行する構成であってもよいし、前回の背景画像の更新後、ｓ１で決定された処理対象フレーム画像が所定フレーム数に達すると実行する構成であってもよい。

【0058】

背景画像更新部１１ｂは、ｓ２４で背景画像記憶部１２に記憶している背景画像を更新しないと判定すると、本処理を終了する。一方、背景画像更新部１１ｂは、ｓ２４で背景画像記憶部１２に記憶している背景画像を更新すると判定すると、更新する背景画像を生成し、背景画像記憶部１２に記憶している背景画像を今回生成した背景画像に更新し（ｓ２５）、本処理を終了する。

【0059】

背景画像更新部１１ｂは、今回の背景画像の更新に使用するフレーム画像（カメラ３により撮像されたフレーム画像）を決定する。背景画像更新部１１ｂは、ここで決定したフレーム画像毎に、背景更新用データを読み出す。そして、今回の背景画像の更新に使用するフレーム画像において、便宜的に背景画素とした画素のみを用いて（便宜的に前景画素とした画素を用いないで）、更新する背景画像を生成する。

【0060】

なお、更新する背景画像の生成を、入力されたフレーム画像の背景画素のみを用いて（前景画素を用いないで）行う方法がすでに種々提案されている。この例にかかるオブジェクト検出装置１は、電波レーダセンサ４によって車両２が検知されていた位置に対応するフレーム画像上の画素を便宜的に前景画素とし、他の画素を便宜的に背景画素にして、更新する背景画像を生成する構成であれば、公知のいずれの手法で更新する背景画像を生成してもよい。

【0061】

また、背景画像は、各画素の画素値を設定したものであってもよいし、各画素の画素値の確率分布（背景モデル）を設定したものであってもよい。

【0062】

したがって、背景画像更新部１１ｂは、赤信号、事故等により停止している車両、渋滞等で低速度で走行している車両等にかかる画素を用いないで、背景画像を更新することができる。すなわち、赤信号、事故等により停止している車両、渋滞等で低速度で走行している車両等が背景画像に取り込まれるのを防止できる。このため、オブジェクト検出装置１は、背景画像が不適正な画像に更新されるのを防止でき、ｓ２の背景差分法によるオブジェクトの検出が精度よく行える。

【0063】

なお、電波レーダセンサ４による車両２の検出結果では車両２の大きさ、色等を検知することはできないが、この例にかかるオブジェクト検出装置１は、カメラ３で撮像したフレーム画像を処理して車両２を検出する構成であるので、車両２の大きさ、色等の検出も行える。

【0064】

また、オブジェクト検出部１１ａが、背景差分画像において前景画素であると判定した画素であっても、対応する電波レーダセンサ４の検知信号において、車両２が検出されていない位置に対応する画素であれば、この画素が背景画像の更新に用いられる。したがって、対象エリア１０周辺の環境変化による影等がオブジェクト検出部１１ａにおいて前景画素であると判定されても、この画素を用いて背景画像を更新するので、対象エリア１０周辺の環境変化にも追従しながら、背景画像を更新することができる。

【0065】

＜４．変形例＞
上記の例では、カメラ３で撮像されたフレーム画像に対して、電波レーダセンサ４の検知信号をそのまま利用して、画素毎に背景画素であるか、前景画素であるかを判定するとしているが、電波レーダセンサ４の検知信号を処理し、この検知信号において車両２が検知されている対象エリア１０の領域を設定するようにしてもよい。具体的には、電波レーダセンサ４の検知信号において、車両２を検知している位置を距離に基づいてグルーピングすることによって、車両２別に検知領域を設定する。この車両２別の検知領域内には、電波レーダセンサ４の検知信号において車両２を検出していない探査波の照射ポイントが含まれてもよい。

【0066】

背景更新用データの生成においては、カメラ３で撮像されたフレーム画像の画素毎に、その画素が車両２別の検知領域内に位置する画素であるかどうかを判定し、車両２別の検知領域内に位置する画素であれば、便宜的に前景画素にすればよい。

【0067】

このようにしても、上記の例と同様に、背景画像を適正に更新することができるので、ｓ２の背景差分法によるオブジェクトの検出が精度よく行える。

【0068】

また、オブジェクト検出装置１は、オブジェクトとして車両２検出するものに限らず、人等の他の種類のオブジェクトを検出するものであってもよい。

【0069】

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

【0070】

さらに、この発明に係る構成と上述した実施形態に係る構成との対応関係は、以下の付記のように記載できる。
＜付記＞
対象エリア（１０）を撮像した可視光のフレーム画像が入力される画像入力部（１３）と、
前記対象エリア（１０）の背景画像を記憶する背景画像記憶部（１２）と、
前記画像入力部（１３）に入力された前記フレーム画像と、前記背景画像記憶部（１２）に記憶している前記背景画像と、を用いた背景差分法により前記対象エリア（１０）内に位置するオブジェクト（２）を検出するオブジェクト検出部（１１ａ）と、
前記画像入力部（１３）に入力された前記フレーム画像を用いて、前記背景画像記憶部（１２）に記憶している前記背景画像を更新する背景画像更新部（１１ｂ）と、
探査波を前記対象エリアに照射し、検出した反射波に基づいて前記対象エリア内に位置するオブジェクト（２）を検知したレーダセンサ（４）の検知信号が入力される検知信号入力部（１４）と、を備え、
前記背景画像更新部（１１ｂ）は、前記画像入力部（１３）に入力された前記フレーム画像上の画素であって、前記背景画像の更新に用いない画素を、前記検知信号入力部（１４）に入力された前記検知信号に基づいて決定する、オブジェクト検出装置（１）。

【符号の説明】

【0071】

１…オブジェクト検出装置
２…車両
３…カメラ
４…電波レーダセンサ
１０…対象エリア
１１…制御ユニット
１１ａ…オブジェクト検出部
１１ｂ…背景画像更新部
１２…背景画像記憶部
１３…画像入力部
１４…検知信号入力部
１５…出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】