特許 6070306 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6070306

(24)【登録日】2017年1月13日

(45)【発行日】2017年2月1日

(54)【発明の名称】画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム

(51)【国際特許分類】

   H04N 5/225 20060101AFI20170123BHJP

   H04N 5/232 20060101ALI20170123BHJP

   G06T 1/00 20060101ALI20170123BHJP

   G03B 15/00 20060101ALI20170123BHJP

   G03B 17/02 20060101ALI20170123BHJP

   G01S 17/89 20060101ALI20170123BHJP

   G01B 11/00 20060101ALI20170123BHJP

【ＦＩ】

   H04N5/225 E

   H04N5/225 Z

   H04N5/232 Z

   G06T1/00 315

   G03B15/00 Q

   G03B15/00 S

   G03B17/02

   G01S17/89

   G01B11/00 H

【請求項の数】8

【全頁数】22

(21)【出願番号】特願2013-51979(P2013-51979)

(22)【出願日】2013年3月14日

(65)【公開番号】特開2014-179762(P2014-179762A)

(43)【公開日】2014年9月25日

【審査請求日】2015年11月6日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】特許業務法人 楓国際特許事務所

(72)【発明者】

【氏名】渡邉 慎

(72)【発明者】

【氏名】田中 信頼

(72)【発明者】

【氏名】梶谷 浩一郎

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１２−０２１８９６（ＪＰ，Ａ）

【文献】 特開２０１１−０１６４２１（ＪＰ，Ａ）

【文献】 特開２００６−２６２２４２（ＪＰ，Ａ）

【文献】 特開２０１２−０３００４２（ＪＰ，Ａ）

【文献】 特開２０１１−０２０６５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５

Ｇ０１Ｂ １１／００

Ｇ０１Ｓ １７／８９

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／０２

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの検知用距離画像、および検知用受光強度画像を一対の検知用画像として取得する画像取得部と、
前記検知エリアの基準距離画像、および基準受光強度画像を一対の基準画像として記憶する基準画像記憶部と、
前記検知用距離画像と前記基準距離画像とを用いて、この検知用距離画像に撮像されているオブジェクトを仮検出するオブジェクト仮検出部と、
前記検知用受光強度画像と前記基準受光強度画像とを用いて、一対の前記検知用画像の各画素について、その画素が雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定部と、
前記オブジェクト仮検出部が仮検出したオブジェクトにかかる画素と、前記雨滴影響画素判定部が前記雨滴影響画素であると判定した画素とに基づき、この仮検出したオブジェクトが前記雨滴影響画素によるノイズであるかどうかを判定する判定部と、
前記画像取得部が取得した一対の前記検知用画像と、前記基準画像記憶部が記憶する一対の前記基準画像とを用いて、前記基準画像記憶部が記憶する前記基準受光強度画像を更新する基準受光強度画像更新部と、を備えた画像処理装置。

【請求項2】

前記基準受光強度画像更新部は、前記検知用距離画像と、前記基準距離画像とにおいて、距離の差が予め定めた距離差分閾値以下である画素について、前記基準受光強度画像の対応する画素の画素値を更新する、請求項１に記載の画像処理装置。

【請求項3】

前記基準受光強度画像更新部は、前記検知用受光強度画像と、前記基準受光強度画像とにおいて、受光強度の差が予め定めた受光強度差分閾値以上である画素について、前記基準受光強度画像の対応する画素の画素値を更新する、請求項２に記載の画像処理装置。

【請求項4】

前記基準受光強度画像更新部は、前記検知用受光強度画像と、前記基準受光強度画像とにおいて、受光強度の差が予め定めた受光強度差分閾値以上である画素について、この受光強度の差を用いて、前記基準受光強度画像の対応する画素の画素値を更新する、請求項２に記載の画像処理装置。

【請求項5】

前記雨滴影響画素判定部は、各画素について、前記検知用距離画像における当該画素において取得した距離、および前記検知用受光強度画像と前記基準受光強度画像とにおける当該画素の受光強度の差、を用いて前記雨滴影響画素であるかどうかを判定する、請求項１〜４のいずれかに記載の画像処理装置。

【請求項6】

前記雨滴影響画素判定部は、各画素について、前記検知用距離画像と前記基準距離画像とにおける当該画素の距離の差、および前記検知用受光強度画像と前記基準受光強度画像とにおける当該画素の受光強度の差、を用いて前記雨滴影響画素であるかどうかを判定する、請求項１〜５のいずれかに記載の画像処理装置。

【請求項7】

基準画像記憶部に、検知エリアの基準距離画像、および基準受光強度画像を一対の基準画像として記憶しておき、
コンピュータが、
撮像装置が光を前記検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの検知用距離画像、および検知用受光強度画像を一対の検知用画像として取得する画像取得ステップと、
前記検知用距離画像と前記基準距離画像とを用いて、この検知用距離画像に撮像されているオブジェクトを仮検出するオブジェクト仮検出ステップと、
前記検知用受光強度画像と前記基準受光強度画像とを用いて、一対の前記検知用画像の各画素について、その画素が雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
前記オブジェクト仮検出ステップで仮検出したオブジェクトにかかる画素と、前記雨滴影響画素判定ステップで前記雨滴影響画素であると判定した画素とに基づき、この仮検出したオブジェクトが前記雨滴影響画素によるノイズであるかどうかを判定する判定ステップと、
前記画像取得ステップが取得した一対の前記検知用画像と、前記基準画像記憶部が記憶する一対の前記基準画像とを用いて、前記基準画像記憶部が記憶する前記基準受光強度画像を更新する基準受光強度画像更新ステップと、
を実行するオブジェクト検出方法。

【請求項8】

基準画像記憶部に、検知エリアの基準距離画像、および基準受光強度画像を一対の基準画像として記憶しておき、
撮像装置が光を前記検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの検知用距離画像、および検知用受光強度画像を一対の検知用画像として取得する画像取得ステップと、
前記検知用距離画像と前記基準距離画像とを用いて、この検知用距離画像に撮像されているオブジェクトを仮検出するオブジェクト仮検出ステップと、
前記検知用受光強度画像と前記基準受光強度画像とを用いて、一対の前記検知用画像の各画素について、その画素が雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
前記オブジェクト仮検出ステップで仮検出したオブジェクトにかかる画素と、前記雨滴影響画素判定ステップで前記雨滴影響画素であると判定した画素とに基づき、この仮検出したオブジェクトが前記雨滴影響画素によるノイズであるかどうかを判定する判定ステップと、
前記画像取得ステップが取得した一対の前記検知用画像と、前記基準画像記憶部が記憶する一対の前記基準画像とを用いて、前記基準画像記憶部が記憶する前記基準受光強度画像を更新する基準受光強度画像更新ステップと、
をコンピュータに実行させるオブジェクト検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、検知エリアに照射した光の反射光を受光することにより、同じタイミングで撮像した検知エリアの検知用距離画像、および検知用受光強度画像（一対の検知用画像）を処理して、検知エリア内に位置するオブジェクトを検出する技術に関する。

【背景技術】

【0002】

従来、正弦波変調光を検知エリアに投光し、拡散反射光を受光することにより、検知エリアの距離画像、および受光強度画像を同じタイミングで撮像するＴＯＦ（Time Of Flight）カメラがある（例えば、特許文献１参照）。ＴＯＦカメラは、正弦波変調光（赤外光）を検知エリアに投光する発光素子を有する投光部、およびｎ×ｍ個の受光素子をマトリクス状に配置したイメージセンサを有する受光部、を備えている。

【0003】

ＴＯＦカメラは、赤外光を検知エリアに投光し、その反射光（拡散反射光）をイメージセンサの各受光素子で受光することにより、受光強度画像を取得する。

【0004】

また、ＴＯＦカメラは、各受光素子で、赤外光を検知エリアに投光してから、その反射光を受光するまでの時間（飛行時間）を計測する。ＴＯＦカメラは、検知エリアに照射した赤外光と、受光した反射光と、の位相差を計測することによって、飛行時間を得る。ＴＯＦカメラは、各受光素子で得た飛行時間から、投光した光を反射した反射面までの距離を算出することにより、距離画像を取得する。

【0005】

また、ＴＯＦカメラで撮像した検知エリアの距離画像（検知用距離画像）と、この検知エリアの基準距離画像（所謂、検知エリアの背景距離画像）と、の差分画像を生成することで、検知用距離画像に撮像されているオブジェクト（基準距離画像に撮像されていない背景以外のオブジェクト）の検出が行える。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特表２０１０−５３４０００号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、ＴＯＦカメラの撮像画像（距離画像および受光強度画像）には、降雨時に、雨滴の影響を受けた画素（雨滴影響画素）が発生することがある。この雨滴影響画素には、雨滴で反射された反射光を受光した雨画素や、撮像レンズに付着した雨滴を透過した反射光を受光した雨滴付着画素がある。この雨滴影響画素は、反射面までの距離や、受光強度が適正でないノイズである。

【0008】

ノイズである雨滴影響画素が、撮像されているオブジェクトにかかる画素（所謂、前景画素）として処理されることで、オブジェクトの誤検出が生じる。したがって、オブジェクトの誤検出を抑えるには、ＴＯＦカメラの撮像画像の各画素に対して、その画素が雨滴影響画素であるかどうかを精度よく判定する必要がある。

【0009】

この発明の目的は、検知エリアを撮像した一対の検知用画像の各画素に対する、雨滴影響画素であるかどうかの判定精度が低下するのを抑えられる技術を提供することにある。

【課題を解決するための手段】

【0010】

この発明の画像処理装置は、上記目的を達するために、以下のように構成している。

【0011】

画像取得部は、撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した検知エリアの検知用距離画像、および検知用受光強度画像を一対の検知用画像として取得する。撮像装置は、例えば、公知のＴＯＦ（Time Of Flight）カメラを用いてもよいし、レーザ光を照射する光源、反射光を受光する受光素子、および検知エリア内において光源から照射されたレーザ光を走査する走査部を有する構成としてもよい。撮像装置は、検知エリアの検知用距離画像、および検知用受光強度画像が同じタイミングで撮像できる構成であればよい。

【0012】

なお、ＴＯＦカメラは単眼で距離画像を得ることができ、ステレオ画像処理方式に比べて低コストで小型化できる点で注目されている。

【0013】

基準画像記憶部は、検知エリアの基準距離画像、および基準受光強度画像を一対の基準画像として記憶する。基準距離画像は、検知エリアの背景距離画像である。また、基準受光強度画像は、検知エリアの背景受光強度画像である。

【0014】

オブジェクト仮検出部は、検知用距離画像と基準距離画像とを用いて、この検知用距離画像に撮像されているオブジェクトを仮検出する。例えば、オブジェクト仮検出部は、検知用距離画像と基準距離画像との差分画像（所謂、背景差分距離画像）を生成し、撮像されているオブジェクトを仮検出する。

【0015】

また、雨滴影響画素判定部は、画像取得部が取得した一対の検知用画像（検知用距離画像、および検知用受光強度画像）の画素毎に、その画素が雨滴の影響を受けた雨滴影響画素であるかどうかを、検知用受光強度画像と基準受光強度画像とを用いて判定する。雨滴影響画素には、例えば雨滴からの反射光を受光した雨画素や、撮像レンズに付着している雨滴を透過した反射光を受光した雨滴付着画素がある。

【0016】

なお、この発明で言う画素とは、撮像素子の１つの受光素子（１ピクセル）であってもよいし、隣接する複数の受光素子（例えば、縦横２ずつの受光素子（２×２ピクセル））で構成されるブロックであってもよい。この発明の画像処理装置は、距離画像や受光強度画像を、ここで言う画素単位で処理する（受光素子単位で処理するとは限らない。）。

【0017】

例えば、雨滴の反射率は、その雨滴の後方に位置する物体（背景を含む）の反射率によって変化する。このため、その画素の基準受光強度画像と検知用受光強度画像とにおける受光強度の差を用いることで、その画素が雨画素であるかどうかを判定できる。また、雨滴からの反射光は、比較的近い位置で反射されていることから、その画素において取得した距離も加えて判定することで、雨画素であるかどうかの判定精度を向上できる。

【0018】

また、雨滴付着画素は、受光強度が低下する傾向にあることを実験により確認した。また、雨滴付着画素の多くは、受光光量の低下量がある範囲に収まることも実験で確認した。これは、撮像レンズに付着している雨滴の透過にともなう反射光量の減衰により生じた現象であると考えられる。このため、その画素の基準受光強度画像と検知用受光強度画像とにおける受光強度の差を用いることで、その画素が雨滴付着画素であるかどうかを判定できる。また、雨滴付着画素の多くは、距離の変化がある範囲に収まることも実験で確認した。これは、撮像レンズに付着している雨滴の透過時に反射光が屈折し、この反射光を受光する画素が、隣接する画素や近辺の画素にずれることにより生じた現象であると考えられる。したがって、その画素の距離の差（基準距離画像と検知用距離画像との差）も加えて判定することで、雨滴付着画素であるかどうかの判定精度を向上できる。

【0019】

また、雨滴影響画素（雨画素、および雨滴付着画素）における、距離、および受光強度の変化は、撮像装置の特性や撮像環境等の要因によって異なると考えられるので、本装置の設置時に、これらの傾向を確認し、雨滴影響画素であるかどうかを判定する判定基準を設定するのが好ましい。

【0020】

判定部は、オブジェクト仮検出部が仮検出したオブジェクトが雨滴影響画素によるノイズであるかどうかを判定する。この判定は、例えば、仮検出したオブジェクトにかかる画素であって、雨滴影響画素判定部が雨滴影響画素であると判定した画素の個数を用いて判定する。例えば、オブジェクト仮検出部が仮検出したオブジェクトにおいて、雨滴影響画素が占める比率が予め定めた判定値（例えば、５０％）を超えているとき、この仮検出したオブジェクトを雨滴の影響によるノイズであると判定する。

【0021】

これにより、降雨時に、雨滴の影響を受けた雨滴影響画素の発生にともなうオブジェクトの誤検出が抑えられる。

【0022】

上述したように、雨滴影響画素であるかどうかの判定には、その画素の基準受光強度画像と検知用受光強度画像とにおける受光強度の差が用いられる。検知エリアの基準距離画像（背景距離画像）は、検知エリアの撮像環境の変化による変動が殆どないが、検知エリアの基準受光強度画像（背景受光強度画像）は、検知エリアの撮像環境の変化による変動が大きい。具体的には、基準受光強度画像は、反射面が雨等で濡れることにより、反射面での鏡面反射が大きくなり、受光強度が低下する。また、基準受光強度画像は、反射面における太陽光の照射量が多くなるにつれて受光強度が上昇する。

【0023】

このため、基準画像記憶部が記憶する一対の基準画像（基準距離画像、および基準受光強度画像）を更新する時間間隔を長くすると、検知エリアの撮像環境の変化によって、記憶している基準受光強度画像が不適正になることがある。基準受光強度画像が不適正になると、雨滴影響画素であるかどうかの判定が精度よく行えない。すなわち、オブジェクトの誤検出が発生しやすくなる。

【0024】

このような事態を回避するために、基準画像記憶部が記憶する一対の基準画像（基準距離画像、および基準受光強度画像）を更新する時間間隔を短くすると、頻繁に更新する必要がない基準距離画像についても、その更新を頻繁に行うことになるので、装置本体の処理負荷が増大する。

【0025】

この発明にかかる画像処理装置は、基準受光強度画像更新部が、画像取得部が取得した一対の検知用画像と、基準画像記憶部が記憶する一対の基準画像とを用いて、基準画像記憶部が記憶する基準受光強度画像を更新する（基準距離画像については更新しない。）。

【0026】

例えば、基準受光強度画像更新部は、検知用距離画像と、基準距離画像とにおいて、距離の差が予め定めた距離差分閾値以下である画素（すなわち背景画素）について、基準受光強度画像の対応する画素の画素値を更新する。この場合、検知用距離画像と、基準距離画像とにおいて、距離の差が予め定めた距離差分閾値を超えている画素（すなわち前景画素）については、基準受光強度画像の対応する画素の画素値を更新しない。

【0027】

また、基準受光強度画像更新部は、検知用受光強度画像と、基準受光強度画像とにおいて、受光強度の差が予め定めた受光強度差分閾値以上である画素（すなわち、受光強度が不適正になっている画素）について、基準受光強度画像の対応する画素の画素値を更新すればよい。受光強度の差が予め定めた受光強度差分閾値未満である画素（すなわち、受光強度が適正である画素）については、基準受光強度画像の対応する画素の画素値を更新しない。また、受光強度差分閾値以上である画素については、この受光強度の差を用いて、基準受光強度画像の対応する画素の画素値を更新すればよい。

【0028】

これにより、検知エリアの環境変化にともなって、基準受光強度画像が不適正になるのを抑えられる。したがって、検知エリアを撮像した一対の検知用画像の各画素に対する、雨滴影響画素であるかどうかの判定精度が低下するのを抑えられる。その結果、オブジェクトの誤検出が抑えられる。また、基準距離画像については、その更新を頻繁に行わないので、装置本体の処理負荷を増大させることもない。

【0029】

また、この発明にかかるオブジェクト検出方法は、上述の画像取得部、オブジェクト仮検出部、雨滴影響画素判定部、判定部、および基準受光強度画像更新部の構成に相当する処理をコンピュータに実行させる発明である。

【0030】

さらに、この発明にかかるオブジェクト検出プログラムは、コンピュータにインストールすることで、上述の画像取得部、オブジェクト仮検出部、雨滴影響画素判定部、判定部、および基準受光強度画像更新部の構成に相当する処理を、このコンピュータに実行させる発明である。

【発明の効果】

【0031】

この発明によれば、検知エリアを撮像した一対の検知用画像の各画素に対する、雨滴影響画素であるかどうかの判定精度が低下するのを抑えられる。また、オブジェクトの誤検出も抑えられる。

【図面の簡単な説明】

【0032】

【図1】落下防止柵が設置されている駅ホームを示す概略図である。

【図2】画像処理装置の主要部の構成を示すブロック図である。

【図3】オブジェクトまでの距離を求める既知の原理を説明する図である。

【図4】ＴＯＦカメラの取付例を示す図である。

【図5】画像処理装置の動作を示すフローチャートである。

【図6】基準画像取得処理を示すフローチャートである。

【図7】オブジェクト検出処理を示すフローチャートである。

【図8】雨画素であるかどうかの判定手法を説明する図である。

【図9】雨滴付着画素にかかる実験結果を示す図である。

【図10】雨滴付着画素であるかどうかの判定手法を説明する図である。

【図11】オブジェクト仮検出処理を示すフローチャートである。

【図12】判定処理を示すフローチャートである。

【図13】基準受光強度画像更新処理を示すフローチャートである。

【図14】判定値設定処理を示すフローチャートである。

【発明を実施するための形態】

【0033】

以下、この発明の実施形態である画像処理装置について説明する。

【0034】

この例にかかる画像処理装置は、乗降客が駅ホームから線路内に落ちるのを防止するために、駅ホームの側端部に沿って設置している落下防止柵と、列車と、の間の空間を検知エリアとしたものである。画像処理装置は、この検知エリア内に位置するオブジェクトを検出する。

【0035】

まず、駅ホームの側端部に沿って設置している落下防止柵について簡単に説明しておく。

【0036】

図１は、落下防止柵が設置されている駅ホームを示す概略図である。図１（Ａ）は、駅ホームの俯瞰図であり、図１（Ｂ）は、線路側から駅ホームを見た平面図である。落下防止柵は、戸袋として機能する筐体１と、この筐体１に対してスライド自在に取り付けたスライドドア２を有する。図１は、スライドドア２を閉している状態を示している。スライドドア２は、設置している駅ホームに停車する列車の各ドアが対向する位置に設けている。スライドドア２は、開したときに、筐体１内（戸袋）に収納される。スライドドア２は、図１において、左右方向にスライドする。

【0037】

この例にかかる画像処理装置がオブジェクトを検出する検知エリアは、スライドドア２が設けられている位置における、落下防止柵と線路との間である。

【0038】

図２は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。画像処理装置１０は、制御部１１と、画像センサ部１２と、画像処理部１３と、出力部１４と、を備えている。この画像処理装置１０は、ハードウェアとして上述の構成を有するパーソナルコンピュータ等の情報処理装置を利用することができる。ハードウェアとして利用する情報処理装置は、この発明で言うオブジェクト検出プログラムをインストールすることで、後述する処理（図５、図６、図７、図１１、図１２、図１３および図１４に示すフローチャートにかかる処理）を実行する。

【0039】

制御部１１は、画像処理装置１０本体各部の動作を制御する。

【0040】

画像センサ部１２は、赤外光を検知エリアに照射し、その反射光を受光することにより検知エリアの距離画像、および受光強度画像を撮像するＴＯＦ（Time Of Flight）カメラを有する。このＴＯＦカメラが、この発明で言う撮像装置に相当する。

【0041】

ＴＯＦカメラは、検知エリア（撮像エリア）に赤外光を照射する光源、およびｎ×ｍ個の受光素子をマトリクス状に配置した撮像素子（ｎ×ｍ画素の撮像素子）を有する。ＴＯＦカメラは、赤外光を検知エリアに照射してから、反射光を受光するまでの時間（飛行時間）を画素毎に計測する。ＴＯＦカメラは、検知エリアに照射した光と、受光した反射光と、の位相差を計測することによって、オブジェクト（光反射した対象物体の反射面）までの距離を得る。

【0042】

オブジェクトまでの距離を求める既知の原理を説明すると、光源から照射される光は、発光強度が変調されたものを用いる。検知エリアからの反射光を受光する際に伝播距離に応じて変調位相がずれる。光源からの光の一部を受光素子の一部で直接受光することで照射光の位相をモニタし、反射光として受光した光の位相とのズレを求める。位相ずれを求める既知の原理は、図３（Ａ）に示すように、照射光の変調周期Ｔに対してＴ／２期間ごとにサンプリングした受光信号（Ａ０、Ａ２）と、さらに図３（Ｂ）に示すように、Ｔ／４ずらしたタイミングでサンプリングした受光信号（Ａ１，Ａ３）と、に基づいて伝播距離によって位相のずれ量φを算出する。位相のずれ量φは、
φ＝arctan{（Ａ３−Ａ１）／（Ａ０−Ａ２）}
により算出できる。

【0043】

また、ここで求めた位相のずれφからオブジェクトまでの距離Ｄを求めることができる。オブジェクトまでの距離Ｄは、
Ｄ＝Ｌｍａｘ×φ／２π
により算出できる。ここでＬｍａｘはφ＝２πとなるときの物体までの距離（測定最大距離）であり、変調周波数が２０ＭＨｚであればＬｍａｘは７．５ｍ、１０ＭＨｚであれば１５ｍとなる。

【0044】

なお、撮像素子における説明をすると、隣接する縦横それぞれ２つずつ（合計４つ）の受光素子（４ピクセル）を１組とし、これを１画素として扱う。各受光素子（ピクセル）は、Ｔ／４期間ごとずらしたサンプリングタイミングで光電変換された電荷を蓄積する。これにより、Ｔ／４期間ごとの蓄積電荷に基づいて、前述のＡ０，Ａ１，Ａ２，Ａ３の受光信号を得ることができる。また、他の既知技術として、２つの受光素子を１画素として扱い、前述のＡ０〜Ａ３の受光信号を得る方式もある。

【0045】

ここでいう「画素」とは、上述したように、位相のずれまたは距離を求めてオブジェクトを検知するために画像処理を行うときの単位となる受光素子（ピクセル）のブロックであり、撮像素子の１つの受光素子（１ピクセル）であってもよいし、隣接する複数の受光素子（例えば、縦横２ずつの受光素子（２×２ピクセル））で構成されるブロックであってもよい。この発明の画像処理装置は、距離画像や受光強度画像を、ここで言う画素単位で処理する（受光素子単位で処理するとは限らない。）。

【0046】

ＴＯＦカメラにおける実際の画像処理においては、前述の照射光の変調の１周期だけの受光電荷では量的に少なすぎるので、カメラの露光時間を適宜設定し、その期間に蓄積された電荷量を用いて位相のずれを算出し、オブジェクトまでの距離を求める。これで求めた画素（上述したように、画像処理をするうえで単位となるブロックの意味である。）毎の距離情報を全て集めることにより、画素毎に反射面までの距離を対応付けた距離画像を取得する。また、ＴＯＦカメラは、画素毎に所定期間分（複数周期分）の蓄積電荷を全て集めることにより、画素毎にその画素が受光した反射光の強度（反射光量）を対応付けた受光強度画像を取得する。ＴＯＦカメラは、同じ露光タイミング（露光期間)で撮像した検知エリアの距離画像、および受光強度画像を得ることができる。このＴＯＦカメラは、例えば、１秒間に５〜１０フレーム程度の距離画像、および受光強度画像の撮像が行える。

【0047】

なお、上述のＴＯＦカメラにかえて、レーザ光を照射する光源、反射光を受光する受光素子、および検知エリア内において光源から照射されたレーザ光を走査する走査部を有する構成の撮像装置を用いてもよい。画像センサ部１２が有する撮像装置は、検知エリアの距離画像、および受光強度画像が同じ露光タイミング（露光期間)で撮像できる構成であればよい。

【0048】

図４は、ＴＯＦカメラの取付例を示す図である。ＴＯＦカメラは、図１に示した検知エリアが撮像エリア内に収まるように、筐体１の比較的上方に取り付け、撮像方向を斜め下方に向けている。また、ＴＯＦカメラは、スライドドア２よりも線路側に取り付けている。

【0049】

また、ＴＯＦカメラは、検知エリアを撮像エリア内に収めることができれば、駅ホームに立設している支柱等に取り付けてもよい。

【0050】

画像処理部１３は、画像センサ部１２が同じタイミングで撮像した検知エリアの距離画像、および受光強度画像を、一対の検知用画像（検知用距離画像、および検知用受光強度画像）として処理する場合もあれば、一対の基準画像（基準距離画像、および基準受光強度画像）の生成に用いる場合もある。画像処理部１３は、生成した一対の基準画像を記憶するメモリ（不図示）を有している。このメモリが、この発明で言う基準画像記憶部に相当する構成である。また、画像処理部１３は、メモリに記憶している一対の基準画像を用いて、一対の検知用画像を処理し、検知エリア内に位置するオブジェクトを検出する。オブジェクトを検出する処理の詳細については、後述する。

【0051】

出力部１４は、画像処理部１３におけるオブジェクトの検出結果を、接続されている落下防止柵や、警報装置に出力する。オブジェクトが検出された場合、オブジェクトの検出結果が入力された装置は、警告音による報知や、警告灯の点灯等により、その旨（オブジェクトが検出されたこと）を駅係員等に知らせる。

【0052】

以下、画像処理装置１０の動作について説明する。図５は、画像処理装置の動作を示すフローチャートである。

【0053】

落下防止柵は、上述したように、駅ホームに列車が停車していないとき、スライドドア２を閉している。画像処理装置１０は、駅ホームに列車が停車する毎に、図５に示す処理を実行する。

【0054】

この例にかかる画像処理装置１０は、駅ホームに列車が停車したタイミングを基準画像生成タイミングに設定している。この基準画像生成タイミング以外のタイミングは、オブジェクト検出タイミングである。

【0055】

画像処理装置１０は、この基準画像生成タイミングにおいて、画像センサ部１２がＴＯＦカメラで撮像した検知エリアの距離画像、および受光強度画像に基づく、基準距離画像、および基準受光強度画像（一対の基準画像）を生成し、取得する基準画像取得処理を実行する（ｓ１）。この基準画像取得処理は、駅ホームに停車した列車のドア、および落下防止柵のスライドドア２が閉している状態で、ＴＯＦカメラが撮像した一対の撮像画像を用いる。すなわち、一対の基準画像は、検知エリア内にオブジェクトが存在していない背景画像（背景距離画像、および背景受光強度画像）として用いることができる。また、この一対の基準画像は、駅ホームに停車している列車を背景とした画像である。画像処理装置１０は、取得した一対の基準画像をメモリに記憶する。

【0056】

画像処理装置１０が一対の基準画像を生成し、取得すると、駅ホームに停車した列車のドア、および落下防止柵のスライドドア２が開され、列車に対する乗降客の乗降が許可される。列車に対する乗降客の乗降が完了すると、駅ホームに停車している列車のドア、および落下防止柵のスライドドア２が閉される。

【0057】

画像処理装置１０は、駅ホームに停車している列車のドア、および落下防止柵のスライドドア２が閉された後、画像センサ部１２がＴＯＦカメラで撮像した一対の撮像画像（距離画像、および受光強度画像）を、一対の検知用画像として取得する検知用画像取得処理を実行する（ｓ２）。

【0058】

画像処理装置１０は、ｓ１で生成し、取得した一対の基準画像、およびｓ２で取得した一対の検知用画像を用いて、検知エリア内に位置するオブジェクトを検出するオブジェクト検出処理を行う（ｓ３）。ｓ３では、ｓ１で取得した一対の基準画像に撮像されていないオブジェクトが、ｓ２で取得した一対の検知用画像に撮像されているかどうかを検出する処理である。したがって、駅ホームに停車している列車や、駅ホームに設置されている支柱や、落下防止柵等の構造物を、ｓ３でオブジェクトとして検出することはない。

【0059】

画像処理装置１０は、出力部１４おいて、ｓ３にかかるオブジェクト検出処理の検出結果を出力する（ｓ４）。

【0060】

検出結果が入力された装置は、検知エリア内に位置するオブジェクトが検出されていれば、警告報知等を行って、駅係員や、列車の運転手等にその旨を通知する。列車の運転手は、画像処理装置１０におけるオブジェクト検出処理で、検知エリア内に位置するオブジェクトが検出されなければ、駅ホームから列車を発車させる。反対に、検知エリア内に位置するオブジェクトが検出されていれば、駅係員が確認を行った後に、駅ホームから列車を発車させる。

【0061】

なお、列車の運行を管理している運行管理システム等が、画像処理装置１０に対して、ｓ１にかかる基準画像取得処理の開始タイミングや、ｓ２にかかる検知用画像取得処理の開始タイミングを指示する構成とすればよい。また、これらの開始タイミングの指示は、列車の運転手や駅係員による入力操作で行う構成としてもよい。

【0062】

また、画像処理装置１０は、次の列車が駅ホームに停車するまでの間、ｓ２〜ｓ４にかかる処理を繰り返す。この間は、その時点でメモリに記憶している基準画像（基準距離画像、および基準受光強度画像）を用いて、ｓ３にかかる処理を行う。

【0063】

このように、画像処理装置１０は、列車が駅ホームに停車したタイミングで図５にかかる処理を実行し、メモリに記憶している一対の基準画像を更新する。すなわち、この例では、駅ホームに列車が停車する間隔が、メモリに記憶している一対の基準画像を更新する間隔である。また、画像処理装置１０は、後述するように次の列車が駅ホームに停車するまでの間においても、ｓ３にかかるオブジェクト検出処理を実行する毎に、メモリに記憶している一対の基準画像のうち基準受光強度画像の更新を行う（基準距離画像については、更新を行わない。）。

【0064】

次に、ｓ１にかかる基準画像取得処理、ｓ２にかかる検知用画像取得処理、およびｓ３にかかるオブジェクト検出処理を、詳細に説明する。

【0065】

図６は、基準画像取得処理を示すフローチャートである。

【0066】

画像センサ部１２は、ＴＯＦカメラで一対の撮像画像（距離画像、および受光強度画像）を予め設定されているフレーム数（例えば、５フレーム）撮像する（ｓ１１）。画像処理部１３は、ｓ１１で撮像したフレーム数の距離画像を用いて、基準距離画像を生成する（ｓ１２）。ｓ１２では、画素毎に、その画素に対応する各フレームの距離の平均値を対応付けた距離画像を生成し、これを基準距離画像として取得する処理である。

【0067】

また、画像処理部１３は、ｓ１１で撮像されたフレーム数の受光強度画像を用いて、基準受光強度画像を生成する（ｓ１３）。ｓ１３では、画素毎に、その画素に対応する各フレームの受光強度の平均値を対応付けた受光強度画像生成し、これを基準受光強度画像として取得する処理である。

【0068】

ｓ１２、およびｓ１３にかかる処理を実行する順番は、上記と逆であってもよい。

【0069】

画像処理部１３は、ｓ１２で生成し、取得した基準距離画像、およびｓ１３で生成し、取得した基準受光強度画像を、一対の基準画像としてメモリ（不図示）に記憶する（ｓ１４）。

【0070】

このように、この例では、基準距離画像を複数フレームの距離画像から生成し、基準受光強度画像を複数フレームの受光強度画像から生成する構成としたので、各フレームに生じているノイズの影響を抑えた基準距離画像、および基準受光強度画像を生成し、取得することができる。

【0071】

なお、画像処理部１３は、設定しているフレーム数を１フレームとし、画像センサ部１２で撮像した距離画像、および受光強度画像を、基準距離画像、および基準受光強度画像としてメモリに記憶する構成としてもよい。

【0072】

ｓ２にかかる検知用画像取得処理は、ＴＯＦカメラで一対の撮像画像（距離画像、および受光強度画像）を撮像し、これを検知用距離画像、および検知用受光強度画像とした一対の検知用画像を取得する処理である。

【0073】

このように、一対の基準画像、および一対の検知用画像は、ともにＴＯＦカメラで検知エリアを撮像した撮像画像である。

【0074】

図７は、オブジェクト検出処理を示すフローチャートである。画像処理部１３は、検知用画像の画素毎に、その画素が雨滴からの反射光を受光した画素（以下、雨画素と言う。）であるかどうかを判定する雨画素判定処理を行う（ｓ２１）。

【0075】

なお、前述のように、雨画素の「画素」の意味は、画像処理を行うときの単位となる受光素子（ピクセル）のブロックである。ただし、このブロックは、撮像素子の１つの受光素子（１ピクセル）であってもよいし、隣接する複数の受光素子（例えば、縦横２ずつの受光素子（２×２ピクセル））で構成されるブロックであってもよい。

【0076】

ｓ２１にかかる雨画素判定処理は、以下に示す（１）〜（３）のいずれかの方法で行う。

【0077】

（１）雨滴からの反射光は、比較的近い位置で反射されることに注目し、図８（Ａ）に示すように、検知用距離画像において対応付けられている距離（図８（Ａ）における横軸）が、予め定めた距離Ｄ１未満である画素を雨画素と判定し、予め定めた距離Ｄ１以上である画素を雨画素でないと判定する。

【0078】

（２）また、雨滴の反射率を考慮してもよい。具体的には、図８（Ｂ）に示すように、距離と受光強度との一次関数で、雨画素であるかどうかを判定する判定直線を予め定めておく。そして、検知用距離画像において対応付けられている距離（図８（Ｂ）における横軸）と、検知用受光強度画像に対応付けられている受光強度（図８（Ｂ）における縦軸）と、に基づいてプロットした点が、図８（Ｂ）にハッチングで示す領域内に位置する画素を雨画素と判定し、このハッチングで示す領域内に位置しない画素を雨画素でないと判定する。

【0079】

（３）さらに、雨滴の反射率は、その雨滴の後に位置する反射面の反射率によって変化することを考慮してもよい。図８（Ｃ）に示すように、距離と受光強度差（検知用受光強度画像における受光強度と、基準受光強度画像における受光強度との差の絶対値）との一次関数で、雨画素であるかどうかを判定する判定直線を予め定めておく。そして、検知用距離画像において対応付けられている距離（図８（Ｃ）における横軸）と、検知用受光強度画像における受光強度と基準受光強度画像における受光強度との差の絶対値（図８（Ｃ）における縦軸）と、に基づいてプロットした点が、図８（Ｃ）にハッチングで示す領域内に位置する画素を雨画素と判定し、このハッチングで示す領域内に位置しない画素を雨画素でないと判定する。

【0080】

図８（Ａ）、（Ｂ）、（Ｃ）に示す、雨画素と判定する領域は、検知エリアの撮像環境や、画像センサ部１２の撮像特性（例えば、ＴＯＦカメラの画素密度や、撮像レンズの焦点距離）によって変化するので、画像処理装置１０の設置時に調整している。

【0081】

ここで言う、受光強度差は、上述したように、基準受光強度画像と、検知用受光強度画像と、において対応する画素の受光強度の差の絶対値である。絶対値を用いる理由は、基準受光強度画像の画素が雨滴からの反射光を検出した雨画素で、検知用受光強度画像の対応する画素が雨滴からの反射光を検出していない画素であった場合を考慮するためである。また、基準受光強度画像、および検知用受光強度画像の両方において、雨滴からの反射光を検出した画素については、後述する差分画像生成処理で、背景と判定される可能性が高い。

【0082】

雨画素判定処理は、（１）、（２）、（３）の順番に精度が向上する。また、雨画素判定処理は、（１）、（２）、（３）の順番に計算量が増加するので、処理時間が増加する。雨画素判定処理を、上述した（１）〜（３）のいずれの方法で行うかについては、精度、および処理時間を考慮して決めればよい。

【0083】

次に、画像処理部１３は、検知用画像の画素毎に、その画素が撮像レンズに付着した雨滴の影響を受けた画素（以下、雨滴付着画素と言う。）であるかどうかを判定する雨滴付着画素判定処理を行う（ｓ２２）。

【0084】

ｓ２２にかかる雨滴付着画素判定処理は、以下に示す（４）〜（６）のいずれかの方法で行う。

【0085】

撮像レンズに付着した雨滴の影響を受けた雨滴付着画素について、距離、および受光強度の変化の傾向を実験により確認した。雨滴付着画素は、受光強度が低下することを確認した。また、雨滴付着画素の多くは、受光光量の低下量がある範囲に収まることを確認した。これは、撮像レンズに付着している雨滴の透過にともなう反射光量の減衰により生じた現象であると考えられる。

【0086】

図９（Ａ）は、撮像レンズに雨滴が付着した画素にかかる受光光量の変化量を測定した測定結果である。棒グラフは、受光強度の変化量に対する画素数を示す。また、折れ線グラフは、雨滴影響画素における、受光強度の変化量に対する画素の累計の割合（百分率）を示す。この実験では、図９（Ａ）に示すように、雨滴付着画素の約９４％が、受光強度の変化量が１００以下であることが確認された。ただし、ここで言う受光強度の変化量は、発明者が本実験を実施した環境によるものであり、その数値については、環境によって異なることはいうまでもない。

【0087】

また、雨滴付着画素の多くは、距離の変化がある範囲に収まることも確認した。これは、撮像レンズに付着している雨滴の透過時に反射光が屈折し、この反射光を受光する画素が、隣接する画素や近辺の画素にずれることにより生じた現象であると考えられる。

【0088】

図９（Ｂ）は、撮像レンズに雨滴が付着した画素にかかる距離の変化量を測定した測定結果である。棒グラフは、距離の変化量に対する画素数を示す。また、折れ線グラフは、雨滴影響画素における、距離の変化量に対する画素の累計の割合（百分率）を示す。この実験では、図９（Ｂ）に示すように、雨滴付着画素の約７３％が、距離の変化量が３５０ｍｍ以下であることが確認された。また、距離の変化量が１５０ｍｍ以下である雨滴付着画素の割合が約３％であることも確認された。ただし、ここで言う距離の変化量も、発明者が本実験を実施した環境によるものであり、その数値については、環境によって異なることはいうまでもない。

【0089】

したがって、雨滴付着画素について実験により確認した、上述の距離、および受光強度の変化の傾向に基づき、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素であるかどうかを判定することにより、その判定精度を確保できる。

【0090】

（４）基準受光強度画像と、検知用受光強度画像において、受光強度の差の絶対値が、図（Ａ）に示すＰ１（上記の実験では、例えばＰ１＝１００である。）以下である画素を、雨滴付着画素と判定し、その他の画素を雨滴付着画素でないと判定する。

【0091】

（５）基準距離画像と、検知用距離画像において、距離の差の絶対値が、図１０（Ｂ）に示すＤｍｉｎと、Ｄｍａｘ（上記の実験では、例えばＤｍｉｎ＝１５０、Ｄｍａｘ＝３５０である。）との間である画素を、雨滴付着画素と判定し、その他の画素を雨滴付着画素でないと判定する。

【0092】

（６）基準受光強度画像と、検知用受光強度画像において、受光強度の差の絶対値が、図１０（Ｃ）に示すＰ１以下であり、且つ、基準距離画像と、検知用距離画像において、距離の差の絶対値が、図１０（Ｃ）に示すＤｍｉｎと、Ｄｍａｘとの間である画素を、雨滴付着画素と判定し、その他の画素を雨滴付着画素でないと判定する。

【0093】

図１０（Ａ）、（Ｂ）、（Ｃ）に示す、雨滴付着画素と判定する領域を決定するＰ１、Ｄｍｉｎ、Ｄｍａｘは、検知エリアの撮像環境や、画像センサ部１２の撮像特性（例えば、ＴＯＦカメラの画素密度や、撮像レンズの焦点距離）によって変化するので、画像処理装置１０の設置時に調整している。

【0094】

この雨滴付着画素判定処理は、（４）、（５）、（６）の順番に精度が向上する。また、この雨滴付着画素判定処理も、上述した雨画素判定処理と同様に、対応する画素の受光強度の差の絶対値、および対応する画素の距離の差の絶対値を用いる理由は、基準受光強度画像の画素が雨滴付着画素で、検知用受光強度画像の対応する画素が雨滴付着画素でなかった場合を考慮するためである。

【0095】

なお、ｓ２１にかかる処理と、ｓ２２にかかる処理とは、上記の順番に限らず、その順番を入れ替えてもよい。

【0096】

画像処理部１３は、ｓ２１またはｓ２２の少なくとも一方で雨画素、または雨滴付着画素と判定した画素を雨滴影響画素、その他の画素（ｓ２１で雨画素でないと判定され、且つｓ２２で雨滴影響画素でないと判定された画素）を非雨滴影響画素とした雨滴影響画像（２値画像）を生成する（ｓ２３）。

【0097】

画像処理部１３は、オブジェクト仮検出処理を行う（ｓ２４）。図１１は、このオブジェクト仮検出処理を示すフローチャートである。

【0098】

画像処理部１３は、ｓ１２で生成し取得した基準距離画像（メモリに記憶している基準距離画像）と、ｓ２で取得した検知用距離画像と、の差分画像を生成する（ｓ３１）。ｓ３１では、距離がほぼ同じ画素（例えば距離の差の絶対値が１４０ｍｍ未満）である画素を背景画素、それ以外の画素を前景画素とした差分画像（２値化画像）を生成する。ｓ３１で生成する差分画像は、距離画像にかかる背景差分画像である。

【0099】

また、ｓ３１では、ｓ２で取得した検知用受光強度画像における受光強度が予め定めた閾値以上であるかどうかを条件に加えて背景画素、または前景画素にかかる判定を行ってもよい。具体的には、距離がほぼ同じでなく（例えば距離の差の絶対値が１４０ｍｍ以上）、且つ、受光強度が閾値以上である画素を前景画素と判定し、その他の画素を背景画素と判定した差分画像を生成する処理としてもよい。受光強度の閾値は、予め設定しておけばよく、比較的遠い反射面からの反射光を受光した画素を背景画素と判定する条件である。具体的には、上述したように、画像処理装置１０は、列車が発車した後も、ｓ２〜ｓ４にかかる処理を繰り返しているので、列車が発車した後に、列車で反射されず、比較的遠い反射面で反射された反射光を受光した画素を前景画素と判定しないための条件である。比較的遠い反射面は、列車の後側（列車を挟んで、ＴＯＦカメラの反対側）に位置する背景からの反射光である。

【0100】

画像処理部１３は、ｓ３１で生成した差分画像に対して、前景画素をグルーピングするグルーピング処理を行う（ｓ３２）。ｓ３２は、差分画像上において、周辺に位置する前景画素を１つのオブジェクトとして纏める処理である。このとき、周辺に位置する前景画素であっても、ｓ２で取得した検知用距離画像において距離が略同じでない前景画素については、異なるグループにグルーピングする。これにより、ＴＯＦカメラの撮像方向に重なっている複数のオブジェクトにかかる前景画素を、オブジェクト毎にグルーピングできる。

【0101】

画像処理部１３は、ｓ３２でグルーピングした各オブジェクト（画素の集合）に識別符号を付与するラベリングを行う（ｓ３３）。ここでラベリングされたオブジェクトが、仮検出されたオブジェクトである。仮検出されたオブジェクトは、適正に検出されたオブジェクトだけでなく、雨滴影響画素により誤検出されたオブジェクトもある。

【0102】

画像処理部１３は、ｓ２４にかかるオブジェクト仮検出処理を完了すると、仮検出したオブジェクト（ｓ３３で識別符号を付与したオブジェクト）が、適正に検出されたオブジェクトであるか、雨滴影響画素により誤検出されたオブジェクトであるかを判定する判定処理を行う（ｓ２５）。

【0103】

図１２は、この判定処理を示すフローチャートである。図１２では、仮検出した１つのオブジェクトに対する処理を示している。図１２に示す判定処理は、ｓ３３で識別符号を付与したオブジェクト毎に（ｓ２４で仮検出したオブジェクト毎に）、この判定処理を繰り返す。

【0104】

画像処理部１３は、処理対象のオブジェクト（ｓ２４で仮検出したオブジェクト）にかかる画素が所定の画素数（例えば、１０画素）以上であるかどうかを判定する（ｓ４１）。画像処理部１３は、ｓ４１で予め設定した所定の画素数未満であると判定すると、処理対象のオブジェクト（仮検出されたオブジェクト）を、オブジェクトであると判定する（ｓ４４）。

【0105】

なお、画像処理部１３は、所定の画素数（例えば、１０画素）未満であるオブジェクトについては、その判定精度を十分に確保することができないため、オブジェクトの見逃しを防止する観点からｓ４４でオブジェクトであると判定している。また、画像処理部１３は、下限の画素数（例えば、２画素）を設定しておき、この下限の画素数以下のオブジェクトをオブジェクトでないと判定するように構成してもよい。

【0106】

画像処理部１３は、ｓ４１で予め設定した画素以上であると判定すると、処理対象のオブジェクト（仮検出されたオブジェクト）にかかる画素の総数ａと、この処理対象のオブジェクトにかかる画素であって、且つ雨滴影響画素の個数ｂとの比率（ｂ／ａ×１００％）が、予め定めた判定値以上であるかどうかを判定する（ｓ４２）。ｓ４２では、処理対象のオブジェクトにおいて、雨滴影響画素が占める比率が判定値以上であるかどうかを判定している。この判定値は、例えば５０％である。

【0107】

画像処理部１３は、上記比率が予め定めた判定値未満であれば、ｓ４４で処理対象のオブジェクトを適正に検出されたオブジェクトであると判定する。一方、画像処理部１３は、上記比率が予め定めた判定値以上であれば、処理対象のオブジェクトを雨滴の影響により誤検出されたオブジェクト（オブジェクトでない。）と判定する（ｓ４３）。

【0108】

なお、この判定処理における上述したｓ４２にかかる判定は、雨滴影響画素の個数が、予め設定した閾値画素数以上であるかどうかによって行う処理に置き換えてもよい。

【0109】

画像処理装置１０は、出力部１４において、ｓ２５にかかる判定処理の結果（オブジェクトの検出結果）を上位装置に出力する。

【0110】

このように、この例にかかる画像処理装置は、ｓ２５にかかる判定処理を行うことで、雨滴影響画素により誤検出されたオブジェクト（仮検出されたオブジェクト）を、オブジェクトでない（背景である。）と判定することができる。これにより、降雨時におけるオブジェクトの誤検出を抑えることができる。

【0111】

さらに、画像処理部１３は、メモリに記憶している基準受光強度画像を更新する基準受光強度画像更新処理を行う（ｓ４５）。

【0112】

このｓ４５にかかる基準受光強度画像更新処理は、上述したｓ２１、およびｓ２２における雨滴影響画素の判定精度を確保するための処理である。具体的には、上述したｓ１にかかる基準画像取得処理でメモリに記憶した一対の基準画像（基準距離画像、および基準受光強度画像）が、検知エリアの撮像環境の変化によって基準受光強度画像が不適正になるのを抑制する処理である。例えば、基準受光強度画像は、反射面が雨等で濡れることにより、反射面での鏡面反射が大きくなり、受光強度が低下する。また、基準受光強度画像は、反射面における太陽光の照射量が多くなるにつれて受光強度が上昇する。

【0113】

図８（Ｃ）に示した雨画素であるかどうかの判定処理や、図１０（Ａ）〜（Ｃ）に示した雨滴付着画素であるかどうかの判定処理では、上述したように、各画素について、検知用受光強度画像と基準受光強度画像とにおける、受光強度の差分を用いている。したがって、メモリに記憶している基準受光強度画像が検知エリアの撮像環境の変化によって不適正になると、雨滴影響画素であるかどうかの判定精度を低下させる。

【0114】

図１３は、この基準受光強度画像更新処理を示すフローチャートである。画像処理部１３は、ｓ２で取得した検知用受光強度画像の画素毎に、図１３に示す処理を繰り返し、メモリに記憶している基準受光強度画像を更新する。この処理では、メモリに記憶している基準距離画像については、更新を行わない。

【0115】

画像処理部１３は、処理対象の画素が背景画素であるかどうかを判定する（ｓ５１）。この処理対象の画素が、背景画素であるか、前景画素であるかについては、上述したｓ３１ですでに判定している。画像処理部１３は、ｓ５１で前景画素であると判定すると、この処理対象の画素に対する処理を終了する。

【0116】

画像処理部１３は、ｓ５１で背景画素であると判定すると、この処理対象の画素が雨滴影響画素であるかどうかを判定する（ｓ５２）。この処理対象の画素が、雨滴影響画素であるかどうかについては、上述したｓ２１、ｓ２２ですでに判定している。画像処理部１３は、ｓ５２で雨滴影響画素であると判定すると、この処理対象の画素に対する処理を終了する。

【0117】

画像処理部１３は、ｓ５２で雨滴影響画素でないと判定すると、この処理対象の画素の受光強度が上限値を超えているかどうかを判定する（ｓ５３）。ｓ５３では、処理対象の画素の受光強度が飽和しているかどうかを判定している。画像処理部１３は、ｓ５３で上限値を超えている（受光強度が飽和している。）と判定すると、この処理対象の画素に対する処理を終了する。

【0118】

画像処理部１３は、ｓ５３で上限値を超えていない（受光強度が飽和していない。）と判定すると、メモリに記憶している基準受光強度画像の対応する画素の受光強度と、の差の絶対値が予め定めた受光強度差分閾値以上であるかどうかを判定する（ｓ５４）。この受光強度差分閾値は、検知エリアの環境変化により、メモリに記憶している基準受光強度画像における当該画素の受光強度が不適正な値になっているかどうかの判断に用いる値である。

【0119】

画像処理部１３は、ｓ５４で受光強度差分閾値未満である（基準受光強度画像における当該画素の受光強度が不適正でない。）と判定すると、この処理対象の画素に対する処理を終了する。

【0120】

一方、画像処理部１３は、ｓ５４で受光強度差分閾値以上である（基準受光強度画像における当該画素の受光強度が不適正である。）と判定すると、メモリに記憶している基準受光強度画像の対応する画素の受光強度を更新する（ｓ５５）。

【0121】

ｓ５４は、例えば、
（ａ）基準受光強度画像の対応する画素の受光強度を、処理対象の画素の受光強度に置き換える処理であってもよいし、
（ｂ）基準受光強度画像の対応する画素の受光強度を、以下に示す式で算出した受光強度に置き換える処理であってもよい。

【0122】

置き換える受光強度
＝ｋ×（検知用受光強度画像の受光強度−基準受光強度画像の受光強度）
＋基準受光強度画像の受光強度
ただし、ｋは予め定めた定数（例えば、０．５）である。
なお、上記式における（検知用受光強度画像の受光強度−基準受光強度画像の受光強度）は、絶対値ではなく、正負の値をとる。

【0123】

画像処理部１３は、この図１１に示す処理を実行することで、メモリに記憶している基準受光強度画像において、検知エリアの環境変化により受光強度が不適正になった画素に対して、その受光強度を更新することができる。また、この図１１に示す処理では、前景画素や、雨滴影響画素については、メモリに記憶している基準受光強度画像に対して受光強度を更新しないので、受光強度を不適正な値に更新することがない。

【0124】

このように、画像処理部１３は、メモリに記憶している基準受光強度画像を、ｓ２で取得した検知用受光強度画像を用いて更新するので、検知エリアの環境変化によって、基準受光強度画像が不適正になるのを抑えられる。このため、上述したｓ２１、およびｓ２２における雨滴影響画素の判定精度の低下を抑制でき、その結果、雨滴影響画素によるオブジェクトの誤検出が抑えられる。

【0125】

なお、画像処理部１３は、上述のｓ２４にかかるオブジェクト仮検出処理でラベリングされたオブジェクト（仮検出されたオブジェクト）が無ければ、メモリに記憶している基準受光強度画像を、今回ｓ２で取得した検知用受光強度画像に置き換えるステップを図１１に示す処理に追加してもよい。

【0126】

このように、画像処理部１３は、メモリに記憶している基準受光強度画像を、ｓ２で取得した検知用受光強度画像を用いて更新するので、検知エリアの環境変化によって、基準受光強度画像が不適正になるのを抑えられる。このため、上述したｓ２１、およびｓ２２における雨滴影響画素の判定精度が低下するのを抑えられるので、その結果、雨滴影響画素によるオブジェクトの誤検出を抑えることができる。

【0127】

また、ｓ４２にかかる判定で用いる判定値については降雨状態に応じて変化させる構成としてもよい。ここでは、判定値を２段階（通常値と、下限値）で切り換える例について説明する。図１４は、判定値設定処理を示すフローチャートである。

【0128】

画像処理装置１０は、ｓ３にかかるオブジェクト検出処理を行う毎に、当該オブジェクト検出処理において、ｓ２４で仮検出した総画素数が所定数（例えば、３０画素）以上であるオブジェクトであって、且つｓ２５で雨滴影響画素により誤検出されたオブジェクトであると判定した回数（判定回数）をカウントアップする（ｓ６１）。この判定回数は、制御部１１、または画像処理部１３がメモリに記憶している。

【0129】

画像処理装置１０は、ｓ６１でカウントアップした判定回数が、予め定めた所定回数（例えば、１００）に達したかどうかを判定する（ｓ６２）。ｓ６２では、雨滴影響画素によるオブジェクトの誤検出が多くなっているかどうかを判定している。通常、降雨量が多くなるにつれて、雨滴影響画素によるオブジェクトの誤検出も多くなる。

【0130】

画像処理装置１０は、ｓ６２で判定回数のカウント値が定めた所定回数に達したと判定すると、ｓ４２にかかる判定で用いる判定値を下限値に変更する（ｓ６３）。ｓ６３では、判定値を小さくする。例えば、通常時５０％であった判定値を、３０％に設定する。これにより、降雨量が比較的多いときにおけるオブジェクトの誤検出を抑えることができるとともに、降雨量が比較的少ないときにおけるオブジェクトの見逃しが抑えられる。

【0131】

また、画像処理装置１０は、ｓ６２で判定回数のカウント値が予め定めた所定回数に達していないと判定すると、今回のオブジェクト検出処理で雨滴影響画素によるオブジェクトの誤検出があったかどうかを判定する（ｓ６４）。画像処理装置１０は、ｓ６４で雨滴影響画素によるオブジェクトの誤検出があれば、すなわち雨滴影響画素によるオブジェクトの誤検出が発生している状況（降雨時）であれば、フレーム数のカウント値をリセットする（ｓ６５）。このフレーム数のカウント値は、制御部１１、または画像処理部１３がメモリに記憶している。また、このフレーム数のカウント値は、以下に示すように、ｓ４２にかかる判定で用いる判定値を下限値から通常値に戻すかどうかの判定に用いる。

【0132】

画像処理装置１０は、ｓ６４で雨滴影響画素によるオブジェクトの誤検出がないと判定すると、すなわち雨滴影響画素によるオブジェクトの誤検出が発生していない状況（晴天時や曇天時等）であれば、フレーム数のカウント値を１カウントアップする（ｓ６６）。画像処理装置１０は、ｓ６６でカウントアップしたフレーム数のカウント値が、予め定めたフレーム上限数（所定フレーム数）に達したかどうかを判定する（ｓ６７）。

【0133】

上記の説明から明らかなように、フレーム数のカウント値は、雨滴影響画素によるオブジェクトの誤検出が発生しなかったフレーム（ｓ２で取得した検知用画像）が連続した回数である。

【0134】

画像処理装置１０は、ｓ６７でフレーム数のカウント値が予め定めたフレーム上限数に達していないと判定すると、本処理を終了する。

【0135】

一方、画像処理装置１０は、ｓ６７でフレーム数のカウント値が予め定めたフレーム上限数に達したと判定すると、ｓ４２にかかる判定で用いる判定値を通常値（例えば、５０％）に設定し（ｓ６８）、このフレーム数のカウント値をリセットした後に、本処理を終了する（ｓ６９）。ｓ６８では、直前における判定値が通常値であった場合、この判定値が実際に変更されることはない。

【0136】

この図１４に示す判定値設定処理は、ｓ３にかかるオブジェクト検出処理を行う毎に繰り返し実行する。この判定値設定処理を行うことで、降雨時における雨滴影響画素によるオブジェクトの誤検出を抑えるために、ｓ４２にかかる判定で用いる判定値を下限値に設定した後に、天気の回復により、雨滴影響画素によるオブジェクトの誤検出が発生しにくい状況になると、この判定値を通常値に戻すことができる。これにより、天候の回復後におけるオブジェクトの見逃しが抑えられる。

【0137】

また、ｓ６９にかかる処理は、雨滴影響画素によるオブジェクトの誤検出が発生していない状況（晴天時や曇天時等）が継続しているときに、ｓ６８にかかる処理が毎回行われることによる処理負荷を抑えるものであり、特に設けなくてもよい。

【0138】

また、上記の判定値設定処理では、雨滴影響画素によるオブジェクトの誤検出が発生しなかったフレームが予め定めているフレーム上限数に達したタイミングでｓ４２にかかる判定で用いる判定値を通常値に戻すとしたが、ｓ６３で判定値を下限値に設定したタイミングから所定時間経過したときに、この判定値を通常値に戻す構成としてもよいし、他の手法で判定値を通常値に戻す構成としてもよい。

【0139】

さらに、上記の例では、ｓ４２にかかる判定で用いる判定値を２段階で変化させる例を示したが、この判定値については３段階以上で変化させるようにしてもよい。この場合には、ｓ６３にかかる処理を現時点よりも１段階下（下限値側）の判定値に設定する処理とし、ｓ６８にかかる処理を現時点よりも１段階上（通常値側）の判定値に設定する処理とすればよい。

【0140】

なお、上記の例では、オブジェクトを検出する検知エリアを、スライドドア２が設けられている位置における、落下防止柵と線路との間とした画像処理装置１０を例にして本願発明の説明を行ったが、例えば、工場やマンション等に出入口を検知エリアとし、侵入者を検知する用途等で使用することもできる。この場合、侵入者を検知したときには、警備室や管理室に滞在している警備員にその旨を通知する構成とすればよい。

【符号の説明】

【0141】

１０…画像処理装置
１１…制御部
１２…画像センサ部
１３…画像処理部
１４…出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】