特許 6031908 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6031908

(24)【登録日】2016年11月4日

(45)【発行日】2016年11月24日

(54)【発明の名称】画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム

(51)【国際特許分類】

   G01S 17/88 20060101AFI20161114BHJP

【ＦＩ】

   G01S17/88

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2012-202442(P2012-202442)

(22)【出願日】2012年9月14日

(65)【公開番号】特開2014-55925(P2014-55925A)

(43)【公開日】2014年3月27日

【審査請求日】2015年3月9日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】特許業務法人 楓国際特許事務所

(72)【発明者】

【氏名】渡邉 慎

(72)【発明者】

【氏名】梶谷 浩一郎

(72)【発明者】

【氏名】田中 信頼

【審査官】 横井 亜矢子

(56)【参考文献】

【文献】 特開２００７−１２１１５８（ＪＰ，Ａ）

【文献】 特開２００２−２０８０７３（ＪＰ，Ａ）

【文献】 特開２０１２−１７３０７３（ＪＰ，Ａ）

【文献】 特開２０１２−１５４７１９（ＪＰ，Ａ）

【文献】 特開２０１２−０９３１３１（ＪＰ，Ａ）

【文献】 特開２０１０−１６４４６３（ＪＰ，Ａ）

【文献】 特開２００９−１１００６９（ＪＰ，Ａ）

【文献】 特開２００７−１２２５０８（ＪＰ，Ａ）

【文献】 特開２００５−２４２４８８（ＪＰ，Ａ）

【文献】 特開２００２−１６２４６８（ＪＰ，Ａ）

【文献】 特開２００２−０４０１３８（ＪＰ，Ａ）

【文献】 特開２００２−０３２７５９（ＪＰ，Ａ）

【文献】 特開平０７−０６３８５６（ＪＰ，Ａ）

【文献】 特開平０１−１４０３９６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｓ ７／４８− ７／５１

Ｇ０１Ｓ １７／００−１７／９５

Ｇ０１Ｃ ３／００− ３／３２

Ｇ０１Ｖ １／００−９９／００

Ｇ０６Ｔ １／００−１９／２０

Ｇ０８Ｂ １３／００−１５／０２

Ｇ０８Ｂ １９／００−３１／００

Ｂ６１Ｂ １／０２

Ｅ０１Ｆ １／００

(57)【特許請求の範囲】

【請求項1】

撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する画像取得部と、
第１のタイミングで前記撮像装置が撮像し、前記画像取得部が取得した前記距離画像、および前記受光強度画像に基づく、基準距離画像、および基準受光強度画像を一対の基準画像として生成する基準画像生成部と、
前記第１のタイミングよりも遅い第２のタイミングで前記撮像装置が撮像し、前記画像取得部が取得した前記距離画像、および前記受光強度画像を一対の検知用画像とし、前記基準画像の基準距離画像と、前記検知用画像の距離画像の対応する画素毎に、両画素の距離差が予め定めた閾値を超えていれば前景画素とし、両画素の距離差が前記閾値を超えていなければ背景画素とした差分画像を生成する差分画像生成部と、
前記差分画像生成部が生成した前記差分画像において、前記前景画素の集まりを１つのグループとするグルーピングを行い、前記前景画素のグループを検知用画像に撮像されているオブジェクトとして仮検出するオブジェクト仮検出部と、
前記オブジェクト仮検出部が仮検出したオブジェクトが誤検出されたオブジェクトであるかどうかを、前記基準画像の基準受光強度画像における当該オブジェクトの前記前景画素に対応する画素の受光強度と、前記検知用画像の受光強度画像における当該オブジェクトの前記前景画素に対応する画素の受光強度と、の差分の大きさにより判定する判定部と、を備えた画像処理装置。

【請求項2】

前記判定部は、前記オブジェクト仮検出部が仮検出したオブジェクトの前記前景画素毎に、前記基準画像の基準受光強度画像における前記前景画素に対応する画素の受光強度と、前記検知用画像の受光強度画像における前記前景画素に対応する画素の受光強度と、の差分を算出し、これらの差分の総和を当該オブジェクトの前記前景画素の画素数で除した平均受光強度差が予め設定した範囲内であれば、誤検出されたオブジェクトであると判定する、請求項１に記載の画像処理装置。

【請求項3】

前記判定部は、前記オブジェクト仮検出部が仮検出したオブジェクトの前記前景画素毎に、前記基準画像の基準受光強度画像における前記前景画素に対応する画素の受光強度と、前記検知用画像の受光強度画像における前記前景画素に対応する画素の受光強度と、の差分を算出し、これらの絶対値差分の総和を当該オブジェクトの前記前景画素の画素数で除した平均受光強度差が予め設定した範囲内であれば、誤検出されたオブジェクトであると判定する、請求項１に記載の画像処理装置。

【請求項4】

前記基準画像生成部は、前記第１のタイミングで前記撮像装置が撮像し、前記画像取得部が取得した複数フレーム分の前記距離画像、および前記受光強度画像に基づいて生成した、基準距離画像、および基準受光強度画像を一対の基準画像とする、請求項１〜３のいずれかに記載の画像処理装置。

【請求項5】

コンピュータが、
撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する画像取得ステップと、
第１のタイミングで前記撮像装置が撮像し、前記画像取得ステップで取得した前記距離画像、および前記受光強度画像に基づく、基準距離画像、および基準受光強度画像を一対の基準画像として生成する基準画像生成ステップと、
前記第１のタイミングよりも遅い第２のタイミングで前記撮像装置が撮像し、前記画像取得ステップで取得した前記距離画像、および前記受光強度画像を一対の検知用画像とし、前記基準画像の基準距離画像と、前記検知用画像の距離画像の対応する画素毎に、両画素の距離差が予め定めた閾値を超えていれば前景画素とし、両画素の距離差が前記閾値を超えていなければ背景画素とした差分画像を生成する差分画像生成ステップと、
前記差分画像生成ステップで生成した前記差分画像において、前記前景画素の集まりを１つのグループとするグルーピングを行い、前記前景画素のグループを検知用画像に撮像されているオブジェクトとして仮検出するオブジェクト仮検出ステップと、
前記オブジェクト仮検出ステップで仮検出したオブジェクトが誤検出されたオブジェクトであるかどうかを、前記基準画像の基準受光強度画像における当該オブジェクトの前記前景画素に対応する画素の受光強度と、前記検知用画像の受光強度画像における当該オブジェクトの前記前景画素に対応する画素の受光強度と、の差分の大きさにより判定する判定ステップと、
を実行するオブジェクト検出方法。

【請求項6】

撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する画像取得ステップと、
第１のタイミングで前記撮像装置が撮像し、前記画像取得ステップで取得した前記距離画像、および前記受光強度画像に基づく、基準距離画像、および基準受光強度画像を一対の基準画像として生成する基準画像生成ステップと、
前記第１のタイミングよりも遅い第２のタイミングで前記撮像装置が撮像し、前記画像取得ステップで取得した前記距離画像、および前記受光強度画像を一対の検知用画像とし、前記基準画像の基準距離画像と、前記検知用画像の距離画像の対応する画素毎に、両画素の距離差が予め定めた閾値を超えていれば前景画素とし、両画素の距離差が前記閾値を超えていなければ背景画素とした差分画像を生成する差分画像生成ステップと、
前記差分画像生成ステップで生成した前記差分画像において、前記前景画素の集まりを１つのグループとするグルーピングを行い、前記前景画素のグループを検知用画像に撮像されているオブジェクトとして仮検出するオブジェクト仮検出ステップと、
前記オブジェクト仮検出ステップで仮検出したオブジェクトが誤検出されたオブジェクトであるかどうかを、前記基準画像の基準受光強度画像における当該オブジェクトの前記前景画素に対応する画素の受光強度と、前記検知用画像の受光強度画像における当該オブジェクトの前記前景画素に対応する画素の受光強度と、の差分の大きさにより判定する判定ステップと、をコンピュータに実行させるオブジェクト検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、検知エリアに照射した光の反射光を受光することによって撮像した、この検知エリアの距離画像、および受光強度画像を処理して、検知エリア内に位置するオブジェクトの検出を行う技術に関する。

【背景技術】

【0002】

従来、鉄道会社では、乗降客が駅ホームから線路内に落ちるのを防止するために、駅ホームの側端部に沿って落下防止柵を設置することを進めている。この落下防止柵は、駅ホームに停車している列車に乗降する乗降客の通路を確保する必要がある。

【0003】

落下防止柵としては、駅ホームに停車した列車のドア（車両ドア）に対向する位置に、水平方向にスライドして開閉するスライドドアを設けたもの（特許文献１参照）や、入出口の両側に固定支柱を立設し、この固定支柱に対して上下方向にスライド自在に取り付けた可動支柱間に、上下方向に並べて水平方向に掛け渡した複数本の制止バーを設けたもの（特許文献２参照）等がある。

【0004】

落下防止柵は、列車が駅ホームに停車した後に、乗降客の通路を確保するために一時的に開される。列車は、乗降客の乗降が完了し、落下防止柵が閉された後に発車する。列車の発車時における安全性を確保するため、この列車と、落下防止柵と、の間に位置する物体（オブジェクト）の有無をセンサ等で検出している。具体的には、駅ホームに停車している列車に対する乗降客の乗降が完了し、この列車のドア、および落下防止柵を閉した後に、列車と、落下防止柵と、の間に位置する物体が検出されると、列車を発車させずに、駅係員等に確認させている。

【0005】

この列車と、落下防止柵と、の間に位置する物体を検出するセンサは、物体の有無を検出することができない死角が生じるのを防止する観点から、透過型や反射型の光電センサを用いる構成よりも、画像センサを用いる構成が一般的である。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０００− １６２８０号公報

【特許文献2】国際公開第２０１１／０２４６１２号

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、画像センサを用いた構成では、霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下では、これらの微粒子で反射された光をいくつかの画素で検知し、これを物体として誤検出することがある。

【0008】

列車の運転手は、列車と、落下防止柵と、の間に位置する物体が検出されると、駅係員等が安全を確認するまで、列車を発車させない。したがって、空気中に微粒子が漂っている環境下において、これらの微粒子が原因で、列車と落下防止柵との間に位置する物体の誤検出が発生すると（実際に存在していない物体が誤って検出されると）、駅での列車の停車時間が無駄に長くなり、ダイヤを乱すことになる。また、安全確認を行う、駅係員の作業負担を増大させることになる。

【0009】

この発明の目的は、霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下において、微粒子で反射された光によるオブジェクトの誤検出を抑えることができる技術を提供することにある。

【課題を解決するための手段】

【0010】

この発明の画像処理装置は、上記課題を解決し、その目的を達するために、以下のように構成している。

【0011】

画像取得部は、撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する。撮像装置は、例えば、公知のＴＯＦ（Time Of Flight）カメラを用いてもよいし、レーザ光を照射する光源、反射光を受光する受光素子、および検知エリア内において光源から照射されたレーザ光を走査する走査部を有する構成としてもよい。撮像装置は、検知エリアの距離画像、および受光強度画像が同じタイミングで撮像できる構成であればよい。

【0012】

基準画像生成部は、第１のタイミングで撮像装置が撮像し、画像取得部が取得した距離画像、および受光強度画像に基づく、基準距離画像、および基準受光強度画像を一対の基準画像として生成する。この基準画像生成部は、第１のタイミングで撮像装置が撮像し、画像取得部が取得した複数フレーム分の距離画像、および受光強度画像に基づいて生成した、基準距離画像、および基準受光強度画像を一対の基準画像とする構成であってもよいし、第１のタイミングで撮像装置が撮像し、画像取得部が取得した１フレーム分の距離画像、および受光強度画像を一対の基準画像とする構成であってもよい。

【0013】

差分画像生成部は、第１のタイミングよりも遅い第２のタイミングで撮像装置が撮像し、画像取得部が取得した距離画像、および受光強度画像を一対の検知用画像とし、基準画像の基準距離画像と、検知用画像の距離画像の対応する画素毎に、両画素の距離差が予め定めた閾値を超えていれば前景画素とし、両画素の距離差が閾値を超えていなければ背景画素とした差分画像を生成する。また、オブジェクト仮検出部は、差分画像生成部が生成した差分画像において、前景画素の集まりを１つのグループとするグルーピングを行い、前景画素のグループを検知用画像に撮像されているオブジェクトとして仮検出する。

【0014】

判定部は、オブジェクト仮検出部が仮検出したオブジェクトが誤検出されたオブジェクトであるかどうかを、基準画像の基準受光強度画像における当該オブジェクトの前景画素に対応する画素の受光強度と、検知用画像の受光強度画像における当該オブジェクトの前景画素に対応する画素の受光強度と、の差分の大きさにより判定する。

【0015】

霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っていない環境下で撮像した受光強度画像と、反対に空気中に微粒子が漂っている環境下で撮像した受光強度画像と、を比較すると、対応する画素間での受光強度の差が比較的小さいことを、本願発明者は実験により確認した。したがって、オブジェクト仮検出部が仮検出したオブジェクトの前景画素の受光強度の差を用いることで、このオブジェクトが微粒子で反射された光の影響によって誤検出されたものであるかどうかの判定が精度良く行える。

【0016】

例えば、判定部は、オブジェクト仮検出部が仮検出したオブジェクトの前景画素毎に、基準画像の基準受光強度画像における前景画素に対応する画素の受光強度と、検知用画像の受光強度画像における前景画素に対応する画素の受光強度と、の差分を算出し、これらの差分の総和を当該オブジェクトの前景画素の画素数で除した平均受光強度差が予め設定した範囲内であれば、誤検出されたオブジェクトであると判定すればよい。また、判定部は、オブジェクト仮検出部が仮検出したオブジェクトの前景画素毎に、基準画像の基準受光強度画像における前景画素に対応する画素の受光強度と、検知用画像の受光強度画像における前景画素に対応する画素の受光強度と、の差分を算出し、これらの絶対値差分の総和を当該オブジェクトの前景画素の画素数で除した平均受光強度差が予め設定した範囲内であれば、誤検出されたオブジェクトであると判定するようにしてもよい。

【0017】

これにより、霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下において、微粒子で反射された光によるオブジェクトの誤検出を抑えることができる。したがって、オブジェクトの検出精度の向上が図れる。

【0018】

また、この発明にかかるオブジェクト検出方法は、上述の画像取得部、背景画像生成部、オブジェクト検出部、および判定部の構成に相当する処理をコンピュータに実行させる発明である。

【0019】

さらに、この発明にかかるオブジェクト検出プログラムは、コンピュータにインストールすることで、上述の画像取得部、背景画像生成部、オブジェクト検出部、および判定部の構成に相当する処理を、このコンピュータに実行させる発明である。

【発明の効果】

【0020】

この発明によれば、霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下において、微粒子で反射された光によるオブジェクトの誤検出を抑え、オブジェクトの検出精度を向上できる。

【図面の簡単な説明】

【0021】

【図1】落下防止柵が設置されている駅ホームを示す概略図である。

【図2】画像処理装置の主要部の構成を示すブロック図である。

【図3】ＴＯＦカメラの取付例を示す図である。

【図4】画像処理装置の動作を示すフローチャートである。

【図5】基準画像取得処理を示すフローチャートである。

【図6】オブジェクト検出処理を示すフローチャートである。

【図7】誤検出されたオブジェクトであるかどうかを判定する判定処理を説明する図である。

【発明を実施するための形態】

【0022】

以下、この発明の実施形態である画像処理装置について説明する。

【0023】

この例にかかる画像処理装置は、乗降客が駅ホームから線路内に落ちるのを防止するために、駅ホームの側端部に沿って設置している落下防止柵と、列車と、の間の空間を検知エリアとしたものである。画像処理装置は、この検知エリア内に位置するオブジェクトを検出する。

【0024】

まず、駅ホームの側端部に沿って設置している落下防止柵について簡単に説明しておく。

【0025】

図１は、落下防止柵が設置されている駅ホームを示す概略図である。図１（Ａ）は、駅ホームの俯瞰図であり、図１（Ｂ）は、線路側から駅ホームを見た平面図である。落下防止柵は、戸袋として機能する筐体１と、この筐体１に対してスライド自在に取り付けたスライドドア２を有する。図１は、スライドドア２を閉している状態を示している。スライドドア２は、設置している駅ホームに停車する列車の各ドアが対向する位置に設けている。スライドドア２は、開したときに、筐体１内（戸袋）に収納される。スライドドア２は、図１において、左右方向にスライドする。

【0026】

この例にかかる画像処理装置がオブジェクトを検出する検知エリアは、スライドドア２が設けられている位置における、落下防止柵と線路との間である。この例では、画像処理装置は各スライドドア２に設けている。

【0027】

なお、ここでは、落下防止柵として、上述した特許文献１に示されているものを例示しているが、上述した特許文献２に示されているものであってもよい。

【0028】

図２は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。画像処理装置１０は、制御部１１と、画像センサ部１２と、画像処理部１３と、出力部１４と、を備えている。この画像処理装置１は、ハードウェアとして上述の構成を有するパーソナルコンピュータ等の情報処理装置を利用することができる。ハードウェアとして利用する情報処理装置は、この発明で言うオブジェクト検出プログラムをインストールすることで、後述する処理（図４、図５、および図６に示すフローチャートにかかる処理）を実行する。

【0029】

制御部１１は、画像処理装置１０本体各部の動作を制御する。

【0030】

画像センサ部１２は、赤外光を検知エリアに照射し、その反射光を受光することにより検知エリアの距離画像、および受光強度画像を撮像するＴＯＦ（Time Of Flight）カメラを有する。

【0031】

ＴＯＦカメラは、検知エリア（撮像エリア）に赤外光を照射する光源、およびｎ×ｍ個の受光素子をマトリクス状に配置した撮像素子（ｎ×ｍ画素の撮像素子）を有する。ＴＯＦカメラは、赤外光を検知エリアに照射してから、反射光を受光するまでの時間（飛行時間）を画素毎（受光素子毎）に計測する。ＴＯＦカメラは、検知エリアに照射した光と、受光した反射光と、の位相差を計測することによって、飛行時間を得る。ＴＯＦカメラは、この飛行時間を得るため、撮像素子の一部の画素に、検知エリアに照射した光を直接受光させている。

【0032】

ＴＯＦカメラは、画素毎に、その画素について得た飛行時間から、照射した光を反射した反射面までの距離を算出する。ＴＯＦカメラは、画素毎に、反射面までの距離を対応付けた距離画像を取得する。また、ＴＯＦカメラは、画素毎に、その画素が受光した反射光の強度（受光強度）を対応付けた受光強度画像を取得する。ＴＯＦカメラは、同じタイミングで撮像した検知エリアの距離画像、および受光強度画像を一対の撮像画像として得ることができる。

【0033】

なお、上述のＴＯＦカメラにかえて、レーザ光を照射する光源、反射光を受光する受光素子、および検知エリア内において光源から照射されたレーザ光を走査する走査部を有する構成の撮像装置を用いてもよい。画像センサ部１２が有する撮像装置は、検知エリアの距離画像、および受光強度画像が同じタイミングで撮像できる構成であればよい。このＴＯＦカメラは、例えば、１秒間に５〜１０フレーム程度の距離画像、および受光強度画像（一対の撮像画像）の撮像が行える。

【0034】

図３は、ＴＯＦカメラの取付例を示す図である。ＴＯＦカメラは、図１に示した検知エリアが撮像エリア内に収まるように、筐体１の比較的上方に取り付け、撮像方向を斜め下方に向けている。また、ＴＯＦカメラは、スライドドア２よりも線路側に取り付けている。

【0035】

また、ＴＯＦカメラは、検知エリアを撮像エリア内に収めることができれば、図３に示すように、落下防止柵の筐体１に取り付けないで、駅ホームに立設している支柱等に取り付けてもよい。

【0036】

画像処理部１３は、画像センサ部１２が取得した距離画像、および受光強度画像（一対の撮像画像）を処理して、検知エリア内に位置するオブジェクトを検出する。オブジェクトを検出する処理の詳細については、後述する。

【0037】

出力部１４は、画像処理部１３におけるオブジェクトの検出結果を、接続されている落下防止柵や、警報装置に出力する。オブジェクトの検出結果が入力された装置は、オブジェクトが検出された場合、警告音による報知を行ったり、警告灯を点灯させる等して、その旨（オブジェクトが検出されたこと）を駅係員等に知らせる。

【0038】

以下、画像処理装置１０の動作について説明する。図４は、画像処理装置の動作を示すフローチャートである。

【0039】

落下防止柵は、上述したように、駅ホームに列車が停車していないとき、スライドドア２を閉している。画像処理装置１０は、駅ホームに列車が停車する毎に、図４に示す処理を実行する。

【0040】

画像処理装置１０は、駅ホームに列車が停車すると、このタイミング（この発明で言う第１のタイミングに相当する。）で、画像センサ部１２がＴＯＦカメラで撮像した一対の撮像画像（距離画像、および受光強度画像）に基づく、基準距離画像、および基準受光強度画像（一対の基準画像）を生成し、取得する基準画像取得処理を実行する（ｓ１）。この基準画像取得処理は、駅ホームに停車した列車のドア、および落下防止柵のスライドドア２が閉している状態で、ＴＯＦカメラが撮像した一対の撮像画像を用いる。すなわち、一対の基準画像は、検知エリア内にオブジェクトが存在していない背景画像として用いることができる。また、この一対の基準画像は、駅ホームに停車している列車を背景とした画像である。

【0041】

画像処理装置１０が一対の基準画像を生成し、取得すると、駅ホームに停車した列車のドア、および落下防止柵のスライドドア２が開され、列車に対する乗降客の乗降が許可される。列車に対する乗降客の乗降が完了すると、駅ホームに停車している列車のドア、および落下防止柵のスライドドア２が閉される。

【0042】

画像処理装置１０は、駅ホームに停車している列車のドア、および落下防止柵のスライドドア２が閉されたタイミング（この発明で言う第２のタイミングに相当する。）で、画像センサ部１２がＴＯＦカメラで撮像した一対の撮像画像（距離画像、および受光強度画像）を、一対の検知用画像として取得する検知用画像取得処理を実行する（ｓ２）。

【0043】

画像処理装置１０は、ｓ１で生成し、取得した一対の基準画像、およびｓ２で取得した一対の検知用画像を用いて、検知エリア内に位置するオブジェクトを検出するオブジェクト検出処理を行う（ｓ３）。ｓ３では、ｓ１で取得した一対の基準画像に撮像されていないオブジェクトが、ｓ２で取得した一対の検知用画像に撮像されているかどうかを検出する処理である。したがって、駅ホームに停車している列車や、駅ホームに設置されている支柱や、落下防止柵等の構造物を、ｓ３でオブジェクトとして検出することはない。

【0044】

画像処理装置１０は、出力部１４おいて、ｓ３にかかるオブジェクト検出処理の検出結果を出力する（ｓ４）。

【0045】

検出結果が入力された装置は、検知エリア内に位置するオブジェクトが検出されていれば、警告報知等を行って、駅係員や、列車の運転手等にその旨を通知する。列車の運転手は、画像処理装置１０におけるオブジェクト検出処理で、検知エリア内に位置するオブジェクトが検出されなければ、駅ホームから列車を発車させる。反対に、検知エリア内に位置するオブジェクトが検出されていれば、駅係員が確認を行った後に、駅ホームから列車を発車させる。

【0046】

なお、列車の運行を管理している運行管理システム等が、画像処理装置１０に対して、ｓ１にかかる基準画像取得処理の開始タイミングや、ｓ２にかかる検知用画像取得処理の開始タイミングを指示する構成とすればよい。また、これらの開始タイミングの指示は、列車の運転手や駅係員による入力操作で行う構成としてもよい。

【0047】

次に、ｓ１にかかる基準画像取得処理、ｓ２にかかる検知用画像取得処理、およびｓ３にかかるオブジェクト検出処理を、詳細に説明する。

【0048】

図５は、基準画像取得処理を示すフローチャートである。

【0049】

画像センサ部１２は、ＴＯＦカメラで撮像した一対の撮像画像（距離画像、および受光強度画像）を予め設定されているフレーム数（例えば、５フレーム）取得する（ｓ１１）。画像処理部１３は、ｓ１１で取得したフレーム数の距離画像を用いて、基準距離画像を生成する（ｓ１２）。ｓ１２では、画素毎に、その画素に対応する各フレームの距離の平均値を対応付けた距離画像を生成し、これを基準距離画像として取得する処理である。

【0050】

また、画像処理部１３は、ｓ１１で取得したフレーム数の受光強度画像を用いて、基準受光強度画像を生成する（ｓ１３）。ｓ１３では、画素毎に、その画素に対応する各フレームの受光強度の平均値を対応付けた受光強度画像を生成し、これを基準受光強度画像として取得する処理である。

【0051】

ｓ１２、およびｓ１３にかかる処理を実行する順番は、上記と逆であってもよい。

【0052】

画像処理部１３は、ｓ１２で生成し、取得した基準距離画像、およびｓ１３で生成し、取得した基準受光強度画像を、一対の基準画像として画像メモリ（不図示）に記憶する（ｓ１４）。

【0053】

このように、この例では、基準距離画像を複数フレームの距離画像から生成し、基準受光強度画像を複数フレームの受光強度画像から生成する構成としたので、各フレームに生じているノイズの影響を抑えた基準距離画像、および基準受光強度画像を生成し、取得することができる。

【0054】

なお、画像処理部１３は、設定しているフレーム数を１フレームとし、画像センサ部１２で撮像した距離画像、および受光強度画像を、基準距離画像、および基準受光強度画像として画像メモリに記憶する構成としてもよい。

【0055】

ｓ２にかかる検知用画像取得処理は、ＴＯＦカメラで一対の撮像画像（距離画像、および受光強度画像）を撮像し、これを検知用距離画像、および検知用受光強度画像とした一対の検知用画像を取得する処理である。

【0056】

図６は、オブジェクト検出処理を示すフローチャートである。画像処理部１３は、ｓ１２で生成し取得した基準距離画像と、ｓ２で取得した検知用距離画像と、の差分画像を生成する（ｓ２１）。ｓ２１では、距離がほぼ同じ画素（所謂、背景画素）の画素値を「０」、距離が比較的離れている画素（所謂、前景画素）の画素値を「１」とした２値画像を生成する。ｓ２１で、背景画素であるか、前景画素であるかの判定に用いる距離の閾値Ｄ１については、予め設定しておけばよい。

【0057】

画像処理部１３は、ｓ２１で生成した差分画像に撮像されているオブジェクトの仮検出処理を行う（ｓ２２）。このｓ２２が、この発明で言うオブジェクト検出部に相当する。ｓ２２では、ｓ２１で生成した差分画像において、周辺に位置する画素値が「１」である画素の集合を１つのグループとするグルーピングを行う。画像処理部１３は、グループ毎に、そのグループの画素数が、予め設定しているオブジェクトの下限サイズの画素数Ａ１よりも多ければ、そのグループをオブジェクトとして仮検出し、少なければノイズ（オブジェクトでない。）と判断する（オブジェクトとして仮検出しない。）。

【0058】

ｓ２２で仮検出されたオブジェクトには、検知エリア内に位置するオブジェクトだけでなく、空気中に漂っている霧、黄砂、光化学スモッグ、煙等の微粒子が原因でオブジェクトとして誤検出されたものも含まれている。

【0059】

画像処理部１３は、ｓ２２で仮検出したオブジェクト毎に、そのオブジェクトが検知エリア内に位置するオブジェクトであるか、空気中に漂っている霧、黄砂、光化学スモッグ、煙等の微粒子により誤検出されたものであるかを判定する判定処理を行う（ｓ２３）。このｓ２３が、この発明で言う判定部に相当する。

【0060】

画像処理部１３は、霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っていない環境下で撮像した受光強度画像と、反対に空気中に微粒子が漂っている環境下で撮像した受光強度画像と、を比較すると、対応する画素間での受光強度の差が比較的小さいことを根拠にして、このｓ２３にかかる判定処理を行う。この根拠は、本願発明者が実験により確認したものである。

【0061】

なお、検知用受光強度画像においてオブジェクトからの反射光を検出した画素の受光強度は、空気中に微粒子が漂っているかどうかにかかわらず、基準受光強度画像の対応する画素の受光強度との差が大きい。

【0062】

図７は、判定処理を説明する図である。図７（Ａ）は、ｓ２１で生成した差分画像において、ｓ２２で仮検出されたオブジェクトにかかる画素を示す図である。この図７に示す例では、仮検出されたオブジェクトにかかる画素は、８画素である。

【0063】

また、図７（Ｂ）は、ｓ２で取得した検知用受光強度画像における、ｓ２２で仮検出されたオブジェクトにかかる画素の受光強度値を示す図である。また、図７（Ｃ）は、ｓ１で取得した基準受光強度画像における、ｓ２２で仮検出されたオブジェクトにかかる画素の受光強度値を示す図である。この図７では、空気中に漂っている霧、黄砂、光化学スモッグ、煙等の微粒子が原因で、ｓ２２で誤検出されたオブジェクトにかかる画素を示している。

【0064】

画像処理部１３は、ｓ２２で仮検出されたオブジェクトにかかる画素について、ｓ２で取得した検知用受光強度画像の対応する画素の受光強度値の総和Ｗ１を算出する。図７（Ｂ）に示す例では、
Ｗ１＝２４３＋２３５＋２７６＋２５６＋２５５＋２２１＋２３６＋２２９
＝１９５１
となる。

【0065】

また、画像処理部１３は、ｓ２２で仮検出されたオブジェクトにかかる画素について、ｓ１で取得した基準受光強度画像の対応する画素の受光強度値の総和Ｗ２を算出する。具体的には、図７（Ｃ）に示す例では、
Ｗ２＝２２１＋２１５＋２４８＋２２９＋２４３＋２０９＋２３３＋２１９
＝１８１７
となる。

【0066】

画像処理部１３は、上述した総和Ｗ１と、総和Ｗ２との差分を、画素数で除することにより、１画素あたりの平均受光強度差Ｙを算出する。具体的には、
Ｙ＝（Ｗ１−Ｗ２）／Ｍ
を算出する。上式におけるＭは、ｓ２２で仮検出されたオブジェクトにかかる画素の画素数である。例えば、図７に示す例では、
Ｙ＝（１９５１−１８１７）／８＝１６．７５
となる。

【0067】

なお、上述の（Ｗ１−Ｗ２）は、ｓ２２で仮検出されたオブジェクトにかかる各画素について算出した、基準受光強度画像の対応する画素の受光強度値と、基準受光強度画像の対応する画素の受光強度値との差の総和に等しい。

【0068】

画像処理部１３は、ここで算出した、平均受光強度差Ｙが予め設定した範囲内（例えば、−２５〜＋２５）であれば、空気中に漂っている霧、黄砂、光化学スモッグ、煙等の微粒子が原因で、ｓ２２で誤検出されたオブジェクトであると判定する。一方、画像処理部１３は、平均受光強度差Ｙが予め設定した範囲Ｄ２内（例えば、−２５＜Ｄ２＜＋２５）でなければ、検知エリア内に位置するオブジェクトであると判定（確定）する。

【0069】

本願発明者は、実験により、霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っていない環境下で撮像した受光強度画像と、反対に空気中に微粒子が漂っている環境下で撮像した受光強度画像と、を比較すると、対応する画素間での受光強度の差が比較的小さいことを確認した。したがって、検出したオブジェクトにかかる画素の受光強度の差を用いることで、このオブジェクトが微粒子で反射された光の影響によって誤検出されたものであるかどうかの判定が精度良く行える。すなわち、画像処理部１３が、空気中に漂っている霧、黄砂、光化学スモッグ、煙等の微粒子が原因で、検知エリア内に存在していないオブジェクトを誤検出するのを抑えることができる。

【0070】

なお、空気中に漂っている霧、黄砂、光化学スモッグ、煙等の微粒子が原因で、ｓ２２で誤検出されたオブジェクトであるかどうかを判定するときに用いる平均受光強度差Ｙの範囲Ｄ２については、上記の例のように、マイナス側の値と、プラス側の値とを同じ値にしなくてもよい。例えば、平均受光強度差Ｙの範囲Ｄ２は、−２０＜Ｄ２＜＋２５に設定してもよい。また、上記のように、マイナス側の値と、プラス側の値とを同じ値にする場合には、ｓ２２で仮検出されたオブジェクトにかかる各画素について算出した、基準受光強度画像の対応する画素の受光強度値と、基準受光強度画像の対応する画素の受光強度値との差の絶対値総和を仮検出されたオブジェクトにかかる画素の画素数で除した値を、平均受光強度差Ｙとして算出するようにしてもよい。すなわち、上記の例では、
Ｙ＝｜Ｗ１−Ｗ２｜／Ｍ
としてもよい。この場合、平均受光強度差Ｙが負の値になることがないので、ｓ２２で誤検出されたオブジェクトであるかどうかを判定するときに用いる平均受光強度差Ｙの範囲Ｄ２は、例えば、Ｄ２＜＋２５に設定すればよい。

【0071】

また、図７に示す例は、ｓ２２で仮検出されたオブジェクトにかかる全ての画素において、図７（Ｂ）に示す検知用受光強度画像のほうが、図７（Ｃ）に示す基準受光強度画像よりも受光強度値が大きい場合であった。これは、基準画像は、空気中に漂っている霧、黄砂、光化学スモッグ、煙等の微粒子の影響を受けていないことを前提にしている。一方で、基準画像を取得するタイミングにおいても霧等が発生していて、この前提が崩れることも想定できる。そこで、ｓ２２で仮検出されたオブジェクトにかかる各画素について、基準受光強度画像の対応する画素の受光強度値と、基準受光強度画像の対応する画素の受光強度値との絶対値差分を算出し、これら絶対値差分の総和を、ｓ２２で仮検出されたオブジェクトにかかる画素数で除した値を平均受光強度差Ｙとして算出するようにしてもよい。具体的には、ｓ２２で仮検出されたオブジェクトにかかる各画素について、
｜ａ−ｂ｜
（ただし、ａ：検知用受光強度画像の対応する画素の受光強度値
ｂ：基準受光強度画像の対応する画素の受光強度値）
を絶対値差分として算出し、各画素について算出した受光強度値の絶対値差分の総和Ｓ
Ｓ＝Σ｜ａ−ｂ｜
を、ｓ２２で仮検出されたオブジェクトにかかる画素数で除した値を平均受光強度差Ｙ
Ｙ＝（Σ｜ａ−ｂ｜）／Ｍ＝Ｓ／Ｍ
として算出すればよい。

【0072】

このように、ｓ２３にかかる判定処理を行うことで、画像処理部１３が、空気中に漂っている霧、黄砂、光化学スモッグ、煙等の微粒子が原因で、検知エリア内に存在していないオブジェクトを誤検出するのを一層抑えることができる。したがって、オブジェクトの検出精度の向上が図れる。

【0073】

なお、上記の例では、オブジェクトを検出する検知エリアを、スライドドア２が設けられている位置における、落下防止柵と線路との間とした画像処理装置１０を例にして本願発明の説明を行ったが、本願発明は、例えば、工場やマンション等に出入口を検知エリアとし、侵入者を検知する用途等でも使用できる。この場合、侵入者を検知したときには、警備室や管理室に滞在している警備員にその旨を通知する構成とすればよい。

【符号の説明】

【0074】

１０…画像処理装置
１１…制御部
１２…画像センサ部
１３…画像処理部
１４…出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】