(58)【調査した分野】(Int.Cl.,DB名)
前記特定画素判定部は、前記前景画素判定部による判定結果が背景画素から前景画素に変化した画素について、前記基準タイミング直前の第1の期間、および前記基準タイミング直後の第2の期間を前記判定期間に決定し、前記第1の期間に撮像されたフレーム画像における当該画素の特徴量と、前記第2の期間に撮像されたフレーム画像における当該画素の特徴量とを用いて、当該画素が特定画素であるかどうかを判定する第1の特定画素判定処理を行う、請求項2に記載の障害物検知装置。
前記第1の特定画素判定処理は、前記第1の期間に撮像されたフレーム画像における当該画素の特徴量と、前記第2の期間に撮像されたフレーム画像における当該画素の特徴量との比率によって、当該画素が特定画素であるかどうかを判定する処理である、請求項3に記載の障害物検知装置。
前記第2の特定画素判定処理は、前記前景画素判定部による判定結果が背景画素から前景画素に変化した画素について、前記第3の期間に撮像されたフレーム画像における当該画素の特徴量のばらつきによって、当該画素が特定画素であるかどうかを判定する処理である、請求項2〜4のいずれかに記載の障害物検知装置。
前記第2の特定画素判定処理は、前記前景画素判定部による判定結果が背景画素から前景画素に変化した画素について、前記第3の期間を複数に分割した分割期間毎に、当該画素が特定画素である可能性があるかどうかを判定し、前記分割期間のいずれかにおいて、当該画素が特定画素である可能性ないと判定した場合に、当該画素を特定画素でないと判定する処理である、請求項2〜5のいずれかに記載の障害物検知装置。
前記障害物検知部は、前記基準タイミングを撮像タイミングの中心とする所定数のフレーム画像において、前記特定画素判定部によって判定された特定画素の分布密度が予め定めた判定密度よりも高い画像領域があれば、この画像領域に撮像されているオブジェクトを障害物として検知する、請求項1〜6のいずれかに記載の障害物検知装置。
動画像入力部に入力された、車両が走行する道路上に定めた検知対象エリアを撮像した動画像にかかるフレーム画像を処理し、このフレーム画像の画素毎に、その画素の特徴量を用いて、前景画素であるか、背景画素であるかを判定する前景画素判定ステップと、
前記前景画素判定ステップによる判定結果が背景画素から前景画素に変化した画素について、背景画素から前景画素に変化したフレーム画像の撮像タイミングを基準タイミングにし、この基準タイミングに基づいて決定した判定期間に撮像されたフレーム画像を用いて当該画素が障害物にかかる特定画素であるかどうかを判定する特定画素判定ステップと、
前記特定画素判定ステップによって前記特定画素であると判定された画素を含むオブジェクトを障害物として検知する障害物検知ステップと、を備え、
前記特定画素判定ステップは、前記前景画素判定ステップによる判定結果が背景画素から前景画素に変化した画素について、前記基準タイミング直前の第1の期間、および前記基準タイミング直後の第2の期間を前記判定期間に決定し、前記第1の期間に撮像されたフレーム画像における当該画素の特徴量と、前記第2の期間に撮像されたフレーム画像における当該画素の特徴量との比率によって、当該画素が特定画素であるかどうかを判定する第1の特定画素判定処理を行う、ステップである、
障害物検知方法。
動画像入力部に入力された、車両が走行する道路上に定めた検知対象エリアを撮像した動画像にかかるフレーム画像を処理し、このフレーム画像の画素毎に、その画素の特徴量を用いて、前景画素であるか、背景画素であるかを判定する前景画素判定ステップと、
前記前景画素判定ステップによる判定結果が背景画素から前景画素に変化した画素について、背景画素から前景画素に変化したフレーム画像の撮像タイミングを基準タイミングにし、この基準タイミングに基づいて決定した判定期間に撮像されたフレーム画像を用いて当該画素が障害物にかかる特定画素であるかどうかを判定する特定画素判定ステップと、
前記特定画素判定ステップによって前記特定画素であると判定された画素を含むオブジェクトを障害物として検知する障害物検知ステップと、をコンピュータに実行させ、
前記特定画素判定ステップが、前記前景画素判定ステップによる判定結果が背景画素から前景画素に変化した画素について、前記基準タイミング直前の第1の期間、および前記基準タイミング直後の第2の期間を前記判定期間に決定し、前記第1の期間に撮像されたフレーム画像における当該画素の特徴量と、前記第2の期間に撮像されたフレーム画像における当該画素の特徴量との比率によって、当該画素が特定画素であるかどうかを判定する第1の特定画素判定処理を行う、ステップである、
障害物検知プログラム。
【発明を実施するための形態】
【0019】
以下、この発明の実施形態について説明する。
【0020】
図1は、この例にかかる障害物検知システムの主要部の構成を示すブロック図である。この例にかかる障害物検知システムは、障害物検知装置1と、ビデオカメラ2と、案内表示板3と、管制装置4とを備える。この障害物検知システムは、車両が走行する道路上に定めた検知対象エリア内に位置する障害物の検知、および障害物を検知した旨の報知を行う。障害物とは、車両の走行の妨げになる物品であり、走行車両から落下した荷物(落下物)や、道路上で停止した車両(停止車両)等である。道路を走行している車両や、道路に設置されているガードレール、センターポール等の構造物は、この例で言う障害物に含まれない。
【0021】
ビデオカメラ2は、数m(6m程度)上方から、道路上に定めた検知対象エリアを撮像するように取り付けている。例えば、ビデオカメラ2は、路側に設置したポールや、道路を跨ぐように設置したガントリ等に取り付けている。また、ビデオカメラ2は、検知対象エリアが撮像エリア内に収まるように、アングル、および撮像倍率を調整している。ビデオカメラ2は、可視光画像を撮像する。ビデオカメラ2のフレームレートは、5〜30フレーム/sec程度であればよい。ビデオカメラ2は、撮像した撮像エリアの動画像にかかるフレーム画像を障害物検知装置1に入力する。
【0022】
なお、ビデオカメラ2は、遠赤外線画像を撮像する遠赤外線カメラや、近赤外線画像を撮像する近赤外線カメラ等であってもよい。
【0023】
障害物検知装置1は、ビデオカメラ2から入力された動画像にかかるフレーム画像を処理し、検知対象エリア内に位置する障害物を検知する。障害物検知装置1は、検知対象エリア内に位置する障害物を検知すると、案内表示板3や管制装置4に対して障害物の検知にともなう報知を要求する要求通知を出力する。
【0024】
案内表示板3は、走行車両のドライバに対して道路状況等にかかる案内メッセージを表示する。案内表示板3は、検知対象エリアの上流側に設置している。案内表示板3は、ドライバが車両の運転に支障をきたすことなく、表示したメッセージの確認が行えるように設置している。案内表示板3は、障害物検知装置1から、障害物の検知にともなう報知を要求する要求通知(この発明で言う、第1の通知に相当する。)が入力されると、下流側に障害物があることをドライバに通知するメッセージの表示を行う。
【0025】
管制装置4は、道路を管理する管制センタに設置している。管制装置4は、障害物検知装置1から、障害物の検知にともなう報知を要求する要求通知(この発明で言う、第2の通知に相当する。)が入力されると、道路管理者に対して道路上にある障害物(検知された障害物)を取り除く等の作業を促す報知を行う。
【0026】
なお、詳細については後述するが、障害物検知装置1は、案内表示板3に対して障害物の検知にともなう報知を要求するタイミングと、管制装置4に対して障害物の検知にともなう報知を要求するタイミングと、を異ならせている。
【0027】
図2は、障害物検知装置の主要部の構成を示すブロック図である。障害物検知装置1は、制御部11と、画像入力部12と、画像処理部13と、出力部14と、を備えている。
【0028】
制御部11は、障害物検知装置1本体各部の動作を制御する。
【0029】
画像入力部12には、ビデオカメラ2が撮像した動画像が入力される。画像入力部12は、入力された動画像にかかるフレーム画像を一時的に記憶する画像メモリ(不図示)を有している。画像入力部12が、この発明で言う、動画像入力部に相当する。
【0030】
画像処理部13は、画像入力部12に入力されたフレーム画像(ビデオカメラ2によって撮像された動画像にかかるフレーム画像)を処理し、検知対象エリア内に位置する障害物の検知を行う。この画像処理部13が、この発明にかかる障害物検知方法を実行する。また、画像処理部13が、この発明にかかる障害物検知プログラムの各ステップを実行する画像処理プロセッサ(コンピュータ)を有している。画像処理部13の詳細については、後述する。
【0031】
出力部14は、検知対象エリア内に位置する障害物の検知にともなう報知を要求する要求通知を、案内表示板3や管制装置4に対して出力する。
【0032】
図3は、画像処理部の機能構成を示す図である。画像処理部13は、処理対象フレーム画像選択機能部21と、エッジ画像生成機能部22と、背景差分画像生成機能部23と、出現判定機能部24と、変化判定機能部25と、障害物検知機能部26と、障害物継続検知機能部27と、車両走行状況判定機能部28と、管制通知要否判定機能部29と、を備えている。
【0033】
処理対象フレーム画像選択機能部21は、画像入力部12に入力されたフレーム画像(ビデオカメラ2が撮像した動画像にかかるフレーム画像)の中から、後述する画像処理を行うフレーム画像(処理対象フレーム画像)を選択する。処理対象フレーム画像選択機能部21は、画像入力部12に入力された動画像にかかる全てのフレーム画像を処理対象フレーム画像として選択する構成であってもよいし、画像入力部12に入力された動画像にかかるフレーム画像の中から、予め定められたフレーム間隔や、時間間隔で処理対象フレーム画像を選択する構成であってもよい。処理対象フレーム画像のフレーム間隔と、処理対象フレーム画像の時間間隔との関係は、
処理対象フレーム画像のフレーム間隔=
(ビデオカメラ2のフレームレート)×(処理対象フレーム画像の時間間隔)
である。
【0034】
この例では、ビデオカメラ2のフレームレートは、10フレーム/secとし、処理対象フレーム画像選択機能部21は、画像入力部12に入力された動画像にかかる全てのフレーム画像を処理対象フレーム画像として選択するものとして説明する。また、ビデオカメラ2のフレームレートが30フレーム/secであれば、処理対象フレーム画像選択機能部21は、3フレーム間隔や、100ms間隔で処理対象フレーム画像を選択する構成にすることによって、上記と同じタイミングで撮像されたフレーム画像を処理対象フレーム画像として選択することができる。
【0035】
エッジ画像生成機能部22は、処理対象フレーム画像選択機能部21によって選択された処理対象フレーム画像のエッジ画像を生成する。エッジ画像生成機能部22は、公知のエッジ抽出フィルタ(例えば、Sobelフィルタ、Prewittフィルタ、Laplacianフィルタ)を用いて、処理対象フレーム画像の各画素の画素値がエッジの強度であるエッジ画像を生成する。
図4は、処理対象フレーム画像を示す図であり、
図5は、
図4に示す処理対象フレーム画像を処理して生成したエッジ画像を示す図である。エッジ画像生成機能部22によって生成されるエッジ画像は、例えば256階調である。この例では、この発明で言う画素の特徴量は、エッジの強度である。
【0036】
背景差分画像生成機能部23は、エッジ画像生成機能部22が生成したエッジ画像と、図示していない画像メモリに記憶している背景エッジ画像との差分画像(所謂、背景差分画像)を生成する。背景エッジ画像は、ビデオカメラ2の撮像エリアの背景のエッジ画像である。
図6は、背景エッジ画像を示す図である。
図7は、
図5に示すエッジ画像と、
図6に示す背景エッジ画像とによって生成した背景差分画像を示す図である。背景差分画像生成機能部23は、エッジ画像生成機能部22が生成したエッジ画像の各画素について、その画素のエッジ強度と、背景エッジ画像の対応する画素のエッジ強度と、の差の絶対値が予め定めた閾値以上であれば前景画素(画素値=1)とし、閾値未満であれば背景画素(画素値=0)とした2値画像を背景差分画像として生成する。背景差分画像生成機能部23が、この発明で言う前景画素判定部に相当する。具体的には、エッジ画像生成機能部22が生成したエッジ画像の各画素について、前景画素であるか、背景画素であるかを判定する機能が、この発明で言う前景画素判定部に相当する。
【0037】
なお、背景差分画像生成機能部23は、エッジ画像生成機能部22が生成したエッジ画像の各画素について、その画素のエッジ強度から、背景エッジ画像の対応する画素のエッジ強度を減算した値が予め定めた閾値以上であれば前景画素とし、閾値未満であれば背景画素とした2値画像を背景差分画像として生成する構成にしてもよい。この構成では、背景エッジ画像にエッジが現れている画素(エッジ強度が比較的大きい画素)であって、エッジ画像生成機能部22が生成したエッジ画像にエッジが現れていない画素(エッジ強度が比較的小さい画素)が背景画素と判定される。
【0038】
出現判定機能部24は、背景差分画像生成機能部23において前景画素であると判定された画素が、天候変化や照明変化による周辺構造物の影等にかかる画素であるかどうかを判定する。出現判定機能部24が、この発明で言う第1の特定画素判定処理を行う。この出現判定機能部24における処理の詳細については、後述する。
【0039】
変化判定機能部25は、背景差分画像生成機能部23において前景画素であると判定された画素が、検知対象エリアを通過した車両や、車両が走行したことによって形状が変化した水溜り等にかかる画素であるかどうかを判定する。変化判定機能部25が、この発明で言う第2の特定画素判定処理を行う。この変化判定機能部25における処理の詳細については、後述する。
【0040】
この発明で言う特定画素判定部は、出現判定機能部24、および変化判定機能部25を備える。
【0041】
障害物検知機能部26は、出現判定機能部24、および変化判定機能部25の判定結果を用いて、検知対象エリア内の道路上に位置する障害物を検知する。この障害物検知機能部26が、この発明で言う障害物検知部に相当する。
【0042】
障害物継続検知機能部27は、障害物検知機能部26によって検知された障害物が予め定めた継続
判定時間(例えば、1分)にわたって移動することなく、位置しつづけたかどうかを検知する。障害物検知機能部26は、風に飛ばされてきたレジ袋や、なんらかの理由で一時停止した車両等も障害物として検知する。障害物継続検知機能部27は、障害物検知機能部26が検知した障害物が、風に飛ばされてきたレジ袋や、なんらかの理由で一時停止した車両等であるかどうかを検知する。この障害物検知機能部26が、この発明言う移動検知部に相当する。
【0043】
なお、落下物と、停車車両との判別は、その大きさによって行える。
【0044】
車両走行状況判定機能部28は、検知対象エリアを走行している車両の走行パターン(減速、加速や蛇行等)と、交通流が正常であるときの車両の走行パターンと、を比較し、検知対象エリアを走行している車両の走行パターンが不自然であるかどうかを判定する。この車両走行状況判定機能部28が、この発明で言う走行状態判定部に相当する。
【0045】
管制通知要否判定機能部29は、障害物継続検知機能部27の検知結果、および車両走行状況判定機能部28の判定結果に基づき、管制装置4に対して障害物の検知にともなう報知を要求する要求通知を出力するかどうかを判定する。
【0046】
障害物検知装置1は、障害物検知機能部26が道路上に位置する障害物を検知すると、その旨を出力部14から案内表示板3に対して出力する。このとき、障害物検知装置1は、道路上に位置する障害物を検知したことを、管制装置4に対して出力しない。障害物検知装置1は、管制通知要否判定機能部29が管制装置4への障害物の検知を通知すると判定したとき、その旨を出力部14から管制装置4に対して出力する。
【0047】
以下、この例にかかる障害物検知装置1の動作について説明する。この例にかかる障害物検知装置1は、以下に示す変化画素抽出処理、第1の特定画素判定処理、第2の特定画素判定処理、障害物確定処理、継続判定処理、交通状況判定処理、および管制通知要否判定処理を行う。
【0048】
図8は、変化画素抽出処理を示すフローチャートである。障害物検知装置1は、ビデオカメラ2によって撮像された動画像にかかるフレーム画像が画像入力部12に入力されている。障害物検知装置1は、画像入力部12に入力された動画像にかかるフレーム画像の中から、処理対象フレーム画像を選択する(s1)。s1では、選択した処理対象フレーム画像に対して、フレーム番号を割り当てる。このフレーム番号は、処理対象フレーム画像を、撮像タイミングで時系列に並べることができるものであればよい。例えば、フレーム番号は、シリアルな番号であってもよいし、撮像タイミングを示す時間情報によって生成した番号であってもよい。処理対象フレーム画像選択機能部21が、s1にかかる処理を行う。
【0049】
画像処理部13は、s1で選択した処理対象フレーム画像のエッジ画像を生成する(s2)。s2では、エッジ画像生成機能部22が、Sobelフィルタ、Prewittフィルタ、Laplacianフィルタ等のエッジ抽出フィルタを用いて、s1で今回選択した処理対象フレーム画像(
図4参照)のエッジ画像(
図5参照)を生成する。s2で生成するエッジ画像の画素値は、256階調である。画素値は、エッジ強度である。また、s2で生成したエッジ画像は、フレーム番号を対応付けて、図示していない画像メモリに記憶する。この画像メモリは、数分間分のエッジ画像が記憶できる容量である。
【0050】
画像処理部13は、s2で生成したエッジ画像と、図示していない画像メモリに記憶している背景エッジ画像(
図6参照)との差分画像である背景差分画像(
図7参照)を生成する(s3)。s3では、エッジ強度の差の絶対値が、予め定めた閾値以上である画素を前景画素、閾値未満である画素を背景画素とした2値画像を、背景差分画像として生成する。
図7では、白で示す画素が前景画素であり、黒で示す画素が背景画素である。
【0051】
画像処理部13は、前回選択した処理対象フレーム画像において背景画素と判定されており、今回選択した処理対象フレーム画像において前景画素と判定された画素(以下、変化画素と言う。)を全て抽出し、ここで抽出した変化画素を図示していない記憶部に記憶し(s4)、s1に戻る。s4では、今回抽出した変化画素と、今回の処理対象フレーム画像のフレーム番号と、を対応付けて、記憶部に記憶する。背景差分画像生成機能部23が、s3、およびs4にかかる処理を行う。
【0052】
なお、背景差分画像生成機能部23は、エッジ画像生成機能部22が生成したエッジ画像を用いて、画像メモリに記憶している背景エッジ画像を更新する機能を備えている。
【0053】
次に、第1の特定画素判定処理について説明する。
図9は、第1の特定画素判定処理を示すフローチャートである。画像処理部13の出現判定機能部24が、第1の特定画素判定処理を行う。この第1の特定画素判定処理では、s2で画像メモリに記憶したエッジ画像、およびs4で記憶部に記憶した変化画素を用いる。この出現判定処理は、s4で抽出された変化画素が、天候変化や照明変化によって出現した周辺構造物の影にかかる画素であるかどうかを判定する処理である。
【0054】
出現判定機能部24は、処理対象フレーム画像を選択する(s11)。s11では、上述した変化画素抽出処理が行われたフレーム画像を、時系列に処理対象フレーム画像として選択する。s11にかかる処理は、処理対象フレーム画像選択機能部21において行われるのではなく、出現判定機能部24において行われる。また、第1の特定画素判定処理では、s11で選択した処理対象フレーム画像よりも、後述する出現判定時間後に撮像されたフレーム画像に対する変化画素抽出処理の処理結果を用いる。すなわち、この第1の特定画素判定処理の処理結果は、上述した変化画素抽出処理の処理結果よりも、すくなくとも出現判定時間遅れる。
【0055】
出現判定機能部24は、s11で今回選択した処理対象フレーム画像における出現判定対象画素を抽出する(s12)。s12では、s11で選択した処理対象フレーム画像に対して上述のs4にかかる処理で抽出した変化画素を出現判定対象画素として抽出する。上述したように、記憶部が、処理対象フレーム画像のフレーム番号と、この処理対象フレーム画像から抽出した変化画素と、を対応付けて記憶している。s12で抽出される出現判定対象画素の個数は、0であることもあれば、1または複数であることもある。
【0056】
出現判定機能部24は、s12で抽出した出現判定対象画素毎に、以下に示すs13〜s17にかかる処理を行う。
【0057】
出現判定機能部24は、出現判定対象画素毎に、今回選択した処理対象フレーム画像の撮像タイミングの直前の出現判定時間(例えば、2秒)におけるエッジ強度の平均(この期間に撮像された処理対象フレーム画像における対応する画素のエッジ強度の平均)を算出する(s13)。また、出現判定機能部24は、出現判定対象画素毎に、今回選択した処理対象フレーム画像の撮像タイミングの直後の出現判定時間(例えば、2秒)におけるエッジ強度の平均(この期間に撮像された処理対象フレーム画像における対応する画素のエッジ強度の平均)を算出する(s14)。今回選択した処理対象フレーム画像の撮像タイミングの直前の出現判定時間が、この発明で言う第1の期間に相当する。また、今回選択した処理対象フレーム画像の撮像タイミングの直後の出現判定時間が、この発明で言う第2の期間に相当する。この例では、s13でエッジ強度の平均を算出する期間(この発明で言う第1の期間)の長さと、s14でエッジ強度の平均を算出する期間(この発明で言う第2の期間)の長さとを同じにしているが、異なる長さにしてもよい。また、今回選択した処理対象フレーム画像の撮像タイミングが、この発明で言う基準タイミングに相当する。
【0058】
s13、s14において、エッジ強度の平均の算出に用いる処理対象フレーム画像のエッジ画像は、s2で画像メモリに記憶している。
【0059】
出現判定機能部24は、出現判定対象画素毎に、s14で算出した撮像タイミング直後のエッジ強度の平均に対する、s13で算出した撮像タイミング直前のエッジ強度の平均の割合αが出現判定閾値(例えば、0.6)未満であるかどうかを判定する(s15)。割合αは、s13で算出した撮像タイミング直前のエッジ強度の平均を、s14で算出した撮像タイミング直後のエッジ強度の平均で除した値である。すなわち、
割合α=(s13で算出した撮像タイミング直前のエッジ強度の平均)/(s14で算出した撮像タイミング直後のエッジ強度の平均) である。
【0060】
出現判定機能部24は、s15で割合αが出現判定閾値未満であった出現判定対象画素を特定画素であると判定し(s16)、反対にs15で割合αが出現判定閾値未満でなかった(出現判定閾値以上であった)出現判定対象画素をノイズと判定する(s17)。
【0061】
出現判定機能部24は、s16で判定した特定画素を図示していない記憶部に記憶し(s18)、s11に戻る。s18では、今回判定した特定画素と、s11で今回選択した処理対象フレーム画像のフレーム番号と、を対応付けて、記憶部に記憶する。
【0062】
図10に示すように落下物等にかかる画素のエッジ強度は、急激に変化するが、天候変化や照明変化によって出現した周辺構造物の影にかかる画素のエッジ強度は、緩やかに変化する。
図10において、t0がs4で変化画素として抽出されるタイミング(s11で選択された処理対象フレーム画像の撮像タイミング)である。また、t0−t1の期間が撮像タイミング直後の出現判定時間であり、t2−t0の期間が撮像タイミング直前の出現判定時間である。したがって、s17でノイズと判定される出現判定対象画素は、天候変化や照明変化によって出現した周辺構造物の影にかかる画素であって、車両や、車両からの落下物にかかる画素ではない。
【0063】
次に、第2の特定画素判定処理について説明する。
図11は、第2の特定画素判定処理を示すフローチャートである。画像処理部13の変化判定機能部25が、この第2の特定画素判定処理を行う。この第2の特定画素判定処理では、s2で画像メモリに記憶したエッジ画像、およびs4で記憶部に記憶した変化画素を用いる。この第2の特定画素判定処理は、s4で抽出された変化画素が、降雨による路面の水溜り等にかかる画素であるかどうかを判定する処理である。
【0064】
変化判定機能部25は、処理対象フレーム画像を選択する(s21)。s21では、上述した変化画素抽出処理が行われたフレーム画像を、時系列に処理対象フレーム画像として選択する。s21にかかる処理は、処理対象フレーム画像選択機能部21において行われるのではなく、変化判定機能部25において行われる。また、第2の特定画素判定処理は、s21で選択した処理対象フレーム画像よりも、後述する変化判定時間後に撮像されたフレーム画像に対する変化画素抽出処理の処理結果を用いる。すなわち、この第2の特定画素判定処理の処理結果は、上述した変化画素抽出処理の処理結果よりも、すくなくとも変化判定時間遅れる。
【0065】
変化判定機能部25は、s21で選択した処理対象フレーム画像における変化判定対象画素を抽出する(s22)。s22では、s21で選択した処理対象フレーム画像に対する上述のs4にかかる処理で抽出した変化画素を変化判定対象画素として抽出する。上述したように、記憶部が、処理対象フレーム画像のフレーム番号と、この処理対象フレーム画像から抽出した変化画素と、を対応付けて記憶している。s22で抽出される変化判定対象画素の個数は、0であることもあれば、1または複数であることもある。
【0066】
なお、s22では、s21で今回選択した処理対象フレーム画像において、s16で出現画素であると判定した画素を変化判定対象画素として抽出する構成であってもよい。
【0067】
変化判定機能部25は、s21で選択した処理対象フレーム画像に対して、変化判定期間を定める(s23)。この変化判定期間は、s21で選択した処理対象フレーム画像の撮像タイミングから待ち時間(例えば、2秒)経過したタイミングが開始タイミングであり、所定時間(例えば10秒)経過後が終了タイミングである。この変化判定期間が、この発明で言う第3の期間に相当する。変化判定時間は、上述の待ち時間と、変化判定期間とを合わせた時間である。
【0068】
変化判定機能部25は、s23で定めた変化判定期間を複数の判定期間に分割する(s24)。例えば、変化判定期間を、2秒間隔で分割した5つの判定期間に分割する。この判定期間が、この発明で言う第3の期間を分割した分割期間に相当する。
【0069】
変化判定機能部25は、s24で分割した判定期間毎に、s22で抽出した変化判定対象画素のエッジ強度の標準偏差を算出する(s25)。s25では、判定期間毎に、その判定期間にビデオカメラ2が撮像した処理対象フレーム画像のエッジ画像を用いる。
【0070】
変化判定機能部25は、s22で抽出した変化判定対象画素について、判定期間毎に、この判定期間におけるエッジ強度の平均値に対する、エッジ強度の標準偏差の割合βが所定値(例えば、0.4)以内であるかどうかを判定する(s26)。
【0071】
標準偏差の割合β
=(判定期間におけるエッジ強度の標準偏差)/(判定期間におけるエッジ強度の平均値)
である。
【0072】
変化判定機能部25は、いずれかの判定期間において、その判定期間におけるエッジ強度の平均値に対する、エッジ強度の標準偏差の割合βが所定値以内でないと判定した変化判定対象画素をノイズと判定する(s28)。また、変化判定機能部25は、全ての判定期間において、その判定期間におけるエッジ強度の平均値に対する、エッジ強度の標準偏差の割合βが所定値以内であると判定した判定対象画素を特定画素と判定する(s27)。s25〜s28にかかる処理は、s22で抽出した変化判定対象画素毎に行う。
【0073】
変化判定機能部25は、s27で判定した特定画素を図示していない記憶部に記憶し(s29)、s21に戻る。s29では、今回判定した特定画素と、s21で今回選択した処理対象フレーム画像のフレーム番号と、を対応付けて、記憶部に記憶する。
【0074】
図12に示すように落下物等にかかる画素のエッジ強度は、
変化判定期間において安定するが、水溜り等にかかる画素のエッジ強度は、水溜りの形状が変化することから、
変化判定期間において安定しない。
図12において、t0がs4で変化画素として抽出されたタイミングである。また、t1−t3の期間が変化判定期間である。したがって、s28でノイズと判定される変化判定対象画素は、水溜り等にかかる画素である。
【0075】
また、検知対象エリアを停止することなく、走行した車両にかかる画素のエッジ強度も、
変化判定期間において安定しない。したがって、変化判定機能部25は、走行車両にかかる画素についても、s27でノイズと判定する。
【0076】
次に、障害物確定処理について説明する。
図13は、障害物確定処理を示すフローチャートである。画像処理部13の障害物検知機能部26が、この障害物確定処理を行う。
【0077】
障害物検知機能部26は、処理対象フレーム画像を選択する(s31)。s31では、上述した第1の特定画素判定処理、および第2の特定画素判定処理を完了しているフレーム画像を、時系列に処理対象フレーム画像として選択する。s31にかかる処理は、処理対象フレーム画像選択機能部21において行われるのではなく、障害物検知機能部26において行われる。
【0078】
障害物検知機能部26は、s31で今回選択した処理対象フレーム画像に対して、障害物検知領域を探索する(s32)。s32では、以下の条件1、および条件2に適合する探索領域の探索を行う。探索領域は、例えば、5×5画素の領域である。
【0079】
条件1:今回選択した処理対象フレーム画像において、第1の特定画素判定処理で特定画素と判定された画素であって、且つ第2の特定画素判定処理においても特定画素と判定された画素が1つ以上存在する。
【0080】
条件2:今回選択した処理対象フレーム画像を含む前後数フレームの処理対象フレーム画像(例えば、前後2フレームの処理対象フレーム画像(合計5フレーム画像))において、第1の特定画素判定処理で特定画素と判定された画素であって、且つ第2の特定画素判定処理においても特定画素と判定された画素の割合が所定の割合(例えば、80%)を超えている。
【0081】
条件2は、小さなゴミや、ノイズ等にかかる画素を障害物として検知しないための条件である。
【0082】
障害物検知機能部26は、s32で探索された障害物検知領域(条件1、および条件2に適合する探索領域)がなければ(s33)、s31に戻る。障害物検知機能部26は、s32で探索された障害物検知領域があると、当該処理対象フレーム画像における背景差分画像において、今回探索された障害物検知領域を含む前景画素の領域を、障害物が撮像されている領域として検知する(s33、s34)。また、障害物検知機能部26は、案内表示板3に対して障害物の検知にかかる通知要と判定し(s35)、s31に戻る。s35では、管制装置4に対して障害物の検知にかかる通知要と判定しない。
【0083】
障害物検知装置1は、s35における判定に基づき、出力部14から、案内表示板3に対して障害物の検知にかかる報知を要求する要求通知を出力する。これにより、案内表示板3が、下流側に障害物があることをドライバに通知するメッセージの表示を行う。
【0084】
このように、障害物検知装置1は、障害物を検知すると、案内表示板3に対して障害物の検知にともなう報知を迅速に要求する。したがって、案内表示板3では、ドライバに対して事故防止にかかる案内表示が迅速に行える。
【0085】
障害物検知装置1は、障害物検知機能部26において障害物が検知されると、その障害物が予め定めた継続判定時間(例えば、1分)にわたって、移動することなく位置し続けているかどうかを判定する継続判定処理を行う。
図14は、この継続判定処理を示すフローチャートである。この継続判定処理は、障害物継続検知機能部27が行う。
【0086】
障害物継続検知機能部27は、障害物が検知された処理対象フレーム画像の撮像タイミングを基準にして、検知チェック待機時間毎に撮像されたフレーム画像を処理対象フレーム画像として選択する(s41)。例えば、障害物が検知された処理対象フレーム画像の撮像タイミングを基準にして、1秒毎に撮像されたフレーム画像を順次処理対象フレーム画像として選択する。s41にかかる処理は、処理対象フレーム画像選択機能部21において行われるのではなく、障害物継続検知機能部27において行われる。
【0087】
障害物継続検知機能部27は、障害物が検知された処理対象フレーム画像における障害物検知領域と、s41で選択した処理対象フレーム画像における障害物検知領域と、におけるエッジの一致度を算出し(s42)、算出したエッジの一致度が所定の割合を超えているかどうかを判定する(s43)。すなわち、s43では、障害物検知機能部26が検知した障害物が同じ位置にあるかどうかを判定している。
【0088】
障害物継続検知機能部27は、s42でエッジの一致度が所定の割合を超えていると判定すると、継続カウント値を1カウントアップする(s44)。障害物継続検知機能部27は、s43でエッジの一致度が所定の割合を超えていると判定しなければ、s44にかかる処理を行わない。
【0089】
障害物継続検知機能部27は、チェック回数を1カウントアップし(s45)、チェック回数が判定回数(例えば、10回)に達したかどうかを判定する(s46)。障害物継続検知機能部27は、s46で判定回数に達していないと判定すると、s41に戻る。
【0090】
障害物継続検知機能部27は、s46で判定回数に達していると判定すると、継続カウント値が所定値(例えば、5)以上であるかどうかを判定する(s47)。障害物継続検知機能部27は、継続カウント値が所定値以上でないと判定すると、今回検知した障害物が移動したと判定し(s48)、本処理を終了する。移動した障害物は、風に飛ばされてきたレジ袋や、なんらかの理由で一時停止した車両等である。
【0091】
また、障害物継続検知機能部27は、継続カウント値が所定値以上であると判定すると、継続カウント値、およびチェック回数をリセットした後(s49)、継続判定時間にわたる障害物の移動確認が完了したかどうかを判定する(s50)。障害物継続検知機能部27は、s50で、継続判定時間にわたる障害物の移動確認が完了していないと判定すると、s41に戻る。
【0092】
障害物継続検知機能部27は、継続判定時間にわたる障害物の移動確認が完了したと判定すると、継続判定時間にわたって今回検知した障害物が移動していないと判定し(s51)、本処理を終了する。
【0093】
障害物継続検知機能部27は、s48、またはs51の判定結果を管制通知要否判定機能部29に渡す。管制通知要否判定機能部29の動作については、後述する。
【0094】
また、車両走行状況判定機能部28は、障害物検知機能部26において障害物が検知されると、車両の走行異常判定処理を行う。
図15は、走行異常判定処理を示すフローチャートである。車両走行状況判定機能部28は、障害物検知機能部26において障害物が検知された後、処理対象フレーム画像選択機能部21が選択した処理対象フレーム画像を用いて、検知対象エリア内における走行車両の動きを取得する(s61)。s61では、例えば、公知のオプティカルフローによって、検知対象エリアにおける走行車両の動きを取得してもよいし、公知のトラッキング技術によって、検知対象エリアにおける走行車両の動きを取得してもよい。s61では、車両の減速、加速や蛇行等を走行車両の動きとして取得する。
【0095】
車両走行状況判定機能部28は、s61で取得した走行車両の動きに基づく走行パターンが不自然であるかどうかを判定する(s62)。
【0096】
例えば、s61で取得した走行車両の動きに基づく走行パターンと、交通流が正常であるときの車両の走行パターンと、を比較し、検知対象エリアを走行している車両の走行パターンが不自然であるかどうかを判定する。具体的には、s61で取得した走行車両の動きに基づく走行パターンと、交通流が正常であるときの車両の走行パターンとの一致度によって、検知対象エリアを走行している車両の走行パターンが不自然であるかどうかを判定する。道路上に、車両の走行の妨げになる障害物が存在する場合、車両はその障害物を避けて走行するので、減速、加速、蛇行等によって走行パターンが不自然になる。したがって、道路上に、車両の走行の妨げになる障害物が存在する場合、s61で取得した検知対象エリア内における走行車両の動きに基づく走行パターンと、記憶している交通流が正常であるときの車両の走行パターンとの一致度は小さくなる。
【0097】
この場合、車両走行状況判定機能部28は、交通流が正常であるときの車両の走行パターンを記憶している。また、車両走行状況判定機能部28は、交通流が正常であるときの車両の走行パターンを、障害物が検知されていないときにビデオカメラ2が撮像した動画像を処理して取得した走行車両の動きに基づいて学習する構成にするのがよい。
【0098】
車両走行状況判定機能部28は、s62で車両の走行パターンが不自然であると判定すると、本処理を終了する。車両走行状況判定機能部28は、s62で車両の走行パターンが不自然であると判定した判定結果を管制通知要否判定機能部29に渡す。
【0099】
一方、車両走行状況判定機能部28は、s62で車両の走行パターンが不自然でないと判定すると、障害物継続検知機能部27が上述した継続判定処理を実行しているかどうかを判定する(s63)。車両走行状況判定機能部28は、s63で障害物継続検知機能部27が上述した継続判定処理を実行していると判定すると、s61に戻る。また、車両走行状況判定機能部28は、s63で障害物継続検知機能部27が上述した継続判定処理を実行していないと判定すると、本処理を終了する。
【0100】
次に、管制通知要否判定機能部29における、管制通知要否判定処理について説明する。
図16は、管制通知要否判定処理を示すフローチャートである。管制通知要否判定機能部29は、障害物
継続検知機能部
27から障害物が移動した旨の判定結果(s48の判定結果)が渡されると、案内表示板3に対して障害物の検知にともなう報知解除の通知要と判定し(s71、s72)、本処理を終了する。
【0101】
また、管制通知要否判定機能部29は、障害物
継続検知機能部
27から障害物が継続判定時間にわたって移動していない旨の判定結果(s51の判定結果)が渡されると、管制装置4に対して障害物の検知にかかる通知要と判定し(s73、s74)、本処理を終了する。
【0102】
さらに、管制通知要否判定機能部29は、車両走行状況判定機能部28から、車両の走行パターンが不自然である旨の判定結果が渡されると、管制装置4に対して障害物の検知にかかる通知要と判定し(s75、s74)、本処理を終了する。
【0103】
障害物検知装置1は、s72における判定に基づき、出力部14から、案内表示板3に対して障害物の検知にかかる報知解除を要求する要求通知を出力する。これにより、案内表示板3が、下流側に障害物があることをドライバに通知するメッセージの表示を中止する。すなわち、案内表示板3が、下流側に障害物があることをドライバに通知するメッセージを表示していない状態に移行する。これにより、案内表示板3において、誤検知された障害物にかかるメッセージがいつまでも表示されつづけることがない。
【0104】
また、障害物検知装置1は、s74における判定に基づき、出力部14から、管制装置4に対して障害物の検知にかかる報知を要求する要求通知を出力する。これにより、管制装置4は、道路管理者に対して道路上にある障害物(検知された障害物)を取り除く等の作業を促す報知を行う。
【0105】
このように、この例にかかる障害物検知装置1は、第1の特定画素判定処理を行うことにより、天候変化や照明変化による周辺構造物の影等を障害物として誤検知するのが抑えられるとともに、第2の特定画素判定処理を行うことにより、車両が走行したことによって形状が変化した水溜り等を障害物として誤検知するのが抑えられる。
【0106】
また、この例にかかる障害物検知装置1は、障害物確定処理を行うことにより、小さなゴミや、ノイズ等にかかる画素を障害物として誤検知するのを抑えられる。
【0107】
また、この例にかかる障害物検知装置1は、継続判定処理を行うことにより、風に飛ばされてきたレジ袋や、なんらかの理由で一時停止した車両等を障害物として検知したときに、管制装置4に対して障害物の検知にかかる報知を要求する要求通知を出力するのを抑えられる。したがって、管制装置4は、風に飛ばされてきたレジ袋や、なんらかの理由で一時停止した車両等を障害物として、道路管理者に作業を促す無駄な報知が抑えられる。 さらに、この例にかかる障害物検知装置1は、走行異常判定処理を行うことによって、道路管理者に対して道路上にある障害物(検知された障害物)を取り除く等の作業を促す報知が速やかに行える。
【0108】
なお、上記の例では、画素の特徴量として、エッジの強度を用いるとしたが、画素の輝度値を特徴量として用いてもよい。この場合、エッジ画像生成機能部22は。不要になる。
【0109】
また、障害物継続検知機能部27、車両走行状況判定機能部28、および管制通知要否判定機能部29を不要にし、障害物検知機能部26がs35で案内表示板3、および管制装置4に対して障害物の検知にかかる通知要と判定する構成にしてもよい。