(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-10
(45)【発行日】2022-08-19
(54)【発明の名称】落石検出装置および落石検出システム
(51)【国際特許分類】
E21D 9/00 20060101AFI20220812BHJP
E21F 17/00 20060101ALI20220812BHJP
G06T 7/155 20170101ALI20220812BHJP
G06T 7/254 20170101ALI20220812BHJP
G06T 7/246 20170101ALI20220812BHJP
【ＦＩ】
E21D9/00 Z
E21F17/00
G06T7/155
G06T7/254 A
G06T7/246
【請求項の数】
6
(21)【出願番号】P 2018098103
(22)【出願日】2018-05-22
(65)【公開番号】P2019203288
(43)【公開日】2019-11-28
【審査請求日】2021-03-23
【新規性喪失の例外の表示】特許法第３０条第２項適用 （１）２０１７年１２月８日付けの建設通信新聞に掲載 （２）２０１７年１２月８日付けの日刊建設工業新聞に掲載 （３）２０１７年１２月８日付けの日刊建設産業新聞に掲載 （４）２０１７年１２月８日に大成建設株式会社が「トンネル切羽落石監視システム「Ｔ－ｉＡｌｅｒｔ Ｔｕｎｎｅｌ」を開発」と題するプレスリリースをウェブサイトにて発表
(73)【特許権者】
【識別番号】000206211
【氏名又は名称】大成建設株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】谷 卓也
【審査官】小倉 宏之
(56)【参考文献】
【文献】特開２００２－０７４３７０（ＪＰ，Ａ）
【文献】特開２０１７－２０００９８（ＪＰ，Ａ）
【文献】特開２０１２－１０３００９（ＪＰ，Ａ）
【文献】特開２０１２－０２６８８１（ＪＰ，Ａ）
【文献】特開２００６－２７９４４０（ＪＰ，Ａ）
【文献】特開２００９－２３９９０３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｅ２１Ｄ ９／００
Ｅ２１Ｆ １７／００
Ｇ０６Ｔ ７／１５５
Ｇ０６Ｔ ７／２５４
Ｇ０６Ｔ ７／２４６
(57)【特許請求の範囲】
【請求項1】
撮影した画像に基づいて落石を検出する落石検出装置であって、前記落石が写っているか否かの判定を行う落石検出領域を求める落石検出領域算出部と、
前記落石検出領域に写る移動体を前記落石として検出する落石検出部と、を備え、
前記落石検出領域算出部は、
時系列で連続するフレーム間での差分画像に対して閾値処理を行うことで、過去のＮフレーム（Ｎ≧３）における各々の前記差分画像から移動体エリアを抽出し、
各々の前記移動体エリアの和集合を予め決められた範囲だけ広げる膨張処理を行い、膨張処理済みエリアに対して繋がっている画素を一つのグループとして同じ番号を付与するラベリング処理を行い、
グループ分けした各々の膨張処理済みエリアの面積が、予め設定された面積よりも大きい場合にその膨張処理済みエリアを落石検出禁止領域とし、当該落石検出禁止領域の補領域を前記落石検出領域とする、
ことを特徴とする落石検出装置。
【請求項2】
撮影した画像に基づいて落石を検出する落石検出装置であって、
前記落石が写っているか否かの判定を行う落石検出領域を求める落石検出領域算出部と、
前記落石検出領域に写る移動体を前記落石として検出する落石検出部と、を備え、
前記落石検出領域算出部は、時系列で連続するフレーム間での差分画像に対して閾値処理を行うことで、過去のＮフレーム（Ｎ≧３）における各々の前記差分画像から移動体エリアを抽出し、各々の前記移動体エリアの和集合以外の領域を前記落石検出領域とし、前記画像の中で明るく且つ所定の面積を有する部分を前記落石検出領域に含めない、
ことを特徴とする落石検出装置。
【請求項3】
撮影した画像に基づいて落石を検出する落石検出装置であって、
前記落石が写っているか否かの判定を行う落石検出領域を求める落石検出領域算出部と、
前記落石検出領域に写る移動体を前記落石として検出する落石検出部と、を備え、
前記落石検出領域算出部は、時系列で連続するフレーム間での差分画像に対して閾値処理を行うことで、過去のＮフレーム（Ｎ≧３）における各々の前記差分画像から移動体エリアを抽出し、各々の前記移動体エリアの和集合以外の領域を前記落石検出領域とし、
前記落石検出部は、前記落石検出領域に写る全ての移動体を落石候補とし、全ての前記落石候補の重心を複数のフレームに亘って追跡することで前記落石候補が真の落石であるか否かを判定する群落石検出部、を備える、
ことを特徴とする落石検出装置。
【請求項4】
前記落石検出部は、前記落石検出領域に写る特定の一つの移動体を落石候補とし、前記落石候補を複数のフレームに亘って追跡することで前記落石候補が真の落石であるか否かを判定する個別落石検出部、を備える、ことを特徴とする請求項１ないし請求項３の何れか一項に記載の落石検出装置。
【請求項5】
落石の発生を検出する範囲を照射する照明手段と、前記範囲を撮影する撮影手段と、
請求項１ないし請求項４の何れか一項に記載の落石検出装置と、
前記落石が検出された場合に報知する報知手段と、を備える、
ことを特徴とする落石検出システム。
【請求項6】
前記照明手段は、赤外光を照射し、前記撮影手段は、赤外光のみを通過させる光学フィルタを有する、
ことを特徴とする請求項５に記載の落石検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、落石検出装置および落石検出システムに関する。
【背景技術】
【0002】
山岳トンネルの施工においては、地盤崩落や落石の危険がある切羽の近くで作業が行われる。これまで、軟らかい地盤でトンネルを施工する場合に、切羽の膨らみ（押し出してくる現象）をレーザー変位計で捉えて作業員に警告する装置が存在する。一方、固い地盤を施工する場合に、切羽の崩落の前兆を監視・警告する装置が存在せず、専属の監視人が安全を常に確認している。そして、ひとたび切羽の安定が損なわれるような兆候を見つけた場合に、監視人が作業員を直ちに退避させる。
【0003】
監視人は、例えば、小さな石（親指大程度）の落下や薄い吹付けコンクリート片の剥がれ落ちを切羽の崩落の兆候として捉え、災害につながる現象が生じる前に作業員に警告するとともに迅速に危険箇所から退避させる。このように切羽を常に監視するのは大変な労力を要するので、災害自体や災害の兆候を監視する装置の開発が強く望まれている。
【0004】
これに関連して、従来、落石を検出する技術が存在する。特許文献１には、トンネルの入り口に設けた落石に対する防護ネットに光ファイバなどの信号線を添わせ、それによって落石を検知し、通行中の車やトンネルを管理するセンターへ報知する技術が記載されている（例えば、段落［０００６］参照）。
【0005】
また、特許文献２には、落石監視対象区間毎にセンサ用光ファイバを敷設し、これら区間毎のセンサ用光ファイバを直列又は並列に接続して光ファイバ系を構成し、この光ファイバ系を伝達する光の変化から落石を検知する技術が記載されている（例えば、［００１３］参照）。
【0006】
また、特許文献３には、監視領域の斜面に張った落石防護ネットで落石を蓄積場に誘導して集め、蓄積場の体積変化又は集めた落石の重量変化を光ファイバの歪変化に置換して光ファイバの歪量の変化から落石の有無を検知する技術が記載されている（例えば、［０００６］参照）。
【0007】
また、特許文献４には、複数のカメラを用いて切羽を異なる角度から撮影した画像を解析して危険箇所を通知する危険箇所通知画像を生成し、切羽に危険箇所通知画像を投影する技術が記載されている（例えば、［０００６］参照）。
【先行技術文献】
【特許文献】
【0008】
【文献】特開平１０－８８９９８号公報
【文献】特開２０００－１８０２１９号公報
【文献】特開２００２－１３８４１８号公報
【文献】特開２０１８－０１７６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかし、特許文献１～３の技術は、落石を検出する範囲に防護ネットや光ファイバ系を予め設置しなければならなかった。そのため、山岳工法で施工されるトンネルの採掘作業のように、防護ネットや光ファイバ系を設置するスペースがなく、時間の経過とともに移動する場所（例えば、切羽）の落石を検知することが難しかった。
【0010】
また、特許文献４の技術は、切羽の危険箇所を認識させることはできるものの、監視人による監視は引き続き必要であった。
【0011】
このような観点から、本発明は、危険な兆候を検出することができる落石検出装置および落石検出システムを提供する。
【課題を解決するための手段】
【0012】
前記課題を解決するため、本発明に係る落石検出装置は、撮影した画像に基づいて落石を検出する落石検出装置であって、前記落石が写っているか否かの判定を行う落石検出領域を求める落石検出領域算出部と、前記落石検出領域に写る移動体を前記落石として検出する落石検出部と、を備える。
前記落石検出領域算出部は、時系列で連続するフレーム間での差分画像に対して閾値処理を行うことで、過去のＮフレーム（Ｎ≧３）における各々の前記差分画像から移動体エリアを抽出し、各々の前記移動体エリアの和集合を予め決められた範囲だけ広げる膨張処理を行い、膨張処理済みエリアに対して繋がっている画素を一つのグループとして同じ番号を付与するラベリング処理を行い、グループ分けした各々の膨張処理済みエリアの面積が、予め設定された面積よりも大きい場合にその膨張処理済みエリアを落石検出禁止領域とし、当該落石検出禁止領域の補領域を前記落石検出領域とする。
前記落石検出領域算出部は、時系列で連続するフレーム間での差分画像に対して閾値処理を行うことで、過去のＮフレーム（Ｎ≧３）における各々の前記差分画像から移動体エリアを抽出し、各々の前記移動体エリアの和集合を予め決められた範囲だけ広げる膨張処理を行い、膨張処理済みエリアに対して繋がっている画素を一つのグループとして同じ番号を付与するラベリング処理を行い、グループ分けした各々の膨張処理済みエリアの面積が、予め設定された面積よりも大きい場合にその膨張処理済みエリアを落石検出禁止領域とし、当該落石検出禁止領域の補領域を前記落石検出領域とする。
【0013】
本発明に係る落石検出装置においては、過去のＮフレームにおけるフレーム間での差分画像に基づいた落石検出領域を用いて落石の検出を行う。そのため、撮影した画像に作業員や建設機械が写る場合でも、その部分を落石検出禁止領域とすることで落石を的確に検出することが可能である。その結果、切羽などで発生する危険な兆候を検出することができる。
例えば、移動体の隙間部分や過去のＮフレームにおいてたまたま動かなかったために移動体として検出しなかった部分を補間し、本当は落石検出禁止領域とすべきだが落石検出領域となってしまう島状の領域を少なくするので、誤検出の発生を抑制できる。なお、落石は自然落下するので、移動速度が建設機械および作業員に比べて速く、フレーム間の移動を合成したとしても、別々の膨張処理済みエリアとして存在する。そのため、ラベリング処理によって別々のグループとして認識され、予め設定された面積（例えば、検出したい落石の面積）よりも大きくならないので、落石検出禁止領域に落石が含まれ難い。
例えば、移動体の隙間部分や過去のＮフレームにおいてたまたま動かなかったために移動体として検出しなかった部分を補間し、本当は落石検出禁止領域とすべきだが落石検出領域となってしまう島状の領域を少なくするので、誤検出の発生を抑制できる。なお、落石は自然落下するので、移動速度が建設機械および作業員に比べて速く、フレーム間の移動を合成したとしても、別々の膨張処理済みエリアとして存在する。そのため、ラベリング処理によって別々のグループとして認識され、予め設定された面積（例えば、検出したい落石の面積）よりも大きくならないので、落石検出禁止領域に落石が含まれ難い。
【0016】
また、本発明に係る落石検出装置は、撮影した画像に基づいて落石を検出する落石検出装置であって、前記落石が写っているか否かの判定を行う落石検出領域を求める落石検出領域算出部と、前記落石検出領域に写る移動体を前記落石として検出する落石検出部と、を備える。
前記落石検出領域算出部は、時系列で連続するフレーム間での差分画像に対して閾値処理を行うことで、過去のＮフレーム（Ｎ≧３）における各々の前記差分画像から移動体エリアを抽出し、各々の前記移動体エリアの和集合以外の領域を前記落石検出領域とする。前記落石検出領域算出部は、前記画像の中で明るく且つ所定の面積を有する部分を前記落石検出領域に含めないのがよい。
前記落石検出領域算出部は、時系列で連続するフレーム間での差分画像に対して閾値処理を行うことで、過去のＮフレーム（Ｎ≧３）における各々の前記差分画像から移動体エリアを抽出し、各々の前記移動体エリアの和集合以外の領域を前記落石検出領域とする。前記落石検出領域算出部は、前記画像の中で明るく且つ所定の面積を有する部分を前記落石検出領域に含めないのがよい。
【0017】
このようにすると、作業員が着用する安全ベスト、ヘルメット等の部分を落石検出禁止領域とすることができるので、落石を的確に検出することが可能である。
【0018】
前記落石検出部は、前記落石検出領域に写る特定の一つの移動体を落石候補とし、前記落石候補を複数のフレームに亘って追跡することで前記落石候補が真の落石であるか否かを判定する個別落石検出部を備えるのがよい。
【0019】
このようにすると、真の落石であるものとそうでないものとを分けて検出することができるので、誤検出の発生を抑制できる。
【0020】
また、本発明に係る落石検出装置は、撮影した画像に基づいて落石を検出する落石検出装置であって、前記落石が写っているか否かの判定を行う落石検出領域を求める落石検出領域算出部と、前記落石検出領域に写る移動体を前記落石として検出する落石検出部と、を備える。
前記落石検出領域算出部は、時系列で連続するフレーム間での差分画像に対して閾値処理を行うことで、過去のＮフレーム（Ｎ≧３）における各々の前記差分画像から移動体エリアを抽出し、各々の前記移動体エリアの和集合以外の領域を前記落石検出領域とする。
前記落石検出部は、前記落石検出領域に写る全ての移動体を落石候補とし、全ての前記落石候補の重心を複数のフレームに亘って追跡することで前記落石候補が真の落石であるか否かを判定する群落石検出部を備えるのがよい。
前記落石検出領域算出部は、時系列で連続するフレーム間での差分画像に対して閾値処理を行うことで、過去のＮフレーム（Ｎ≧３）における各々の前記差分画像から移動体エリアを抽出し、各々の前記移動体エリアの和集合以外の領域を前記落石検出領域とする。
前記落石検出部は、前記落石検出領域に写る全ての移動体を落石候補とし、全ての前記落石候補の重心を複数のフレームに亘って追跡することで前記落石候補が真の落石であるか否かを判定する群落石検出部を備えるのがよい。
【0021】
このようにすると、落石および落石候補が多数あった場合でも真の落石を検出することができるので、落石の見逃しを防止することができる。
【0022】
また、本発明に係る落石検出システムは、落石の発生を検出する範囲を照射する照明手段と、前記範囲を撮影する撮影手段と、前記落石検出装置と、前記落石が検出された場合に報知する報知手段とを備える。
【0023】
本発明に係る落石検出システムにおいては、過去のＮフレームにおけるフレーム間での差分画像に基づいた落石検出領域を用いて落石の検出を行う。そのため、撮影した画像に作業員や建設機械が写る場合でも、その部分を落石検出禁止領域とすることで落石を的確に検出することが可能である。そして、落石の発生を報知するので、作業のさらなる安全性を確保することができる。
【0024】
前記照明手段は、赤外光を照射し、前記撮影手段は、赤外光のみを通過させる光学フィルタを有するのがよい。
【0025】
このようにすると、建設機械のライトが発する可視光線等の影響による落石の誤検出が発生し難くなる。
【発明の効果】
【0026】
本発明によれば、危険な兆候を検出することができる。
【図面の簡単な説明】
【0027】
【図1】本発明の実施形態に係る落石検出システムの概略構成図である。
【図2】本発明の実施形態に係る落石検出装置の概略構成図である。
【図3】落石検出領域の算出方法を説明するための図である。
【図4】落石個別追跡法による落石の検出方法を説明するための図であり、（ａ）～（ｃ）は撮影された画像（フレーム）のイメージである。
【図5】落石個別追跡法による落石の検出方法を説明するための図であり、（ａ）～（ｂ）は差分画像のイメージである。
【図6】落石群追跡法による落石の検出方法を説明するための図であり、（ａ）～（ｂ）は撮影された画像（フレーム）のイメージである。
【図7】落石群追跡法による落石の検出方法を説明するための図であり、差分画像のイメージである。
【図8】本発明の実施形態に係る落石検出システムの全体動作を示すフローチャートの例示である。
【図9】落石個別追跡法による落石検出の動作を示すフローチャートの例示である。
【図10】切羽を撮影した画像の例示である。
【図12】膨張処理を説明するための図である、（ａ）は膨張処理を行う前の状態を示し、（ｂ）は膨張処理を行った後の状態を示す。
【図15】落石群追跡法による落石検出の動作を示すフローチャートの例示である。
【発明を実施するための形態】
【0028】
以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【0029】
＜実施形態に係る落石検出システムの構成＞
図１を参照して、実施形態に係る落石検出システム１の構成について説明する。落石検出システム１は、撮影した映像（画像を含む。以下同じ）から落石を検出し、さらに落石を検出したことを報知するシステムである。落石検出システム１は、落石の検出を必要とする様々な場面で使用することができ、検出対象の落石は、形状、大きさ、色など特に限定されるものではない。
図１を参照して、実施形態に係る落石検出システム１の構成について説明する。落石検出システム１は、撮影した映像（画像を含む。以下同じ）から落石を検出し、さらに落石を検出したことを報知するシステムである。落石検出システム１は、落石の検出を必要とする様々な場面で使用することができ、検出対象の落石は、形状、大きさ、色など特に限定されるものではない。
【0030】
ここでは、図１に示すように、施工中の山岳トンネルにおける切羽９の監視に落石検出システム１を用いることを想定する。つまり、落石検出システム１によって、崩落の予兆となる小石程度の落石８（例えば、数ｃｍ程度）を監視する。
落石検出システム１では、フレーム間差分法（またはフレーム差分法）を用いて落石８を検出する。フレーム間差分法では、連続する二つのフレーム間でのフレーム間差分画像（以下では、省略して「差分画像」と呼ぶ場合がある）を生成し、閾値処理を行うことで移動体の領域を取り出す。詳細は後記する。
落石検出システム１では、フレーム間差分法（またはフレーム差分法）を用いて落石８を検出する。フレーム間差分法では、連続する二つのフレーム間でのフレーム間差分画像（以下では、省略して「差分画像」と呼ぶ場合がある）を生成し、閾値処理を行うことで移動体の領域を取り出す。詳細は後記する。
【0031】
落石検出システム１は、落石警報装置２と、落石検出装置３とを備えて構成される。落石警報装置２は、切羽９の近く（例えば、切羽９からの距離Ｌは数ｍ～十数ｍ）に設置され、また、落石検出装置３は、切羽９での作業を妨げない程度に離れた場所に設置される。落石検出装置３の設置場所は、トンネルの外であってもよい。
【0032】
落石警報装置２と落石検出装置３とは、例えば通信ケーブル４によって接続されており、落石警報装置２から落石検出装置３へは切羽９を撮影した画像が送信される。また、落石検出装置３から落石警報装置２へは画像を解析した結果（落石８を検出したか否か）が通知される。なお、落石検出システム１の構成はここで示すものに限定されず、例えば、落石警報装置２が落石検出装置３の機能を有していてもよい（つまり、落石警報装置２を含めて落石検出装置３であってもよい）。
【0033】
落石警報装置２は、落石８を検出した場合に作業員に対して危険を知らせるものであり、切羽９を撮影可能な位置に設置される。落石警報装置２は防水、防塵機能を有し、トンネル内での長時間の使用に耐えられる設計である。
落石警報装置２は、脚部２１と、照明部２２と、撮影部２３と、報知部２４とを備える。なお、落石警報装置２の構成はここで示すものに限定されず、例えば、落石警報装置２の一部の機能が他の装置として構成されてもよい。
落石警報装置２は、脚部２１と、照明部２２と、撮影部２３と、報知部２４とを備える。なお、落石警報装置２の構成はここで示すものに限定されず、例えば、落石警報装置２の一部の機能が他の装置として構成されてもよい。
【0034】
脚部２１は、地面に落石警報装置２を固定するものである。脚部２１は、例えば伸縮自在であり、落石警報装置２の高さを調整することができる。落石警報装置２を固定する手段はここでの脚部２１に限定されず、落石警報装置２は、脚部２１に代えて、例えば天井から吊るすための腕部を有していてもよい。
【0035】
照明部２２は、光を発する光源であって、例えば、ＬＥＤ（Light Emitting Diode）照明、有機ＥＬ照明（OLED）である。照明部２２は、落石８の発生を検出する範囲（つまり、撮影部２３の撮影範囲）を照らすように設置されている。照明部２２の数や形状は特に限定されず、例えば、複数の照明部２２が撮影部２３の周りを囲むように配置されている。照明部２２は、撮影部２３の感度（カメラ感度）に対応した波長成分を少なくとも含む光源であり、例えば、可視光、赤外光などであってよい。ここでの照明部２２は、建設機械のライトが発する光（可視光）などと干渉しないように、近赤外光を照射する。
【0036】
撮影部２３は、落石８を認識できる解像度を有しており、また、落石８の移動が分かる程度に連続撮影が可能である。撮影部２３は、例えばデジタルビデオカメラであり、１秒間に数十枚の画像（以下では、「フレーム」と呼ぶ場合がある）を撮影する。本実施形態では、切羽９の監視に使用することを想定しているので、撮影部２３は切羽９を撮影するように設置されている。撮影部２３によって撮影された画像は、落石検出装置３に送られる。なお、撮影部２３は、照明部２２が発した光（ここでは、近赤外光）のみを通過させる光学フィルタをレンズに設置したものであるのがよい。また、撮影部２３は、ズーム機能を有していてもよい。
【0037】
報知部２４は、落石８が検出されたことを視覚や聴覚を介して作業員に報知する。報知部２４は、例えば、回転灯やブザーである。また、ヘルメットに表示機能や警告音を鳴らすブザーを設けても良い。
【0038】
図２を参照して（適宜、図１参照）、落石検出装置３について説明する。落石検出装置３は、落石警報装置２（図１参照）によって撮影された画像を解析し、落石８を検出する。落石検出装置３は、例えば、ＰＣ（Personal Computer）であって、記憶部３１と、制御部３２とを備えている。落石検出装置３の設置場所は特に限定されない。落石検出装置３の設置場所がトンネル内である場合、落石検出装置３は防水、防塵機能を有するものであるのがよい。
【0039】
記憶部３１には、落石８の検出に必要な情報が記憶されており、例えば、撮影条件情報３１ａと、検出対象情報３１ｂとが記憶されている。撮影条件情報３１ａは、例えば、撮影部２３の情報（画角、解像度、フレームレートなど）、切羽９から落石警報装置２までの距離Ｌなどの情報である。検出対象情報３１ｂは、例えば、検出する落石８のサイズ（最小と最大）、落下速度などの情報である。
【0040】
制御部３２は、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や、専用回路等により実現される。制御部３２がプログラム実行処理により実現する場合、記憶部３１には、制御部３２の機能を実現するためのプログラムが格納される。
制御部３２は、主に、画像取得部３３と、落石検出部３４と、落石検出通知部３８とを備える。また、落石検出部３４は、落石検出領域算出部３５と、個別落石検出部３６と、群落石検出部３７とを備える。なお、図２に示す制御部３２の各機能は、説明の便宜上分けたものであり、本発明を限定するものではない。
制御部３２は、主に、画像取得部３３と、落石検出部３４と、落石検出通知部３８とを備える。また、落石検出部３４は、落石検出領域算出部３５と、個別落石検出部３６と、群落石検出部３７とを備える。なお、図２に示す制御部３２の各機能は、説明の便宜上分けたものであり、本発明を限定するものではない。
【0041】
画像取得部３３は、撮影部２３で撮影した画像を落石警報装置２からリアルタイムに取得する。ここでの画像取得部３３は、通信ケーブル４（図１参照）を介して落石警報装置２から画像を受信するが、画像を取得するための通信手段は特に限定されない。画像取得部３３は、例えば、無線通信を介して落石警報装置２から画像を受信してもよい。
【0042】
落石検出部３４は、フレーム間差分法（またはフレーム差分法）を用いて落石８を検出する。フレーム間差分法では、連続する二つのフレーム間でのフレーム間差分画像を生成し、閾値処理を行うことで移動体の領域を取り出す。以下では、落石８の可能性がある移動体を特に「落石候補」と呼ぶ。そして、落石検出部３４は、落石候補を数フレームに亘って追跡して、落石候補が真の落石であるか否かを判定する。
【0043】
落石検出領域算出部３５は、落石候補を検出する領域をリアルタイムに算出するものである。図３を参照して、落石検出領域算出部３５の処理の概要を説明する。
落石検出領域算出部３５は、過去Ｎフレーム分の画像（Ｎ≧３であり、例えばＮ＝１０程度がよい）に対して、時系列で連続した二つのフレームＦの差分画像Ｇを生成し、閾値処理を行うことで各々の差分画像Ｇから移動体の領域（移動体エリアＨ）を抽出する。図３では、人間が一方の腕を挙げる様子を示しており、移動体エリアＨとしては主に挙げた腕の領域が抽出される。なお、ここでは挙げた腕以外の胴体、頭、他方の腕なども少しだけ動いているので、これらの部分についても移動体エリアＨとして抽出されている。
落石検出領域算出部３５は、過去Ｎフレーム分の画像（Ｎ≧３であり、例えばＮ＝１０程度がよい）に対して、時系列で連続した二つのフレームＦの差分画像Ｇを生成し、閾値処理を行うことで各々の差分画像Ｇから移動体の領域（移動体エリアＨ）を抽出する。図３では、人間が一方の腕を挙げる様子を示しており、移動体エリアＨとしては主に挙げた腕の領域が抽出される。なお、ここでは挙げた腕以外の胴体、頭、他方の腕なども少しだけ動いているので、これらの部分についても移動体エリアＨとして抽出されている。
【0044】
また、落石検出領域算出部３５は、移動体エリアＨの和集合（合成移動体エリアＩ）を求め、詳細は後記するラベリング処理や膨張処理を行った合成移動体エリアＩを落石検出禁止領域Ｋ１とし、落石検出禁止領域Ｋ１の補領域を落石検出領域Ｋ２とする。図３では、過去Ｎフレームの間に動かした腕の領域ならびに胴体、頭および他方の腕の領域などが主に合成移動体エリアＩとなる。合成移動体エリアＩに基づく落石検出禁止領域Ｋ１からは落石候補の検出を行わず、落石検出領域Ｋ２から落石候補の検出を行う。
【0045】
図２に示す個別落石検出部３６および群落石検出部３７は、ともにフレーム間差分法を用いて落石８を検出するものであるが、落石候補の追跡方法に違いがある。個別落石検出部３６では、特定の一つの落石候補に着目して、その後の数フレームに亘って追跡を行う（落石個別追跡法）。個別落石検出部３６による落石候補の特定の方法は、特に限定されず、例えば、最初に検出した落石候補を追跡してもよいし、また、予め設定した基準のサイズに最も近い落石候補を追跡してもよい。一方、群落石検出部３７では、全ての落石候補に着目して、その後の数フレームに亘って追跡を行う（落石群追跡法）。
【0046】
図４および図５を参照して、個別落石検出部３６の処理の概要を説明する。
図４（ａ）～（ｃ）は、撮影された画像（フレームＦ）のイメージであり、それぞれのフレームＦには落石８が写っている。図４のＸ軸、Ｙ軸は、落石８の位置の変化を明確にするために示してある（図５についても同様）。図４（ａ）～（ｃ）に示すように、落石８は、時間が経過するにつれて下方に移動（自然落下）している。
図４（ａ）～（ｃ）は、撮影された画像（フレームＦ）のイメージであり、それぞれのフレームＦには落石８が写っている。図４のＸ軸、Ｙ軸は、落石８の位置の変化を明確にするために示してある（図５についても同様）。図４（ａ）～（ｃ）に示すように、落石８は、時間が経過するにつれて下方に移動（自然落下）している。
【0047】
図５（ａ）～（ｂ）は、差分画像Ｇのイメージであり、それぞれの差分画像Ｇには、一組の落石候補Ｃａ，Ｃｂが原則として写し出される。落石候補Ｃａは、移動前の落石８に対応するものであり、また、落石候補Ｃｂは、移動後の落石８に対応するものである。なお、落石８が汚れていたり、落石８が回転したりすることで、一時的に背景と同系色になった場合に、何れかまたは両方の落石候補Ｃａ，Ｃｂが検出されない場合もある。
【0048】
個別落石検出部３６は、差分画像Ｇに二つの落石候補Ｃａ，Ｃｂが検出された場合、二つの落石候補Ｃａ，Ｃｂの重心Ｃｇの位置を当該差分画像Ｇにおける落石候補Ｃの位置とする。ここでの重心Ｃｇは、落石候補Ｃａ，Ｃｂを２次元画像としてとらえた場合の数学的な重心であり、例えば、落石候補Ｃａ，Ｃｂの形状や面積などに基づいて求められる。一方、個別落石検出部３６は、差分画像Ｇに何れかの落石候補Ｃａ，Ｃｂだけが検出された場合、検出された何れかの落石候補Ｃａ，Ｃｂの重心Ｃｇの位置を当該差分画像Ｇにおける落石候補Ｃの位置とする。
【0049】
また、個別落石検出部３６は、算出した落石候補Ｃの位置が、一つ前の差分画像Ｇで算出した落石候補Ｃの位置に対して自然落下領域Ｄ１に含まれているか否かを判定する。自然落下領域Ｄ１は、落石８が自然落下した場合におけるフレーム間の移動範囲を示すものであり、例えば、一つ前の落石候補Ｃの位置に対して、一定の角度以内で且つ一定の落差の範囲である。そのため、自然落下領域Ｄ１は、一つ前の落石候補Ｃの重心Ｃｇの概ね下方に設定される。個別落石検出部３６は、例えば、複数フレームに亘って連続して落石候補Ｃの位置が自然落下領域Ｄ１に含まれている場合に、当該落石候補Ｃが真の落石であると判定する。
【0050】
図５（ａ）に示す差分画像Ｇ（（Ｎ－２），（Ｎ－１））は、図４（ａ）に示すフレームＦ（Ｎ－２）と図４（ｂ）に示すフレームＦ（Ｎ－１）の差分画像である。また、図５（ｂ）に示す差分画像Ｇ（（Ｎ－１），Ｎ））は、図４（ｂ）に示すフレームＦ（Ｎ－１）と図４（ｃ）に示すフレームＦ（Ｎ）の差分画像である。
個別落石検出部３６は、例えば、図５（ａ）の差分画像Ｇ（（Ｎ－２），（Ｎ－１））における重心Ｃｇの下方に示した自然落下領域Ｄ１に、図５（ｂ）の差分画像Ｇ（（Ｎ－１），Ｎ））における重心Ｃｇが含まれているか否かを判定する。また、個別落石検出部３６は、図５（ｂ）の差分画像Ｇ（（Ｎ－１），Ｎ））における重心Ｃｇの下方に示した自然落下領域Ｄ１に図示しない次の差分画像Ｇにおける重心Ｃｇが含まれているか否かを判定する。
個別落石検出部３６は、例えば、図５（ａ）の差分画像Ｇ（（Ｎ－２），（Ｎ－１））における重心Ｃｇの下方に示した自然落下領域Ｄ１に、図５（ｂ）の差分画像Ｇ（（Ｎ－１），Ｎ））における重心Ｃｇが含まれているか否かを判定する。また、個別落石検出部３６は、図５（ｂ）の差分画像Ｇ（（Ｎ－１），Ｎ））における重心Ｃｇの下方に示した自然落下領域Ｄ１に図示しない次の差分画像Ｇにおける重心Ｃｇが含まれているか否かを判定する。
【0051】
図６および図７を参照して、群落石検出部３７の処理の概要を説明する。
図６（ａ）～（ｂ）は、撮影された画像（フレームＦ）のイメージであり、それぞれのフレームＦには複数の落石８が写っている。図６のＸ軸、Ｙ軸は、落石８の位置の変化を明確にするために示してある（図７についても同様）。図６（ａ）～（ｂ）に示すように、複数の落石８は、時間が経過するにつれて下方に移動（自然落下）している。
図６（ａ）～（ｂ）は、撮影された画像（フレームＦ）のイメージであり、それぞれのフレームＦには複数の落石８が写っている。図６のＸ軸、Ｙ軸は、落石８の位置の変化を明確にするために示してある（図７についても同様）。図６（ａ）～（ｂ）に示すように、複数の落石８は、時間が経過するにつれて下方に移動（自然落下）している。
【0052】
図７は、差分画像Ｇのイメージであり、各々の落石８に対応して、複数の落石候補Ｃａ，Ｃｂが原則として写し出される。個別落石検出部３６の説明と同様であって、落石候補Ｃａは、移動前の落石８に対応するものであり、また、落石候補Ｃｂは、移動後の落石８に対応するものである。なお、落石８が汚れていたり、落石８が回転したりすることで、一時的に背景と同系色になった場合に、一部または全部の落石候補Ｃａ，Ｃｂが検出されない場合もある。
【0053】
群落石検出部３７は、差分画像Ｇに存在する全ての落石候補Ｃａ，Ｃｂの重心Ｃｈの位置を当該差分画像Ｇにおける落石候補Ｃの位置とする。ここでの重心Ｃｈは、落石候補Ｃａ，Ｃｂを２次元画像としてとらえた場合の数学的な重心であり、例えば、落石候補Ｃａ，Ｃｂの数、形状、面積などに基づいて求められる。
また、群落石検出部３７は、個別落石検出部３６のときと同様に、算出した落石候補Ｃの位置が、一つ前の差分画像Ｇで算出した落石候補Ｃの位置に対して自然落下領域Ｄ２に含まれているか否かを判定する。自然落下領域Ｄ２は、落石８が自然落下した場合におけるフレーム間の移動範囲を示すものであり、例えば、一つ前の落石候補Ｃの位置に対して、一定の角度以内で且つ一定の落差の範囲である。そのため、自然落下領域Ｄ２は、一つ前の落石候補Ｃの重心Ｃｈの概ね下方に設定される。自然落下領域Ｄ１と自然落下領域Ｄ２とは、範囲の大きさが異なっていてもよい。群落石検出部３７は、例えば、複数フレームに亘って連続して落石候補Ｃの位置が自然落下領域Ｄ２に含まれている場合に、当該落石候補Ｃが真の落石であると判定する。
また、群落石検出部３７は、個別落石検出部３６のときと同様に、算出した落石候補Ｃの位置が、一つ前の差分画像Ｇで算出した落石候補Ｃの位置に対して自然落下領域Ｄ２に含まれているか否かを判定する。自然落下領域Ｄ２は、落石８が自然落下した場合におけるフレーム間の移動範囲を示すものであり、例えば、一つ前の落石候補Ｃの位置に対して、一定の角度以内で且つ一定の落差の範囲である。そのため、自然落下領域Ｄ２は、一つ前の落石候補Ｃの重心Ｃｈの概ね下方に設定される。自然落下領域Ｄ１と自然落下領域Ｄ２とは、範囲の大きさが異なっていてもよい。群落石検出部３７は、例えば、複数フレームに亘って連続して落石候補Ｃの位置が自然落下領域Ｄ２に含まれている場合に、当該落石候補Ｃが真の落石であると判定する。
【0054】
図７に示す差分画像Ｇ（（Ｎ－２），（Ｎ－１））は、図６（ａ）に示すフレームＦ（Ｎ－２）と図６（ｂ）に示すフレームＦ（Ｎ－１）の差分画像である。
群落石検出部３７は、例えば、図７の差分画像Ｇ（（Ｎ－２），（Ｎ－１））における重心Ｃｈの下方に示した自然落下領域Ｄ２に、図示しない次の差分画像Ｇにおける重心Ｃｈが含まれているか否かを判定する。
群落石検出部３７は、例えば、図７の差分画像Ｇ（（Ｎ－２），（Ｎ－１））における重心Ｃｈの下方に示した自然落下領域Ｄ２に、図示しない次の差分画像Ｇにおける重心Ｃｈが含まれているか否かを判定する。
【0055】
図２に示す落石検出通知部３８は、個別落石検出部３６および群落石検出部３７の何れかあるいは両方によって落石候補Ｃが真の落石であると判定された場合に、落石警報装置２（図１参照）に対して落石８を検出したことを通知する。落石警報装置２は、落石８の検出の通知を受信した場合に、報知部２４を動作させて作業員に落石８を報知する。
【0056】
＜実施形態に係る落石検出システムの動作＞
図８～図１５を参照して（適宜、図１～図７を参照）、実施形態に係る落石検出システム１の動作について説明する。
図１に示すように、落石検出システム１の落石警報装置２は、撮影部２３で切羽９を撮影できる位置（例えば、切羽９から数ｍ～十数ｍの場所）に設置される。切羽９では、例えば、ダイナマイト等の爆薬を用いたトンネルの掘削工事が作業員によって行われる。そのため、撮影部２３で撮影を行った場合に、切羽９のみならず作業員や建設機械までもが撮影されることになる。
図８～図１５を参照して（適宜、図１～図７を参照）、実施形態に係る落石検出システム１の動作について説明する。
図１に示すように、落石検出システム１の落石警報装置２は、撮影部２３で切羽９を撮影できる位置（例えば、切羽９から数ｍ～十数ｍの場所）に設置される。切羽９では、例えば、ダイナマイト等の爆薬を用いたトンネルの掘削工事が作業員によって行われる。そのため、撮影部２３で撮影を行った場合に、切羽９のみならず作業員や建設機械までもが撮影されることになる。
【0057】
（落石検出システムの動作の全体フロー）
実施形態に係る落石検出システム１の全体動作を示すフローチャートを図８に示す。
監視人によって落石検出の開始を指示されると、落石検出装置３は、落石警報装置２の報知部２４が警報を発していない状態（オフ状態）にする（ステップＳ１）。そして、落石検出装置３は、監視人によって落石検出の終了を指示されるまで、「落石個別追跡法による落石検出」および「落石群追跡法による落石検出」を行い、何れかの方法で落石８を検出した場合に落石警報装置２の報知部２４を作動させる（ステップＳ２～Ｓ６）。
実施形態に係る落石検出システム１の全体動作を示すフローチャートを図８に示す。
監視人によって落石検出の開始を指示されると、落石検出装置３は、落石警報装置２の報知部２４が警報を発していない状態（オフ状態）にする（ステップＳ１）。そして、落石検出装置３は、監視人によって落石検出の終了を指示されるまで、「落石個別追跡法による落石検出」および「落石群追跡法による落石検出」を行い、何れかの方法で落石８を検出した場合に落石警報装置２の報知部２４を作動させる（ステップＳ２～Ｓ６）。
【0058】
落石個別追跡法および落石群追跡法による落石検出における検出感度は任意であり、例えば、監視人によって予め設定される。検出感度は、例えば複数のパラメータで複合的に決めることができ、監視人がこれらのパラメータを設定することによって検出感度が決定される。検出感度の第１パラメータは、例えば差分画像Ｇにおいて落石候補Ｃがあるか否かを判断するための画素値（例えば、輝度値）に関する閾値である。第１パラメータを小さくすることにより高感度となるので、ほんのわずかな変化も検出することができ、例えば反射率の低い黒い石を検出することが可能になる。ただし、高感度にしすぎると、光の微妙な変動やカメラの画素間の感度ばらつき等で誤検出することがあるので、最適な値は実験などで求めるのがよい。検出感度の第２パラメータは、例えば差分画像Ｇにおいて落石候補Ｃがあるか否かを判断するための領域に関する閾値である。第２パラメータを小さくすることにより（落石候補Ｃとして判断する領域の面積を小さくすることにより）、高感度となるので、より小さな落石８を検出することができる。なお、落石個別追跡法による落石検出における検出感度を「Ａ」とし、落石群追跡法による落石検出における検出感度を「Ｂ」とした場合、検出感度「Ｂ」は検出感度「Ａ」よりも低く設定するのがよい（つまり、Ａ＞Ｂ）。
【0059】
（落石個別追跡法による落石検出）
図８のステップＳ２に示す「落石個別追跡法による落石検出」の動作を示すフローチャートを図９に示す。最初に、落石検出装置３の制御部３２（図２参照）は、落石検出処理で使用するパラメータの初期化を行う（ステップＳ１０１）。制御部３２は、例えば、ＣＲＫ、ＰＲＡ、初期Ｎ画像分の落石検出禁止領域Ｋ１の初期化を行う。
図８のステップＳ２に示す「落石個別追跡法による落石検出」の動作を示すフローチャートを図９に示す。最初に、落石検出装置３の制御部３２（図２参照）は、落石検出処理で使用するパラメータの初期化を行う（ステップＳ１０１）。制御部３２は、例えば、ＣＲＫ、ＰＲＡ、初期Ｎ画像分の落石検出禁止領域Ｋ１の初期化を行う。
【0060】
ＣＲＫ（Count Rakuseki Kouho）は、落石候補Ｃを検出した回数であり、「０～ＮＮ」の範囲の値が設定される。ＮＮは、落石候補Ｃを真の落石と判定する繰り返し回数である。
ＰＲＡ（Previous Rakuseki Ari）は、前のフレームＦで落石候補Ｃを検出したか否かを示す情報（フラグ）である。前のフレームＦで落石候補Ｃを検出している場合にはＰＲＡに「１」が設定され、一方、前のフレームＦで落石候補Ｃを検出していない場合（つまり、今回のフレームＦではじめて落石候補Ｃを検出した場合）にはＰＲＡに「０」が設定される。
落石検出禁止領域Ｋ１は、フレームＦに設定される落石検出を行わない領域であり、落石検出禁止領域Ｋ１がゼロとは、落石検出禁止領域Ｋ１がないことを意味する。
ＰＲＡ（Previous Rakuseki Ari）は、前のフレームＦで落石候補Ｃを検出したか否かを示す情報（フラグ）である。前のフレームＦで落石候補Ｃを検出している場合にはＰＲＡに「１」が設定され、一方、前のフレームＦで落石候補Ｃを検出していない場合（つまり、今回のフレームＦではじめて落石候補Ｃを検出した場合）にはＰＲＡに「０」が設定される。
落石検出禁止領域Ｋ１は、フレームＦに設定される落石検出を行わない領域であり、落石検出禁止領域Ｋ１がゼロとは、落石検出禁止領域Ｋ１がないことを意味する。
【0061】
ステップＳ１０１におけるパラメータの初期化に続いて、落石検出装置３は、ステップＳ１０２～ステップＳ１１５までの処理を、落石警報装置２の撮影部２３のフレームレートに対応する時間間隔（サイクル）で繰り返し行う。つまり、落石検出装置３は、撮影部２３で新しい画像を撮影する度に、ステップＳ１０２～ステップＳ１１５までの一連の処理をリアルタイムに実行する。
【0062】
落石検出装置３の画像取得部３３は、落石警報装置２の撮影部２３で撮影した新たな画像（フレームＦ（Ｎ））を取得し（ステップＳ１０２）、落石検出領域算出部３５は、新たな画像（フレームＦ（Ｎ））を用いて落石検出領域Ｋ２（図３参照）を求める（ステップＳ１０３）。なお、本実施形態では、過去Ｎフレーム分の画像を用いて落石検出を行う。そのため、処理を開始した直後においては、以降の処理を行わずにＮフレーム分の画像を溜めるようにしてもよいし、また、過去Ｎフレーム分の画像が同じものとして取得した画像を過去Ｎフレーム分の画像として使用してもよい。
【0063】
ステップＳ１０３における落石検出領域Ｋ２（図３参照）の算出処理について説明する。最新のフレームＦ（Ｎ）の各画素の画素値（例えば、輝度値）を「Image0」として、１フレーム前のフレームＦ（Ｎ－１）の各画素の画素値（例えば、輝度値）を「Image1」とした場合、落石検出領域算出部３５は、例えば、以下の式（１）を用いて差分画像Ｇ（（Ｎ―１），Ｎ）を算出する。差分画像Ｇ（（Ｎ－１），Ｎ）は、１フレーム前のフレームＦ（Ｎ－１）から今回撮影した新たなフレームＦ（Ｎ）までに動いた部分を画像化したものである。
・ImageSub = ( Image0 - Image1) * 2 + 128 ・・式（１）
・ImageSub = ( Image0 - Image1) * 2 + 128 ・・式（１）
【0064】
ここで、動いた部分の検出感度を上げるために「Image0 - Image1」に適当な倍率（ここでは２倍）を掛けている。また、計算結果がマイナスの値にならないように、「Image0 - Image1」に「+ 128」を加算している。その結果、差分画像Ｇ（（Ｎ―１），Ｎ）の各画素の画素値は、二つのフレームＦ（Ｎ－１），Ｆ（Ｎ）の画素値の差の２倍に「128」を加えたものとなり、フレーム間でまったく動かない部分の画素値は「128」となる。
【0065】
過去に撮影した残りのフレームＦ（１）～フレームＦ（Ｎ－１）については、これよりも前の時点におけるサイクルの処理で、それぞれの差分画像Ｇ（１，２）～差分画像Ｇ（（Ｎ－２），（Ｎ－１））が既に算出されている。例えば、差分画像Ｇ（（Ｎ－２），（Ｎ－１））については、一つ前のサイクルの処理（つまり、現時点でのフレームＦ（Ｎ－１）が最新のフレームＦ（Ｎ）であったときの処理）で算出されている。
【0066】
ここでは、図１０に示すフレームＦ（１）～フレームＦ（Ｎ）が撮影されたとする。フレームＦ（１）～フレームＦ（Ｎ）には、切羽９の他に建設機械５や作業員６が写っている。フレームＦ（１）～フレームＦ（Ｎ）に写る建設機械５は、作業員６が乗るかご５ａと、アーム５ｂと、ケーブル５ｃを有する。エンジンが駆動中の建設機械５は、わずかに振動している。また、作業員６は、作業を行っているために静止しておらず、動いている。そのため、図示しない差分画像Ｇ（１，２）～差分画像Ｇ（（Ｎ－１），Ｎ）には、建設機械５の振動や作業員６の動作が写し出される。
【0067】
続いて、落石検出領域算出部３５は、差分画像Ｇ（１，２）～差分画像Ｇ（（Ｎ－１），Ｎ）において、「ImageSub」として算出した画素値が「128±閾値Th2」を超えた部分を、フレーム間で動きがあった部分として抽出する。以下では、「ImageSub」が「128±閾値Th2」を超えた部分を移動体エリアＨ（（Ｎ－１），Ｎ）と称する。
そして、落石検出領域算出部３５は、過去Ｎフレーム分の画像における移動体エリアＨ（１，２）～移動体エリアＨ（（Ｎ－１），Ｎ）の和集合を取り、過去Ｎフレームの間で動いた部分を抽出する。以下では、移動体エリアＨ（１，２）～移動体エリアＨ（（Ｎ－１），Ｎ）の和集合を合成移動体エリアＩと称する。図１０に示すフレームＦ（１）～フレームＦ（Ｎ）の合成移動体エリアＩを図１１に示す。
そして、落石検出領域算出部３５は、過去Ｎフレーム分の画像における移動体エリアＨ（１，２）～移動体エリアＨ（（Ｎ－１），Ｎ）の和集合を取り、過去Ｎフレームの間で動いた部分を抽出する。以下では、移動体エリアＨ（１，２）～移動体エリアＨ（（Ｎ－１），Ｎ）の和集合を合成移動体エリアＩと称する。図１０に示すフレームＦ（１）～フレームＦ（Ｎ）の合成移動体エリアＩを図１１に示す。
【0068】
なお、落石検出領域算出部３５は、合成移動体エリアＩの補正を行ってもよい。例えば、非常に明るい物体（例えば、画素値が飽和して「255」になっているような場合）があると、差分画像Ｇでは動いた部分を検出できないことがある。このように非常に明るい部分は、例えば、作業員６が着用する安全ベスト、ヘルメット等であるので、落石８である可能性が非常に低い。そこで、落石検出領域算出部３５は、過去Ｎフレーム分のフレームＦ（１）～フレームＦ（Ｎ）の中にこのような明るい部分がある場合には、当該部分を合成移動体エリアＩに加えるのがよい。
【0069】
合成移動体エリアＩは、過去Ｎフレーム分の画像において移動体が動いた領域を抽出するものであるが、移動体のすべての動きを検出できるわけではない。そこで、落石検出領域算出部３５は、合成移動体エリアＩに対して膨張処理を行う。膨張処理は、予め決められた画素数分だけ合成移動体エリアＩを周囲に広げる処理である。膨張処理は、例えば、合成移動体エリアＩを構成する画素を中心にして特定の画素数分だけ円状に増やす方法や横方向にＸ画素および縦方向にＹ画素といったように特定の画素数分だけ長方形状に増やす方法であってよい。
【0070】
図１２を参照して、膨張処理について説明する。図１２（ａ）は膨張処理を行う前の状態を示し、図１２（ｂ）は膨張処理を行った後の状態を示す。図１２（ａ）に示す合成移動体エリアＩに対して、図１２（ｂ）に示す膨張処理済みエリアＪは、膨張処理エリアＩａ分だけ広がっている。これにより、合成移動体エリアＩにおいて移動体の動きで検出できなかった部分があったとしても、膨張処理済みエリアＪではその部分が概ね解消される。特に、ケーブル５ｃ（図１０参照）のように細い物体は、移動体の動きとして正確に検出されないことがあるが、膨張処理を行うことによりその問題が解消される。
【0071】
また、図１１に示すように、合成移動体エリアＩに島状の空間Ｉｂが存在していた場合に、その空間Ｉｂが落石検出領域Ｋ２（図３参照）として残ると、落石候補Ｃとして検出される場合がある。そして、この空間Ｉｂが何らかの理由によりフレーム間で繋がると、真の落石と判定される虞があり、誤検出の原因となる。例えば、図１１に示す空間Ｉｂは、建設機械５のかご５ａの隙間に対応するものである。しかしながら、膨張処理を行うことにより、膨張処理済みエリアＪ（図１３参照）では誤検出の原因となる空間Ｉｂが埋まり、落石候補Ｃとして検出されることがない。なお、島状の空間Ｉｂは、移動体の隙間部分の他に、過去のＮフレームにおいてたまたま動かなかったために移動体として検出しなかった部分によっても発生し得るが、膨張処理によって同様に空間Ｉｂを埋めることができる。
【0072】
続いて、落石検出領域算出部３５は、膨張処理済みエリアＪに対してラベリング処理を行う。ラベリング処理は、繋がっている画素を一つのグループとして同じ番号を付与する処理である。ラベリング処理は、例えば、膨張処理済みエリアＪの各画素を順番に選択し、選択した画素に隣接した画素が同じく膨張処理済みエリアＪである場合に、これらに同じ番号を付していく。また、落石検出領域算出部３５は、グループ分けした各々の膨張処理済みエリアＪの面積が、予め設定された面積Ｓｔｈよりも大きい場合に、その膨張処理済みエリアＪを落石検出禁止領域Ｋ１とする。面積Ｓｔｈは、例えば、検出したい落石８のサイズの最大値よりも大きい値である。そして、落石検出領域算出部３５は、落石検出禁止領域Ｋ１の補領域を落石検出領域Ｋ２として求める（図１４参照）。図１４に示すように、建設機械５および作業員６に対応する部分が落石検出禁止領域Ｋ１となり、それ以外のエリアが落石検出領域Ｋ２となる。
【0073】
このラベリング処理から落石検出領域Ｋ２の算出までの一連の処理によれば、実際に落石８があった場合に、落石８があった領域を落石検出禁止領域Ｋ１に含めずに、落石検出領域Ｋ２とすることができる。つまり、落石８は自然落下するので、移動速度が建設機械５および作業員６に比べて速く、フレーム間の移動を合成したとしても、別々の膨張処理済みエリアＪとして存在する。そのため、ラベリング処理によって別々のグループとして認識され、検出したい落石の面積Ｓｔｈよりも大きくならないので、落石検出禁止領域Ｋ１に含まれることがない。
【0074】
図９に示すステップＳ１０３に続いて、個別落石検出部３６は、落石検出領域Ｋ２内で落石候補Ｃを検出する（ステップＳ１０４）。ステップＳ１０４における落石検出領域Ｋ２内での落石候補Ｃの検出処理について説明する。
まず、個別落石検出部３６は、差分画像Ｇ（（Ｎ－１），Ｎ）の落石検出領域Ｋ２に限定した画像を作成し、各画素の画素値（例えば、輝度値）を「ImageSubReduceDomain」とする。そして、個別落石検出部３６は、「ImageSubReduceDomain」の値が「128±閾値Th3」を超えた部分で、ある程度の大きさ（ノイズ除去）のものを落石候補Ｃとする。
まず、個別落石検出部３６は、差分画像Ｇ（（Ｎ－１），Ｎ）の落石検出領域Ｋ２に限定した画像を作成し、各画素の画素値（例えば、輝度値）を「ImageSubReduceDomain」とする。そして、個別落石検出部３６は、「ImageSubReduceDomain」の値が「128±閾値Th3」を超えた部分で、ある程度の大きさ（ノイズ除去）のものを落石候補Ｃとする。
【0075】
閾値Th3は、落石候補Ｃの検出感度であり、値を小さくすれば微弱な変化を検出できるが、感度を高くしすぎると、落石８でない切羽面の光量変動を過検出する。また、検出する画像面積を小さくすればするほど小さな落石８を検出できるが、小さくしすぎるとノイズを拾ってしまう。ここでは、これらのパラメータを可変設定できるようにすることで、検出感度の調整が可能となっている。
【0076】
なお、ステップＳ１０３における「落石検出領域の算出処理」での閾値Th2と、ステップＳ１０４における「落石候補の検出処理」での閾値Th3とは、必ずしも同じである必要はない。実際のカメラノイズ、切羽面の反射変動を踏まえて実験的に決めるのがよいが、一般的には、ステップＳ１０３の閾値Th2の方がステップＳ１０４の閾値Th3より小さい（感度が高い）ほうがよい。このようにすることで、移動体エリアＨの検出で多少過検出しても、後で大きさによるフィルタ処理で消すことができることと、移動体の検出漏れを防ぐことができるためである。
【0077】
次に、個別落石検出部３６は、落石候補Ｃがあったか否かを判定する（ステップＳ１０５）。落石候補Ｃがなかった場合（ステップＳ１０５で“Ｎｏ”）に、処理をステップＳ１０６に進め、「CRK = CRK - 1」を行って、落石候補Ｃを検出した回数を「－１」する（ステップＳ１０６）。ただし、ＣＲＫがマイナスの値になった場合にはゼロとする。そして、処理をステップＳ１０２に戻す（つまり、次のサイクルの処理に移行する）。
【0078】
落石候補Ｃがあった場合（ステップＳ１０５で“Ｙｅｓ”）に、「PRA = True?」であるか否か（前のフレームＦで落石候補Ｃを検出したか否か）を判定する（ステップＳ１０７）。前のフレームＦで落石候補Ｃを検出していない場合（ステップＳ１０７で“Ｎｏ”）に、個別落石検出部３６は、落石候補Ｃの位置座標を記録するとともに、「PRA = 1」とする（ステップＳ１０８）。そして、処理をステップＳ１０２に戻す（つまり、次のサイクルの処理に移行する）。
【0079】
前のフレームＦで落石候補Ｃを検出している場合（ステップＳ１０７で“Ｙｅｓ”）に、個別落石検出部３６は、前回のサイクルで検出した落石候補Ｃの位置の下方の限定領域で落石候補Ｃを探す（ステップＳ１０９）。限定領域は、落石８がフレーム間で移動すると予測される範囲を含む範囲であり、かつ、簡潔に計算できる範囲である。言い換えると、限定領域は、自然落下領域Ｄ１を含む範囲であり、例えば、プログラムが複雑にならないような簡単な任意の形状（円形、扇状、四角形など）であるのがよい。個別落石検出部３６は、限定領域に落石候補Ｃがなかった場合（ステップＳ１１０で“Ｎｏ”）に処理をステップＳ１０６に進め、「CRK = CRK - 1」を行って、落石候補Ｃを検出した回数を「－１」する（ステップＳ１０６）。また、個別落石検出部３６は、限定領域に落石候補Ｃがあった場合（ステップＳ１１０で“Ｙｅｓ”）に、前回のサイクルで検出した落石候補Ｃの位置座標と今回のサイクルで検出した落石候補Ｃの位置座標とを比較し、一定の角度以内で且つ一定の落差があるか（つまり、今回の落石候補Ｃの位置座標が自然落下領域Ｄ１に含まれているか）を調べる（ステップＳ１１１）。また、個別落石検出部３６は、次回のサイクルの検査に備え、落石候補Ｃの位置座標を今回のサイクルでの落石候補Ｃのものに更新する（ステップＳ１１１）。
【0080】
個別落石検出部３６は、一定の角度以内で且つ一定の落差の条件に合致していない場合（ステップＳ１１２で“Ｎｏ”）に処理をステップＳ１０６に進め、「CRK = CRK - 1」を行って、落石候補Ｃを検出した回数を「－１」する（ステップＳ１０６）。また、個別落石検出部３６は、一定の角度以内で且つ一定の落差の条件に合致している場合（ステップＳ１１２で“Ｙｅｓ”）に、「CRK = CRK + 1」を行って、落石候補Ｃを検出した回数を「＋１」する（ステップＳ１１３）。そして、個別落石検出部３６は、落石候補Ｃを検出した回数が落石候補Ｃを真の落石と判定する繰り返し回数ＮＮ以上であるか否かを判定する（ステップＳ１１４）。このようにすることで、何らかの理由により落石候補Ｃが一時的に検出されない場合でも、次のサイクルで落石候補Ｃを引き続き追跡できる。
【0081】
落石候補Ｃを検出した回数が落石候補Ｃを真の落石と判定する繰り返し回数ＮＮまで達していない場合（ステップＳ１１４で“Ｎｏ”）に、個別落石検出部３６は、処理をステップＳ１０２に戻し、次のサイクルの処理を行う。また、落石候補Ｃを検出した回数が落石候補Ｃを真の落石と判定する繰り返し回数ＮＮまで達している場合（ステップＳ１１４で“Ｙｅｓ”）に、個別落石検出部３６は、落石候補Ｃを真の落石と判断し、落石警報装置２に警報を発生させる制御を行う（ステップＳ１１５）。
【0082】
（落石群追跡法による落石検出）
図８のステップＳ４に示す「落石群追跡法による落石検出」の動作を示すフローチャートを図１５に示す。図９に示す「落石個別追跡法による落石検出」と図１５に示す「落石群追跡法による落石検出」との違いは、「落石群追跡法による落石検出」では図９に示すステップＳ１０９，Ｓ１１０の処理がない点と、ステップＳ１１１の処理がステップＳ１１１Ａに変更されている点である。以下では、これらの相違点について説明し、それ以外の同様の処理については説明を省略する。
図８のステップＳ４に示す「落石群追跡法による落石検出」の動作を示すフローチャートを図１５に示す。図９に示す「落石個別追跡法による落石検出」と図１５に示す「落石群追跡法による落石検出」との違いは、「落石群追跡法による落石検出」では図９に示すステップＳ１０９，Ｓ１１０の処理がない点と、ステップＳ１１１の処理がステップＳ１１１Ａに変更されている点である。以下では、これらの相違点について説明し、それ以外の同様の処理については説明を省略する。
【0083】
なお、ここでは群落石検出部３７が主体となって落石群追跡法による落石検出を行う場合を想定している。つまり、図９に示す「落石個別追跡法による落石検出」と図１５に示す「落石群追跡法による落石検出」とで共通できる処理について、個別落石検出部３６と群落石検出部３７とで別々に処理を行う。しかしながら、個別落石検出部３６および群落石検出部３７の何れか一方で共通処理を行い、共通処理を行わない他方は共通処理の結果を受け取るようにしてもよい。
【0084】
前のフレームＦで落石候補Ｃを検出している場合（ステップＳ１０７で“Ｙｅｓ”）に、群落石検出部３７は、前回のサイクルでの落石候補Ｃの位置座標と今回のサイクルでの落石候補Ｃの位置座標とを比較し、一定の角度以内で且つ一定の落差があるか（つまり、今回の落石候補Ｃの位置座標が自然落下領域Ｄ２に含まれているか）を調べる（ステップＳ１１１Ａ）。ここで、複数の落石候補Ｃが存在した場合の落石候補Ｃの位置座標は、全ての落石候補Ｃの画像面積の重心Ｃｈ（図７参照）である。また、群落石検出部３７は、次回のサイクルの検査に備え、落石候補Ｃの位置座標を今回の落石候補Ｃのものに更新する（ステップＳ１１１Ａ）。
【0085】
群落石検出部３７は、一定の角度以内で且つ一定の落差の条件に合致していない場合（ステップＳ１１２で“Ｎｏ”）に処理をステップＳ１０６に進め、「CRK = CRK - 1」を行って、落石候補Ｃを検出した回数を「－１」する（ステップＳ１０６）。また、群落石検出部３７は、一定の角度以内で且つ一定の落差の条件に合致している場合（ステップＳ１１２で“Ｙｅｓ”）に、「CRK = CRK + 1」を行って、落石候補Ｃを検出した回数を「＋１」する（ステップＳ１１３）。そして、群落石検出部３７は、落石候補Ｃを検出した回数が落石候補Ｃを真の落石と判定する繰り返し回数ＮＮ以上であるか否かを判定する（ステップＳ１１４）。
【0086】
落石候補Ｃを検出した回数が落石候補Ｃを真の落石と判定する繰り返し回数まで達していない場合（ステップＳ１１４で“Ｎｏ”）に、群落石検出部３７は、処理をステップＳ１０２に戻し、次のサイクルの処理を行う。また、落石候補Ｃを検出した回数が落石候補Ｃを真の落石と判定する繰り返し回数ＮＮまで達している場合（ステップＳ１１４で“Ｙｅｓ”）に、群落石検出部３７は、落石候補Ｃを真の落石と判断し、落石警報装置２に警報を発生させる制御を行う（ステップＳ１１５）。
【0087】
以上のように、本実施形態に係る落石検出システム１は、過去のＮフレームにおけるフレーム間での差分画像Ｇに基づいた落石検出領域Ｋ２を用いて落石８の検出を行う。そのため、撮影した画像に作業員６や建設機械５が写る場合でも、その部分を落石検出禁止領域Ｋ１とすることで落石８を的確に検出することが可能である。その結果、切羽９などで発生する危険な兆候を検出することができる。
【0088】
また、本実施形態に係る落石検出システム１は、落石個別追跡法による落石検出に加えて、落石群追跡法による落石検出を行うので、短時間に多数の落石８があった場合でも、落石候補Ｃを追跡することができる。
【0089】
また、監視人による監視と、本実施形態に係る落石検出システム１による落石８の検出とを併用することも可能である。その場合、監視人から見えにくい箇所などの見落としのリスクが解消するので、作業のさらなる安全性を確保することができる。
【0090】
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。
【0091】
本実施形態では、個別追跡法と群追跡法とを併用し、何れかあるいは両方の方法によって落石候補Ｃが真の落石であると判定された場合に、落石８を検出したことを通知していた。しかしながら、個別追跡法と群追跡法とを併用せずに、個別追跡法および群追跡法の何れか一方のみを用いて、落石候補Ｃが真の落石であるか否かを判定してもよい。
【符号の説明】
【0092】
１ 落石検出システム
２ 落石警報装置
３ 落石検出装置
５ 建設機械
６ 作業員
８ 落石
９ 切羽
２１ 脚部
２２ 照明部（照明手段）
２３ 撮影部（撮影手段）
２４ 報知部（報知手段）
３１ａ 撮影条件情報
３１ｂ 検出対象情報
３３ 画像取得部
３４ 落石検出部
３５ 落石検出領域算出部
３６ 個別落石検出部
３７ 群落石検出部
３８ 落石検出通知部
Ｋ１ 落石検出禁止領域
Ｋ２ 落石検出領域
２ 落石警報装置
３ 落石検出装置
５ 建設機械
６ 作業員
８ 落石
９ 切羽
２１ 脚部
２２ 照明部（照明手段）
２３ 撮影部（撮影手段）
２４ 報知部（報知手段）
３１ａ 撮影条件情報
３１ｂ 検出対象情報
３３ 画像取得部
３４ 落石検出部
３５ 落石検出領域算出部
３６ 個別落石検出部
３７ 群落石検出部
３８ 落石検出通知部
Ｋ１ 落石検出禁止領域
Ｋ２ 落石検出領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】