特許 7362053 落下物検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-06

(45)【発行日】2023-10-17

(54)【発明の名称】落下物検知システム

(51)【国際特許分類】

   E21D 9/00 20060101AFI20231010BHJP

   E21F 17/00 20060101ALI20231010BHJP

   G06T 7/254 20170101ALI20231010BHJP

【ＦＩ】

E21D9/00 Z

E21F17/00

G06T7/254 A

【請求項の数】 5

(21)【出願番号】P 2021109529

(22)【出願日】2021-06-30

(65)【公開番号】P2022016328

(43)【公開日】2022-01-21

【審査請求日】2022-03-16

(31)【優先権主張番号】P 2020119108

(32)【優先日】2020-07-10

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】592254526

【氏名又は名称】学校法人五島育英会

(73)【特許権者】

【識別番号】303056368

【氏名又は名称】東急建設株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】包 躍

(72)【発明者】

【氏名】小林 礼

(72)【発明者】

【氏名】満尾 淳

(72)【発明者】

【氏名】三浦 雅也

【審査官】高橋 雅明

(56)【参考文献】

【文献】特開２０１９－２０３２８８（ＪＰ，Ａ）

【文献】特開２０１９－１４４１９１（ＪＰ，Ａ）

【文献】特開２０１７－０３３２５６（ＪＰ，Ａ）

【文献】特開２０１６－１２６６６２（ＪＰ，Ａ）

【文献】特開２０１２－０２６８８１（ＪＰ，Ａ）

【文献】特開平０５－１８３９０１（ＪＰ，Ａ）

【文献】特開２０１９－２１９３３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ２１Ｄ ９／００

Ｅ２１Ｆ １７／００

Ｇ０６Ｔ ７／２５４

(57)【特許請求の範囲】

【請求項1】

トンネルの切羽近傍における落下物を検知する落下物検知システムであって、
前記切羽のＲＧＢ画像に基づいて、フレーム差分法による差分画像を生成する差分画像生成部と、
前記切羽の距離画像に基づいて、前記切羽から所定の距離離れた物体をマスク処理した第１マスク画像を生成する第１マスク画像生成部と、
前記差分画像と前記第１マスク画像とに基づいて、前記落下物を特定した落下物画像を生成する落下物画像生成部と、
前記落下物画像に基づいて、前記落下物の落下回数並びに落下事象毎の落下開始位置及び落下開始時刻を特定する落下状況特定部とを備え、
前記落下状況特定部では、前記落下物画像の時系列画像を合成したフレームごとの累積画像を生成し、時系列順の逆から遡る前記累積画像の遡り処理を行うことによって、前記落下回数及び前記落下開始位置の特定を行う
ことを特徴とする、落下物検知システム。

【請求項2】

前記距離画像を、前記切羽に対して正面を向いた正面画像に変換する正面画像変換部を備え、
前記第１マスク画像生成部は、前記正面画像に基づいて、前記第１マスク画像を生成する
ことを特徴とする、請求項１に記載の落下物検知システム。

【請求項3】

前記切羽の掘削を行う重機の先端又は前記先端の付近の前記切羽に付けられたマーカのＲＧＢ画像に基づいて、前記マーカから一定の範囲をマスク処理した第２マスク画像を生成する第２マスク画像生成部を備え、
前記落下物画像生成部は、前記第２マスク画像に基づいて、前記落下物画像を生成する
ことを特徴とする、請求項１又は２に記載の落下物検知システム。

【請求項4】

前記落下物画像に基づいて、前記落下物の落下量を算出する落下量算出部を備える
ことを特徴とする、請求項１～３の何れか一項に記載の落下物検知システム。

【請求項5】

前記落下量に基づいて、崩落の危険度を判定する崩落危険度判定部と、
前記崩落危険度判定部が判定した危険度に応じて、警報を報知する報知部と、を備える
ことを特徴とする、請求項４に記載の落下物検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、トンネルの切羽近傍における落下物を検知する落下物検知システム及び落下物検知方法に関するものである。

【背景技術】

【0002】

山岳トンネルの施工においては、岩盤の崩落の危険がある切羽の近くで作業が行われる。このような施工において、トンネルの切羽における落下物を検知するシステムが知られている（例えば、特許文献１参照）。

【0003】

特許文献１には、落石が写っているか否かの判定を行う落石検出領域を求める落石検出領域算出部と、落石検出領域に写る移動体を落石として検出する落石検出部と、を備え、落石検出領域算出部は、時系列で連続するフレーム間での差分画像に対して閾値処理を行うことで、過去のＮフレーム（Ｎ≧３）における各々の差分画像から移動体エリアを抽出し、各々の移動体エリアの和集合以外の領域を落石検出領域とする構成が開示されている。これにより、危険な落石の兆候を検出する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－２０３２８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の構成は、落石の可能性がある移動体である落石候補を複数フレームに亘って追跡して、落石候補の位置が、落石が自然落下した場合におけるフレーム間の移動範囲を示す自然落下領域に含まれている場合に、落石候補が真の落石であると判定するものである。そのため、特許文献１の構成では、撮影部と切羽との間に重機等の物体がある場合、物体の下方への動作を真の落石であると判定してしまい、落下物を正しく検知することができない、という問題がある。

【0006】

そこで、本発明は、カメラと切羽との間に物体がある場合でも、落下物を正しく検知することができる落下物検知システム及び落下物検知方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

前記目的を達成するために、本発明の落下物検知システムは、トンネルの切羽近傍における落下物を検知する落下物検知システムであって、前記切羽のＲＧＢ画像に基づいて、フレーム差分法による差分画像を生成する差分画像生成部と、前記切羽の距離画像に基づいて、前記切羽から所定の距離離れた物体をマスク処理した第１マスク画像を生成する第１マスク画像生成部と、前記差分画像と前記第１マスク画像とに基づいて、前記落下物を特定した落下物画像を生成する落下物画像生成部と、を備えることを特徴とする。

【0008】

また、本発明の落下物検知システムでは、前記距離画像を、前記切羽に対して正面を向いた正面画像に変換する正面画像変換部を備え、前記第１マスク画像生成部は、前記正面画像に基づいて、前記第１マスク画像を生成してもよい。

【0009】

また、本発明の落下物検知システムでは、前記切羽の掘削を行う重機の先端又は前記先端の付近の前記切羽に付けられたマーカのＲＧＢ画像に基づいて、前記マーカから一定の範囲をマスク処理した第２マスク画像を生成する第２マスク画像生成部を備え、前記落下物画像生成部は、前記第２マスク画像に基づいて、前記落下物画像を生成してもよい。

【0010】

また、本発明の落下物検知システムでは、前記落下物画像に基づいて、前記落下物の落下量を算出する落下量算出部を備えてもよい。

【0011】

また、本発明の落下物検知システムでは、前記落下量に基づいて、崩落の危険度を判定する崩落危険度判定部と、前記崩落危険度判定部が判定した危険度に応じて、警報を報知する報知部と、を備えてもよい。

【0012】

また、本発明の落下物検知システムでは、前記落下物画像に基づいて、前記落下物の落下回数並びに落下事象毎の落下開始位置及び落下開始時刻を特定する落下状況特定部を備えてもよい。

【0013】

また、本発明の落下物検知方法では、トンネルの切羽における落下物を検知する落下物検知方法であって、前記切羽のＲＧＢ画像に基づいて、フレーム差分法による差分画像を生成する差分画像生成ステップと、前記切羽の距離画像に基づいて、前記切羽に対して正面を向いた正面画像を生成する正面画像生成ステップと、前記正面画像に基づいて、前記切羽から所定の距離離れた物体をマスク処理した第１マスク画像を生成する第１マスク画像生成ステップと、前記切羽の掘削を行う重機の先端に設けられたマーカのＲＧＢ画像に基づいて、前記マーカから一定の範囲をマスク処理した第２マスク画像を生成する第２マスク画像生成ステップと、前記差分画像と、前記第１マスク画像と、前記第２マスク画像と、に基づいて、落下物を特定した落下物画像を生成する落下物画像生成ステップと、を含むことを特徴とする。

【発明の効果】

【0014】

このように構成された本発明の落下物検知システムでは、切羽のＲＧＢ画像に基づいて、フレーム差分法による差分画像を生成する差分画像生成部と、切羽の距離画像に基づいて、切羽から所定の距離離れた物体をマスク処理した第１マスク画像を生成する第１マスク画像生成部と、差分画像と第１マスク画像とに基づいて、落下物を特定した落下物画像を生成する落下物画像生成部と、を備える。そのため、切羽から所定の距離離れた位置にいる物体（例えば、重機や人）に対してマスク処理をして、落下物（例えば、岩盤、岩石又は土砂）として検知しないようにすることができる。一方、切羽に近い領域の動物体を落下物として検知することができる。その結果、カメラと切羽との間に物体がある場合でも、落下物を正しく検知することができる。

【0015】

また、本発明の落下物検知システムでは、距離画像を、切羽に対して正面を向いた正面画像に変換する正面画像変換部を備え、第１マスク画像生成部は、正面画像に基づいて、第１マスク画像を生成する。そのため、カメラの画像に重機が映り込む範囲を小さくすることができる。その結果、切羽の広い範囲を監視しつつ、落下物を正しく検知することができる。

【0016】

また、本発明の落下物検知システムでは、切羽の掘削を行う重機の先端、又はその先端付近の切羽に付けられたマーカのＲＧＢ画像に基づいて、マーカから一定の範囲をマスク処理した第２マスク画像を生成する第２マスク画像生成部を備え、落下物画像生成部は、第２マスク画像に基づいて、落下物画像を生成する。そのため、重機が掘削した掘削物（例えば、岩石又は土砂）や、重機の先端やその付近を崩落として検知しないようにすることができる。その結果、重機による掘削作業時にも、重機先端及び意図的に落下させた掘削物を排除しながら落下物を検知することができる。

【0017】

また、本発明の落下物検知システムでは、落下物画像に基づいて、落下物の落下量を算出する落下量算出部を備える。そのため、落下量に基づいて、岩盤等の崩落の危険性を予測することができる。その結果、掘削作業の安全性を図ることができる。

【0018】

また、本発明の落下物検知システムでは、落下量に基づいて、岩盤の崩落の危険度を判定する崩落危険度判定部と、崩落危険度判定部が判定した危険度に応じて、警報を報知する報知部と、を備える。そのため、落下量に基づいて、岩盤の崩落の危険度を予測して、警報を報知することができる。その結果、掘削作業の安全性を図ることができる。

【0019】

また、本発明の落下物検知システムでは、落下物画像に基づいて、落下物の落下回数、並びに落下事象毎の落下開始位置及び落下開始時刻を特定する落下状況特定部を備える。そのため、落下物の落下回数や、落下事象毎の落下開始位置及び落下開始時刻といった岩盤等の崩落の危険性を予測するうえで有益となりうる情報を、より多く取得することができるようになる。

【0020】

また、本発明の落下物検知方法では、切羽のＲＧＢ画像に基づいて、フレーム差分法による差分画像を生成する差分画像生成ステップと、切羽の距離画像に基づいて、切羽に対して正面を向いた正面画像を生成する正面画像生成ステップと、正面画像に基づいて、切羽から所定の距離離れた物体をマスク処理した第１マスク画像を生成する第１マスク画像生成ステップと、差分画像と、第１マスク画像と、に基づいて、落下物を特定した落下物画像を生成する落下物画像生成ステップと、を含む。そのため、切羽から所定の距離離れた位置にいる物体（例えば、重機や人）に対してマスク処理をして、落下物（例えば、岩盤、岩石又は土砂）として検知しないようにすることができる。一方、切羽に近い領域の動物体を落下物として検知することができる。その結果、カメラと切羽との間に物体がある場合でも、落下物を正しく検知することができる。

【図面の簡単な説明】

【0021】

【図1】実施例１の落下物検知システムが配置されたトンネルを示す概念図である。

【図2】実施例１の落下物検知システムの機能構成を示すブロック図である。

【図3】実施例１のＲＧＢ画像を示す図であり、図３（ａ）は現在のＲＧＢ画像を示し、図３（ｂ）は１フレーム前のＲＧＢ画像を示す。

【図4】図４（ａ）は、実施例１の差分画像を示す図であり、図４（ｂ）は、実施例１の差分画像を２値化した図である。

【図5】実施例１の正面画像変換部を説明するための図であり、図５（ａ）はカメラセンサと実空間の関係を説明するための図であり、図５（ｂ）は距離画像を正面画像に変換する原理を説明するための図である。

【図6】実施例１の第１マスク画像生成部を説明するための図である。

【図7】図７（ａ）は、実施例１の第１マスク画像を示す図であり、図７（ｂ）は、実施例１の第１マスク画像を２値化した図である。

【図8】実施例１の第２マスク画像を示す図である。

【図9】実施例１の第２マスク画像を２値化した図であり、図９（ａ）と図９（ｂ）は第２マスク領域の例を示す図である。

【図10】実施例１の第２マスク画像を２値化した図であり、図１０（a）と図１０（ｂ）は第２マスク領域の例を示す図である。

【図11】実施例１の落下物画像生成部を説明するための図であり、図１１（ａ）は差分画像と第１マスク画像に基づいて生成させた落下物画像を示し、図１１（ｂ）はさらに第２マスク画像に基づいて生成された落下物画像を示す。

【図12】実施例１の落下量算出部を説明するための図であり、図１２（ａ）は１フレーム毎の落下物の推移を示し、図１２（ｂ）は落下物のカウント方法を説明するための図を示す。

【図13】実施例１の画像表示部への表示例を示す平面図である。

【図14】実施例１の画像表示部への表示例を示す平面図である。

【図15】実施例１の落下物検知システムによる処理のメインフローを示すフローチャートである。

【図16】実施例１の第１の画像処理を示すフローチャートである。

【図17】実施例１の第２の画像処理を示すフローチャートである。

【図18】実施例１の第３の画像処理を示すフローチャートである。

【図19】実施例１の落下物検知システムの作用を説明するための図である。

【図20】実施例２のマーカを説明するための図である。

【図21】実施例３の落下状況特定処理を示すフローチャートである。

【図22】実施例３の落下状況特定処理を説明するための図であり、図２２（ａ）はフラグを付けた時系列の落下物画像を示し、図２２（ｂ）は時系列画像を合成したフレームごとの累積画像を示す。

【図23】実施例３の複数の肌落ちが同時に発生した場合の落下状況特定処理を説明するための図であり、図２３（ａ）はフラグを付けた時系列の落下物画像を示し、図２３（ｂ）は時系列画像を合成したフレームごとの累積画像を示す。

【図24】実施例３の落下状況特定部を、６つのケースの時系列の落下物画像を使って説明するための図である。

【図25】実施例３の落下状況特定部を、６つのケースの累積画像を使って説明するための図である。

【発明を実施するための形態】

【0022】

以下、本発明による落下物検知システム及び落下物検知方法を実現する実施形態を、図面に示す実施例１に基づいて説明する。

【実施例1】

【0023】

［落下物検知システムの使用状況］
図１は、実施例１の落下物検知システムが配置されたトンネルを示す概念図である。以下、実施例１の落下物検知システムの使用状況を説明する。なお、掘削の進行方向を進行方向Ｄとする。

【0024】

実施例１における落下物検知システムは、図１に示すように、掘削機４による山岳トンネル（以下、「トンネル」と言う）１の切羽３の掘削作業時に、切羽３の近傍の落下物を検知する。

【0025】

トンネル１には、切羽３を撮影するカメラ１１と、カメラ１１で撮影した画像情報に基づいて処理を実行する処理装置としてのパーソナルコンピュータ１２と、切羽３の周辺を照らす照明１３と、切羽３を掘削する重機としての掘削機（切羽穿孔機油圧ショベル）４と、携帯端末３０と、が配置されている。

【0026】

（カメラ）
カメラ１１は、ＲＧＢ画像を撮影するＲＧＢカメラ１１ａと、距離画像（Ｄｅｐｔｈ画像）を撮影する距離カメラ１１ｂと、を備える。

【0027】

ＲＧＢカメラ１１ａは、ＲＧＢ画像を撮影可能なカメラとする。距離カメラ１１ｂは、例えば、ＴＯＦ（Time Of Flight）方式のＴＯＦカメラや、ステレオカメラ等を使用することができる。なお、カメラ１１は、ＲＧＢカメラ１１ａと距離カメラ１１ｂとが一体となってユニット化したされたものを使用してもよいし、ＲＧＢカメラ１１ａと距離カメラ１１ｂとが別体となっているものを使用してもよい。

【0028】

カメラ１１は、ＲＧＢ画像と距離画像を同時に撮影することができ、ＲＧＢ画像の各画素に対応した距離画像を取得可能になっている。

【0029】

カメラ１１は、切羽３の全面を撮影可能なように、アーチ状に形成された鋼製のトンネル支保工２に、例えば、マグネットによって取り付けることができる。カメラ１１は、トンネル１の側壁部分のトンネル支保工２に取り付けられている。すなわち、カメラ１１は、切羽３に対して、水平方向に傾いた姿勢で取り付けられている。言い換えると、カメラ１１は、切羽３に対して、正面を向かない姿勢で取り付けられている。

【0030】

なお、カメラ１１は、ロックボルトの鋼製の頭部プレート、鋼製支保工のＨ型鋼等にマグネットにより固定されていてもよい。

【0031】

（パーソナルコンピュータ）
パーソナルコンピュータ１２は、カメラ１１が撮影したＲＧＢ画像と距離画像を取得して、リアルタイムで後述する処理を実行する。

【0032】

（照明）
照明１３は、切羽３の全面を照らすように設置されている。照明１３によって照らされた切羽３における照度は、１００Ｌｘ以上のものを使用してもよい。

【0033】

（掘削機）
掘削機４は、切羽３の手前に配置され、切羽３を掘削する。掘削機４は、旋回体に取り付けられたアーム部４ａと、アーム部４ａの先端に取り付けられたヘッド部４ｂとを備えている。アーム部４ａは、旋回体の旋回により水平方向に旋回し、起伏シリンダの伸縮により、上下方向に起伏する。ヘッド部４ｂには、切羽３を掘削する掘削刃を備えている。

【0034】

ヘッド部４ｂの両側面には、マーカ７が取り付けられている。マーカ７は、１つであっても２つ以上であってもよい。マーカ７は、青色のマグネットシートとすることができる。なお、マーカ７は、ヘッド部４ｂの側面を着色することで形成するようにしてもよい。

【0035】

（携帯端末）
携帯端末３０は、第１作業者６が携帯可能なタブレットやスマートフォン等とすることができる。携帯端末３０は、画像を表示する報知部としての画像表示部３１を備えている。

【0036】

［落下物検知システムの機能構成］
以下、落下物検知システム１０の機能構成を説明する。

【0037】

図２に示すように、落下物検知システム１０は、ＲＧＢカメラ１１ａが撮影したＲＧＢ画像と、距離カメラ１１ｂが撮影した距離画像とが制御部２０に入力され、制御部２０で処理された情報が画像表示部３１に出力される。

【0038】

ＲＧＢカメラ１１ａは、切羽３の全面のＲＧＢ画像を撮影する。ＲＧＢ画像は、制御部２０に入力される。

【0039】

距離カメラ１１ｂは、切羽３の全面の距離画像を撮影する。距離画像は、制御部２０に入力される。

【0040】

制御部２０は、画像取得部２１と、差分画像生成部２２と、正面画像変換部２３と、第１マスク画像生成部２４と、第２マスク画像生成部２５と、落下物画像生成部２６と、落下量算出部２７と、崩落危険度判定部２８と、２値化画像生成部２９と、を備えている。

【0041】

（画像取得部）
画像取得部２１は、ＲＧＢ画像と距離画像を取得し、取得したＲＧＢ画像と距離画像を記憶する。

【0042】

（差分画像生成部）
差分画像生成部２２は、切羽３のＲＧＢ画像に基づいて、フレーム差分法による差分画像を生成する。具体的には、差分画像生成部２２は、図３（ａ）に示す現在のＲＧＢ画像Ｐ１と、図３（ｂ）に示す１フレーム前のＲＧＢ画像Ｐ０とを画素単位で比較して、色が変わっている部分を、図４（ａ）に示す差分画像Ｐ２として生成する。

【0043】

差分画像Ｐ２は、現在のＲＧＢ画像Ｐ１において、１フレーム前のＲＧＢ画像Ｐ０から移動した物体（動物体）の画像である。

【0044】

実施例１では、動物体を、第１落下物（例えば、岩石又は土砂）４１と、第２落下物（例えば、岩石又は土砂）４２と、掘削機４が掘削した掘削物（例えば、岩石又は土砂）４３と、下方に移動したアーム４４とする。

【0045】

つまり、図４（ａ）に示す差分画像Ｐ２には、第１落下物４１と、第２落下物４２と、掘削物４３と、アーム４４が表されている。

【0046】

２値化画像生成部２９は、図４（ａ）に示す差分画像Ｐ２を、画像を白色と黒色の２階調に変換した２値化画像Ｐ３に変換する。すなわち、２値化画像生成部２９は、図４（ａ）に示す差分画像Ｐ２を、図４（ｂ）に示す差分画像Ｐ２の２値化画像Ｐ３に変換する。差分画像Ｐ２の２値化画像Ｐ３では、第１落下物４１と、第２落下物４２と、掘削物４３と、アーム４４が白色となっている。

【0047】

（正面画像変換部）
正面画像変換部２３は、図５（ａ）に示すように、切羽３の距離画像Ｐ４を、切羽３に対して正面を向いた正面画像Ｐ５に変換する。

【0048】

具体的には、正面画像変換部２３は、カメラ１１の切羽３に対する角度θに基づいて、距離画像Ｐ４を正面画像Ｐ５に変換する。

【0049】

角度θは、距離画像Ｐ４における同じ水平軸上にある少なくとも２箇所の距離（ｄｅｐｔｈ）に基づいて、１画素当たりの距離の変化量から算出する。具体的には、切羽３上を指している同じｘ軸上の画素ｘ_iのｄｅｐｔｈ値depth_iを少なくとも２箇所取得する。取得したデータ配列（x_i, depth_i）から最小二乗法によって近似直線の傾きを算出する。この傾きは、１画素当たりの距離の変化量であるため、切羽３に対するカメラ１１の角度θを算出することができる。角度θは、式（１）から算出することができる。

【0050】

【数1】

ただし、Cov(X, Depth)は(x_i, depth_i)の共分散、σ_xはx_iの標準偏差とする。

【0051】

角度θに基づいて、距離ｄ２と距離ｄ３を足し合わせることによって、正面から撮影した時の距離を算出する。距離ｄ１は、距離画像Ｐ４のある注目画素Ａの距離である。距離ｄ２は、三角関数を用いて、角度θと距離ｄ１に基づいて算出することができる。

【0052】

距離ｄ３は、三角関数を用いて、角度θと注目画素Ａから中心画素Ｂまでの距離ｄ４とに基づいて算出することができる。この時、距離ｄ３は、空間分解能単位であるため、PixelWidthの画素単位を空間分解能単位に変換する。

【0053】

この変換には、図５（ｂ）に示すように、カメラ１１のセンサと距離の関係を用いる。１画素あたりのセンササイズμが映す実空間上の長さｍは、焦点距離ｆと、センササイズμが映している空間までの距離ｄとに基づいて算出することができる。１画素あたりのセンササイズμが映す実空間上の長さｍは、式（２）によって算出することができる。

【数2】

【0054】

すなわち、距離ｄ３は、式（３）によって算出することができる。

【数3】

【0055】

算出した距離ｄ２と距離ｄ３を足し合わせることによって、正面から撮影した時の距離画像に変換できる。すなわち、正面画像変換部２３は、切羽３の距離画像Ｐ４を、切羽３に対して正面を向いた正面画像Ｐ５に変換することができる。

【0056】

（第１マスク画像生成部）
第１マスク画像生成部２４は、図７（ａ）に示すように、切羽３の正面画像Ｐ５に基づいて、切羽３から所定の距離Ｌ（例えば、７５０～１０００ｍｍ）以上離れた物体をマスク処理した第１マスク画像Ｐ６を生成する。

【0057】

具体的には、図６に示すように、第１マスク画像生成部２４は、切羽３の正面画像Ｐ５に基づいて、切羽３から進行方向Ｄの後方に、距離Ｌだけセットバックしたセットバック面３ｂを生成する。

【0058】

第１マスク画像生成部２４は、図７（ａ）に示すように、切羽３の現在のＲＧＢ画像Ｐ１から、セットバック面３ｂより後方にある物体をマスク処理した第１マスク画像Ｐ６を生成する。第１マスク画像Ｐ６では、掘削機４がマスク処理されて第１マスク領域４Ａを形成している。

【0059】

２値化画像生成部２９は、図７（ｂ）に示すように、第１マスク画像Ｐ６を、画像を白色と黒色の２階調に変換した２値化画像Ｐ７に変換する。すなわち、２値化画像生成部２９は、図７（ａ）に示す第１マスク画像Ｐ６を、図７（ｂ）に示す第１マスク画像Ｐ６の２値化画像Ｐ７に変換する。第１マスク画像Ｐ６の２値化画像Ｐ７では、第１マスク領域４Ａが白色となっている。

【0060】

（第２マスク画像生成部）
第２マスク画像生成部２５は、図８に示すように、切羽３の掘削を行う掘削機４のヘッド部４ｂに設けられたマーカ７の現在のＲＧＢ画像Ｐ１に基づいて、マーカ７から一定の範囲をマスク処理した第２マスク画像Ｐ８を生成する。

【0061】

具体的には、第２マスク画像生成部２５は、取得したＲＧＢ画像Ｐ１から特定色として抽出したマーカ７の重心に基づいて、第２マスク画像Ｐ８を生成する。第２マスク画像生成部２５は、算出した重心と、正面画像変換部２３が算出した角度θとに基づいて、第２マスク画像Ｐ８を生成することもできる。

【0062】

図８に示すように、第２マスク画像Ｐ８では、マーカ７から一定の範囲をマスク処理した第２マスク領域７Ａが形成されている。

【0063】

２値化画像生成部２９は、図８に示す第２マスク画像Ｐ８を、図９（ａ）に示す白色と黒色の２階調に変換した２値化画像Ｐ９に変換する。すなわち、２値化画像生成部２９は、図８に示す第２マスク画像Ｐ８を、図９（ａ）に示す第２マスク画像Ｐ８の２値化画像Ｐ９に変換する。第２マスク画像Ｐ８の２値化画像Ｐ９では、第２マスク領域７Ａが白色となっている。

【0064】

第２マスク領域７Ａは、図９（ａ）に示すように、第２マスク画像Ｐ８の２値化画像Ｐ９の上端から下端にわたって上下方向に延在する矩形状にすることができる。第２マスク領域７Ａは、マーカ７を中心とした幅Ｗ１の矩形状にすることができる。すなわち、第２マスク領域７Ａは、掘削機４のアーム部４ａの上下方向の起伏により、ヘッド部４ｂが移動する範囲に対応した形状にすることができる。

【0065】

なお、第２マスク領域７Ａは、図９（ｂ）に示すように、第２マスク画像Ｐ８の２値化画像Ｐ９において、上端の辺にマーカ７を有する上下方向に延在する矩形状にすることもできる。第２マスク領域７Ａは、マーカ７を中心とした幅Ｗ１の矩形状にすることができる。すなわち、第２マスク領域７Ａは、掘削機４により掘削された掘削物４３が落下する範囲に対応した形状とすることができる。

【0066】

また、第２マスク領域７Ａは、図１０（ａ）に示すように、第２マスク画像Ｐ８の２値化画像Ｐ９において、上端の辺にマーカ７を有する上下方向に延在する矩形状にすることもできる。第２マスク領域７Ａは、マーカ７を中心とした幅Ｗ１より小さな幅Ｗ２の矩形状にすることができる。すなわち、掘削物４３の落下範囲は、使用する重機や現場の状況（例えば、地質）によって変わることから、使用する重機や現場の状況に応じた大きさにすることができる。

【0067】

また、第２マスク領域７Ａは、図１０（ｂ）に示すように、第２マスク画像Ｐ８の２値化画像Ｐ９において、上端の辺にマーカ７を有する台形状にすることもできる。第２マスク領域７Ａは、下底の幅Ｗ４が上底の幅Ｗ３より大きくなるような台形状にすることができる。

【0068】

すなわち、掘削物４３の落下範囲は、使用する重機や現場の状況（例えば、地質）によって変わることから、使用する重機や現場の状況に応じた大きさにすることができる。

【0069】

（落下物画像生成部）
図１１（ａ）に示すように、落下物画像生成部２６は、図４（ｂ）に示す差分画像Ｐ２の２値化画像Ｐ３と、図７（ｂ）に示す第１マスク画像Ｐ６の２値化画像Ｐ７とに基づいて、落下物を特定した落下物画像Ｐ１０を生成する。

【0070】

具体的には、落下物画像生成部２６は、図４（ｂ）に示す差分画像Ｐ２の２値化画像Ｐ３と、図７（ｂ）に示す第１マスク画像Ｐ６の２値化画像Ｐ７との論理積によって、落下物画像Ｐ１０を生成する。

【0071】

落下物画像Ｐ１０では、第１落下物４１と、第２落下物４２と、掘削機４が掘削した掘削物４３とが白色となっている。

【0072】

さらに、落下物画像生成部２６は、図１１（ａ）に示す落下物画像Ｐ１０と、図９（ａ）に示す第２マスク画像Ｐ８の２値化画像Ｐ９とに基づいて、落下物を特定した落下物画像Ｐ１１を生成する。

【0073】

具体的には、落下物画像生成部２６は、図１１（ａ）に示す落下物画像Ｐ１０と、図９（ａ）に示す第２マスク画像Ｐ８の２値化画像Ｐ９との論理積によって、落下物画像Ｐ１１を生成する。

【0074】

落下物画像Ｐ１１では、第１落下物４１と、第２落下物４２とが白色となっている。

【0075】

（落下量算出部）
落下量算出部２７は、落下物画像Ｐ１１に基づいて、落下物の落下量を算出する。

【0076】

具体的には、図１２（ａ）に示すように、落下量算出部２７は、落下物画像Ｐ１１で特定された落下物に対して、一列の縦画素Ｓに着目して、第１落下物４１を追跡して、時系列の変化を確認する。次いで、落下量算出部２７は、図１２（ｂ）に示すように、カウントした第１落下物４１の画素数が最大となった時点で、落下物を１とカウントする。

【0077】

このようにして、落下量算出部２７は、落下物画像Ｐ１１で特定された全ての落下物に対して、落下物をカウントして落下物の落下量を算出する。

【0078】

（崩落危険度判定部）
崩落危険度判定部２８は、落下量算出部２７が算出した落下量に基づいて、岩盤の崩落の危険度を判定する。

【0079】

具体的には、崩落危険度判定部２８は、落下量算出部２７が算出した落下量に基づいて、一定量の落石、又は単位時間当たりの落石量の変化を算出して、岩盤の崩落の危険度を判定する。

【0080】

例えば、図１３に示すグラフのように、落石量が増加の傾向にある場合、崩落危険度判定部２８は、岩盤の崩落の危険があると判定する。

【0081】

また、図１４に示すように、崩落危険度判定部２８は、落下量算出部２７が算出した落下量に基づいて、落石箇所と落石回数が分かるようなヒートマップを生成して、岩盤の崩落の危険度を判定することもできる。

【0082】

（画像表示部）
画像表示部３１は、図１３及び図１４に示すように、崩落危険度判定部２８が判断した情報を、画像表示部３１に表示する。第１作業者６は、画像表示部３１に表示された情報を見て、崩落の危険性を確認することができる。

【0083】

［落下物検知システムによる処理の流れ］
図１５は、実施例１の落下物検知システム１０による処理のメインフローを示すフローチャートである。図１６は、実施例１の第１の画像処理を示すフローチャートである。図１７は、実施例１の第２の画像処理を示すフローチャートである。図１８は、実施例１の第３の画像処理を示すフローチャートである。以下、実施例１の落下物検知システム１０による処理の流れを説明する。

【0084】

（メインフロー）
図１５に示すように、画像取得部２１は、ＲＧＢカメラ１１ａが撮影した切羽３の全面のＲＧＢ画像を取得する（ステップＳ１１）。

【0085】

次いで、画像取得部２１は、距離カメラ１１ｂが撮影した切羽３の全面の距離画像を取得する（ステップＳ１２）。なお、画像取得部２１は、先に距離画像を取得することもできるし、ＲＧＢ画像と距離画像を同時に取得することもできる。

【0086】

次いで、制御部２０は、第１の画像処理、第２の画像処理及び第３の画像処理を実行する（ステップＳ１３）。第１の画像処理、第２の画像処理及び第３の画像処理については、後述する。

【0087】

次いで、落下物画像生成部２６は、第１の画像処理、第２の画像処理及び第３の画像処理の結果に基づいて、落下物を特定した落下物画像Ｐ１１を生成する（ステップＳ１４）。このステップは、落下物画像生成ステップを構成する。

【0088】

次いで、落下量算出部２７は、落下物画像Ｐ１１に基づいて、落下物の落下量を算出する（ステップＳ１５）。

【0089】

次いで、崩落危険度判定部２８は、落下量算出部２７が算出した落下量に基づいて、岩盤の崩落の危険度を判定する（ステップＳ１６）。

【0090】

次いで、画像表示部３１は、崩落危険度判定部２８が判断した情報を、画像表示部３１に表示することで報知し（ステップＳ１７）、処理を終了する。

【0091】

（第１の画像処理）
図１６に示すように、第１の画像処理を開始すると、差分画像生成部２２は、切羽３のＲＧＢ画像に基づいて、フレーム差分法による差分画像Ｐ２を生成する（ステップＳ１０１）。このステップは、差分画像生成ステップを構成する。

【0092】

次いで、２値化画像生成部２９は、差分画像Ｐ２を、画像を白色と黒色の２階調に変換した２値化画像Ｐ３に変換し（ステップＳ１０２）、メインフローへ戻る。

【0093】

（第２の画像処理）
図１７に示すように、正面画像変換部２３は、切羽３の距離画像Ｐ４を、切羽３に対して正面を向いた正面画像Ｐ５に変換する（ステップＳ２０１）。このステップは、正面画像生成ステップを構成する。

【0094】

次いで、第１マスク画像生成部２４は、切羽３の正面画像Ｐ５に基づいて、切羽３から所定の距離Ｌ（例えば、７５０～１０００ｍｍ）以上離れた物体をマスク処理した第１マスク画像Ｐ６を生成する（ステップＳ２０２）。このステップは、第１マスク画像生成ステップを構成する。

【0095】

次いで、２値化画像生成部２９は、第１マスク画像Ｐ６を、画像を白色と黒色の２階調に変換した２値化画像Ｐ７に変換し（ステップＳ２０３）、メインフローに戻る。

【0096】

（第３の画像処理）
図１８に示すように、第２マスク画像生成部２５は、切羽３の掘削を行う掘削機４のヘッド部４ｂに設けられたマーカ７の現在のＲＧＢ画像Ｐ１に基づいて、マーカ７から一定の範囲をマスク処理した第２マスク画像Ｐ８を生成する（ステップＳ３０１）。このステップは、第２マスク画像生成ステップを構成する。

【0097】

次いで、２値化画像生成部２９は、第２マスク画像Ｐ８を、画像を白色と黒色の２階調に変換した２値化画像Ｐ９に変換し（ステップＳ３０２）、メインフローに戻る。

【0098】

［落下物検知システム及び落下物検知方法の作用］
次に、実施例１の落下物検知システム１０及び落下物検知方法の作用を説明する。実施例１の落下物検知システム１０は、トンネル１の切羽３近傍における落下物を検知する。この落下物検知システム１０は、切羽３のＲＧＢ画像に基づいて、フレーム差分法による差分画像Ｐ２を生成する差分画像生成部２２と、切羽３の距離画像Ｐ４に基づいて、切羽３から所定の距離離れた物体をマスク処理した第１マスク画像Ｐ６を生成する第１マスク画像生成部２４と、差分画像Ｐ２と第１マスク画像Ｐ６とに基づいて、落下物を特定した落下物画像Ｐ１０を生成する落下物画像生成部２６と、を備える（図２）。

【0099】

これにより、切羽３から所定の距離離れた位置にいる物体（例えば、重機や人）に対してマスク処理をして、落下物（例えば、岩盤、岩石又は土砂）として検知しないようにすることができる。一方、切羽３に近い領域の動物体を落下物として検知することができる。そのため、カメラ１１と切羽３との間に物体がある場合でも、落下物を正しく検知することができる。

【0100】

実施例１の落下物検知システム１０において、距離画像Ｐ４を、切羽３に対して正面を向いた正面画像Ｐ５に変換する正面画像変換部２３を備え、第１マスク画像生成部２４は、正面画像Ｐ５に基づいて、第１マスク画像Ｐ６を生成する（図５（ａ））。

【0101】

ところで、図１９に示すように、切羽３に対して正面の位置にカメラ１１Ａを設置すると、切羽３とカメラ１１との間に配置されている重機（掘削機４）によって、カメラ１１の画像の大部分に重機（掘削機４）が映り込んでしまう。

【0102】

実施例１では、カメラ１１をトンネル１の側壁付近に設置することができる。そのため、カメラ１１の画像に重機（掘削機４）が映り込む範囲を小さくすることができる。その結果、切羽３の広い範囲を監視しつつ、落下物を正しく検知することができる。

【0103】

実施例１の落下物検知システム１０において、切羽３の掘削を行う重機（掘削機４）の先端に設けられたマーカ７のＲＧＢ画像に基づいて、マーカ７から一定の範囲をマスク処理した第２マスク画像Ｐ８を生成する第２マスク画像生成部２５を備え、落下物画像生成部２６は、第２マスク画像Ｐ８に基づいて、落下物画像Ｐ１１を生成する（図８（ｂ））。

【0104】

これにより、重機（掘削機４）が掘削した掘削物（例えば、岩石又は土砂）４３や、重機（掘削機４）の先端を崩落として検知しないようにすることができる。そのため、重機（掘削機４）による掘削作業時にも、落下物を正しく検知することができる。

【0105】

実施例１の落下物検知システム１０において、落下物画像Ｐ１１に基づいて、落下物の落下量を算出する落下量算出部２７を備える。

【0106】

これにより、落下量に基づいて、岩盤等の崩落の危険性を予測することができる。そのため、掘削作業の安全性を図ることができる。

【0107】

実施例１の落下物検知システム１０において、落下量に基づいて、岩盤の崩落の危険度を判定する崩落危険度判定部２８と、崩落危険度判定部２８が判定した危険度に応じて、警報を報知する報知部（画像表示部３１）と、を備える（図１３及び図１４）。

【0108】

これにより、落下量に基づいて、岩盤の崩落の危険度を予測して、警報を報知することができる。そのため、掘削作業の安全性を図ることができる。

【0109】

実施例１の落下物検知方法は、トンネル１の切羽３における落下物を検知する。この落下物検知方法は、切羽３のＲＧＢ画像に基づいて、フレーム差分法による差分画像Ｐ２を生成する差分画像生成ステップと、切羽３の距離画像Ｐ４に基づいて、切羽３に対して正面を向いた正面画像Ｐ５を生成する正面画像生成ステップと、正面画像Ｐ５に基づいて、切羽３から所定の距離離れた物体をマスク処理した第１マスク画像Ｐ６を生成する第１マスク画像生成ステップと、差分画像Ｐ２と、第１マスク画像Ｐ６と、に基づいて、落下物を特定した落下物画像Ｐ１１を生成する落下物画像生成ステップと、を含む（図１５）。

【0110】

これにより、切羽３から所定の距離離れた位置にいる物体（例えば、重機や人）に対してマスク処理をして、落下物として検知しないようにすることができる。一方、切羽３に近い領域の動物体を落下物として検知することができる。そのため、カメラ１１と切羽３との間に物体がある場合でも、落下物を正しく検知することができる。

【0111】

また、カメラ１１をトンネル１の側壁付近に設置することができる。そのため、カメラ１１の画像に重機（掘削機４）が映り込む範囲を小さくすることができる。その結果、切羽３の広い範囲を監視しつつ、落下物を正しく検知することができる。

【実施例2】

【0112】

以下、前記した実施例１の落下物検知システム１０による別の実施形態について、図２０を参照しながら説明する。なお、前記実施例１で説明した内容と同一乃至均等な部分の説明については、同一用語又は同一符号を付して説明する。

【0113】

前記実施例１では、掘削機４のアーム部４ａの先端に取り付けられたヘッド部４ｂの両側面に、マグネットシートや着色によってマーカ７を取り付けた（図１，図３など参照）。この場合、摩耗する重機先端のバケットやブレーカには直接マーカ７を取り付けることはできないので、数十cm以上は重機先端から離れた位置になる。

【0114】

そのため、図２０に示すように、掘削機４の向きによっては、カメラ１１の位置と重機角度との関係で、マーカがカメラ１１の死角（死角境界線１１０参照）に入り、マーカが検出できなくなるケースが想定できる。

【0115】

そこで、掘削機４の表面に直接取り付けるマーカではなく、切羽面に投影されるレーザー光によるマーカ８を使用する実施例２について説明する。このマーカ８は、例えば掘削機４のバケットやブレーカなどのヘッド部４ｂの側面に取り付けられたレーザポインタ８１から、切羽３に向けて照射されたレーザー光によって付けられる。

【0116】

切羽３の掘削を行う掘削機４の先端付近の切羽３に付けられたマーカ８であれば、掘削機４の影に隠れて検出不可能となるケースを削減することができる。特に、複数のレーザー光によるマーカ８を、重機先端（バケットやブレーカ）付近の切羽３に付けることで、マーカ８が検出できなくなるケースを大幅に削減することができる。さらに、バケットやブレーカなどの掘削器具のすぐそばの切羽３にマーカ８を付けることで、前記実施例１のようにマーカ７の位置から掘削による崩落箇所の中心位置を換算するという処理を行う必要がなくなり、直接、RGB画像上に投影されたマーカ８の位置から第２マスク画像を生成することができるようになる。

【0117】

ここで、マーカ８を付けるためのレーザポインタ８１を設置する位置は、図示した位置に限定されるものではなく、重機先端が近づく切羽３にレーザー光を照射できる位置であれば、掘削機４の本体の前面など任意の位置に設置することができる。また、カメラ１１のように、トンネル支保工２などに取り付けることもできる。

【0118】

このようなマーカ８を使用した落下物検知システム１０であれば、マーカ８を見失うことがほとんどなくなり、掘削と肌落ちの区別がより正確になることで、より正確に肌落ちなどの落下物の発生に関する情報が得られるようになる。すなわち、掘削機４による掘削作業時にも、重機先端及び意図的に落下させた掘削物を排除しながら落下物を検知することができる。

【0119】

なお、他の構成及び作用効果については、前記実施例１又は他の実施例と略同様であるので説明を省略する。

【実施例3】

【0120】

以下、前記した実施例１の落下物検知システム１０の別の実施形態について、図２１～図２５を参照しながら説明する。なお、前記実施例１又は実施例２で説明した内容と同一乃至均等な部分の説明については、同一用語又は同一符号を付して説明する。

【0121】

本実施例３の落下物検知システム１０は、生成された落下物画像に基づいて、落下物（岩盤、岩石又は土砂など）の落下回数、並びに落下事象毎の落下開始位置及び落下開始時刻などの特定情報を提供する落下状況特定部を備えている。

【0122】

［落下状況特定処理の流れ］
図２１は、実施例３の落下状況特定部による落下状況特定処理を示すフローチャートである。落下状況特定部では、前記実施例１で説明した落下物画像生成部２６によって生成された落下物画像Ｐ１１（図１１（ｂ）参照）を使用する。

【0123】

具体的には、落下物画像Ｐ１１に白画素（落下物（４１，４２））が検出されたフレームに対しては、フラグを立てて、その画像をメモリやバッファや外部ディスクなどの記憶媒体に記憶させておく。

【0124】

本実施例３の落下状況特定部では、ステップＳ４０１に示すように、記憶媒体からフラグを付けた落下物画像Ｐ１１を取り込んで使用する。例えば、図２２（ａ）に示すように、5フレーム目の時点で、落下物画像Ｐ１１に白画素が初めて確認された場合は、時系列として続く6フレーム目、7フレーム目など、落下物画像Ｐ１１に白画素が確認できる間はフラグを付けて保存しておき、後からそれらの画像を時系列順に取り込む。

【0125】

ここで、フラグ付けは、落下物画像Ｐ１１に白画素がなくなったタイミングで一旦終了し、再度、落下物画像生成部２６で白画素が確認されたときに、別のフラグが立てられて、記憶媒体に記憶されることになる。そして、落下状況特定部による処理は、一連の掘削作業の終了時や、１つのフラグ付けが終了したタイミングなどで実行される。

【0126】

図２２（ａ）に示した5フレーム目から7フレーム目までの落下物画像Ｐ１１は、発生した落石などの肌落ちの軌跡を表現していると言える。この一連の軌跡で表される肌落ちを、１つの「落下事象」と呼ぶこととする。そして、ステップＳ４０２では、時系列画像を合成したフレームごとの累積画像を生成する。

【0127】

例えば図２２（ｂ）の右端に示すように、5フレーム目から7フレーム目までの時系列画像をすべて合成すると、「7フレームの累積画像」となる。一方、5フレーム目と6フレーム目を合成すると、真ん中の「6フレームの累積画像」となる。そして、5フレーム目だけだと、合成しても左端の「5フレームの累積画像」である。

【0128】

このようにして生成した各累積画像に対して、ステップＳ４０３では、ラベリング処理を施す。詳細には、累積画像中の隣接する白画素同士を１つの塊として識別（ラベル付け）する処理を行う。さらに、累積画像中の白画素の塊（ラベル）の数をカウントして、ラベル数を算出する。また、ラベル付けされた白画素の塊は、画像中のどこにあるのかが座標によって把握できる。

【0129】

例えば図２２（ｂ）に示した累積画像は、すべてのフレームにおいてラベル数は1となる。ラベル数が1の場合は、１つの塊の肌落ちが発生した状況を示しており、落下回数としてそのまま特定情報にできる。また、落下物が発生した落下開始位置は、5フレームの白画素の塊の箇所の座標から特定することができる。さらに、5フレームに紐付けられた時刻から、肌落ち（落下物）の落下開始時刻も特定することができる。すなわち、この落下事象の落下開始位置と落下開始時刻を、特定情報として取得することができる。

【0130】

これに対して、複数の落下事象（肌落ち）が発生する場合について検討する。図２３（ａ）は、２箇所の肌落ち（落下事象）が同時に発生した場合の5フレーム目から7フレーム目までの落下物画像Ｐ１１を例示している。また、図２３（ｂ）は、これらの時系列画像を合成したフレームごとの累積画像を示している。

【0131】

このようにして生成した各累積画像に対して、ステップＳ４０３のラベリング処理を施すと、「7フレームの累積画像」と「6フレームの累積画像」ではラベル数が1となり、「5フレームの累積画像」ではラベル数が2となる。

【0132】

複数の肌落ちが同時に発生し、肌落ちの軌跡が被る場合は、ラベル数は時系列順の逆から遡ると、増加傾向になる。そしてその最大値が、肌落ちの発生回数（落下回数）を表すことになる。そこで、ステップＳ４０４では、崩落終了（7フレーム）から崩落開始（5フレーム）に向けた累積画像の遡り処理を行う。

【0133】

続いて、ステップＳ４０５では、遡りの隣接フレーム間におけるラベルの減少数のカウントを行う。例えば、図２３（ｂ）の「7フレームの累積画像」と「6フレームの累積画像」との間ではラベルの減少数は0、「6フレームの累積画像」と「5フレームの累積画像」との間ではラベルの減少数は0（増加数は1）となる。

【0134】

ここで、5フレームより前の4フレームは図示していないが、白画素が確認されていない落下物画像Ｐ１１なので、「5フレームの累積画像」と「4フレームの累積画像」との間では、ラベルの減少数は2となると言える。「7フレームの累積画像」から「5フレームの累積画像」までのラベルの累積減少数である2は、この間のラベル数の最大値の2と同じであり、落下回数を示している。

【0135】

また、落下物（落石）が発生した落下開始位置は、5フレームの２つの白画素の塊の座標から特定することができる（ステップＳ４０６）。さらに、5フレームに紐付けられた時刻から、落石の落下開始時刻も特定することができる。

【0136】

ステップＳ４０７では、このようにして落下状況特定部で特定された落下物（落石）の落下開始時刻、落下開始位置及び落下回数などの特定情報を、記憶媒体に保存する。以下では、図２４及び図２５を参照しながら、落下状況特定部による他の処理例についても説明する。

【0137】

図２４は、同時又は若干の時間差を伴って落下を開始する２つの落下事象に関する、６つのケースの時系列の落下物画像を例示した図である。６つのケースは、大きく分けて「2箇所が同時に崩落開始」するパターンと、「2箇所が時間差で崩落開始」するパターンである。

【0138】

「2箇所が同時に崩落開始」するパターンについては、図２３を参照しながら上述した。一方、「2箇所が時間差で崩落開始」するパターンとは、先発の肌落ち（崩落）が崩落終了する前に後発の肌落ち（崩落）が開始するという、複数の肌落ち（崩落）が時差を付けて発生する場合である。

【0139】

そして、２つのパターンのそれぞれにおいて、崩落が「２つのまま落下する」場合と、２つの崩落の「一部が分裂」して３つ以上となる場合と、崩落が途中で重なり合って「１つに重合」する場合について例示した。

【0140】

図２４では、それぞれのケースで、落下物画像Ｐ１１が、「崩落開始」から「崩落終了」まで時系列順に並べられている。「崩落開始」は、上述したように落下物画像Ｐ１１に白画素が初めて確認されたフレームで、「崩落終了」は、落下物画像Ｐ１１に白画素がなくなったフレームである。「2箇所が時間差で崩落開始」するパターンでは、後発肌落ちの崩落終了が「崩落終了」となる。

【0141】

そして、図２５が、６つのケースの累積画像を、「崩落終了」から「崩落開始」に遡って並べた図である。各ケースでは、フレームごとにラベルの個数をカウントする。フレームごとのラベルの個数を遡っていくと、途中で肌落ちが分裂した場合でも、肌落ちが重なり合った場合でも、隣接フレーム間における遡った際のラベルの個数の「減少数」のみをカウントする。すなわち、隣接フレーム間でラベル数が増加した場合は、カウントはしない（「１つに重合」ケース参照）。

【0142】

そして、「崩落終了」から「崩落開始」までの「減少数」を積算した「累積減少数」が、落下物の落下回数となる。すなわち、肌落ちの落下開始時刻と発生回数を特定することができるようになる。

【0143】

また、ラベルの個数の減少が起きた隣接フレーム間では、「崩落終了」側に出現しているラベル（白画素群）の位置を、肌落ちの落下開始位置と特定することができる。なお、「崩落開始」から「崩落終了」までを順送りにする場合は、ラベルの個数の「増加数」のみをカウントすればよい。

【0144】

このように構成された実施例３の落下物検知システム１０では、落下物画像に基づいて、落下物の落下開始位置と落下回数を特定する落下状況特定部を備える。そして、落下中の土塊の分裂や重合といった状態の変化に影響されることなく、落下物の落下開始時刻、落下開始位置、落下回数といった特定情報を得ることができる。

【0145】

すなわち、肌落ちの軌跡を用いて落下開始位置を特定することにより、肌落ちが落下中に２つ以上に空中分離した場合でも、時系列を遡ることで、１つの肌落ちとして収束して認識することができ、容易に落下開始位置を特定することが可能になる。

【0146】

また、実施例１では、肌落ち発生の予見を補助するデータとして、落下量と関連する白画素の量のみを検出していたが、白画素の量だけでなく、白画素群（ラベル）の発生時刻、発生回数及び発生箇所に関するデータを収集できるようになる。要するに、落下物の落下開始時刻、落下開始位置、落下回数といった岩盤等の崩落の危険性を予測するうえで有益となりうる情報を、より多く取得することができるようになる。

【0147】

なお、他の構成及び作用効果については、前記実施例１又は他の実施例と略同様であるので説明を省略する。

【0148】

以上、本発明の落下物検知システム及び落下物検知方法を実施例１に基づき説明してきた。しかし、具体的な構成については、この実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

【0149】

実施例１では、カメラ１１は、切羽３に対して、水平方向に傾いた姿勢で取り付けられている例を示した。しかし、カメラ１１は、切羽３に対して正面を向いた姿勢で取り付けられてもよい。

【0150】

実施例１では、マーカ７を青色のマグネットシートで１つ設ける例を示した。しかし、マーカは、この態様に限定されるものでなく、現場の状況に合わせて選択された色にすることができる。また、マーカは、ヘッド部４ｂの側面に着色することで形成してもよい。また、マーカは、光源であったり、レーザー光の照射によって付けられるものであったりしてもよい。また、マーカを複数設けることもできる。

【0151】

実施例１では、報知部を画像表示部３１とする例を示した。しかし、報知部は、警告灯としたり、警告音を出力する音声出力装置としたりすることもできる。

【0152】

実施例１では、第２マスク画像Ｐ８を、画像を白色と黒色の２階調に変換した２値化画像Ｐ９に変換する例を示した。しかし、第２マスク画像Ｐ８を、色相画像やグレースケール画像に変換してもよい。

【0153】

実施例１では、落下物画像生成部２６は、差分画像Ｐ２の２値化画像Ｐ３と、第１マスク画像Ｐ６の２値化画像Ｐ７とに基づいて、落下物画像Ｐ１０を生成し、落下物画像Ｐ１０と、第２マスク画像Ｐ８の２値化画像Ｐ９とに基づいて、落下物画像Ｐ１１を生成する例を示した。しかし、落下物画像生成部２６は、差分画像Ｐ２の２値化画像Ｐ３と、第１マスク画像Ｐ６の２値化画像Ｐ７と、第２マスク画像Ｐ８の２値化画像Ｐ９とに基づいて、一度に落下物画像Ｐ１１を生成してもよい。

【0154】

実施例１では、落下物画像生成部２６は、差分画像Ｐ２と、第１マスク画像Ｐ６と、第２マスク画像Ｐ８と、に基づいて、落下物画像Ｐ１１を生成する例を示した。しかし、落下物画像生成部２６は、差分画像Ｐ２と、第１マスク画像Ｐ６と、に基づいて、落下物画像Ｐ１０を生成してもよい。この場合、落下量算出部２７は、落下物画像Ｐ１０に基づいて、落下物の落下量を算出することができる。

【0155】

実施例１では、第２マスク領域７Ａは、上下方向に延在する矩形状に形成する例を示した。しかし、第２マスク領域７Ａは、現場の状況や使用する重機に応じて、形状や大きさを変更することができる。

【0156】

実施例１では、重機を掘削機（油圧ショベル）４とする例を示した。しかし、重機は、この態様に限定されず、例えば、油圧ブレーカや自由断面掘削機としてもよい。

【0157】

実施例１では、本発明の落下物検知システム及び落下物検知方法を、山岳トンネルの切羽３の掘削作業時に適用する例を示した。しかし、本発明の落下物検知システム及び落下物検知方法は、山岳トンネルの削孔装薬作業時や、コソク・浮石落し作業時や、機械掘削作業時や、ズリ出し作業時や、支保工建て込み作業時等に適用することができる。

【0158】

実施例１では、本発明の落下物検知システム及び落下物検知方法を、山岳トンネルの切羽３の掘削作業時に適用する例を示した。しかし、本発明の落下物検知システム及び落下物検知方法は、都市トンネルや、水底トンネルや、水中トンネル等の掘削作業時に適用することができる。

【符号の説明】

【0159】

１ トンネル
３ 切羽
４ 掘削機（重機の一例）
７ マーカ
８ マーカ
１０ 落下物検知システム
２２ 差分画像生成部
２３ 正面画像変換部
２４ 第１マスク画像生成部
２５ 第２マスク画像生成部
２６ 落下物画像生成部
２７ 落下量算出部
２８ 崩落危険度判定部
３１ 画像表示部（報知部の一例）
Ｐ２ 差分画像
Ｐ５ 正面画像
Ｐ６ 第１マスク画像
Ｐ９ 第２マスク画像
Ｐ１１ 落下物画像
Ｐ１２ 落下物画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】