特開 2022-16328 落下物検知システム及び落下物検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022016328

(43)【公開日】2022-01-21

(54)【発明の名称】落下物検知システム及び落下物検知方法

(51)【国際特許分類】

   E21D 9/00 20060101AFI20220114BHJP

   E21F 17/00 20060101ALI20220114BHJP

   G06T 7/254 20170101ALI20220114BHJP

【ＦＩ】

E21D9/00 Z

E21F17/00

G06T7/254 A

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021109529

(22)【出願日】2021-06-30

(31)【優先権主張番号】P 2020119108

(32)【優先日】2020-07-10

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】592254526

【氏名又は名称】学校法人五島育英会

(71)【出願人】

【識別番号】303056368

【氏名又は名称】東急建設株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】包 躍

(72)【発明者】

【氏名】小林 礼

(72)【発明者】

【氏名】満尾 淳

(72)【発明者】

【氏名】三浦 雅也

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096AA11

5L096BA02

5L096CA04

5L096CA27

5L096DA03

5L096EA37

5L096EA43

5L096FA52

5L096FA66

5L096FA67

5L096FA69

5L096GA08

5L096HA03

(57)【要約】

【課題】カメラと切羽との間に物体がある場合でも、落下物を正しく検知することができる落下物検知システム及び落下物検知方法を提供する。
【解決手段】落下物検知システム１０は、トンネル１の切羽３近傍における落下物を検知する。この落下物検知システム１０は、切羽３のＲＧＢ画像に基づいて、フレーム差分法による差分画像Ｐ２を生成する差分画像生成部２２と、切羽３の距離画像に基づいて、切羽３から所定の距離離れた物体をマスク処理した第１マスク画像Ｐ６を生成する第１マスク画像生成部２４と、差分画像Ｐ２と第１マスク画像Ｐ６とに基づいて、落下物を特定した落下物画像Ｐ１０を生成する落下物画像生成部２６と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

トンネルの切羽近傍における落下物を検知する落下物検知システムであって、
前記切羽のＲＧＢ画像に基づいて、フレーム差分法による差分画像を生成する差分画像生成部と、
前記切羽の距離画像に基づいて、前記切羽から所定の距離離れた物体をマスク処理した第１マスク画像を生成する第１マスク画像生成部と、
前記差分画像と前記第１マスク画像とに基づいて、前記落下物を特定した落下物画像を生成する落下物画像生成部と、を備える
ことを特徴とする、落下物検知システム。

【請求項2】

前記距離画像を、前記切羽に対して正面を向いた正面画像に変換する正面画像変換部を備え、
前記第１マスク画像生成部は、前記正面画像に基づいて、前記第１マスク画像を生成する
ことを特徴とする、請求項１に記載の落下物検知システム。

【請求項3】

前記切羽の掘削を行う重機の先端又は前記先端の付近の前記切羽に付けられたマーカのＲＧＢ画像に基づいて、前記マーカから一定の範囲をマスク処理した第２マスク画像を生成する第２マスク画像生成部を備え、
前記落下物画像生成部は、前記第２マスク画像に基づいて、前記落下物画像を生成する
ことを特徴とする、請求項１又は２に記載の落下物検知システム。

【請求項4】

前記落下物画像に基づいて、前記落下物の落下量を算出する落下量算出部を備える
ことを特徴とする、請求項１～３の何れか一項に記載の落下物検知システム。

【請求項5】

前記落下量に基づいて、崩落の危険度を判定する崩落危険度判定部と、
前記崩落危険度判定部が判定した危険度に応じて、警報を報知する報知部と、を備える
ことを特徴とする、請求項４に記載の落下物検知システム。

【請求項6】

前記落下物画像に基づいて、前記落下物の落下回数並びに落下事象毎の落下開始位置及び落下開始時刻を特定する落下状況特定部を備える
ことを特徴とする、請求項１～５の何れか一項に記載の落下物検知システム。

【請求項7】

トンネルの切羽における落下物を検知する落下物検知方法であって、
前記切羽のＲＧＢ画像に基づいて、フレーム差分法による差分画像を生成する差分画像生成ステップと、
前記切羽の距離画像に基づいて、前記切羽に対して正面を向いた正面画像を生成する正面画像生成ステップと、
前記正面画像に基づいて、前記切羽から所定の距離離れた物体をマスク処理した第１マスク画像を生成する第１マスク画像生成ステップと、
前記差分画像と、前記第１マスク画像と、に基づいて、落下物を特定した落下物画像を生成する落下物画像生成ステップと、を含む
ことを特徴とする、落下物検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、トンネルの切羽近傍における落下物を検知する落下物検知システム及び落下物検知方法に関するものである。

【背景技術】

【0002】

山岳トンネルの施工においては、岩盤の崩落の危険がある切羽の近くで作業が行われる。このような施工において、トンネルの切羽における落下物を検知するシステムが知られている（例えば、特許文献１参照）。

【0003】

特許文献１には、落石が写っているか否かの判定を行う落石検出領域を求める落石検出領域算出部と、落石検出領域に写る移動体を落石として検出する落石検出部と、を備え、落石検出領域算出部は、時系列で連続するフレーム間での差分画像に対して閾値処理を行うことで、過去のＮフレーム（Ｎ≧３）における各々の差分画像から移動体エリアを抽出し、各々の移動体エリアの和集合以外の領域を落石検出領域とする構成が開示されている。これにより、危険な落石の兆候を検出する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－２０３２８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の構成は、落石の可能性がある移動体である落石候補を複数フレームに亘って追跡して、落石候補の位置が、落石が自然落下した場合におけるフレーム間の移動範囲を示す自然落下領域に含まれている場合に、落石候補が真の落石であると判定するものである。そのため、特許文献１の構成では、撮影部と切羽との間に重機等の物体がある場合、物体の下方への動作を真の落石であると判定してしまい、落下物を正しく検知することができない、という問題がある。

【0006】

そこで、本発明は、カメラと切羽との間に物体がある場合でも、落下物を正しく検知することができる落下物検知システム及び落下物検知方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

前記目的を達成するために、本発明の落下物検知システムは、トンネルの切羽近傍における落下物を検知する落下物検知システムであって、前記切羽のＲＧＢ画像に基づいて、フレーム差分法による差分画像を生成する差分画像生成部と、前記切羽の距離画像に基づいて、前記切羽から所定の距離離れた物体をマスク処理した第１マスク画像を生成する第１マスク画像生成部と、前記差分画像と前記第１マスク画像とに基づいて、前記落下物を特定した落下物画像を生成する落下物画像生成部と、を備えることを特徴とする。

【0008】

また、本発明の落下物検知システムでは、前記距離画像を、前記切羽に対して正面を向いた正面画像に変換する正面画像変換部を備え、前記第１マスク画像生成部は、前記正面画像に基づいて、前記第１マスク画像を生成してもよい。

【0009】

また、本発明の落下物検知システムでは、前記切羽の掘削を行う重機の先端又は前記先端の付近の前記切羽に付けられたマーカのＲＧＢ画像に基づいて、前記マーカから一定の範囲をマスク処理した第２マスク画像を生成する第２マスク画像生成部を備え、前記落下物画像生成部は、前記第２マスク画像に基づいて、前記落下物画像を生成してもよい。

【0010】

また、本発明の落下物検知システムでは、前記落下物画像に基づいて、前記落下物の落下量を算出する落下量算出部を備えてもよい。

【0011】

また、本発明の落下物検知システムでは、前記落下量に基づいて、崩落の危険度を判定する崩落危険度判定部と、前記崩落危険度判定部が判定した危険度に応じて、警報を報知する報知部と、を備えてもよい。

【0012】

また、本発明の落下物検知システムでは、前記落下物画像に基づいて、前記落下物の落下回数並びに落下事象毎の落下開始位置及び落下開始時刻を特定する落下状況特定部を備えてもよい。

【0013】

また、本発明の落下物検知方法では、トンネルの切羽における落下物を検知する落下物検知方法であって、前記切羽のＲＧＢ画像に基づいて、フレーム差分法による差分画像を生成する差分画像生成ステップと、前記切羽の距離画像に基づいて、前記切羽に対して正面を向いた正面画像を生成する正面画像生成ステップと、前記正面画像に基づいて、前記切羽から所定の距離離れた物体をマスク処理した第１マスク画像を生成する第１マスク画像生成ステップと、前記切羽の掘削を行う重機の先端に設けられたマーカのＲＧＢ画像に基づいて、前記マーカから一定の範囲をマスク処理した第２マスク画像を生成する第２マスク画像生成ステップと、前記差分画像と、前記第１マスク画像と、前記第２マスク画像と、に基づいて、落下物を特定した落下物画像を生成する落下物画像生成ステップと、を含むことを特徴とする。

【発明の効果】

【0014】

このように構成された本発明の落下物検知システムでは、切羽のＲＧＢ画像に基づいて、フレーム差分法による差分画像を生成する差分画像生成部と、切羽の距離画像に基づいて、切羽から所定の距離離れた物体をマスク処理した第１マスク画像を生成する第１マスク画像生成部と、差分画像と第１マスク画像とに基づいて、落下物を特定した落下物画像を生成する落下物画像生成部と、を備える。そのため、切羽から所定の距離離れた位置にいる物体（例えば、重機や人）に対してマスク処理をして、落下物（例えば、岩盤、岩石又は土砂）として検知しないようにすることができる。一方、切羽に近い領域の動物体を落下物として検知することができる。その結果、カメラと切羽との間に物体がある場合でも、落下物を正しく検知することができる。

【0015】

また、本発明の落下物検知システムでは、距離画像を、切羽に対して正面を向いた正面画像に変換する正面画像変換部を備え、第１マスク画像生成部は、正面画像に基づいて、第１マスク画像を生成する。そのため、カメラの画像に重機が映り込む範囲を小さくすることができる。その結果、切羽の広い範囲を監視しつつ、落下物を正しく検知することができる。

【0016】

また、本発明の落下物検知システムでは、切羽の掘削を行う重機の先端、又はその先端付近の切羽に付けられたマーカのＲＧＢ画像に基づいて、マーカから一定の範囲をマスク処理した第２マスク画像を生成する第２マスク画像生成部を備え、落下物画像生成部は、第２マスク画像に基づいて、落下物画像を生成する。そのため、重機が掘削した掘削物（例えば、岩石又は土砂）や、重機の先端やその付近を崩落として検知しないようにすることができる。その結果、重機による掘削作業時にも、重機先端及び意図的に落下させた掘削物を排除しながら落下物を検知することができる。

【0017】

また、本発明の落下物検知システムでは、落下物画像に基づいて、落下物の落下量を算出する落下量算出部を備える。そのため、落下量に基づいて、岩盤等の崩落の危険性を予測することができる。その結果、掘削作業の安全性を図ることができる。

【0018】

また、本発明の落下物検知システムでは、落下量に基づいて、岩盤の崩落の危険度を判定する崩落危険度判定部と、崩落危険度判定部が判定した危険度に応じて、警報を報知する報知部と、を備える。そのため、落下量に基づいて、岩盤の崩落の危険度を予測して、警報を報知することができる。その結果、掘削作業の安全性を図ることができる。

【0019】

また、本発明の落下物検知システムでは、落下物画像に基づいて、落下物の落下回数、並びに落下事象毎の落下開始位置及び落下開始時刻を特定する落下状況特定部を備える。そのため、落下物の落下回数や、落下事象毎の落下開始位置及び落下開始時刻といった岩盤等の崩落の危険性を予測するうえで有益となりうる情報を、より多く取得することができるようになる。

【0020】

また、本発明の落下物検知方法では、切羽のＲＧＢ画像に基づいて、フレーム差分法による差分画像を生成する差分画像生成ステップと、切羽の距離画像に基づいて、切羽に対して正面を向いた正面画像を生成する正面画像生成ステップと、正面画像に基づいて、切羽から所定の距離離れた物体をマスク処理した第１マスク画像を生成する第１マスク画像生成ステップと、差分画像と、第１マスク画像と、に基づいて、落下物を特定した落下物画像を生成する落下物画像生成ステップと、を含む。そのため、切羽から所定の距離離れた位置にいる物体（例えば、重機や人）に対してマスク処理をして、落下物（例えば、岩盤、岩石又は土砂）として検知しないようにすることができる。一方、切羽に近い領域の動物体を落下物として検知することができる。その結果、カメラと切羽との間に物体がある場合でも、落下物を正しく検知することができる。

【図面の簡単な説明】

【0021】

【図1】実施例１の落下物検知システムが配置されたトンネルを示す概念図である。

【図2】実施例１の落下物検知システムの機能構成を示すブロック図である。

【図3】実施例１のＲＧＢ画像を示す図であり、図３（ａ）は現在のＲＧＢ画像を示し、図３（ｂ）は１フレーム前のＲＧＢ画像を示す。

【図4】図４（ａ）は、実施例１の差分画像を示す図であり、図４（ｂ）は、実施例１の差分画像を２値化した図である。

【図5】実施例１の正面画像変換部を説明するための図であり、図５（ａ）はカメラセンサと実空間の関係を説明するための図であり、図５（ｂ）は距離画像を正面画像に変換する原理を説明するための図である。

【図6】実施例１の第１マスク画像生成部を説明するための図である。

【図7】図７（ａ）は、実施例１の第１マスク画像を示す図であり、図７（ｂ）は、実施例１の第１マスク画像を２値化した図である。

【図8】実施例１の第２マスク画像を示す図である。

【図9】実施例１の第２マスク画像を２値化した図であり、図９（ａ）と図９（ｂ）は第２マスク領域の例を示す図である。

【図10】実施例１の第２マスク画像を２値化した図であり、図１０（a）と図１０（ｂ）は第２マスク領域の例を示す図である。

【図11】実施例１の落下物画像生成部を説明するための図であり、図１１（ａ）は差分画像と第１マスク画像に基づいて生成させた落下物画像を示し、図１１（ｂ）はさらに第２マスク画像に基づいて生成された落下物画像を示す。

【図12】実施例１の落下量算出部を説明するための図であり、図１２（ａ）は１フレーム毎の落下物の推移を示し、図１２（ｂ）は落下物のカウント方法を説明するための図を示す。

【図13】実施例１の画像表示部への表示例を示す平面図である。

【図14】実施例１の画像表示部への表示例を示す平面図である。

【図15】実施例１の落下物検知システムによる処理のメインフローを示すフローチャートである。

【図16】実施例１の第１の画像処理を示すフローチャートである。

【図17】実施例１の第２の画像処理を示すフローチャートである。

【図18】実施例１の第３の画像処理を示すフローチャートである。

【図19】実施例１の落下物検知システムの作用を説明するための図である。

【図20】実施例２のマーカを説明するための図である。

【図21】実施例３の落下状況特定処理を示すフローチャートである。

【図22】実施例３の落下状況特定処理を説明するための図であり、図２２（ａ）はフラグを付けた時系列の落下物画像を示し、図２２（ｂ）は時系列画像を合成したフレームごとの累積画像を示す。

【図23】実施例３の複数の肌落ちが同時に発生した場合の落下状況特定処理を説明するための図であり、図２３（ａ）はフラグを付けた時系列の落下物画像を示し、図２３（ｂ）は時系列画像を合成したフレームごとの累積画像を示す。

【図24】実施例３の落下状況特定部を、６つのケースの時系列の落下物画像を使って説明するための図である。

【図25】実施例３の落下状況特定部を、６つのケースの累積画像を使って説明するための図である。

【発明を実施するための形態】

【0022】

以下、本発明による落下物検知システム及び落下物検知方法を実現する実施形態を、図面に示す実施例１に基づいて説明する。

【実施例0023】

［落下物検知システムの使用状況］
図１は、実施例１の落下物検知システムが配置されたトンネルを示す概念図である。以下、実施例１の落下物検知システムの使用状況を説明する。なお、掘削の進行方向を進行方向Ｄとする。

【0024】

実施例１における落下物検知システムは、図１に示すように、掘削機４による山岳トンネル（以下、「トンネル」と言う）１の切羽３の掘削作業時に、切羽３の近傍の落下物を検知する。

【0025】

トンネル１には、切羽３を撮影するカメラ１１と、カメラ１１で撮影した画像情報に基づいて処理を実行する処理装置としてのパーソナルコンピュータ１２と、切羽３の周辺を照らす照明１３と、切羽３を掘削する重機としての掘削機（切羽穿孔機油圧ショベル）４と、携帯端末３０と、が配置されている。

【0026】

（カメラ）
カメラ１１は、ＲＧＢ画像を撮影するＲＧＢカメラ１１ａと、距離画像（Ｄｅｐｔｈ画像）を撮影する距離カメラ１１ｂと、を備える。

【0027】

ＲＧＢカメラ１１ａは、ＲＧＢ画像を撮影可能なカメラとする。距離カメラ１１ｂは、例えば、ＴＯＦ（Time Of Flight）方式のＴＯＦカメラや、ステレオカメラ等を使用することができる。なお、カメラ１１は、ＲＧＢカメラ１１ａと距離カメラ１１ｂとが一体となってユニット化したされたものを使用してもよいし、ＲＧＢカメラ１１ａと距離カメラ１１ｂとが別体となっているものを使用してもよい。

【0028】

カメラ１１は、ＲＧＢ画像と距離画像を同時に撮影することができ、ＲＧＢ画像の各画素に対応した距離画像を取得可能になっている。

【0029】

カメラ１１は、切羽３の全面を撮影可能なように、アーチ状に形成された鋼製のトンネル支保工２に、例えば、マグネットによって取り付けることができる。カメラ１１は、トンネル１の側壁部分のトンネル支保工２に取り付けられている。すなわち、カメラ１１は、切羽３に対して、水平方向に傾いた姿勢で取り付けられている。言い換えると、カメラ１１は、切羽３に対して、正面を向かない姿勢で取り付けられている。

【0030】

なお、カメラ１１は、ロックボルトの鋼製の頭部プレート、鋼製支保工のＨ型鋼等にマグネットにより固定されていてもよい。

【0031】

（パーソナルコンピュータ）
パーソナルコンピュータ１２は、カメラ１１が撮影したＲＧＢ画像と距離画像を取得して、リアルタイムで後述する処理を実行する。

【0032】

（照明）
照明１３は、切羽３の全面を照らすように設置されている。照明１３によって照らされた切羽３における照度は、１００Ｌｘ以上のものを使用してもよい。

【0033】

（掘削機）
掘削機４は、切羽３の手前に配置され、切羽３を掘削する。掘削機４は、旋回体に取り付けられたアーム部４ａと、アーム部４ａの先端に取り付けられたヘッド部４ｂとを備えている。アーム部４ａは、旋回体の旋回により水平方向に旋回し、起伏シリンダの伸縮により、上下方向に起伏する。ヘッド部４ｂには、切羽３を掘削する掘削刃を備えている。

【0034】

ヘッド部４ｂの両側面には、マーカ７が取り付けられている。マーカ７は、１つであっても２つ以上であってもよい。マーカ７は、青色のマグネットシートとすることができる。なお、マーカ７は、ヘッド部４ｂの側面を着色することで形成するようにしてもよい。

【0035】

（携帯端末）
携帯端末３０は、第１作業者６が携帯可能なタブレットやスマートフォン等とすることができる。携帯端末３０は、画像を表示する報知部としての画像表示部３１を備えている。

【0036】

［落下物検知システムの機能構成］
以下、落下物検知システム１０の機能構成を説明する。

【0037】

図２に示すように、落下物検知システム１０は、ＲＧＢカメラ１１ａが撮影したＲＧＢ画像と、距離カメラ１１ｂが撮影した距離画像とが制御部２０に入力され、制御部２０で処理された情報が画像表示部３１に出力される。

【0038】

ＲＧＢカメラ１１ａは、切羽３の全面のＲＧＢ画像を撮影する。ＲＧＢ画像は、制御部２０に入力される。

【0039】

距離カメラ１１ｂは、切羽３の全面の距離画像を撮影する。距離画像は、制御部２０に入力される。

【0040】

制御部２０は、画像取得部２１と、差分画像生成部２２と、正面画像変換部２３と、第１マスク画像生成部２４と、第２マスク画像生成部２５と、落下物画像生成部２６と、落下量算出部２７と、崩落危険度判定部２８と、２値化画像生成部２９と、を備えている。

【0041】

（画像取得部）
画像取得部２１は、ＲＧＢ画像と距離画像を取得し、取得したＲＧＢ画像と距離画像を記憶する。

【0042】

（差分画像生成部）
差分画像生成部２２は、切羽３のＲＧＢ画像に基づいて、フレーム差分法による差分画像を生成する。具体的には、差分画像生成部２２は、図３（ａ）に示す現在のＲＧＢ画像Ｐ１と、図３（ｂ）に示す１フレーム前のＲＧＢ画像Ｐ０とを画素単位で比較して、色が変わっている部分を、図４（ａ）に示す差分画像Ｐ２として生成する。

【0043】

差分画像Ｐ２は、現在のＲＧＢ画像Ｐ１において、１フレーム前のＲＧＢ画像Ｐ０から移動した物体（動物体）の画像である。

【0044】

実施例１では、動物体を、第１落下物（例えば、岩石又は土砂）４１と、第２落下物（例えば、岩石又は土砂）４２と、掘削機４が掘削した掘削物（例えば、岩石又は土砂）４３と、下方に移動したアーム４４とする。

【0045】

つまり、図４（ａ）に示す差分画像Ｐ２には、第１落下物４１と、第２落下物４２と、掘削物４３と、アーム４４が表されている。

【0046】

２値化画像生成部２９は、図４（ａ）に示す差分画像Ｐ２を、画像を白色と黒色の２階調に変換した２値化画像Ｐ３に変換する。すなわち、２値化画像生成部２９は、図４（ａ）に示す差分画像Ｐ２を、図４（ｂ）に示す差分画像Ｐ２の２値化画像Ｐ３に変換する。差分画像Ｐ２の２値化画像Ｐ３では、第１落下物４１と、第２落下物４２と、掘削物４３と、アーム４４が白色となっている。

【0047】

（正面画像変換部）
正面画像変換部２３は、図５（ａ）に示すように、切羽３の距離画像Ｐ４を、切羽３に対して正面を向いた正面画像Ｐ５に変換する。

【0048】

具体的には、正面画像変換部２３は、カメラ１１の切羽３に対する角度θに基づいて、距離画像Ｐ４を正面画像Ｐ５に変換する。

【0049】

角度θは、距離画像Ｐ４における同じ水平軸上にある少なくとも２箇所の距離（ｄｅｐｔｈ）に基づいて、１画素当たりの距離の変化量から算出する。具体的には、切羽３上を指している同じｘ軸上の画素ｘ_iのｄｅｐｔｈ値depth_iを少なくとも２箇所取得する。取得したデータ配列（x_i, depth_i）から最小二乗法によって近似直線の傾きを算出する。この傾きは、１画素当たりの距離の変化量であるため、切羽３に対するカメラ１１の角度θを算出することができる。角度θは、式（１）から算出することができる。

【0050】

【数1】

ただし、Cov(X, Depth)は(x_i, depth_i)の共分散、σ_xはx_iの標準偏差とする。

【0051】

角度θに基づいて、距離ｄ２と距離ｄ３を足し合わせることによって、正面から撮影した時の距離を算出する。距離ｄ１は、距離画像Ｐ４のある注目画素Ａの距離である。距離ｄ２は、三角関数を用いて、角度θと距離ｄ１に基づいて算出することができる。

【0052】

距離ｄ３は、三角関数を用いて、角度θと注目画素Ａから中心画素Ｂまでの距離ｄ４とに基づいて算出することができる。この時、距離ｄ３は、空間分解能単位であるため、PixelWidthの画素単位を空間分解能単位に変換する。

【0053】

この変換には、図５（ｂ）に示すように、カメラ１１のセンサと距離の関係を用いる。１画素あたりのセンササイズμが映す実空間上の長さｍは、焦点距離ｆと、センササイズμが映している空間までの距離ｄとに基づいて算出することができる。１画素あたりのセンササイズμが映す実空間上の長さｍは、式（２）によって算出することができる。

【数2】

【0054】

すなわち、距離ｄ３は、式（３）によって算出することができる。

【数3】

【0055】

算出した距離ｄ２と距離ｄ３を足し合わせることによって、正面から撮影した時の距離画像に変換できる。すなわち、正面画像変換部２３は、切羽３の距離画像Ｐ４を、切羽３に対して正面を向いた正面画像Ｐ５に変換することができる。

【0056】

（第１マスク画像生成部）
第１マスク画像生成部２４は、図７（ａ）に示すように、切羽３の正面画像Ｐ５に基づいて、切羽３から所定の距離Ｌ（例えば、７５０～１０００ｍｍ）以上離れた物体をマスク処理した第１マスク画像Ｐ６を生成する。

【0057】

具体的には、図６に示すように、第１マスク画像生成部２４は、切羽３の正面画像Ｐ５に基づいて、切羽３から進行方向Ｄの後方に、距離Ｌだけセットバックしたセットバック面３ｂを生成する。

【0058】

第１マスク画像生成部２４は、図７（ａ）に示すように、切羽３の現在のＲＧＢ画像Ｐ１から、セットバック面３ｂより後方にある物体をマスク処理した第１マスク画像Ｐ６を生成する。第１マスク画像Ｐ６では、掘削機４がマスク処理されて第１マスク領域４Ａを形成している。

【0059】

２値化画像生成部２９は、図７（ｂ）に示すように、第１マスク画像Ｐ６を、画像を白色と黒色の２階調に変換した２値化画像Ｐ７に変換する。すなわち、２値化画像生成部２９は、図７（ａ）に示す第１マスク画像Ｐ６を、図７（ｂ）に示す第１マスク画像Ｐ６の２値化画像Ｐ７に変換する。第１マスク画像Ｐ６の２値化画像Ｐ７では、第１マスク領域４Ａが白色となっている。

【0060】

（第２マスク画像生成部）
第２マスク画像生成部２５は、図８に示すように、切羽３の掘削を行う掘削機４のヘッド部４ｂに設けられたマーカ７の現在のＲＧＢ画像Ｐ１に基づいて、マーカ７から一定の範囲をマスク処理した第２マスク画像Ｐ８を生成する。

【0061】

具体的には、第２マスク画像生成部２５は、取得したＲＧＢ画像Ｐ１から特定色として抽出したマーカ７の重心に基づいて、第２マスク画像Ｐ８を生成する。第２マスク画像生成部２５は、算出した重心と、正面画像変換部２３が算出した角度θとに基づいて、第２マスク画像Ｐ８を生成することもできる。

【0062】

図８に示すように、第２マスク画像Ｐ８では、マーカ７から一定の範囲をマスク処理した第２マスク領域７Ａが形成されている。

【0063】

２値化画像生成部２９は、図８に示す第２マスク画像Ｐ８を、図９（ａ）に示す白色と黒色の２階調に変換した２値化画像Ｐ９に変換する。すなわち、２値化画像生成部２９は、図８に示す第２マスク画像Ｐ８を、図９（ａ）に示す第２マスク画像Ｐ８の２値化画像Ｐ９に変換する。第２マスク画像Ｐ８の２値化画像Ｐ９では、第２マスク領域７Ａが白色となっている。

【0064】

第２マスク領域７Ａは、図９（ａ）に示すように、第２マスク画像Ｐ８の２値化画像Ｐ９の上端から下端にわたって上下方向に延在する矩形状にすることができる。第２マスク領域７Ａは、マーカ７を中心とした幅Ｗ１の矩形状にすることができる。すなわち、第２マスク領域７Ａは、掘削機４のアーム部４ａの上下方向の起伏により、ヘッド部４ｂが移動する範囲に対応した形状にすることができる。

【0065】

なお、第２マスク領域７Ａは、図９（ｂ）に示すように、第２マスク画像Ｐ８の２値化画像Ｐ９において、上端の辺にマーカ７を有する上下方向に延在する矩形状にすることもできる。第２マスク領域７Ａは、マーカ７を中心とした幅Ｗ１の矩形状にすることができる。すなわち、第２マスク領域７Ａは、掘削機４により掘削された掘削物４３が落下する範囲に対応した形状とすることができる。

【0066】

また、第２マスク領域７Ａは、図１０（ａ）に示すように、第２マスク画像Ｐ８の２値化画像Ｐ９において、上端の辺にマーカ７を有する上下方向に延在する矩形状にすることもできる。第２マスク領域７Ａは、マーカ７を中心とした幅Ｗ１より小さな幅Ｗ２の矩形状にすることができる。すなわち、掘削物４３の落下範囲は、使用する重機や現場の状況（例えば、地質）によって変わることから、使用する重機や現場の状況に応じた大きさにすることができる。

【0067】

また、第２マスク領域７Ａは、図１０（ｂ）に示すように、第２マスク画像Ｐ８の２値化画像Ｐ９において、上端の辺にマーカ７を有する台形状にすることもできる。第２マスク領域７Ａは、下底の幅Ｗ４が上底の幅Ｗ３より大きくなるような台形状にすることができる。

【0068】

すなわち、掘削物４３の落下範囲は、使用する重機や現場の状況（例えば、地質）によって変わることから、使用する重機や現場の状況に応じた大きさにすることができる。

【0069】

（落下物画像生成部）
図１１（ａ）に示すように、落下物画像生成部２６は、図４（ｂ）に示す差分画像Ｐ２の２値化画像Ｐ３と、図７（ｂ）に示す第１マスク画像Ｐ６の２値化画像Ｐ７とに基づいて、落下物を特定した落下物画像Ｐ１０を生成する。

【0070】

具体的には、落下物画像生成部２６は、図４（ｂ）に示す差分画像Ｐ２の２値化画像Ｐ３と、図７（ｂ）に示す第１マスク画像Ｐ６の２値化画像Ｐ７との論理積によって、落下物画像Ｐ１０を生成する。

【0071】

落下物画像Ｐ１０では、第１落下物４１と、第２落下物４２と、掘削機４が掘削した掘削物４３とが白色となっている。

【0072】

さらに、落下物画像生成部２６は、図１１（ａ）に示す落下物画像Ｐ１０と、図９（ａ）に示す第２マスク画像Ｐ８の２値化画像Ｐ９とに基づいて、落下物を特定した落下物画像Ｐ１１を生成する。

【0073】

具体的には、落下物画像生成部２６は、図１１（ａ）に示す落下物画像Ｐ１０と、図９（ａ）に示す第２マスク画像Ｐ８の２値化画像Ｐ９との論理積によって、落下物画像Ｐ１１を生成する。

【0074】

落下物画像Ｐ１１では、第１落下物４１と、第２落下物４２とが白色となっている。

【0075】

（落下量算出部）
落下量算出部２７は、落下物画像Ｐ１１に基づいて、落下物の落下量を算出する。

【0076】

具体的には、図１２（ａ）に示すように、落下量算出部２７は、落下物画像Ｐ１１で特定された落下物に対して、一列の縦画素Ｓに着目して、第１落下物４１を追跡して、時系列の変化を確認する。次いで、落下量算出部２７は、図１２（ｂ）に示すように、カウントした第１落下物４１の画素数が最大となった時点で、落下物を１とカウントする。

【0077】

このようにして、落下量算出部２７は、落下物画像Ｐ１１で特定された全ての落下物に対して、落下物をカウントして落下物の落下量を算出する。

【0078】

（崩落危険度判定部）
崩落危険度判定部２８は、落下量算出部２７が算出した落下量に基づいて、岩盤の崩落の危険度を判定する。

【0079】

具体的には、崩落危険度判定部２８は、落下量算出部２７が算出した落下量に基づいて、一定量の落石、又は単位時間当たりの落石量の変化を算出して、岩盤の崩落の危険度を判定する。

【0080】

例えば、図１３に示すグラフのように、落石量が増加の傾向にある場合、崩落危険度判定部２８は、岩盤の崩落の危険があると判定する。

【0081】

また、図１４に示すように、崩落危険度判定部２８は、落下量算出部２７が算出した落下量に基づいて、落石箇所と落石回数が分かるようなヒートマップを生成して、岩盤の崩落の危険度を判定することもできる。

【0082】

（画像表示部）
画像表示部３１は、図１３及び図１４に示すように、崩落危険度判定部２８が判断した情報を、画像表示部３１に表示する。第１作業者６は、画像表示部３１に表示された情報を見て、崩落の危険性を確認することができる。

【0083】

［落下物検知システムによる処理の流れ］
図１５は、実施例１の落下物検知システム１０による処理のメインフローを示すフローチャートである。図１６は、実施例１の第１の画像処理を示すフローチャートである。図１７は、実施例１の第２の画像処理を示すフローチャートである。図１８は、実施例１の第３の画像処理を示すフローチャートである。以下、実施例１の落下物検知システム１０による処理の流れを説明する。

【0084】

（メインフロー）
図１５に示すように、画像取得部２１は、ＲＧＢカメラ１１ａが撮影した切羽３の全面のＲＧＢ画像を取得する（ステップＳ１１）。

【0085】

次いで、画像取得部２１は、距離カメラ１１ｂが撮影した切羽３の全面の距離画像を取得する（ステップＳ１２）。なお、画像取得部２１は、先に距離画像を取得することもできるし、ＲＧＢ画像と距離画像を同時に取得することもできる。

【0086】

次いで、制御部２０は、第１の画像処理、第２の画像処理及び第３の画像処理を実行する（ステップＳ１３）。第１の画像処理、第２の画像処理及び第３の画像処理については、後述する。

【0087】

次いで、落下物画像生成部２６は、第１の画像処理、第２の画像処理及び第３の画像処理の結果に基づいて、落下物を特定した落下物画像Ｐ１１を生成する（ステップＳ１４）。このステップは、落下物画像生成ステップを構成する。

【0088】

次いで、落下量算出部２７は、落下物画像Ｐ１１に基づいて、落下物の落下量を算出する（ステップＳ１５）。

【0089】

次いで、崩落危険度判定部２８は、落下量算出部２７が算出した落下量に基づいて、岩盤の崩落の危険度を判定する（ステップＳ１６）。

【0090】

次いで、画像表示部３１は、崩落危険度判定部２８が判断した情報を、画像表示部３１に表示することで報知し（ステップＳ１７）、処理を終了する。

【0091】

（第１の画像処理）
図１６に示すように、第１の画像処理を開始すると、差分画像生成部２２は、切羽３のＲＧＢ画像に基づいて、フレーム差分法による差分画像Ｐ２を生成する（ステップＳ１０１）。このステップは、差分画像生成ステップを構成する。

【0092】

次いで、２値化画像生成部２９は、差分画像Ｐ２を、画像を白色と黒色の２階調に変換した２値化画像Ｐ３に変換し（ステップＳ１０２）、メインフローへ戻る。

【0093】

（第２の画像処理）
図１７に示すように、正面画像変換部２３は、切羽３の距離画像Ｐ４を、切羽３に対して正面を向いた正面画像Ｐ５に変換する（ステップＳ２０１）。このステップは、正面画像生成ステップを構成する。

【0094】

次いで、第１マスク画像生成部２４は、切羽３の正面画像Ｐ５に基づいて、切羽３から所定の距離Ｌ（例えば、７５０～１０００ｍｍ）以上離れた物体をマスク処理した第１マスク画像Ｐ６を生成する（ステップＳ２０２）。このステップは、第１マスク画像生成ステップを構成する。

【0095】

次いで、２値化画像生成部２９は、第１マスク画像Ｐ６を、画像を白色と黒色の２階調に変換した２値化画像Ｐ７に変換し（ステップＳ２０３）、メインフローに戻る。

【0096】

（第３の画像処理）
図１８に示すように、第２マスク画像生成部２５は、切羽３の掘削を行う掘削機４のヘッド部４ｂに設けられたマーカ７の現在のＲＧＢ画像Ｐ１に基づいて、マーカ７から一定の範囲をマスク処理した第２マスク画像Ｐ８を生成する（ステップＳ３０１）。このステップは、第２マスク画像生成ステップを構成する。

【0097】

次いで、２値化画像生成部２９は、第２マスク画像Ｐ８を、画像を白色と黒色の２階調に変換した２値化画像Ｐ９に変換し（ステップＳ３０２）、メインフローに戻る。

【0098】

［落下物検知システム及び落下物検知方法の作用］
次に、実施例１の落下物検知システム１０及び落下物検知方法の作用を説明する。実施例１の落下物検知システム１０は、トンネル１の切羽３近傍における落下物を検知する。この落下物検知システム１０は、切羽３のＲＧＢ画像に基づいて、フレーム差分法による差分画像Ｐ２を生成する差分画像生成部２２と、切羽３の距離画像Ｐ４に基づいて、切羽３から所定の距離離れた物体をマスク処理した第１マスク画像Ｐ６を生成する第１マスク画像生成部２４と、差分画像Ｐ２と第１マスク画像Ｐ６とに基づいて、落下物を特定した落下物画像Ｐ１０を生成する落下物画像生成部２６と、を備える（図２）。

【0099】

これにより、切羽３から所定の距離離れた位置にいる物体（例えば、重機や人）に対してマスク処理をして、落下物（例えば、岩盤、岩石又は土砂）として検知しないようにすることができる。一方、切羽３に近い領域の動物体を落下物として検知することができる。そのため、カメラ１１と切羽３との間に物体がある場合でも、落下物を正しく検知することができる。

【0100】

実施例１の落下物検知システム１０において、距離画像Ｐ４を、切羽３に対して正面を向いた正面画像Ｐ５に変換する正面画像変換部２３を備え、第１マスク画像生成部２４は、正面画像Ｐ５に基づいて、第１マスク画像Ｐ６を生成する（図５（ａ））。

【0101】

ところで、図１９に示すように、切羽３に対して正面の位置にカメラ１１Ａを設置すると、切羽３とカメラ１１との間に配置されている重機（掘削機４）によって、カメラ１１の画像の大部分に重機（掘削機４）が映り込んでしまう。

【0102】

実施例１では、カメラ１１をトンネル１の側壁付近に設置することができる。そのため、カメラ１１の画像に重機（掘削機４）が映り込む範囲を小さくすることができる。その結果、切羽３の広い範囲を監視しつつ、落下物を正しく検知することができる。

【0103】

実施例１の落下物検知システム１０において、切羽３の掘削を行う重機（掘削機４）の先端に設けられたマーカ７のＲＧＢ画像に基づいて、マーカ７から一定の範囲をマスク処理した第２マスク画像Ｐ８を生成する第２マスク画像生成部２５を備え、落下物画像生成部２６は、第２マスク画像Ｐ８に基づいて、落下物画像Ｐ１１を生成する（図８（ｂ））。

【0104】

これにより、重機（掘削機４）が掘削した掘削物（例えば、岩石又は土砂）４３や、重機（掘削機４）の先端を崩落として検知しないようにすることができる。そのため、重機（掘削機４）による掘削作業時にも、落下物を正しく検知することができる。

【0105】

実施例１の落下物検知システム１０において、落下物画像Ｐ１１に基づいて、落下物の落下量を算出する落下量算出部２７を備える。

【0106】

これにより、落下量に基づいて、岩盤等の崩落の危険性を予測することができる。そのため、掘削作業の安全性を図ることができる。

【0107】

実施例１の落下物検知システム１０において、落下量に基づいて、岩盤の崩落の危険度を判定する崩落危険度判定部２８と、崩落危険度判定部２８が判定した危険度に応じて、警報を報知する報知部（画像表示部３１）と、を備える（図１３及び図１４）。

【0108】

これにより、落下量に基づいて、岩盤の崩落の危険度を予測して、警報を報知することができる。そのため、掘削作業の安全性を図ることができる。

【0109】

実施例１の落下物検知方法は、トンネル１の切羽３における落下物を検知する。この落下物検知方法は、切羽３のＲＧＢ画像に基づいて、フレーム差分法による差分画像Ｐ２を生成する差分画像生成ステップと、切羽３の距離画像Ｐ４に基づいて、切羽３に対して正面を向いた正面画像Ｐ５を生成する正面画像生成ステップと、正面画像Ｐ５に基づいて、切羽３から所定の距離離れた物体をマスク処理した第１マスク画像Ｐ６を生成する第１マスク画像生成ステップと、差分画像Ｐ２と、第１マスク画像Ｐ６と、に基づいて、落下物を特定した落下物画像Ｐ１１を生成する落下物画像生成ステップと、を含む（図１５）。

【0110】

これにより、切羽３から所定の距離離れた位置にいる物体（例えば、重機や人）に対してマスク処理をして、落下物として検知しないようにすることができる。一方、切羽３に近い領域の動物体を落下物として検知することができる。そのため、カメラ１１と切羽３との間に物体がある場合でも、落下物を正しく検知することができる。

【0111】

また、カメラ１１をトンネル１の側壁付近に設置することができる。そのため、カメラ１１の画像に重機（掘削機４）が映り込む範囲を小さくすることができる。その結果、切羽３の広い範囲を監視しつつ、落下物を正しく検知することができる。

【実施例0112】

以下、前記した実施例１の落下物検知システム１０による別の実施形態について、図２０を参照しながら説明する。なお、前記実施例１で説明した内容と同一乃至均等な部分の説明については、同一用語又は同一符号を付して説明する。

【0113】

前記実施例１では、掘削機４のアーム部４ａの先端に取り付けられたヘッド部４ｂの両側面に、マグネットシートや着色によってマーカ７を取り付けた（図１，図３など参照）。この場合、摩耗する重機先端のバケットやブレーカには直接マーカ７を取り付けることはできないので、数十cm以上は重機先端から離れた位置になる。

【0114】

そのため、図２０に示すように、掘削機４の向きによっては、カメラ１１の位置と重機角度との関係で、マーカがカメラ１１の死角（死角境界線１１０参照）に入り、マーカが検出できなくなるケースが想定できる。

【0115】

そこで、掘削機４の表面に直接取り付けるマーカではなく、切羽面に投影されるレーザー光によるマーカ８を使用する実施例２について説明する。このマーカ８は、例えば掘削機４のバケットやブレーカなどのヘッド部４ｂの側面に取り付けられたレーザポインタ８１から、切羽３に向けて照射されたレーザー光によって付けられる。

【0116】

切羽３の掘削を行う掘削機４の先端付近の切羽３に付けられたマーカ８であれば、掘削機４の影に隠れて検出不可能となるケースを削減することができる。特に、複数のレーザー光によるマーカ８を、重機先端（バケットやブレーカ）付近の切羽３に付けることで、マーカ８が検出できなくなるケースを大幅に削減することができる。さらに、バケットやブレーカなどの掘削器具のすぐそばの切羽３にマーカ８を付けることで、前記実施例１のようにマーカ７の位置から掘削による崩落箇所の中心位置を換算するという処理を行う必要がなくなり、直接、RGB画像上に投影されたマーカ８の位置から第２マスク画像を生成することができるようになる。

【0117】

ここで、マーカ８を付けるためのレーザポインタ８１を設置する位置は、図示した位置に限定されるものではなく、重機先端が近づく切羽３にレーザー光を照射できる位置であれば、掘削機４の本体の前面など任意の位置に設置することができる。また、カメラ１１のように、トンネル支保工２などに取り付けることもできる。

【0118】

このようなマーカ８を使用した落下物検知システム１０であれば、マーカ８を見失うことがほとんどなくなり、掘削と肌落ちの区別がより正確になることで、より正確に肌落ちなどの落下物の発生に関する情報が得られるようになる。すなわち、掘削機４による掘削作業時にも、重機先端及び意図的に落下させた掘削物を排除しながら落下物を検知することができる。

【0119】

なお、他の構成及び作用効果については、前記実施例１又は他の実施例と略同様であるので説明を省略する。