(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下、本発明に係る切羽監視システムの実施形態について、添付図面を参照して説明する。
【0010】
(第1実施形態)
第1実施形態の切羽監視システムは、
図1を参照すると、切羽を撮影する第1カメラ1a及び第2カメラ1bと、切羽に画像を投影する投影装置2と、切羽監視装置3とを備えている。
【0011】
第1カメラ1a及び第2カメラ1bは、共に切羽全体を撮影可能な位置(例えば、切羽から10〜20m離れた位置)に設置されている。また、第1カメラ1aと第2カメラ1bとは、切羽を異なる角度でそれぞれ撮影可能な位置(例えば、切羽と平行な水平方向に数m離れた位置)にそれぞれ設置されている。なお、第1カメラ1a及び第2カメラ1bとしては、第1カメラ1a及び第2カメラ1bとしては、例えば、CMOSイメージセンサを用いたCMOSカメラ等のデジタルカメラを用いることができる。
【0012】
第1実施形態では、
図2に示すように、切羽の掘削作業に用いる作業機械であるトンネルジャンボ100に第1カメラ1a及び第2カメラ1bを設置させた。トンネルジャンボ100は、切羽と共に移動され、切羽に対する姿勢も容易に制御可能である。従って、切羽と第1カメラ1a及び第2カメラ1bとの相対位置をほぼ同一に保つことができる。なお、第1カメラ1a及び第2カメラ1bは、トンネルの天端や支保工に設置し、切羽の移動と共に付け替えるようにしても良い。
【0013】
投影装置2は、切羽に画像を投影するプロジェクターであり、第1実施形態では、
図2に示すように、切羽の掘削作業に用いる作業機械であるトンネルジャンボ100に設置させた。従って、切羽と投影装置2との相対位置をほぼ同一に保つことができる。
【0014】
切羽監視装置3は、パーソナルコンピュータ等のプログラム制御で動作する情報処理装置であり、
図1を参照すると、制御部4と、撮影条件入力部5と、メッシュデータ記憶部6と、投影画像記憶部7とを備えている。
【0015】
撮影条件入力部5は、キーボード等に入力手段であり、第1カメラ1a及び第2カメラ1bの設置位置に関する設置情報、監視開始指示、監視終了指示等の入力を受け付ける。設置情報は、第1カメラ1a及び第2カメラ1bの画素数と焦点距離、第1カメラ1aと第2カメラ1bとの間隔、第1カメラ1a及び第2カメラ1bのそれぞれの姿勢(ロール角、ピッチ角、ヨー角)等の情報である。なお、第1カメラ1a及び第2カメラ1bのそれぞれの姿勢は、ジャイロ等の測定手段を設けて入力するようにしても良い。
【0016】
制御部4は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備えたマイクロコンピューター等の情報処理部である。ROMには切羽監視装置3の動作制御を行うための制御プログラムが記憶されている。制御部4は、ROMに記憶されている制御プログラムを読み出し、制御プログラムをRAMに展開させることで、点群データ生成部41、メッシュデータ変換部42、メッシュデータ解析部43、投影画像生成部44として機能する。
【0017】
点群データ生成部41は、第1カメラ1a及び第2カメラ1bに対して同時に撮影を指示し、第1カメラ1a及び第2カメラ1bでそれぞれ撮影されたそれぞれの撮影画像を、基準ポイントXと、自動抽出した特徴点とを用いて結合させ、切羽の三次元形状を点群で表す点群データを生成する。点群データ生成部41による点群データを生成は、監視開始指示が入力されると、所定時間毎に実行される。なお、特徴点としては、切羽に存在する岩石の角やき裂等が色や濃淡変化に基づいて自動抽出される。
【0018】
基準ポイントXは、
図3に示すように、投影装置2によって第1カメラ1a及び第2カメラ1bの撮影領域内に位置する天端や側壁に表示されるマークであり、投影時のスケール、角度の調整や、基準点として用いられる。
図3には、十字状の基準ポイントXが天端や側壁の5カ所に投影された例が示されているが、基準ポイントXの形状は適宜設定することができる。半導体メモリ等の記憶手段である投影画像記憶部7には、基準ポイントXがレイアウトされた基準ポイント画像71が記憶されている。なお、基準ポイントXの数や投影位置は、適宜設定可能である。また、基準ポイントXは切羽に投影するようにしても良い。
【0019】
メッシュデータ変換部42は、点群データ生成部41によって生成された点群データをメッシュデータに変換する。なお、メッシュデータは、切羽の三次元形状を複数のポリゴン(面)で表す3Dデータである。
【0020】
メッシュデータ変換部42は、変換したメッシュデータをメッシュデータ解析部43に出力すると共に、監視開始指示の入力時に生成された点群データを変換したメッシュデータは、初期メッシュデータ61として半導体メモリ等の記憶手段であるメッシュデータ記憶部6に記憶させる。
【0021】
メッシュデータ解析部43は、入力されたメッシュデータを解析することで張出箇所を特定すると共に、メッシュデータ記憶部6に初期メッシュデータ61が記憶されている場合、入力されたメッシュデータと初期メッシュデータ61とを比較することで変状箇所を特定し、入力されたメッシュデータと共に、特定した張出箇所及び変状箇所を危険箇所として投影画像生成部44に通知する。
【0022】
張出箇所は、オーバーハングした箇所であり、メッシュデータに基づいて、切羽がひさし状に張り出している箇所が特定される。メッシュデータ解析部43は、メッシュデータに基づいて、下方よりも上方が張り出しているポリゴンと、下側のポリゴンよりも張り出しているポリゴンとを張出箇所として特定する。そして、メッシュデータ解析部43は、特定した張出箇所のそれぞれに対し、張出量に応じた危険レベルを設定する。
【0023】
変状箇所は、入力されたメッシュデータにおいて、初期メッシュデータ61に比べて張り出している箇所が特定される。メッシュデータのポリゴンは、メッシュデータ変換部42において、基準ポイントXに基づいて同じ区割りで生成される。従って、メッシュデータ解析部43は、メッシュデータと初期メッシュデータ61とを対応するポリゴンごとに比較し、初期メッシュデータ61よりもメッシュデータが手前側に変状しているポリゴンを変状箇所として特定する。そして、メッシュデータ解析部43は、特定した変状箇所のそれぞれに対し、変状量に応じた危険レベルを設定する。
【0024】
投影画像生成部44は、入力されたメッシュデータと、特定された張出箇所及び変状箇所に基づき、張出箇所及び変状箇所を通知するメッシュ画像Yを危険箇所通知画像として生成し、生成したメッシュ画像Yを基準ポイント画像71と共に投影装置2によって切羽に投影させる。
図4(a)には、張出箇所のポリゴンを強調することで、張出箇所を通知するメッシュ画像Yの例が示されている。また、
図4(b)には、変状箇所のポリゴンにマークを表示することで、変状箇所を通知するメッシュ画像Yの例が示されている。このように、張出箇所及び変状箇所の通知は、ポリゴンの色や模様、マークの表示等によって、切羽の該当箇所に重ね合わせて行われる。そして、投影画像生成部44は、危険レベルに応じて、色の濃淡、模様の密度、マークの大小等を変化させる。
【0025】
次に、第1実施形態の切羽監視システムの動作について
図5を参照して詳細に説明する。
作業員は、切羽に対してトンネルジャンボ100、すなわち第1カメラ1a、第2カメラ1b及び投影装置2を位置決めすると、撮影条件入力部5から監視開始指示を入力する。
【0026】
制御部4は、監視開始指示の入力を受け付けると(ステップA1)、メッシュデータ記憶部6に記憶されている初期メッシュデータ61を消去する(ステップA2)。
【0027】
次に、制御部4は投影画像生成部44として機能し、投影画像記憶部7に記憶されている基準ポイント画像71を投影装置2によって投影させ、切羽付近の天端や側壁に基準ポイントXを表示させる(ステップA3)。
【0028】
次に、制御部4は点群データ生成部41として機能し、第1カメラ1a及び第2カメラ1bに対して同時に撮影を指示する(ステップA4)。そして、点群データ生成部41は、第1カメラ1a及び第2カメラ1bでそれぞれ撮影された撮影画像を、基準ポイントXと、自動抽出した特徴点とを用いて結合させ、切羽の形状の3Dデータである点群データを生成する(ステップA5)。
【0029】
次に、制御部4はメッシュデータ変換部42として機能し、点群データ生成部41によって生成された点群データをメッシュデータに変換する(ステップA6)。
【0030】
次に、制御部4はメッシュデータ解析部43として機能し、メッシュデータ記憶部6に初期メッシュデータ61が記憶されているか否かを判断する(ステップA7)。
【0031】
ステップA7でメッシュデータ記憶部6に初期メッシュデータ61が記憶されていない場合、メッシュデータ解析部43は、ステップA6で変換したメッシュデータをメッシュデータ記憶部6に初期メッシュデータ61として記憶させると共に(ステップA8)、ステップA6で変換したメッシュデータを解析することで張出箇所を特定する(ステップA9)。
【0032】
次に、制御部4は投影画像生成部44として機能し、ステップA6で変換したメッシュデータと、ステップA9で特定して張出箇所に基づき、張出箇所を通知するメッシュ画像Yを生成する(ステップA10)。そして、投影画像生成部44は、生成したメッシュ画像Yを基準ポイント画像71と共に投影装置2によって切羽に投影させる(ステップA11)。
【0033】
次に、制御部4は予め設定された所定時間Tをカウントし、所定時間Tが経過すると(ステップA12)、ステップA4に戻って、点群データ生成部41として第1カメラ1a及び第2カメラ1bに対して同時に撮影を指示する。なお、メッシュ画像Yの投影後に、第1カメラ1a及び第2カメラ1bによって切羽を撮影する場合には、メッシュ画像Yの投影を一旦停止させると良い。この場合には、基準ポイント画像71のみが表示された同じ条件での撮影を行うことができ、好適である。
【0034】
ステップA7でメッシュデータ記憶部6に初期メッシュデータ61が記憶されている場合、メッシュデータ解析部43は、ステップA6で変換したメッシュデータと初期メッシュデータ61とを比較することで変状箇所を特定する(ステップA13)。
【0035】
次に、制御部4は投影画像生成部44として機能し、ステップA6で変換したメッシュデータと、ステップA9で特定して張出箇所と、ステップA13で特定した変状箇所とに基づき、張出箇所及び変状箇所を通知するメッシュ画像Yを生成する(ステップA14)。そして、投影画像生成部44は、生成したメッシュ画像Yを基準ポイント画像71と共に投影装置2によって切羽に投影させ(ステップA15)、ステップA12に至る。以降、撮影条件入力部5から監視終了指示の入力を受け付けるまで、ステップA4〜ステップA15の処理が繰り返されることになる。
【0036】
なお、制御部4は、第1カメラ1aもしくは第2カメラ1bで撮影された撮影画像に基づいて、色や濃淡変化に基づいて浮き石がある箇所、岩質が異なる箇所、断層や層理面がある箇所を特定し、これらの箇所も危険箇所として通知するメッシュ画像Yを生成するようにしても良い。また、「亀裂の開口幅が徐々に広がっていく」、「岩石がぐらついている」、「湧水がにじみ出ている」といった切羽の見た目の変化を画像解析によって捉えた場合も、該当箇所を危険箇所として通知するメッシュ画像Yを生成するようにしても良い。さらに、点群データ生成部41は、3以上の撮影画像から点群データを生成するようにしても良い。
【0037】
以上説明したように、第1実施形態は、切羽を撮影する第1カメラ1aと、第1カメラ1aとは異なる角度で切羽を撮影する第2カメラ1bと、第1カメラ1a及び第2カメラ1bでそれぞれ撮影されたそれぞれの撮影画像に基づいて、切羽の三次元形状を点群で表す点群データを生成する点群データ生成部41と、点群データを、切羽の三次元形状をポリゴンで表すメッシュデータに変換するメッシュデータ変換部42と、メッシュデータを解析することで、危険箇所を特定するメッシュデータ解析部43と、危険箇所を通知する危険箇所通知画像としてメッシュ画像Yを生成する投影画像生成部44と、メッシュ画像Yを切羽に投影する投影装置2と、を備えている。
この構成により、切羽に投影されるメッシュ画像Yによって危険箇所を通知することができるため、切羽を視認可能な切羽近傍の作業員が常に危険箇所を認識することができ、作業効率を向上させることができる。
【0038】
さらに、第1実施形態において、危険箇所の通知は、メッシュ画像Yの投影によって切羽の該当箇所にポリゴンの色や模様、マークの表示等で重ね合わせて行われる。
この構成により、切羽に投影されるメッシュ画像Yによって危険箇所を簡単に把握することができる。
【0039】
さらに、第1実施形態において、投影装置2は、第1カメラ1a及び第2カメラ1bの撮影領域内に基準ポイントXを表示させ、点群データ生成部41は、第1カメラ1a及び第2カメラ1bでそれぞれ撮影されたそれぞれの撮影画像を、基準ポイントXと、自動抽出した特徴点とを用いて結合させ、点群データを生成する。
この構成により、投影された基準ポイントXによってそれぞれの撮影画像を正確に結合させることができ、切羽の三次元形状を正確に表す点群データを生成することができる。
【0040】
さらに、第1実施形態において、前記メッシュデータ解析部は、前記メッシュデータに基づいて張り出している前記ポリゴンを危険箇所(張出箇所)として特定する。
この構成により、オーバーハングして崩落の危険性が高い張出箇所を通知することができる。
【0041】
さらに、第1実施形態において、基準となるメッシュデータを初期メッシュデータ61として記憶するメッシュデータ記憶部6を具備し、メッシュデータ解析部43は、比較するメッシュデータにおいて初期メッシュデータ61よりも手前側に変状しているポリゴンを危険箇所(変状箇所)として特定する。
この構成により、切羽が手前側に変状した崩落の危険性が高い変状箇所を通知することができる。
【0042】
さらに、第1実施形態において、第1カメラ1a、第2カメラ1b及び投影装置2は、切羽の掘削作業に用いる作業機械であるトンネルジャンボ100に設置されている。
この構成により、トンネルジャンボ100を切羽に対して位置決めすることが、簡単に第1カメラ1a、第2カメラ1b及び投影装置2も位置決めされる。
(第2実施形態)
第2実施形態の切羽監視システムは、
図6を参照すると、切羽を撮影する1台の第1カメラ1aと、切羽に画像を投影する投影装置2と、切羽監視装置3aとを備えている。以下、第1実施形態と同一の構成については、同一符号を付して適宜説明を省略する。
【0043】
切羽監視装置3aは、パーソナルコンピュータ等のプログラム制御で動作する情報処理装置であり、
図6を参照すると、制御部4aと、解析条件入力部8と、監視領域記憶部9と、危険箇所入力部10とを備えている。
【0044】
制御部4aは、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備えたマイクロコンピューター等の情報処理部である。ROMには切羽監視装置3aの動作制御を行うための制御プログラムが記憶されている。制御部4aは、ROMに記憶されている制御プログラムを読み出し、制御プログラムをRAMに展開させることで、画像解析部45、監視領域解析部46、投影画像生成部44として機能する。
【0045】
解析条件入力部8は、キーボード等に入力手段であり、第1カメラ1aによって撮像された撮影画像から解析によって抽出する監視領域の設定、監視開始指示、監視終了指示等の入力を受け付ける。解析条件入力部8は、例えば、亀裂が走っている「亀裂領域A」、岩が浮いている「浮岩領域B」、湧水がにじみ出ている「湧水領域C」等を監視領域として受け付ける。
【0046】
画像解析部45は、第1カメラ1aによって撮像された撮影画像を解析することで、解析条件入力部8によって受け付けられた監視領域を抽出する。「亀裂領域A」、「浮岩領域B」、「湧水領域C」が監視領域として受けられている場合、画像解析部45は、
図7に示すように、例えば、線状に延びる影を「亀裂領域A」として、環状の影を「浮岩領域B」として、輝度分散値が高い箇所を「湧水領域C」としてそれぞれ抽出する。
【0047】
画像解析部45は、抽出した監視領域を監視領域解析部46に出力すると共に、監視開始指示の入力時に抽出した監視領域は、初期監視領域91として半導体メモリ等の記憶手段である監視領域記憶部9に記憶させる。
【0048】
監視領域解析部46は、入力された監視領域の中から危険箇所を特定すると共に、監視領域記憶部9に初期監視領域91が記憶されている場合、入力された監視領域と初期監視領域91とを比較することで危険箇所を特定し、特定した危険箇所を投影画像生成部44に通知する。
【0049】
例えば、監視領域(「亀裂領域A」、「浮岩領域B」、「湧水領域C」)の面積が予め設定された閾面積以上である場合や、監視領域(「亀裂領域A」)の長さが予め設定された閾長さ以上である場合に、監視領域解析部46は、危険箇所として特定する。
【0050】
また、入力された監視領域と初期監視領域91との比較において、例えば、
図7(a)に対する
図7(b)のように、監視領域(「亀裂領域A」、「湧水領域C」)の面積が拡がっている場合や、監視領域(「亀裂領域A」)の長さが伸びている場合や、監視領域「浮岩領域B」が移動している場合に、監視領域解析部46は、危険箇所として特定する。
【0051】
危険箇所入力部10は、切羽において危険箇所とする領域を受け付けるタッチパネル等の入力手段である。作業員は、目視によって切羽に危険個所を発見すると、危険箇所入力部10によって危険箇所とする領域を入力する。
【0052】
投影画像生成部44は、監視領域解析部46によって特定された危険箇所と、危険箇所入力部10によって受け付けた危険箇所とを通知する危険箇所通知画像を生成し、生成した危険箇所通知画像を投影装置2によって切羽に投影させる。なお、切羽に投影させる危険箇所通知画像は、危険箇所を色や模様で強調させる画像であり、切羽の該当箇所に重ね合わせて行われる。また、監視領域毎に異なる色や模様を用いても良い。さらに、監視領域の面積、長さ、移動量の程度に応じて危険レベルを設定させ、投影画像生成部44は、危険レベルに応じて、色の濃淡、模様の密度等を変化させても良い。
【0053】
次に、第2実施形態の切羽監視システムの動作について
図8を参照して詳細に説明する。
作業員は、切羽に対してトンネルジャンボ100、すなわち第1カメラ1a及び投影装置2を位置決めすると、解析条件入力部8から監視開始指示を入力する。
【0054】
制御部4aは、監視開始指示の入力を受け付けると(ステップB1)、メッシュデータ記憶部6に記憶されている初期メッシュデータ61を消去する(ステップB2)。
【0055】
次に、制御部4aは画像解析部45として機能し、第1カメラ1aに対して撮影を指示する(ステップB3)。そして、画像解析部45は、第1カメラ1aで撮影された撮影画像を解析することで、解析条件入力部8からの入力によって設定された監視領域を抽出する(ステップB4)。
図7(a)、(b)には、「亀裂領域A」と、「浮岩領域B」と、「湧水領域C」とが監視領域として抽出された例が示されている。
【0056】
次に、画像解析部45は、監視領域記憶部9に初期監視領域91が記憶されているか否かを判断する(ステップB5)。
【0057】
ステップB5で監視領域記憶部9に初期監視領域91が記憶されていない場合、画像解析部45は、ステップB4で抽出した監視領域を監視領域記憶部9に初期監視領域91として記憶させる(ステップB6)。
【0058】
次に、制御部4aは監視領域解析部46として機能し、入力された監視領域の中から危険箇所を特定する(ステップB7)。
【0059】
次に、制御部4aは投影画像生成部44として機能し、監視領域解析部46によって特定された危険箇所を通知する危険箇所通知画像を生成する(ステップB8)。そして、投影画像生成部44とは、生成した危険箇所通知画像を投影装置2によって切羽に投影させる(ステップ9)。
【0060】
次に、制御部4aは予め設定された所定時間Tをカウントし、所定時間Tが経過すると(ステップB10)、ステップB3に戻って、点群データ生成部41として第1カメラ1aに対して撮影を指示する。なお、危険箇所通知画像の投影後に、第1カメラ1aによって切羽を撮影する場合には、危険箇所通知画像の投影を一旦停止させると良い。この場合、同じ条件での撮影を行うことができ、好適である。
【0061】
ステップB5で監視領域記憶部9に初期監視領域91が記憶されている場合、監視領域解析部46は、ステップB4で抽出した監視領域と初期監視領域91とを比較することで危険箇所を特定し(ステップB11)、ステップB8に至る。以降、解析条件入力部8から監視終了指示の入力を受け付けるまで、ステップB3〜ステップB11の処理が繰り返されることになる。
【0062】
以上説明したように、第2実施形態は、切羽を撮影する第1カメラ1aと、第1カメラ1aで撮影された撮影画像を解析することで、監視領域(「亀裂領域A」、「浮岩領域B」、「湧水領域C」を抽出する画像解析部45と、監視領域を解析することで危険箇所を特定する監視領域解析部46と、危険箇所を通知する危険箇所通知画像を生成する投影画像生成部44と、危険箇所通知画像を切羽に投影する投影装置2と、を備えている。
この構成により、第1実施形態と同様に、切羽に投影される危険箇所通知画像によって危険箇所を通知することができるため、切羽を視認可能な切羽近傍の作業員が常に危険箇所を認識することができ、作業効率を向上させることができる。なお、第1実施形態では、切羽の変状を定量的に捉えることができるのに対し、第2実施形態では、定性的に変化を捉えることになるが、解析対象の撮影画像が1枚であるため、演算処理に要する時間を短縮することができる。
【0063】
さらに、第2実施形態において、基準となる監視領域を初期監視領域91として記憶する監視領域記憶部9を具備し、監視領域解析部46は、画像解析部45によって抽出された監視領域と初期監視領域91とを比較することで、危険箇所を特定する。
この構成により、変化のあった監視箇所を危険箇所として通知することができる。
【0064】
また、第2実施形態は、切羽において危険箇所とする領域を受け付ける危険箇所入力部10と、危険箇所を通知する危険箇所通知画像を生成する投影画像生成部44と、危険箇所通知画像を切羽に投影する投影装置2と、を備えている。
この構成により、作業員が発見した危険箇所を危険箇所通知画像として切羽に投影させることができ、切羽を視認可能な切羽近傍の作業員が常に危険箇所を認識することができ、作業効率を向上させることができる。
【0065】
以上、本発明を、実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせ等にいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。