(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023034740
(43)【公開日】2023-03-13
(54)【発明の名称】切羽評価支援装置、及び、切羽評価支援方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230306BHJP
E21D 9/00 20060101ALI20230306BHJP
【FI】
G06T7/00 610Z
G06T7/00 350B
E21D9/00 Z
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2021141107
(22)【出願日】2021-08-31
(71)【出願人】
【識別番号】591063486
【氏名又は名称】一般財団法人先端建設技術センター
(71)【出願人】
【識別番号】506332605
【氏名又は名称】基礎地盤コンサルタンツ株式会社
(71)【出願人】
【識別番号】592161372
【氏名又は名称】NSW株式会社
(71)【出願人】
【識別番号】713005141
【氏名又は名称】株式会社想画
(71)【出願人】
【識別番号】303057365
【氏名又は名称】株式会社安藤・間
(71)【出願人】
【識別番号】000001373
【氏名又は名称】鹿島建設株式会社
(71)【出願人】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(71)【出願人】
【識別番号】000166432
【氏名又は名称】戸田建設株式会社
(74)【代理人】
【識別番号】100214260
【弁理士】
【氏名又は名称】相羽 昌孝
(74)【代理人】
【識別番号】100139114
【弁理士】
【氏名又は名称】田中 貞嗣
(74)【代理人】
【識別番号】100139103
【弁理士】
【氏名又は名称】小山 卓志
(74)【代理人】
【識別番号】100119220
【氏名又は名称】片寄 武彦
(72)【発明者】
【氏名】吉川 正
(72)【発明者】
【氏名】山本 拓治
(72)【発明者】
【氏名】橋立 健司
(72)【発明者】
【氏名】三木 茂
(72)【発明者】
【氏名】野村 貴律
(72)【発明者】
【氏名】田中 統蔵
(72)【発明者】
【氏名】鶴田 亮介
(72)【発明者】
【氏名】辰巳 順一
(72)【発明者】
【氏名】宮嶋 保幸
(72)【発明者】
【氏名】白鷺 卓
(72)【発明者】
【氏名】金岡 幹
(72)【発明者】
【氏名】垣見 康介
(72)【発明者】
【氏名】小島 英郷
(72)【発明者】
【氏名】上岡 真也
(72)【発明者】
【氏名】高橋 浩
(72)【発明者】
【氏名】杉山 崇
(72)【発明者】
【氏名】辻川 泰人
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA02
5L096AA06
5L096AA09
5L096BA03
5L096CA05
5L096EA02
5L096EA05
5L096EA39
5L096FA06
5L096FA32
5L096FA59
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096GA32
5L096GA34
5L096GA40
5L096GA51
5L096HA11
5L096KA04
5L096KA11
5L096MA07
(57)【要約】
【課題】切羽の評価に際して評価品質を向上させることを可能とする切羽評価支援装置を提供する。
【解決手段】切羽評価支援装置4は、トンネルの切羽を含む対象領域が撮影された画像データを取得する画像データ取得部11と、三次元形状が計測された点群データを取得する点群データ取得部12と、画像データ及び点群データに基づいて、切羽を評価する切羽評価部13と、切羽評価部13による評価結果に基づいて、支援情報を出力する支援情報出力部14とを備える。切羽評価部13は、対象領域から切羽に対応する切羽領域を抽出する切羽抽出部130と、点群データに基づいて切羽領域における切羽面のラフネスをラフネス特徴量として数値化するラフネス数値化部131と、ラフネス特徴量の代表値の分布に基づいて、切羽領域を区分領域に区分する領域区分部132と、区分領域毎に、切羽に関する観察項目を評価結果として評価する区分領域評価処理部133とを備える。
【選択図】
図4
【特許請求の範囲】
【請求項1】
トンネルの切羽を含む対象領域が撮影された画像データを取得する画像データ取得部と、
前記対象領域の三次元形状が計測された点群データを取得する点群データ取得部と、
前記画像データ及び前記点群データに基づいて、前記切羽を評価する切羽評価部と、
前記切羽評価部による評価結果に基づいて、支援情報を出力する支援情報出力部とを備え、
前記切羽評価部は、
前記画像データ及び前記点群データの少なくとも一方に基づいて、前記対象領域から前記切羽に対応する切羽領域を抽出する切羽抽出部と、
前記点群データに基づいて、前記切羽領域に対して複数の走査方向に設定された複数の走査線に沿って前記切羽領域における切羽面のラフネスをラフネス特徴量として数値化するラフネス数値化部と、
複数の前記走査線が交差する各交点に対して前記ラフネス特徴量の代表値を求め、前記交点毎の前記代表値の分布に基づいて、前記切羽領域を区分領域に区分する領域区分部と、
前記領域区分部により前記切羽領域が区分された区分領域毎に、前記切羽に関する観察項目を前記評価結果として評価する区分領域評価処理部とを備える、
切羽評価支援装置。
【請求項2】
前記区分領域評価処理部は、
前記切羽領域に対応する前記点群データから構成される三角網の各法線ベクトルを前記区分領域毎にステレオネットに極投影し、
前記ステレオネット上に極投影されたプロットの分布に基づいて、前記切羽面において卓越する割れ目の走向傾斜を示す割れ目卓越方向を前記区分領域毎に判定する割れ目卓越方向判定部を備える、
請求項1に記載の切羽評価支援装置。
【請求項3】
前記ラフネス数値化部は、
前記ラフネス特徴量として、前記切羽領域に対応する前記点群データを複数の前記走査線に沿って周期関数によりそれぞれ近似したときのラフネス近似モデルの振幅値及び波長を数値化し、
前記区分領域評価処理部は、
前記振幅値及び前記波長に基づいて、前記切羽面を構成する岩石の種別を示す岩石グループを前記区分領域毎に判定する岩石グループ判定部を備える、
請求項1又は請求項2に記載の切羽評価支援装置。
【請求項4】
前記区分領域評価処理部は、
前記区分領域に対応する前記画像データに対してエッジを検出するエッジ検出処理を行い、
前記エッジ検出処理により検出された前記エッジのエッジ密度に基づいて、前記エッジ密度と割れ目間隔との関係が定められた対応関係情報を参照することにより、前記割れ目間隔を前記区分領域毎に判定する割れ目間隔判定部を備える、
請求項1乃至請求項3のいずれか一項に記載の切羽評価支援装置。
【請求項5】
前記ラフネス数値化部は、
前記ラフネス特徴量として、前記切羽領域に対応する前記点群データを複数の前記走査線に沿って周期関数によりそれぞれ近似したときのラフネス近似モデルの波長を数値化し、
前記区分領域評価処理部は、
前記ラフネス近似モデルに近似したときの前記走査線の前記走査方向に応じた前記波長の特性に基づいて、割れ目形態を前記区分領域毎に判定する割れ目形態判定部を備える、
請求項1乃至請求項4のいずれか一項に記載の切羽評価支援装置。
【請求項6】
前記区分領域評価処理部は、
前記区分領域に対応する前記画像データを、前記切羽が撮影された学習用画像データと、当該切羽に対して前記観察項目に関する評価区分が付与された正解ラベルとを含む教師データにより機械学習が行われた機械学習モデルに入力することにより、前記評価区分を前記区分領域毎に推論する評価区分推論部を備える、
請求項1乃至請求項5のいずれか一項に記載の切羽評価支援装置。
【請求項7】
前記切羽評価部は、
前記点群データに基づいて、前記切羽面上に連続して形成された連続性割れ目を検出する第1の連続性割れ目検出部を備え、
前記第1の連続性割れ目検出部は、
前記切羽領域に対応する前記点群データから構成される三角網の各辺から、共通の前記辺を含む2つの三角形の法線ベクトルがなす角度に基づいて前記連続性割れ目の一部をなすエッジの候補を抽出し、前記候補同士の連続性を判定することにより、前記切羽領域に存在する前記連続性割れ目を検出する、
請求項1乃至請求項6のいずれか一項に記載の切羽評価支援装置。
【請求項8】
前記切羽評価部は、
前記画像データに基づいて、前記切羽面上に連続して形成された連続性割れ目を検出する第2の連続性割れ目検出部を備え、
前記第2の連続性割れ目検出部は、
前記切羽領域に対応する前記画像データを、前記切羽が撮影された学習用画像データと、当該切羽に形成された前記連続性割れ目に対して付与された正解ラベルとを含む教師データにより機械学習が行われた機械学習モデルに入力することにより、前記切羽領域に存在する前記連続性割れ目を検出する、
請求項1乃至請求項7のいずれか一項に記載の切羽評価支援装置。
【請求項9】
前記区分領域評価処理部は、
前記切羽領域に対応する前記点群データから構成される三角網の各法線ベクトルを前記区分領域毎にステレオネットに極投影し、
前記ステレオネット上に極投影されたプロットの分布に基づいて、前記切羽面において卓越する割れ目の走向傾斜を示す割れ目卓越方向を前記区分領域毎に判定する割れ目卓越方向判定部を備え、
前記切羽評価部は、
前記画像データ及び前記点群データに基づいて、前記切羽面上に連続して形成された連続性割れ目を検出する第3の連続性割れ目検出部を備え、
前記第3の連続性割れ目検出部は、
前記切羽領域に対応する前記画像データに対してエッジを検出するエッジ検出処理を行い、
前記エッジ検出処理により検出された前記エッジを、前記割れ目卓越方向判定部により判定された前記区分領域毎の前記割れ目卓越方向にフィッティングすることにより、前記切羽領域に存在する前記連続性割れ目を検出する、
請求項1乃至請求項8のいずれか一項に記載の切羽評価支援装置。
【請求項10】
前記切羽評価部は、
前記画像データに基づいて、前記対象領域に存在する人工物を検出する人工物検出部を備え、
前記人工物検出部は、
前記画像データを、前記切羽領域に対応する前記画像データと、前記切羽領域以外に対応する前記画像データとに分けて、前記切羽が撮影された学習用画像データと、当該切羽又はその周囲に設置された人工物に対して付与された正解ラベルとを含む教師データにより機械学習が行われた機械学習モデルにそれぞれ入力することにより、前記切羽領域に存在する前記人工物と、前記切羽領域以外に存在する前記人工物とをそれぞれ検出する、
請求項1乃至請求項9のいずれか一項に記載の切羽評価支援装置。
【請求項11】
前記区分領域評価処理部は、
前記切羽領域に対応する前記点群データから構成される三角網の各法線ベクトルを前記区分領域毎にステレオネットに極投影し、
前記ステレオネット上に極投影されたプロットの分布に基づいて、前記切羽面において卓越する割れ目の走向傾斜を示す割れ目卓越方向を前記区分領域毎に判定する割れ目卓越方向判定部を備え、
前記切羽評価部は、
前記点群データに基づいて、前記肌落ち危険個所を予測する第1の肌落ち危険箇所予測部を備え、
前記第1の肌落ち危険箇所予測部は、
前記割れ目卓越方向判定部により判定された前記区分領域毎の前記割れ目卓越方向をステレオネットに大円投影し、
少なくとも三方向に延びる前記割れ目卓越方向により閉多角形が形成された場合、当該閉多角形に対応する前記切羽の範囲を、前記肌落ち危険個所として予測する、
請求項1乃至請求項10のいずれか一項に記載の切羽評価支援装置。
【請求項12】
前記切羽評価部は、
前記画像データに基づいて、前記肌落ち危険個所を予測する第2の肌落ち危険箇所予測部と、
前記第1の肌落ち危険箇所予測部による予測結果と、前記第2の肌落ち危険箇所予測部による予測結果とに基づいて、前記肌落ち危険箇所を予測する肌落ち危険箇所評価部とを備え、
前記第2の肌落ち危険箇所予測部は、
前記切羽領域に対応する前記画像データを、前記切羽が撮影された学習用画像データと、当該切羽における前記肌落ち危険個所に対して付与された正解ラベルとを含む教師データにより機械学習が行われた機械学習モデルに入力することにより、前記肌落ち危険個所を予測し、
前記肌落ち危険箇所評価部は、
前記第1の肌落ち危険箇所予測部により予測された前記肌落ち危険箇所と、前記第2の肌落ち危険箇所予測部により予測された前記肌落ち危険箇所とを比較し、その比較結果として一致度が高い前記肌落ち危険箇所に対して前記危険性が高いと判定する、
請求項11に記載の切羽評価支援装置。
【請求項13】
前記画像データ取得部は、
前記画像データとして、前記切羽とともに、所定の白黒模様を有する色見本とを含む前記対象領域がカラーにより撮影されたカラー画像データに対して色補正を行う色補正部を備え、
前記色補正部は、
前記カラー画像データをグレースケール画像に変換し、当該グレースケール画像を構成する全画素を明るさ順に並べたときの中間に位置する画素の明るさを明るさ中間値として求め、
前記全画素を、前記明るさ中間値よりも高い明るさを有する画素からなる高明度画素群と、前記明るさ中間値以下の明るさを有する画像からなる低明度画素群とに分類し、
前記色見本の白部分に相当する画素群に対して、RGBの3成分の平均値をそれぞれ求め、前記各平均値のうちの最大値を選択し、当該最大値と前記各平均値との各差分値を、前記高明度画素群に対する補正値として、前記高明度画素群の前記各画素に前記3成分別に加算することにより、前記高明度画素群を色補正し、
前記色見本の黒部分に相当する画素群に対して、前記3成分の平均値をそれぞれ求め、前記各平均値のうちの最小値を選択し、当該最小値と前記各平均値との各差分値を、前記低明度画素群に対する補正値として、前記低明度画素群の前記各画素から前記3成分別に減算することにより、前記低明度画素群を色補正する、
請求項1乃至請求項12のいずれか一項に記載の切羽評価支援装置。
【請求項14】
トンネルの切羽を含む対象領域が撮影された画像データを取得する画像データ取得工程と、
前記対象領域の三次元形状が計測された点群データを取得する点群データ取得工程と、
前記画像データ及び前記点群データに基づいて、前記切羽を評価する切羽評価工程と、
前記切羽評価工程による評価結果に基づいて、支援情報を出力する支援情報出力工程とを備え、
前記切羽評価工程は、
前記画像データ及び前記点群データの少なくとも一方に基づいて、前記対象領域から前記切羽に対応する切羽領域を抽出する切羽抽出工程と、
前記点群データに基づいて、前記切羽領域に対して複数の走査方向に設定された複数の走査線に沿って前記切羽領域における切羽面のラフネスをラフネス特徴量として数値化するラフネス数値化工程と、
複数の前記走査線が交差する各交点に対して前記ラフネス特徴量の代表値を求め、前記交点毎の前記代表値の分布に基づいて、前記切羽領域を区分領域に区分する領域区分工程と、
前記領域区分工程により前記切羽領域が区分された区分領域毎に、前記切羽に関する観察項目を前記評価結果として評価する領域評価処理工程とを備える、
切羽評価支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、切羽評価支援装置、及び、切羽評価支援方法に関する。
【背景技術】
【0002】
トンネル工事の安全性や作業性を確保するため、トンネルの切羽面の状態は適切に評価することが要求される。従来、専門技術者が切羽を目視観察し、その観察結果のスケッチ記録等が行われていたが、専門技術者の不足に対応するとともに、観察結果の品質確保を図るべく、近年、切羽を撮影した画像データ(写真)や、切羽の三次元形状を計測した点群データを用いた切羽評価装置の開発が行われている。
【0003】
例えば、特許文献1には、切羽の岩盤が撮像された撮像画像に基づいて、風化変質の評価区分を導出する岩盤の風化変質評価装置が開示されている。また、特許文献2には、トンネルの切羽面の3次元立体情報が計測された点群データに基づいて、岩盤に発達する亀裂を評価する亀裂評価装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2019-184541号公報
【特許文献2】特開2018-181271号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1及び特許文献2に開示された装置では、画像データ及び点群データをそれぞれ用いて切羽を評価しているため、画像データ及び点群データを個別に評価しただけでは切羽の評価に際して評価品質の向上には限界がある。例えば、画像データには、切羽以外にも支保や路盤部等が撮影されているため、画像データ上で、切羽の領域と、切羽以外の領域とを分離する処理が必要となり、その処理が不十分な場合には、切羽の評価品質を低下させる可能性がある。また、切羽には、特徴が異なる複数の岩盤が含まれている場合があり、これらの岩盤を区分せずに各種の観察項目について評価した場合、切羽の状態が適切に評価されない可能性もある。
【0006】
本発明は、上述した課題に鑑みてなされたものであって、切羽の評価に際して評価品質を向上させることを可能とする切羽評価支援装置、及び、切羽評価支援方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の一態様に係る切羽評価支援装置は、
トンネルの切羽を含む対象領域が撮影された画像データを取得する画像データ取得部と、
前記対象領域の三次元形状が計測された点群データを取得する点群データ取得部と、
前記画像データ及び前記点群データに基づいて、前記切羽を評価する切羽評価部と、
前記切羽評価部による評価結果に基づいて、支援情報を出力する支援情報出力部とを備え、
前記切羽評価部は、
前記画像データ及び前記点群データの少なくとも一方に基づいて、前記対象領域から前記切羽に対応する切羽領域を抽出する切羽抽出部と、
前記点群データに基づいて、前記切羽領域に対して複数の走査方向に設定された複数の走査線に沿って前記切羽領域における切羽面のラフネスをラフネス特徴量として数値化するラフネス数値化部と、
複数の前記走査線が交差する各交点に対して前記ラフネス特徴量の代表値を求め、前記交点毎の前記代表値の分布に基づいて、前記切羽領域を区分領域に区分する領域区分部と、
前記領域区分部により前記切羽領域が区分された区分領域毎に、前記切羽に関する観察項目を前記評価結果として評価する区分領域評価処理部とを備える。
【発明の効果】
【0008】
本発明の一態様に係る切羽評価支援装置によれば、切羽抽出部が、画像データ及び点群データの少なくとも一方に基づいて、切羽に対応する切羽領域を抽出し、ラフネス数値化部が、点群データに基づいて、切羽領域における切羽面のラフネスをラフネス特徴量として数値化し、領域区分部が、ラフネス特徴量の分布に基づいて、切羽領域を区分領域に区分し、区分領域評価処理部が、切羽に関する観察項目を区分領域毎に評価する。そのため、切羽に対応する領域が区分領域に区分され、切羽に関する観察項目が区分領域毎に評価される。したがって、切羽の評価に際して評価品質を向上させることができる。
【0009】
上記以外の課題、構成及び効果は、後述する発明を実施するための形態にて明らかにされる。
【図面の簡単な説明】
【0010】
【
図1】切羽評価支援システム1の一例を示す全体図である。
【
図2】切羽評価支援システム1で処理されるデータの一例を示し、(a)画像データ、(b)点群データを示す図である。
【
図3】切羽評価支援装置4の一例を示すブロック図である。
【
図4】切羽評価支援装置4の一例を示す機能説明図である。
【
図5】色補正部110による色補正処理の一例を示すフロチャートである。
【
図6】点群データから切羽領域101を抽出する第1の切羽抽出処理の一例を示す説明図である。
【
図7】画像データから切羽領域101を抽出する第2の切羽抽出処理の一例を示す説明図である。
【
図8】ラフネス数値化部131によるラフネス数値化処理の一例を示す説明図である。
【
図9】領域区分部132による領域区分処理の一例を示す説明図である。
【
図10】割れ目卓越方向判定部133Aによる割れ目卓越方向の判定処理の一例を示す説明図である。
【
図11】岩石グループ判定部133Bによる岩石グループの判定処理の一例を示す説明図である。
【
図12】割れ目間隔判定部133Cによる割れ目間隔の判定処理の一例を示す説明図である。
【
図13】割れ目形態判定部133Dによる割れ目形態の判定処理の一例を示す説明図である。
【
図14】評価区分推論部133Eによる観察項目に関する評価区分の推論処理の一例を示す説明図である。
【
図15】第1の連続性割れ目検出部134Aによる連続性割れ目の判定処理の一例を示す説明図である。
【
図16】第2の連続性割れ目検出部134Bによる連続性割れ目の判定処理の一例を示す説明図である。
【
図17】第3の連続性割れ目検出部134Cによる連続性割れ目の判定処理の一例を示す説明図である。
【
図18】人工物検出部134Dによる人工物の検出処理の一例を示す説明図である。
【
図19】肌落ち危険個所の予測処理の一例を示す説明図である。
【
図20】切羽観察シート情報15の印刷出力例である切羽観察シート150を示す図である。
【
図21】切羽スケッチ情報16の画面表示例である切羽スケッチ画面160を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明を実施するための実施形態について説明する。以下では、本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。
【0012】
図1は、切羽評価支援システム1の一例を示す全体図である。
図2は、切羽評価支援システム1で処理されるデータの一例を示し、(a)画像データ、(b)点群データを示す図である。
【0013】
切羽評価支援システム1は、トンネルの現場にて切羽Fの状態を観察し、評価するために用いられるシステムである。切羽評価支援システム1は、その主要な構成要素として、画像撮影装置2と、三次元形状計測装置3と、切羽評価支援装置4と、作業者端末装置5と、管理者端末装置6とを備える。各装置2~6は、有線又は無線のネットワーク7に接続されて、各種のデータを相互に送受信可能に構成される。なお、各装置2~6の数は、複数でもよいし、ネットワーク7の構成は、
図1の例に限られない。
【0014】
画像撮影装置2は、トンネルの切羽Fを含む対象領域100を撮影する装置であり、例えば、カラーのイメージセンサを有するデジタルカメラ等で構成される。画像撮影装置2は、例えば、現場作業者により操作されて、所定の撮影条件(撮影位置、色見本20の設置位置、照明等)にて対象領域100を撮影することで、各画素に対してRGBの3成分に対する画素値をそれぞれ記録したカラー画像データを生成する。カラー画像データは、ネットワーク7又は記録媒体等を介して切羽評価支援装置4に送られる。
【0015】
画像撮影装置2は、三脚等により路盤部に設置されて使用されるものであるが、例えば、工事用の機械類若しくは車両又はドローン、無人航空機(UAV)、気球等の飛行体等に取り付けられてもよいし、遠隔で操作されるものでもよい。また、画像撮影装置2は、カラー画像データに代えて、グレースケールの画像データを生成するものでもよい。本実施形態では、画像撮影装置2は、カラー画像データを生成し、後述の色補正部110により色補正を行う場合について説明し、以下では、カラー画像データを「画像データ」と略して記載する。
【0016】
画像データには、切羽Fだけでなく、支保や路盤部も撮影される。また、画像データを撮影する際、
図2(a)に示すように、切羽Fの手前付近に色見本20が設置された状態で撮影するため、画像データには、色見本20も撮影される。
【0017】
色見本20は、白黒2色で構成された所定の白黒模様を有し、例えば、左右方向に黒色、白色(上下に黒縁を有する)・黒色の並びで配置された3つの矩形領域(面積はそれぞれ同程度)で構成される。色見本20は、天地が反転した状態でも同じ模様になるように、点対称や線対称の模様が採用される。また、色見本20は、白黒だけの模様であるため、例えば、プリンタ(カラー印刷非対応でも可)により白紙のコピー用紙や印画紙(A3、B4、A4サイズ等)に黒部分の模様を印刷し、黒板、白板、段ボール等の台紙に貼り付けることで、簡易に作製することができる。
【0018】
三次元形状計測装置3は、トンネルの切羽Fを含む対象領域100の三次元形状を計測する装置であり、例えば、レーザや超音波を用いた測距センサ、ステレオカメラ等で構成される。三次元形状計測装置3は、所定の計測条件(計測位置等)にて対象領域100を計測することで、トンネル軸(z軸)の方向に対して対象領域100の各位置までの距離(深度)をそれぞれ記録した点群データを生成する。点群データは、ネットワーク7又は記録媒体等を介して切羽評価支援装置4に送られる。
【0019】
三次元形状計測装置3は、三次元形状を計測する方式として、アクティブ方式及びパッシブ方式のいずれでもよい。画像撮影装置2及び三次元形状計測装置3は、一体的に構成されていてもよく、例えば、画像データ及び点群データの両方を生成可能なRGB-D(Red Green Blue Depth)カメラで構成されていてもよい。
【0020】
点群データには、
図2(b)に示すように、トンネルの軸方向をz方向として、切羽Fまでの距離により、対象領域100の三次元形状が記録される。その際、色見本20を設置する必要はない。なお、画像データによる撮影範囲と、点群データによる計測範囲とは、対象領域100のように、同程度の範囲であることが好ましいが、両範囲が、少なくとも切羽Fの全体を含む対象領域100に相当するのであれば異なる範囲でもよい。また、画像データの撮影時刻と、点群データの計測時刻とは、基本的には同じ時間帯であることが好ましいが、切羽Fの状態が変化しない範囲内であれば時間差があってもよい。
【0021】
切羽評価支援装置4は、汎用又は専用のコンピュータで構成され、例えば、据置型コンピュータや携帯型コンピュータが使用される。切羽評価支援装置4は、画像撮影装置2及び三次元形状計測装置3から画像データ及び点群データをそれぞれ取得し、その画像データ及び点群データに対して各種の処理を行うことにより、切羽Fに関する各種の観察項目を評価する。切羽評価支援装置4は、その評価結果に基づいて支援情報を生成し、その支援情報を、例えば、作業者端末装置5、管理者端末装置6等に提供する。
【0022】
また、切羽評価支援装置4は、画像データ及び点群データと、支援情報とを対応付けて記憶する切羽管理データベース400を備える。切羽管理データベース400には、切羽Fに関する上記のデータが複数登録されて、例えば、識別子(ID)、現場名称、現場位置、観察日時等の属性情報が付加されることで、識別可能に管理される。
【0023】
作業者端末装置5は、例えば、現場の作業者により使用される。作業者端末装置5は、汎用又は専用のコンピュータで構成され、例えば、タブレット端末やスマートフォン等の携帯型コンピュータが使用される。作業者端末装置5は、各種の入力操作を受け付けるとともに、アプリやウェブブラウザ等のソフトウェアによる表示画面や音声を介して、各種の情報を出力する。また、作業者端末装置5は、ネットワーク7を介して切羽評価支援装置4等との間で各種のデータを送受信する。
【0024】
管理者端末装置6は、例えば、現場の管理者(作業者と同一人物でもよい)により使用される。管理者端末装置6は、汎用又は専用のコンピュータで構成され、例えば、据置型コンピュータや携帯型コンピュータが使用される。管理者端末装置6は、各種の入力操作を受け付けるとともに、アプリやウェブブラウザ等のソフトウェアによる表示画面や音声を介して、各種の情報を出力する。また、管理者端末装置6は、ネットワーク7を介して切羽評価支援装置4等との間で各種のデータを送受信する。
【0025】
図3は、切羽評価支援装置4の一例を示すブロック図である。切羽評価支援装置4は、HDD、SSD、メモリ等により構成される記憶部40と、CPU、GPU、MPU等のプロセッサにより構成される制御部41と、キーボード、マウス等により構成される入力部42と、ディスプレイ等により構成される表示部43と、所定の通信規格(有線及び無線のいずれでもよい)に基づくネットワーク7とのインターフェースである通信部44と、プリンタ、スキャナ、USBメモリ等の外部機器とのインターフェースである外部機器インターフェース(I/F)部45と、CD、DVD等の記憶媒体とのインターフェースであるメディア入出力部46とを備える。なお、入力部42及び表示部43は、タッチパネル等の共用の装置で構成されていてもよい。
【0026】
記憶部40には、基本プログラムであるオペレーティングシステム(OS)、切羽評価支援装置4の動作を制御する切羽評価支援プログラム10、切羽評価支援プログラム10で使用される各種のデータ(切羽管理データベース400等)、表計算処理を実行する表計算ソフトウェア、文書作成処理を実行する文書作成ソフトウェア、及び、ウェブブラウザソフトウェア等が記憶されている。
【0027】
なお、切羽評価支援プログラム10、及び、切羽評価支援プログラム10で使用される各種のデータは、基本的には記憶部40に記憶されているが、これらのプログラムやデータは、通信部44や外部機器I/F部45を介して外部の記憶装置から取得されてもよいし、メディア入出力部46を介して記憶媒体から取得されてもよい。また、切羽評価支援プログラム10で使用される各種のデータは、表計算ソフトウェア、文書作成ソフトウェア及びウェブブラウザソフトウェアにて表示・編集可能な形式で作成されるのが好ましい。
【0028】
制御部41は、切羽評価支援プログラム10を実行することにより、画像データ取得部11、点群データ取得部12、切羽評価部13、及び、支援情報出力部14として機能する。
【0029】
図4は、切羽評価支援装置4の一例を示す機能説明図である。なお、切羽評価支援装置4は、切羽評価支援方法を実施する主体として動作し、切羽評価支援装置4の各部で行われる処理内容は、切羽評価支援方法の各工程に相当する。
【0030】
画像データ取得部11は、トンネルの切羽Fを含む対象領域100が撮影された画像データを取得する。画像データ取得部11は、画像撮影装置2から、例えば、通信部44、外部機器I/F部45、メディア入出力部46等を介して画像データを取得する。また、画像データ取得部11は、カラー画像データに対して色補正を行う色補正部110を備える。なお、画像データは、過去に撮像されて切羽管理データベース400に記憶されたものでもよく、その場合には、画像データ取得部11は、切羽管理データベース400を参照すればよい。
【0031】
点群データ取得部12は、トンネルの切羽Fを含む対象領域100の三次元形状が計測された点群データを取得する。点群データ取得部12は、三次元形状計測装置3から、例えば、通信部44、外部機器I/F部45、メディア入出力部46等を介して点群データを取得する。なお、点群データは、過去に計測されて切羽管理データベース400に記憶されたものでもよく、その場合には、点群データ取得部12は、切羽管理データベース400を参照すれればよい。
【0032】
切羽評価部13は、画像データ取得部11により取得された画像データと、点群データ取得部12により取得された点群データとに基づいて、切羽Fを評価する。切羽評価部13で用いられる画像データは、色補正部110による色補正が行われた後の画像データである。
【0033】
切羽評価部13は、その構成として、切羽抽出部130、ラフネス数値化部131、領域区分部132、区分領域評価処理部133、及び、切羽領域評価処理部134を備える。各部の詳細は後述する。
【0034】
区分領域評価処理部133は、その構成として、割れ目卓越方向判定部133A、岩石グループ判定部133B、割れ目間隔判定部133C、割れ目形態判定部133D、及び、評価区分推論部133Eを備える。なお、各部133A~133Eのうちいずれかが省略されてもよい。
【0035】
切羽領域評価処理部134は、その構成として、第1の連続性割れ目検出部134A、第2の連続性割れ目検出部134B、第3の連続性割れ目検出部134C、人工物検出部134D、第1の肌落ち危険箇所予測部134E、第2の肌落ち危険箇所予測部134F、及び、肌落ち危険箇所評価部134Gを備える。なお、各部134A~134Gのうちいずれかが省略されてもよい。
【0036】
支援情報出力部14は、切羽評価部13による切羽Fの評価結果に基づいて、支援情報を出力する。支援情報は、アプリやウェブブラウザ等の任意のソフトウェアにて取り扱い可能な形式にて出力される。また、支援情報の出力先としては、例えば、切羽管理データベース400、作業者端末装置5、管理者端末装置6、外部機器(プリンタ、USBメモリ)等である。なお、支援情報出力部14は、画像データ取得部11及び点群データ取得部12により画像データ及び点群データが取得されたことに応じて支援情報を出力してもよいし、例えば、作業者端末装置5、管理者端末装置6等からの要求に応じて支援情報を出力するようにしてもよい。また、切羽管理データベース400に記憶された支援情報が、例えば、作業者端末装置5、管理者端末装置6等からの要求に応じて出力されるようにしてもよい。
【0037】
支援情報の内容としては、例えば、評価結果を所定の様式に則って記録した切羽観察シート情報15や、画像データを表示する表示画面上に評価結果を重畳して表示する切羽スケッチ情報16が挙げられる。
【0038】
以下、切羽評価支援装置4の各部(切羽評価支援方法の各工程)の詳細と、切羽評価支援装置4による切羽Fの評価結果について、
図5乃至
図21を参照してそれぞれ説明する。
【0039】
(1)色補正部110による色補正処理
色補正部110は、画像データ取得部11が、画像データとして、切羽Fとともに、所定の白黒模様を有する色見本20とを含む対象領域100がカラーにより撮影されたカラー画像データを取得したとき、そのカラー画像データに対して色補正を行う。
【0040】
図5は、色補正部110による色補正処理の一例を示すフロチャートである。
【0041】
まず、ステップS101では、カラー画像データに含まれる色見本20の白と黒の画素を用いて、カラー画像全体の色調を補正する。
【0042】
次に、ステップS102では、カラー画像データをグレースケール画像に変換し、当該グレースケール画像を構成する全画素を明るさ順に並べたときの中間に位置する画素の明るさを、明るさ中間値として求める。
【0043】
次に、ステップS103では、全画素を、明るさ中間値よりも高い明るさを有する画素からなる高明度画素群と、明るさ中間値以下の明るさを有する画像からなる低明度画素群とに分類する。
【0044】
次に、ステップS104では、グレースケール画像に対して、例えば、最小110~最大253の閾値で二値化処理を行い、色見本20の外周の白枠を検出する。そして、グレースケール画像に対して、ノイズを除去するため、途切れた線分を結合する膨張処理を行い、輪郭検出処理を行う。その結果得られた輪郭のうち、サイズ、形状、面積比等に基づいて、色見本20の位置を検出する。
【0045】
次に、ステップS105では、色見本20の白部分に相当する画素群に対して、RGBの3成分の平均値をそれぞれ求め、各平均値のうちの最大値を選択する。そして、当該最大値と各平均値との各差分値を、高明度画素群に対する補正値に決定する。例えば、白部分に相当する画素群のRGBの平均値が、「230,216,231」と求められた場合、最大値として「231」が選択され、高明度画素群に対する補正値は、「1,15,0」と決定される。
【0046】
次に、ステップS106では、高明度画素群の各画素に、ステップS105で決定した高明度画素群に対する補正値を3成分別に加算することにより、高明度画素群を色補正する。例えば、高明度画素群に属する特定の1つの画素が、「123,234,135」である場合、上記の補正値による補正後の画素は、「124,249,135」となる。
【0047】
次に、ステップS107では、色見本20の黒部分に相当する画素群に対して、3成分の平均値をそれぞれ求め、各平均値のうちの最小値を選択する。そして、当該最小値と各平均値との各差分値を、低明度画素群に対する補正値に決定する。例えば、黒部分に相当する画素群のRGBの平均値が、「24,4,6」と求められた場合、最小値として「4」が選択され、低明度画素群に対する補正値は、「20,0,2」と決定される。
【0048】
次に、ステップS108では、低明度画素群の各画素から、ステップS107で決定した低明度画素群に対する補正値を3成分別に減算することにより、低明度画素群を色補正する。例えば、低明度画素群に属する特定の1つの画素が、「43,30,35」である場合、上記の補正値による補正後の画素は、「23,30,33」となる。
【0049】
以上のように、色補正部110が、
図5に示す一連の色補正処理を行うことにより、画像データにおける色合いの偏りが補正されるので、照明の種類や照度、画像撮影装置2の仕様や設定等の様々な条件が異なる場合であっても、補正後の画像データに基づいて切羽Fを適切に評価することができる。
【0050】
(2)切羽抽出部130による切羽抽出処理
切羽抽出部130は、画像データ及び点群データの少なくとも一方に基づいて、対象領域100から切羽Fに対応する切羽領域101を抽出する。対象領域100から切羽領域101を抽出する方法としては、点群データを解析して抽出する第1の切羽抽出処理と、機械学習モデルを用いて画像データから抽出する第2の切羽抽出処理と、第1の切羽抽出処理と第1の切羽抽出処理の両方を併用する第3の切羽抽出処理とが挙げられる。
【0051】
図6は、点群データから切羽領域101を抽出する第1の切羽抽出処理の一例を示す説明図である。第1の切羽抽出処理では、点群データが、
図6(a)に示すように、トンネル軸をz軸とする座標系(切羽面側に近づくほど座標値は減少)で計測された場合、切羽抽出部130は、各点のz軸の座標値に基づいて、切羽領域101を抽出する。例えば、トンネル工事の1回の発破で切羽面が進行する進行距離Lは、z軸に対して約1.5mであり、切羽面のz軸に対する凸凹は、進行距離L以下である。また、支保は、切羽面に対して進行距離Lよりも離れた位置に構築される。
【0052】
したがって、切羽抽出部130は、
図6(b)に示すように、点群データ取得部12により取得された点群データのz軸の最小値(計測位置からの最遠点)から進行距離Lまでの範囲を切羽領域101として抽出する。また、切羽抽出部130は、
図6(c)に示すように、点群データのz軸の最小値に進行距離Lを加算した座標値以上の範囲を、支保及び路盤部の領域として、画像データ取得部11により取得された画像データに対してマスク処理を行うことにより、切羽領域101を抽出する。
【0053】
なお、点群データを用いた他の切羽抽出処理として、切羽抽出部130は、点群データから構成される三角網の各法線ベクトルが、切羽領域101では、z軸に沿う成分が卓越するが、支保および路盤部では、z軸成分と直交する成分が卓越するという特性を利用して、切羽領域101を抽出するようにしてもよい。
【0054】
図7は、画像データから切羽領域101を抽出する第2の切羽抽出処理の一例を示す説明図である。第2の切羽抽出処理で用いられる機械学習モデルは、例えば、畳み込みニューラルネットワーク(CNN)で構成され、切羽が撮影された学習用画像データと、当該切羽Fに対応する切羽領域101に対して付与された正解ラベルとを含む教師データにより機械学習が行われたものである。すなわち、
図7に示すように、機械学習の学習フェーズにおいて、教師データの学習用画像データを機械学習モデルに入力することで出力された切羽領域101の抽出結果と、教師データの正解ラベルとを比較し、その比較結果に基づいて畳み込みニューラルネットワークの重み付けパラメータを調整することで、機械学習が行われる。なお、切羽抽出部130は、
図7に示すように、切羽領域101だけでなく、支保に対応する支保領域や路盤部に対応する路盤領域についても抽出するようにしてもよい。
【0055】
切羽抽出部130は、機械学習の推論フェーズを実行する主体であり、画像データ取得部11により取得された画像データを、学習済みの機械学習モデルに入力することにより、対象領域100から切羽領域101を抽出する。
【0056】
以上のようにして、切羽抽出部130による切羽抽出処理により、対象領域100から切羽領域101が抽出される。
【0057】
(3)ラフネス数値化部131によるラフネス数値化処理
ラフネス数値化部131は、点群データに基づいて、切羽抽出部130により抽出された切羽領域101に対して複数の走査方向に設定された複数の走査線に沿って切羽領域101における切羽面のラフネス(凸凹)をラフネス特徴量として数値化する。ラフネス数値化部131は、ラフネス特徴量として、切羽領域101に対応する点群データを複数の走査線に沿って周期関数によりそれぞれ近似したときのラフネス近似モデルの振幅値及び波長を数値化する。
【0058】
図8は、ラフネス数値化部131によるラフネス数値化処理の一例を示す説明図である。ラフネス特徴量は、点群データに基づいて、切羽面におけるz軸方向のラフネスを数値化したパラメータである。ラフネスは、複数の走査方向として、
図8(a)に示すように、例えば、切羽面上の上下左右方向(x軸、y軸)と、斜め方向とにそれぞれ設定されて、所定の間隔d1、d2を空けた配置された複数の走査線iに沿って近似される。
【0059】
走査線iに沿って近似されるラフネスは、
図8(b)に示すように、走査線iから一定距離a内に位置する点群データにおけるz軸の座標値から設定される。走査線i上の基準線(面)からの高低差h
i(
図8(c)参照)は、点群データに含まれる点群p
jの座標値と、走査線iから点群p
jまでの距離r(
図8(b)参照)とを利用して、以下の[数1]式で求められる。ここで、p
j,zは、点群p
jのz軸の座標値、z
0は、基準線(面)の値である。
【0060】
【0061】
切羽面のラフネスは、走査線i毎に、高低差の大きさと、高低の周期性に着目して、ラフネス近似モデルに近似される。ラフネス近似モデルは、周期関数を用いることにより、走査線iの位置tにおける基準面からの高低差H(t)iが、以下の[数2]式でモデル化(近似)される。
【0062】
【0063】
ここで、波数kjは、高低差の繰り返しの距離である波長λjの逆数に相当する値である。係数Aj、Bjは、特徴量であり、波数kjに対して、例えば、最小二乗法、スパースモデリングを利用することで求められる。上記のラフネス近似モデルは、j個の周期関数の重ね合わせ和により、高低差の平均値による特徴付けを包含したモデリングとなっている。一方、波数kjは、切羽Fの観察項目である割れ目間隔(頻度)を利用して設定されるようにしてもよい。
【0064】
ラフネス数値化部131は、各走査線iに対するラフネス特徴量として、例えば、ラフネス近似モデルにおける振幅値及び波長を数値化する。ラフネス近似モデルの振幅値Cjは、係数Aj、Bjから、以下の[数3]式で求められる。また、ラフネス近似モデルの波長λjは、振幅値Cjが最大値となる波数kj(=1/λj)により定められる。
【0065】
【0066】
以上のようにして、ラフネス数値化部131によるラフネス数値化処理により、切羽領域101における切羽面のラフネスがラフネス特徴量として数値化される。
【0067】
(4)領域区分部132による領域区分処理
領域区分部132は、複数の走査線が交差する各交点に対して、ラフネス数値化部131により数値化されたラフネス特徴量の代表値を求め、交点毎の代表値の分布に基づいて、切羽抽出部130により抽出された切羽領域101を区分領域102に区分する。
【0068】
図9は、領域区分部132による領域区分処理の一例を示す説明図である。領域区分部132は、切羽領域101を区分領域102に区分する際、複数の走査線が交差する各交点Pにおけるラフネス特徴量の代表値を求める。例えば、
図9(a)に示すように、上下方向及び斜め方向の4つの走査線が交差する交点P
i,j,k,lにおけるラフネス特徴量として、振幅値C及び波長λが数値化されている場合、ラフネス特徴の代表値は、4つの走査線におけるラフネス特徴量、すなわち、振幅値C及び波長λの平均(単純平均や加重平均)やベクトル和等により求められる。
【0069】
次に、領域区分部132は、
図9(b)に示すように、交点P毎の代表値(振幅値C及び波長λ)と、振幅値Cの基準値C
0、及び、波長λの基準値λ
0とを比較することにより、各交点Pが4つの特徴区分Ra、Rb、Rc、Rdのいずれに分類されるかを判定する。なお、振幅値Cに対して複数の基準値を設定したり、波長λに対して複数の基準値を設定したりすることで、特徴区分は、上記以外の特徴区分に分類されるようにしてもよい。
【0070】
そして、領域区分部132は、各交点Pが分類された特徴区分Ra、Rb、Rc、Rdの分布に基づいて、切羽領域101を区分領域102に区分する。
図9(c)には、例えば、特徴区分Raに分類された交点Pの集合である区分領域102(左上側部分)と、特徴区分Rdに分類された交点Pの集合である区分領域102(右下側部分)という2つの区分領域102に区分された場合が図示されている。
【0071】
以上のようにして、領域区分部132による領域区分処理により、切羽領域101が、ラフネス特徴量の分布に基づいて、区分領域102に区分される。
【0072】
(5)区分領域評価処理部133による区分領域評価処理
区分領域評価処理部133は、領域区分部132により切羽領域101が区分された区分領域102毎に、切羽Fに関する観察項目を評価結果として評価する。区分領域評価処理部133は、区分領域102に対応する画像データ及び点群データに基づいて、各種の観察項目を区分領域102毎に評価するため、
図4に示すように、割れ目卓越方向判定部133A、岩石グループ判定部133B、割れ目間隔判定部133C、割れ目形態判定部133D、及び、評価区分推論部133Eを備える。以下に各部(各工程)133A~133Eの詳細を説明する。
【0073】
(5-1)割れ目卓越方向判定部133A
図10は、割れ目卓越方向判定部133Aによる割れ目卓越方向の判定処理の一例を示す説明図である。割れ目卓越方向判定部133Aは、切羽領域101に対応する点群データから構成される三角網の各法線ベクトルを区分領域102毎にステレオネットに極投影し、ステレオネット上に極投影されたプロットの分布に基づいて、切羽面において卓越する割れ目の走向傾斜を示す割れ目卓越方向を区分領域102毎に判定する。
【0074】
切羽面では、既往の割れ目に沿って岩塊が分離、掘削されることが多いため、切羽面の凸凹は、割れ目に沿って表れる可能性が高い。そこで、各区分領域102における割れ目卓越方向を判定するため、割れ目卓越方向判定部133Aは、
図10(a)に示すように、区分領域102に対応する点群データから構成された三角網を用いて、
図10(b)、(c)に示すように、三角網に含まれる各三角形の法線ベクトルを、ステレオネット(等面積投影ネット)に極投影する。ステレオネットへの極投影では、各法線ベクトルの矢印基端側をステレオネットの中心に合わせて、トンネル軸(z軸)と一致する方向にそれぞれ投影する。
【0075】
そして、割れ目卓越方向判定部133Aは、
図10(c)に示すように、ステレオネット上に極投影された各法線ベクトルの矢印先端側に相当するプロットの分布に基づいて、密度コンター図を作成し、その密度コンター図において、所定の基準値より密度が高い範囲を割れ目卓越方向として判定する。その際、割れ目卓越方向判定部133Aは、割れ目卓越方向を区画領域毎に判定するが、1つの区画領域に対して複数の割れ目卓越方向が含まれると判定される場合もあり得る。
【0076】
なお、点群データが、切羽面上で不規則に分布している場合には、ステレオネットに極投影されたプロットの数と、切羽面上での三角形の面積が対応しないことが想定される。その場合には、割れ目卓越方向判定部133Aは、三角網を構成する三角形の面積で重み付けを行い、ステレオネット上にプロットすることで、切羽面での面積を反映させた状態で割れ目卓越方向を判定するようにしてもよい。
【0077】
(5-2)岩石グループ判定部133B
図11は、岩石グループ判定部133Bによる岩石グループの判定処理の一例を示す説明図である。岩石グループ判定部133Bは、ラフネス数値化部131により数値化されたラフネス近似モデルの振幅値及び波長に基づいて、切羽面を構成する岩石の種別を示す岩石グループを区分領域102毎に判定する。
【0078】
岩石グループとしては、例えば、風化区分が、塊状及び層状のいずれか、強度区分が、硬質、中硬質及び軟質のいずれかを組み合わせることで、複数の岩石の種別に分類される。例えば、硬質岩・塊状(例えば、花崗岩等)の岩石グループGaでは、割れ目の凸凹を示す振幅値が大きく、割れ目の間隔を示す波長は中程度から長くなる傾向がある。軟質岩・層状(例えば、第三紀頁岩、千枚岩等)の岩石グループGeでは、細かく層理や片理が入るため、層理や片理に沿った凸凹が表れることで振幅値は小さくなり、波長も小さくなる。軟質岩・塊状(例えば、固結度の低い凝灰角礫岩等)の岩石グループGcでは、掘削による切羽面が滑らかに仕上がることから、凸凹が殆どなく、振幅値は小さく、波長は長くなる。岩石グループ判定部133Bは、上記のような各岩石グループの傾向や特徴に着目することで、例えば、各交点Pにおける振幅値及び波長に基づいて、各区分領域102の岩石グループを判定する。なお、岩石グループ判定部133Bは、ラフネス特徴量だけでなく、他の観察項目(例えば、風化変質、圧縮強度等)に対する評価区分についても参照することにより、各区分領域102の岩石グループを判定するようにしてもよい。
【0079】
(5-3)割れ目間隔判定部133C
図12は、割れ目間隔判定部133Cによる割れ目間隔の判定処理の一例を示す説明図である。割れ目間隔判定部133Cは、区分領域102に対応する画像データに対してエッジを検出するエッジ検出処理を行い、エッジ検出処理により検出されたエッジのエッジ密度に基づいて、エッジ密度と割れ目間隔との関係が定められた対応関係情報を参照することにより、割れ目間隔を区分領域102毎に判定する。
【0080】
割れ目間隔判定部133Cは、例えば、Canny法等の任意のエッジ検出処理により画像データからエッジを検出し、エッジ密度を算出する。そして、割れ目間隔判定部133Cは、エッジ密度と割れ目間隔との関係が、例えば、岩石の種別毎に定められた対応関係情報を参照し、岩石グループ判定部133Bにより判定された岩石グループの対応関係情報において、上記のようにして算出されたエッジ密度に対応付けられた割れ目間隔を特定することにより、割れ目間隔を判定する。
【0081】
なお、対応関係情報は、岩石の種類別に複数定められたものとして説明したが、これに限られず、例えば、他の観察項目別に複数定められていてもよいし、1つの対応関係情報が定められたものでもよい。
【0082】
(5-4)割れ目形態判定部133D
図13は、割れ目形態判定部133Dによる割れ目形態の判定処理の一例を示す説明図である。割れ目形態判定部133Dは、ラフネス数値化部131がラフネス特徴量をラフネス近似モデルに近似したときの走査線の走査方向に応じた波長の特性に基づいて、割れ目形態を区分領域102毎に判定する。
【0083】
ラフネス数値化部131により走査線に沿って数値化されたラフネス特徴量は、割れ目形態の推定に利用可能である。上下左右及び斜め方向に設定された走査線において、高低差の繰り返しの距離である波長λが、走査線の方向によらず概ね一定である場合(所定の基準値の範囲内)には、割れ目形態判定部133Dは、その区画領域の割れ目形態は「ランダム方形」又は「土砂状」であると判定する。一方、走査線の方向により波長λが大きく異なる場合(所定の基準値の範囲外)には、割れ目形態判定部133Dは、その区画領域の割れ目形態は「柱状」又は「層状」であると判定する。
【0084】
(5-5)評価区分推論部133E
図14は、評価区分推論部133Eによる観察項目に関する評価区分の推論処理の一例を示す説明図である。評価区分推論部133Eは、区分領域102に対応する画像データを、機械学習モデルに入力することにより、評価区分を区分領域102毎に推論する。評価区分推論部133Eにより用いられる機械学習モデルは、切羽が撮影された学習用画像データと、当該切羽Fに対して観察項目に関する評価区分が付与された正解ラベルとを含む教師データにより機械学習が行われたものである。
【0085】
推論対象の観察項目としては、例えば、圧縮強度、風化変質、割れ目間隔、割れ目形態、割れ目状態、岩石グループ等が挙げられる。評価区分推論部133Eは、これらのうち少なくとも1つの観察項目に対して評価区分を推定するようにすればよい。なお、割れ目間隔、割れ目形態、割れ目状態、及び、岩石グループの各観察項目は、上記の割れ目間隔判定部133C、割れ目形態判定部133D、及び、岩石グループ判定部133Bにより判定可能であるが、評価区分推論部133Eは、これらに代えて各観察項目を推論してもよいし、これらと併用して各観察項目を推論してもよい。
【0086】
機械学習モデルは、例えば、畳み込みニューラルネットワークで構成され、
図14に示すように、観察項目毎に作成されるのが好ましい。例えば、圧縮強度に関する機械学習モデルは、切羽が撮影された学習用画像データと、当該切羽Fに対して圧縮強度に関する評価区分が付与された正解ラベルとを含む教師データにより機械学習が行われたものである。評価区分推論部133Eは、区画領域に対応する画像データを、学習済みの機械学習モデルに入力することにより、その区画領域に対して圧縮強度に関する評価区分を推論する。その際、画像データは、所定のサイズを有する小領域の画像に分割された状態で機械学習モデルにそれぞれ入力されてもよく、その場合には、評価区分推論部133Eは、区画領域に含まれる小領域単位で圧縮強度に関する評価区分を推論するようにしてもよい。その他の観察項目に関する機械学習モデルは、上記と同様に構成されるため、説明を省略する。
【0087】
(6)切羽領域評価処理部134による切羽領域評価処理
切羽領域評価処理部134は、切羽抽出部130により抽出された切羽領域101に対して、切羽Fに関する観察項目を評価結果として評価する。切羽領域評価処理部134は、各種の観察項目を評価するため、
図4に示すように、第1の連続性割れ目検出部134A、第2の連続性割れ目検出部134B、第3の連続性割れ目検出部134C、人工物検出部134D、第1の肌落ち危険箇所予測部134E、及び、第2の肌落ち危険箇所予測部134F、及び、肌落ち危険箇所評価部134Gを備える。以下に各部(各工程)134A~133Gの詳細を説明する。
【0088】
(6―1)第1の連続性割れ目検出部134A
図15は、第1の連続性割れ目検出部134Aによる連続性割れ目の判定処理の一例を示す説明図である。第1の連続性割れ目検出部は、点群データに基づいて、切羽面上に連続して形成された連続性割れ目を検出する。具体的には、第1の連続性割れ目検出部は、切羽領域101に対応する点群データから構成される三角網の各辺から、共通の辺を含む2つの三角形の法線ベクトルがなす角度に基づいて連続性割れ目の一部をなすエッジの候補を抽出し、候補同士の連続性を判定することにより、切羽領域101に存在する連続性割れ目を検出する。
【0089】
点群データでは、三角網により切羽面の凸凹形状が表現されるが、個々の三角形の各辺は、切羽面の凸凹のエッジを表すものと、便宜上の区切り線を表すものとが混在している。そのため、切羽面の凸凹のエッジを表す三角形の辺を抽出し、その抽出した各辺の連続性を考慮することで、連続性割れ目を識別する。
【0090】
隣接する2つの三角形A、Bに共通する辺abが、凸凹のエッジを表す否かの判定(エッジ判定処理)は、
図15に示すように、三角形A、Bの法線ベクトルnA、nBがなす角度に基づいて行われる。例えば、2つの法線ベクトルnA、nBがなす角度θが、0°又は180°に対して所定の閾値範囲内にある場合には、三角形A、Bは、同一平面上にあるとみなされるため、辺abは、凸凹のエッジではないと判定し、そうでない場合には、辺abは、凸凹のエッジであると判定する。その際、法線ベクトルnA、nBのなす角度θを求めて判定してもよいし、法線ベクトルnA、nBの内積で判定してもよい。
【0091】
第1の連続性割れ目検出部は、隣接する2つの三角形が共有する全ての辺に対して上記のエッジ判定処理を行い、連続性割れ目の一部をなすエッジの候補を抽出する。そして、エッジの候補同士の連続性は、抽出したエッジの各候補について、エッジの候補同士に連続性があるか否かの判定(連続性判定処理)を行い、連続するエッジ同士を折れ線として連結することで、グループ分けを行う。連続性判定処理では、判定対象の2つのエッジを線分ベクトルとし、両者の線分ベクトルのなす角度が所定の閾値以下の場合には、連続すると判定し、そうでない場合には、分断すると判定する。第1の連続性割れ目検出部は、グループ分けされた折れ線のうち、所定の閾値よりも短い折れ線を削除し、さらに、直進性の高いものを選択することで、連続性割れ目を検出する。
【0092】
(6―2)第2の連続性割れ目検出部134B
図16は、第2の連続性割れ目検出部134Bによる連続性割れ目の判定処理の一例を示す説明図である。第2の連続性割れ目検出部は、画像データに基づいて、切羽面上に連続して形成された連続性割れ目を検出する。具体的には、第2の連続性割れ目検出部は、切羽領域101に対応する画像データを、機械学習モデルに入力することにより、切羽領域101に存在する連続性割れ目を検出する。第2の連続性割れ目検出部により用いられる機械学習モデルは、例えば、畳み込みニューラルネットワークで構成され、切羽が撮影された学習用画像データと、当該切羽Fに形成された連続性割れ目に対して付与された正解ラベルとを含む教師データにより機械学習が行われたものである。
【0093】
(6―3)第3の連続性割れ目検出部134C
図17は、第3の連続性割れ目検出部134Cによる連続性割れ目の判定処理の一例を示す説明図である。第3の連続性割れ目検出部は、画像データ及び点群データに基づいて、切羽面上に連続して形成された連続性割れ目を検出する。具体的には、第3の連続性割れ目検出部は、切羽領域101に対応する画像データに対してエッジを検出するエッジ検出処理を行い、エッジ検出処理により検出されたエッジを、点群データに対して割れ目卓越方向判定部133Aにより判定された区分領域102毎の割れ目卓越方向にフィッティングすることにより、切羽領域101に存在する連続性割れ目を検出する。
【0094】
第3の連続性割れ目検出部は、例えば、Canny法等の任意のエッジ検出処理により画像データからエッジを検出する。そして、第3の連続性割れ目検出部は、その検出されたエッジを、例えば、最小二乗法、スパースモデリングにより、区分領域102毎の割れ目卓越方向にフィッティングするフィッティング処理を行うことにより、連続性割れ目を検出する。
【0095】
(6-4)人工物検出部134D
図18は、人工物検出部134Dによる人工物の検出処理の一例を示す説明図である。人工物検出部134Dは、対象領域100に対応する画像データに基づいて、対象領域100に存在する人工物を検出する。具体的には、人工物検出部134Dは、対象領域100に対応する画像データを、切羽領域101に対応する画像データと、切羽領域101以外(例えば、支保領域や路盤部領域)に対応する画像データとに分けて、それらの画像データを、機械学習モデルにそれぞれ入力することにより、切羽領域101に存在する人工物と、切羽領域101以外に存在する人工物とをそれぞれ検出する。人工物検出部134Dにより用いられる機械学習モデルは、切羽が撮影された学習用画像データと、当該切羽又はその周囲に設置された人工物に対して付与された正解ラベルとを含む教師データにより機械学習が行われたものである。
【0096】
検出対象の人工物としては、例えば、鋼製支保、ロックボルト、鏡ボルト、先受工、黒板、人、人や機械類の影等が挙げられる。人工物検出部134Dは、これらのうち少なくとも1つの人工物を検出するようにすればよい。切羽領域101における検出対象の人工物は、例えば、鏡ボルト、先受工、黒板、人、人や機械類の影等であり、切羽領域101以外の支保領域や路盤部領域における検出対象の人工物は、例えば、ロックボルト、鋼製支保、黒板、人、人や機械類の影等であるが、これらの例に限られない。
図18には、人工物検出部134Dが、切羽領域101に対して複数の先受工を検出するとともに、支保領域に対して複数のロックボルトを検出した場合が例示されている。
【0097】
機械学習モデルは、例えば、畳み込みニューラルネットワークで構成され、切羽領域101に対応する画像データから人工物を検出するための機械学習モデルと、切羽領域101以外に対応する画像データから人工物を検出するための機械学習モデルとは、共通の機械学習モデルとして作成されてもよいし、別々の機械学習モデルとして作成されてもよい。また、機械学習モデルは、検出対象の人工物の種類毎に作成されてもよい。さらに、画像データは、所定のサイズを有する小領域の画像に分割された状態で機械学習モデルにそれぞれ入力されてもよく、その場合には、人工物検出部134Dは、対象領域100に含まれる小領域単位で人工物を検出するようにしてもよい。
【0098】
(6-5)第1の肌落ち危険箇所予測部134E
図19は、肌落ち危険個所の予測処理の一例を示す説明図である。第1の肌落ち危険箇所予測部134Eは、点群データに基づいて、切羽Fにおいて肌落ちの危険性が存在する箇所を示す肌落ち危険個所を予測する。具体的には、第1の肌落ち危険箇所予測部134Eは、
図19に示すように、割れ目卓越方向判定部133Aにより判定された区分領域102毎の割れ目卓越方向をステレオネットに大円投影し、少なくとも三方向に延びる割れ目卓越方向により閉多角形が形成された場合、当該閉多角形に対応する切羽の範囲を、肌落ち危険個所として予測する。
【0099】
第1の肌落ち危険箇所予測部134Eでは、点群データに対して割れ目卓越方向判定部133Aにより判定された区分領域102毎の割れ目卓越方向を幾何学的に利用して、肌落ち危険箇所を予測する。例えば、割れ目卓越方向を、ステレオネットに大円として投影し、ステレオネット上に球面三角形が形成される場合、その球面三角形に対応する領域が、切羽面から抜け出し可能なブロックと予測される。
【0100】
(6-6)第2の肌落ち危険箇所予測部134F
第2の肌落ち危険箇所予測部134Fは、画像データに基づいて、切羽Fにおいて肌落ちの危険性が存在する箇所を示す肌落ち危険個所を予測する。具体的には、第2の肌落ち危険箇所予測部134Fは、
図19に示すように、切羽領域101に対応する画像データを、切羽が撮影された学習用画像データと、当該切羽Fにおいて肌落ちの危険性が存在する肌落ち危険個所に対して付与された正解ラベルとを含む教師データにより機械学習が行われた機械学習モデルに入力することにより、切羽領域101に存在する肌落ち危険個所を予測する。
【0101】
機械学習モデルは、例えば、畳み込みニューラルネットワークで構成される。画像データは、所定のサイズを有する小領域の画像に分割された状態で機械学習モデルにそれぞれ入力されてもよく、その場合には、第2の肌落ち危険箇所予測部134Fは、切羽領域101に含まれる小領域単位で肌落ちの危険性が存在するか否かを推論するようにしてもよい。
【0102】
(6-7)肌落ち危険箇所評価部134G
肌落ち危険箇所評価部134Gは、
図19に示すように、第1の肌落ち危険箇所予測部134Eによる予測結果と、前記第2の肌落ち危険箇所予測部134Fによる予測結果とに基づいて、肌落ち危険箇所を予測する、具体的には、肌落ち危険箇所評価部134Gは、第1の肌落ち危険箇所予測部134Eにより予測された肌落ち危険箇所と、第2の肌落ち危険箇所予測部134Fにより予測された肌落ち危険箇所とを比較し、その比較結果として一致度が高い肌落ち危険箇所に対して危険性が高いと判定する。
【0103】
なお、肌落ち危険箇所評価部134Gは、他の観察項目を考慮して肌落ち危険箇所を予測するようにしてもよい。例えば、肌落ち危険箇所評価部134Gは、人工物検出部134Dにより検出された人工物として、例えば、鏡ボルトが設置されていることが検出された場合には、肌落ちの危険性が高いと判定するようにしてもよい。また、第1の肌落ち危険箇所予測部134E及び第2の肌落ち危険箇所予測部134Fのいずれか一方が省略された場合には、肌落ち危険箇所評価部134Gは、他方の肌落ち危険箇所評価部により予測された肌落ち危険箇所をそのまま出力するようにしてもよいし、肌落ち危険箇所評価部134G自体が、省略されてもよい。
【0104】
(7)支援情報出力部14による支援情報出力処理
支援情報出力部14は、上記のように、切羽評価部13による各観察項目に対する切羽Fの評価結果に基づいて、支援情報として、切羽観察シート情報15、切羽スケッチ情報16等を生成し、データ記憶出力、画面表示出力、印刷出力等の出力形態により出力する。
【0105】
図20は、切羽観察シート情報15の印刷出力例である切羽観察シート150を示す図である。切羽観察シート150は、各観察項目に対する切羽Fの評価結果を所定の様式に則って記録したものである。
図20の例では、切羽観察シート150は、切羽Fに関する情報が記録された切羽情報欄151と、切羽Fの評価結果が記録された評価区分欄152とを備える。
【0106】
切羽情報欄151には、例えば、現場名称、現場位置、観察日時等が記録される。評価区分欄152には、例えば、圧縮強度、風化変質、割れ目間隔、割れ目状態、走向傾斜(割れ目卓越方向)等に対する評価区分が記録される。
【0107】
図20に示す評価区分欄152では、切羽Fを、天端、左肩及び右肩という3つの領域に分割したときの各領域に対する評価区分がそれぞれ記録されたものである。これは、切羽評価部13(特に区分領域評価処理部133)により各観察項目に対して区分領域102毎に評価された評価結果を、各区分領域102と、天端、左肩及び右肩という3つの領域とが重なり合う面積比に基づいて、区分領域102毎の評価結果を重み付け加算することで、天端、左肩及び右肩に対する評価結果に換算したものである。
【0108】
なお、支援情報出力部14は、天端、左肩及び右肩という3つの領域毎の評価結果を記録した切羽観察シート情報15に代えて又は加えて、区分領域102毎の評価結果を記録した切羽観察シート情報15を出力するようにしてもよい。また、切羽観察シート情報15の様式として、切羽観察シート情報15に含まれる観察項目、評価結果のレイアウト、評価結果の出力形式(点数形式、表形式、グラフ形式、画像重畳形式等)等は、
図20の例に限られず、適宜変更されてもよく、例えば、管理者や作業者により変更可能であってもよい。
【0109】
図21は、切羽スケッチ情報16の画面表示例である切羽スケッチ画面160を示す図である。切羽スケッチ画面160は、画像データを表示する表示画面上に、各観察項目に対する切羽Fの評価結果を重畳して表示するものである。
図21の例では、切羽スケッチ画面160は、切羽Fに関する情報を表示する切羽情報欄161と、切羽Fの画像データを表示する画像表示領域162と、切羽領域101、区分領域102及び各種の観察項目のうち画像表示領域162内に表示する対象を選択する表示項目選択欄163と、表示項目選択欄163の選択項目に従って画像表示領域162内に切羽Fの評価結果を表示する表示マーカ164とを備える。
【0110】
切羽情報欄161には、例えば、現場名称、現場位置、観察日時等が表示される。画像表示領域162には、画像データ取得部11により取得された画像データが表示される。画像表示領域162は、画像の拡大・縮小が変更可能に構成されるとともに、作業者や管理者による画面上でのスケッチ操作を受付可能に構成される。なお、画像表示領域162には、色補正部110により色補正が行われる前の画像が表示されてもよいし、色補正が行われた後の画像が表示されてもよい。
【0111】
表示項目選択欄163は、観察項目の選択肢として、例えば、走向傾斜(割れ目卓越方向)、岩石グループ、圧縮強度、風化変質、割れ目間隔、割れ目形態、割れ目状態、連続性割れ目、人工物、肌落ち危険箇所等を有する。
【0112】
表示マーカ164は、切羽領域101及び区分領域102の外周を枠線で描画したり、各観察項目の評価結果をそれぞれ表示したりする。その際、表示マーカ164は、各観察項目の評価結果を、画像上にて対応する位置に重畳するように表示されてもよいし、引き出し線等で対応関係が分かるようにして表示されてもよい。また、表示マーカ164の表示形態(色、模様等)等は、
図21の例に限られず、適宜変更されてもよく、例えば、管理者や作業者により変更可能であってもよい。
【0113】
以上のように、本実施形態に係る切羽評価支援装置4によれば、切羽抽出部130が、画像データ及び点群データの少なくとも一方に基づいて、切羽Fに対応する切羽領域101を抽出し、ラフネス数値化部131が、点群データに基づいて、切羽領域101における切羽面のラフネスをラフネス特徴量として数値化し、領域区分部132が、ラフネス特徴量の分布に基づいて、切羽領域101を区分領域102に区分し、区分領域評価処理部133が、切羽Fに関する観察項目を区分領域102毎に評価する。そのため、切羽Fに対応する切羽領域101が区分領域102に区分され、切羽Fに関する観察項目が区分領域102毎に評価される。したがって、切羽Fの評価に際して評価品質を向上させることができる。
【0114】
また、区分領域評価処理部133が、上記のように、各部133A~133Eを備えることにより、各観察項目について区分領域102毎に評価することができる。さらに、切羽領域評価処理部134が、上記のように、各部134A~134Gを備えることにより、各観察項目について切羽領域101全体を評価することができる。
【0115】
(他の実施形態)
本発明は上述した実施形態に制約されるものではなく、本発明の主旨を逸脱しない範囲内で種々変更して実施することが可能である。そして、それらはすべて、本発明の技術思想に含まれるものである。
【0116】
上記実施形態では、切羽評価支援プログラム10は、記憶部40に記憶されたものとして説明した。これに対し、切羽評価支援プログラム10は、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、DVD等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、切羽評価支援プログラム10は、外部の装置からネットワーク7経由でダウンロードさせることにより提供されてもよい。また、切羽評価部13で用いられる各種の機械学習モデルは、記憶部40に記憶されていてもよいし、外部の装置に記憶されて、ネットワーク7経由でアクセスしてもよい。
【0117】
上記実施形態では、機械学習モデルを用いた機械学習の具体的な手法として、畳み込みニューラルネットワークを採用した場合について説明したが、機械学習モデルは、任意の他の機械学習の手法(教師あり学習だけでなく、教師なし学習や強化学習も含む)を採用してもよい。他の機械学習の手法としては、例えば、決定木、回帰木等のツリー型、バギング、ブースティング等のアンサンブル学習、再帰型ニューラルネットワーク等の他のニューラルネット型(ディープラーニングを含む)、階層型クラスタリング、非階層型クラスタリング、k近傍法、k平均法等のクラスタリング型、主成分分析、因子分析、ロジスティク回帰等の多変量解析、サポートベクターマシン等が挙げられる。
【符号の説明】
【0118】
1…切羽評価支援システム、2…画像撮影装置、3…三次元形状計測装置、
4…切羽評価支援装置、5…作業者端末装置、6…管理者端末装置、7…ネットワーク、
10…切羽評価支援プログラム、
11…画像データ取得部、12…点群データ取得部、13…切羽評価部、
14…支援情報出力部、15…切羽観察シート情報、16…切羽スケッチ情報、
20…色見本、
40…記憶部、41…制御部、42…入力部、43…表示部、44…通信部、
45…外部機器I/F部、46…メディア入出力部、
100…対象領域、101…切羽領域、102…区分領域、110…色補正部、
130…切羽抽出部、131…ラフネス数値化部、132…領域区分部、
133…区分領域評価処理部、133A…割れ目卓越方向判定部、
133B…岩石グループ判定部、133C…割れ目間隔判定部、
133D…割れ目形態判定部、133E…評価区分推論部、
134…切羽領域評価処理部、134A…第1の連続性割れ目検出部、
134B…第2の連続性割れ目検出部、134C…第3の連続性割れ目検出部、
134D…人工物検出部、134E…第1の肌落ち危険箇所予測部、
134F…第2の肌落ち危険箇所予測部、134G…肌落ち危険箇所評価部、
150…切羽観察シート、151…切羽情報欄、152…評価区分欄、
160…切羽スケッチ画面、161…切羽情報欄、162…画像表示領域、
163…表示項目選択欄、164…表示マーカ、400…切羽管理データベース