(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-07
(45)【発行日】2023-08-16
(54)【発明の名称】切羽性状推定装置および推定方法
(51)【国際特許分類】
E21D 9/04 20060101AFI20230808BHJP
G06N 20/00 20190101ALI20230808BHJP
G01N 21/3563 20140101ALI20230808BHJP
G01N 21/359 20140101ALI20230808BHJP
【FI】
E21D9/04 Z
G06N20/00 130
G01N21/3563
G01N21/359
(21)【出願番号】P 2019239416
(22)【出願日】2019-12-27
【審査請求日】2022-08-02
(73)【特許権者】
【識別番号】000166627
【氏名又は名称】五洋建設株式会社
(73)【特許権者】
【識別番号】592161372
【氏名又は名称】NSW株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】石田 仁
(72)【発明者】
【氏名】大森 禎敏
(72)【発明者】
【氏名】野村 貴律
【審査官】松本 泰典
(56)【参考文献】
【文献】特開2019-190189(JP,A)
【文献】特開2019-191004(JP,A)
【文献】特開2018-181271(JP,A)
【文献】特開2018-017570(JP,A)
【文献】特開2010-092413(JP,A)
【文献】特開2018-150720(JP,A)
【文献】特開2019-184541(JP,A)
【文献】特開2019-143386(JP,A)
【文献】特開2017-117147(JP,A)
【文献】特開2000-345793(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
E21D 9/04
G06N 20/00
G01N 21/3563
G01N 21/359
(57)【特許請求の範囲】
【請求項1】
施工中のトンネルのある切羽の測定データに基づいて専門家により判定された、当該ある切羽の性状の判定結果を取得する判定結果取得部と、
前記ある切羽を含む種々の切羽についての測定データと、前記種々の切羽それぞれに対応する前記判定結果との組み合わせから成る教師データ
の中から、前記判定結果取得部が取得した前記判定結果と一致または類似する判定結果を含んだ教師データを、
再学習用教師データとして1つ以上抽出する抽出部と、
前記抽出部により抽出された1つ以上の
再学習用教師データを用いて、前記種々の切羽の測定データと、
前記種々の切羽それぞれに対応する前記判定結果との相関関係を機械学習させた学習済モデルを再学習させる再学習部と、を備え、
前記測定データは、ステレオ画像および三次元画像のうち少なくとも一方と、スペクトル画像と、を含むことを特徴とする、切羽性状推定装置。
【請求項2】
前記測定データを取得する測定データ取得部と、
種々の切羽の前記測定データを、前記再学習を実行した後の前記学習済モデルに入力することによって、前記測定データが示す各切羽の性状を推定する推定部と、を備えることを特徴とする、請求項1に記載の切羽性状推定装置。
【請求項3】
前記推定部は、前記ある切羽の測定データを、前記再学習を実行する前の前記学習済モデルに入力することによって、前記ある切羽の性状を事前推定し、
前記ある切羽の判定結果は、前記推定部が前記ある切羽の性状を事前推定した結果を修正することによって作成されることを特徴とする、請求項2に記載の切羽性状推定装置。
【請求項4】
前記抽出部は、前記推定部が前記ある切羽の性状を事前推定した結果と、前記判定結果取得部の取得した前記ある切羽の性状の判定結果と、の少なくとも一部が異なる場合に、前記
再学習用教師データを抽出し、
前記再学習部は、前記抽出部が前記
再学習用教師データを抽出した場合に、前記学習済モデルに前記再学習を行わせることを特徴とする、請求項3に記載の切羽性状推定装置。
【請求項5】
前記抽出部は、前記判定結果取得部が取得した前記判定結果と、該判定結果に対応する前記測定データとを組み合わせて作成された教師データを
、再学習用教師データとして1つ以上抽出することを特徴とする、請求項2~4のいずれか1項に記載の切羽性状推定装置。
【請求項6】
前記教師データを複数個記憶している記憶装置において、前記複数個の前記教師データは、該教師データに含まれるステレオ画像および三次元画像のうち少なくとも一方と、スペクトル画像とを生成するための画像の撮影地域に応じて、複数のデータセットに分類されて記憶されており、
前記抽出部は、前記
再学習用教師データを含む前記データセットを抽出することを特徴とする、請求項1~5のいずれか1項に記載の切羽性状推定装置。
【請求項7】
前記測定データは、近赤外写真を含むことを特徴とする、請求項1~6のいずれか1項に記載の切羽性状推定装置。
【請求項8】
施工中のトンネルのある切羽の測定データに基づいて専門家により判定された、当該ある切羽の性状の判定結果を取得する判定結果取得ステップと、
前記ある切羽を含む種々の切羽についての測定データと、前記種々の切羽それぞれに対応する前記判定結果との組み合わせから成る教師データ
の中から、前記判定結果取得ステップにおいて取得された前記判定結果と一致または類似する判定結果を含んだ教師データを、
再学習用教師データとして1つ以上抽出する抽出ステップと、
前記抽出ステップにおいて抽出された1つ以上の
再学習用教師データを用いて、前記種々の切羽の測定データと、
前記種々の切羽それぞれに対応する前記判定結果との相関関係を機械学習させた学習済モデルを再学習させる再学習ステップと、を含み、
前記測定データは、ステレオ画像および三次元画像のうち少なくとも一方と、スペクトル画像と、を含むことを特徴とする、推定方法。
【請求項9】
前記測定データは、近赤外写真を含むことを特徴とする、請求項8に記載の推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、切羽性状推定装置および推定方法等に関する。
【背景技術】
【0002】
トンネルの掘削工事では、事前に地山の地質を調査した上で施工計画が練られ、実際の工事が行われる。しかしながら、実際に施工してみた場合、地山の地質が事前調査の結果と異なる地質である場合も多い。そのため、掘削工事の施工業者は、切羽性状を判定することで、切羽周辺の地山の地質を確認することが一般的である。この判定は、施工中定期的に行われる。施工業者は、切羽性状の判定結果を考慮して、掘削工事の安全方策および施工計画を立てる。
【0003】
切羽性状の判定は、人間が知識と経験に基づいて行うため、その判定精度は判定者に依存している。例えば、従来は、切羽性状の判定は、地質学の専門家が、切羽の写真または観測データを総合的に参照して下していた。一方、近年、地質評価を人工知能(AI)に行わせる技術が開発されている。例えば、特許文献1には、AIが行う岩盤の強度判定の、精度を高めるための技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述のように、切羽性状の判定結果は、工事の安全方策を練るためにも用いられる。そのため、切羽性状の判定は高精度であることが求められる。しかしながら、特許文献1に記載のAI等、従来技術のAIを用いて切羽性状の判定を行うと、高くても90%程度の正解率しか得られていない。ゆえに、これらのAIの判定結果を無条件で安全対策および施工計画の検討に用いることはリスクが高く、AIによる切羽性状の判定は実用性が低かった。
【0006】
本発明の一態様は、上記問題点に鑑みたものである。本発明の一態様は、施工中のトンネルにおける切羽性状の推定に適合した学習済モデルを構築することを目的とする。
【課題を解決するための手段】
【0007】
前記の課題を解決するために、本発明に係る切羽性状推定装置は、施工中のトンネルのある切羽の測定データに基づいて専門家により判定された、当該ある切羽の性状の判定結果を取得する判定結果取得部と、前記ある切羽を含む種々の切羽についての測定データと、前記種々の切羽それぞれに対応する前記判定結果との組み合わせから成る教師データの中から、前記判定結果取得部が取得した前記判定結果と一致または類似する判定結果を含んだ教師データを、再学習用教師データとして1つ以上抽出する抽出部と、前記抽出部により抽出された1つ以上の再学習用教師データを用いて、前記種々の切羽の測定データと、前記種々の切羽それぞれに対応する前記判定結果との相関関係を機械学習させた学習済モデルを再学習させる再学習部と、を備え、前記測定データは、ステレオ画像および三次元画像のうち少なくとも一方と、スペクトル画像と、を含む。
【0008】
前記の構成または方法によれば、専門家による施工中のトンネルのある切羽の性状についての判定結果と、結果が一致または類似している再学習用教師データを用いて、学習済モデルに再学習を実行させる。これにより、施工中のトンネルにおける切羽性状の推定に、より適合した学習済モデルを構築することができる。
【0009】
前記切羽性状推定装置は、前記測定データを取得する測定データ取得部と、種々の切羽の前記測定データを、前記再学習を実行した後の前記学習済モデルに入力することによって、前記測定データが示す各切羽の性状を推定する推定部と、を備えていてもよい。
【0010】
前記の構成によれば、再学習後の学習済モデルを用いて、測定データから切羽の性状を推定することができる。再学習後の学習済モデルは、再学習前の学習済モデルよりも、そのトンネルの切羽の性状を推定するのに適合したモデルである。したがって、前記の構成によれば、学習済モデルを用いた切羽性状の推定を高精度で実行することができる。
【0011】
前記切羽性状推定装置において、前記推定部は、前記ある切羽の測定データを、前記再学習を実行する前の前記学習済モデルに入力することによって、前記ある切羽の性状を事前推定し、前記ある切羽の判定結果は、前記推定部が前記ある切羽の性状を事前推定した結果を修正することによって作成されてもよい。
【0012】
前記の構成によれば、専門家に学習済モデルの事前推定の結果を修正させることによって、より正しい判定結果を得ることができる。また、その判定結果に基づいて学習済モデルを再学習させることで、学習済モデルの判定精度を向上させることができる。
【0013】
前記切羽性状推定装置において、前記抽出部は、前記推定部が前記ある切羽の性状を事前推定した結果と、前記判定結果取得部の取得した前記ある切羽の性状の判定結果と、の少なくとも一部が異なる場合に、前記再学習用教師データを抽出し、前記再学習部は、前記抽出部が前記再学習用教師データを抽出した場合に、前記学習済モデルに前記再学習を行わせてもよい。
【0014】
また、前記の構成によれば、学習済モデルの事前推定の結果と、専門家の判定結果とを照合して、少なくとも一部が異なる場合に再学習を実行する。再学習後の学習済モデルは、再学習前の学習済モデルよりも、そのトンネルの切羽判定に適合したモデルである。したがって、前記の構成によれば、再学習によって切羽性状の判定を高精度に実行可能な学習済モデルを構築することができる。
【0015】
前記切羽性状推定装置において、前記抽出部は、前記判定結果取得部が取得した前記判定結果と、該判定結果に対応する前記測定データとを組み合わせて作成された教師データを、再学習用教師データとして1つ以上抽出してもよい。
【0016】
前記の構成によれば、専門家の判定結果を用いて作成した教師データを用いて学習済モデルを再学習させることができる。これにより、学習済モデルに、適切な再学習を実行させることができる。
【0017】
前記教師データを複数個記憶している記憶装置において、前記複数個の前記教師データは、該教師データに含まれるステレオ画像および三次元画像のうち少なくとも一方と、スペクトル画像とを生成するための画像の撮影地域に応じて、複数のデータセットに分類されて記憶されており、前記抽出部は、前記再学習用教師データを含む前記データセットを抽出してもよい。
【0018】
切羽の性状は一律の条件で判定するよりも、切羽周辺の地山の地質に基づいて、総合的に推定することが望ましい。前記の構成によれば、施工中のトンネルにおける切羽性状の推定に、より適合した学習済モデルを構築することができる。
【0019】
前記切羽性状推定装置において、前記測定データは、近赤外写真を含んでいてもよい。
【0020】
近赤外写真からは、切羽が含有する水量(有水量)を特定することができる。したがって、前記の構成によれば、切羽性状のうち、有水量についてより精密に特定することが可能な学習済モデルを構築することができる。また、該学習済モデルを用いて切羽性状の推定を行う場合に、切羽の有水量について、より精密な推定結果を得ることができる。
【0021】
前記の課題を解決するために、本発明に係る推定方法は、施工中のトンネルのある切羽の測定データに基づいて専門家により判定された、当該ある切羽の性状の判定結果を取得する判定結果取得ステップと、前記ある切羽を含む種々の切羽についての測定データと、前記種々の切羽それぞれに対応する前記判定結果との組み合わせから成る教師データの中から、前記判定結果取得ステップにおいて取得された前記判定結果と一致または類似する判定結果を含んだ教師データを、再学習用教師データとして1つ以上抽出する抽出ステップと、前記抽出ステップにおいて抽出された1つ以上の再学習用教師データを用いて、前記種々の切羽の測定データと、前記種々の切羽それぞれに対応する前記判定結果との相関関係を機械学習させた学習済モデルを再学習させる再学習ステップと、を含み、前記測定データは、ステレオ画像および三次元画像のうち少なくとも一方と、スペクトル画像と、を含む。前記の推定方法によれば、前記切羽性状推定装置と同様の効果を奏する。
【0022】
前記推定方法において、前記測定データは、近赤外写真を含んでいてもよい。
【0023】
近赤外写真からは、切羽が含有する水量(有水量)を特定することができる。したがって、前記の推定によれば、切羽性状のうち、有水量についてより精密に特定することが可能な学習済モデルを構築することができる。また、該学習済モデルを用いて切羽性状の推定を行う場合に、切羽の有水量について、より精密な推定結果を得ることができる。
【発明の効果】
【0024】
本発明の一態様によれば、施工中のトンネルにおける切羽性状の推定に適合した学習済モデルを構築することができる。
【図面の簡単な説明】
【0025】
【
図1】実施形態1に係る切羽推定システムの概要を示す図である。
【
図2】前記切羽推定システムに含まれる各種装置の要部構成を示す、ブロック図である。
【
図3】実施形態1に係る学習済モデルの一例を模式的に示した図である。
【
図4】実施形態1に係る推定装置における、学習済モデルの再学習に係る処理の流れを示すフローチャートである。
【
図5】実施形態2に係る切羽推定システムの概要を示す図である。
【
図6】前記切羽推定システムに含まれる装置の要部構成を示すブロック図である。
【
図7】実施形態2に係る推定装置の処理の流れの一例を示すフローチャートである。
【
図8】実施形態4に係る学習済モデルの一例を模式的に示した図である。
【発明を実施するための形態】
【0026】
〔実施形態1〕
≪システム概要≫
図1は、本実施形態に係る切羽推定システム100の概要を示す図である。切羽推定システム100は、切羽性状を推定する学習済モデルを、より適切なモデルになるよう再学習させるためのシステムである。
【0027】
ここで、「切羽性状」とは、切羽の岩質、風化度合、凹凸度合、亀裂の有無、水の有無、含有する水量(有水量)等、切羽およびその周辺の地質の性質または状態に関する情報を意味する。切羽性状は、専門家が種々の測定データを参照して判定することができる。本実施形態において「専門家」とは、地質学の専門家または地質技術者等、切羽性状の判定を下す技能を有する者を示す。端末装置3は、入力された切羽性状の判定結果を示す情報を、推定装置1へと送信する。以降、切羽性状の判定結果を示す情報を、判定結果情報と称する。
【0028】
切羽推定システム100は、例えば、測定装置2と、端末装置3と、推定装置1と、記憶装置4とを含む。なお、端末装置3は必須の構成ではない。推定装置1と端末装置3、推定装置1と記憶装置4、端末装置3と記憶装置4とは互いに通信可能に接続されている。
【0029】
測定装置2は、施工中のトンネルの切羽に関する測定を行うための装置である。本実施形態において測定装置2は、切羽を被写体として、下記(1)および(2)を撮影する。
(1)異なる視点からの複数の単眼画像
(2)異なる波長帯の電磁波を記録した複数の画像
測定装置2は、ステレオ画像および三次元画像のうち、少なくとも一方を生成する。「ステレオ画像」とは、(1)の複数の単眼画像自体、または(1)の画像群から生成される、立体視が可能な画像である。また、「三次元画像」とは、(1)の複数の単眼画像から生成される、三次元の立体画像である。また、測定装置2は、(2)から、スペクトル画像を生成する。「スペクトル画像」とは、(2)の画像の少なくとも1つから生成される、複数の波長帯の電磁波を記録した画像である。スペクトル画像には、可視光線、紫外線、赤外線、遠赤外線等の少なくともいずれかの波長帯の電磁波が記録される。以降、測定装置2が生成したデータを「測定データ」と称する。すなわち、本実施形態では、測定データには、ステレオ画像および三次元画像のうち少なくとも一方と、スペクトル画像とが含まれる。なお、測定データには、これらの画像の元となる(1)(2)の画像群が含まれていてもよい。
【0030】
測定装置2の測定データは、端末装置3に供給される。例えば、測定装置2は、有線または無線で接続している端末装置3に、測定データを送信する。または、測定装置2は、USBフラッシュメモリおよびSDカード等の外部記録媒体に測定データを記録させてもよい。そして、前記外部記録媒体を端末装置3に接続させ、端末装置3に読み取らせてもよい。これにより、測定装置2から端末装置3に測定データを移すことができる。このように、外部記録媒体を介して測定データを供給する場合、測定装置2と端末装置3との通信接続は不必須である。
【0031】
端末装置3は、測定データを専門家が閲覧するための装置である。また、端末装置3は、専門家が、自身が閲覧した測定データが示す切羽についての、切羽性状の判定結果を入力するための装置である。端末装置3は、入力された切羽性状の判定結果を示す情報を推定装置1に送信する。以降、切羽性状の判定結果を単に「判定結果」とも称する。また、該判定結果を示す情報を「判定結果情報」と称する。
【0032】
端末装置3はまた、受信した測定データと、該測定データに対応する判定結果とを対応付けて、記憶装置4に送信する。記憶装置4において、該測定データと判定結果との組は1つの教師データとして記憶される。すなわち、教師データは、種々の切羽についての測定データと、前記種々の切羽それぞれに対応する判定結果との組み合わせから成る。なお、端末装置3は、判定結果情報ではなく教師データを推定装置1に送信してもよい。
【0033】
推定装置1は、学習済モデルに再学習を実行させる装置である。推定装置1は、端末装置3から受信した判定結果情報または教師データに基づいて、記憶装置4から学習済モデルの再学習に用いる教師データを抽出する。推定装置1は、当該再学習に用いる教師データを用いて、学習済モデルの再学習を実行する。ここで、学習済モデルは、種々の切羽についての測定データと判定結果との相関関係を機械学習させたモデルである。
【0034】
記憶装置4は、教師データを複数個記憶している記憶装置である。記憶装置4において教師データは、該教師データに含まれる測定データの測定地域に応じて、複数のデータセットに分類されて記憶されていてもよい。なお、ここで言う「地域」とは地山の地質学的性状から区分される地域であり、地理上の地域と必ずしも一致しない。記憶装置4は、推定装置1からの要求に応じて記憶している教師データを読み出して、推定装置1に送信する。
【0035】
トンネルを施工する際、切羽性状の判定は施工の進捗に合わせて複数回行われることが一般的である。また、切羽の性状は一律の条件で判定するよりも、切羽周辺の地山の地質に基づいて、総合的に判定することが望ましい。
【0036】
図1に示す切羽推定システム100によれば、ある切羽の性状についての判定結果と、結果が一致または類似している教師データを用いて、学習済モデルに再学習を実行させる。ここで、「ある切羽」とは、再学習を実行した後の学習済モデルを用いて、切羽の性状推定を実行する予定の地山に在る切羽である。より具体的には、「ある切羽」とは、例えば施工中のトンネルの切羽等である。これにより、施工中のトンネルにおける切羽性状の推定に適合した学習済モデルを構築することができる。
【0037】
また、地山の岩質または土質は、地域によってその傾向が異なる。例えば、同じ岩質であっても、地域によって切羽の見た目が異なる場合もある。また、同じ岩質の切羽でも、風化度合によって見た目が異なる場合がある。したがって、切羽性状を推定する学習済モデルを構築する場合、推定を実施する切羽の存在する、すなわち、施工中のトンネルの存在する地域における測定データおよび切羽性状の判定結果を教師データとして、学習済モデルを構築することが望ましい。
【0038】
しかしながら、同じ地域で得られる測定データの数は限られており、また、該測定データの内容は似通ったものになることが多い。ゆえに、同じ地域で得られる教師データの数は限られている上、それぞれが似通った教師データになることが多い。例えば施工中のトンネルの切羽の測定および性状判定を教師データとして、学習済モデルを構築した場合、似通った教師データが多くなる虞がある。そして、このような似通った教師データを用いて機械学習を実行させると、学習済モデルの汎用性が失われてしまい、切羽性状を推定可能な範囲(例えば、推定可能な地域)が限定されてしまう虞がある。
【0039】
これに対し、切羽推定システム100によれば、ある切羽の性状についての判定結果と結果が一致または類似している教師データを、記憶装置4から抽出して再学習を実行する。ここで抽出する教師データは、同じ地域の測定データ由来の教師データとは限らない。したがって、同じ地域で得られる測定データの数が限られている場合でも、教師データの多様性を担保することができる。
【0040】
上述の通り、切羽推定システム100において、端末装置3は必須構成ではない。切羽推定システム100が端末装置3を含まない場合、推定装置1が端末装置3の機能を兼ねていてもよい。すなわち、切羽推定システム100において、端末装置3と推定装置1とは一体に構成されていてもよい。この場合、推定装置1は、測定装置2から測定データを取得するための、測定データ取得部を備える。また、測定装置2は推定装置1に測定データを送信する。そして、専門家は推定装置1において測定データを閲覧してもよい。そして、専門家は、推定装置1に対し判定結果を入力してもよい。
【0041】
≪要部構成≫
図2は、切羽推定システム100に含まれる装置の要部構成を示すブロック図である。なお、
図2では端末装置3も併せて図示しているが、切羽推定システム100において、端末装置3は必須の構成ではない。
【0042】
(測定装置2)
測定装置2は、少なくとも、ステレオカメラ22と、スペクトルカメラ23とを含む。さらに、測定装置2は制御部20と、通信部21と、光源24と、記憶部25のうち1つ以上の構成を含んでいてもよい。また、測定装置2はボタン、マウス、およびタッチパネル等の入力部と、ディスプレイ等の表示部を含んでいてもよい。
【0043】
ステレオカメラ22は、切羽のステレオ画像、または三次元画像を生成するための画像を撮影するためのカメラである。切羽全体のステレオ画像を撮影可能であれば、ステレオカメラ22の詳細な構造および性能は特に限定されない。
【0044】
スペクトルカメラ23は、切羽のスペクトル画像を生成するための画像を撮影するためのカメラである。切羽の少なくとも一部分のスペクトル画像を撮影可能であれば、スペクトルカメラ23の詳細な構造および性能は特に限定されない。
【0045】
測定装置2において、ステレオカメラ22とスペクトルカメラ23は、同じ撮影対象を同じ向きおよび角度で撮影可能なように配置および固定されていることが望ましい。また、測定装置2は、トンネルの切羽付近まで測定装置2を運搬可能な移動体に搭載されていることが望ましい。これにより、切羽撮影のために施工が中断される時間を短縮することができる。例えば、測定装置2はトラックの荷台に固定され、切羽付近まで運搬される。
【0046】
光源24は、ステレオカメラ22およびスペクトルカメラ23の少なくとも一方が画像を撮影する際の、標準光源である。光源24は、例えば発光ダイオードを用いたライトで実現可能である。光源24を用いることによって、トンネル内の光(例えば、工事のためのライト等の光)、すなわちバックグラウンドの光の、撮影画像に対する影響を少なくすることができる。
【0047】
光源24の光は、太陽光と同程度の色および強度であることが望ましい。例えば、光源24の光は、彩度が所定の範囲内である光であることが望ましい。ここで、所定の範囲とは、例えば人間の目で光源24の光を見た場合に、白色光に見える程度の彩度の値の範囲を示す。また例えば、光源24の光を、白色光に見えるような色相の光としてもよい。また、光源24の光を色温度が3500ケルビン以上5000ケルビン以下程度の白色光としてもよい。これにより、光源24の光の色が撮影画像に与える影響を最小限にすることができる。また、光源24は平面から拡散光を照射可能なフラット光源であることが望ましい。これにより、撮影の際に均等に光を照射することができる。
【0048】
通信部21は、測定装置2と他の装置との通信を行う通信インタフェースである。例えば、通信部21は、制御部20の制御に従って端末装置3と通信する。例えば、通信部21は、制御部20から入力された測定データを端末装置3に送信する。また、通信部21は、図示しない他の装置から、測定装置2での撮影開始の指示を受信してもよい。撮影開始の指示を受信した場合、通信部21は該指示を制御部20に出力する。
【0049】
制御部20は、測定装置2を統括的に制御する。制御部20は、ステレオカメラ22およびスペクトルカメラ23を制御して、それぞれに切羽を撮影させる。例えば制御部20は、通信部21を介して他の装置から受信した撮影開始指示に応答して、ステレオカメラ22およびスペクトルカメラ23に撮影を実行させてもよい。また例えば、制御部20は測定装置2に備えられたまたは測定装置2に接続された、入力装置等を介して、撮影開始を指示するユーザの入力操作を受け付けてもよい。そして、該入力操作を受け付けた場合、制御部20はステレオカメラ22およびスペクトルカメラ23に撮影を実行させてもよい。
【0050】
ステレオカメラ22による撮影と、スペクトルカメラ23による撮影は、同タイミング、さらに望ましくは略同時に、実行される。制御部20はステレオ画像および三次元画像の少なくとも一方と、スペクトル画像とを取得する。
【0051】
制御部20は、1回の測定で得られた測定データを対応付けてもよい。例えば、制御部20は、同タイミングの撮影画像から生成された、ステレオ画像および三次元画像の少なくとも一方とスペクトル画像とを対応付けてよい。制御部20は、1回の測定毎に測定データを記憶部25に記憶させる。なお、測定データに含まれる各画像の対応付けを行う際、制御部20は、各画像に写った切羽の位置合わせを行ってもよい。
【0052】
例えば、制御部20は、光学カメラの撮影領域を基準として、ステレオカメラ22およびスペクトルカメラ23の撮影領域を予め位置合わせした上で、撮影を行ってもよい。この場合、測定装置2は光学カメラ(図示せず)を備える。そして、制御部20は、光学カメラとスペクトルカメラ23を、各カメラの撮影領域の左上、左下、右上、右下いずれかの四隅の1点、または中央の1点が同じ位置になるように位置合わせする。次に、制御部20は、光学カメラとステレオカメラ22との撮影領域を、光学カメラとスペクトルカメラ23との位置合わせのときと同様に、四隅の1点または中央の1点が同じ位置になるように位置合わせする。これにより、測定装置2は、撮影を実行した際に、上述のいずれか1点で位置合わせされた画像を得ることができる。したがって、測定装置2は、位置合わせされたステレオ画像、三次元画像、およびスペクトル画像を生成することができる。
【0053】
もしくは、測定装置2または端末装置3にて切羽画像の編集ソフトウェアを実行し、当該ソフトウェアを用いて、測定データに含まれる各画像の位置合わせを行ってもよい。例えば、一般的な切羽エディターのソフトウェアにおいて、切羽の形状図と、測定データに含まれる各画像の切羽の輪郭とを重ねあわせることで、両者の画像を位置合わせしてもよい。
【0054】
また、制御部20は端末装置3からの要求に応じて、記憶部25に記憶された測定データを読み出して、該測定データを、通信部21を介して端末装置3に送信してもよい。また、制御部20は1回の測定毎に測定データを自律的に端末装置3に送信してもよい。
【0055】
また、測定装置2が光源24を含む場合、制御部20は光源24の位置および向きのうち少なくとも一方を制御してもよい。また、測定装置2が光源24を含む場合、制御部20は光源24の光の強さおよび色のうち少なくとも一方を制御してもよい。
【0056】
記憶部25は、測定装置2の処理に必要な各種データを記憶する記憶装置である。また、記憶部25は、測定データを記憶する。本実施形態では、記憶部25は、ステレオカメラ22の撮影した単眼画像に基づくステレオ画像および三次元画像の少なくとも一方と、スペクトルカメラ23の撮影した画像に基づくスペクトル画像とを測定データとして記憶する。
【0057】
(端末装置3)
端末装置3は、例えばパーソナルコンピュータ(PC)等である。端末装置3は、測定データを表示する表示部と、専門家が判定結果を入力するための、マウス、ボタン、キーボード等の入力部とを含む。また、端末装置3は推定装置1および測定装置2と通信するための通信部を有する。また、端末装置3は、外部記録媒体を接続するためのインタフェースを有する。
【0058】
端末装置3は、推定装置1に判定結果情報を送信する。また、端末装置3は、測定装置2から取得した測定データと、専門家によって入力された、該測定データに対する判定結果と、を対応付けて、記憶装置4に送信する。すなわち、端末装置3は教師データを作成して記憶装置4に送信する。なお、端末装置3は、推定装置1に判定結果情報ではなく教師データを送信してもよい。
【0059】
また、端末装置3は、自装置に接続された外部記録媒体に、作成した教師データを記録させてもよい。そして、記憶装置4は、前記外部記録媒体が接続された場合、外部記憶媒体から教師データを読み取って記憶してもよい。
【0060】
(推定装置1)
推定装置1は、通信部11と、記憶部12と、制御部(切羽性状推定装置)10とを含む。なお、推定装置1は、外部記録媒体を接続することが可能なインタフェースを備えていてもよい。例えば、推定装置1はUSBフラッシュメモリまたはSDカード等を接続可能なインタフェースを備えていてもよい。また、推定装置1はボタン、マウス、およびタッチパネル等の入力部と、ディスプレイ等の表示部を含んでいてもよい。なお、切羽推定システム100が端末装置3を含まない場合、推定装置1は、端末装置3としての機能を実現するため、前述した端末装置3の各種部材に相当する構成を備えている。
【0061】
通信部11は、推定装置1と他の装置との通信を実現する。通信部11は、端末装置3、および記憶装置4と通信を行う。例えば、通信部11は端末装置3から判定結果情報または教師データを受信する。例えば、通信部11は記憶装置4から再学習用データセットを受信する。なお、外部記録媒体を介して判定結果情報を取得する場合、通信部11は端末装置3との通信を行わなくてもよい。また例えば、通信部11は記憶装置4から再学習用データセットを受信する。なお、切羽推定システム100が端末装置3を含まない場合、通信部11は、測定装置2から測定データを受信し、該測定データを制御部10に出力する。
【0062】
記憶部12は、推定装置1の処理に必要なデータを記憶する記憶装置である。記憶部12は、学習済モデル121を記憶する。学習済モデル121は、種々の切羽のステレオ画像および三次元画像の少なくとも一方、ならびにスペクトル画像と、判定結果との相関関係を機械学習させた学習済モデルである。学習済モデル121の構造は特に限定されない。例えば、学習済モデル121は、CNN(Convolution al Neural Network、畳み込みニューラルネットワーク)構造を有するモデルで実現可能である。本実施形態に係る切羽推定システム100では、一例として、AlexNetのモデル構造を有する学習済モデル121を用いることとして説明を行う。
【0063】
また、学習済モデル121を最初に構築するための学習方法、および学習用のデータセットの内容も特に限定されない。例えば、過去に施工した、種々の地域におけるトンネルの切羽の測定データと、各切羽についての切羽性状の判定結果との組み合わせを、学習用の教師データとしてもよい。学習済モデル121は、後述する再学習部104によって再学習が行われる。
【0064】
なお、記憶部12は推定装置1の外部装置であってもよい。例えば、記憶部12は、推定装置1と通信可能に接続されたサーバ等の記憶装置であってもよい。
【0065】
制御部10は、推定装置1を統括的に制御する。制御部10は、判定結果取得部101と、データセット決定部102と、抽出部103と、再学習部104と、を含む。
【0066】
判定結果取得部101は、判定結果情報または教師データを取得する。推定装置1と端末装置3とが通信接続されている場合、判定結果取得部101は、通信部11を介して端末装置3から判定結果情報または教師データを取得する。また、外部記録媒体を介して判定結果情報または教師データの受け渡しを行う場合、判定結果取得部101は、推定装置1のインタフェースに接続された外部記録媒体から、判定結果情報または教師データを読み出す。判定結果取得部101は、判定結果情報または教師データをデータセット決定部102に出力する。
【0067】
データセット決定部102は、判定結果情報または教師データに応じて、記憶装置4の再学習用データセット41から、学習済モデル121の再学習に用いるデータセットを1つ以上決定する。例えば、データセット決定部102は、記憶装置4にアクセスして再学習用データセット41を参照して、再学習に用いるデータセットを決定する。データセット決定部102は決定したデータセットを示す情報を、抽出部103に出力する。
【0068】
より詳しくは、データセット決定部102は少なくとも、判定結果情報が示す判定結果と一致または類似する判定結果を含んだ教師データを特定し、当該教師データを含んだデータセットを、再学習に用いるデータセットとして決定する。
【0069】
なお、データセット決定部102は、判定結果取得部101から教師データを取得した場合、当該教師データのうち「正解データ」である判定結果と、一致または類似する判定結果を含んだ教師データを特定し、当該教師データを含んだデータセットを、再学習に用いるデータセットとして決定してもよい。
【0070】
判定結果取得部101から教師データを取得した場合、データセット決定部102は、教師データに含まれる判定結果と一致または類似する判定結果を含み、かつ、取得した教師データに含まれる測定データ(すなわち、判定結果に対応する測定データ)の少なくともいずれかのパラメータが一致または類似する教師データを、再学習用データセット41の一群から特定してもよい。
【0071】
そして、データセット決定部102は、該特定した教師データを含むデータセットを、再学習に用いるデータセットとして決定してもよい。例えば、測定データに測定地域の名称、測定地点の山の名称、山脈名等、測定地点を地理的に示す情報、および測定日時を示す情報等が含まれていてもよい。この場合、上述のように測定データを加味して再学習を行うことで、学習済モデル121を、切羽性状の推定を実施する地域および日時により適合したモデルにすることができる。
【0072】
抽出部103は、データセット決定部102が決定した1つ以上のデータセット、すなわち1つ以上の教師データを、記憶装置4の再学習用データセット41から抽出する。抽出部103は抽出した1つ以上のデータセットを再学習部104に出力する。
【0073】
再学習部104は、抽出部103が取得したデータセットに含まれている、1つ以上の教師データを再学習用教師データとして用いて、学習済モデル121を再学習させる。再学習の方法は特に限定されない。
【0074】
記憶装置4は、再学習用データセットの一群を記憶する記憶装置である。以降、再学習用データセットの一群をまとめて再学習用データセット41と呼称する。再学習用データセット41は、再学習用教師データを1つ以上含んだデータセットの一群である。再学習用データセット41の各データセットは、測定データの測定地域、すなわち、ステレオ画像および三次元画像のうち少なくとも一方と、スペクトル画像との撮影地域に応じて、教師データを分類したものである。記憶装置4は、推定装置1からの要求に応じて、再学習用データセット41から再学習用データセットを読み出して、推定装置1に送信する。なお、上述した記憶部12と記憶装置4とは一体に構成されていてもよい。すなわち、学習済モデル121と、再学習用データセット41とは同じ記憶装置に格納されていてもよい。
【0075】
切羽の性状は一律の条件で判定するよりも、切羽周辺の地山の地質に基づいて、総合的に推定されることが望ましい。前記の構成によれば、施工中のトンネルにおける切羽性状の推定に、より適合した学習済モデルを構築することができる。
【0076】
≪学習済モデルの詳細≫
図3は、本実施形態に係る学習済モデル121の一例を模式的に示した図である。図示の通り、学習済モデル121には、測定データが入力される。
図3の例では、測定データとして、ステレオ画像と、スペクトル画像とが入力されることとする。ステレオ画像における切羽の位置と、スペクトル画像における切羽の位置とは位置合わせされていることが望ましい。
【0077】
学習済モデル121は、例えば、畳み込み層と、プーリング層と、結合層とから成る。畳み込み層において、入力データはフィルタリングによる情報の畳み込みがなされる。畳み込みを経たデータは、プーリング層においてプーリング処理が施される。これにより、データ中の特徴の位置変化に対するモデルの認識能力を向上させることができる。プーリング処理を経たデータは、結合層で処理されることによって、学習済モデル121の出力データ、すなわち、切羽性状の推定結果の形式に変換されて出力される。
【0078】
すなわち、学習済モデル121に入力された測定データを、
図3に示す各層をこれらの順に通過させることにより、最終的に、切羽の岩質、風化度合、凹凸度合、亀裂の有無、水の有無等、切羽性状の推定結果が出力される。なお、推定結果の出力形式は特に限定されない。例えば、各種性状は指標値として数値で示されてもよいし、「亀裂有り」「無し」等の2値で示されてもよい。もしくは、各種性状の推定結果はテキストデータで示されてもよい。
【0079】
≪処理の流れ≫
図4は、推定装置1における、学習済モデルの再学習に係る処理の流れを示すフローチャートである。なお、同図は、推定装置1が端末装置3から判定結果情報を取得する場合の処理の流れを示している。
【0080】
推定装置1の判定結果取得部101は、端末装置3から判定結果情報を取得する(S10)。判定結果取得部101は、判定結果情報をデータセット決定部102に出力する。データセット決定部102は、入力された判定結果情報が示す判定結果に基づいて、学習済モデル121の再学習に用いるデータセットを決定する(S11)。データセット決定部102は、決定したデータセットを示す情報を、抽出部103に出力する。
【0081】
抽出部103はデータセット決定部102の決定した再学習用データセットを、記憶装置4の再学習用データセット41から抽出して取得する(S12)。抽出部103は取得したデータセットを再学習部104に出力する。再学習部104は、抽出部103から入力されたデータセットを用いて、学習済モデル121に再学習を行わせる(S13)。
【0082】
〔実施形態2〕
本発明の一態様に係る推定装置は、測定データを取得する測定データ取得部と、種々の切羽の測定データを、再学習を実行した後の学習済モデル121に入力することによって、測定データが示す各切羽の性状を推定する推定部と、を備えていてもよい。
【0083】
また、前述の推定部は、ある切羽の測定データを、再学習を実行する前の学習済モデル121に入力することによって、ある切羽の性状を事前推定してもよい。そして、ある切羽の判定結果は、推定部がある切羽の性状を事前推定した結果を修正することによって作成されたものであってもよい。
【0084】
このように、切羽の性状を事前推定または推定する場合、推定装置5は図示しない表示部等に、推定部の推定結果を表示してもよい。もしくは、推定装置5はプリンタ等の出力装置と接続されており、該推定結果を、該出力装置を介して出力することとしてもよい。
【0085】
以下、本発明の実施形態2について説明する。なお、説明の便宜上、前述の実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。これは、以降の実施形態についても同様である。
【0086】
≪システム概要≫
図5は、本実施形態に係る切羽推定システム200の概要を示す図である。切羽推定システム200は、推定装置1が推定装置5に代わった構成である。切羽推定システム200は、測定装置2が端末装置3と推定装置5へ測定データを送信する点、および、推定装置5から端末装置3へ、切羽性状の推定結果を送信する点で、実施形態1に係る切羽推定システム100と異なる。
【0087】
推定装置5は、学習済モデル121を用いて、測定データから該測定データの示す切羽の性状を事前推定する。ここで、事前推定とは、学習済モデル121を再学習させる前に行う推定のことを示す。推定装置5は事前推定の結果(事前推定結果)を端末装置3に送信する。端末装置3を操作する専門家は、測定データと、推定装置5の事前推定結果とを閲覧し、該事前推定結果に誤りがある場合は、該事前推定結果を正しい結果に修正することにより、切羽性状の判定結果を作成してもよい。端末装置3は判定結果情報または教師データを、推定装置5に送信する。なお、教師データに含まれる判定結果も、上述のように事前推定結果を修正することにより得られた判定結果となる。
【0088】
また、推定装置5は、再学習後の学習済モデル121を用いて、測定データから該測定データの示す切羽の性状を推定してもよい。そして、推定結果は、プリンタ等の出力装置を介して出力されてもよい。
【0089】
前記の構成によれば、再学習後の学習済モデル121を用いて、測定データから切羽の性状を推定することができる。再学習後の学習済モデル121は、再学習前の学習済モデル121よりも、そのトンネルの切羽の性状を推定するのに適合したモデルである。したがって、前記の構成によれば、再学習後の学習済モデル121を用いた切羽性状の推定を高精度で実行することができる。
【0090】
また、前記の構成によれば、専門家に再学習前の学習済モデル121の事前推定結果を修正させることによって誤りのない判定結果を得ることができる。したがって、学習済モデル121の事前推定結果に応じた、切羽性状の判定結果に基づいて、再学習用データセットを抽出することができる。したがって、再学習により適したデータセットを抽出することができる。
【0091】
なお、
図5では、測定装置2から端末装置3および推定装置5の両方に測定データを送信する例について記載している。しかしながら、切羽推定システム200では、測定装置2は推定装置5を介して端末装置3に測定データを送信することとしてもよい。具体的には、推定装置5は推定結果を端末装置3に送信するときに、該推定結果に対応する測定データをともに端末装置3に送信してもよい。
【0092】
≪要部構成≫
図6は、切羽推定システム200に含まれる各種装置の要部構成を示すブロック図である。切羽推定システム200は、推定装置1にかわり推定装置5を含んでいる点で、切羽推定システム100と異なる。
【0093】
なお、切羽推定システム100と同様、切羽推定システム200においても、外部記録媒体を介して測定装置2、端末装置3、記憶装置4、および推定装置5の間の各種データの受け渡しを実現してもよい。推定装置5は、推定装置1に含まれる各種構成に加えて、測定データ取得部105と、推定部106と、を含む。
【0094】
測定データ取得部105は、測定データを取得する。推定装置5と測定装置2とが通信接続されている場合、測定データ取得部105は、通信部11を介して測定装置2から測定データを取得する。また、外部記録媒体を介して測定データの受け渡しを行う場合、測定データ取得部105は、推定装置5のインタフェースに接続された外部記録媒体から、測定データを読み出す。測定データ取得部105は、測定データを推定部106に出力する。
【0095】
推定部106は、再学習後の学習済モデル121に測定データを入力することにより、切羽性状を事前推定する。また、推定部106は、再学習前の学習済モデル121に測定データを入力することにより、切羽性状を推定してもよい。推定部106は、事前推定結果を、通信部11を介し端末装置3に送信する。
【0096】
端末装置3は、測定データと、推定装置5の事前推定結果とを専門家に向けて表示する。また、端末装置3は、事前推定結果を修正するための入力操作を受け付ける。端末装置3は、修正された事前推定結果、すなわち切羽性状の判定結果を作成して、該判定結果を示す判定結果情報を推定装置5に送信する。また、端末装置3は該判定結果を含む教師データを作成して、記憶装置4に送信する。なお、端末装置3は、判定結果情報ではなく教師データを推定装置5に送信してもよい。
【0097】
≪処理の流れ≫
図7は、推定装置5の実行する処理の流れの一例を示すフローチャートである。なお、同図は、推定装置5が、端末装置3から判定結果情報を取得する場合の処理の流れを示している。測定データ取得部105は、測定装置2から測定データを取得する(S20)。測定データ取得部105は、測定データを推定部106に出力する。推定部106は、測定データを学習済モデル121に入力して(S21)、学習済モデル121から出力される切羽性状の事前推定結果を取得する(S22)。推定部106は、取得した事前推定結果を、通信部11を介して端末装置3に送信する(S23)。
【0098】
端末装置3は、事前推定結果を取得すると、該事前推定結果と、それに対応する測定データとを表示する。端末装置3は専門家による、事前推定結果の修正を指示する入力操作を受け付ける。端末装置3は前記入力操作に従って事前推定結果を修正することで、切羽性状の判定結果を作成する。端末装置3は判定結果情報を推定装置5に送信する。
【0099】
推定装置5の判定結果取得部101は、通信部11を介して端末装置3から判定結果情報を取得する(S24)。以降のS25~S27の処理は、
図4のS11~S13と同様である。
【0100】
(変形例1)
なお、推定装置5は、端末装置3に事前推定結果を送信しない構成としてもよい。そして、端末装置3は実施形態1に記載の端末装置3と同様に、測定装置2から得られた測定データから専門家の判定結果を作成し、該判定結果を推定装置5に送信してもよい。
【0101】
この場合、推定装置5の判定結果取得部101は判定結果を受信し、データセット決定部102に出力する。また、推定装置5の推定部106は、学習済モデル121を用いて切羽性状を事前推定し、該事前推定結果をデータセット決定部102に出力する。以降の処理は、前述の実施形態2と同様である。
【0102】
(変形例2)
また、データセット決定部102は、推定部106がある切羽の性状を事前推定した結果と、判定結果取得部101の取得した該ある切羽の性状の判定結果とを照合して、これらの少なくとも一部が異なる場合に、データセットを抽出すると決定してもよい。そして、再学習部104は、抽出部103が再学習用教師データを抽出した場合に、学習済モデル121に再学習を行わせてもよい。
【0103】
前記の構成によれば、学習済モデル121の事前推定結果と、専門家の判定結果とを照合して、少なくとも一部が異なる場合に、再学習を実行する。再学習後の学習済モデル121は、再学習前の学習済モデル121よりも、そのトンネルの切羽判定に適合したモデルである。したがって、前記の構成によれば、再学習によって切羽性状の判定を高精度に実行可能な学習済モデル121を構築することができる。
(変形例3)
また、データセット決定部102は、推定部106がある切羽の性状を事前推定した結果と、判定結果取得部101の取得した該ある切羽の性状の判定結果とを照合して、これらの少なくとも一部が異なる場合に、データセットを抽出すると決定してもよい。そして、再学習部104は、抽出部103が再学習用教師データを抽出した場合に、学習済モデル121に再学習を行わせてもよい。
【0104】
また、データセット決定部102は、判定結果情報と一致または類似し、かつ、前記判定結果情報の判定結果に対応する測定データと一致または類似する測定データを含む教師データ(または教師データのデータセット)を、抽出対象の再学習用教師データ(またはデータセット)と決定してもよい。そして、前記抽出部103は、データセット決定部102が決定した教師データ(またはデータセット)を、再学習用教師データとして記憶装置4から抽出してもよい。例えば、測定データに測定地域の名称、測定地点の山の名称、山脈名等、測定地点を地理的に示す情報、および測定日時を示す情報等が含まれていてもよい。この場合、上述のように測定データを加味して再学習用教師データを抽出することで、学習済モデル121を、切羽性状の推定を実施する地域および日時により適合したモデルにすることができる。
【0105】
(変形例4)
データセット決定部102は、測定データ取得部105から、ある切羽の測定データを取得してもよい。また、データセット決定部102は、判定結果取得部101から、当該ある切羽の判定結果情報を取得してもよい。また、データセット決定部102は、判定結果情報が示す判定結果と、当該判定結果に対応する測定データとを組み合わせて、教師データを作成してもよい。そして、データセット決定部102は、作成した教師データを抽出部103に出力してもよい。
【0106】
この場合、抽出部103は、作成された教師データを、抽出した再学習用の教師データ(例えば、再学習用データセット)と同様に取り扱う。すなわち、抽出部103は、当該作成された教師データを再学習部104に出力する。そして、再学習部104は、当該教師データを用いて学習済モデルに再学習させる。なお、データセット決定部102は、上述した教師データの作成に加え、実施形態2に示す再学習用データセットの決定も行ってよい。そして、抽出部103は、記憶装置4から当該再学習用データセットの抽出も行ってよい。この場合、抽出部103は、作成された教師データと、再学習用データセットとの両方を再学習部104に出力する。そして、再学習部104は、作成された教師データと、再学習用データセットとの両方を用いて、学習済モデル121に再学習を実行させる。前記の構成によれば、専門家の判定結果を用いて作成した教師データを用いて、学習済モデル121を再学習させることができる。これにより、学習済モデルに、適切な再学習を実行させることができる。
【0107】
(変形例5)
また、データセット決定部102は、測定データと、該測定データを用いた場合の事前推定結果との関係性を解析してもよい。そして、データセット決定部102は、当該解析の結果を加味して、再学習用データセットを決定してもよい。ここで言う「解析」とは、例えば、学習済モデル121を用いて事前推定を行う際に、学習済モデル121が、測定データの何のデータのどの部分(例えば、どのパラメータまたはどの領域)に着目して、事前推定結果を出力したかについての解析である。以降、学習済モデル121の前述の着目点のことを単に「着目点」とも称する。
【0108】
より具体的に言えば、例えば、データセット決定部102は、スペクトル画像、三次元画像、およびステレオ画像の少なくともいずれかにおける着目点を特定してもよい。なお、当該特定の手法は特に限定されない。例えば、データセット決定部102は、Grad-CAM またはGuided Grad-CAMの技術を用いることで、着目点を特定することができる。
【0109】
そして、データセット決定部102は、特定した着目点(すなわち、画像における着目領域)が類似する測定データを含んだ複数の教師データ(または該教師データを含むデータセット)を、再学習用データセットと決定してよい。これにより、学習済モデル121に、より効果的な再学習を実行させることができる。
【0110】
(変形例6)
また、学習済モデル121がCNN以外の構成も含む場合、データセット決定部102は、学習済モデル121がCNNからどのような影響を受けているかを特定してもよい。ここで、「CNN以外の構成」とは、例えばCNNにデータを入力する前の前処理工程のための構成、またはCNNの出力結果を推定結果の形式に変換する、後処理工程のための構成等である。そして、データセット決定部102は、学習済モデル121がCNNから受ける影響のうち、間違った影響については修正を行い、修正後のデータを再学習用データとして用いてもよい。
【0111】
具体的には、データセット決定部102は、前述した変形例3と同様に、ある切羽についての事前推定結果と、判定結果取得部101の取得した該ある切羽についての判定結果とを照合する。次に、データセット決定部102は、照合結果において、事前推定結果が判定結果と異なっている箇所を「事前推定において、学習済モデル121がCNNから受けた、間違った影響」であると特定する。続いて、データセット決定部102は、特定した影響箇所を、判定結果に応じて修正して、測定データと、該修正した事前推定結果とを組み合わせたデータを再学習用教師データとして生成する。データセット決定部102は、該再学習用教師データを再学習部104に出力し、再学習部104は該再学習用教師データを用いて学習済モデル121に再学習を実行させる。これにより、学習済モデル121に、より効果的な再学習を実行させることができる。
【0112】
〔実施形態3〕
測定装置2は、ステレオカメラ22、スペクトルカメラ23に加えて、近赤外写真を撮影可能なカメラを備えていてもよい。そして、測定データには該カメラで撮影された、切羽の近赤外写真が含まれていてもよい。
【0113】
この場合、切羽の性状の判定結果は、切羽のステレオ画像および三次元画像のうち少なくとも一方、スペクトル画像、および近赤外写真に基づいて専門家により判定された結果である。また、教師データに含まれている測定データにも、各切羽の近赤外写真が含まれる。また、学習済モデル121は、種々の切羽のステレオ画像および三次元画像のうち少なくとも一方、スペクトル画像、および近赤外写真と、前記判定結果との相関関係を機械学習させた学習済モデルである。
【0114】
近赤外写真からは、切羽が含有する水量(有水量)を精度良く特定することができる。したがって、前記の構成によれば、切羽性状のうち、有水量についてより精密に特定することが可能な学習済モデル121を構築することができる。また、該学習済モデル121を用いて切羽性状の推定(または事前推定)を行う場合に、切羽の有水量について、より精密な推定結果を得ることができる。
【0115】
〔実施形態4〕
また、実施形態1~3に係るステレオカメラ22およびスペクトルカメラ23は、バンドパスフィルタ27が取り付けられた複数のカメラ群26で実現されてもよい。カメラ群26の各カメラのバンドパスフィルタ27は、それぞれ異なる波長帯域の光を透過する。これにより、カメラ群26からの複数枚の単眼画像に基づいて、スペクトル画像を生成することができる。また、カメラ群26からの複数枚の単眼画像は複眼画像であるともいえる。この複眼画像をステレオ画像として用いる、または、この複眼画像に基づいて、三次元画像を生成することができる。
【0116】
このようにカメラ群26を構成することにより、スペクトル画像の元画像を撮影するためのカメラと、ステレオ画像または三次元画像用の元画像を撮影するためのカメラとを分けて用意せずとも、同じカメラを用いて両方の画像生成に必要な元画像を撮影することができる。すなわち、一度の撮影で得られる複数枚の単眼画像に基づいて、ステレオ画像または三次元画像の少なくとも一方と、スペクトル画像とを生成することが出来る。なお、カメラ群26に含まれる単眼カメラの台数は、撮影対象範囲に応じて適宜設定されてよい。
【0117】
また、実施形態1~3に係る学習済モデル121は、複数のサブモデルから構成されていてもよい。
図8は、本実施形態に係る学習済モデル121の一例を模式的に示した図である。図示の通り、本実施形態において、学習済モデル121は、第1学習済モデル121-1と、第2学習済モデル121-2の2つのサブモデルから成る。なお、各サブモデルの構造は特に限定されない。例えば、第1学習済モデル121-1および第2学習済モデル121-2はそれぞれ、実施形態1に係る学習済モデル121と同様、AlexNetのモデル構造を有していてもよい。
【0118】
なお、
図8は、ステレオカメラ22およびスペクトルカメラ23を、バンドパスフィルタ27が取り付けられた複数のカメラ群26で実現した場合の例を示している。しかしながら、
図8で示す学習済モデル121の構成は、ステレオカメラ22とスペクトルカメラ23とをそれぞれ別個に設けた場合においても実現可能である。また、
図8の例では、測定データには、三次元画像と、スペクトル画像とが含まれていることとする。
【0119】
第1学習済モデル121-1は、複数のカメラの画像から生成されたスペクトル画像を入力すると、中間結果として、切羽性状のうちの風化度合、凹凸度合、および亀裂の有無を出力する学習済モデルである。第2学習済モデル121-2は、第1学習済モデル121-1の出力データである中間結果と、複数のカメラの画像から生成された三次元画像とを入力データとして、切羽性状の最終的な推定結果を出力するモデルである。例えば、
図8の例では、第2学習済モデル121-2は、推定結果として岩質、風化度合、凹凸度合、亀裂の有無、および水の有無等の推定結果を出力する。
【0120】
本実施形態に係る推定部106は、まず測定データのうちスペクトル画像を、第1学習済モデル121-1に入力することで、中間結果を得る。次に推定部106は、該中間結果と、測定データのうちの三次元画像とを第2学習済モデル121-2に入力することで、最終的な推定結果を得る。なお、推定部106は、切羽性状の推定と同様、第1学習済モデル121-1および第2学習済モデル121-2を用いて、切羽性状の事前推定も実行可能である。
【0121】
また、本実施形態に係る再学習部104は、学習済モデル121に再学習を実行させる場合、再学習用教師データに含まれる測定データを、各サブモデルの入力データに適合するよう、分解して再学習に用いてもよい。
【0122】
このように、学習済モデル121を複数のサブモデルで構成することによって、切羽性状をより精密に推定することができる。例えば、一般的にスペクトル画像からは、切羽の風化度合、凹凸度合、亀裂の有無等を推定することができる。したがって、スペクトル画像を第1学習済モデル121-1に入力して推定を行い、次に推定結果と三次元画像とを合わせて、第2学習済モデル121-2で推定結果をブラッシュアップすることで、切羽性状のより精密な推定結果を得ることができる。なお、事前推定についても同様に、より精密な事前推定結果を得ることができる。
【0123】
〔実施形態5〕
また、前記各実施形態に記載の推定部106は、ルールベースでの切羽性状の推定と、学習済モデル121での切羽性状の推定とを組み合わせて実施してもよい。この場合、記憶部12には、該ルールを定めたデータベース等が格納されている。
【0124】
例えば、記憶部12は、スペクトル画像の所定の特徴と、該特徴に対応する岩質および風化度合の指標値とを対応付けたデータベース(DB)を格納していてもよい。そして、学習済モデル121は、該DBにおける岩質および風化度合の指標値、ならびにステレオ画像または三次元画像と、切羽性状の推定結果との相関関係を機械学習させた学習済モデルであってもよい。
【0125】
この場合、推定部106は、測定データ取得部105から測定データが入力されると、まず測定データのうちのスペクトル画像から特徴を特定し、該特徴に対応する岩質と風化度合の指標値とを、記憶部12のDBを参照して特定する。そして、推定部106は、特定した岩質と風化度合の指標値と、ステレオ画像または三次元画像とを学習済モデル121に入力することで、最終的な切羽性状の推定結果を取得する。なお、推定部106は、切羽性状の推定と同様、記憶部12のDBと学習済モデル121とを用いて、切羽性状の事前推定も実行可能である。
【0126】
以上の構成によれば、測定データ、特に画像データ等、情報量の大きいデータを、まずルールベースで数値等の情報に変換してから、学習済モデル121での推定を行うことができる。これにより、切羽性状の推定にかかる処理量を減少させることができる。なお、事前推定についても同様に、事前推定にかかる処理量を減少させることができる。
【0127】
また、前述したDBは、記憶装置4に記憶されていてもよい。そして、推定部106は、切羽性状の推定を行う際に、通信部11を介して記憶装置4のDBにアクセスしてもよい。
【0128】
〔ソフトウェアによる実現例〕
推定装置1および5の制御ブロック(判定結果取得部101、データセット決定部102、抽出部103、再学習部104、測定データ取得部105、および推定部106のうち少なくとも1つ)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
【0129】
後者の場合、推定装置1および5は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0130】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0131】
1、5 推定装置
2 測定装置
3 端末装置
4 記憶装置
10、20 制御部
11、21 通信部
12、25 記憶部
22 ステレオカメラ
23 スペクトルカメラ
24 光源
41 再学習用データセット
100、200 切羽推定システム
101 判定結果取得部
102 データセット決定部
103 抽出部
104 再学習部
105 測定データ取得部
106 推定部
121 学習済モデル