特開 2023-153686 検出装置及び検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023153686

(43)【公開日】2023-10-18

(54)【発明の名称】検出装置及び検出方法

(51)【国際特許分類】

   G01C 15/00 20060101AFI20231011BHJP

   E21D 20/00 20060101ALI20231011BHJP

   E21D 9/00 20060101ALI20231011BHJP

   E21B 47/00 20120101ALI20231011BHJP

   G01B 11/00 20060101ALI20231011BHJP

   G06T 7/00 20170101ALI20231011BHJP

   G06V 10/82 20220101ALI20231011BHJP

【ＦＩ】

G01C15/00 104D

E21D20/00 Z

E21D9/00 C

E21B47/00

G01B11/00 H

G06T7/00 350C

G06V10/82

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022063096

(22)【出願日】2022-04-05

(71)【出願人】

【識別番号】000001373

【氏名又は名称】鹿島建設株式会社

(71)【出願人】

【識別番号】591284601

【氏名又は名称】株式会社演算工房

(74)【代理人】

【識別番号】110002468

【氏名又は名称】弁理士法人後藤特許事務所

(72)【発明者】

【氏名】影山 心

(72)【発明者】

【氏名】林 稔

(72)【発明者】

【氏名】松村 匡樹

(72)【発明者】

【氏名】土本 真史

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA04

2F065AA16

2F065BB08

2F065BB27

2F065CC14

2F065CC40

2F065DD02

2F065FF04

2F065JJ03

2F065MM06

2F065MM26

2F065QQ03

2F065QQ24

2F065QQ28

2F065QQ31

2F065UU05

5L096BA18

5L096FA69

5L096HA11

5L096JA09

5L096KA04

(57)【要約】

【課題】掘削機の掘削位置を安価な方法で取得する。
【解決手段】検出装置１００は、地盤及び掘削機１０を撮像した対象画像を取得する画像取得部３０と、対象画像に画像処理を施して対象画像内の掘削機の先端部を検出する処理検出部３１と、掘削機によって地盤を掘削する掘削エネルギー値の情報を対象画像と関連付けて取得するエネルギー情報取得部３２と、所定の閾値以上の掘削エネルギー値が取得されると、関連付けられた対象画像内で検出された掘削機１０の先端部の位置を掘削位置として特定する位置特定部３３と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

アーム状の掘削機による地盤の掘削位置を検出する検出装置であって、
前記地盤及び前記掘削機を撮像した対象画像を取得する画像取得部と、
前記対象画像に画像処理を施して前記対象画像内の前記掘削機の先端部を検出する処理検出部と、
前記掘削機によって前記地盤を掘削する掘削エネルギー値の情報を前記対象画像と関連付けて取得するエネルギー情報取得部と、
所定の閾値以上の前記掘削エネルギー値が取得されると、関連付けられた前記対象画像内で検出された前記掘削機の前記先端部の位置を前記掘削位置として特定する位置特定部と、を備える、
ことを特徴とする検出装置。

【請求項2】

請求項１に記載の検出装置であって、
前記処理検出部は、教師データを用いて機械学習された学習済みモデルによって前記掘削機の前記先端部を検出する、
ことを特徴とする検出装置。

【請求項3】

請求項１又は２に記載の検出装置であって、
前記処理検出部は、前記掘削機の前記先端部、後端部、及び全体を検出するように構成され、前記先端部が検出できなかった場合には、前記後端部と前記全体との位置関係から前記先端部の位置を検出する、
ことを特徴とする検出装置。

【請求項4】

請求項１又は２に記載の検出装置であって、
前記位置特定部は、画像内での前記地盤の形状が特定された基準画像と前記対象画像とを比較して前記対象画像内での前記地盤の形状を特定し、前記地盤と前記掘削位置との位置関係を特定する、
ことを特徴とする検出装置。

【請求項5】

請求項４に記載の検出装置であって、
前記地盤を複数の領域に分割し、各領域内に含まれる一又は複数の掘削位置での前記掘削エネルギー値に基づいて当該領域での前記掘削エネルギー値を算出するエネルギー算出部をさらに備える、
ことを特徴とする検出装置。

【請求項6】

アーム状の掘削機による地盤の掘削位置を検出する検出方法であって、
前記地盤及び前記掘削機を撮像した対象画像を取得し、
前記対象画像に画像処理を施して前記対象画像内の前記掘削機の先端部を検出し
前記掘削機によって前記地盤を掘削する掘削エネルギー値の情報を前記対象画像と関連付けて取得し、
所定の閾値以上の前記掘削エネルギー値が取得されると、関連付けられた前記対象画像内で検出された前記掘削機の前記先端部の位置を前記掘削位置として特定する、
ことを特徴とする検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、掘削機の掘削位置を検出する検出装置及び検出方法に関する。

【背景技術】

【0002】

特許文献１には、山岳トンネルの掘削時にドリルジャンボによって計測された穿孔エネルギーを利用して切羽前方の地山を評価する方法が記載されている。また、特許文献１には、コンピュータ制御されたドリルジャンボによって、削孔時の穿孔位置、穿孔エネルギー、穿孔方向の角度データなどの掘削データを自動入手することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１２７６５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の方法では、ドリルジャンボに各種センサを設けて、ドリルジャンボの作動をセンシングすることで、穿孔位置を自動入手している。

【0005】

しかしながら、ドリルジャンボに取り付けたセンサから穿孔位置を取得するには、複数のセンサを要する。また、センサの取付位置やドリルジャンボの形状を測定し、ドリルジャンボの先端位置を計算する必要がある。このように、センサによってドリルジャンボの作動をセンシングして穿孔位置を取得する方法はコストが高く、より安価で穿孔位置を取得することが望まれている。

【0006】

本発明は、掘削機の掘削位置を安価な方法で取得することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、アーム状の掘削機による地盤の掘削位置を検出する検出装置であって、地盤及び掘削機を撮像した対象画像を取得する画像取得部と、対象画像に画像処理を施して対象画像内の掘削機の先端部を検出する処理検出部と、掘削機によって地盤を掘削する掘削エネルギー値の情報を対象画像と関連付けて取得するエネルギー情報取得部と、所定の閾値以上の掘削エネルギー値が取得されると、関連付けられた対象画像内で検出された掘削機の先端部の位置を掘削位置として特定する位置特定部と、を備える。

【0008】

本発明は、アーム状の掘削機による地盤の掘削位置を検出する検出方法であって、地盤及び掘削機を撮像した対象画像を取得し、対象画像に画像処理を施して対象画像内の掘削機の先端部を検出し、掘削機によって地盤を掘削する掘削エネルギー値の情報を対象画像と関連付けて取得し、所定の閾値以上の掘削エネルギー値が取得されると、関連付けられた対象画像内で検出された掘削機の先端部の位置を掘削位置として特定する。

【発明の効果】

【0009】

本発明によれば、掘削位置を安価に取得することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る検出システムの概略図である。

【図2】本発明の実施形態に係る検出システムの構成を示すブロック図である。

【図3】本発明の実施形態に係る検出方法を示すフローチャートである。

【図4】本発明の実施形態に係る評価方法を示すフローチャートである。

【図5】本発明の実施形態に係る検出方法において、対象画像で掘削機が検出された状態を示す図である。

【図6】本発明の実施形態に係る検出方法において、対象画像で掘削機の先端部の位置を推定する方法を示す図である。

【図7】本発明の実施形態に係る評価方法において、対象画像で切羽を複数の領域に分割した状態を示す図である。

【図8】本発明の実施形態に係る評価方法における評価画像を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、本発明の実施形態に係る検出装置１００を備える検出システム１０１及び検出方法について説明する。

【0012】

検出システム１０１は、アーム状の掘削機１０を備え掘削機１０によって地盤を掘削する作業機械１０２に適用され、掘削機１０による地盤の掘削位置を検出するものである。

【0013】

まず、図１を参照して、作業機械１０２の全体構成について説明する。

【0014】

本実施形態では、作業機械１０２は、掘削対象となる地盤としてトンネルＴの切羽Ｓに対して爆薬を装填するための発破孔Ｈを削孔するドリルジャンボである。作業機械１０２は、アーム状の掘削機１０と、掘削機１０を搭載する移動台車１と、を備える。

【0015】

掘削機１０は、図１に示すように、一端にビット１１が取付けられたロッド１２と、ロッド１２の他端を支持するドリフタ１３と、ドリフタ１３の移動を案内するガイドセル１４と、を有する。ドリフタ１３が駆動機構（図示省略）によりガイドセル１４に沿って往復移動すると、ロッド１２がガイドセル１４に沿って往復移動する。

【0016】

ドリフタ１３は、ロッド１２に回転力を付与可能であると共に打撃力を付与可能である。切羽Ｓにおける岩盤にビット１１を押付けた状態でビット１１を回転させると共にビット１１を用いて岩盤を打撃することにより、発破孔Ｈが穿孔される。作業機械１０２は、通常、複数の掘削機１０を備えるが、本実施形態では、説明の便宜上、単一の掘削機１０のみを図示している。

【0017】

移動台車１は、伸縮自在なブーム１５の基端を上下方向及び左右方向に揺動自在に支持しており、ブーム１５の先端に掘削機１０のガイドセル１４が上下方向及び左右方向に揺動自在に支持される。ブーム１５は、不図示の駆動機構により移動台車１に対して揺動すると共に伸縮する。ブーム１５の揺動及び伸縮に伴って、掘削機１０が上下左右に移動する。掘削機１０のガイドセル１４は、駆動機構（図示省略）によりブーム１５に対して揺動する。ガイドセル１４の揺動に伴って、掘削機１０の向き（ロッド１２の向き）が変化する。

【0018】

作業者によって掘削機１０が操作されることで、切羽Ｓが削孔され、発破孔Ｈが穿孔される。通常、掘削機１０による切羽Ｓの削孔中には移動台車１は移動せず、移動台車１と切羽Ｓとの位置関係は変化しない。

【0019】

検出システム１０１は、図１及び図２に示すように、切羽Ｓを撮像する撮像部としてのカメラ２０と、掘削機１０による掘削エネルギー値を取得するための測定部２５と、掘削機１０による切羽Ｓへの削孔位置を検出する検出装置１００と、を備える。

【0020】

カメラ２０は、掘削機１０によって削孔される切羽Ｓの全体を撮像可能となるように、移動台車１に取り付けられる。カメラ２０は、切羽Ｓを連続的に撮像して動画形式の画像データを取得する。なお、カメラ２０は、断続的に静止画を撮像するものでもよい。カメラ２０によって取得された画像データは、検出装置１００に入力される。

【0021】

測定部２５は、掘削機１０の掘削エネルギー値を取得するために必要な掘削機１０の作動状態を表すパラメータを測定する。測定部２５は、複数の掘削機１０のそれぞれの作動状態を表すパラメータを互いに区別可能に測定している。本実施形態では、測定部２５は、ドリフタ１３からロッド１２に付与される回転力及び打撃力を測定する各種センサにより構成される。例えば、図示は省略するが、測定部２５は、ロッド１２の回転力を検出するトルクセンサ、ロッド１２による打撃力を検出する圧力センサ、及びロッド１２の移動速度を検出する速度センサを有する。測定部２５は、カメラ２０による静止画の撮像間隔（サンプリング間隔）に対応して、ロッド１２の回転力、打撃力、及び移動速度を測定する。つまり、測定部２５は、カメラ２０が撮像するフレームごとに各測定項目を測定する。測定部２５の測定結果は、検出装置１００に入力される。なお、測定部２５は、少なくとも後述する対象画像が撮像された際の掘削エネルギーを取得できるように、サンプリング間隔が設定されていればよい。

【0022】

検出装置１００は、制御プログラム等を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＣＰＵにより実行される制御プログラムを記憶するＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＣＰＵの演算結果等を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、通信装置と、等を備えたコンピュータによって構成される。検出装置１００は、ＲＯＭに記憶される制御プログラムがＣＰＵによって実行されることにより、本明細書に記載の検出装置１００の各種機能を実行する。検出装置１００は、一つのコンピュータによって構成されていてもよいし、複数のマイクロコンピュータによって構成され各制御を当該複数のコンピュータで分散処理するように構成されていてもよい。

【0023】

検出装置１００は、例えば、移動台車１に搭載され、カメラ２０及び測定部２５と有線又は無線によって通信可能に接続される。なお、検出装置１００は、移動台車１に搭載される構成に限定されず、移動台車１以外の場所に設けられてもよい。例えば、検出装置１００は、カメラ２０及び測定部２５とネットワークを通じて無線接続されたサーバコンピュータによって構成されてもよい。

【0024】

検出装置１００は、図２に示すように、カメラ２０から入力される画像データから対象画像を取得する画像取得部３０と、対象画像に画像処理を施して対象画像内の掘削機１０の先端部を検出する処理検出部３１と、掘削機１０によって切羽Ｓを削孔する掘削エネルギー値の情報を対象画像と関連付けて取得するエネルギー情報取得部３２と、掘削エネルギー値に基づいて対象画像内で掘削機１０による掘削位置を特定する位置特定部３３と、撮像した切羽Ｓを複数の領域に分割し、各領域内に含まれる一又は複数の掘削位置での掘削エネルギー値に基づいて当該領域での掘削エネルギー値を算出するエネルギー算出部３４と、を備える。なお、図２に示す検出装置１００の各構成は、検出装置１００の各機能を仮想的なユニットとして示したものであり、物理的に存在することを意味するものではない。

【0025】

画像取得部３０は、動画形式で入力される画像データから、所定の時間間隔によって静止画を抜き出す。抜き出された静止画（以下、「対象画像」と称する。）は、処理検出部３１によって画像処理される。画像データから静止画を抜き出す間隔は、カメラ２０が静止画を撮像するサンプリング間隔と同じ（つまり、動画の各フレームすべてを対象画像として抽出する）構成であってもよいし、当該サンプリング間隔よりも大きくてもよい。後述する検出方法では、動画の各フレームが対象画像として抜き出されるものとして説明する。

【0026】

処理検出部３１は、掘削機１０の先端部が特定された画像群を教師データとして機械学習された学習済みモデルによって対象画像内の掘削機１０の先端部、後端部、及び全体を検出する。ここでいう掘削機１０の先端部とは、ビット１１が取り付けられるロッド１２の先端部のことである。

【0027】

学習済みモデルは、予め切羽Ｓ及び掘削機１０を撮像した画像群に対して、作業者によって画像内の掘削機１０の先端部、後端部、及び全体をラベリングし、ラベリングされた画像群を教師データとしてコンピュータに深層学習を用いた機械学習を行わせることで構築される。また、学習済みモデルは、複数の掘削機１０をそれぞれ識別可能となるように学習されている。例えば、マーカ等を各掘削機１０に付与し、マーカに基づいてラベリングした画像群を教師データとすることで、掘削機１０を識別する学習済みモデルを生成することができる。

【0028】

処理検出部３１による画像処理・物体認識によって、掘削機１０の先端部、後端部、及び全体のそれぞれに対応する矩形領域（バウンティングボックス）Ｂ１，Ｂ２，Ｂ３が抽出される（図５参照）。また、処理検出部３１は、掘削機１０の先端部を抽出できない場合に、抽出された後端部及び全体に基づいて先端部の位置を推定して検出する機能を有している。当該機能の詳細については、後に説明する。

【0029】

エネルギー情報取得部３２は、対象画像が撮像された際の掘削機１０の掘削エネルギー値を測定部２５の測定結果に基づいて取得する。掘削エネルギー値は、掘削機１０の回転力、打撃力、及び移動速度に基づき、算出される。掘削機１０の回転力、打撃力、及び移動速度から掘削エネルギー値を算出する方法は、公知の方法を採用できるため詳細な説明は省略する。対象画像と、当該対象画像が撮像された際の掘削エネルギー値とは、互いに関連付けられて記憶されると共に位置特定部３３に入力される。

【0030】

位置特定部３３は、エネルギー情報取得部３２から入力された対象画像の削孔エネルギー値が、予め設定される閾値よりも大きければ、対象画像内において当該掘削機１０の先端部の位置を切羽Ｓに対する削孔位置であると特定する。このようにして、対象画像内での掘削位置が特定される。閾値は、掘削機１０が切羽Ｓを掘削していない状態において測定部２５のセンサの誤差やノイズに起因して生じる掘削エネルギー値のぶれ（変動）が影響しないように、ゼロよりも大きな値に設定される。

【0031】

位置特定部３３は、対象画像内で掘削位置を特定すると、画像内で予め切羽Ｓの形状が特定されている基準画像と対象画像とを比較して、対象画像内での切羽Ｓの形状を特定する。これにより、検出した掘削位置と切羽Ｓとの相対的な位置関係が特定される。

【0032】

エネルギー算出部３４は、対象画像にグリッドを作成し、対象画像内の切羽Ｓを複数の領域に分割する。エネルギー算出部３４は、位置特定部３３によって特定された対象画像内の切羽Ｓの位置と掘削位置、及び、当該掘削位置を掘削した掘削エネルギー値に基づいて、分割された各領域における掘削エネルギー値を算出する。各領域の掘削エネルギー値とは、各領域に対応する一の掘削エネルギー値（代表値）である。領域内に複数の発破孔Ｈが設けられる場合には、各領域の掘削エネルギー値は、各発破孔Ｈを掘削する掘削エネルギー値の平均値や、領域内の発破孔Ｈの掘削エネルギー値のうちの最大値とすることができる。後述する切羽Ｓの評価方法では、代表値として、最大値を採用する場合を例に説明する。

【0033】

また、エネルギー算出部３４は、対象画像内で分割された複数の領域に対して、掘削エネルギー値の大小に応じて色彩や明度を付与することで、評価画像を生成する。生成された評価画像は、検出装置１００から外部のモニタに出力される。これにより、作業者は、評価画像中に色彩や明度の違いで表現された掘削エネルギー値の分布を確認することで、切羽Ｓの硬軟の状態を把握することができる。

【0034】

次に、図３から図８を参照して、検出システム１０１による掘削位置の検出方法及び切羽Ｓの評価方法について説明する。

【0035】

図３は、検出装置１００が実行する掘削位置の検出方法を示すフローチャートであり、図４は、切羽Ｓの評価方法を示すフローチャートである。検出装置１００は、対象画像を画像処理することで掘削機１０による掘削位置を検出し、掘削位置と掘削に要した掘削エネルギー値とに基づいて切羽Ｓの状態を評価する。

【0036】

まず、掘削位置の検出方法について説明する。検出装置１００は、図３に示す掘削位置の検出処理を所定の処理間隔で実行する。本実施形態では、検出装置１００が実行する検出処理の処理間隔は、カメラ２０が撮影するフレームの時間間隔と一致する。つまり、検出システム１０１は、カメラ２０が撮影した動画のフレームごとに図３に示す処理を実行する。なお、検出システム１０１が実行する処理間隔は、フレームの時間間隔以上に設定されていればよい。

【0037】

ステップＳ１０では、カメラ２０が撮影した動画から１フレーム分の静止画を抜きだして、対象画像として取得する。

【0038】

ステップＳ１１では、学習済みの機械学習モデルによって対象画像から掘削機１０の先端部、後端部、及び全体の領域を抽出する。具体的には、図５に示すように、掘削機１０の先端部を示す矩形領域Ｂ１、後端部を示す矩形領域Ｂ２、及び全体を示す矩形領域Ｂ３を抽出する。

【0039】

ここで、掘削機１０の先端部は、切羽Ｓに接触し掘削するものであるため、機械学習モデルによる画像内での物体認識を行う方法では、後端部や全体と比べて対象画像内で領域が抽出されにくい。このため、対象画像から、掘削機１０の後端部及び全体は検出されるものの、先端部は検出されないことがある。なお、掘削機１０の全体は、先端部が検出されなくても、対象画像内である程度の範囲に存在し特徴量を抽出できるため、先端部よりも検出は容易である。

【0040】

このような場合、検出システム１０１は、掘削機１０の後端部と全体との相対的な位置関係に基づいて、先端部の位置を推定することで、先端部の検出を行う。具体的には、図６に示すように、通常、掘削機１０の後端部を示す矩形領域Ｂ２は、掘削機１０の全体を示す矩形領域Ｂ３内に存在する。そして、掘削機１０の先端部は、掘削機１０の後端部から本体部分に沿って延びた先に存在する。このため、掘削機１０の先端部だけが検出されない場合には、検出装置１００は、掘削機１０の全体を示す矩形領域Ｂ３の中心点Ｐ３に対して、後端部の矩形領域Ｂ２の中心点Ｐ２とは点対称となる位置を対象画像内での先端部の位置Ｐ１と推定する。つまり、掘削機１０全体を示す矩形領域Ｂ３の中心点Ｐ３と後端部を示す矩形領域Ｂ２の中心点Ｐ２とを結んだ仮想線（図６中の二点鎖線）上において、掘削機１０の全体の中心点Ｐ２からの距離が後端部の中心点Ｐ３と等距離にある点Ｐ１を、先端部として検出する。これにより、掘削機１０の先端部が対象画像から直接検出できない場合であっても、掘削機１０による削孔位置をある程度の精度により検出することが可能となる。

【0041】

ステップＳ１０及びステップＳ１１が実行されるのと並列して、ステップＳ１２及びＳ１３が実行される。なお、ステップＳ１０及びＳ１１とステップＳ１２及びＳ１３とは、並列処理に限られず直列に処理されてもよく、その前後の順番もいずれであってもよい。ステップＳ１２では、対象画像が撮影された際の測定部２０による測定結果（対象画像に対応した測定結果）を取得する。

【0042】

ステップＳ１３では、ステップ１２で取得した測定結果から掘削機１０の掘削エネルギー値を算出する。

【0043】

ステップ１１において掘削機１０が抽出され、ステップＳ１３において掘削エネルギー値が算出されると、ステップＳ１４において、掘削エネルギーが所定の閾値以上であるか判定される。掘削エネルギー値が閾値よりも小さい場合には、そのまま処理を終了する。掘削エネルギーが閾値以上である場合には、ステップＳ１５に進み、対象画像（より具体的には、当該対象画像内での掘削機１０の先端部の位置）と掘削エネルギー値とが関連付けて記憶される。この際の掘削機１０の先端部の位置が、掘削機１０による削孔位置として検出される。ステップＳ１５が完了すると、処理が終了する。

【0044】

検出装置１００は、このような削孔位置の検出を、例えば、予め定められた数の発破孔Ｈが形成されるまで実行する。予め定められた数の発破孔Ｈが検出されると、検出装置１００は、図４に示す評価処理を実行して、切羽Ｓの評価を行う。なお、検出装置１００は、例えば、作業者による操作入力があった場合に図４に処理を実行する構成でもよい。このように、図４に示す処理を実行するタイミングは、任意に設定することができる。

【0045】

図４に示すように、ステップＳ２０では、対象画像内での掘削対象である地盤形状（切羽Ｓの形状）の特定が行われる。具体的には、予め検出システム１０１には、切羽Ｓの形状（画像内での位置）が特定された基準画像が記憶される。基準画像は、例えば、トンネルＴの掘削における設計上の切羽Ｓの形状が示された画像である。対象画像を基準画像に対してフィッティングすることで、対象画像内での切羽Ｓの形状が特定される。フィッティングは、基準画像内の切羽Ｓが対象画像内の切羽Ｓに重なるように、基準画像を移動・拡縮させて、対象画像と基準画像とを重ね合わせるものである。対象画像に対する基準画像のフィッティングは、検出装置１００によって実行されてもよいし、作業者によって手動で行われてもよい。これにより、対象画像内での座標位置であった掘削位置が、切羽Ｓに対する相対的な位置として把握される。

【0046】

次に、ステップＳ２１では、図７に示すように、対象画像内で切羽Ｓをグリッド線によって複数の領域に分割する。なお、グリッド線の間隔や形状は、図６に示す例に限定されず、任意に設定することができる。また、図７で示される各点は、掘削機１０による掘削位置を示している。

【0047】

ステップＳ２２では、グリッド線によって分割されたセルＣごとに一つの掘削エネルギー値（代表値）を算出する。セルＣ内に複数の発破孔Ｈが形成されている場合には、掘削エネルギー値の代表値は、複数の発破孔Ｈに対する掘削エネルギー値のうちの最大値である。また、セルＣ内に発破孔Ｈが形成されていない場合には、当該セルＣの掘削エネルギー値は、０（ゼロ）として算出される。

【0048】

次に、ステップＳ２３では、掘削エネルギー値の大小によってセルＣを色分けした評価画像を生成する（図８参照）。そして、ステップＳ２４において、評価画像を例えば外部のモニタ等に出力して、処理を終了する。これにより、作業者は、評価画像を確認することで、地盤の硬軟を判断することができる。

【0049】

以上の実施形態によれば、以下に示す作用効果を奏する。

【0050】

本実施形態では、画像処理によって掘削機１０の先端部が検出され、掘削エネルギー値に基づくことで掘削機１０が地盤を掘削しているかを把握することができる。つまり、地盤を掘削している状態の掘削機１０の先端部を画像処理によって検出できるため、地盤に対する掘削位置を特定することができる。このように、センサを使わず画像処理によって掘削機１０の先端部の位置を特定することができるため、掘削機１０の動作をセンシングするセンサ等を削減でき、掘削位置をより安価に取得することができる。

【0051】

また、本実施形態では、掘削エネルギー値が閾値以上である場合にのみ、当該掘削エネルギー値が算出された際の掘削機１０の先端部の位置を掘削位置であると検出する。掘削位置と掘削エネルギー値とに基づいて、評価画像が生成される。これにより、切羽Ｓの硬軟を把握することができる。切羽Ｓの硬軟が把握されることで、発破孔Ｈへの装薬管理、これから掘削する先の地山（発破した後に生じる新たな切羽Ｓなど）の硬軟の予測、トンネルＴ内に設置する支保工の評価と管理、などを行うことができる。

【0052】

次に、本実施形態の変形例について説明する。

【0053】

上記実施形態では、機械学習された学習モデルによって対象画像内で掘削機１０の先端部と後端部とが検出される。検出システム１０１は、先端部と後端部とに基づいて、掘削機１０の角度、ひいては削孔する角度を算出してもよい。掘削機１０の全長は予め把握できるため、掘削機１０の全長と、掘削機１０の先端部及び後端部の位置から、掘削角度を算出することが可能である。このようにして算出した掘削角度を、例えば、削孔の精度評価等に用いてもよい。

【0054】

また、上記実施形態では、検出装置１００は、切羽Ｓを削孔するドリルジャンボに適用されるものであるが、これに限定されず、例えば、同じく掘削機１０によって地盤を掘削するロードヘッダーに適用されてもよい。

【0055】

また、上記実施形態では、掘削エネルギー値が閾値以上となると、その際の掘削機１０の先端部の位置を掘削位置として取得する。この構成は、掘削エネルギー値が閾値に達していない場合に、掘削機１０の先端部の位置を記憶することを妨げるものではない。

【0056】

また、上記実施形態では、対象画像と基準画像とを比較（フィッティング）することで、対象画像内での切羽Ｓ形状を特定し、切羽Ｓに対する発破孔Ｈの相対的な位置が把握される。上記実施形態では、基準画像は、設計上での切羽Ｓ形状に基づくものであったが、例えば、実際に切羽Ｓを撮像したうえで、当該画像内での切羽Ｓの形状を画像処理又は作業者の手動により検出して、基準画像としてもよい。また、切羽Ｓに対する発破孔Ｈの相対的な位置の特定は、対象画像と基準画像とを比較する方法に限定されない。基準画像を利用しなくても、実際の切羽Ｓの形状と、切羽Ｓに対するカメラ２０の相対位置と、を予め把握することで、当該カメラ２０によって切羽Ｓを撮像した対象画像内での切羽Ｓの形状は特定することも可能である。また、対象画像に対して画像処理を施して、切羽ＳとトンネルＴの内壁との境界を検出して、対象画像内での切羽Ｓの形状を特定することも可能である。

【0057】

また、上記実施形態では、処理検出部３１は、機械学習済みの学習モデルによって対象画像内で掘削機１０を検出するが、掘削機１０の検出は、学習モデルを利用した画像処理に限定されない。なお、学習済みモデルを利用する場合には、掘削の対象となる地盤が更新・変更された場合には、当該地盤を撮像した画像にラベリングを施して新たな教師データを作成し、新たな教師データを追加学習させることが望ましい。

【0058】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

【0059】

上述した検出装置１００における一連の処理は、コンピュータにこれを実行さるためのプログラムとして提供されてもよい。また、上述した一連の処理を実行するためのプログラムは、検出装置１００によって読み取り可能な記憶媒体によって提供される。また、プログラムは、ネットワーク回線を通じて検出装置１００に提供されてもよい。また、検出装置１００が実行する各種プログラムは、例えばＣＤ－ＲＯＭ等の非一過性の記録媒体に記憶されたものを用いてもよい。

【符号の説明】

【0060】

１００ 検出装置
１０ 掘削機
２０ カメラ（撮像部）
２５ 測定部
３０ 画像取得部
３１ 処理検出部
３２ エネルギー情報取得部
３３ 位置特定部
３４ エネルギー算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】