▶ 清水建設株式会社の特許一覧 ▶ 古河機械金属株式会社の特許一覧 ▶ 古河ロックドリル株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024143560
(43)【公開日】2024-10-11
(54)【発明の名称】着岩位置予測処理装置および方法
(51)【国際特許分類】
E21D 9/10 20060101AFI20241003BHJP
G06T 7/70 20170101ALI20241003BHJP
G01B 11/245 20060101ALI20241003BHJP
B25J 19/04 20060101ALI20241003BHJP
B25J 11/00 20060101ALI20241003BHJP
B25J 13/08 20060101ALI20241003BHJP
E21D 21/00 20060101ALI20241003BHJP
【ＦＩ】
E21D9/10 Z
G06T7/70 A
G01B11/245 H
B25J19/04
B25J11/00 A
B25J13/08 A
E21D21/00
E21D9/10 L
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023056301
(22)【出願日】2023-03-30
(71)【出願人】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(71)【出願人】
【識別番号】000165974
【氏名又は名称】古河機械金属株式会社
(71)【出願人】
【識別番号】594149398
【氏名又は名称】古河ロックドリル株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】井手 康夫
(72)【発明者】
【氏名】邊見 涼
(72)【発明者】
【氏名】吉田 悠
(72)【発明者】
【氏名】井上 翔太
【テーマコード（参考）】
2D054
2F065
3C707
5L096
【Ｆターム（参考）】
2D054AD20
2D054BA24
2D054GA10
2D054GA13
2D054GA19
2D054GA25
2D054GA81
2F065AA04
2F065CC10
2F065CC40
2F065DD03
2F065FF01
2F065FF05
2F065JJ03
2F065JJ05
2F065JJ26
3C707AS21
3C707CS08
3C707KS17
3C707KS20
3C707KT01
3C707KT05
3C707LV19
5L096AA06
5L096CA04
5L096CA05
5L096EA26
5L096FA09
5L096FA66
5L096FA67
5L096FA69
5L096GA51
(57)【要約】 （修正有）
【課題】ブームの先端をトンネル壁面の孔Ｈの位置に高精度に位置させる処理装置及び処理方法を提供する。
【解決手段】方法は、互いに異なる方向からブームの先端Ｅ及び当接対象が写るように同じタイミングで撮影された第１の画像Ｐ１及び第２の画像Ｐ２を取得し、第１の画像の中で設定されたブームに重なりかつブームの延伸方向に伸びる第１の直線Ｌ１と、当接対象との第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成し、第２の画像の中で設定されたブームに重なりかつブームの延伸方向に伸びる第２の直線Ｌ２と、当接対象との、第２の画像の中での相対的位置関係を示す第２の位置関係情報を生成し、第１の画像の中で、当接対象との相対的位置関係が第２の位置関係情報で示される位置関係を満たす第３の直線Ｌ３を設定し、第１の画像の中で設定された第１の直線と第３の直線の交点Ｂの位置情報をブームの先端の当接予測地点として算出する。
【選択図】図１４
【解決手段】方法は、互いに異なる方向からブームの先端Ｅ及び当接対象が写るように同じタイミングで撮影された第１の画像Ｐ１及び第２の画像Ｐ２を取得し、第１の画像の中で設定されたブームに重なりかつブームの延伸方向に伸びる第１の直線Ｌ１と、当接対象との第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成し、第２の画像の中で設定されたブームに重なりかつブームの延伸方向に伸びる第２の直線Ｌ２と、当接対象との、第２の画像の中での相対的位置関係を示す第２の位置関係情報を生成し、第１の画像の中で、当接対象との相対的位置関係が第２の位置関係情報で示される位置関係を満たす第３の直線Ｌ３を設定し、第１の画像の中で設定された第１の直線と第３の直線の交点Ｂの位置情報をブームの先端の当接予測地点として算出する。
【選択図】図１４
【特許請求の範囲】
【請求項1】
互いに異なる方向からブームの先端及び前記ブームの先端を当接させる当接対象が写るように同じタイミングで撮影された第１の画像及び第２の画像を取得する取得部と、
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成部と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成部と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定部と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測部と、
を有する処理装置。
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成部と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成部と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定部と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測部と、
を有する処理装置。
【請求項2】
前記第１の生成部は、前記第１の直線と、前記第１の画像の中の前記当接対象から抽出された特徴点との相対的な位置関係を示す前記第１の位置関係情報を生成し、
前記第２の生成部は、前記第２の直線と、前記第２の画像の中の前記当接対象から抽出された特徴点との相対的な位置関係を示す前記第２の位置関係情報を生成する請求項１に記載の処理装置。
前記第２の生成部は、前記第２の直線と、前記第２の画像の中の前記当接対象から抽出された特徴点との相対的な位置関係を示す前記第２の位置関係情報を生成する請求項１に記載の処理装置。
【請求項3】
前記第１の画像の中からトンネルの壁面に形成された孔を検出する画像解析部と、
前記位置情報で示される前記当接予測地点と前記孔との前記第１の画像の中での相対的な位置関係を算出する算出部と、
前記当接予測地点と前記孔との相対的な位置関係の算出結果に基づき前記ブームを駆動させるブーム制御部と、
を有する請求項１又は２に記載の処理装置。
前記位置情報で示される前記当接予測地点と前記孔との前記第１の画像の中での相対的な位置関係を算出する算出部と、
前記当接予測地点と前記孔との相対的な位置関係の算出結果に基づき前記ブームを駆動させるブーム制御部と、
を有する請求項１又は２に記載の処理装置。
【請求項4】
前記当接予測地点と前記孔との相対的な位置関係は、前記当接予測地点から前記孔に向かう方向を含み、
前記ブーム制御部は、前記ブームを駆動して、前記当接予測地点を前記孔に近づける請求項３に記載の処理装置。
前記ブーム制御部は、前記ブームを駆動して、前記当接予測地点を前記孔に近づける請求項３に記載の処理装置。
【請求項5】
前記ブームに取り付けられたカメラが前記第１の画像を撮影し、
前記ブーム制御部は、
前記ブームの姿勢に基づき前記カメラの姿勢を特定し、
前記カメラの姿勢に基づき、前記第１の画像の中での前記方向を実空間上での方向に変換し、
前記ブームの先端を、前記変換で得られた前記実空間上での方向に移動させる請求項４に記載の処理装置。
前記ブーム制御部は、
前記ブームの姿勢に基づき前記カメラの姿勢を特定し、
前記カメラの姿勢に基づき、前記第１の画像の中での前記方向を実空間上での方向に変換し、
前記ブームの先端を、前記変換で得られた前記実空間上での方向に移動させる請求項４に記載の処理装置。
【請求項6】
前記孔はロックボルト打設用又は装薬用に穿孔された孔である請求項３に記載の処理装置。
【請求項7】
コンピュータが、
互いに異なる方向からブームの先端及び前記ブームの先端を当接させる当接対象が写るように同じタイミングで撮影された第１の画像及び第２の画像を取得する取得工程と、
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成工程と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成工程と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定工程と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測工程と、
を実行する処理方法。
互いに異なる方向からブームの先端及び前記ブームの先端を当接させる当接対象が写るように同じタイミングで撮影された第１の画像及び第２の画像を取得する取得工程と、
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成工程と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成工程と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定工程と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測工程と、
を実行する処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理装置及び処理方法に関する。
【背景技術】
【0002】
本発明に関連する技術が、特許文献１乃至４に開示されている。
【0003】
特許文献１には、台車と、当該台車に搭載される複数のブームとを備えるロックボルト打設車両が開示されている。当該ロックボルト打設車両は、穿孔用ブームと打設用ブームを別々に備える。そして、当該ロックボルト打設車両を利用した作業では、穿孔用ブームで孔を穿孔した後、打設用ブームをその孔の位置に移動させ、その孔にロックボルトを打設する。
【0004】
特許文献２及び３には、ブームの先端を目的位置に移動させるためのブーム制御方法が開示されている。
【0005】
特許文献４には、画像解析の結果に基づきブームを駆動させる技術が開示されている。当該技術では、画像内で荷物を検出し、画像上の荷物の位置に基づき、ブームの先端が荷物の重力方向真上に来る方向にブームを移動させる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０２１－１９５８１９号公報
【特許文献2】特開２０１７－７８６８４号公報
【特許文献3】特開２０１７－７７６１７号公報
【特許文献4】特開２０１１－２０７５７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ブームを用いた作業において、ブームの先端をトンネル壁面の孔の位置に高精度に位置させることが要求される場合がある。一例として、事前に穿孔した孔にロックボルトを打設する作業が挙げられる。当該作業では、例えば径５０ｍｍ程度の孔に径２５ｍｍ程度のボルトを挿入する。特許文献１に開示の技術のように、穿孔用ブームと打設用ブームを別々に備えた場合、ブームを駆動して（ブームの姿勢を変化させて）このような高精度の位置合わせを行う必要がある。特許文献１は、当該課題及びその解決手段を開示していない。また、特許文献２乃至４は、ブームの先端を目的位置に移動させるためのブーム制御方法を開示しているものの、上述のようなレベルでの高精度な位置合わせを実現する手法は開示していない。
【0008】
ブームの先端の位置合わせを行う処理の一例として、ブームが備える各種関節等の状態を検出するセンサの利用が挙げられる。具体的には、当該センサの値に基づきブームの姿勢及びブームの先端の位置を特定する。そして、センサの値に基づき特定したブームの先端の位置と任意の手段で特定した孔の位置とに基づき、ブームの先端の位置合わせを行う。しかし、当該手段の場合、「ブームの姿勢変化によるブームの撓み」、「ブームの姿勢変化による車両の傾きの変化」、「伸縮部摺動板の摩耗によるバックラッシュの増大」等により、ブームの先端の位置を精度よく特定できないという問題がある。すなわち、センサの値に基づき特定したブームの先端の位置と実際のブームの先端の位置との間にズレが生じ得る。このため、上述のようなレベルでの高精度な位置合わせを実現することは難しい。
【0009】
また、ブームの先端の位置合わせを行う処理の他の一例として、画像解析の利用が挙げられる。具体的には、孔とブームの先端とが写る画像を解析して孔とブームの先端の位置のずれを算出し、算出結果に基づきブームの先端の位置合わせを行う。しかし、当該手段の場合、算出できる孔とブームの先端の位置のズレは、２次元画像上でのズレであり、奥行き方向の情報が含まれない。このような奥行き方向の情報が欠けている情報に基づく制御では、上述のようなレベルでの高精度な位置合わせを実現することは難しい。
【0010】
本発明の目的の一例は、上述した問題を鑑み、ブームの先端をトンネル壁面の孔の位置に高精度に位置させるという課題を解決する処理装置及び処理方法を提供することにある。
【課題を解決するための手段】
【0011】
本発明の一態様によれば、
互いに異なる方向からブームの先端及び前記ブームの先端を当接させる当接対象が写るように同じタイミングで撮影された第１の画像及び第２の画像を取得する取得部と、
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成部と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成部と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定部と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測部と、
を有する処理装置が提供される。
互いに異なる方向からブームの先端及び前記ブームの先端を当接させる当接対象が写るように同じタイミングで撮影された第１の画像及び第２の画像を取得する取得部と、
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成部と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成部と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定部と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測部と、
を有する処理装置が提供される。
【0012】
本発明の一態様によれば、
コンピュータが、
互いに異なる方向からブームの先端及び前記ブームの先端を当接させる当接対象が写るように同じタイミングで撮影された第１の画像及び第２の画像を取得する取得工程と、
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成工程と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成工程と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定工程と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測工程と、
を実行する処理方法が提供される。
コンピュータが、
互いに異なる方向からブームの先端及び前記ブームの先端を当接させる当接対象が写るように同じタイミングで撮影された第１の画像及び第２の画像を取得する取得工程と、
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成工程と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成工程と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定工程と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測工程と、
を実行する処理方法が提供される。
【発明の効果】
【0013】
本発明の一態様によれば、ブームの先端をトンネル壁面の孔の位置に高精度に位置させるという課題を解決する処理装置及び処理方法が実現される。
【図面の簡単な説明】
【0014】
上述した目的、及びその他の目的、特徴及び利点は、以下に述べる好適な実施の形態、及びそれに付随する以下の図面によってさらに明らかになる。
【0015】
【図1】第１のカメラが撮影した第１の画像の一例を示す図である。
【図2】第２のカメラが撮影した第２の画像の一例を示す図である。
【図3】第１の画像の解析結果の一例を示す図である。
【図4】第２の画像の解析結果の一例を示す図である。
【図5】ブームの構成の一例を示す上面図である。
【図6】ブームの構成の一例を示す側面図である。
【図7】課題を説明するための図である。
【図8】ブームに設置されるカメラについて説明するための図である。
【図9】処理装置のハードウエア構成の一例を示す図である。
【図10】処理装置の機能ブロック図の一例を示す図である。
【図11】処理装置の処理の流れの一例を示すフローチャートである。
【図12】処理装置の処理の流れの他の一例を示すフローチャートである。
【図13】処理装置の処理の流れの他の一例を示すフローチャートである。
【図14】孔の位置を推定する処理を説明するための図である。
【図15】処理装置の処理の流れの他の一例を示すフローチャートである。
【発明を実施するための形態】
【0016】
以下、本発明の実施の形態について、図面を用いて説明する。なお、全ての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0017】
＜第１の実施形態＞
「概要」
本実施形態の処理装置は、互いに異なる方向からブームの先端及び当接対象（トンネルの側壁）が写るように同じタイミングで撮影された複数の画像を取得すると、当該複数の画像を用いた特徴的な演算処理により、ブームの起伏角度及びブームの旋回角度をその状態（画像撮影時の状態）で維持したままブームの先端に位置する各作業用（ボルト打設作業用、モルタル注入作業用、装薬作業用等）の機械を伸ばした場合にその機械が当接する当接対象上の位置（当接予測地点）を画像の中で推定する。
「概要」
本実施形態の処理装置は、互いに異なる方向からブームの先端及び当接対象（トンネルの側壁）が写るように同じタイミングで撮影された複数の画像を取得すると、当該複数の画像を用いた特徴的な演算処理により、ブームの起伏角度及びブームの旋回角度をその状態（画像撮影時の状態）で維持したままブームの先端に位置する各作業用（ボルト打設作業用、モルタル注入作業用、装薬作業用等）の機械を伸ばした場合にその機械が当接する当接対象上の位置（当接予測地点）を画像の中で推定する。
【0018】
そして、処理装置は、画像の中での当接予測地点と孔（例：トンネルの側壁に穿孔された孔）の位置が一致するようにブームを駆動する。本実施形態の処理装置は、このような画像解析の結果に基づくブームの制御により、ブームの先端をトンネル壁面の孔の位置に高精度に位置させることを実現する。
【0019】
ここで、図１乃至図４、図１４を用いて、当接予測地点を推定する処理の概要を説明する。例えば、処理装置は、図１に示す第１の画像Ｐ１及び図２に示す第２の画像Ｐ２を取得したとする。第１の画像Ｐ１及び第２の画像Ｐ２は、２つのカメラで互いに異なる方向から同じタイミングで撮影された画像である。第１の画像Ｐ１及び第２の画像Ｐ２はいずれも、ブームの先端Ｅ及び当接対象が写るように撮影された画像である。第１の画像Ｐ１及び第２の画像Ｐ２において、当接対象は画像の全体にわたって写っている。ブームの先端Ｅは、ブームの先端に位置する各作業用の機械の先端である。本明細書において、ブームの先端に位置する各作業用の機械は、ブームの一部として扱う。
【0020】
処理装置は、図３に示すように、第１の画像Ｐ１の中で設定された直線であって、ブームに重なりかつブームの延伸方向に伸びる第１の直線Ｌ１と、当接対象との第１の画像Ｐ１の中での相対的な位置関係を示す第１の位置関係情報を生成する。第１の直線Ｌ１と当接対象との相対的な位置関係は、当接対象から抽出された特徴点（Ｆ１乃至Ｆ３等）と第１の直線Ｌ１との相対的な位置関係で示される。
【0021】
また、処理装置は、図４に示すように、第２の画像Ｐ２の中で設定された直線であって、ブームに重なりかつブームの延伸方向に伸びる第２の直線Ｌ２と、当接対象との第２の画像Ｐ２の中での相対的な位置関係を示す第２の位置関係情報を生成する。第２の直線Ｌ２と当接対象との相対的な位置関係は、当接対象から抽出された特徴点（Ｆ１乃至Ｆ３等）と第２の直線Ｌ２との相対的な位置関係で示される。
【0022】
次いで、処理装置は、図１４に示すように、第１の画像Ｐ１の中で第３の直線Ｌ３を設定する。図１４において、第３の直線Ｌ３は破線で示している。第３の直線Ｌ３は、当接対象との相対的な位置関係が第２の位置関係情報で示される「第２の画像Ｐ２の中での当接対象と第２の直線Ｌ２との相対的な位置関係」を満たす。すなわち、図１４に示すように、「第２の画像Ｐ２の中での当接対象と第２の直線Ｌ２との相対的な位置関係」は、「第１の画像Ｐ１の中での当接対象と第３の直線Ｌ３との相対的な位置関係」と一致する。図１４では、対応する特徴点（Ｆ１乃至Ｆ３等）同士が重なるように第１の画像Ｐ１と第２の画像Ｐ２が重ねられており、当該状態において、第２の直線Ｌ２と第３の直線Ｌ３とが重なっている。
【0023】
そして、処理装置は、図１４に示すように、第１の画像Ｐ１の中で設定された第１の直線Ｌ１と第３の直線Ｌ３との交点Ｂの第１の画像の中での位置情報を、ブームの先端Ｅの当接予測地点として算出する。
【0024】
なお、当接予測地点を算出した後、処理装置は、第１の画像Ｐ１の中でのブームの先端Ｅの当接予測地点（交点Ｂ）と、第１の画像Ｐ１の中での孔Ｈとの位置が一致するように、ブームを駆動する。そして、当接予測地点（交点Ｂ）と孔Ｈとの第１の画像Ｐ１の中での位置が一致したら、ブームの起伏角度及びブームの旋回角度をその状態で維持し、ブームの先端に位置する各作業用の機械を伸ばし、ブームの先端Ｅを孔Ｈに当接させる。
【0025】
「ブームの構成」
処理装置が制御するブームの構成について説明する。本実施形態において、ブームの構成は特段制限されず、周知のあらゆる構成を採用できる。ただし、処理装置は、特にブームを駆動して（ブームの姿勢を変化させて）ブームの先端をトンネル壁面の孔の位置に高精度に位置させる用途での利用に好適である。すなわち、ブームの構成は、このような用途向けの構成となっていてもよい。このような用途としては、トンネルの側壁にロックボルトを打設する作業、より詳細には、事前に穿孔した孔にロックボルトを打設する作業や、事前に穿孔した孔にモルタルを注入する作業や、事前に穿孔した孔に爆薬等を挿入する作業（装薬）等が例示されるが、これらに限定されない。
処理装置が制御するブームの構成について説明する。本実施形態において、ブームの構成は特段制限されず、周知のあらゆる構成を採用できる。ただし、処理装置は、特にブームを駆動して（ブームの姿勢を変化させて）ブームの先端をトンネル壁面の孔の位置に高精度に位置させる用途での利用に好適である。すなわち、ブームの構成は、このような用途向けの構成となっていてもよい。このような用途としては、トンネルの側壁にロックボルトを打設する作業、より詳細には、事前に穿孔した孔にロックボルトを打設する作業や、事前に穿孔した孔にモルタルを注入する作業や、事前に穿孔した孔に爆薬等を挿入する作業（装薬）等が例示されるが、これらに限定されない。
【0026】
ここで、図５乃至図８を用いて、ブームの構成の一例を説明する。なお、ここで例示するブームの構成はあくまで一例であり、当該構成に限定されない。図５は、台車にブームを搭載した車両の上面図であり、図６は、その車両の側面図である。当該例では、１つの台車に３つのブームが搭載されている。具体的には、２つの穿孔用ブームＤＢＬ及びＤＢＲと、１つのボルト打設用ブームＢＢとが設けられている。各ブームの先端には、各作業用の機械が位置する。穿孔用ブームＤＢＬ及びＤＢＲの先には、穿孔作業を行うための機械が位置する。ボルト打設用ブームＢＢの先には、ボルト打設作業を行うための機械が位置する。そして、これら機械がブームの先端となっている。本明細書における「ブームの先端」は、ブームの先端に位置する各作業用の機械、又はその機械の先端を指す。そして、本明細書では、ブームの先端に位置する各作業用の機械をブームの一部として扱う。ブームの先端に位置する各作業用の機械は、伸縮する機構を備える。ブームの先端に位置する各作業用の機械は、当該機構により伸縮可能となっている。なお、当該例のブームの構成は、特許文献１に開示のブームの構成と同じであるので、ここでの説明は省略する。
【0027】
この例のように穿孔用ブームとボルト打設用ブームとを別々に設ける場合、図７に示すように、穿孔用ブームＤＢＲを駆動して所定位置に孔Ｈを穿孔した後、ボルト打設用ブームＢＢを駆動して（ブームの姿勢を変化させて）当該ブームの先端を孔Ｈの位置に高精度に位置させる必要がある。
【0028】
なお、本実施形態では、「ブームの先端」及び「ブームの先端の近くに位置する当接対象」の両方を同時に撮影する位置及び向きで２個以上のカメラが設置される。当接対象は、ブームを用いた作業においてブームの先端を当接させる対象である。例えば上述したトンネルの側壁にロックボルトを打設する作業の場合、トンネルの側壁が当接対象となる。当接対象には孔が存在する。そして、この孔にブームの先端を当接させることになる。孔は、ブームを用いた作業の対象であり、例えば上述したトンネルの側壁にロックボルトを打設する作業の場合、穿孔した孔が作業の対象となる。カメラは、動画像（時系列な複数のフレーム画像）を撮影してもよいし、所定時間おきに時系列な複数の静止画像を撮影してもよい。
【0029】
カメラはブームの任意の位置に取り付けられる。図８の概念図は、ボルト打設用ブームＢＢに２つのカメラＣを取り付けた様子を示す。カメラＣは、ボルト打設用ブームＢＢの先端、及びその近くに位置するトンネル側壁を同時に撮影する向きで取り付けられている。このように構成した場合、カメラＣは、ボルト打設用ブームＢＢの先端と、その近くに位置するトンネル側壁とを同時に撮影することができる。２つのカメラは、互いに異なる方向からブームの先端及び当接対象を撮影する。
【0030】
よりブームの先端に近い位置にカメラを取り付けることが好ましいが、あまりブームの先端に近づけるとカメラが汚れやすくなる。これらの事情を考慮して、ブームの適切な位置にカメラを設置することができる。なお、カメラの汚れ防止のため、カメラのレンズ部分にエアー、液体、洗浄液等をかけて汚れを取りのぞく洗浄機能を搭載してもよい。
【0031】
「ハードウエア構成」
次に、処理装置のハードウエア構成の一例を説明する。処理装置の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
次に、処理装置のハードウエア構成の一例を説明する。処理装置の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0032】
図９は、処理装置のハードウエア構成を例示するブロック図である。図９に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。
【0033】
バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【0034】
「機能構成」
次に、本実施形態の処理装置の機能構成を詳細に説明する。図１０に、処理装置１００の機能ブロック図の一例を示す。図示するように、処理装置１００は、ブームの先端及び当接対象が写るように撮影された画像を解析する画像解析装置１０と、画像解析装置１０の解析結果に基づきブームを駆動させるブーム制御装置２０とを有する。以下、各装置について詳細に説明する。
次に、本実施形態の処理装置の機能構成を詳細に説明する。図１０に、処理装置１００の機能ブロック図の一例を示す。図示するように、処理装置１００は、ブームの先端及び当接対象が写るように撮影された画像を解析する画像解析装置１０と、画像解析装置１０の解析結果に基づきブームを駆動させるブーム制御装置２０とを有する。以下、各装置について詳細に説明する。
【0035】
－画像解析装置１０－
図１０に示すように、画像解析装置１０は、取得部１１と、画像解析部１２と、算出部１３と、第１の生成部１４と、設定部１５と、予測部１６と、第２の生成部１７とを有する。
図１０に示すように、画像解析装置１０は、取得部１１と、画像解析部１２と、算出部１３と、第１の生成部１４と、設定部１５と、予測部１６と、第２の生成部１７とを有する。
【0036】
取得部１１は、互いに異なる方向からブームの先端及び当接対象が写るように撮影された複数の画像を取得する。複数の画像は、複数のカメラにより同じタイミングで撮影された画像である。取得部１１は、当該画像をリアルタイム処理で取得する。複数のカメラ各々と画像解析装置１０とは有線及び／又は無線で通信可能に接続されている。
【0037】
「当接対象」は、ブームを用いた作業において、ブームの先端を当接させる対象である。例えば上述したトンネルの側壁にロックボルトを打設する作業の場合、トンネルの側壁が当接対象となる。当接対象には孔が存在する。そして、この孔にブームの先端を当接させることになる。
【0038】
「孔」は、ブームを用いた作業の対象であり、例えば上述したトンネルの側壁にロックボルトを打設する作業や、装薬作業の場合、穿孔した孔が作業の対象となる。
【0039】
第１の生成部１４は、第１の画像に基づき第１の位置関係情報を生成する。
【0040】
「第１の画像」は、ブームに取り付けられた複数のカメラの中の任意の１つである第１のカメラが生成した画像である。
【0041】
「第１の位置関係情報」は、第１の画像の中の第１の直線と、当接対象との第１の画像の中での相対的な位置関係を示す。より詳細には、第１の位置関係情報は、第１の直線と、当接対象から抽出された特徴点との相対的な位置関係を示す。
【0042】
「第１の直線」は、第１の画像の中で設定された直線である。図３に示すように、第１の直線Ｌ１は、ブームに重なりかつブームの延伸方向に伸びる直線である。第１の直線Ｌ１は、第１の画像に設定された第１の画像座標系の直線（例：(x,y)=(x0+kx×t、y0+ky×t)）として定義される。第１のカメラがブームに取り付けられ、その位置及び向きが固定されている場合、第１の画像の中におけるブームの状態は固定される。このため、予め、ユーザが第１の画像の中の第１の直線Ｌ１を定義し（第１の画像座標系の直線の傾き及び切片を指定）、画像解析装置１０に登録しておいてもよい。その他、第１の生成部１４は、ブームの外観の特徴量に基づき、第１の画像の中でブームを検出してもよい。そして、第１の生成部１４は、その検出結果に基づき、第１の画像の中で第１の直線Ｌ１を定義してもよい。
【0043】
ここで、第１の位置関係情報を生成する処理の一例を説明する。まず、第１の生成部１４は、第１の画像を解析して、当接対象の特徴点を抽出し、抽出した複数の特徴点各々の第１の画像座標系の座標を算出する。特徴点の抽出は、あらゆる技術を採用して実現できる。例えば、ＯＲＢ（Oriented FAST and Rotated BRIEF）の技術を利用してもよい。なお、図３では、３つの特徴点Ｆ１乃至Ｆ３が抽出された様子が示されているが、抽出される特徴点の数はこれに限定されない。
【0044】
次いで、第１の生成部１４は、第１の直線と抽出した複数の特徴点との相対的な位置関係を算出する。上述の通り、第１の直線は予め定義されていてもよいし、第１の生成部１４が画像解析してブームを検出し、検出結果に基づき第１の直線を定義してもよい。第１の直線と抽出した複数の特徴点との相対的な位置関係は、第１の画像座標系での直線と点との相対的な位置関係として求められる。
【0045】
第２の生成部１７は、第２の画像に基づき第２の位置関係情報を生成する。
【0046】
「第２の画像」は、ブームに取り付けられた複数のカメラの中の任意の１つである第２のカメラが生成した画像である。第２カメラは第１のカメラと異なるカメラである。第１のカメラと第２のカメラは互いに異なる方向からブームの先端及び当接対象を撮影する。
【0047】
「第２の位置関係情報」は、第２の画像の中の第２の直線と、当接対象との第２の画像の中での相対的な位置関係を示す。より詳細には、第２の位置関係情報は、第２の直線と、当接対象から抽出された特徴点との相対的な位置関係を示す。
【0048】
「第２の直線」は、第２の画像の中で設定された直線である。図４に示すように、第２の直線Ｌ２は、ブームに重なりかつブームの延伸方向に伸びる直線である。第２の直線Ｌ２は、第２の画像に設定された第２の画像座標系の直線（例：(x,y)=(x0+kx×t、y0+ky×t)）として定義される。第２のカメラがブームに取り付けられ、その位置及び向きが固定されている場合、第２の画像の中におけるブームの状態は固定される。このため、予め、ユーザが第２の画像の中の第２の直線Ｌ２を定義し（第２の画像座標系の直線の傾き及び切片を指定）、画像解析装置１０に登録しておいてもよい。その他、第２の生成部１７は、ブームの外観の特徴量に基づき、第２の画像の中でブームを検出してもよい。そして、第２の生成部１７は、その検出結果に基づき、第２の画像の中で第２の直線Ｌ２を定義してもよい。
【0049】
第２の位置関係情報は、上述した第１の位置関係情報を生成する処理と同様の処理で生成することができる。
【0050】
設定部１５は、第１の画像の中で、当接対象との相対的な位置関係が第２の位置関係情報で示される位置関係を満たす第３の直線を設定する。「第２の位置関係情報で示される位置関係」は、「第２の画像の中での当接対象と第２の直線との相対的な位置関係」である。設定部は、第１の画像の中で、当接対象との間でこのような位置関係を満たす第３の直線を設定する。なお、「第２の画像の中での当接対象と第２の直線との相対的な位置関係」は、「第１の画像の中での当接対象と第３の直線との相対的な位置関係」と一致する。
【0051】
ここで、第３の直線を設定する処理の一例を説明する。まず、設定部１５は、第１の画像の中で抽出された特徴点と、第２の画像の中で抽出された特徴点とのマッチング処理を行うことで、２つの画像間での特徴点の対応関係を特定する。特徴点間のマッチング処理は、周知のあらゆる手法を利用して実現される。そして、設定部１５は、マッチング処理の結果に基づき、第１の画像と第２の画像との間の相対関係を計算する。当該相対関係の計算には、移動、回転、傾き、縮尺を用いて表す射影行列(ホモグラフィー行列)を用いることができる。例えば、図１４に示すように互いに対応する特徴点が重なりあう状態となるための射影行列が計算される。そして、設定部１５は、計算した相対関係（射影行列等）に基づき、第２の画像の中で設定された第２の直線を第１の画像の中に射影することで、第１の画像の中に第３の直線を設定する。
【0052】
予測部１６は、第１の画像の中で設定された第１の直線と第３の直線との交点の位置情報を、ブームの先端の当接予測地点として算出する。交点の位置情報は、第１の画像の中での位置（第１の画像座標系の座標）を示す。
【0053】
画像解析部１２は、取得部１１が取得した第１の画像の中から孔を検出する。そして、画像解析部１２は、検出結果に基づき孔位置情報を出力する。
【0054】
上述の通り、孔は、ブームを用いた作業の対象であり、例えば上述したトンネルの側壁にロックボルトを打設する作業や装薬作業の場合、穿孔した孔が作業の対象となる。画像解析部１２は、孔の外観の特徴量に基づき、第１の画像の中から孔を検出する。画像解析部１２は、検出対象の外観の特徴量に基づき画像の中から検出対象を検出するあらゆる技術を採用することができる。
【0055】
「孔位置情報」は、検出した孔の第１の画像の中での位置を示す情報である。孔位置情報は、例えば、第１の画像に設定された第１の画像座標系の座標で示される。
【0056】
図１に、取得部１１が取得する第１の画像Ｐ１の一例を示す。画像解析部１２は、このような第１の画像Ｐ１の中から孔Ｈを検出し、検出した孔Ｈの第１の画像Ｐ１の中での位置を示す孔位置情報を出力する。
【0057】
算出部１３は、予測部１６が算出した当接予測地点と孔との第１の画像の中での相対的な位置関係を算出する。図１４の例の場合、算出部１３は、当接予測地点である交点Ｂと孔Ｈとの第１の画像Ｐ１の中での相対的な位置関係を算出する。そして、算出部１３は、算出した相対的な位置関係を示す情報を出力する。出力された当該情報は、ブーム制御装置２０に入力される。
【0058】
「当接予測地点と孔との相対的な位置関係」は、２点を結ぶ方向及び２点間の距離を含む。例えば、当接予測地点と孔との相対的な位置関係は、当接予測地点から孔に向かう方向、及びその２点間の距離を含む。
【0059】
－ブーム制御装置２０－
図１０に示すように、ブーム制御装置２０は、ブーム制御部２１を有する。
図１０に示すように、ブーム制御装置２０は、ブーム制御部２１を有する。
【0060】
ブーム制御部２１は、ブームの先端の位置及び方向を検出する手段を備える。当該検出は、任意の手段で実現できる。一例として、ブームが備える各種関節等の状態を検出するセンサの利用が挙げられるが、これに限定されない。ブーム制御部２１は、算出部１３が算出した「当接予測地点と孔との第１の画像の中での相対的な位置関係」に基づきブームを駆動させる。ブーム制御部２１は、ブームを駆動して、当接予測地点を孔に近づける。以下、当該処理の具体例を説明する。
【0061】
まず、ブーム制御部２１は、その時のブームの姿勢に基づき第１のカメラの姿勢を特定する。
【0062】
「ブームの姿勢」は、ブームの長さＬ、ブームの起伏角度θ及びブームの旋回角度φ等で示される。予め設置されたセンサ（ブームの先端の位置や方向を算出するためのデータを検出する角度・長さセンサ等）が上記値を測定する。そして、ブーム制御部２１は、センサが測定した測定値をリアルタイム処理で取得する。センサとブーム制御装置２０とは有線及び／又は無線で通信可能に接続されている。なお、特許文献２及び３に開示されているように、当該センサの値を用いて、ワールド座標系におけるブームの先端の座標を算出することができる。
【0063】
「第１のカメラの姿勢」は、ワールド座標系での第１のカメラの向き及び傾きを示す。本実施形態では、ブームに第１のカメラが取り付けられる。このため、ブームの姿勢に基づき、第１のカメラの向きや傾きが一意に特定される。
【0064】
次に、ブーム制御部２１は、特定した第１のカメラの姿勢に基づき、算出部１３が算出した「第１の画像の中において当接予測地点から孔に向かう方向」を、ワールド座標系における方向（実空間上での方向）に変換する。ワールド座標系での第１のカメラの向き及び傾きが明らかになっていれば、所定の演算により、その状態で撮影された第１の画像の中での所定の方向を、ワールド座標系での方向に変換することができる。例えば、基準姿勢（第１のカメラの向き：ワールド座標系の基準方向、第１のカメラの傾き：０）となっている第１のカメラが撮影した第１の画像の中の基準方向（例：横方向）をワールド座標系に投影したワールド座標内方向を予め登録しておく。そして、基準姿勢と特定した第１のカメラの姿勢の差分（向きの差分、傾きの差分）、及び第１の画像の中の基準方向と第１の画像の中において当接予測地点から孔に向かう方向との差分に基づきこのワールド座標内方向を補正することで、上述した変換を実現してもよい。なお、当該変換方法はあくまで一例であり、これに限定されない。
【0065】
そして、ブーム制御部２１は、ブームの先端を、上記変換で得られたワールド座標系における方向（実空間上での方向）に移動させる。ブームの先端をワールド座標系における所定の方向に移動させる制御は、周知のあらゆる技術を採用して実現することができる。例えば、特許文献１乃至４に開示の技術を利用してもよい。
【0066】
ブーム制御部２１は、ブームの先端の位置を合わせる制御に加えて、ブームの先端の方向（向き）を合わせる制御をさらに行うことができる。例えば、事前に穿孔した孔にロックボルトを打設する作業や、事前に穿孔した孔にモルタルを注入する作業や、事前に穿孔した孔に爆薬を挿入する作業等においては、ロックボルトや、モルタルや、爆薬を注入する部材等を、事前に穿孔した孔の延伸方向に沿って挿入する必要がある。これを実現する上で、ブームの先端の方向を合わせる制御が必要になる。なお、モルタルを注入する部材等が例えばチューブのような形状が可変の部材である場合、ブームの先端の方向を厳密に合わせる制御は不要になる場合もある。
【0067】
ここで、ブームの先端の方向を合わせる制御の一例を説明する。例えば、処理装置１００は、穿孔用ブームＤＢＲ及びＤＢＬを駆動して事前に穿孔した際に、その時のブームの姿勢等から、穿孔した孔の延伸方向、すなわち穿孔用部材を挿入した方向を算出し、記憶装置に登録しておく。ブームの姿勢は、例えばブームに取り付けられたセンサ（ブームの先端の位置や方向を算出するためのデータを検出する角度・長さセンサ等）が測定した測定値に基づき特定される。この穿孔した孔の延伸方向は、例えばワールド座標系におけるデータ（例えばベクトル情報）として管理される。そして、ブーム制御部２１は、当該データに基づき特定される事前に穿孔した孔の延伸方向と、現時点のブームの先端の方向とが略平行（所定の状態）となるように、ブームの姿勢を制御する。このようなブームの先端の方向を合わせる制御は、任意のタイミングで行うことができる。
【0068】
次に、図１１のフローチャートを用いて、処理装置１００の処理の流れの一例を説明する。
【0069】
画像解析装置１０は、同じタイミングで互いに異なる方向からブームの先端及び当接対象が写るように撮影された複数の画像を取得する（Ｓ１０）。複数の画像は、第１のカメラが撮影した第１の画像と、第２のカメラが撮影した第２の画像を含む。
【0070】
次いで、画像解析装置１０は、取得した複数の画像に基づき、ブームの起伏角度及びブームの旋回角度をその状態（その画像を撮影した時の状態）で維持したままブームの先端に位置する各作業用の機械を伸ばした場合にブームの先端が当接する当接対象上の位置（当接予測地点）を推定する（Ｓ１１）。
【0071】
ここで、図１２のフローチャートを用いて、Ｓ１１の処理の一例を説明する。まず、画像解析装置１０は、第１の画像の中で設定された直線であって、ブームに重なりかつブームの延伸方向に伸びる第１の直線と、当接対象との第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する（Ｓ２０）。具体的には、画像解析装置１０は、第１の画像を解析し、当接対象の特徴点を抽出する。その後、画像解析装置１０は、抽出した特徴点と第１の直線との相対的な位置関係を算出する。
【0072】
また、画像解析装置１０は、第２の画像の中で設定された直線であって、ブームに重なりかつブームの延伸方向に伸びる第２の直線と、当接対象との第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する（Ｓ２１）。具体的には、画像解析装置１０は、第２の画像を解析し、当接対象の特徴点を抽出する。その後、画像解析装置１０は、抽出した特徴点と第２の直線との相対的な位置関係を算出する。
【0073】
次いで、画像解析装置１０は、第１の画像の中で、当接対象との相対的な位置関係が第２の位置関係情報で示される位置関係を満たす第３の直線を設定する（Ｓ２２）。「第２の位置関係情報で示される位置関係」は、「第２の画像の中での当接対象と第２の直線との相対的な位置関係」である。設定部は、第１の画像の中で、当接対象との間でこのような位置関係を満たす第３の直線を設定する。なお、「第２の画像の中での当接対象と第２の直線との相対的な位置関係」は、「第１の画像の中での当接対象と第３の直線との相対的な位置関係」と一致する。
【0074】
次いで、画像解析装置１０は、第１の画像の中で設定された第１の直線と第３の直線との交点の位置情報を、ブームの先端の当接予測地点として算出する（Ｓ２３）。
【0075】
図１１に戻り、Ｓ１１の後、画像解析装置１０は、第１の画像の中から孔を検出する（Ｓ１２）。次いで、画像解析装置１０は、Ｓ１１で算出した当接予測地点とＳ１２で検出した孔との第１の画像の中での相対的な位置関係を算出する（Ｓ１３）。
【0076】
その後、ブーム制御装置２０は、Ｓ１３の算出結果に基づきブームを駆動させる（Ｓ１４）。例えば、ブーム制御装置２０は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、Ｓ１３で算出された第１の画像の中での方向（当接予測地点から孔に向かう方向）をワールド座標系における方向（実空間上での方向）に変換する。そして、ブーム制御装置２０は、ブームの先端を、当該変換で得られたワールド座標系における方向（実空間上での方向）に移動させる。
【0077】
次に、図１３のフローチャートを用いて、処理装置１００の処理の流れの他の一例を説明する。
【0078】
画像解析装置１０は、同じタイミングで互いに異なる方向からブームの先端及び当接対象が写るように撮影された複数の画像を取得する（Ｓ３０）。複数の画像は、第１のカメラが撮影した第１の画像と、第２のカメラが撮影した第２の画像を含む。
【0079】
次いで、画像解析装置１０は、取得した複数の画像に基づき、ブームの起伏角度及びブームの旋回角度をその状態（その画像を撮影した時の状態）で維持したままブームの先端に位置する各作業用（ボルト打設作業用、モルタル注入作業用、装薬作業用等）の機械を伸ばした場合にブームの先端が当接する当接対象上の位置（当接予測地点）を推定する（Ｓ３１）。Ｓ３１の処理の一例は、図１２のフローチャートで示される。
【0080】
その後、画像解析装置１０は、第１の画像の中から孔を検出する（Ｓ３２）。次いで、画像解析装置１０は、Ｓ３１で算出した当接予測地点とＳ３２で検出した孔との第１の画像の中での相対的な位置関係を算出する（Ｓ３３）。
【0081】
その後、ブーム制御装置２０は、Ｓ３３の算出結果において、「当接予測点と孔との第１の画像の中での位置が一致していること」が示されているか判断する（Ｓ３４）。一致と判断する条件は、当接予測地点と孔との第１の画像の中での位置（座標）が完全に一致することであってもよいし、その距離が閾値以内であってもよい。
【0082】
Ｓ３３の算出結果において、「当接予測地点と孔との第１の画像の中での位置が一致していること」が示されている場合（Ｓ３４のＹｅｓ）、ブーム制御装置２０は、ブームの起伏動作及び旋回動作を停止し、ブームの起伏角度及びブームの旋回角度をその状態（その画像を撮影した時の状態）で維持する。その後、ブーム制御装置２０は、任意の制御（自動又は手動）に従いブームの先端に位置する各作業用（ボルト打設作業用、モルタル注入作業用、装薬作業用等）の機械を伸ばし、ブームの先端を孔に当接させる。
【0083】
一方、Ｓ３３の算出結果において、「当接予測地点と孔との第１の画像の中での位置が一致していること」が示されていない場合（Ｓ３４のＮｏ）、ブーム制御装置２０は、Ｓ３３の算出結果に基づきブームを駆動させる（Ｓ３５）。例えば、ブーム制御装置２０は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、Ｓ３３で算出された第１の画像の中での方向（当接予測地点から孔に向かう方向）をワールド座標系における方向（実空間上での方向）に変換する。そして、ブーム制御装置２０は、ブームの先端を、当該変換で得られたワールド座標系における方向（実空間上での方向）に移動させる。
【0084】
その後、Ｓ３０に戻って同様の処理が繰り返される。すなわち、新たな画像が取得され、新たな画像が解析され、その解析結果に基づきブームが制御される。
【0085】
なお、Ｓ３５のブームの駆動においては、算出したワールド座標系における方向（実空間上での方向）への移動を所定の移動量だけ行ってもよいし、その他の手法で移動量を制御してもよい。所定の移動量は、予め定義された固定値であってもよいし、Ｓ３３で算出された相対的な位置関係で示される「当接予測地点と孔との第１の画像の中での距離」に基づき算出されてもよい。
【0086】
次に、図１５のフローチャートを用いて、処理装置１００の処理の流れの他の一例を説明する。
【0087】
画像解析装置１０は、ブームの先端が写るように互いに異なる方向から撮影された２つの画像（以下、「現在の画像１及び現在の画像２」）を取得すると（Ｓ２０１、Ｓ２０２）、現在の画像１及び現在の画像２の中から孔を検出する処理を実行する（Ｓ２０３、Ｓ２０５）。また、画像解析装置１０は、現在の画像１及び現在の画像２の中から特徴点を抽出する処理を行う（Ｓ２０４、Ｓ２０６）。
【0088】
次いで、画像解析装置１０は、現在の画像１の中から抽出された特徴点と、現在の画像２の中から抽出された特徴点のマッチングを行う（Ｓ２０７）。
【0089】
次いで、画像解析装置１０は、Ｓ２０７で算出した特徴点の対応関係に基づき、現在の画像１と現在の画像２との間の相対関係を計算する（Ｓ２０８）。当該相対関係の計算には、移動、回転、傾き、縮尺を用いて表す射影行列(ホモグラフィー行列)を用いることができる。例えば、図１４に示すように互いに対応する特徴点が重なりあう状態となるための射影行列が計算される。
【0090】
次いで、画像解析装置１０は、Ｓ２０８で計算した現在の画像１と現在の画像２の相対関係に基づき、現在の画像２上の所定の直線（ブームに重なりかつブームの延伸方向に伸びる第２の直線）を、現在の画像１に射影する（Ｓ２０９）。
【0091】
次いで、画像解析装置１０は、Ｓ２０９の射影結果に基づき、ブームの先端の着岩推定点（当接予測地点）を算出する（Ｓ２１０）。具体的には、画像解析装置１０は、現在の画像１上の所定の直線（ブームに重なりかつブームの延伸方向に伸びる第１の直線）と、Ｓ２０９で現在の画像１に射影した直線との交点を、ブームの先端の着岩推定点（当接予測地点）として算出する。
【0092】
そして、画像解析装置１０は、現在の画像１上の孔と着岩推定点の相対的な位置関係（方向）を算出する（Ｓ２１１）。
【0093】
その後、ブーム制御装置２０は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、Ｓ２１１で算出された方向をワールド座標系における方向（実空間上での方向）に変換する（Ｓ２１２）。そして、ブーム制御装置２０は、ブームの先端を、当該変換で得られたワールド座標系における方向（実空間上での方向）に移動させる。
【0094】
「作用効果」
本実施形態の処理装置１００によれば、特徴的な演算処理により、ブームの起伏角度及びブームの旋回角度を画像撮影時の状態で維持したままブームの先端に位置する各作業用（ボルト打設作業用、モルタル注入作業用、装薬作業用等）の機械を伸ばした場合にブームの先端が当接する当接対象上の位置（当接予測地点）を推定することができる。そして、処理装置１００は、当接予測地点と孔との画像の中での相対的な位置関係に基づき、ブームの先端の位置合わせを行うことができる。このように、本実施形態の処理装置１００は、当接予測地点を予測し、当接予測地点と孔との画像の中での相対的な位置関係に基づき制御を行うので、ブームの先端及び孔の絶対的な高精度な位置情報を取得する必要がない。
本実施形態の処理装置１００によれば、特徴的な演算処理により、ブームの起伏角度及びブームの旋回角度を画像撮影時の状態で維持したままブームの先端に位置する各作業用（ボルト打設作業用、モルタル注入作業用、装薬作業用等）の機械を伸ばした場合にブームの先端が当接する当接対象上の位置（当接予測地点）を推定することができる。そして、処理装置１００は、当接予測地点と孔との画像の中での相対的な位置関係に基づき、ブームの先端の位置合わせを行うことができる。このように、本実施形態の処理装置１００は、当接予測地点を予測し、当接予測地点と孔との画像の中での相対的な位置関係に基づき制御を行うので、ブームの先端及び孔の絶対的な高精度な位置情報を取得する必要がない。
【0095】
また、本実施形態の処理装置１００は、画像上での当接予測地点と孔の位置が一致するように、ブームの先端の位置を調整することができる。結果、ブームの先端を孔の位置に位置させる位置合わせを、高精度に行うことができる。
【0096】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。上述した実施形態の構成は、互いに組み合わせたり、一部の構成を他の構成に入れ替えたりしてもよい。また、上述した実施形態の構成は、趣旨を逸脱しない範囲内において種々の変更を加えてもよい。また、上述した各実施形態や変形例に開示される構成や処理を互いに組み合わせてもよい。
【0097】
また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施の形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施の形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施の形態は、内容が相反しない範囲で組み合わせることができる。
【0098】
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． 互いに異なる方向からブームの先端及び前記ブームの先端を当接させる当接対象が写るように同じタイミングで撮影された第１の画像及び第２の画像を取得する取得部と、
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成部と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成部と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定部と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測部と、
を有する処理装置。
２． 前記第１の生成部は、前記第１の直線と、前記第１の画像の中の前記当接対象から抽出された特徴点との相対的な位置関係を示す前記第１の位置関係情報を生成し、
前記第２の生成部は、前記第２の直線と、前記第２の画像の中の前記当接対象から抽出された特徴点との相対的な位置関係を示す前記第２の位置関係情報を生成する１に記載の処理装置。
３． 前記第１の画像の中からトンネルの壁面に形成された孔を検出する画像解析部と、
前記位置情報で示される前記当接予測地点と前記孔との前記第１の画像の中での相対的な位置関係を算出する算出部と、
前記当接予測地点と前記孔との相対的な位置関係の算出結果に基づき前記ブームを駆動させるブーム制御部と、
を有する１又は２に記載の処理装置。
４． 前記当接予測地点と前記孔との相対的な位置関係は、前記当接予測地点から前記孔に向かう方向を含み、
前記ブーム制御部は、前記ブームを駆動して、前記当接予測地点を前記孔に近づける３に記載の処理装置。
５． 前記ブームに取り付けられたカメラが前記第１の画像を撮影し、
前記ブーム制御部は、
前記ブームの姿勢に基づき前記カメラの姿勢を特定し、
前記カメラの姿勢に基づき、前記第１の画像の中での前記方向を実空間上での方向に変換し、
前記ブームの先端を、前記変換で得られた前記実空間上での方向に移動させる４に記載の処理装置。
６． 前記孔はロックボルト打設用又は装薬用に穿孔された孔である３から５のいずれかに記載の処理装置。
７． コンピュータが、
互いに異なる方向からブームの先端及び前記ブームの先端を当接させる当接対象が写るように同じタイミングで撮影された第１の画像及び第２の画像を取得する取得工程と、
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成工程と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成工程と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定工程と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測工程と、
を実行する処理方法。
１． 互いに異なる方向からブームの先端及び前記ブームの先端を当接させる当接対象が写るように同じタイミングで撮影された第１の画像及び第２の画像を取得する取得部と、
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成部と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成部と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定部と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測部と、
を有する処理装置。
２． 前記第１の生成部は、前記第１の直線と、前記第１の画像の中の前記当接対象から抽出された特徴点との相対的な位置関係を示す前記第１の位置関係情報を生成し、
前記第２の生成部は、前記第２の直線と、前記第２の画像の中の前記当接対象から抽出された特徴点との相対的な位置関係を示す前記第２の位置関係情報を生成する１に記載の処理装置。
３． 前記第１の画像の中からトンネルの壁面に形成された孔を検出する画像解析部と、
前記位置情報で示される前記当接予測地点と前記孔との前記第１の画像の中での相対的な位置関係を算出する算出部と、
前記当接予測地点と前記孔との相対的な位置関係の算出結果に基づき前記ブームを駆動させるブーム制御部と、
を有する１又は２に記載の処理装置。
４． 前記当接予測地点と前記孔との相対的な位置関係は、前記当接予測地点から前記孔に向かう方向を含み、
前記ブーム制御部は、前記ブームを駆動して、前記当接予測地点を前記孔に近づける３に記載の処理装置。
５． 前記ブームに取り付けられたカメラが前記第１の画像を撮影し、
前記ブーム制御部は、
前記ブームの姿勢に基づき前記カメラの姿勢を特定し、
前記カメラの姿勢に基づき、前記第１の画像の中での前記方向を実空間上での方向に変換し、
前記ブームの先端を、前記変換で得られた前記実空間上での方向に移動させる４に記載の処理装置。
６． 前記孔はロックボルト打設用又は装薬用に穿孔された孔である３から５のいずれかに記載の処理装置。
７． コンピュータが、
互いに異なる方向からブームの先端及び前記ブームの先端を当接させる当接対象が写るように同じタイミングで撮影された第１の画像及び第２の画像を取得する取得工程と、
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成工程と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成工程と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定工程と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測工程と、
を実行する処理方法。
【符号の説明】
【0099】
１０ 画像解析装置
１１ 取得部
１２ 画像解析部
１３ 算出部
１４ 第１の生成部
１５ 設定部
１６ 予測部
１７ 第２の生成部
２０ ブーム制御装置
２１ ブーム制御部
１００ 処理装置
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
ＢＢ ボルト打設用ブーム
ＤＢＬ 穿孔用ブーム
ＤＢＲ 穿孔用ブーム
１１ 取得部
１２ 画像解析部
１３ 算出部
１４ 第１の生成部
１５ 設定部
１６ 予測部
１７ 第２の生成部
２０ ブーム制御装置
２１ ブーム制御部
１００ 処理装置
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
ＢＢ ボルト打設用ブーム
ＤＢＬ 穿孔用ブーム
ＤＢＲ 穿孔用ブーム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】