▶ 清水建設株式会社の特許一覧 ▶ 古河機械金属株式会社の特許一覧 ▶ 古河ロックドリル株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024143561
(43)【公開日】2024-10-11
(54)【発明の名称】孔位置合わせ処理装置および方法
(51)【国際特許分類】
E21B 44/00 20060101AFI20241003BHJP
G06T 7/70 20170101ALI20241003BHJP
E21B 7/00 20060101ALI20241003BHJP
【ＦＩ】
E21B44/00 Z
G06T7/70 Z
E21B7/00 Z
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2023056302
(22)【出願日】2023-03-30
(71)【出願人】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(71)【出願人】
【識別番号】000165974
【氏名又は名称】古河機械金属株式会社
(71)【出願人】
【識別番号】594149398
【氏名又は名称】古河ロックドリル株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】井手 康夫
(72)【発明者】
【氏名】邊見 涼
(72)【発明者】
【氏名】吉田 悠
(72)【発明者】
【氏名】井上 翔太
【テーマコード（参考）】
2D129
5L096
【Ｆターム（参考）】
2D129AA08
2D129AB08
2D129AB09
2D129AB13
2D129BA01
2D129CA02
2D129CA04
2D129DC09
2D129DC15
5L096AA06
5L096CA04
5L096DA02
5L096FA03
5L096FA10
5L096FA66
5L096FA67
5L096FA69
5L096GA51
(57)【要約】
【課題】ブームの先端をトンネル壁面の孔の位置に所定の向きで高精度に位置させる。
【解決手段】本発明は、ブームの先端が写るように撮影された画像を取得する取得部１１と、画像の中から孔を検出する画像解析部１２と、ブームの先端と孔との画像内での相対的な位置関係を算出する算出部１３と、ブームの先端の位置及び方向を検出する手段を備え、孔を形成した際に登録された孔の位置情報に基づき、ブームを駆動させる第１のモードと、画像内での相対的な位置関係の算出結果に基づきブームを駆動させる第２のモードと、を有し、さらに、孔を形成した際に登録された孔の延伸方向を示すデータに基づき、ブームの先端の方向を所定の状態とするブーム制御部２１と、を有する処理装置１００を提供する。
【選択図】図４
【解決手段】本発明は、ブームの先端が写るように撮影された画像を取得する取得部１１と、画像の中から孔を検出する画像解析部１２と、ブームの先端と孔との画像内での相対的な位置関係を算出する算出部１３と、ブームの先端の位置及び方向を検出する手段を備え、孔を形成した際に登録された孔の位置情報に基づき、ブームを駆動させる第１のモードと、画像内での相対的な位置関係の算出結果に基づきブームを駆動させる第２のモードと、を有し、さらに、孔を形成した際に登録された孔の延伸方向を示すデータに基づき、ブームの先端の方向を所定の状態とするブーム制御部２１と、を有する処理装置１００を提供する。
【選択図】図４
【特許請求の範囲】
【請求項1】
ブームの先端が写るように撮影された画像を取得する取得部と、
前記画像の中からトンネルの壁面に形成された孔を検出する画像解析部と、
前記ブームの先端と前記孔との前記画像内での相対的な位置関係を算出する算出部と、
前記ブームの先端の位置及び方向を検出する手段を備え、前記孔を形成した際に登録された前記孔の位置情報に基づき、前記ブームを駆動させる第１のモードと、前記画像内での前記相対的な位置関係の算出結果に基づき前記ブームを駆動させる第２のモードと、を有し、さらに、前記孔を形成した際に登録された前記孔の延伸方向を示すデータに基づき、前記ブームの先端の方向を所定の状態とするブーム制御部と、
を有する処理装置。
前記画像の中からトンネルの壁面に形成された孔を検出する画像解析部と、
前記ブームの先端と前記孔との前記画像内での相対的な位置関係を算出する算出部と、
前記ブームの先端の位置及び方向を検出する手段を備え、前記孔を形成した際に登録された前記孔の位置情報に基づき、前記ブームを駆動させる第１のモードと、前記画像内での前記相対的な位置関係の算出結果に基づき前記ブームを駆動させる第２のモードと、を有し、さらに、前記孔を形成した際に登録された前記孔の延伸方向を示すデータに基づき、前記ブームの先端の方向を所定の状態とするブーム制御部と、
を有する処理装置。
【請求項2】
前記ブーム制御部は、
前記画像の中から前記孔が検出されていない間は前記第１のモードを実行し、前記画像の中から前記孔が検出されると、実行するモードを、前記第１のモードから前記第２のモードに切り替える請求項１に記載の処理装置。
前記画像の中から前記孔が検出されていない間は前記第１のモードを実行し、前記画像の中から前記孔が検出されると、実行するモードを、前記第１のモードから前記第２のモードに切り替える請求項１に記載の処理装置。
【請求項3】
前記相対的な位置関係は、前記ブームの先端から前記孔に向かう方向を含み、
前記ブーム制御部は、前記画像内での前記相対的な位置関係の算出結果に基づき、前記ブームの先端を前記孔に近づく方向に移動させる請求項１に記載の処理装置。
前記ブーム制御部は、前記画像内での前記相対的な位置関係の算出結果に基づき、前記ブームの先端を前記孔に近づく方向に移動させる請求項１に記載の処理装置。
【請求項4】
前記ブームに取り付けられたカメラが前記画像を撮影し、
前記ブーム制御部は、
前記ブームの姿勢に基づき前記カメラの姿勢を特定し、
前記カメラの姿勢に基づき、前記画像内での前記方向を実空間上での方向に変換し、
前記ブームの先端を、前記変換で得られた前記実空間上での方向に移動させる請求項３に記載の処理装置。
前記ブーム制御部は、
前記ブームの姿勢に基づき前記カメラの姿勢を特定し、
前記カメラの姿勢に基づき、前記画像内での前記方向を実空間上での方向に変換し、
前記ブームの先端を、前記変換で得られた前記実空間上での方向に移動させる請求項３に記載の処理装置。
【請求項5】
前記ブーム制御部が備える手段で検出した前記ブームの先端の位置は、誤差を含む請求項１に記載の処理装置。
【請求項6】
前記取得部は、時系列な前記画像を取得し、
前記画像解析部は、前記画像の中から前記孔を検出するとともに、トンネルの側壁の特徴点を抽出し、
前記算出部は、処理対象の画像よりも時系列順が前の前記画像に基づき前記特徴点と前記孔との前記画像内での相対的な位置関係を算出するとともに、前記処理対象の画像内での前記特徴点の位置と、前記特徴点と前記孔との前記画像内での相対的な位置関係とに基づき、前記処理対象の画像内での前記孔の位置を推定する請求項１に記載の処理装置。
前記画像解析部は、前記画像の中から前記孔を検出するとともに、トンネルの側壁の特徴点を抽出し、
前記算出部は、処理対象の画像よりも時系列順が前の前記画像に基づき前記特徴点と前記孔との前記画像内での相対的な位置関係を算出するとともに、前記処理対象の画像内での前記特徴点の位置と、前記特徴点と前記孔との前記画像内での相対的な位置関係とに基づき、前記処理対象の画像内での前記孔の位置を推定する請求項１に記載の処理装置。
【請求項7】
前記算出部は、
前記処理対象の画像の中から前記孔が検出された場合、検出された前記孔の前記処理対象の画像内での位置に基づき、前記ブームの先端と前記孔との前記処理対象の画像内での相対的な位置関係を算出し、
前記処理対象の画像の中から前記孔が検出されなかった場合、推定された前記処理対象の画像内での前記孔の位置に基づき、前記ブームの先端と前記孔との前記処理対象の画像内での相対的な位置関係を算出する請求項６に記載の処理装置。
前記処理対象の画像の中から前記孔が検出された場合、検出された前記孔の前記処理対象の画像内での位置に基づき、前記ブームの先端と前記孔との前記処理対象の画像内での相対的な位置関係を算出し、
前記処理対象の画像の中から前記孔が検出されなかった場合、推定された前記処理対象の画像内での前記孔の位置に基づき、前記ブームの先端と前記孔との前記処理対象の画像内での相対的な位置関係を算出する請求項６に記載の処理装置。
【請求項8】
前記算出部は、
前記処理対象の画像の中から前記孔が検出された場合、前記処理対象の画像内での前記孔の位置を推定する処理を実行せず、
前記処理対象の画像の中から前記孔が検出されなかった場合、前記処理対象の画像内での前記孔の位置を推定する処理を実行する請求項６に記載の処理装置。
前記処理対象の画像の中から前記孔が検出された場合、前記処理対象の画像内での前記孔の位置を推定する処理を実行せず、
前記処理対象の画像の中から前記孔が検出されなかった場合、前記処理対象の画像内での前記孔の位置を推定する処理を実行する請求項６に記載の処理装置。
【請求項9】
前記取得部は、互いに異なる方向から前記ブームの先端及び前記ブームの先端を当接させる当接対象が写るように同じタイミングで撮影された第１の画像及び第２の画像を取得し、
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成部と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成部と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定部と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測部と、
を有し、
前記算出部は、前記ブームの先端と前記当接予測地点との前記画像内での相対的な位置関係を算出し、
ブーム制御部は、前記ブームの先端と前記当接予測地点との前記画像内での相対的な位置関係に基づき前記ブームを駆動させる請求項１に記載の処理装置。
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成部と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成部と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定部と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測部と、
を有し、
前記算出部は、前記ブームの先端と前記当接予測地点との前記画像内での相対的な位置関係を算出し、
ブーム制御部は、前記ブームの先端と前記当接予測地点との前記画像内での相対的な位置関係に基づき前記ブームを駆動させる請求項１に記載の処理装置。
【請求項10】
前記第１の生成部は、前記第１の直線と、前記第１の画像の中の前記当接対象から抽出された特徴点との相対的な位置関係を示す前記第１の位置関係情報を生成し、
前記第２の生成部は、前記第２の直線と、前記第２の画像の中の前記当接対象から抽出された特徴点との相対的な位置関係を示す前記第２の位置関係情報を生成する請求項９に記載の処理装置。
前記第２の生成部は、前記第２の直線と、前記第２の画像の中の前記当接対象から抽出された特徴点との相対的な位置関係を示す前記第２の位置関係情報を生成する請求項９に記載の処理装置。
【請求項11】
前記当接予測地点と前記孔との相対的な位置関係は、前記当接予測地点から前記孔に向かう方向を含み、
前記ブーム制御部は、前記ブームを駆動して、前記当接予測地点を前記孔に近づける請求項９に記載の処理装置。
前記ブーム制御部は、前記ブームを駆動して、前記当接予測地点を前記孔に近づける請求項９に記載の処理装置。
【請求項12】
前記ブームに取り付けられたカメラが前記第１の画像を撮影し、
前記ブーム制御部は、
前記ブームの姿勢に基づき前記カメラの姿勢を特定し、
前記カメラの姿勢に基づき、前記第１の画像の中での前記方向を実空間上での方向に変換し、
前記ブームの先端を、前記変換で得られた前記実空間上での方向に移動させる請求項１１に記載の処理装置。
前記ブーム制御部は、
前記ブームの姿勢に基づき前記カメラの姿勢を特定し、
前記カメラの姿勢に基づき、前記第１の画像の中での前記方向を実空間上での方向に変換し、
前記ブームの先端を、前記変換で得られた前記実空間上での方向に移動させる請求項１１に記載の処理装置。
【請求項13】
前記孔はロックボルト打設用又は装薬用に穿孔された孔である請求項１から１２のいずれか１項に記載の処理装置。
【請求項14】
コンピュータが、
ブームの先端が写るように撮影された画像を取得する取得工程と、
前記画像の中からトンネルの壁面に形成された孔を検出する画像解析工程と、
前記ブームの先端と前記孔との前記画像内での相対的な位置関係を算出する算出工程と、
前記ブームの先端の位置及び方向を検出するとともに、前記孔を形成した際に登録された前記孔の位置情報に基づき、前記ブームを駆動させる第１のモードと、前記画像内での前記相対的な位置関係の算出結果に基づき前記ブームを駆動させる第２のモードを実行し、さらに、前記孔を形成した際に登録された前記孔の延伸方向を示すデータに基づき、前記ブームの先端の方向を所定の状態とするブーム制御工程と、
を実行する処理方法。
ブームの先端が写るように撮影された画像を取得する取得工程と、
前記画像の中からトンネルの壁面に形成された孔を検出する画像解析工程と、
前記ブームの先端と前記孔との前記画像内での相対的な位置関係を算出する算出工程と、
前記ブームの先端の位置及び方向を検出するとともに、前記孔を形成した際に登録された前記孔の位置情報に基づき、前記ブームを駆動させる第１のモードと、前記画像内での前記相対的な位置関係の算出結果に基づき前記ブームを駆動させる第２のモードを実行し、さらに、前記孔を形成した際に登録された前記孔の延伸方向を示すデータに基づき、前記ブームの先端の方向を所定の状態とするブーム制御工程と、
を実行する処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理装置及び処理方法に関する。
【背景技術】
【0002】
本発明に関連する技術が、特許文献１乃至４に開示されている。
【0003】
特許文献１には、台車と、当該台車に搭載される複数のブームとを備えるロックボルト打設車両が開示されている。当該ロックボルト打設車両は、穿孔用ブームと打設用ブームを別々に備える。そして、当該ロックボルト打設車両を利用した作業では、穿孔用ブームで孔を穿孔した後、打設用ブームをその孔の位置に移動させ、その孔にロックボルトを打設する。
【0004】
特許文献２及び３には、ブームの先端を目的位置に移動させるためのブーム制御方法が開示されている。
【0005】
特許文献４には、画像解析の結果に基づきブームを駆動させる技術が開示されている。当該技術では、画像内で荷物を検出し、画像上の荷物の位置に基づき、ブームの先端が荷物の重力方向真上に来る方向にブームを移動させる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０２１－１９５８１９号公報
【特許文献2】特開２０１７－７８６８４号公報
【特許文献3】特開２０１７－７７６１７号公報
【特許文献4】特開２０１１－２０７５７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ブームを用いた作業において、ブームの先端をトンネル壁面の孔の位置に所定の向きで高精度に位置させることが要求される場合がある。一例として、事前に穿孔した孔にロックボルトを打設する作業が挙げられる。当該作業では、例えば径５０ｍｍ程度の孔に径２５ｍｍ程度のボルトを挿入する。特許文献１に開示の技術のように、穿孔用ブームと打設用ブームを別々に備えた場合、ブームを駆動して（ブームの姿勢を変化させて）このような高精度の位置合わせを行う必要がある。特許文献１は、当該課題及びその解決手段を開示していない。また、特許文献２乃至４は、ブームの先端を目的位置に移動させるためのブーム制御方法を開示しているものの、上述のようなレベルでの高精度な位置合わせを実現する手法は開示していない。
【0008】
ブームの先端の位置合わせを行う処理の一例として、ブームが備える各種関節等の状態を検出するセンサの利用が挙げられる。具体的には、当該センサの値に基づきブームの姿勢及びブームの先端の位置を特定する。そして、センサの値に基づき特定したブームの先端の位置と任意の手段で特定した孔の位置とに基づき、ブームの先端の位置合わせを行う。しかし、当該手段の場合、「ブームの姿勢変化によるブームの撓み」、「ブームの姿勢変化による車両の傾きの変化」、「伸縮部摺動板の摩耗によるバックラッシュの増大」等により、ブームの先端の位置を精度よく特定できないという問題がある。すなわち、センサの値に基づき特定したブームの先端の位置と実際のブームの先端の位置との間にズレが生じ得る。このため、上述のようなレベルでの高精度な位置合わせを実現することは難しい。
【0009】
また、ブームの先端の位置合わせを行う処理の他の一例として、画像解析の利用が挙げられる。具体的には、孔とブームの先端とが写る画像を解析して孔とブームの先端の位置のずれを算出し、算出結果に基づきブームの先端の位置合わせを行う。しかし、画像解析の利用のみでは、孔の向き（孔の深さ方向）を精度よく測定できない。孔の向きが不明である場合、ロックボルト等を所望の方向（孔の深さ方向）で挿入できない。例えば、カメラをブームの先端に配置し、カメラとブームの向きを揃えたうえで、孔の真正面にカメラを位置させ孔を正面から撮影すれば、孔の奥まで撮影できるので、孔の向きを精度良く測定することができる。しかし、このような撮影を実現するのは難しい。例えば、カメラをブームの先端に取り付ける事は難しい。カメラをブームの先端に取り付けると、カメラが汚れやすくなる。カメラが汚れると、孔等を高精度に撮影できない。カメラをブームの先端に取り付けない場合は位置合わせ完了時点で孔を斜めから撮影することになるため、カメラで撮影した画像のみで孔の向きを精度良く測定することは難しい。
【0010】
本発明の目的の一例は、上述した問題を鑑み、ブームの先端をトンネル壁面の孔の位置に所定の向きで高精度に位置させるという課題を解決する処理装置及び処理方法を提供することにある。
【課題を解決するための手段】
【0011】
本発明の一態様によれば、
ブームの先端が写るように撮影された画像を取得する取得部と、
前記画像の中からトンネルの壁面に形成された孔を検出する画像解析部と、
前記ブームの先端と前記孔との前記画像内での相対的な位置関係を算出する算出部と、
前記ブームの先端の位置及び方向を検出する手段を備え、前記孔を形成した際に登録された前記孔の位置情報に基づき、前記ブームを駆動させる第１のモードと、前記画像内での前記相対的な位置関係の算出結果に基づき前記ブームを駆動させる第２のモードと、を有し、さらに、前記孔を形成した際に登録された前記孔の延伸方向を示すデータに基づき、前記ブームの先端の方向を所定の状態とするブーム制御部と、
を有する処理装置が提供される。
ブームの先端が写るように撮影された画像を取得する取得部と、
前記画像の中からトンネルの壁面に形成された孔を検出する画像解析部と、
前記ブームの先端と前記孔との前記画像内での相対的な位置関係を算出する算出部と、
前記ブームの先端の位置及び方向を検出する手段を備え、前記孔を形成した際に登録された前記孔の位置情報に基づき、前記ブームを駆動させる第１のモードと、前記画像内での前記相対的な位置関係の算出結果に基づき前記ブームを駆動させる第２のモードと、を有し、さらに、前記孔を形成した際に登録された前記孔の延伸方向を示すデータに基づき、前記ブームの先端の方向を所定の状態とするブーム制御部と、
を有する処理装置が提供される。
【0012】
本発明の一態様によれば、
コンピュータが、
ブームの先端が写るように撮影された画像を取得する取得工程と、
前記画像の中からトンネルの壁面に形成された孔を検出する画像解析工程と、
前記ブームの先端と前記孔との前記画像内での相対的な位置関係を算出する算出工程と、
前記ブームの先端の位置及び方向を検出するとともに、前記孔を形成した際に登録された前記孔の位置情報に基づき、前記ブームを駆動させる第１のモードと、前記画像内での前記相対的な位置関係の算出結果に基づき前記ブームを駆動させる第２のモードを実行し、さらに、前記孔を形成した際に登録された前記孔の延伸方向を示すデータに基づき、前記ブームの先端の方向を所定の状態とするブーム制御工程と、
を実行する処理方法が提供される。
コンピュータが、
ブームの先端が写るように撮影された画像を取得する取得工程と、
前記画像の中からトンネルの壁面に形成された孔を検出する画像解析工程と、
前記ブームの先端と前記孔との前記画像内での相対的な位置関係を算出する算出工程と、
前記ブームの先端の位置及び方向を検出するとともに、前記孔を形成した際に登録された前記孔の位置情報に基づき、前記ブームを駆動させる第１のモードと、前記画像内での前記相対的な位置関係の算出結果に基づき前記ブームを駆動させる第２のモードを実行し、さらに、前記孔を形成した際に登録された前記孔の延伸方向を示すデータに基づき、前記ブームの先端の方向を所定の状態とするブーム制御工程と、
を実行する処理方法が提供される。
【発明の効果】
【0013】
本発明の一態様によれば、ブームの先端をトンネル壁面の孔の位置に所定の向きで高精度に位置させるという課題を解決する処理装置及び処理方法が実現される。
【図面の簡単な説明】
【0014】
上述した目的、及びその他の目的、特徴及び利点は、以下に述べる好適な実施の形態、及びそれに付随する以下の図面によってさらに明らかになる。
【0015】
【図1】ブームの構成の一例を示す上面図である。
【図2】ブームの構成の一例を示す側面図である。
【図3】課題を説明するための図である。
【図4】ブームに設置されるカメラについて説明するための図である。
【図5】処理装置のハードウエア構成の一例を示す図である。
【図6】処理装置の機能ブロック図の一例を示す図である。
【図7】処理する画像の一例を示す図である。
【図8】処理装置の処理の流れの一例を示すフローチャートである。
【図9】処理装置の処理の流れの他の一例を示すフローチャートである。
【図10】処理装置の処理の流れの他の一例を示すフローチャートである。
【図11】画像から抽出される背景の特徴点の一例を示す図である。
【図12】処理装置の処理の流れの他の一例を示すフローチャートである。
【図13】処理装置の処理の流れの他の一例を示すフローチャートである。
【図14】孔の位置を推定する処理を説明するための図である。
【図15】孔の位置を推定する処理を説明するための他の図である。
【図16】孔の位置を推定する処理を説明するための他の図である。
【図17】処理装置の処理の流れの他の一例を示すフローチャートである。
【図18】ブームの先端が当接する位置を予測する処理を説明するための図である。
【図19】ブームの先端が当接する位置を予測する処理を説明するための他の図である。
【図20】ブームの先端が当接する位置を予測する処理を説明するための他の図である。
【図21】ブームの先端が当接する位置を予測する処理を説明するための他の図である。
【図22】ブームの先端が当接する位置を予測する処理を説明するための他の図である。
【図23】処理装置の機能ブロック図の他の一例を示す図である。
【図24】処理装置の処理の流れの他の一例を示すフローチャートである。
【図25】処理装置の処理の流れの他の一例を示すフローチャートである。
【図26】処理装置の処理の流れの他の一例を示すフローチャートである。
【図27】処理装置の処理の流れの他の一例を示すフローチャートである。
【発明を実施するための形態】
【0016】
以下、本発明の実施の形態について、図面を用いて説明する。なお、全ての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0017】
＜第１の実施形態＞
「概要」
本実施形態の処理装置は、ブームの先端が写るように撮影された画像の中から孔を検出し、次いで、ブームの先端と孔との画像内での相対的な位置関係を算出し、そして、その算出結果に基づきブームを駆動して、ブームの先端を孔に向けて移動させる。本実施形態の処理装置は、このような画像解析の結果に基づくブームの制御により、ブームの先端を孔位置に高精度に位置させることを実現する。以下、詳細に説明する。
「概要」
本実施形態の処理装置は、ブームの先端が写るように撮影された画像の中から孔を検出し、次いで、ブームの先端と孔との画像内での相対的な位置関係を算出し、そして、その算出結果に基づきブームを駆動して、ブームの先端を孔に向けて移動させる。本実施形態の処理装置は、このような画像解析の結果に基づくブームの制御により、ブームの先端を孔位置に高精度に位置させることを実現する。以下、詳細に説明する。
【0018】
「ブームの構成」
処理装置が制御するブームの構成について説明する。本実施形態において、ブームの構成は特段制限されず、周知のあらゆる構成を採用できる。ただし、処理装置は、特にブームを駆動して（ブームの姿勢を変化させて）ブームの先端を孔位置に高精度に位置させる用途での利用に好適である。すなわち、ブームの構成は、このような用途向けの構成となっていてもよい。このような用途としては、トンネルの側壁にロックボルトを打設する作業、より詳細には、事前に穿孔した孔にロックボルトを打設する作業や、事前に穿孔した孔にモルタルを注入する作業や、事前に穿孔した孔に爆薬等を挿入する作業（装薬）等が例示されるが、これらに限定されない。
処理装置が制御するブームの構成について説明する。本実施形態において、ブームの構成は特段制限されず、周知のあらゆる構成を採用できる。ただし、処理装置は、特にブームを駆動して（ブームの姿勢を変化させて）ブームの先端を孔位置に高精度に位置させる用途での利用に好適である。すなわち、ブームの構成は、このような用途向けの構成となっていてもよい。このような用途としては、トンネルの側壁にロックボルトを打設する作業、より詳細には、事前に穿孔した孔にロックボルトを打設する作業や、事前に穿孔した孔にモルタルを注入する作業や、事前に穿孔した孔に爆薬等を挿入する作業（装薬）等が例示されるが、これらに限定されない。
【0019】
ここで、図１乃至図４を用いて、ブームの構成の一例を説明する。なお、ここで例示するブームの構成はあくまで一例であり、当該構成に限定されない。図１は、台車にブームを搭載した車両の上面図であり、図２は、その車両の側面図である。当該例では、１つの台車に３つのブームが搭載されている。具体的には、２つの穿孔用ブームＤＢＬ及びＤＢＲと、１つのボルト打設用ブームＢＢとが設けられている。各ブームの先端には、各作業用の機械が位置する。穿孔用ブームＤＢＬ及びＤＢＲの先には、穿孔作業を行うための機械が位置する。ボルト打設用ブームＢＢの先には、ボルト打設作業を行うための機械が位置する。そして、これら機械がブームの先端となっている。本明細書における「ブームの先端」は、ブームの先端に位置する各作業用の機械、又はその機械の先端を指す。そして、本明細書では、ブームの先端に位置する各作業用の機械をブームの一部として扱う。なお、当該例のブームの構成は、特許文献１に開示のブームの構成と同じであるので、ここでの説明は省略する。
【0020】
この例のように穿孔用ブームとボルト打設用ブームとを別々に設ける場合、図３に示すように、穿孔用ブームＤＢＲを駆動して所定位置に孔Ｈを穿孔した後、ボルト打設用ブームＢＢを駆動して（ブームの姿勢を変化させて）当該ブームの先端を孔Ｈの位置に高精度に位置させる必要がある。
【0021】
なお、本実施形態では、ブームの先端、及びブームの先端の近くに位置する孔の両方を同時に撮影する位置及び向きでカメラが設置される。孔は、ブームを用いた作業の対象であり、例えば上述したトンネルの側壁にロックボルトを打設する作業や、装薬作業の場合、穿孔した孔が作業の対象となる。カメラは、動画像（時系列な複数のフレーム画像）を撮影してもよいし、所定時間おきに時系列な複数の静止画像を撮影してもよい。
【0022】
カメラはブームの任意の位置に取り付けられる。図４の概念図は、ボルト打設用ブームＢＢにカメラＣを取り付けた様子を示す。カメラＣは、ボルト打設用ブームＢＢの先端、及びその近くに位置するトンネル側壁を同時に撮影する向きで取り付けられている。このように構成した場合、カメラＣは、ボルト打設用ブームＢＢの先端と、その近くに位置するトンネル側壁に穿孔された孔とを同時に撮影することができる。
【0023】
よりブームの先端に近い位置にカメラを取り付けることが好ましいが、あまりブームの先端に近づけるとカメラが汚れやすくなる。これらの事情を考慮して、ブームの適切な位置にカメラを設置することができる。なお、カメラの汚れ防止のため、カメラのレンズ部分にエアー、液体、洗浄液等をかけて汚れを取りのぞく洗浄機能を搭載してもよい。
【0024】
「ハードウエア構成」
次に、処理装置のハードウエア構成の一例を説明する。処理装置の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
次に、処理装置のハードウエア構成の一例を説明する。処理装置の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0025】
図５は、処理装置のハードウエア構成を例示するブロック図である。図５に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。
【0026】
バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【0027】
「機能構成」
次に、本実施形態の処理装置の機能構成を詳細に説明する。図６に、処理装置１００の機能ブロック図の一例を示す。図示するように、処理装置１００は、ブームの先端が写るように撮影された画像を解析する画像解析装置１０と、画像解析装置１０の解析結果に基づきブームを駆動させるブーム制御装置２０とを有する。以下、各装置について詳細に説明する。
次に、本実施形態の処理装置の機能構成を詳細に説明する。図６に、処理装置１００の機能ブロック図の一例を示す。図示するように、処理装置１００は、ブームの先端が写るように撮影された画像を解析する画像解析装置１０と、画像解析装置１０の解析結果に基づきブームを駆動させるブーム制御装置２０とを有する。以下、各装置について詳細に説明する。
【0028】
－画像解析装置１０－
図６に示すように、画像解析装置１０は、取得部１１と、画像解析部１２と、算出部１３とを有する。
図６に示すように、画像解析装置１０は、取得部１１と、画像解析部１２と、算出部１３とを有する。
【0029】
取得部１１は、ブームの先端が写るように撮影された画像を取得する。取得部１１は、ブームの先端が写るように撮影するカメラが生成した画像をリアルタイム処理で取得する。カメラと画像解析装置１０とは有線及び／又は無線で通信可能に接続されている。
【0030】
画像解析部１２は、取得部１１が取得した画像の中から孔を検出する。そして、画像解析部１２は、検出結果に基づき孔位置情報を出力する。
【0031】
「孔」は、ブームを用いた作業の対象であり、例えば上述したトンネルの側壁にロックボルトを打設する作業や装薬作業の場合、穿孔した孔が作業の対象となる。画像解析部１２は、孔の外観の特徴量に基づき、画像内から孔を検出する。画像解析部１２は、検出対象の外観の特徴量に基づき画像の中から検出対象を検出するあらゆる技術を採用することができる。
【0032】
「孔位置情報」は、検出した孔の画像内での位置を示す情報である。孔位置情報は、例えば、画像に設定された画像座標系の座標で示される。
【0033】
図７に、取得部１１が取得する画像Ｐの一例を示す。図示する例の画像Ｐにおいては、ブームの先端Ｅと孔Ｈとが同時に写っている。画像解析部１２は、このような画像Ｐの中から孔Ｈを検出し、検出した孔Ｈの画像内での位置を示す孔位置情報を出力する。
【0034】
算出部１３は、ブームの先端と孔との画像内での相対的な位置関係を算出する。そして、算出部１３は、算出した相対的な位置関係を示す情報を出力する。出力された当該情報は、ブーム制御装置２０に入力される。
【0035】
「相対的な位置関係」は、２点を結ぶ方向及び２点間の距離を含む。例えば、相対的な位置関係は、ブームの先端から孔に向かう方向、及びその２点間の距離を含む。
【0036】
算出部１３は、画像内での孔の位置を、画像解析部１２が出力した孔位置情報に基づき特定する。
【0037】
一方で、画像内でのブームの先端の位置は、予め固定値として与えられていてもよい。カメラの位置及び向きや、ブームの先端の状態等に変化がない場合、画像内でのブームの先端の位置は変化しない。この場合、画像内でのブームの先端の位置を、予め固定値として画像解析装置１０に登録しておいてもよい。当該登録を実現する手段は様々である。例えば、ユーザが画像を確認しながら画像内でのブームの先端の位置を指定し、指定した画像内の位置が登録されてもよい。その他、画像解析装置１０が、画像解析で、ブームの外観の特徴量に基づき、ブームの先端を画像内から検出してもよい。
【0038】
その他、カメラの位置及び向きや、ブームの先端の状態等が、ユーザ操作又はコンピュータの自動制御で変化し得る場合、上述した画像解析部１２が、画像解析で、ブームの外観の特徴量に基づき、ブームの先端を画像内から検出してもよい。そして、画像解析部１２は、検出したブームの先端の画像内での位置を示す情報を出力してもよい。この例の場合、算出部１３は、当該情報に基づき、画像内でのブームの先端の位置を特定することができる。
【0039】
－ブーム制御装置２０－
図６に示すように、ブーム制御装置２０は、ブーム制御部２１を有する。
図６に示すように、ブーム制御装置２０は、ブーム制御部２１を有する。
【0040】
ブーム制御部２１は、ブームの先端の位置及び方向を検出する手段を備える。当該検出は、任意の手段で実現できる。一例として、ブームが備える各種関節等の状態を検出するセンサの利用が挙げられるが、これに限定されない。なお、当該手段で検出したブームの先端の位置は、誤差を含み得る。すなわち、当該手段で検出したブームの先端の位置と実際のブームの先端の位置の間にはズレが生じ得る。しかし、本実施形態では、ブーム制御部２１は、上述した算出部１３が算出した「ブームの先端と孔との画像内での相対的な位置関係」に基づきブームの先端を孔に近づく方向に移動させることで、ブームの先端の高精度な位置合わせを行う。このため、上述のように、センサ等で検出したブームの先端の位置と実際のブームの先端の位置の間にズレが生じていても問題ない。以下、「ブームの先端と孔との画像内での相対的な位置関係」に基づくブームの先端の高精度な位置合わせ処理を詳細に説明する。
【0041】
まず、ブーム制御部２１は、その時のブームの姿勢に基づきカメラの姿勢を特定する。
【0042】
「ブームの姿勢」は、ブームの長さＬ、ブームの起伏角度θ及びブームの旋回角度φ等で示される。予め設置されたセンサ（ブームの先端の位置や方向を算出するためのデータを検出する角度・長さセンサ等）が上記値を測定する。そして、ブーム制御部２１は、センサが測定した測定値をリアルタイム処理で取得する。センサとブーム制御装置２０とは有線及び／又は無線で通信可能に接続されている。なお、特許文献２及び３に開示されているように、当該センサの値を用いて、ワールド座標系におけるブームの先端の座標を算出することができる。
【0043】
「カメラの姿勢」は、ワールド座標系でのカメラの向き及び傾きを示す。本実施形態では、ブームにカメラが取り付けられる。このため、ブームの姿勢に基づき、カメラの向きや傾きが一意に特定される。
【0044】
次に、ブーム制御部２１は、特定したカメラの姿勢に基づき、算出部１３が算出した「画像内においてブームの先端から孔に向かう方向」を、ワールド座標系における方向（実空間上での方向）に変換する。ワールド座標系でのカメラの向き及び傾きが明らかになっていれば、所定の演算により、その状態で撮影された画像内での所定の方向を、ワールド座標系での方向に変換することができる。例えば、基準姿勢（カメラの向き：ワールド座標系の基準方向、カメラの傾き：０）となっているカメラが撮影した画像内の基準方向（例：横方向、図７のｘ軸方向）をワールド座標系に投影したワールド座標内方向を予め登録しておく。そして、基準姿勢と特定したカメラの姿勢の差分（向きの差分、傾きの差分）、及び画像内の基準方向と画像内においてブームの先端から孔に向かう方向との差分に基づきこのワールド座標内方向を補正することで、上述した変換を実現してもよい。なお、当該変換方法はあくまで一例であり、これに限定されない。
【0045】
そして、ブーム制御部２１は、ブームの先端を、上記変換で得られたワールド座標系における方向（実空間上での方向）に移動させる。ブームの先端をワールド座標系における所定の方向に移動させる制御は、周知のあらゆる技術を採用して実現することができる。例えば、特許文献１乃至４に開示の技術を利用してもよい。
【0046】
ブーム制御部２１は、ブームの先端の位置を合わせる制御に加えて、ブームの先端の方向（向き）を合わせる制御をさらに行うことができる。例えば、事前に穿孔した孔にロックボルトを打設する作業や、事前に穿孔した孔にモルタルを注入する作業や、事前に穿孔した孔に爆薬を挿入する作業等においては、ロックボルトや、モルタルや、爆薬を注入する部材等を、事前に穿孔した孔の延伸方向に沿って挿入する必要がある。これを実現する上で、ブームの先端の方向を合わせる制御が必要になる。なお、モルタルを注入する部材等が例えばチューブのような形状が可変の部材である場合、ブームの先端の方向を厳密に合わせる制御は不要になる場合もある。
【0047】
ここで、ブームの先端の方向を合わせる制御の一例を説明する。例えば、処理装置１００は、穿孔用ブームＤＢＲ及びＤＢＬを駆動して事前に穿孔した際に、その時のブームの姿勢等から、穿孔した孔の延伸方向、すなわち穿孔用部材を挿入した方向を算出し、記憶装置に登録しておく。ブームの姿勢は、例えばブームに取り付けられたセンサ（ブームの先端の位置や方向を算出するためのデータを検出する角度・長さセンサ等）が測定した測定値に基づき特定される。この穿孔した孔の延伸方向は、例えばワールド座標系におけるデータ（例えばベクトル情報）として管理される。そして、ブーム制御部２１は、当該データに基づき特定される事前に穿孔した孔の延伸方向と、現時点のブームの先端の方向とが略平行（所定の状態）となるように、ブームの姿勢を制御する。
【0048】
このようなブームの先端の方向を合わせる制御は、任意のタイミングで行うことができる。例えば、ブーム制御部２１は、ブームの姿勢を自動制御している間（例えば、以下の実施形態で説明する「孔を形成した際に登録された孔の位置情報に基づき、ブームを駆動させる第１のモード」及び「第２のモード」の間）の任意のタイミングで、ブームの先端の方向を合わせる制御を行うことができる。なお、ブーム制御部２１は、ブームの姿勢を自動制御している間、現時点のブームの先端の方向が所定の状態となっているか、監視し続けてもよい。そして、ブーム制御部２１は、現時点のブームの先端の方向が所定の状態から外れたこと（例：現時点のブームの先端の方向と所定の状態とのズレ量が閾値以上になったこと）を検出すると、当該検出に応じて、ブームの先端の方向を合わせる制御を行ってもよい。
【0049】
次に、図８のフローチャートを用いて、処理装置１００の処理の流れの一例を説明する。
【0050】
画像解析装置１０は、ブームの先端が写るように撮影された画像を取得すると（Ｓ１０）、画像の中から孔を検出する（Ｓ１１）。次いで、画像解析装置１０は、ブームの先端とＳ１１で検出した孔との画像内での相対的な位置関係を算出する（Ｓ１２）。
【0051】
その後、ブーム制御装置２０は、Ｓ１２の算出結果に基づきブームを駆動させる（Ｓ１３）。例えば、ブーム制御装置２０は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、Ｓ１２で算出された画像内での方向をワールド座標系における方向（実空間上での方向）に変換する。そして、ブーム制御装置２０は、ブームの先端を、当該変換で得られたワールド座標系における方向（実空間上での方向）に移動させる。
【0052】
次に、図９のフローチャートを用いて、処理装置１００の処理の流れの他の一例を説明する。
【0053】
画像解析装置１０は、ブームの先端が写るように撮影された画像を取得すると（Ｓ２０）、画像の中から孔を検出する（Ｓ２１）。次いで、画像解析装置１０は、ブームの先端とＳ２１で検出した孔との画像内での相対的な位置関係を算出する（Ｓ２２）。
【0054】
その後、ブーム制御装置２０は、Ｓ２２の算出結果において、「ブームの先端とＳ２１で検出した孔との画像内での位置が一致していること」が示されているか判断する（Ｓ２３）。一致と判断する条件は、ブームの先端とＳ２１で検出した孔との画像内での位置（座標）が完全に一致することであってもよいし、その距離が閾値以内であってもよい。
【0055】
Ｓ２２の算出結果において、「ブームの先端とＳ２１で検出した孔との画像内での位置が一致していること」が示されている場合（Ｓ２３のＹｅｓ）、ブーム制御装置２０は、ブームを駆動させる制御を停止する。結果、ブームの姿勢はその状態で停止し、ブームの先端はその位置で停止する。
【0056】
一方、Ｓ２２の算出結果において、「ブームの先端とＳ２１で検出した孔との画像内での位置が一致していること」が示されていない場合（Ｓ２３のＮｏ）、ブーム制御装置２０は、Ｓ２２の算出結果に基づきブームを駆動させる（Ｓ２４）。具体的には、ブーム制御装置２０は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、Ｓ２２で算出された画像内での方向をワールド座標系における方向（実空間上での方向）に変換する。そして、ブーム制御装置２０は、ブームの先端を、当該変換で得られたワールド座標系における方向（実空間上での方向）に移動させる。
【0057】
その後、Ｓ２０に戻って同様の処理が繰り返される。すなわち、新たな画像が取得され、新たな画像が解析され、その解析結果に基づきブームが制御される。
【0058】
なお、Ｓ２４のブームの駆動においては、算出したワールド座標系における方向（実空間上での方向）への移動を所定の移動量だけ行ってもよいし、その他の手法で移動量を制御してもよい。所定の移動量は、予め定義された固定値であってもよいし、Ｓ２２で算出された相対的な位置関係で示される「ブームの先端と孔との画像内での距離」に基づき算出されてもよい。
【0059】
「作用効果」
本実施形態の処理装置１００によれば、ブームの先端と孔との画像内での相対的な位置関係に基づき、ブームの先端の位置合わせを行うことができる。このように、本実施形態の処理装置１００は、ブームの先端と孔との画像内での相対的な位置関係に基づき制御を行うので、ブームの先端及び孔の絶対的な高精度な位置情報を取得する必要がない。
本実施形態の処理装置１００によれば、ブームの先端と孔との画像内での相対的な位置関係に基づき、ブームの先端の位置合わせを行うことができる。このように、本実施形態の処理装置１００は、ブームの先端と孔との画像内での相対的な位置関係に基づき制御を行うので、ブームの先端及び孔の絶対的な高精度な位置情報を取得する必要がない。
【0060】
また、本実施形態の処理装置１００は、画像上でのブームの先端と孔の位置が一致するように、ブームの先端の位置を調整することができる。結果、ブームの先端を孔の位置に位置させる位置合わせを、高精度に行うことができる。
【0061】
＜第２の実施形態＞
本実施形態のブーム制御装置２０は、画像解析装置１０の解析結果を利用せずブームを駆動させる第１のモードと、画像解析装置１０の解析結果に基づきブームを駆動させる第２のモードと、を有する。そして、ブーム制御装置２０は、第１のモードと第２のモードの両方を利用して、ブームの先端を孔位置に高精度に位置させる。以下、詳細に説明する。
本実施形態のブーム制御装置２０は、画像解析装置１０の解析結果を利用せずブームを駆動させる第１のモードと、画像解析装置１０の解析結果に基づきブームを駆動させる第２のモードと、を有する。そして、ブーム制御装置２０は、第１のモードと第２のモードの両方を利用して、ブームの先端を孔位置に高精度に位置させる。以下、詳細に説明する。
【0062】
－第２のモード－
第２のモードでは、ブーム制御部２１は、画像解析装置１０の解析結果、すなわち「ブームの先端と孔との画像内での相対的な位置関係の算出結果」に基づきブームを駆動させる。第１の実施形態で説明した制御が、第２のモードである。
第２のモードでは、ブーム制御部２１は、画像解析装置１０の解析結果、すなわち「ブームの先端と孔との画像内での相対的な位置関係の算出結果」に基づきブームを駆動させる。第１の実施形態で説明した制御が、第２のモードである。
【0063】
－第１のモード－
第１のモードでは、ブーム制御部２１は、画像解析装置１０の解析結果、すなわち「ブームの先端と孔との画像内での相対的な位置関係の算出結果」を利用せずブームを駆動させる。第１のモードでも、ブーム制御部２１は、ブームの先端を孔に近づく方向に移動させる。
第１のモードでは、ブーム制御部２１は、画像解析装置１０の解析結果、すなわち「ブームの先端と孔との画像内での相対的な位置関係の算出結果」を利用せずブームを駆動させる。第１のモードでも、ブーム制御部２１は、ブームの先端を孔に近づく方向に移動させる。
【0064】
例えば、第１のモードでは、ブーム制御部２１は、ユーザが入力したブームの駆動内容（ブームの先端の移動方向、移動速度、移動量の中の少なくも１つを特定する情報）に従い、ブームを駆動させてもよい。ユーザは、ブームを搭載した車両に設置された入力装置（手動レバー、タッチパネル、物理ボタン、マイク等）や、リモートコントローラ、またその他の入力装置を介して、ブームの駆動内容を入力する。このようなユーザ入力に基づくブームの駆動は、あらゆる技術を採用して実現することができる。
【0065】
その他の例として、第１のモードでは、ブーム制御部２１は、孔を形成した際に登録された孔の位置情報に基づき、ブームを駆動させることができる。事前に穿孔した孔にロックボルトを打設する作業や、事前に穿孔した孔にモルタルを注入する作業や、事前に穿孔した孔に爆薬を挿入する作業の場合、穿孔時に穿孔した孔の位置情報が登録される。例えば、処理装置１００は、穿孔用ブームＤＢＲ及びＤＢＬを駆動して事前に穿孔した際に、その時のブームの姿勢等から、穿孔した孔の位置、例えば穿孔した時のブームの先端の位置情報を算出し、記憶装置に登録しておく。この穿孔した孔の位置は、例えばワールド座標系におけるデータとして管理される。そして、ブーム制御部２１は、このデータを用いて、ブームの先端が、予め登録された孔の位置情報で示される位置に近づくようにブームを駆動させる。具体的には、ブームが備える各種関節等の状態を検出するセンサを利用して特定されたブームの先端の位置が、予め登録された孔の位置情報で示される位置に近づくようにブームを駆動させる。ブームの先端の位置及び孔の位置はワールド座標系で管理される。なお、上述の通り、当該手段で検出したブームの先端の位置は、誤差を含み得る。すなわち、当該手段で検出したブームの先端の位置と実際のブームの先端の位置の間にはズレが生じ得る。このため、当該制御だけでブームの先端の高精度な位置合わせを行うことは困難である。そこで、第１のモードで大まかな位置合わせを行った後、第２のモードで高精度の位置合わせを行う。
【0066】
－モードの切り替え方法－
ブーム制御部２１は、第１乃至第３の方法の少なくとも１つでモードを切り替えることができる。
ブーム制御部２１は、第１乃至第３の方法の少なくとも１つでモードを切り替えることができる。
【0067】
「第１の方法」
第１の方法では、ブーム制御部２１は、上述のような第１のモード及び第２のモードを、ユーザ入力により切り替える。ユーザは、例えば、ブームを搭載した車両に設置された入力装置（手動レバー、タッチパネル、物理ボタン、マイク等）や、リモートコントローラ、またその他の入力装置を介して、第１のモード及び第２のモードのいずれかを選択する入力を行う。ブーム制御部２１は、ユーザが選択したモードを実行する。
第１の方法では、ブーム制御部２１は、上述のような第１のモード及び第２のモードを、ユーザ入力により切り替える。ユーザは、例えば、ブームを搭載した車両に設置された入力装置（手動レバー、タッチパネル、物理ボタン、マイク等）や、リモートコントローラ、またその他の入力装置を介して、第１のモード及び第２のモードのいずれかを選択する入力を行う。ブーム制御部２１は、ユーザが選択したモードを実行する。
【0068】
「第２の方法」
第２の方法では、ブーム制御部２１は、画像解析の結果に基づき、第１のモード及び第２のモードを自動的に切り替える。
第２の方法では、ブーム制御部２１は、画像解析の結果に基づき、第１のモード及び第２のモードを自動的に切り替える。
【0069】
具体的には、ブーム制御部２１は、画像の中から孔が検出されていない間は、第１のモードを実行する。そして、ブーム制御部２１は、画像の中から孔が検出されている間は、第２のモードを実行する。
【0070】
ブーム制御部２１は、画像の中から孔が検出されていない状態から孔が検出されている状態に切り替わると、それに応じて、実行するモードを第１のモードから第２のモードに切り替える。
【0071】
当該例の場合、画像解析装置１０は、画像解析部１２による孔の検出結果、すなわち「孔が画像内で検出されたか否かを示す情報」をブーム制御装置２０に送信する。画像解析装置１０は、リアルタイム処理で当該情報をブーム制御装置２０に送信する。そして、当該情報が「孔が画像内で検出されていること」を示す場合、画像解析装置１０は、さらに、「ブームの先端と孔との画像内での相対的な位置関係の算出結果」をブーム制御装置２０に送信する。
【0072】
「第３の方法」
第３の方法では、ブーム制御部２１は、画像解析の結果に基づき、第１のモード及び第２のモードを自動的に切り替える。
第３の方法では、ブーム制御部２１は、画像解析の結果に基づき、第１のモード及び第２のモードを自動的に切り替える。
【0073】
具体的には、ブーム制御部２１は、「画像の中から孔が検出されていない」、又は、「画像の中から孔が検出されているが、画像内でのブームの先端と孔との距離が基準値以上」を満たす場合、第１のモードを実行する。そして、ブーム制御部２１は、「画像の中から孔が検出されており、かつ、画像内でのブームの先端と孔との距離が基準値未満」を満たす場合、第２のモードを実行する。
【0074】
ブーム制御部２１は、「画像の中から孔が検出されていない」、又は、「画像の中から孔が検出されているが、画像内でのブームの先端と孔との距離が基準値以上」である状態から、「画像の中から孔が検出されており、かつ、画像内でのブームの先端と孔との距離が基準値未満」である状態に切り替わると、それに応じて、実行するモードを第１のモードから第２のモードに切り替える。
【0075】
当該例の場合も、画像解析装置１０は、画像解析部１２による孔の検出結果、すなわち「孔が画像内で検出されたか否かを示す情報」をブーム制御装置２０に送信する。画像解析装置１０は、リアルタイム処理で当該情報をブーム制御装置２０に送信する。そして、当該情報が「孔が画像内で検出されていること」を示す場合、画像解析装置１０は、さらに、「ブームの先端と孔との画像内での相対的な位置関係の算出結果」をブーム制御装置２０に送信する。
【0076】
次に、図１０のフローチャートを用いて、処理装置１００の処理の流れの一例を説明する。
【0077】
まず、ブーム制御装置２０は、第１のモードでのブームの駆動を開始する（Ｓ３０）。
【0078】
Ｓ３０の後、画像解析装置１０は、ブームの先端が写るように撮影された画像を取得すると（Ｓ３１）、画像を解析する処理を実行する（Ｓ３２）。Ｓ３２では、画像解析装置１０は、画像の中から孔を検出する処理を実行する。画像の中から孔が検出された場合、画像解析装置１０は、ブームの先端と孔との画像内での相対的な位置関係を算出する処理を実行する。そして、画像解析装置１０は、画像の解析結果をブーム制御装置２０に送信する。すなわち、画像解析装置１０は、「孔が画像内で検出されたか否かを示す情報」をブーム制御装置２０に送信する。また、画像の中から孔が検出された場合、画像解析装置１０は、ブームの先端と孔との画像内での相対的な位置関係の算出結果をブーム制御装置２０に送信する。
【0079】
ブーム制御装置２０は、Ｓ３２で画像の中から孔が検出された場合（Ｓ３３のＹｅｓ）、すなわち画像解析装置１０から受信した「孔が画像内で検出されたか否かを示す情報」において「画像の中から孔が検出されたこと」が示されている場合、実行するモードを第１のモードから第２のモードに切り替える（Ｓ３４）。そして、ブーム制御装置２０は、Ｓ３２の算出結果に基づく第２のモードでのブームの駆動を開始する（Ｓ３５）。具体的には、ブーム制御装置２０は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、Ｓ３２で算出された「画像内でのブームの先端から孔に向かう方向」をワールド座標系における方向（実空間上での方向）に変換する。そして、ブーム制御装置２０は、ブームの先端を、当該変換で得られたワールド座標系における方向（実空間上での方向）に移動させる。
【0080】
一方、ブーム制御装置２０は、Ｓ３２で画像の中から孔が検出されなかった場合（Ｓ３３のＮｏ）、すなわち画像解析装置１０から受信した「孔が画像内で検出されたか否かを示す情報」において「画像の中から孔が検出されなかったこと」が示されている場合、ブーム制御装置２０は、そのまま第１のモードでのブームの駆動を継続する。そして、Ｓ３１に戻り、同様の処理が繰り返される。Ｓ３２で画像の中から孔が検出され、それに応じてモードが切り替わるまで（Ｓ３４）、第１のモードが継続される。
【0081】
処理装置１００のその他の構成は、第１の実施形態と同様である。
【0082】
本実施形態の処理装置１００によれば、第１の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１００によれば、画像解析装置１０の解析結果を利用せずブームを駆動させる第１のモードと、画像解析装置１０の解析結果に基づきブームを駆動させる第２のモードの両方を利用して、ブームの先端を孔位置に高精度に位置させることができる。すなわち、第１のモードでブームを駆動してブームの先端を大まかに孔の近くに位置させた後、第２のモードでブームの先端を孔位置に高精度に位置させることができる。
【0083】
第２のモードでのブームの先端の位置合わせは、画像内に孔が写っていないと実行できない。一方で、常に画像内に孔が写っているとは限らない。カメラの画角を広げ、例えば３６０°カメラを採用することで、当該不都合を軽減できる。しかし、カメラの画角を広げた場合、画像の歪みの問題が発生する。そして、その歪みを補正するため、コンピュータの処理負担が大きくなり、処理に要する時間が大きくなる。
【0084】
また、画角を広げて、画像内に孔が高確率で写るようにしても、カメラと孔の距離が大きい場合、画像に写る孔が小さくなり、結果、孔を高精度に画像内から検出できない可能性がある。
【0085】
本実施形態のように、画像解析装置１０の解析結果を利用せずブームを駆動させる第１のモードと、画像解析装置１０の解析結果に基づきブームを駆動させる第２のモードの両方を利用することで、当該不都合を解消しつつ、ブームの先端を孔位置に高精度に位置させることができる。
【0086】
＜第３の実施形態＞
第１及び第２の実施形態で説明した手法、すなわち画像解析の結果に基づくブームの先端の位置合わせは、画像内に孔が写っていないと実行できない。しかし、自装置の一部分（ブームの一部分等）やその他の物体に隠れて、一時的に孔が画像に写らなくなる状況が発生し得る。本実施形態の画像解析装置１０は、このような場合に、孔の位置を高精度に推定し、推定結果に基づきブームを駆動させる。以下、詳細に説明する。
第１及び第２の実施形態で説明した手法、すなわち画像解析の結果に基づくブームの先端の位置合わせは、画像内に孔が写っていないと実行できない。しかし、自装置の一部分（ブームの一部分等）やその他の物体に隠れて、一時的に孔が画像に写らなくなる状況が発生し得る。本実施形態の画像解析装置１０は、このような場合に、孔の位置を高精度に推定し、推定結果に基づきブームを駆動させる。以下、詳細に説明する。
【0087】
まず、本実施形態の前提事項として、孔と画像に写る背景との相対的な位置関係は変わらない。当該前提事項を満たす場合に、本実施形態の技術を採用できる。例えば、トンネルの側壁にロックボルトを打設する作業、より詳細には、事前に穿孔した孔にロックボルトを打設する作業や、事前に穿孔した孔にモルタルを注入する作業や、事前に穿孔した孔に爆薬を挿入する作業においては、「トンネルの側壁」が画像に写る「背景」になる。「孔」は「トンネルの側壁」に形成されたものであるので、「孔と背景との相対的な位置関係が変わらない」という条件を満たす。
【0088】
画像解析部１２は、画像の中から背景の特徴点を抽出する。特徴点の抽出は、あらゆる技術を採用して実現できる。例えば、ＯＲＢ（Oriented FAST and Rotated BRIEF）の技術を利用してもよい。
【0089】
算出部１３は、画像解析部１２により抽出された特徴点と、画像解析部１２により検出された孔との画像内での相対的な位置関係を算出する。図１１に示すように、画像内の複数箇所で特徴点が抽出される。算出部１３は、このような複数の特徴点と、孔との相対的な位置関係（方向、距離等）を算出する。
【0090】
そして、算出部１３は、「画像内での特徴点の位置」と「特徴点と孔との画像内での相対的な位置関係」に基づき、画像内での孔の位置を推定する。以下、推定処理の一例を説明する。まず、算出部１３は、複数の時系列な画像の中の処理対象の画像内で抽出された特徴点と、処理対象の画像よりも時系列順が前の画像内で抽出された特徴点とのマッチング処理を行うことで、２つの画像間での特徴点の対応関係を特定する。特徴点間のマッチング処理は、周知のあらゆる手法を利用して実現される。その後、算出部１３は、「複数の時系列な画像の中の処理対象の画像内での特徴点の位置」と、「処理対象の画像よりも時系列順が前の画像に基づき算出された特徴点と孔との画像内での相対的な位置関係」に基づき、処理対象の画像内での孔の位置を推定する。
【0091】
例えば、図１４に示す「現在の画像」が処理対象の画像であるとする。図１４に示すように、現在の画像では、孔がブームで隠れている。図１５に示す「前の画像」は、処理対象の画像よりも時系列順が前の画像である。図１５に示すように、前の画像では、孔Ｈが隠れていない。算出部１３は、このような２つの画像間で特徴点のマッチング処理を行う。結果、図１４及び図１５に示すような対応関係が算出されたとする。図では、互いに対応する特徴点に同じ符号を紐付けている。例えば、図１４のＰ１に紐付く特徴点と、図１５のＰ１に紐付く特徴点が互いに対応する。そして、算出部１３は、図１５に示す前の画像から特定される特徴点（特徴点Ｐ１乃至Ｐ４等）と孔Ｈとの相対的な位置関係と、図１４における現在の画像内で検出された特徴点（特徴点Ｐ１乃至Ｐ４等）の位置とに基づき、図１４における現在の画像内で孔Ｈの位置を推定する。算出部１３は、図１６に示すように、現在の画像内で検出された特徴点（特徴点Ｐ１乃至Ｐ４等）の位置との間で、前の画像から特定された特徴点（特徴点Ｐ１乃至Ｐ４等）と孔Ｈとの相対的な位置関係を満たす位置を、現在の画像内での孔Ｈの位置として推定する。２つの画像間の特徴点の対応付け後は、算出した特徴点の対応関係に基づき、現在の画像と過去の画像との間の相対関係を計算する。当該相対関係の計算には、移動、回転、傾き、縮尺を用いて表す射影行列(ホモグラフィー行列)を用いることができる。例えば、図１６に示すように互いに対応する特徴点が重なりあう状態となるための射影行列が計算される。そして、当該射影行列を用いて、過去の画像内で検出された孔Ｈを現在の画像内に射影することができる。
【0092】
なお、算出部１３は、処理対象の画像内で孔が検出されなかった場合のみ、処理対象の画像内での孔の位置を推定する処理を行ってもよい。すなわち、算出部１３は、処理対象の画像の中から孔が検出された場合、処理対象の画像内での孔の位置を推定する処理を実行せず、処理対象の画像の中から孔が検出されなかった場合、処理対象の画像内での孔の位置を推定する処理を実行してもよい。
【0093】
その他、算出部１３は、処理対象の画像内で孔が検出されたか否かに関わらず、処理対象の画像内での孔の位置を推定する処理を行ってもよい。すなわち、算出部１３は、全ての画像に対して、各画像内での孔の位置を推定する処理を行ってもよい。
【0094】
上述のようにして画像内での孔の位置を推定した後、算出部１３は、推定された画像内での孔の位置に基づき、ブームの先端と孔との画像内での相対的な位置関係を算出する。すなわち、算出部１３は、推定された画像内での孔の位置と、ブームの先端との画像内での相対的な位置関係を算出する。そして、算出部１３は、当該算出の結果を、ブームの先端と孔との画像内での相対的な位置関係として出力する。ブーム制御装置２０は、推定された画像内での孔の位置と、ブームの先端との画像内での相対的な位置関係に基づきブームを駆動させる。相対的な位置関係の算出及びブームの駆動は、第１及び第２の実施形態と同様である。
【0095】
なお、算出部１３は、処理対象の画像の中から孔が検出された場合、検出された孔の処理対象の画像内での位置に基づき、ブームの先端と孔との処理対象の画像内での相対的な位置関係を算出し、その結果を出力することができる。ブーム制御装置２０は、当該結果に基づきブームを駆動させる。
【0096】
そして、算出部１３は、処理対象の画像の中から孔が検出されなかった場合、推定された処理対象の画像内での孔の位置に基づき、ブームの先端と孔との処理対象の画像内での相対的な位置関係を算出することができる。ブーム制御装置２０は、当該結果に基づきブームを駆動させる。
【0097】
次に、図１２のフローチャートを用いて、処理装置１００の処理の流れの他の一例を説明する。
【0098】
画像解析装置１０は、ブームの先端が写るように撮影された画像を取得すると（Ｓ４０）、画像の中から孔を検出する処理（Ｓ４１）、及び孔の位置を推定する処理（Ｓ４２）を実行する。以下、Ｓ４０で取得された画像を「処理対象の画像」とよぶ。図では、Ｓ４１とＳ４２は並行して行われるようになっているが、いずれかを行った後に、他方のステップを行うようにしてもよい。
【0099】
Ｓ４２では、画像解析装置１０は、処理対象の画像の背景の特徴点を抽出する。そして、画像解析装置１０は、処理対象の画像よりも時系列順が前の画像に基づき算出された「背景の特徴点と孔との画像内での相対的な位置関係」と、「処理対象の画像から抽出した背景の特徴点の位置」とに基づき、処理対象の画像内での孔の位置を推定する。なお、当該処理は、処理対象の画像よりも時系列順が前の画像に基づき「背景の特徴点と孔との画像内での相対的な位置関係」が算出されている場合のみ実行することができる。背景の特徴点と孔との画像内での相対的な位置関係の算出は、取得した全ての画像に対して行われてもよい。処理タイミングは特段制限されない。
【0100】
そして、Ｓ４１で孔が検出された場合（Ｓ４３のＹｅｓ）、画像解析装置１０は、検出された孔の処理対象の画像内での位置に基づき、ブームの先端と孔との処理対象の画像内での相対的な位置関係を算出する（Ｓ４４）。
【0101】
一方、Ｓ４１で孔が検出されなかった場合（Ｓ４３のＮｏ）、画像解析装置１０は、Ｓ４２で推定された処理対象の画像内での孔の位置に基づき、ブームの先端と孔との処理対象の画像内での相対的な位置関係を算出する（Ｓ４５）。
【0102】
その後、ブーム制御装置２０は、Ｓ４４又はＳ４５の算出結果において、「ブームの先端と孔との処理対象の画像内での位置が一致していること」が示されているか判断する（Ｓ４６）。一致と判断する条件は、ブームの先端と孔との画像内での位置（座標）が完全に一致することであってもよいし、その距離が閾値以内であってもよい。
【0103】
Ｓ４４又はＳ４５の算出結果において、「ブームの先端と孔との処理対象の画像内での位置が一致していること」が示されている場合（Ｓ４６のＹｅｓ）、ブーム制御装置２０は、ブームを駆動させる制御を停止する。結果、ブームの姿勢はその状態で停止し、ブームの先端はその位置で停止する。
【0104】
一方、Ｓ４４又はＳ４５の算出結果において、「ブームの先端と孔との画像内での位置が一致していること」が示されていない場合（Ｓ４６のＮｏ）、ブーム制御装置２０は、Ｓ４４又はＳ４５の算出結果に基づきブームを駆動させる（Ｓ４７）。具体的には、ブーム制御装置２０は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、Ｓ４４又はＳ４５で算出された処理対象の画像内での方向をワールド座標系における方向（実空間上での方向）に変換する。そして、ブーム制御装置２０は、ブームの先端を、当該変換で得られたワールド座標系における方向（実空間上での方向）に移動させる。
【0105】
その後、Ｓ４０に戻って同様の処理が繰り返される。すなわち、新たな画像が取得され、新たな画像が解析され、その解析結果に基づきブームが制御される。
【0106】
なお、Ｓ４７のブームの駆動においては、算出したワールド座標系における方向（実空間上での方向）への移動を所定の移動量だけ行ってもよいし、その他の手法で移動量を制御してもよい。所定の移動量は、予め定義された固定値であってもよいし、Ｓ４４又はＳ４５で算出された相対的な位置関係で示される「ブームの先端と孔との画像内での距離」に基づき算出されてもよい。
【0107】
次に、図１３のフローチャートを用いて、処理装置１００の処理の流れの他の一例を説明する。
【0108】
画像解析装置１０は、ブームの先端が写るように撮影された画像を取得すると（Ｓ５０）、画像の中から孔を検出する処理（Ｓ５１）を実行する。以下、Ｓ５０で取得された画像を「処理対象の画像」とよぶ。
【0109】
そして、Ｓ５１で孔が検出された場合（Ｓ５２のＹｅｓ）、画像解析装置１０は、検出された孔の処理対象の画像内での位置に基づき、ブームの先端と孔との処理対象の画像内での相対的な位置関係を算出する（Ｓ５３）。
【0110】
一方、Ｓ５１で孔が検出されなかった場合（Ｓ５２のＮｏ）、画像解析装置１０は、孔の位置を推定する処理を行う（Ｓ５４）。
【0111】
Ｓ５４では、画像解析装置１０は、処理対象の画像の背景の特徴点を抽出する。そして、画像解析装置１０は、処理対象の画像よりも時系列順が前の画像に基づき算出された「背景の特徴点と孔との画像内での相対的な位置関係」と、「処理対象の画像から抽出した背景の特徴点の位置」とに基づき、処理対象の画像内での孔の位置を推定する。なお、当該処理は、処理対象の画像よりも時系列順が前の画像に基づき「背景の特徴点と孔との画像内での相対的な位置関係」が算出されている場合のみ実行することができる。背景の特徴点と孔との画像内での相対的な位置関係の算出は、取得した全ての画像に対して行われてもよい。処理タイミングは特段制限されない。
【0112】
次いで、画像解析装置１０は、Ｓ５４で推定された処理対象の画像内での孔の位置に基づき、ブームの先端と孔との処理対象の画像内での相対的な位置関係を算出する（Ｓ５５）。
【0113】
その後、ブーム制御装置２０は、Ｓ５３又はＳ５５の算出結果において、「ブームの先端と孔との処理対象の画像内での位置が一致していること」が示されているか判断する（Ｓ５６）。一致と判断する条件は、ブームの先端と孔との画像内での位置（座標）が完全に一致することであってもよいし、その距離が閾値以内であってもよい。
【0114】
Ｓ５３又はＳ５５の算出結果において、「ブームの先端と孔との処理対象の画像内での位置が一致していること」が示されている場合（Ｓ５６のＹｅｓ）、ブーム制御装置２０は、ブームを駆動させる制御を停止する。結果、ブームの姿勢はその状態で停止し、ブームの先端はその位置で停止する。
【0115】
一方、Ｓ５３又はＳ５５の算出結果において、「ブームの先端と孔との画像内での位置が一致していること」が示されていない場合（Ｓ５６のＮｏ）、ブーム制御装置２０は、Ｓ５３又はＳ５５の算出結果に基づきブームを駆動させる（Ｓ５７）。具体的には、ブーム制御装置２０は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、Ｓ５３又はＳ５５で算出された処理対象の画像内での方向をワールド座標系における方向（実空間上での方向）に変換する。そして、ブーム制御装置２０は、ブームの先端を、当該変換で得られたワールド座標系における方向（実空間上での方向）に移動させる。
【0116】
その後、Ｓ５０に戻って同様の処理が繰り返される。すなわち、新たな画像が取得され、新たな画像が解析され、その解析結果に基づきブームが制御される。
【0117】
なお、Ｓ５７のブームの駆動においては、算出したワールド座標系における方向（実空間上での方向）への移動を所定の移動量だけ行ってもよいし、その他の手法で移動量を制御してもよい。所定の移動量は、予め定義された固定値であってもよいし、Ｓ５３又はＳ５５で算出された相対的な位置関係で示される「ブームの先端と孔との画像内での距離」に基づき算出されてもよい。
【0118】
なお、図１２及び図１３で示す処理は、第２の実施形態で説明した処理と組み合わせることもできる。この場合、処理装置１００は、第２のモードでブームを駆動させる間、図１２の処理又は図１３の処理を実行することができる。
【0119】
次に、図１７のフローチャートを用いて、処理装置１００の処理の流れの他の一例を説明する。
【0120】
画像解析装置１０は、ブームの先端が写るように撮影された画像（以下、「現在の画像」）を取得すると（Ｓ１０１）、現在の画像の中から孔を検出する処理を実行する（Ｓ１０２）。また、画像解析装置１０は、現在の画像の中から特徴点を抽出する処理を行う（Ｓ１０３）。
【0121】
次いで、画像解析装置１０は、現在の画像の中から抽出された特徴点と、過去の画像の中から抽出された特徴点のマッチングを行う（Ｓ１０４）。次いで、画像解析装置１０は、Ｓ１０４で算出した特徴点の対応関係に基づき、現在の画像と過去の画像との間の相対関係を計算する（Ｓ１０５）。当該相対関係の計算には、移動、回転、傾き、縮尺を用いて表す射影行列(ホモグラフィー行列)を用いることができる。例えば、図１６に示すように互いに対応する特徴点が重なりあう状態となるための射影行列が計算される。
【0122】
次いで、画像解析装置１０は、Ｓ１０５で計算した現在の画像と過去の画像の相対関係に基づき、過去の画像における孔位置を現在の画像に射影する（Ｓ１０６）。次いで、画像解析装置１０は、現在の画像上の孔とブームの先端の相対的な位置関係（方向）を算出する（Ｓ１０７）。
【0123】
その後、ブーム制御装置２０は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、Ｓ１０７で算出された方向をワールド座標系における方向（実空間上での方向）に変換する（Ｓ１０８）。そして、ブーム制御装置２０は、ブームの先端を、当該変換で得られたワールド座標系における方向（実空間上での方向）に移動させる。
【0124】
なお、Ｓ１０４乃至Ｓ１０６の処理は、Ｓ１０２で現在の画像から孔が検出されなかった場合のみ行ってもよい。
【0125】
本実施形態の処理装置１００のその他の構成は、第１及び第２の実施形態と同様である。
【0126】
本実施形態の処理装置１００によれば、第１及び第２の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１００によれば、自装置の一部分（ブームの一部分等）やその他の物体に隠れて、一時的に孔が画像に写らなくなる状況が発生した場合に、孔の位置を高精度に推定し、推定結果に基づきブームを駆動させることができる。すなわち、孔が画像に写らないというトラブルにも強い技術が実現される。
【0127】
＜第４の実施形態＞
「概要」
第１乃至第３の実施形態で説明した画像解析での位置合わせでは、孔とブームの先端とが写る画像を解析して孔とブームの先端の位置のずれを算出し、算出結果に基づきブームの先端の位置合わせを行う。しかし、当該手段の場合、算出できる孔とブームの先端の位置のズレは、２次元画像上でのズレであり、奥行き方向の情報が含まれない。このような奥行き方向の情報が含まれない情報に基づく制御で実現される位置合わせよりもより高精度な位置合わせが望まれる場合がある。本実施形態の処理装置１００は、当該課題を解決する手段を備える。
「概要」
第１乃至第３の実施形態で説明した画像解析での位置合わせでは、孔とブームの先端とが写る画像を解析して孔とブームの先端の位置のずれを算出し、算出結果に基づきブームの先端の位置合わせを行う。しかし、当該手段の場合、算出できる孔とブームの先端の位置のズレは、２次元画像上でのズレであり、奥行き方向の情報が含まれない。このような奥行き方向の情報が含まれない情報に基づく制御で実現される位置合わせよりもより高精度な位置合わせが望まれる場合がある。本実施形態の処理装置１００は、当該課題を解決する手段を備える。
【0128】
本実施形態の処理装置１００は、互いに異なる方向からブームの先端及び当接対象（トンネルの側壁）が写るように同じタイミングで撮影された複数の画像を取得すると、当該複数の画像を用いた特徴的な演算処理により、ブームの起伏角度及びブームの旋回角度をその状態（画像撮影時の状態）で維持したままブームの先端に位置する各作業用（ボルト打設作業用、モルタル注入作業用、装薬作業用等）の機械を伸ばした場合にその機械が当接する当接対象上の位置（当接予測地点）を画像の中で推定する。
【0129】
そして、処理装置１００は、画像の中での当接予測地点と孔（例：トンネルの側壁に穿孔された孔）の位置が一致するようにブームを駆動する。本実施形態の処理装置１００は、このような画像解析の結果に基づくブームの制御により、ブームの先端を孔位置に高精度に位置させることを実現する。
【0130】
ここで、図１８乃至図２２を用いて、当接予測地点を推定する処理の概要を説明する。例えば、処理装置１００は、図１８に示す第１の画像Ｐ１及び図１９に示す第２の画像Ｐ２を取得したとする。第１の画像Ｐ１及び第２の画像Ｐ２は、２つのカメラで互いに異なる方向から同じタイミングで撮影された画像である。第１の画像Ｐ１及び第２の画像Ｐ２はいずれも、ブームの先端Ｅ及び当接対象が写るように撮影された画像である。第１の画像Ｐ１及び第２の画像Ｐ２において、当接対象は画像の全体にわたって写っている。ブームの先端Ｅは、ブームの先端に位置する各作業用の機械の先端である。
【0131】
処理装置１００は、図２０に示すように、第１の画像Ｐ１の中で設定された直線であって、ブームに重なりかつブームの延伸方向に伸びる第１の直線Ｌ１と、当接対象との第１の画像Ｐ１の中での相対的な位置関係を示す第１の位置関係情報を生成する。第１の直線Ｌ１と当接対象との相対的な位置関係は、当接対象から抽出された特徴点（Ｆ１乃至Ｆ３等）と第１の直線Ｌ１との相対的な位置関係で示される。
【0132】
また、処理装置１００は、図２１に示すように、第２の画像Ｐ２の中で設定された直線であって、ブームに重なりかつブームの延伸方向に伸びる第２の直線Ｌ２と、当接対象との第２の画像Ｐ２の中での相対的な位置関係を示す第２の位置関係情報を生成する。第２の直線Ｌ２と当接対象との相対的な位置関係は、当接対象から抽出された特徴点（Ｆ１乃至Ｆ３等）と第２の直線Ｌ２との相対的な位置関係で示される。
【0133】
次いで、処理装置１００は、図２２に示すように、第１の画像Ｐ１の中で第３の直線Ｌ３を設定する。図２２において、第３の直線Ｌ３は破線で示している。第３の直線Ｌ３は、当接対象との相対的な位置関係が第２の位置関係情報で示される「第２の画像Ｐ２の中での当接対象と第２の直線Ｌ２との相対的な位置関係」を満たす。すなわち、図２２に示すように、「第２の画像Ｐ２の中での当接対象と第２の直線Ｌ２との相対的な位置関係」は、「第１の画像Ｐ１の中での当接対象と第３の直線Ｌ３との相対的な位置関係」と一致する。図２２では、対応する特徴点（Ｆ１乃至Ｆ３等）同士が重なるように第１の画像Ｐ１と第２の画像Ｐ２が重ねられており、当該状態において、第２の直線Ｌ２と第３の直線Ｌ３とが重なっている。
【0134】
そして、処理装置１００は、図２２に示すように、第１の画像Ｐ１の中で設定された第１の直線Ｌ１と第３の直線Ｌ３との交点Ｂの第１の画像Ｐ１の中での位置情報を、ブームの先端Ｅの当接予測地点として算出する。
【0135】
なお、当接予測地点を算出した後、処理装置１００は、第１の画像Ｐ１の中でのブームの先端Ｅの当接予測地点（交点Ｂ）と、第１の画像Ｐ１の中での孔Ｈとの位置が一致するように、ブームを駆動する。そして、当接予測地点（交点Ｂ）と孔Ｈとの第１の画像Ｐ１の中での位置が一致したら、ブームの起伏角度及びブームの旋回角度をその状態で維持し、ブームの先端に位置する各作業用の機械を伸ばし、ブームの先端Ｅを孔Ｈに当接させる。
【0136】
「ブームの構成」
本実施形態では、ブームに複数のカメラ（例：２つのカメラ）が取り付けられる。複数のカメラは、ブームの先端及び当接対象（トンネルの側壁）を互いに異なる方向から撮影するようにブームに取り付けられる。ブームのその他の構成は、第１乃至第３の実施形態と同様である。
本実施形態では、ブームに複数のカメラ（例：２つのカメラ）が取り付けられる。複数のカメラは、ブームの先端及び当接対象（トンネルの側壁）を互いに異なる方向から撮影するようにブームに取り付けられる。ブームのその他の構成は、第１乃至第３の実施形態と同様である。
【0137】
「機能構成」
次に、本実施形態の処理装置１００の機能構成を詳細に説明する。図２３に、処理装置１００の機能ブロック図の一例を示す。図示するように、処理装置１００は、ブームの先端及び当接対象が写るように撮影された画像を解析する画像解析装置１０と、画像解析装置１０の解析結果に基づきブームを駆動させるブーム制御装置２０とを有する。以下、各装置について詳細に説明する。
次に、本実施形態の処理装置１００の機能構成を詳細に説明する。図２３に、処理装置１００の機能ブロック図の一例を示す。図示するように、処理装置１００は、ブームの先端及び当接対象が写るように撮影された画像を解析する画像解析装置１０と、画像解析装置１０の解析結果に基づきブームを駆動させるブーム制御装置２０とを有する。以下、各装置について詳細に説明する。
【0138】
－画像解析装置１０－
図２３に示すように、画像解析装置１０は、取得部１１と、画像解析部１２と、算出部１３と、第１の生成部１４と、設定部１５と、予測部１６と、第２の生成部１７とを有する。
図２３に示すように、画像解析装置１０は、取得部１１と、画像解析部１２と、算出部１３と、第１の生成部１４と、設定部１５と、予測部１６と、第２の生成部１７とを有する。
【0139】
取得部１１は、互いに異なる方向からブームの先端及び当接対象が写るように撮影された複数の画像を取得する。複数の画像は、複数のカメラにより同じタイミングで撮影された画像である。取得部１１は、当該画像をリアルタイム処理で取得する。複数のカメラ各々と画像解析装置１０とは有線及び／又は無線で通信可能に接続されている。
【0140】
「当接対象」は、ブームを用いた作業において、ブームの先端を当接させる対象である。例えば上述したトンネルの側壁にロックボルトを打設する作業の場合、トンネルの側壁が当接対象となる。当接対象には孔が存在する。そして、この孔にブームの先端を当接させることになる。
【0141】
「孔」は、ブームを用いた作業の対象であり、例えば上述したトンネルの側壁にロックボルトを打設する作業や、装薬作業の場合、穿孔した孔が作業の対象となる。
【0142】
第１の生成部１４は、第１の画像に基づき第１の位置関係情報を生成する。
【0143】
「第１の画像」は、ブームに取り付けられた複数のカメラの中の任意の１つである第１のカメラが生成した画像である。
【0144】
「第１の位置関係情報」は、第１の画像の中の第１の直線と、当接対象との第１の画像の中での相対的な位置関係を示す。より詳細には、第１の位置関係情報は、第１の直線と、当接対象から抽出された特徴点との相対的な位置関係を示す。
【0145】
「第１の直線」は、第１の画像の中で設定された直線である。図２０に示すように、第１の直線Ｌ１は、ブームに重なりかつブームの延伸方向に伸びる直線である。第１の直線Ｌ１は、第１の画像に設定された第１の画像座標系の直線（例：(x,y)=(x0+kx×t、y0+ky×t)）として定義される。第１のカメラがブームに取り付けられ、その位置及び向きが固定されている場合、第１の画像の中におけるブームの状態は固定される。このため、予め、ユーザが第１の画像の中の第１の直線Ｌ１を定義し（第１の画像座標系の直線の傾き及び切片を指定）、画像解析装置１０に登録しておいてもよい。その他、第１の生成部１４は、ブームの外観の特徴量に基づき、第１の画像の中でブームを検出してもよい。そして、第１の生成部１４は、その検出結果に基づき、第１の画像の中で第１の直線Ｌ１を定義してもよい。
【0146】
ここで、第１の位置関係情報を生成する処理の一例を説明する。まず、第１の生成部１４は、第１の画像を解析して、当接対象の特徴点を抽出し、抽出した複数の特徴点各々の第１の画像座標系の座標を算出する。特徴点の抽出は、あらゆる技術を採用して実現できる。例えば、ＯＲＢの技術を利用してもよい。なお、図２０では、３つの特徴点Ｆ１乃至Ｆ３が抽出された様子が示されているが、抽出される特徴点の数はこれに限定されない。
【0147】
次いで、第１の生成部１４は、第１の直線と抽出した複数の特徴点との相対的な位置関係を算出する。上述の通り、第１の直線は予め定義されていてもよいし、第１の生成部１４が画像解析してブームを検出し、検出結果に基づき第１の直線を定義してもよい。第１の直線と抽出した複数の特徴点との相対的な位置関係は、第１の画像座標系での直線と点との相対的な位置関係として求められる。
【0148】
第２の生成部１７は、第２の画像に基づき第２の位置関係情報を生成する。
【0149】
「第２の画像」は、ブームに取り付けられた複数のカメラの中の任意の１つである第２のカメラが生成した画像である。第２カメラは第１のカメラと異なるカメラである。第１のカメラと第２のカメラは互いに異なる方向からブームの先端及び当接対象を撮影する。
【0150】
「第２の位置関係情報」は、第２の画像の中の第２の直線と、当接対象との第２の画像の中での相対的な位置関係を示す。より詳細には、第２の位置関係情報は、第２の直線と、当接対象から抽出された特徴点との相対的な位置関係を示す。
【0151】
「第２の直線」は、第２の画像の中で設定された直線である。図２１に示すように、第２の直線Ｌ２は、ブームに重なりかつブームの延伸方向に伸びる直線である。第２の直線Ｌ２は、第２の画像に設定された第２の画像座標系の直線（例：(x,y)=(x0+kx×t、y0+ky×t)）として定義される。第２のカメラがブームに取り付けられ、その位置及び向きが固定されている場合、第２の画像の中におけるブームの状態は固定される。このため、予め、ユーザが第２の画像の中の第２の直線Ｌ２を定義し（第２の画像座標系の直線の傾き及び切片を指定）、画像解析装置１０に登録しておいてもよい。その他、第２の生成部１７は、ブームの外観の特徴量に基づき、第２の画像の中でブームを検出してもよい。そして、第２の生成部１７は、その検出結果に基づき、第２の画像の中で第２の直線Ｌ２を定義してもよい。
【0152】
第２の位置関係情報は、上述した第１の位置関係情報を生成する処理と同様の処理で生成することができる。
【0153】
設定部１５は、第１の画像の中で、当接対象との相対的な位置関係が第２の位置関係情報で示される位置関係を満たす第３の直線を設定する。「第２の位置関係情報で示される位置関係」は、「第２の画像の中での当接対象と第２の直線との相対的な位置関係」である。設定部は、第１の画像の中で、当接対象との間でこのような位置関係を満たす第３の直線を設定する。なお、「第２の画像の中での当接対象と第２の直線との相対的な位置関係」は、「第１の画像の中での当接対象と第３の直線との相対的な位置関係」と一致する。
【0154】
ここで、第３の直線を設定する処理の一例を説明する。まず、設定部１５は、第１の画像の中で抽出された特徴点と、第２の画像の中で抽出された特徴点とのマッチング処理を行うことで、２つの画像間での特徴点の対応関係を特定する。特徴点間のマッチング処理は、周知のあらゆる手法を利用して実現される。そして、設定部１５は、マッチング処理の結果に基づき、第１の画像と第２の画像との間の相対関係を計算する。当該相対関係の計算には、移動、回転、傾き、縮尺を用いて表す射影行列(ホモグラフィー行列)を用いることができる。例えば、図２２に示すように互いに対応する特徴点が重なりあう状態となるための射影行列が計算される。そして、設定部１５は、計算した相対関係（射影行列等）に基づき、第２の画像の中で設定された第２の直線を第１の画像の中に射影することで、第１の画像の中に第３の直線を設定する。
【0155】
予測部１６は、第１の画像の中で設定された第１の直線と第３の直線との交点の位置情報を、ブームの先端の当接予測地点として算出する。交点の位置情報は、第１の画像の中での位置（第１の画像座標系の座標）を示す。
【0156】
画像解析部１２は、取得部１１が取得した第１の画像の中から孔を検出する。そして、画像解析部１２は、検出結果に基づき孔位置情報を出力する。
【0157】
上述の通り、孔は、ブームを用いた作業の対象であり、例えば上述したトンネルの側壁にロックボルトを打設する作業や装薬作業の場合、穿孔した孔が作業の対象となる。画像解析部１２は、孔の外観の特徴量に基づき、第１の画像の中から孔を検出する。画像解析部１２は、検出対象の外観の特徴量に基づき画像の中から検出対象を検出するあらゆる技術を採用することができる。
【0158】
「孔位置情報」は、検出した孔の第１の画像の中での位置を示す情報である。孔位置情報は、例えば、第１の画像に設定された第１の画像座標系の座標で示される。
【0159】
図１８に、取得部１１が取得する第１の画像Ｐ１の一例を示す。画像解析部１２は、このような第１の画像Ｐ１の中から孔Ｈを検出し、検出した孔Ｈの第１の画像Ｐ１の中での位置を示す孔位置情報を出力する。
【0160】
算出部１３は、予測部１６が算出した当接予測地点と孔との第１の画像の中での相対的な位置関係を算出する。図２２の例の場合、算出部１３は、当接予測地点である交点Ｂと孔Ｈとの第１の画像Ｐ１の中での相対的な位置関係を算出する。そして、算出部１３は、算出した相対的な位置関係を示す情報を出力する。出力された当該情報は、ブーム制御装置２０に入力される。
【0161】
「当接予測地点と孔との相対的な位置関係」は、２点を結ぶ方向及び２点間の距離を含む。例えば、当接予測地点と孔との相対的な位置関係は、当接予測地点から孔に向かう方向、及びその２点間の距離を含む。
【0162】
－ブーム制御装置２０－
図２３に示すように、ブーム制御装置２０は、ブーム制御部２１を有する。
図２３に示すように、ブーム制御装置２０は、ブーム制御部２１を有する。
【0163】
ブーム制御部２１は、ブームの先端の位置及び方向を検出する手段を備える。当該検出は、任意の手段で実現できる。一例として、ブームが備える各種関節等の状態を検出するセンサの利用が挙げられるが、これに限定されない。ブーム制御部２１は、算出部１３が算出した「当接予測地点と孔との第１の画像の中での相対的な位置関係」に基づきブームを駆動させる。ブーム制御部２１は、ブームを駆動して、当接予測地点を孔に近づける。以下、当該処理の具体例を説明する。
【0164】
まず、ブーム制御部２１は、その時のブームの姿勢に基づき第１のカメラの姿勢を特定する。
【0165】
「ブームの姿勢」は、ブームの長さＬ、ブームの起伏角度θ及びブームの旋回角度φ等で示される。予め設置されたセンサ（ブームの先端の位置や方向を算出するためのデータを検出する角度・長さセンサ等）が上記値を測定する。そして、ブーム制御部２１は、センサが測定した測定値をリアルタイム処理で取得する。センサとブーム制御装置２０とは有線及び／又は無線で通信可能に接続されている。なお、特許文献２及び３に開示されているように、当該センサの値を用いて、ワールド座標系におけるブームの先端の座標を算出することができる。
【0166】
「第１のカメラの姿勢」は、ワールド座標系での第１のカメラの向き及び傾きを示す。本実施形態では、ブームに第１のカメラが取り付けられる。このため、ブームの姿勢に基づき、第１のカメラの向きや傾きが一意に特定される。
【0167】
次に、ブーム制御部２１は、特定した第１のカメラの姿勢に基づき、算出部１３が算出した「第１の画像の中において当接予測地点から孔に向かう方向」を、ワールド座標系における方向（実空間上での方向）に変換する。ワールド座標系での第１のカメラの向き及び傾きが明らかになっていれば、所定の演算により、その状態で撮影された第１の画像の中での所定の方向を、ワールド座標系での方向に変換することができる。例えば、基準姿勢（第１のカメラの向き：ワールド座標系の基準方向、第１のカメラの傾き：０）となっている第１のカメラが撮影した第１の画像の中の基準方向（例：横方向）をワールド座標系に投影したワールド座標内方向を予め登録しておく。そして、基準姿勢と特定した第１のカメラの姿勢の差分（向きの差分、傾きの差分）、及び第１の画像の中の基準方向と第１の画像の中において当接予測地点から孔に向かう方向との差分に基づきこのワールド座標内方向を補正することで、上述した変換を実現してもよい。なお、当該変換方法はあくまで一例であり、これに限定されない。
【0168】
そして、ブーム制御部２１は、ブームの先端を、上記変換で得られたワールド座標系における方向（実空間上での方向）に移動させる。ブームの先端をワールド座標系における所定の方向に移動させる制御は、周知のあらゆる技術を採用して実現することができる。例えば、特許文献１乃至４に開示の技術を利用してもよい。
【0169】
次に、図２４のフローチャートを用いて、処理装置１００の処理の流れの一例を説明する。
【0170】
画像解析装置１０は、同じタイミングで互いに異なる方向からブームの先端及び当接対象が写るように撮影された複数の画像を取得する（Ｓ６０）。複数の画像は、第１のカメラが撮影した第１の画像と、第２のカメラが撮影した第２の画像を含む。
【0171】
次いで、画像解析装置１０は、取得した複数の画像に基づき、ブームの起伏角度及びブームの旋回角度をその状態（その画像を撮影した時の状態）で維持したままブームの先端に位置する各作業用の機械を伸ばした場合にブームの先端が当接する当接対象上の位置（当接予測地点）を推定する（Ｓ６１）。
【0172】
ここで、図２５のフローチャートを用いて、Ｓ６１の処理の一例を説明する。まず、画像解析装置１０は、第１の画像の中で設定された直線であって、ブームに重なりかつブームの延伸方向に伸びる第１の直線と、当接対象との第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する（Ｓ７０）。具体的には、画像解析装置１０は、第１の画像を解析し、当接対象の特徴点を抽出する。その後、画像解析装置１０は、抽出した特徴点と第１の直線との相対的な位置関係を算出する。
【0173】
また、画像解析装置１０は、第２の画像の中で設定された直線であって、ブームに重なりかつブームの延伸方向に伸びる第２の直線と、当接対象との第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する（Ｓ７１）。具体的には、画像解析装置１０は、第２の画像を解析し、当接対象の特徴点を抽出する。その後、画像解析装置１０は、抽出した特徴点と第２の直線との相対的な位置関係を算出する。
【0174】
次いで、画像解析装置１０は、第１の画像の中で、当接対象との相対的な位置関係が第２の位置関係情報で示される位置関係を満たす第３の直線を設定する（Ｓ７２）。「第２の位置関係情報で示される位置関係」は、「第２の画像の中での当接対象と第２の直線との相対的な位置関係」である。設定部は、第１の画像の中で、当接対象との間でこのような位置関係を満たす第３の直線を設定する。なお、「第２の画像の中での当接対象と第２の直線との相対的な位置関係」は、「第１の画像の中での当接対象と第３の直線との相対的な位置関係」と一致する。
【0175】
次いで、画像解析装置１０は、第１の画像の中で設定された第１の直線と第３の直線との交点の位置情報を、ブームの先端の当接予測地点として算出する（Ｓ７３）。
【0176】
図２４に戻り、Ｓ６１の後、画像解析装置１０は、第１の画像の中から孔を検出する（Ｓ６２）。次いで、画像解析装置１０は、Ｓ６１で算出した当接予測地点とＳ６２で検出した孔との第１の画像の中での相対的な位置関係を算出する（Ｓ６３）。
【0177】
その後、ブーム制御装置２０は、Ｓ６３の算出結果に基づきブームを駆動させる（Ｓ６４）。例えば、ブーム制御装置２０は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、Ｓ６３で算出された第１の画像の中での方向（当接予測地点から孔に向かう方向）をワールド座標系における方向（実空間上での方向）に変換する。そして、ブーム制御装置２０は、ブームの先端を、当該変換で得られたワールド座標系における方向（実空間上での方向）に移動させる。
【0178】
次に、図２６のフローチャートを用いて、処理装置１００の処理の流れの他の一例を説明する。
【0179】
画像解析装置１０は、同じタイミングで互いに異なる方向からブームの先端及び当接対象が写るように撮影された複数の画像を取得する（Ｓ８０）。複数の画像は、第１のカメラが撮影した第１の画像と、第２のカメラが撮影した第２の画像を含む。
【0180】
次いで、画像解析装置１０は、取得した複数の画像に基づき、ブームの起伏角度及びブームの旋回角度をその状態（その画像を撮影した時の状態）で維持したままブームの先端に位置する各作業用（ボルト打設作業用、モルタル注入作業用、装薬作業用等）の機械を伸ばした場合にブームの先端が当接する当接対象上の位置（当接予測地点）を推定する（Ｓ８１）。Ｓ８１の処理の一例は、図２５のフローチャートで示される。
【0181】
その後、画像解析装置１０は、第１の画像の中から孔を検出する（Ｓ８２）。次いで、画像解析装置１０は、Ｓ８１で算出した当接予測地点とＳ８２で検出した孔との第１の画像の中での相対的な位置関係を算出する（Ｓ８３）。
【0182】
その後、ブーム制御装置２０は、Ｓ８３の算出結果において、「当接予測点と孔との第１の画像の中での位置が一致していること」が示されているか判断する（Ｓ８４）。一致と判断する条件は、当接予測地点と孔との第１の画像の中での位置（座標）が完全に一致することであってもよいし、その距離が閾値以内であってもよい。
【0183】
Ｓ８３の算出結果において、「当接予測地点と孔との第１の画像の中での位置が一致していること」が示されている場合（Ｓ８４のＹｅｓ）、ブーム制御装置２０は、ブームの起伏動作及び旋回動作を停止し、ブームの起伏角度及びブームの旋回角度をその状態（その画像を撮影した時の状態）で維持する。その後、ブーム制御装置２０は、任意の制御（自動又は手動）に従いブームの先端に位置する各作業用（ボルト打設作業用、モルタル注入作業用、装薬作業用等）の機械を伸ばし、ブームの先端を孔に当接させる。
【0184】
一方、Ｓ８３の算出結果において、「当接予測地点と孔との第１の画像の中での位置が一致していること」が示されていない場合（Ｓ８４のＮｏ）、ブーム制御装置２０は、Ｓ８３の算出結果に基づきブームを駆動させる（Ｓ８５）。例えば、ブーム制御装置２０は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、Ｓ８３で算出された第１の画像の中での方向（当接予測地点から孔に向かう方向）をワールド座標系における方向（実空間上での方向）に変換する。そして、ブーム制御装置２０は、ブームの先端を、当該変換で得られたワールド座標系における方向（実空間上での方向）に移動させる。
【0185】
その後、Ｓ８０に戻って同様の処理が繰り返される。すなわち、新たな画像が取得され、新たな画像が解析され、その解析結果に基づきブームが制御される。
【0186】
なお、Ｓ８５のブームの駆動においては、算出したワールド座標系における方向（実空間上での方向）への移動を所定の移動量だけ行ってもよいし、その他の手法で移動量を制御してもよい。所定の移動量は、予め定義された固定値であってもよいし、Ｓ８３で算出された相対的な位置関係で示される「当接予測地点と孔との第１の画像の中での距離」に基づき算出されてもよい。
【0187】
次に、図２７のフローチャートを用いて、処理装置１００の処理の流れの他の一例を説明する。
【0188】
画像解析装置１０は、ブームの先端が写るように互いに異なる方向から撮影された２つの画像（以下、「現在の画像１及び現在の画像２」）を取得すると（Ｓ２０１、Ｓ２０２）、現在の画像１及び現在の画像２の中から孔を検出する処理を実行する（Ｓ２０３、Ｓ２０５）。また、画像解析装置１０は、現在の画像１及び現在の画像２の中から特徴点を抽出する処理を行う（Ｓ２０４、Ｓ２０６）。
【0189】
次いで、画像解析装置１０は、現在の画像１の中から抽出された特徴点と、過去の画像１の中から抽出された特徴点のマッチングを行う（Ｓ２０７）。また、画像解析装置１０は、現在の画像２の中から抽出された特徴点と、過去の画像２の中から抽出された特徴点のマッチングを行う（Ｓ２０８）。さらに、画像解析装置１０は、現在の画像１の中から抽出された特徴点と、現在の画像２の中から抽出された特徴点のマッチングを行う（Ｓ２０９）。
【0190】
次いで、画像解析装置１０は、Ｓ２０７で算出した特徴点の対応関係に基づき、現在の画像１と過去の画像１との間の相対関係を計算する（Ｓ２１０）。また、画像解析装置１０は、Ｓ２０８で算出した特徴点の対応関係に基づき、現在の画像２と過去の画像２との間の相対関係を計算する（Ｓ２１１）。さらに、画像解析装置１０は、Ｓ２０９で算出した特徴点の対応関係に基づき、現在の画像１と現在の画像２との間の相対関係を計算する（Ｓ２１２）。当該相対関係の計算には、移動、回転、傾き、縮尺を用いて表す射影行列(ホモグラフィー行列)を用いることができる。例えば、図１６及び図１７に示すように互いに対応する特徴点が重なりあう状態となるための射影行列が計算される。図１６は、現在の画像１と過去の画像１の相対関係（又は、現在の画像２と過去の画像２の相対関係）を示す。図１７は、現在の画像１と現在の画像２の相対関係を示す。
【0191】
次いで、画像解析装置１０は、Ｓ２１０で計算した現在の画像１と過去の画像１の相対関係に基づき、過去の画像１における孔位置を現在の画像１に射影する（Ｓ２１３）。また、画像解析装置１０は、Ｓ２１１で計算した現在の画像２と過去の画像２の相対関係に基づき、過去の画像２における孔位置を現在の画像２に射影する（Ｓ２１４）。さらに、画像解析装置１０は、Ｓ２１２で計算した現在の画像１と現在の画像２の相対関係に基づき、現在の画像２上の所定の直線（ブームに重なりかつブームの延伸方向に伸びる直線）を、現在の画像１に射影する（Ｓ２１５）。なお、画像解析装置１０は、Ｓ２１２で計算した現在の画像１と現在の画像２の相対関係に基づき、現在の画像２における孔位置を現在の画像１に射影してもよい（Ｓ２１６）
【0192】
次いで、画像解析装置１０は、Ｓ２１５の射影結果に基づき、ブームの先端の着岩推定点（当接予測地点）を算出する（Ｓ２１７）。そして、画像解析装置１０は、現在の画像１上の孔と着岩推定点の相対的な位置関係（方向）を算出する（Ｓ２１８）。
【0193】
その後、ブーム制御装置２０は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、Ｓ２１８で算出された方向をワールド座標系における方向（実空間上での方向）に変換する（Ｓ２１９）。そして、ブーム制御装置２０は、ブームの先端を、当該変換で得られたワールド座標系における方向（実空間上での方向）に移動させる。
【0194】
「作用効果」
本実施形態の処理装置１００によれば、特徴的な演算処理により、ブームの起伏角度及びブームの旋回角度を画像撮影時の状態で維持したままブームの先端に位置する各作業用（ボルト打設作業用、モルタル注入作業用、装薬作業用等）の機械を伸ばした場合にブームの先端が当接する当接対象上の位置（当接予測地点）を推定することができる。そして、処理装置１００は、当接予測地点と孔との画像の中での相対的な位置関係に基づき、ブームの先端の位置合わせを行うことができる。このように、本実施形態の処理装置１００は、当接予測地点を予測し、当接予測地点と孔との画像の中での相対的な位置関係に基づき制御を行うので、ブームの先端及び孔の絶対的な高精度な位置情報を取得する必要がない。
本実施形態の処理装置１００によれば、特徴的な演算処理により、ブームの起伏角度及びブームの旋回角度を画像撮影時の状態で維持したままブームの先端に位置する各作業用（ボルト打設作業用、モルタル注入作業用、装薬作業用等）の機械を伸ばした場合にブームの先端が当接する当接対象上の位置（当接予測地点）を推定することができる。そして、処理装置１００は、当接予測地点と孔との画像の中での相対的な位置関係に基づき、ブームの先端の位置合わせを行うことができる。このように、本実施形態の処理装置１００は、当接予測地点を予測し、当接予測地点と孔との画像の中での相対的な位置関係に基づき制御を行うので、ブームの先端及び孔の絶対的な高精度な位置情報を取得する必要がない。
【0195】
また、本実施形態の処理装置１００は、画像上での当接予測地点と孔の位置が一致するように、ブームの先端の位置を調整することができる。結果、ブームの先端を孔の位置に位置させる位置合わせを、高精度に行うことができる。
【0196】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。上述した実施形態の構成は、互いに組み合わせたり、一部の構成を他の構成に入れ替えたりしてもよい。また、上述した実施形態の構成は、趣旨を逸脱しない範囲内において種々の変更を加えてもよい。また、上述した各実施形態や変形例に開示される構成や処理を互いに組み合わせてもよい。
【0197】
また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施の形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施の形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施の形態は、内容が相反しない範囲で組み合わせることができる。
【0198】
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． ブームの先端が写るように撮影された画像を取得する取得部と、
前記画像の中からトンネルの壁面に形成された孔を検出する画像解析部と、
前記ブームの先端と前記孔との前記画像内での相対的な位置関係を算出する算出部と、
前記ブームの先端の位置及び方向を検出する手段を備え、前記孔を形成した際に登録された前記孔の位置情報に基づき、前記ブームを駆動させる第１のモードと、前記画像内での前記相対的な位置関係の算出結果に基づき前記ブームを駆動させる第２のモードと、を有し、さらに、前記孔を形成した際に登録された前記孔の延伸方向を示すデータに基づき、前記ブームの先端の方向を所定の状態とするブーム制御部と、
を有する処理装置。
２． 前記ブーム制御部は、
前記画像の中から前記孔が検出されていない間は前記第１のモードを実行し、前記画像の中から前記孔が検出されると、実行するモードを、前記第１のモードから前記第２のモードに切り替える１に記載の処理装置。
３． 前記相対的な位置関係は、前記ブームの先端から前記孔に向かう方向を含み、
前記ブーム制御部は、前記画像内での前記相対的な位置関係の算出結果に基づき、前記ブームの先端を前記孔に近づく方向に移動させる１又は２に記載の処理装置。
４． 前記ブームに取り付けられたカメラが前記画像を撮影し、
前記ブーム制御部は、
前記ブームの姿勢に基づき前記カメラの姿勢を特定し、
前記カメラの姿勢に基づき、前記画像内での前記方向を実空間上での方向に変換し、
前記ブームの先端を、前記変換で得られた前記実空間上での方向に移動させる３に記載の処理装置。
５． 前記ブーム制御部が備える手段で検出した前記ブームの先端の位置は、誤差を含む１から４のいずれかに記載の処理装置。
６． 前記取得部は、時系列な前記画像を取得し、
前記画像解析部は、前記画像の中から前記孔を検出するとともに、トンネルの側壁の特徴点を抽出し、
前記算出部は、処理対象の画像よりも時系列順が前の前記画像に基づき前記特徴点と前記孔との前記画像内での相対的な位置関係を算出するとともに、前記処理対象の画像内での前記特徴点の位置と、前記特徴点と前記孔との前記画像内での相対的な位置関係とに基づき、前記処理対象の画像内での前記孔の位置を推定する１から５のいずれかに記載の処理装置。
７． 前記算出部は、
前記処理対象の画像の中から前記孔が検出された場合、検出された前記孔の前記処理対象の画像内での位置に基づき、前記ブームの先端と前記孔との前記処理対象の画像内での相対的な位置関係を算出し、
前記処理対象の画像の中から前記孔が検出されなかった場合、推定された前記処理対象の画像内での前記孔の位置に基づき、前記ブームの先端と前記孔との前記処理対象の画像内での相対的な位置関係を算出する６に記載の処理装置。
８． 前記算出部は、
前記処理対象の画像の中から前記孔が検出された場合、前記処理対象の画像内での前記孔の位置を推定する処理を実行せず、
前記処理対象の画像の中から前記孔が検出されなかった場合、前記処理対象の画像内での前記孔の位置を推定する処理を実行する６に記載の処理装置。
９． 前記取得部は、互いに異なる方向から前記ブームの先端及び前記ブームの先端を当接させる当接対象が写るように同じタイミングで撮影された第１の画像及び第２の画像を取得し、
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成部と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成部と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定部と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測部と、
を有し、
前記算出部は、前記ブームの先端と前記当接予測地点との前記画像内での相対的な位置関係を算出し、
ブーム制御部は、前記ブームの先端と前記当接予測地点との前記画像内での相対的な位置関係に基づき前記ブームを駆動させる１から８のいずれかに記載の処理装置。
１０． 前記第１の生成部は、前記第１の直線と、前記第１の画像の中の前記当接対象から抽出された特徴点との相対的な位置関係を示す前記第１の位置関係情報を生成し、
前記第２の生成部は、前記第２の直線と、前記第２の画像の中の前記当接対象から抽出された特徴点との相対的な位置関係を示す前記第２の位置関係情報を生成する９に記載の処理装置。
１１． 前記当接予測地点と前記孔との相対的な位置関係は、前記当接予測地点から前記孔に向かう方向を含み、
前記ブーム制御部は、前記ブームを駆動して、前記当接予測地点を前記孔に近づける９又は１０に記載の処理装置。
１２． 前記ブームに取り付けられたカメラが前記第１の画像を撮影し、
前記ブーム制御部は、
前記ブームの姿勢に基づき前記カメラの姿勢を特定し、
前記カメラの姿勢に基づき、前記第１の画像の中での前記方向を実空間上での方向に変換し、
前記ブームの先端を、前記変換で得られた前記実空間上での方向に移動させる１１に記載の処理装置。
１３． 前記孔はロックボルト打設用又は装薬用に穿孔された孔である１から１２のいずれかに記載の処理装置。
１４． コンピュータが、
ブームの先端が写るように撮影された画像を取得する取得工程と、
前記画像の中からトンネルの壁面に形成された孔を検出する画像解析工程と、
前記ブームの先端と前記孔との前記画像内での相対的な位置関係を算出する算出工程と、
前記ブームの先端の位置及び方向を検出するとともに、前記孔を形成した際に登録された前記孔の位置情報に基づき、前記ブームを駆動させる第１のモードと、前記画像内での前記相対的な位置関係の算出結果に基づき前記ブームを駆動させる第２のモードを実行し、さらに、前記孔を形成した際に登録された前記孔の延伸方向を示すデータに基づき、前記ブームの先端の方向を所定の状態とするブーム制御工程と、
を実行する処理方法。
１． ブームの先端が写るように撮影された画像を取得する取得部と、
前記画像の中からトンネルの壁面に形成された孔を検出する画像解析部と、
前記ブームの先端と前記孔との前記画像内での相対的な位置関係を算出する算出部と、
前記ブームの先端の位置及び方向を検出する手段を備え、前記孔を形成した際に登録された前記孔の位置情報に基づき、前記ブームを駆動させる第１のモードと、前記画像内での前記相対的な位置関係の算出結果に基づき前記ブームを駆動させる第２のモードと、を有し、さらに、前記孔を形成した際に登録された前記孔の延伸方向を示すデータに基づき、前記ブームの先端の方向を所定の状態とするブーム制御部と、
を有する処理装置。
２． 前記ブーム制御部は、
前記画像の中から前記孔が検出されていない間は前記第１のモードを実行し、前記画像の中から前記孔が検出されると、実行するモードを、前記第１のモードから前記第２のモードに切り替える１に記載の処理装置。
３． 前記相対的な位置関係は、前記ブームの先端から前記孔に向かう方向を含み、
前記ブーム制御部は、前記画像内での前記相対的な位置関係の算出結果に基づき、前記ブームの先端を前記孔に近づく方向に移動させる１又は２に記載の処理装置。
４． 前記ブームに取り付けられたカメラが前記画像を撮影し、
前記ブーム制御部は、
前記ブームの姿勢に基づき前記カメラの姿勢を特定し、
前記カメラの姿勢に基づき、前記画像内での前記方向を実空間上での方向に変換し、
前記ブームの先端を、前記変換で得られた前記実空間上での方向に移動させる３に記載の処理装置。
５． 前記ブーム制御部が備える手段で検出した前記ブームの先端の位置は、誤差を含む１から４のいずれかに記載の処理装置。
６． 前記取得部は、時系列な前記画像を取得し、
前記画像解析部は、前記画像の中から前記孔を検出するとともに、トンネルの側壁の特徴点を抽出し、
前記算出部は、処理対象の画像よりも時系列順が前の前記画像に基づき前記特徴点と前記孔との前記画像内での相対的な位置関係を算出するとともに、前記処理対象の画像内での前記特徴点の位置と、前記特徴点と前記孔との前記画像内での相対的な位置関係とに基づき、前記処理対象の画像内での前記孔の位置を推定する１から５のいずれかに記載の処理装置。
７． 前記算出部は、
前記処理対象の画像の中から前記孔が検出された場合、検出された前記孔の前記処理対象の画像内での位置に基づき、前記ブームの先端と前記孔との前記処理対象の画像内での相対的な位置関係を算出し、
前記処理対象の画像の中から前記孔が検出されなかった場合、推定された前記処理対象の画像内での前記孔の位置に基づき、前記ブームの先端と前記孔との前記処理対象の画像内での相対的な位置関係を算出する６に記載の処理装置。
８． 前記算出部は、
前記処理対象の画像の中から前記孔が検出された場合、前記処理対象の画像内での前記孔の位置を推定する処理を実行せず、
前記処理対象の画像の中から前記孔が検出されなかった場合、前記処理対象の画像内での前記孔の位置を推定する処理を実行する６に記載の処理装置。
９． 前記取得部は、互いに異なる方向から前記ブームの先端及び前記ブームの先端を当接させる当接対象が写るように同じタイミングで撮影された第１の画像及び第２の画像を取得し、
前記第１の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第１の直線と、前記当接対象との前記第１の画像の中での相対的な位置関係を示す第１の位置関係情報を生成する第１の生成部と、
前記第２の画像の中で設定された直線であって、前記ブームに重なりかつ前記ブームの延伸方向に伸びる第２の直線と、前記当接対象との前記第２の画像の中での相対的な位置関係を示す第２の位置関係情報を生成する第２の生成部と、
前記第１の画像の中で、前記当接対象との相対的な位置関係が前記第２の位置関係情報で示される位置関係を満たす第３の直線を設定する設定部と、
前記第１の画像の中で設定された前記第１の直線と前記第３の直線との交点の位置情報を、前記ブームの先端の当接予測地点として算出する予測部と、
を有し、
前記算出部は、前記ブームの先端と前記当接予測地点との前記画像内での相対的な位置関係を算出し、
ブーム制御部は、前記ブームの先端と前記当接予測地点との前記画像内での相対的な位置関係に基づき前記ブームを駆動させる１から８のいずれかに記載の処理装置。
１０． 前記第１の生成部は、前記第１の直線と、前記第１の画像の中の前記当接対象から抽出された特徴点との相対的な位置関係を示す前記第１の位置関係情報を生成し、
前記第２の生成部は、前記第２の直線と、前記第２の画像の中の前記当接対象から抽出された特徴点との相対的な位置関係を示す前記第２の位置関係情報を生成する９に記載の処理装置。
１１． 前記当接予測地点と前記孔との相対的な位置関係は、前記当接予測地点から前記孔に向かう方向を含み、
前記ブーム制御部は、前記ブームを駆動して、前記当接予測地点を前記孔に近づける９又は１０に記載の処理装置。
１２． 前記ブームに取り付けられたカメラが前記第１の画像を撮影し、
前記ブーム制御部は、
前記ブームの姿勢に基づき前記カメラの姿勢を特定し、
前記カメラの姿勢に基づき、前記第１の画像の中での前記方向を実空間上での方向に変換し、
前記ブームの先端を、前記変換で得られた前記実空間上での方向に移動させる１１に記載の処理装置。
１３． 前記孔はロックボルト打設用又は装薬用に穿孔された孔である１から１２のいずれかに記載の処理装置。
１４． コンピュータが、
ブームの先端が写るように撮影された画像を取得する取得工程と、
前記画像の中からトンネルの壁面に形成された孔を検出する画像解析工程と、
前記ブームの先端と前記孔との前記画像内での相対的な位置関係を算出する算出工程と、
前記ブームの先端の位置及び方向を検出するとともに、前記孔を形成した際に登録された前記孔の位置情報に基づき、前記ブームを駆動させる第１のモードと、前記画像内での前記相対的な位置関係の算出結果に基づき前記ブームを駆動させる第２のモードを実行し、さらに、前記孔を形成した際に登録された前記孔の延伸方向を示すデータに基づき、前記ブームの先端の方向を所定の状態とするブーム制御工程と、
を実行する処理方法。
【符号の説明】
【0199】
１０ 画像解析装置
１１ 取得部
１２ 画像解析部
１３ 算出部
１４ 第１の生成部
１５ 設定部
１６ 予測部
１７ 第２の生成部
２０ ブーム制御装置
２１ ブーム制御部
１００ 処理装置
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
ＢＢ ボルト打設用ブーム
ＤＢＬ 穿孔用ブーム
ＤＢＲ 穿孔用ブーム
１１ 取得部
１２ 画像解析部
１３ 算出部
１４ 第１の生成部
１５ 設定部
１６ 予測部
１７ 第２の生成部
２０ ブーム制御装置
２１ ブーム制御部
１００ 処理装置
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
ＢＢ ボルト打設用ブーム
ＤＢＬ 穿孔用ブーム
ＤＢＲ 穿孔用ブーム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】