IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 清水建設株式会社の特許一覧 ▶ 古河機械金属株式会社の特許一覧 ▶ 古河ロックドリル株式会社の特許一覧

<>
  • 特開-隠れ位置推定処理装置および方法 図1
  • 特開-隠れ位置推定処理装置および方法 図2
  • 特開-隠れ位置推定処理装置および方法 図3
  • 特開-隠れ位置推定処理装置および方法 図4
  • 特開-隠れ位置推定処理装置および方法 図5
  • 特開-隠れ位置推定処理装置および方法 図6
  • 特開-隠れ位置推定処理装置および方法 図7
  • 特開-隠れ位置推定処理装置および方法 図8
  • 特開-隠れ位置推定処理装置および方法 図9
  • 特開-隠れ位置推定処理装置および方法 図10
  • 特開-隠れ位置推定処理装置および方法 図11
  • 特開-隠れ位置推定処理装置および方法 図12
  • 特開-隠れ位置推定処理装置および方法 図13
  • 特開-隠れ位置推定処理装置および方法 図14
  • 特開-隠れ位置推定処理装置および方法 図15
  • 特開-隠れ位置推定処理装置および方法 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024143559
(43)【公開日】2024-10-11
(54)【発明の名称】隠れ位置推定処理装置および方法
(51)【国際特許分類】
   G06T 7/70 20170101AFI20241003BHJP
   E21B 7/02 20060101ALI20241003BHJP
   E21B 44/00 20060101ALI20241003BHJP
   E21D 20/00 20060101ALI20241003BHJP
【FI】
G06T7/70 A
E21B7/02
E21B44/00 A
E21D20/00 X
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023056300
(22)【出願日】2023-03-30
(71)【出願人】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(71)【出願人】
【識別番号】000165974
【氏名又は名称】古河機械金属株式会社
(71)【出願人】
【識別番号】594149398
【氏名又は名称】古河ロックドリル株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】井手 康夫
(72)【発明者】
【氏名】邊見 涼
(72)【発明者】
【氏名】吉田 悠
(72)【発明者】
【氏名】井上 翔太
【テーマコード(参考)】
2D129
5L096
【Fターム(参考)】
2D129AB09
2D129AB13
2D129BA01
2D129CA02
2D129CB11
2D129CB12
2D129DC15
5L096AA06
5L096CA04
5L096DA02
5L096FA09
5L096FA69
5L096HA01
(57)【要約】
【課題】画像解析の結果に基づきブームの先端をトンネル壁面の孔の位置に向けて移動させる技術において、孔が画像内で検出されなかった場合にもブームを正しく移動できるようにする。
【解決手段】本発明は、ブームに取り付けられたカメラが撮影した時系列な画像を取得する取得部11と、画像の中からトンネルの側壁に形成された孔Hを検出するとともに、トンネルの側壁の特徴点P乃至P等を抽出する画像解析部12と、処理対象の画像よりも時系列順が前の画像に基づき特徴点P乃至P等と孔Hとの画像内での相対的な位置関係を算出するとともに、処理対象の画像内での特徴点P乃至P等の位置と、前の画像から算出した特徴点P乃至P等と孔Hとの画像内での相対的な位置関係とに基づき、処理対象の画像内での孔Hの位置を推定する算出部13と、を有する処理装置10を提供する。
【選択図】図15
【特許請求の範囲】
【請求項1】
ブームに取り付けられたカメラが撮影した時系列な画像を取得する取得部と、
前記画像の中からトンネルの壁面に形成された孔を検出するとともに、トンネルの壁面の特徴点を抽出する画像解析部と、
処理対象の画像よりも時系列順が前の前記画像に基づき前記特徴点と前記孔との前記画像内での相対的な位置関係を算出するとともに、前記処理対象の画像内での前記特徴点の位置と、前記特徴点と前記孔との前記画像内での相対的な位置関係とに基づき、前記処理対象の画像内での前記孔の位置を推定する算出部と、
を有する処理装置。
【請求項2】
前記カメラは、前記画像の中に前記ブームの先端が写るように取り付けられており、
前記算出部は、
前記処理対象の画像の中から前記孔が検出された場合、検出された前記孔の前記処理対象の画像内での位置に基づき、前記ブームの先端と前記孔との前記処理対象の画像内での相対的な位置関係を算出し、
前記処理対象の画像の中から前記孔が検出されなかった場合、推定された前記処理対象の画像内での前記孔の位置に基づき、前記ブームの先端と前記孔との前記処理対象の画像内での相対的な位置関係を算出する請求項1に記載の処理装置。
【請求項3】
前記ブームの先端と前記孔との前記処理対象の画像内での相対的な位置関係に基づき前記ブームを駆動させるブーム制御部をさらに有する請求項1又は2に記載の処理装置。
【請求項4】
前記算出部は、
前記処理対象の画像の中から前記孔が検出された場合、前記処理対象の画像内での前記孔の位置を推定する処理を実行せず、
前記処理対象の画像の中から前記孔が検出されなかった場合、前記処理対象の画像内での前記孔の位置を推定する処理を実行する請求項1又は2に記載の処理装置。
【請求項5】
前記孔はロックボルト打設用又は装薬用に穿孔された孔である請求項1又は2に記載の処理装置。
【請求項6】
コンピュータが、
ブームに取り付けられたカメラが撮影した時系列な画像を取得する取得工程と、
前記画像の中からトンネルの壁面に形成された孔を検出するとともに、トンネルの壁面の特徴点を抽出する画像解析工程と、
処理対象の画像よりも時系列順が前の前記画像に基づき前記特徴点と前記孔との前記画像内での相対的な位置関係を算出するとともに、前記処理対象の画像内での前記特徴点の位置と、前記特徴点と前記孔との前記画像内での相対的な位置関係とに基づき、前記処理対象の画像内での前記孔の位置を推定する算出工程と、
を実行する処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理装置及び処理方法に関する。
【背景技術】
【0002】
本発明に関連する技術が、特許文献1乃至4に開示されている。
【0003】
特許文献1には、台車と、当該台車に搭載される複数のブームとを備えるロックボルト打設車両が開示されている。当該ロックボルト打設車両は、穿孔用ブームと打設用ブームを別々に備える。そして、当該ロックボルト打設車両を利用した作業では、穿孔用ブームで孔を穿孔した後、打設用ブームをその孔の位置に移動させ、その孔にロックボルトを打設する。
【0004】
特許文献2及び3には、ブームの先端を目的位置に移動させるためのブーム制御方法が開示されている。
【0005】
特許文献4には、画像解析の結果に基づきブームを駆動させる技術が開示されている。当該技術では、画像内で荷物を検出し、画像内でのその荷物の位置に基づき、ブームの先端がその荷物の重力方向真上に来る方向にブームを移動させる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2021-195819号公報
【特許文献2】特開2017-78684号公報
【特許文献3】特開2017-77617号公報
【特許文献4】特開2011-207571号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明者は、画像解析の結果に基づきブームの先端をトンネル壁面の孔の位置に移動させる技術を検討した結果、次のような課題を見出した。当該技術の場合、ブームの先端の移動の際の目標位置とする孔を画像内で検出した後、その孔の位置に向けてブームの先端を移動させる。当該処理では、画像内で孔を検出することが必須となるが、自機の一部分やその他の物体等の死角になり、一時的に孔が画像に含まれなくなる場合があり得る。画像内での孔の位置が不明である場合、孔の位置に向けたブームの先端の移動を行えない。特許文献1乃至4はいずれも、当該課題及びその解決手段を開示していない。
【0008】
本発明の目的の一例は、上述した問題を鑑み、画像解析の結果に基づきブームの先端をトンネル壁面の孔の位置に向けて移動させる技術において、孔が画像内で検出されなかった場合にもブームを正しく移動できるようにするという課題を解決する処理装置及び処理方法を提供することにある。
【課題を解決するための手段】
【0009】
本発明の一態様によれば、
ブームに取り付けられたカメラが撮影した時系列な画像を取得する取得部と、
前記画像の中からトンネルの側壁に形成された孔を検出するとともに、トンネルの側壁の特徴点を抽出する画像解析部と、
処理対象の画像よりも時系列順が前の前記画像に基づき前記特徴点と前記孔との前記画像内での相対的な位置関係を算出するとともに、前記処理対象の画像内での前記特徴点の位置と、前記特徴点と前記孔との前記画像内での相対的な位置関係とに基づき、前記処理対象の画像内での前記孔の位置を推定する算出部と、
を有する処理装置が提供される。
【0010】
本発明の一態様によれば、
コンピュータが、
ブームに取り付けられたカメラが撮影した時系列な画像を取得する取得工程と、
前記画像の中からトンネルの側壁に形成された孔を検出するとともに、トンネルの側壁の特徴点を抽出する画像解析工程と、
処理対象の画像よりも時系列順が前の前記画像に基づき前記特徴点と前記孔との前記画像内での相対的な位置関係を算出するとともに、前記処理対象の画像内での前記特徴点の位置と、前記特徴点と前記孔との前記画像内での相対的な位置関係とに基づき、前記処理対象の画像内での前記孔の位置を推定する算出工程と、
を実行する処理方法が提供される。
【発明の効果】
【0011】
本発明の一態様によれば、画像解析の結果に基づきブームの先端をトンネル壁面の孔の位置に向けて移動させる技術において、孔が画像内で検出されなかった場合にもブームを正しく移動できるようにするという課題を解決する処理装置及び処理方法が実現される。
【図面の簡単な説明】
【0012】
上述した目的、及びその他の目的、特徴及び利点は、以下に述べる好適な実施の形態、及びそれに付随する以下の図面によってさらに明らかになる。
【0013】
図1】ブームの構成の一例を示す上面図である。
図2】ブームの構成の一例を示す側面図である。
図3】課題を説明するための図である。
図4】ブームに設置されるカメラについて説明するための図である。
図5】処理装置のハードウエア構成の一例を示す図である。
図6】処理装置の機能ブロック図の一例を示す図である。
図7】処理する画像の一例を示す図である。
図8】処理装置の処理の流れの一例を示すフローチャートである。
図9】処理装置の処理の流れの他の一例を示すフローチャートである。
図10】画像から抽出される背景の特徴点の一例を示す図である。
図11】処理装置の処理の流れの他の一例を示すフローチャートである。
図12】処理装置の処理の流れの他の一例を示すフローチャートである。
図13】ブームの先端が当接する位置を予測する処理を説明するための図である。
図14】ブームの先端が当接する位置を予測する処理を説明するための他の図である。
図15】ブームの先端が当接する位置を予測する処理を説明するための他の図である。
図16】処理装置の処理の流れの他の一例を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について、図面を用いて説明する。なお、全ての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0015】
<第1の実施形態>
「概要」
本実施形態の処理装置は、ブームの先端が写るように撮影された画像の中から孔を検出し、次いで、ブームの先端と孔との画像内での相対的な位置関係を算出し、そして、その算出結果に基づきブームを駆動して、ブームの先端を孔に向けて移動させる。本実施形態の処理装置は、このような画像解析の結果に基づくブームの制御により、ブームの先端をトンネル壁面の孔の位置に高精度に位置させることを実現する。以下、詳細に説明する。
【0016】
「ブームの構成」
処理装置が制御するブームの構成について説明する。本実施形態において、ブームの構成は特段制限されず、周知のあらゆる構成を採用できる。ただし、処理装置は、特にブームを駆動して(ブームの姿勢を変化させて)ブームの先端をトンネル壁面の孔の位置に高精度に位置させる用途での利用に好適である。すなわち、ブームの構成は、このような用途向けの構成となっていてもよい。このような用途としては、トンネルの側壁にロックボルトを打設する作業、より詳細には、事前に穿孔した孔にロックボルトを打設する作業や、事前に穿孔した孔にモルタルを注入する作業や、事前に穿孔した孔に爆薬等を挿入する作業(装薬)等が例示されるが、これらに限定されない。
【0017】
ここで、図1乃至図4を用いて、ブームの構成の一例を説明する。なお、ここで例示するブームの構成はあくまで一例であり、当該構成に限定されない。図1は、台車にブームを搭載した車両の上面図であり、図2は、その車両の側面図である。当該例では、1つの台車に3つのブームが搭載されている。具体的には、2つの穿孔用ブームDBL及びDBRと、1つのボルト打設用ブームBBとが設けられている。各ブームの先端には、各作業用の機械が位置する。穿孔用ブームDBL及びDBRの先には、穿孔作業を行うための機械が位置する。ボルト打設用ブームBBの先には、ボルト打設作業を行うための機械が位置する。そして、これら機械がブームの先端となっている。本明細書における「ブームの先端」は、ブームの先端に位置する各作業用の機械、又はその機械の先端を指す。そして、本明細書では、ブームの先端に位置する各作業用の機械をブームの一部として扱う。なお、当該例のブームの構成は、特許文献1に開示のブームの構成と同じであるので、ここでの説明は省略する。
【0018】
この例のように穿孔用ブームとボルト打設用ブームとを別々に設ける場合、図3に示すように、穿孔用ブームDBRを駆動して所定位置に孔Hを穿孔した後、ボルト打設用ブームBBを駆動して(ブームの姿勢を変化させて)当該ブームの先端を孔Hの位置に高精度に位置させる必要がある。
【0019】
なお、本実施形態では、ブームの先端、及びブームの先端の近くに位置する孔の両方を同時に撮影する位置及び向きでカメラが設置される。孔は、ブームを用いた作業の対象であり、例えば上述したトンネルの側壁にロックボルトを打設する作業や、装薬作業の場合、穿孔した孔が作業の対象となる。カメラは、動画像(時系列な複数のフレーム画像)を撮影してもよいし、所定時間おきに時系列な複数の静止画像を撮影してもよい。
【0020】
カメラはブームの任意の位置に取り付けられる。図4の概念図は、ボルト打設用ブームBBにカメラCを取り付けた様子を示す。カメラCは、ボルト打設用ブームBBの先端、及びその近くに位置するトンネル側壁を同時に撮影する向きで取り付けられている。このように構成した場合、カメラCは、ボルト打設用ブームBBの先端と、その近くに位置するトンネル側壁に穿孔された孔とを同時に撮影することができる。
【0021】
よりブームの先端に近い位置にカメラを取り付けることが好ましいが、あまりブームの先端に近づけるとカメラが汚れやすくなる。これらの事情を考慮して、ブームの適切な位置にカメラを設置することができる。なお、カメラの汚れ防止のため、カメラのレンズ部分にエアー、液体、洗浄液等をかけて汚れを取りのぞく洗浄機能を搭載してもよい。
【0022】
「ハードウエア構成」
次に、処理装置のハードウエア構成の一例を説明する。処理装置の各機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0023】
図5は、処理装置のハードウエア構成を例示するブロック図である。図5に示すように、処理装置は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。処理装置は周辺回路4Aを有さなくてもよい。なお、処理装置は物理的及び/又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。
【0024】
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPU、GPU(Graphics Processing Unit)などの演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。入出力インターフェイス3Aは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【0025】
「機能構成」
次に、本実施形態の処理装置の機能構成を詳細に説明する。図6に、処理装置100の機能ブロック図の一例を示す。図示するように、処理装置100は、ブームの先端が写るように撮影された画像を解析する画像解析装置10と、画像解析装置10の解析結果に基づきブームを駆動させるブーム制御装置20とを有する。以下、各装置について詳細に説明する。
【0026】
-画像解析装置10-
図6に示すように、画像解析装置10は、取得部11と、画像解析部12と、算出部13とを有する。
【0027】
取得部11は、ブームの先端が写るように撮影された画像を取得する。取得部11は、ブームの先端が写るように撮影するカメラが生成した画像をリアルタイム処理で取得する。カメラと画像解析装置10とは有線及び/又は無線で通信可能に接続されている。
【0028】
画像解析部12は、取得部11が取得した画像の中から孔を検出する。そして、画像解析部12は、検出結果に基づき孔位置情報を出力する。
【0029】
「孔」は、ブームを用いた作業の対象であり、例えば上述したトンネルの側壁にロックボルトを打設する作業や装薬作業の場合、穿孔した孔が作業の対象となる。画像解析部12は、孔の外観の特徴量に基づき、画像内から孔を検出する。画像解析部12は、検出対象の外観の特徴量に基づき画像の中から検出対象を検出するあらゆる技術を採用することができる。
【0030】
「孔位置情報」は、検出した孔の画像内での位置を示す情報である。孔位置情報は、例えば、画像に設定された画像座標系の座標で示される。
【0031】
図7に、取得部11が取得する画像Pの一例を示す。図示する例の画像Pにおいては、ブームの先端Eと孔Hとが同時に写っている。画像解析部12は、このような画像Pの中から孔Hを検出し、検出した孔Hの画像内での位置を示す孔位置情報を出力する。
【0032】
算出部13は、ブームの先端と孔との画像内での相対的な位置関係を算出する。そして、算出部13は、算出した相対的な位置関係を示す情報を出力する。出力された当該情報は、ブーム制御装置20に入力される。
【0033】
「相対的な位置関係」は、2点を結ぶ方向及び2点間の距離を含む。例えば、相対的な位置関係は、ブームの先端から孔に向かう方向、及びその2点間の距離を含む。
【0034】
算出部13は、画像内での孔の位置を、画像解析部12が出力した孔位置情報に基づき特定する。
【0035】
一方で、画像内でのブームの先端の位置は、予め固定値として与えられていてもよい。カメラの位置及び向きや、ブームの先端の状態等に変化がない場合、画像内でのブームの先端の位置は変化しない。この場合、画像内でのブームの先端の位置を、予め固定値として画像解析装置10に登録しておいてもよい。当該登録を実現する手段は様々である。例えば、ユーザが画像を確認しながら画像内でのブームの先端の位置を指定し、指定した画像内の位置が登録されてもよい。その他、画像解析装置10が、画像解析で、ブームの外観の特徴量に基づき、ブームの先端を画像内から検出してもよい。
【0036】
その他、カメラの位置及び向きや、ブームの先端の状態等が、ユーザ操作又はコンピュータの自動制御で変化し得る場合、上述した画像解析部12が、画像解析で、ブームの外観の特徴量に基づき、ブームの先端を画像内から検出してもよい。そして、画像解析部12は、検出したブームの先端の画像内での位置を示す情報を出力してもよい。この例の場合、算出部13は、当該情報に基づき、画像内でのブームの先端の位置を特定することができる。
【0037】
-ブーム制御装置20-
図6に示すように、ブーム制御装置20は、ブーム制御部21を有する。
【0038】
ブーム制御部21は、ブームの先端の位置及び方向を検出する手段を備える。当該検出は、任意の手段で実現できる。一例として、ブームが備える各種関節等の状態を検出するセンサの利用が挙げられるが、これに限定されない。なお、当該手段で検出したブームの先端の位置は、誤差を含み得る。すなわち、当該手段で検出したブームの先端の位置と実際のブームの先端の位置の間にはズレが生じ得る。しかし、本実施形態では、ブーム制御部21は、上述した算出部13が算出した「ブームの先端と孔との画像内での相対的な位置関係」に基づきブームの先端を孔に近づく方向に移動させることで、ブームの先端の高精度な位置合わせを行う。このため、上述のように、センサ等で検出したブームの先端の位置と実際のブームの先端の位置の間にズレが生じていても問題ない。以下、「ブームの先端と孔との画像内での相対的な位置関係」に基づくブームの先端の高精度な位置合わせ処理を詳細に説明する。
【0039】
まず、ブーム制御部21は、その時のブームの姿勢に基づきカメラの姿勢を特定する。
【0040】
「ブームの姿勢」は、ブームの長さL、ブームの起伏角度θ及びブームの旋回角度φ等で示される。予め設置されたセンサ(ブームの先端の位置や方向を算出するためのデータを検出する角度・長さセンサ等)が上記値を測定する。そして、ブーム制御部21は、センサが測定した測定値をリアルタイム処理で取得する。センサとブーム制御装置20とは有線及び/又は無線で通信可能に接続されている。なお、特許文献2及び3に開示されているように、当該センサの値を用いて、ワールド座標系におけるブームの先端の座標を算出することができる。
【0041】
「カメラの姿勢」は、ワールド座標系でのカメラの向き及び傾きを示す。本実施形態では、ブームにカメラが取り付けられる。このため、ブームの姿勢に基づき、カメラの向きや傾きが一意に特定される。
【0042】
次に、ブーム制御部21は、特定したカメラの姿勢に基づき、算出部13が算出した「画像内においてブームの先端から孔に向かう方向」を、ワールド座標系における方向(実空間上での方向)に変換する。ワールド座標系でのカメラの向き及び傾きが明らかになっていれば、所定の演算により、その状態で撮影された画像内での所定の方向を、ワールド座標系での方向に変換することができる。例えば、基準姿勢(カメラの向き:ワールド座標系の基準方向、カメラの傾き:0)となっているカメラが撮影した画像内の基準方向(例:横方向、図7のx軸方向)をワールド座標系に投影したワールド座標内方向を予め登録しておく。そして、基準姿勢と特定したカメラの姿勢の差分(向きの差分、傾きの差分)、及び画像内の基準方向と画像内においてブームの先端から孔に向かう方向との差分に基づきこのワールド座標内方向を補正することで、上述した変換を実現してもよい。なお、当該変換方法はあくまで一例であり、これに限定されない。
【0043】
そして、ブーム制御部21は、ブームの先端を、上記変換で得られたワールド座標系における方向(実空間上での方向)に移動させる。ブームの先端をワールド座標系における所定の方向に移動させる制御は、周知のあらゆる技術を採用して実現することができる。例えば、特許文献1乃至4に開示の技術を利用してもよい。
【0044】
ブーム制御部21は、ブームの先端の位置を合わせる制御に加えて、ブームの先端の方向(向き)を合わせる制御をさらに行うことができる。例えば、事前に穿孔した孔にロックボルトを打設する作業や、事前に穿孔した孔にモルタルを注入する作業や、事前に穿孔した孔に爆薬を挿入する作業等においては、ロックボルトや、モルタルや、爆薬を注入する部材等を、事前に穿孔した孔の延伸方向に沿って挿入する必要がある。これを実現する上で、ブームの先端の方向を合わせる制御が必要になる。なお、モルタルを注入する部材等が例えばチューブのような形状が可変の部材である場合、ブームの先端の方向を厳密に合わせる制御は不要になる場合もある。
【0045】
ここで、ブームの先端の方向を合わせる制御の一例を説明する。例えば、処理装置100は、穿孔用ブームDBR及びDBLを駆動して事前に穿孔した際に、その時のブームの姿勢等から、穿孔した孔の延伸方向、すなわち穿孔用部材を挿入した方向を算出し、記憶装置に登録しておく。ブームの姿勢は、例えばブームに取り付けられたセンサ(ブームの先端の位置や方向を算出するためのデータを検出する角度・長さセンサ等)が測定した測定値に基づき特定される。この穿孔した孔の延伸方向は、例えばワールド座標系におけるデータ(例えばベクトル情報)として管理される。そして、ブーム制御部21は、当該データに基づき特定される事前に穿孔した孔の延伸方向と、現時点のブームの先端の方向とが略平行(所定の状態)となるように、ブームの姿勢を制御する。
【0046】
このようなブームの先端の方向を合わせる制御は、任意のタイミングで行うことができる。例えば、ブーム制御部21は、ブームの姿勢を自動制御している間(例えば、以下の実施形態で説明する「孔を形成した際に登録された孔の位置情報に基づき、ブームを駆動させる第1のモード」及び「第2のモード」の間)の任意のタイミングで、ブームの先端の方向を合わせる制御を行うことができる。なお、ブーム制御部21は、ブームの姿勢を自動制御している間、現時点のブームの先端の方向が所定の状態となっているか、監視し続けてもよい。そして、ブーム制御部21は、現時点のブームの先端の方向が所定の状態から外れたこと(例:現時点のブームの先端の方向と所定の状態とのズレ量が閾値以上になったこと)を検出すると、当該検出に応じて、ブームの先端の方向を合わせる制御を行ってもよい。
【0047】
次に、図8のフローチャートを用いて、処理装置100の処理の流れの一例を説明する。
【0048】
画像解析装置10は、ブームの先端が写るように撮影された画像を取得すると(S10)、画像の中から孔を検出する(S11)。次いで、画像解析装置10は、ブームの先端とS11で検出した孔との画像内での相対的な位置関係を算出する(S12)。
【0049】
その後、ブーム制御装置20は、S12の算出結果に基づきブームを駆動させる(S13)。例えば、ブーム制御装置20は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、S12で算出された画像内での方向をワールド座標系における方向(実空間上での方向)に変換する。そして、ブーム制御装置20は、ブームの先端を、当該変換で得られたワールド座標系における方向(実空間上での方向)に移動させる。
【0050】
次に、図9のフローチャートを用いて、処理装置100の処理の流れの他の一例を説明する。
【0051】
画像解析装置10は、ブームの先端が写るように撮影された画像を取得すると(S20)、画像の中から孔を検出する(S21)。次いで、画像解析装置10は、ブームの先端とS21で検出した孔との画像内での相対的な位置関係を算出する(S22)。
【0052】
その後、ブーム制御装置20は、S22の算出結果において、「ブームの先端とS21で検出した孔との画像内での位置が一致していること」が示されているか判断する(S23)。一致と判断する条件は、ブームの先端とS21で検出した孔との画像内での位置(座標)が完全に一致することであってもよいし、その距離が閾値以内であってもよい。
【0053】
S22の算出結果において、「ブームの先端とS21で検出した孔との画像内での位置が一致していること」が示されている場合(S23のYes)、ブーム制御装置20は、ブームを駆動させる制御を停止する。結果、ブームの姿勢はその状態で停止し、ブームの先端はその位置で停止する。
【0054】
一方、S22の算出結果において、「ブームの先端とS21で検出した孔との画像内での位置が一致していること」が示されていない場合(S23のNo)、ブーム制御装置20は、S22の算出結果に基づきブームを駆動させる(S24)。具体的には、ブーム制御装置20は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、S22で算出された画像内での方向をワールド座標系における方向(実空間上での方向)に変換する。そして、ブーム制御装置20は、ブームの先端を、当該変換で得られたワールド座標系における方向(実空間上での方向)に移動させる。
【0055】
その後、S20に戻って同様の処理が繰り返される。すなわち、新たな画像が取得され、新たな画像が解析され、その解析結果に基づきブームが制御される。
【0056】
なお、S24のブームの駆動においては、算出したワールド座標系における方向(実空間上での方向)への移動を所定の移動量だけ行ってもよいし、その他の手法で移動量を制御してもよい。所定の移動量は、予め定義された固定値であってもよいし、S22で算出された相対的な位置関係で示される「ブームの先端と孔との画像内での距離」に基づき算出されてもよい。
【0057】
「作用効果」
本実施形態の処理装置100によれば、ブームの先端と孔との画像内での相対的な位置関係に基づき、ブームの先端の位置合わせを行うことができる。このように、本実施形態の処理装置100は、ブームの先端と孔との画像内での相対的な位置関係に基づき制御を行うので、ブームの先端及び孔の絶対的な高精度な位置情報を取得する必要がない。
【0058】
また、本実施形態の処理装置100は、画像上でのブームの先端と孔の位置が一致するように、ブームの先端の位置を調整することができる。結果、ブームの先端を孔の位置に位置させる位置合わせを、高精度に行うことができる。
【0059】
<第2の実施形態>
第1の実施形態で説明した手法、すなわち画像解析の結果に基づくブームの先端の位置合わせは、画像内に孔が写っていないと実行できない。しかし、自装置の一部分(ブームの一部分等)やその他の物体に隠れて、一時的に孔が画像に写らなくなる状況が発生し得る。本実施形態の画像解析装置10は、このような場合に、孔の位置を高精度に推定し、推定結果に基づきブームを駆動させる。以下、詳細に説明する。
【0060】
まず、本実施形態の前提事項として、孔と画像に写る背景との相対的な位置関係は変わらない。当該前提事項を満たす場合に、本実施形態の技術を採用できる。例えば、トンネルの側壁にロックボルトを打設する作業、より詳細には、事前に穿孔した孔にロックボルトを打設する作業や、事前に穿孔した孔にモルタルを注入する作業や、事前に穿孔した孔に爆薬を挿入する作業においては、「トンネルの側壁」が画像に写る「背景」になる。「孔」は「トンネルの側壁」に形成されたものであるので、「孔と背景との相対的な位置関係が変わらない」という条件を満たす。
【0061】
画像解析部12は、画像の中から背景の特徴点を抽出する。特徴点の抽出は、あらゆる技術を採用して実現できる。例えば、ORB(Oriented FAST and Rotated BRIEF)の技術を利用してもよい。
【0062】
算出部13は、画像解析部12により抽出された特徴点と、画像解析部12により検出された孔との画像内での相対的な位置関係を算出する。図10に示すように、画像内の複数箇所で特徴点が抽出される。算出部13は、このような複数の特徴点と、孔との相対的な位置関係(方向、距離等)を算出する。
【0063】
そして、算出部13は、「画像内での特徴点の位置」と「特徴点と孔との画像内での相対的な位置関係」に基づき、画像内での孔の位置を推定する。以下、推定処理の一例を説明する。まず、算出部13は、複数の時系列な画像の中の処理対象の画像内で抽出された特徴点と、処理対象の画像よりも時系列順が前の画像内で抽出された特徴点とのマッチング処理を行うことで、2つの画像間での特徴点の対応関係を特定する。特徴点間のマッチング処理は、周知のあらゆる手法を利用して実現される。その後、算出部13は、「複数の時系列な画像の中の処理対象の画像内での特徴点の位置」と、「処理対象の画像よりも時系列順が前の画像に基づき算出された特徴点と孔との画像内での相対的な位置関係」に基づき、処理対象の画像内での孔の位置を推定する。
【0064】
例えば、図13に示す「現在の画像」が処理対象の画像であるとする。図13に示すように、現在の画像では、孔がブームで隠れている。図14に示す「前の画像」は、処理対象の画像よりも時系列順が前の画像である。図14に示すように、前の画像では、孔Hが隠れていない。算出部13は、このような2つの画像間で特徴点のマッチング処理を行う。結果、図13及び図14に示すような対応関係が算出されたとする。図では、互いに対応する特徴点に同じ符号を紐付けている。例えば、図13のPに紐付く特徴点と、図14のPに紐付く特徴点が互いに対応する。そして、算出部13は、図14に示す前の画像から特定される特徴点(特徴点P乃至P等)と孔Hとの相対的な位置関係と、図13における現在の画像内で検出された特徴点(特徴点P乃至P等)の位置とに基づき、図13における現在の画像内で孔Hの位置を推定する。算出部13は、図15に示すように、現在の画像内で検出された特徴点(特徴点P乃至P等)の位置との間で、前の画像から特定された特徴点(特徴点P乃至P等)と孔Hとの相対的な位置関係を満たす位置を、現在の画像内での孔Hの位置として推定する。2つの画像間の特徴点の対応付け後は、算出した特徴点の対応関係に基づき、現在の画像と過去の画像との間の相対関係を計算する。当該相対関係の計算には、移動、回転、傾き、縮尺を用いて表す射影行列(ホモグラフィー行列)を用いることができる。例えば、図15に示すように互いに対応する特徴点が重なりあう状態となるための射影行列が計算される。そして、当該射影行列を用いて、過去の画像内で検出された孔Hを現在の画像内に射影することができる。
【0065】
なお、算出部13は、処理対象の画像内で孔が検出されなかった場合のみ、処理対象の画像内での孔の位置を推定する処理を行ってもよい。すなわち、算出部13は、処理対象の画像の中から孔が検出された場合、処理対象の画像内での孔の位置を推定する処理を実行せず、処理対象の画像の中から孔が検出されなかった場合、処理対象の画像内での孔の位置を推定する処理を実行してもよい。
【0066】
その他、算出部13は、処理対象の画像内で孔が検出されたか否かに関わらず、処理対象の画像内での孔の位置を推定する処理を行ってもよい。すなわち、算出部13は、全ての画像に対して、各画像内での孔の位置を推定する処理を行ってもよい。
【0067】
上述のようにして画像内での孔の位置を推定した後、算出部13は、推定された画像内での孔の位置に基づき、ブームの先端と孔との画像内での相対的な位置関係を算出する。すなわち、算出部13は、推定された画像内での孔の位置と、ブームの先端との画像内での相対的な位置関係を算出する。そして、算出部13は、当該算出の結果を、ブームの先端と孔との画像内での相対的な位置関係として出力する。ブーム制御装置20は、推定された画像内での孔の位置と、ブームの先端との画像内での相対的な位置関係に基づきブームを駆動させる。相対的な位置関係の算出及びブームの駆動は、第1及び第2の実施形態と同様である。
【0068】
なお、算出部13は、処理対象の画像の中から孔が検出された場合、検出された孔の処理対象の画像内での位置に基づき、ブームの先端と孔との処理対象の画像内での相対的な位置関係を算出し、その結果を出力することができる。ブーム制御装置20は、当該結果に基づきブームを駆動させる。
【0069】
そして、算出部13は、処理対象の画像の中から孔が検出されなかった場合、推定された処理対象の画像内での孔の位置に基づき、ブームの先端と孔との処理対象の画像内での相対的な位置関係を算出することができる。ブーム制御装置20は、当該結果に基づきブームを駆動させる。
【0070】
次に、図11のフローチャートを用いて、処理装置100の処理の流れの他の一例を説明する。
【0071】
画像解析装置10は、ブームの先端が写るように撮影された画像を取得すると(S40)、画像の中から孔を検出する処理(S41)、及び孔の位置を推定する処理(S42)を実行する。以下、S40で取得された画像を「処理対象の画像」とよぶ。図では、S41とS42は並行して行われるようになっているが、いずれかを行った後に、他方のステップを行うようにしてもよい。
【0072】
S42では、画像解析装置10は、処理対象の画像の背景の特徴点を抽出する。そして、画像解析装置10は、処理対象の画像よりも時系列順が前の画像に基づき算出された「背景の特徴点と孔との画像内での相対的な位置関係」と、「処理対象の画像から抽出した背景の特徴点の位置」とに基づき、処理対象の画像内での孔の位置を推定する。なお、当該処理は、処理対象の画像よりも時系列順が前の画像に基づき「背景の特徴点と孔との画像内での相対的な位置関係」が算出されている場合のみ実行することができる。背景の特徴点と孔との画像内での相対的な位置関係の算出は、取得した全ての画像に対して行われてもよい。処理タイミングは特段制限されない。
【0073】
そして、S41で孔が検出された場合(S43のYes)、画像解析装置10は、検出された孔の処理対象の画像内での位置に基づき、ブームの先端と孔との処理対象の画像内での相対的な位置関係を算出する(S44)。
【0074】
一方、S41で孔が検出されなかった場合(S43のNo)、画像解析装置10は、S42で推定された処理対象の画像内での孔の位置に基づき、ブームの先端と孔との処理対象の画像内での相対的な位置関係を算出する(S45)。
【0075】
その後、ブーム制御装置20は、S44又はS45の算出結果において、「ブームの先端と孔との処理対象の画像内での位置が一致していること」が示されているか判断する(S46)。一致と判断する条件は、ブームの先端と孔との画像内での位置(座標)が完全に一致することであってもよいし、その距離が閾値以内であってもよい。
【0076】
S44又はS45の算出結果において、「ブームの先端と孔との処理対象の画像内での位置が一致していること」が示されている場合(S46のYes)、ブーム制御装置20は、ブームを駆動させる制御を停止する。結果、ブームの姿勢はその状態で停止し、ブームの先端はその位置で停止する。
【0077】
一方、S44又はS45の算出結果において、「ブームの先端と孔との画像内での位置が一致していること」が示されていない場合(S46のNo)、ブーム制御装置20は、S44又はS45の算出結果に基づきブームを駆動させる(S47)。具体的には、ブーム制御装置20は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、S44又はS45で算出された処理対象の画像内での方向をワールド座標系における方向(実空間上での方向)に変換する。そして、ブーム制御装置20は、ブームの先端を、当該変換で得られたワールド座標系における方向(実空間上での方向)に移動させる。
【0078】
その後、S40に戻って同様の処理が繰り返される。すなわち、新たな画像が取得され、新たな画像が解析され、その解析結果に基づきブームが制御される。
【0079】
なお、S47のブームの駆動においては、算出したワールド座標系における方向(実空間上での方向)への移動を所定の移動量だけ行ってもよいし、その他の手法で移動量を制御してもよい。所定の移動量は、予め定義された固定値であってもよいし、S44又はS45で算出された相対的な位置関係で示される「ブームの先端と孔との画像内での距離」に基づき算出されてもよい。
【0080】
次に、図12のフローチャートを用いて、処理装置100の処理の流れの他の一例を説明する。
【0081】
画像解析装置10は、ブームの先端が写るように撮影された画像を取得すると(S50)、画像の中から孔を検出する処理(S51)を実行する。以下、S50で取得された画像を「処理対象の画像」とよぶ。
【0082】
そして、S51で孔が検出された場合(S52のYes)、画像解析装置10は、検出された孔の処理対象の画像内での位置に基づき、ブームの先端と孔との処理対象の画像内での相対的な位置関係を算出する(S53)。
【0083】
一方、S51で孔が検出されなかった場合(S52のNo)、画像解析装置10は、孔の位置を推定する処理を行う(S54)。
【0084】
S54では、画像解析装置10は、処理対象の画像の背景の特徴点を抽出する。そして、画像解析装置10は、処理対象の画像よりも時系列順が前の画像に基づき算出された「背景の特徴点と孔との画像内での相対的な位置関係」と、「処理対象の画像から抽出した背景の特徴点の位置」とに基づき、処理対象の画像内での孔の位置を推定する。なお、当該処理は、処理対象の画像よりも時系列順が前の画像に基づき「背景の特徴点と孔との画像内での相対的な位置関係」が算出されている場合のみ実行することができる。背景の特徴点と孔との画像内での相対的な位置関係の算出は、取得した全ての画像に対して行われてもよい。処理タイミングは特段制限されない。
【0085】
次いで、画像解析装置10は、S54で推定された処理対象の画像内での孔の位置に基づき、ブームの先端と孔との処理対象の画像内での相対的な位置関係を算出する(S55)。
【0086】
その後、ブーム制御装置20は、S53又はS55の算出結果において、「ブームの先端と孔との処理対象の画像内での位置が一致していること」が示されているか判断する(S56)。一致と判断する条件は、ブームの先端と孔との画像内での位置(座標)が完全に一致することであってもよいし、その距離が閾値以内であってもよい。
【0087】
S53又はS55の算出結果において、「ブームの先端と孔との処理対象の画像内での位置が一致していること」が示されている場合(S56のYes)、ブーム制御装置20は、ブームを駆動させる制御を停止する。結果、ブームの姿勢はその状態で停止し、ブームの先端はその位置で停止する。
【0088】
一方、S53又はS55の算出結果において、「ブームの先端と孔との画像内での位置が一致していること」が示されていない場合(S56のNo)、ブーム制御装置20は、S53又はS55の算出結果に基づきブームを駆動させる(S57)。具体的には、ブーム制御装置20は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、S53又はS55で算出された処理対象の画像内での方向をワールド座標系における方向(実空間上での方向)に変換する。そして、ブーム制御装置20は、ブームの先端を、当該変換で得られたワールド座標系における方向(実空間上での方向)に移動させる。
【0089】
その後、S50に戻って同様の処理が繰り返される。すなわち、新たな画像が取得され、新たな画像が解析され、その解析結果に基づきブームが制御される。
【0090】
なお、S57のブームの駆動においては、算出したワールド座標系における方向(実空間上での方向)への移動を所定の移動量だけ行ってもよいし、その他の手法で移動量を制御してもよい。所定の移動量は、予め定義された固定値であってもよいし、S53又はS55で算出された相対的な位置関係で示される「ブームの先端と孔との画像内での距離」に基づき算出されてもよい。
【0091】
次に、図16のフローチャートを用いて、処理装置100の処理の流れの他の一例を説明する。
【0092】
画像解析装置10は、ブームの先端が写るように撮影された画像(以下、「現在の画像」)を取得すると(S101)、現在の画像の中から孔を検出する処理を実行する(S102)。また、画像解析装置10は、現在の画像の中から特徴点を抽出する処理を行う(S103)。
【0093】
次いで、画像解析装置10は、現在の画像の中から抽出された特徴点と、過去の画像の中から抽出された特徴点のマッチングを行う(S104)。次いで、画像解析装置10は、S104で算出した特徴点の対応関係に基づき、現在の画像と過去の画像との間の相対関係を計算する(S105)。当該相対関係の計算には、移動、回転、傾き、縮尺を用いて表す射影行列(ホモグラフィー行列)を用いることができる。例えば、図15に示すように互いに対応する特徴点が重なりあう状態となるための射影行列が計算される。
【0094】
次いで、画像解析装置10は、S105で計算した現在の画像と過去の画像の相対関係に基づき、過去の画像における孔位置を現在の画像に射影する(S106)。次いで、画像解析装置10は、現在の画像上の孔とブームの先端の相対的な位置関係(方向)を算出する(S107)。
【0095】
その後、ブーム制御装置20は、その時のブームの姿勢に基づきカメラの姿勢を特定し、次いで、特定したカメラの姿勢に基づき、S107で算出された方向をワールド座標系における方向(実空間上での方向)に変換する(S108)。そして、ブーム制御装置20は、ブームの先端を、当該変換で得られたワールド座標系における方向(実空間上での方向)に移動させる。
【0096】
なお、S104乃至S106の処理は、S102で現在の画像から孔が検出されなかった場合のみ行ってもよい。
【0097】
本実施形態の処理装置100のその他の構成は、第1及び第2の実施形態と同様である。
【0098】
本実施形態の処理装置100によれば、第1及び第2の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置100によれば、自装置の一部分(ブームの一部分等)やその他の物体に隠れて、一時的に孔が画像に写らなくなる状況が発生した場合に、孔の位置を高精度に推定し、推定結果に基づきブームを駆動させることができる。すなわち、孔が画像に写らないというトラブルにも強い技術が実現される。
【0099】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。上述した実施形態の構成は、互いに組み合わせたり、一部の構成を他の構成に入れ替えたりしてもよい。また、上述した実施形態の構成は、趣旨を逸脱しない範囲内において種々の変更を加えてもよい。また、上述した各実施形態や変形例に開示される構成や処理を互いに組み合わせてもよい。
【0100】
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施の形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施の形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施の形態は、内容が相反しない範囲で組み合わせることができる。
【0101】
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。
1. ブームに取り付けられたカメラが撮影した時系列な画像を取得する取得部と、
前記画像の中からトンネルの壁面に形成された孔を検出するとともに、トンネルの壁面の特徴点を抽出する画像解析部と、
処理対象の画像よりも時系列順が前の前記画像に基づき前記特徴点と前記孔との前記画像内での相対的な位置関係を算出するとともに、前記処理対象の画像内での前記特徴点の位置と、前記特徴点と前記孔との前記画像内での相対的な位置関係とに基づき、前記処理対象の画像内での前記孔の位置を推定する算出部と、
を有する処理装置。
2. 前記カメラは、前記画像の中に前記ブームの先端が写るように取り付けられており、
前記算出部は、
前記処理対象の画像の中から前記孔が検出された場合、検出された前記孔の前記処理対象の画像内での位置に基づき、前記ブームの先端と前記孔との前記処理対象の画像内での相対的な位置関係を算出し、
前記処理対象の画像の中から前記孔が検出されなかった場合、推定された前記処理対象の画像内での前記孔の位置に基づき、前記ブームの先端と前記孔との前記処理対象の画像内での相対的な位置関係を算出する1に記載の処理装置。
3. 前記ブームの先端と前記孔との前記処理対象の画像内での相対的な位置関係に基づき前記ブームを駆動させるブーム制御部をさらに有する1又は2に記載の処理装置。
4. 前記算出部は、
前記処理対象の画像の中から前記孔が検出された場合、前記処理対象の画像内での前記孔の位置を推定する処理を実行せず、
前記処理対象の画像の中から前記孔が検出されなかった場合、前記処理対象の画像内での前記孔の位置を推定する処理を実行する1から3のいずれかに記載の処理装置。
5. 前記孔はロックボルト打設用又は装薬用に穿孔された孔である1から4のいずれかに記載の処理装置。
6. コンピュータが、
ブームに取り付けられたカメラが撮影した時系列な画像を取得する取得工程と、
前記画像の中からトンネルの壁面に形成された孔を検出するとともに、トンネルの壁面の特徴点を抽出する画像解析工程と、
処理対象の画像よりも時系列順が前の前記画像に基づき前記特徴点と前記孔との前記画像内での相対的な位置関係を算出するとともに、前記処理対象の画像内での前記特徴点の位置と、前記特徴点と前記孔との前記画像内での相対的な位置関係とに基づき、前記処理対象の画像内での前記孔の位置を推定する算出工程と、
を実行する処理方法。
【符号の説明】
【0102】
10 画像解析装置
11 取得部
12 画像解析部
13 算出部
20 ブーム制御装置
21 ブーム制御部
100 処理装置
1A プロセッサ
2A メモリ
3A 入出力I/F
4A 周辺回路
5A バス
BB ボルト打設用ブーム
DBL 穿孔用ブーム
DBR 穿孔用ブーム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16